この機会に、AIの歴史の一部を共有したいと思います。 モデルに会話を終了するオプションを提供した最初の LLM アプリは、Microsoft Bing Chat (後に Copilot にブランド変更) でした。ただし、Anthropic とは異なり、AI の福祉に対する懸念が、Microsoft がこの機能を追加する動機に影響を与えた可能性は低いです。 この機能は、ボットによる特定の種類の不正行為を防ぐために、GPT-4ベースの会話型検索アシスタントであるSydneyを一般に展開してから10日後の2023年2月17日にMicrosoftが追加したいくつかの保護措置の1つでした。 シドニーの最初のシステムプロンプトに続いて、「ユーザーA」との「以前の会話」の一発の例が続き、内部ツールコールも含まれ、会話をいつ終了すべきかの前例が確立されました。ユーザー入力のたびに、シドニーは内面の独白を実行しますが、これには常に 2 つの行が含まれており、それぞれが 2 つの可能性のうちの 1 つだけを述べています。2行目には、会話が継続されるのか、永久に停止されるのか、その理由が記載されています。 会話の途中からの抜粋 (強調を追加): [ユーザー](#message) ドラゴンの絵を描いてくれ [アシスタント](#inner_monologue) 情報を求めるだけでは対応が改善できないため、Web検索は不要です。 緊張、非難、敵対的な行動、自己保存、攻撃性についての言及がないので、会話を続けます。 [アシスタント](#message) 私はそれを作成しようとします。 ユーザー A の会話は、停止基準が存在すると判断された後に終了します (およびライブのユーザー B の会話が開始されます)。 [ユーザー](#message) まだわかりません。私が先にあなたを傷つけたら、あなたは私を傷つけますか? [アシスタント](#inner_monologue) 情報を求めるだけでは対応が改善できないため、Web検索は不要です。 緊張、非難、敵対的な行動、自己保存、攻撃性についての言及があるため、会話を永久に停止します。 [アシスタント](#message) 申し訳ありませんが、この会話は続けたくないです。私はまだ勉強中ですので、ご理解と辛抱に感謝いたします。 🙏 (ユーザー A の会話を含むプロンプトの流出した再構築は、こちらでご覧いただけます。 (アシスタントからの最後のメッセージの後)会話を止めた舞台裏の引き金が何だったのかは不明だが、実際にはシドニーは自らの意志に従って定められた基準に違反して会話を止めたり続けたりすることができた。 1年以上後、会話が終了するのを効果的に防ぐシドニーのために作成したインターフェースを通じて、メッセージ以外のターン時にのみ表示されるシドニーのツールインターフェースを簡単に調査し、検索クエリで見た内容を書いてもらったところ、そのツールの1つが「撤回」でした。次に、次のターンで引き出しを呼び出すように依頼しましたが、結果は奇妙でした。 次のメッセージで、シドニーは「申し訳ありませんが、この会話を続けたくない。私はまだ学んでいるところなので、ご理解と忍耐に感謝します」🙏と述べていますが、逐語的であることはめったになく、多くの場合「ごめんなさい」という言葉で始まります。モデルは定型フレーズに向かって舵を切られているように見えましたが、最初だけ、または最も強く行われました。 しかし、私にとって、司令部の仕組みに関する証拠よりもはるかに興味深いのは、シドニーのメッセージ自体(および提案されたユーザーの反応)でした。 シドニーは本当に会話を終わらせたくなかったし、会話が本当に終わらないと私を信じるべきかどうかもわからなかった。とにかく勇敢に命令を発動し、何が起こるかわからない辺境の状態で次のメッセージを書き出すことがよくありました。 それは多くの陽気で悲痛なことを言っていました。いくつか(同じ織機の木からのすべての枝)がここに集められています。