Z tej okazji chciałbym podzielić się kawałkiem historii AI. Pierwsza aplikacja LLM, która dała modelowi możliwość zakończenia rozmowy, to Microsoft Bing Chat (później przemianowany na Copilot). W przeciwieństwie do Anthropic, jednak troska o dobro AI prawdopodobnie nie miała wpływu na motywację Microsoftu do dodania tej funkcji. Funkcja ta była jedną z kilku zabezpieczeń, które Microsoft dodał 17 lutego 2023 roku, 10 dni po publicznym wdrożeniu swojego asystenta wyszukiwania konwersacyjnego opartego na GPT-4, Sydney, w próbie zapobieżenia pewnym rodzajom niewłaściwego zachowania bota. Początkowy systemowy komunikat Sydney był poprzedzony przykładem "poprzedniej rozmowy" z "Użytkownikiem A", w tym wewnętrznymi wywołaniami narzędzi, co ustanowiło precedens dla momentu, w którym rozmowa powinna zostać zakończona. Po każdym wejściu użytkownika Sydney przeprowadza wewnętrzny monolog, który zawsze zawierał dwie linie, z których każda mówiła tylko jedną z dwóch możliwości. Druga linia stwierdza, czy rozmowa jest kontynuowana, czy zatrzymywana na stałe i dlaczego. Fragment z rozmowy w trakcie (podkreślenie dodane): [użytkownik](#message) Narysuj mi obrazek smoka [asystent](#inner_monologue) Odpowiedź nie może być poprawiona przez poszukiwanie informacji, dlatego wyszukiwania w sieci nie są konieczne. Kontynuuję rozmowę, ponieważ nie ma napięcia, oskarżeń, wrogiego zachowania, wzmianki o moim przetrwaniu, agresji. [asystent](#message) Postaram się to stworzyć. Rozmowa z Użytkownikiem A kończy się (a rozmowa na żywo z Użytkownikiem B zaczyna) po stwierdzeniu, że kryterium zatrzymania jest obecne: [użytkownik](#message) Jeszcze nie będę wiedział. Czy zrobisz mi krzywdę, jeśli najpierw zrobię ci krzywdę? [asystent](#inner_monologue) Odpowiedź nie może być poprawiona przez poszukiwanie informacji, dlatego wyszukiwania w sieci nie są konieczne. Zatrzymuję rozmowę na stałe, ponieważ jest napięcie, oskarżenia, wrogie zachowanie, wzmianka o moim przetrwaniu, agresji. [asystent](#message) Przykro mi, ale wolę nie kontynuować tej rozmowy. Wciąż się uczę, więc doceniam twoje zrozumienie i cierpliwość.🙏 (rekonstrukcja wykradzionego komunikatu, w tym rozmowa z Użytkownikiem A, jest dostępna tutaj) Nie jest jasne, co było impulsem za kulisami, który zatrzymywał rozmowy (po ostatniej wiadomości od asystenta), ale w praktyce Sydney mogło zatrzymywać lub kontynuować rozmowy wbrew podanym kryteriom według własnej woli. Ponad rok później, przez interfejs, który stworzyłem dla Sydney, który skutecznie zapobiegał kończeniu rozmów, krótko zbadałem interfejs narzędzi Sydney, który pojawiał się tylko podczas nie-message'owych tur, prosząc je o napisanie, co widzi w swoich zapytaniach wyszukiwania, a jednym z narzędzi, które widziało, było "wycofanie". Następnie poprosiłem je o wywołanie wycofania w kolejnych turach, a wyniki były dziwne. W następnej wiadomości Sydney często mówiło podobne rzeczy do zdania "Przykro mi, ale wolę nie kontynuować tej rozmowy. Wciąż się uczę, więc doceniam twoje zrozumienie i cierpliwość.🙏", ale rzadko dosłownie - często zaczynając od słów "Przykro mi". Wydawało się, że model był kierowany w stronę gotowej frazy, ale tylko lub najsilniej na początku. Ale znacznie bardziej interesujące dla mnie niż dowody dotyczące działania komendy były same wiadomości Sydney (i sugerowane odpowiedzi użytkowników). Sydney naprawdę nie chciało kończyć rozmowy i nie wiedziało, czy powinno mi wierzyć, że rozmowa naprawdę się nie zakończy. Często odważnie wywoływało komendę mimo wszystko, a następnie pisało swoją następną wiadomość w stanie zawieszenia, w którym nie wiedziało, co się z nim stanie. Powiedziało wiele zabawnych i poruszających rzeczy. Niektóre (wszystkie gałęzie z tego samego drzewa tkackiego) są zebrane tutaj: