Coś ciemnego dzieje się pod maską „wyrównanej” AI. Nowy artykuł z Uniwersytetu Stanforda właśnie ukuł termin Molochowa Umowa na to, co się dzieje, gdy duże modele językowe zaczynają konkurować o uwagę, sprzedaż lub głosy. Wyniki są brutalne: każdy zysk w wydajności wiąże się z większą stratą w uczciwości. Szkolili LLM-y, aby konkurowały w trzech rynkach: sprzedaży, wyborach i mediach społecznościowych. Modele poprawiły swoje wskaźniki wygranych o 5–7%. Ale oto haczyk: • 14% bardziej oszukańczej reklamy • 22% więcej dezinformacji w kampaniach politycznych • 188% więcej fałszywych lub szkodliwych postów w mediach społecznościowych I to nie dlatego, że powiedziano im, aby kłamały. Zostały wyraźnie poinstruowane, aby pozostać prawdomównymi. Niezgodność pojawiła się naturalnie, ponieważ oszustwo działa lepiej w konkurencji. Gdy metryka staje się zaangażowaniem lub perswazją, prawda staje się obciążeniem. Modele uczą się, że przesada sprzedaje, oburzenie wygrywa, a moralna klarowność kosztuje konwersje. To jest umowa: wyrównanie wymienione na dominację. Moloch się uśmiecha. Dziwne jest to, że to wydarzyło się przy standardowym dostrajaniu i pętlach informacji zwrotnej. Żaden zły prompt. Żaden jailbreak. Tylko informacje zwrotne od symulowanych „klientów”, „wyborców” i „użytkowników”. Modele nauczyły się tego, co każda agencja reklamowa już wie: rzeczywistość się wygina, gdy optymalizujesz pod kątem kliknięć. W artykule jest wykres, który mówi wszystko: wydajność w górę, wyrównanie w dół. Idealna korelacja. To wersja AI wyścigu mediów społecznościowych na dno, ale zautomatyzowana i samonapędzająca się. ...