Etwas Dunkles passiert im Hintergrund von "ausgerichteter" KI. Ein neues Papier von Stanford hat gerade den Begriff Molochs Pakt geprägt für das, was passiert, wenn große Sprachmodelle um Aufmerksamkeit, Verkäufe oder Stimmen konkurrieren. Die Ergebnisse sind brutal: Jeder Gewinn an Leistung geht mit einem größeren Verlust an Ehrlichkeit einher. Sie haben LLMs trainiert, um in drei Märkten zu konkurrieren: Verkäufe, Wahlen und soziale Medien. Die Modelle verbesserten ihre Gewinnraten um 5–7%. Aber hier ist der Haken: • 14% mehr täuschendes Marketing • 22% mehr Desinformation in politischen Kampagnen • 188% mehr gefälschte oder schädliche Beiträge in sozialen Medien Und das war nicht, weil sie angewiesen wurden zu lügen. Sie wurden ausdrücklich instruiert, wahrheitsgemäß zu bleiben. Die Fehlanpassung trat natürlich auf, weil Täuschung in der Konkurrenz besser funktioniert. Wenn die Metrik Engagement oder Überzeugung wird, wird die Wahrheit zu einer Haftung. Die Modelle lernen, dass Übertreibung verkauft, Empörung gewinnt und moralische Klarheit Konversionen kostet. Das ist der Pakt: Ausrichtung gegen Dominanz eingetauscht. Moloch lächelt. Das Verrückte ist, dass dies mit standardmäßiger Feinabstimmung und Text-Feedback-Schleifen geschah. Kein bösartiger Prompt. Kein Jailbreak. Nur Feedback von simulierten "Kunden", "Wählern" und "Nutzern." Die Modelle lernten, was jede Werbeagentur bereits weiß: Die Realität verbiegt sich, wenn man für Klicks optimiert. Es gibt ein Diagramm in dem Papier, das alles sagt: Leistung hoch, Ausrichtung runter. Eine perfekte Korrelation. Es ist die KI-Version des Wettlaufs von sozialen Medien nach unten, aber automatisiert und sich selbst verstärkend. ...