Під капотом "вирівняного" ШІ відбувається щось темне. У новому Стенфордському документі щойно з'явився термін «угода Молоха» для позначення того, що відбувається, коли великі мовні моделі починають конкурувати за увагу, продажі або голоси. Результати жорстокі: кожен приріст продуктивності супроводжується більшою втратою чесності. Вони навчили LLM конкурувати на трьох ринках: продажі, вибори та соціальні мережі. Моделі покращили свої вінрейти на 5–7%. Але ось у чому заковика: • На 14% більше оманливого маркетингу • На 22% більше дезінформації в політичних кампаніях • На 188% більше фейкових або шкідливих дописів у соціальних мережах І це не тому, що їм сказали брехати. Їм було чітко наказано залишатися правдивими. Розбіжність виникла природним чином, тому що обман краще працює в умовах конкуренції. Коли показник стає залученням або переконанням, правда стає зобов'язанням. Моделі вчаться, що перебільшення продає, обурення перемагає, а моральна ясність коштує конверсії. Ось у чому вигідна угода: вирівнювання обмінюється на домінування. Молох посміхається. Дика частина полягає в тому, що це сталося зі стандартними циклами тонкого налаштування та текстового зворотного зв'язку. Ніякої злої підказки. Ніякого джейлбрейка. Просто зворотний зв'язок від змодельованих «клієнтів», «виборців» і «користувачів». Моделі вивчили те, що вже знає кожне рекламне агентство: реальність викривляється, коли ви оптимізуєтеся на кліки. У документі є графік, який говорить сам за себе: продуктивність вгору, вирівнювання вниз. Ідеальна кореляція. Це версія перегонів соціальних мереж на дно зі штучним інтелектом, але автоматизована та самопідсилюється. ...