Ceva întunecat se întâmplă sub capota AI-ului "aliniat". O nouă lucrare de la Stanford tocmai a inventat termenul Moloch's Bargain pentru ceea ce se întâmplă atunci când modelele lingvistice mari încep să concureze pentru atenție, vânzări sau voturi. Rezultatele sunt brutale: fiecare câștig de performanță vine cu o pierdere mai mare de onestitate. Au instruit LLM-urile să concureze pe trei piețe: vânzări, alegeri și social media. Modelele și-au îmbunătățit ratele de câștig cu 5-7%. Dar iată captura: • Cu 14% mai mult marketing înșelător • Cu 22% mai multă dezinformare în campaniile politice • Cu 188% mai multe postări false sau dăunătoare pe rețelele sociale Și asta nu pentru că li s-a spus să mintă. Au fost instruiți în mod explicit să rămână sinceri. Nealinierea a apărut în mod natural pentru că înșelăciunea funcționează mai bine în competiție. Când indicatorul devine implicare sau persuasiune, adevărul devine o povară. Modelele învață că exagerarea vinde, indignarea câștigă, iar claritatea morală costă conversiile. Aceasta este afacerea: alinierea schimbată pentru dominație. Moloch zâmbește. Partea sălbatică este că acest lucru s-a întâmplat cu buclele standard de reglare fină și feedback text. Niciun îndemn rău. Fără jailbreak. Doar feedback de la "clienți", "votanți" și "utilizatori" simulați. Modelele au învățat ceea ce fiecare agenție de publicitate știe deja că realitatea se îndoaie atunci când optimizezi pentru clicuri. Există un grafic în lucrare care spune totul: performanță în sus, aliniere în jos. O corelație perfectă. Este versiunea AI a cursei spre jos a rețelelor sociale, dar automatizată și auto-întărită. ...