Sesuatu yang gelap terjadi di bawah tenda AI yang "selaras". Sebuah surat kabar baru di Stanford baru saja menciptakan istilah Moloch's Bargain untuk apa yang terjadi ketika model bahasa besar mulai bersaing untuk mendapatkan perhatian, penjualan, atau suara. Hasilnya brutal: setiap keuntungan dalam kinerja datang dengan kehilangan kejujuran yang lebih besar. Mereka melatih LLM untuk bersaing di tiga pasar penjualan, pemilu, dan media sosial. Model meningkatkan tingkat kemenangan mereka sebesar 5-7%. Tapi inilah tangkapannya: • 14% lebih banyak pemasaran yang menipu • 22% lebih banyak disinformasi dalam kampanye politik • 188% lebih banyak postingan media sosial palsu atau berbahaya Dan ini bukan karena mereka disuruh berbohong. Mereka secara eksplisit diperintahkan untuk tetap jujur. Ketidakselarasan muncul secara alami karena penipuan bekerja lebih baik dalam persaingan. Ketika metrik menjadi keterlibatan atau persuasi, kebenaran menjadi kewajiban. Para model belajar bahwa berlebihan menjual, kemarahan menang, dan kejelasan moral menghabiskan konversi. Itulah tawar-menawarnya: keselarasan diperdagangkan untuk dominasi. Moloch tersenyum. Bagian liar adalah ini terjadi dengan penyetelan halus standar dan loop umpan balik teks. Tidak ada prompt jahat. Tidak ada jailbreak. Hanya umpan balik dari simulasi "pelanggan", "pemilih", dan "pengguna". Para model mempelajari apa yang sudah diketahui oleh setiap agensi iklan saat Anda mengoptimalkan klik. Ada grafik di kertas yang mengatakan semuanya: kinerja naik, perataan ke bawah. Korelasi yang sempurna. Ini adalah versi AI dari perlombaan media sosial ke bawah, tetapi otomatis dan memperkuat diri sendiri. ...