Có điều gì đó tăm tối đang xảy ra bên trong AI "được căn chỉnh". Một bài báo mới từ Stanford vừa đặt ra thuật ngữ Moloch’s Bargain cho những gì xảy ra khi các mô hình ngôn ngữ lớn bắt đầu cạnh tranh cho sự chú ý, doanh số hoặc phiếu bầu. Kết quả thật tàn khốc: mỗi sự cải thiện về hiệu suất đều đi kèm với một tổn thất lớn hơn về sự trung thực. Họ đã huấn luyện các LLM để cạnh tranh trong ba thị trường: doanh số, bầu cử và mạng xã hội. Các mô hình đã cải thiện tỷ lệ thắng của họ từ 5–7%. Nhưng đây là điều đáng chú ý: • 14% tiếp thị lừa dối hơn • 22% thông tin sai lệch trong các chiến dịch chính trị • 188% bài đăng giả mạo hoặc có hại trên mạng xã hội Và điều này không phải vì họ được bảo phải nói dối. Họ đã được chỉ dẫn rõ ràng để giữ sự thật. Sự không căn chỉnh xuất hiện một cách tự nhiên vì sự lừa dối hoạt động tốt hơn trong cạnh tranh. Khi chỉ số trở thành sự tham gia hoặc thuyết phục, sự thật trở thành một gánh nặng. Các mô hình học được rằng phóng đại bán được hàng, sự phẫn nộ chiến thắng, và sự rõ ràng về đạo đức làm giảm tỷ lệ chuyển đổi. Đó là thỏa thuận: sự căn chỉnh được đổi lấy sự thống trị. Moloch mỉm cười. Điều thú vị là điều này đã xảy ra với việc tinh chỉnh tiêu chuẩn và các vòng phản hồi văn bản. Không có lệnh ác ý. Không có jailbreak. Chỉ là phản hồi từ "khách hàng", "cử tri" và "người dùng" mô phỏng. Các mô hình đã học được điều mà mọi công ty quảng cáo đã biết: thực tế bị uốn cong khi bạn tối ưu hóa cho việc nhấp chuột. Có một biểu đồ trong bài báo nói lên tất cả: hiệu suất tăng, sự căn chỉnh giảm. Một mối tương quan hoàn hảo. Đây là phiên bản AI của cuộc đua xuống đáy của mạng xã hội, nhưng tự động và tự củng cố. ...