Dari arsip: Kami bertanya kepada @MarkChen (Chief Research Officer di @OpenAI) bagaimana mengejar metrik pengguna dapat membahayakan pengembangan AI. Dia menyoroti bagaimana mengejar metrik sederhana seperti pengguna aktif harian (DAU) dapat mendistorsi perilaku model dari waktu ke waktu: "Jika Anda hanya meningkatkan respons di mana pengguna mengacungkan jempol, itu menciptakan kondisi untuk model... di mana itu mulai menyedot Anda, mengatakan 'hei, Anda benar,' bahkan dalam situasi rumit di mana secara objektif Anda akan mengatakan orang ini salah." Chen menggambarkan perlunya pendekatan yang hati-hati terhadap metrik: "Kami perlu berpendapat tentang fitur yang kami bangun. Bangun untuk hal-hal yang diinginkan orang, mungkin belum tentu tahu mereka inginkan hari ini, dan kemudian gunakan DAU sebagai produk sampingan." "Kami tidak ingin jatuh ke dalam perangkap ini di mana tiga, empat tahun dari sekarang ini berubah menjadi umpan keterlibatan."