RT @markchen90: Penyelarasan bisa dibilang merupakan batas penelitian AI yang paling penting. Saat kita menskalakan penalaran, model mendapatkan kesadaran situasional ...

Minggu lalu, model penalaran kami mengambil bagian dalam Kontes Pemrograman Perguruan Tinggi Internasional (ICPC) 2025, kompetisi pemrograman tingkat universitas terkemuka di dunia. Sistem kami memecahkan semua 12 dari 12 masalah, kinerja yang akan menempati posisi pertama di dunia (tim manusia terbaik memecahkan 11 masalah). Tonggak sejarah ini melengkapi pertunjukan kompetisi selama 2 bulan yang intens oleh model kami: - Tempat kedua di Final Dunia Heuristik AtCoder - Medali emas di Olimpiade Matematika Internasional - Medali emas di Olimpiade Internasional dalam Informatika - Dan sekarang, medali emas, finis pertama di Final Dunia ICPC. Saya percaya hasil ini, yang berasal dari keluarga model penalaran umum yang berakar pada program penelitian utama kami, mungkin merupakan tolok ukur kemajuan yang paling jelas tahun ini. Kompetisi ini adalah tes mandiri yang bagus dan berkotak waktu untuk kemampuan menemukan ide-ide baru. Bahkan sebelum model kami mahir dalam aritmatika sederhana, kami melihat kontes ini sebagai tonggak kemajuan menuju kecerdasan buatan transformatif. Model kami sekarang menempati peringkat di antara manusia teratas di domain ini, ketika diajukan dengan pertanyaan yang ditentukan dengan baik dan dibatasi hingga ~5 jam. Tantangannya sekarang adalah beralih ke masalah yang lebih terbuka, dan cakrawala waktu yang jauh lebih panjang. Tingkat kemampuan penalaran ini, diterapkan selama berbulan-bulan dan bertahun-tahun untuk masalah yang benar-benar penting, adalah apa yang kami kejar - mengotomatiskan penemuan ilmiah. Kemajuan pesat ini juga menggarisbawahi pentingnya penelitian keselamatan & penyelarasan. Kita masih membutuhkan lebih banyak pemahaman tentang sifat penyelarasan model penalaran yang berjalan lama; khususnya, saya merekomendasikan untuk meninjau temuan menarik dari studi tentang skema dalam model penalaran yang kami rilis hari ini ( Selamat kepada rekan satu tim saya yang mencurahkan hati mereka untuk mendapatkan hasil kompetisi ini, dan kepada semua orang yang berkontribusi pada penelitian fundamental yang mendasari yang memungkinkan mereka!

Saya sangat bersemangat tentang potensi kesetiaan rantai pemikiran & interpretabilitas. Ini telah secara signifikan memengaruhi desain model penalaran kami, dimulai dengan pratinjau o1. Karena sistem AI menghabiskan lebih banyak pekerjaan komputasi misalnya untuk masalah penelitian jangka panjang, sangat penting bagi kita untuk memiliki beberapa cara untuk memantau proses internal mereka. Properti luar biasa dari CoT tersembunyi adalah bahwa meskipun mereka memulai dengan bahasa yang dapat kita tafsirkan, prosedur pengoptimalan yang dapat diskalakan tidak bertentangan dengan kemampuan pengamat untuk memverifikasi maksud model - tidak seperti misalnya pengawasan langsung dengan model hadiah. Ketegangan di sini adalah bahwa jika CoT tidak disembunyikan secara default, dan kami melihat proses tersebut sebagai bagian dari output AI, ada banyak insentif (dan dalam beberapa kasus, kebutuhan) untuk mengawasinya. Saya percaya kita dapat bekerja menuju yang terbaik dari kedua dunia di sini - melatih model kita untuk menjadi hebat dalam menjelaskan penalaran internal mereka, tetapi pada saat yang sama masih mempertahankan kemampuan untuk memverifikasinya sesekali. Kesetiaan CoT adalah bagian dari arah penelitian yang lebih luas, yaitu pelatihan untuk interpretabilitas: menetapkan tujuan dengan cara yang melatih setidaknya sebagian dari sistem untuk tetap jujur & dapat dipantau dengan skala. Kami terus meningkatkan investasi kami dalam penelitian ini di OpenAI.