Mengukur Efisiensi Berpikir dalam Model Penalaran: Tolok Ukur yang Hilang Kami mengukur penggunaan token di seluruh model penalaran: model terbuka menghasilkan 1,5-4x lebih banyak token daripada model tertutup pada tugas yang identik, tetapi dengan variasi besar tergantung pada jenis tugas (hingga 10x pada pertanyaan sederhana). Biaya tersembunyi ini sering kali meniadakan keuntungan harga per token. Efisiensi token harus menjadi target utama di samping tolok ukur akurasi, terutama mengingat kasus penggunaan non-penalaran. Baca tinjauan menyeluruh tentang efisiensi penalaran di seluruh lanskap model terbuka dan tertutup di posting blog terbaru kami bekerja sama dengan peneliti kami, Tim. Lihat lebih banyak karya mereka di sini: