Ukuran keyakinan sederhana berdasarkan probabilitas log rata-rata yang digunakan untuk memfilter jejak penalaran. Sekali lagi, penelitian yang sangat bagus dimungkinkan oleh akses ke model open source berkualitas tinggi. Carilah pipeline yang semakin kuat dengan arsitektur "generator-verifier" yang memangkas hasil buruk. Verifikator dapat berupa contoh model, atau semacam fungsi matematika seperti metrik kepercayaan internal yang dikembangkan dalam makalah ini. Model yang ada sangat kuat ketika digunakan dengan pipeline semacam ini dan anggaran token yang besar. (Di sini, ~1E8 token digunakan untuk AIME 2025.) "DeepConf memanfaatkan sinyal kepercayaan internal model untuk secara dinamis menyaring jejak penalaran berkualitas rendah selama atau setelah generasi. Ini tidak memerlukan pelatihan model tambahan atau penyetelan hiperparameter dan dapat diintegrasikan dengan mulus ke dalam kerangka kerja penyajian yang ada. Kami mengevaluasi DeepConf di berbagai tugas penalaran dan model sumber terbuka terbaru, termasuk seri Qwen 3 dan GPT-OSS. Khususnya, pada tolok ukur yang menantang seperti AIME 2025, DeepConf@512 mencapai akurasi hingga 99,9% dan mengurangi token yang dihasilkan hingga 84,7% dibandingkan dengan pemikiran paralel penuh." Perhatikan ironi peneliti Meta ini menggunakan model OS Qwen, GPT-OSS, dan DeepSeek, tetapi tidak ada Llama 😢