Yksinkertaiset luottamusmittarit perustuvat keskimääräiseen log-todennäköisyyteen, jota käytetään päättelyjälkien suodattamiseen. Jälleen kerran erittäin mukavaa tutkimusta, jonka mahdollistaa pääsy korkealaatuisiin avoimen lähdekoodin malleihin. Etsi yhä tehokkaampia putkistoja, joissa on "generaattori-todentaja"-arkkitehtuuri, joka karsii huonoja tuloksia. Todentaja voi olla malliinstanssi tai jonkinlainen matemaattinen funktio, kuten tässä artikkelissa kehitetyt sisäiset luottamusmittarit. Nykyiset mallit ovat erittäin tehokkaita, kun niitä käytetään tällaisen putken ja suurten token-budjettien kanssa. (Tässä ~1E8 tokenia, joita käytetään AIME 2025:ssä.) "DeepConf hyödyntää mallin sisäisiä luottamussignaaleja suodattaakseen dynaamisesti huonolaatuisia päättelyjälkiä sukupolven aikana tai sen jälkeen. Se ei vaadi ylimääräistä mallikoulutusta tai hyperparametrien viritystä, ja se voidaan integroida saumattomasti olemassa oleviin tarjoilukehyksiin. Arvioimme DeepConfia erilaisissa päättelytehtävissä ja uusimmissa avoimen lähdekoodin malleissa, mukaan lukien Qwen 3- ja GPT-OSS-sarjat. Erityisesti haastavissa vertailuarvoissa, kuten AIME 2025, DeepConf@512 saavuttaa jopa 99,9 %:n tarkkuuden ja vähentää luotuja tokeneita jopa 84,7 % verrattuna täysin rinnakkaiseen ajatteluun." Huomaa ironiaa, että nämä Meta-tutkijat käyttävät käyttöjärjestelmämalleja Qwen, GPT-OSS ja DeepSeek, mutta ei laamaa 😢