Măsurarea eficienței gândirii în modelele de raționament: punctul de referință lipsă Am măsurat utilizarea jetoanelor în toate modelele de raționament: modelele deschise produc de 1,5-4 ori mai multe jetoane decât modelele închise pe sarcini identice, dar cu o variație uriașă în funcție de tipul de sarcină (până la 10 ori la întrebări simple). Acest cost ascuns anulează adesea avantajele prețurilor per token. Eficiența token-urilor ar trebui să devină o țintă principală alături de benchmark-urile de precizie, în special având în vedere cazurile de utilizare fără raționament. Citiți revizuirea amănunțită a eficienței raționamentului în peisajul modelelor deschise și închise în cea mai recentă postare pe blog în colaborare cu cercetătorul nostru rezident, Tim. Vedeți mai multe despre munca lor aici: