1/10🧵 @nousresearch publicat recent un studiu interesant care arată că modelele deschise folosesc de 2-3 ori mai multe jetoane decât modelele închise pentru sarcini de raționament. Am testat dacă alocarea dinamică a tokenurilor ar putea ajuta la rezolvarea acestui decalaj de eficiență. Iată ce am învățat 👇
Nous Research
Nous Research15 aug., 04:30
Măsurarea eficienței gândirii în modelele de raționament: punctul de referință lipsă Am măsurat utilizarea jetoanelor în toate modelele de raționament: modelele deschise produc de 1,5-4 ori mai multe jetoane decât modelele închise pe sarcini identice, dar cu o variație uriașă în funcție de tipul de sarcină (până la 10 ori la întrebări simple). Acest cost ascuns anulează adesea avantajele prețurilor per token. Eficiența token-urilor ar trebui să devină o țintă principală alături de benchmark-urile de precizie, în special având în vedere cazurile de utilizare fără raționament. Citiți revizuirea amănunțită a eficienței raționamentului în peisajul modelelor deschise și închise în cea mai recentă postare pe blog în colaborare cu cercetătorul nostru rezident, Tim. Vedeți mai multe despre munca lor aici:
6,71K