Mätning av tankeeffektivitet i resonemangsmodeller: Det saknade riktmärket Vi mätte tokenanvändningen i olika resonemangsmodeller: öppna modeller ger 1,5-4 gånger fler tokens än slutna modeller på identiska uppgifter, men med stor variation beroende på uppgiftstyp (upp till 10 gånger på enkla frågor). Denna dolda kostnad förnekar ofta prisfördelar per token. Tokeneffektivitet bör bli ett primärt mål vid sidan av riktmärken för noggrannhet, särskilt med tanke på användningsfall som inte är resonerande. Läs den grundliga genomgången av resonemangseffektivitet i det öppna och slutna modelllandskapet i vårt senaste blogginlägg i samarbete med vår gästforskare, Tim. Se mer av deras arbete här: