Måling av tenkeeffektivitet i resonneringsmodeller: Den manglende målestokken Vi målte tokenbruk på tvers av resonneringsmodeller: åpne modeller sender ut 1,5-4 ganger flere tokens enn lukkede modeller på identiske oppgaver, men med stor variasjon avhengig av oppgavetype (opptil 10 ganger på enkle spørsmål). Denne skjulte kostnaden opphever ofte prisfordeler per token. Tokeneffektivitet bør bli et primært mål sammen med nøyaktighetsstandarder, spesielt med tanke på ikke-resonnerende brukstilfeller. Les den grundige gjennomgangen av resonnementeffektivitet på tvers av det åpne og lukkede modelllandskapet i vårt siste blogginnlegg i samarbeid med vår forsker i residens, Tim. Se mer av deres arbeid her: