1/10🧵 @nousresearch publiserte nylig en interessant studie som viser at åpne modeller bruker 2-3 ganger flere tokens enn lukkede modeller for resonneringsoppgaver. Vi testet om dynamisk tokentildeling kunne bidra til å løse dette effektivitetsgapet. Her er hva vi lærte 👇
Nous Research
Nous Research15. aug., 04:30
Måling av tenkeeffektivitet i resonneringsmodeller: Den manglende målestokken Vi målte tokenbruk på tvers av resonneringsmodeller: åpne modeller sender ut 1,5-4 ganger flere tokens enn lukkede modeller på identiske oppgaver, men med stor variasjon avhengig av oppgavetype (opptil 10 ganger på enkle spørsmål). Denne skjulte kostnaden opphever ofte prisfordeler per token. Tokeneffektivitet bør bli et primært mål sammen med nøyaktighetsstandarder, spesielt med tanke på ikke-resonnerende brukstilfeller. Les den grundige gjennomgangen av resonnementeffektivitet på tvers av det åpne og lukkede modelllandskapet i vårt siste blogginnlegg i samarbeid med vår forsker i residens, Tim. Se mer av deres arbeid her:
6,99K