Mierzenie efektywności myślenia w modelach rozumowania: brakujący benchmark Mierzyliśmy wykorzystanie tokenów w modelach rozumowania: modele otwarte generują od 1,5 do 4 razy więcej tokenów niż modele zamknięte w identycznych zadaniach, ale z ogromną zmiennością w zależności od typu zadania (nawet do 10 razy w przypadku prostych pytań). Ten ukryty koszt często niweluje zalety cenowe za token. Efektywność tokenów powinna stać się głównym celem obok benchmarków dokładności, zwłaszcza biorąc pod uwagę przypadki użycia, które nie dotyczą rozumowania. Przeczytaj dokładny przegląd efektywności rozumowania w kontekście modeli otwartych i zamkniętych w naszym najnowszym wpisie na blogu, stworzonym we współpracy z naszym badaczem rezydentem, Timem. Zobacz więcej ich prac tutaj: