Měření efektivity myšlení v modelech uvažování: Chybějící měřítko Měřili jsme využití tokenů napříč modely uvažování: otevřené modely produkují 1,5–4x více tokenů než uzavřené modely na identických úkolech, ale s obrovskou variabilitou v závislosti na typu úkolu (až 10x u jednoduchých otázek). Tyto skryté náklady často negují cenové výhody za token. Efektivita tokenů by se měla stát primárním cílem vedle srovnávacích testů přesnosti, zejména s ohledem na případy použití, které nejsou opodstatněné. Přečtěte si podrobný přehled efektivity uvažování v prostředí otevřených a uzavřených modelů v našem nejnovějším příspěvku na blogu ve spolupráci s naším výzkumným pracovníkem Timem. Podívejte se na více jejich prací zde: