Вимірювання ефективності мислення в моделях міркувань: відсутній орієнтир Ми виміряли використання токенів у моделях міркувань: відкриті моделі видають у 1,5-4 рази більше токенів, ніж закриті моделі на ідентичні завдання, але з величезною дисперсією залежно від типу завдання (до 10 разів на прості запитання). Ця прихована вартість часто зводить нанівець переваги ціноутворення за токен. Ефективність токенів повинна стати основною метою поряд з контрольними показниками точності, особливо з урахуванням випадків використання, не пов'язаних з обґрунтуванням. Прочитайте детальний огляд ефективності міркувань у відкритому та закритому модельному ландшафті в нашому останньому дописі в блозі у співпраці з нашим дослідником за місцем проживання Тімом. Більше їхніх робіт дивіться тут: