Измерение эффективности мышления в моделях рассуждения: недостающий эталон Мы измерили использование токенов в моделях рассуждения: открытые модели выдают на 1,5-4 раза больше токенов, чем закрытые модели при выполнении одинаковых задач, но с огромной вариацией в зависимости от типа задачи (до 10 раз на простых вопросах). Эта скрытая стоимость часто нивелирует преимущества ценообразования за токены. Эффективность токенов должна стать основной целью наряду с эталонами точности, особенно учитывая случаи использования, не связанные с рассуждением. Читать подробный обзор эффективности рассуждений в открытых и закрытых моделях в нашем последнем блоге в сотрудничестве с нашим исследователем на месте, Тимом. Смотрите больше их работ здесь: