Немногие разговоры остаются с вами, разговор с @JonathanRoss321 в Бангалоре (спасибо Lightspeed @MohapatraHemant) был одним из них. Основные выводы: 1. Быстрая инференция — это не только скорость. Когда время является ограничением, качество вывода значительно улучшается (обрабатывается больше токенов). 2. Для предприятий настоящая игра — это экономика: они будут продолжать инвестировать в более быструю инференцию, пока конкретные задачи не начнут снижать затраты или увеличивать доходы.