На этой неделе команда по производительности моделей Baseten разблокировала самый быстрый TPS и TTFT для gpt-oss 120b на оборудовании @nvidia. Когда gpt-oss был запущен, мы стремились предложить его с 450 TPS... теперь мы превысили 650 TPS и 0.11 сек TTFT... и мы продолжим работать, чтобы поднять планку. Мы гордимся тем, что предлагаем лучшую доступную задержку E2E с почти безграничным масштабом, невероятной производительностью и максимальным временем безотказной работы 99.99%.