Cette semaine, l'équipe de performance des modèles de Baseten a débloqué le TPS et le TTFT les plus rapides pour gpt-oss 120b sur le matériel @nvidia. Lorsque gpt-oss a été lancé, nous avons sprinté pour l'offrir à 450 TPS... maintenant nous avons dépassé 650 TPS et 0,11 sec TTFT... et nous continuerons à travailler pour continuer à élever la barre. Nous sommes fiers d'offrir la meilleure latence E2E disponible avec une échelle presque illimitée, des performances incroyables et un temps de disponibilité le plus élevé de 99,99%.