今週、Baseten のモデル パフォーマンス チームは、@nvidia ハードウェア上の gpt-oss 120b の最速の TPS と TTFT のロックを解除しました。gpt-ossが発売されたとき、私たちは450 TPSで提供するために全力疾走しました...これで 650 TPS と 0.11 秒の TTFT を超えました...そして、私たちはハードルを引き上げ続けるために努力し続けます。 当社は、ほぼ無限のスケール、驚異的なパフォーマンス、99.99%の最高の稼働時間を備えた最高のE2Eレイテンシーを提供できることを誇りに思っています。