Minggu ini, tim kinerja model Baseten membuka TPS dan TTFT tercepat untuk gpt-oss 120b pada perangkat keras @nvidia. Ketika gpt-oss diluncurkan, kami berlari untuk menawarkannya pada 450 TPS... sekarang kami telah melampaui 650 TPS dan 0,11 detik TTFT... Dan kami akan terus bekerja untuk terus meningkatkan standar. Kami bangga menawarkan latensi E2E terbaik yang tersedia dengan skala yang hampir tak terbatas, kinerja luar biasa, dan waktu aktif tertinggi 99,99%.