Den här veckan låste Basetens modellprestandateam upp de snabbaste TPS- och TTFT-systemen för gpt-oss 120b på @nvidia hårdvara. När gpt-oss lanserades spurtade vi för att erbjuda den på 450 TPS... nu har vi överskridit 650 TPS och 0,11 sek TTFT... Och vi kommer att fortsätta jobba för att fortsätta höja ribban. Vi är stolta över att kunna erbjuda den bästa E2E-latensen som finns tillgänglig med nästan obegränsad skala, otrolig prestanda och den högsta drifttiden 99,99 %.