💡 Önde gelen çıkarım sağlayıcıları — @basetenco, @DeepInfra, @FireworksAI_HQ ve @togethercompute — NVIDIA Blackwell platformu tarafından desteklenen optimize edilmiş çıkarım yığınlarıyla sektörler arasında token başına maliyeti 10 katına kadar düşürüyor. #opensource sınır zekasını NVIDIA Blackwell'in donanım-yazılım ortak tasarımı ve kendi optimize edilmiş çıkarım yığınlarıyla birleştirerek, bu sağlayıcılar @SullyAI, Latitude, Sentient ve Decagon gibi işletmeler için önemli token maliyet azalmaları sağlıyor. 🔗

⚡ NVIDIA Blackwell tarafından desteklenen @togethercompute ve @DecagonAI, yapay zeka müşteri hizmetlerini hızlandırıyor — insan benzeri sesli etkileşimleri 600 ms'den kısa sürede sunuyor ve maliyetleri 6 kat azaltıyor. NVIDIA Blackwell üzerinde çalışan Together'ın optimize edilmiş çıkarım yığını sayesinde, Decagon, gerçek zamanlı konsiyerj deneyimlerini ölçekli olarak sağlıyor — saniyede yüzlerce sorguyu saniyenin altında hassasiyetle ele alıyor.

🩺 @SullyAI, NVIDIA Blackwell GPU'larında gpt-oss-120b gibi öncü açık modelleri çalıştıran Baseten'in Model API'si ile sağlık verimliliğini dönüştürüyor. NVIDIA Blackwell, NVFP4, TensorRT-LLM ve NVIDIA Dynamo kullanılarak oluşturulan optimize edilmiş çıkarım yığınıyla Baseten, klinik not oluşturma gibi temel iş akışları için maliyet azalması ve %65 daha hızlı yanıtlar sağladı.

@basetenco @DeepInfra @FireworksAI_HQ @togethercompute @DecagonAI @sullyai ⚙️ Latitude, NVIDIA Blackwell GPU'ları, NVFP4 ve TensorRT LLM ile desteklenen DeepInfra'nın çıkarım platformunda büyük ölçekli uzmanların karışımı modelleri çalıştırıyor. DeepInfra, milyon token başına maliyeti 0,20 $'tan 0,05 $'a düşürdü — bu da 4 kat verimlilik artışı anlamına geliyor.

Ölçek ve karmaşıklığı yönetmek için @SentientAGI, NVIDIA Blackwell üzerinde çalışan Fireworks AI çıkarım platformunu kullanıyor. @FireworksAI_HQ'nin Blackwell optimize edilmiş çıkarım yığını ile Sentient, önceki Hopper tabanlı dağıtımına kıyasla %25-50 daha iyi maliyet verimliliği sağladı.  Başka bir deyişle, şirket aynı maliyetle her GPU'da %25–50 daha fazla eşzamanlı kullanıcıya hizmet verebilir. Platformun ölçeklenebilirliği, 24 saat içinde 1,8 milyon bekleme listesindeki kullanıcının viral lansmanını destekledi ve bir haftada 5,6 milyon sorgu işlenirken tutarlı düşük gecikme sağladı.