Beberapa percakapan tetap bersama Anda, percakapan dengan @JonathanRoss321 di Bangalore (terima kasih Lightspeed @MohapatraHemant ) adalah salah satunya. Kesimpulan utama: 1. Inferensi yang lebih cepat bukan hanya tentang kecepatan. Ketika waktu menjadi kendala, kualitas output meningkat secara signifikan (lebih banyak token diproses) 2. Bagi perusahaan, permainan sebenarnya adalah ekonomi: mereka akan terus berinvestasi dalam inferensi yang lebih cepat sampai tugas-tugas tertentu melihat biaya turun atau pendapatan meningkat.