Baru saja merilis Kestrel 0.1.2 Ini adalah mesin inferensi moondream yang sangat cepat - menambahkan dukungan sm89 (nomor L40S di bawah) - sm90 (H100) sedikit lebih cepat dari sebelumnya
vik
vik11 Feb, 14.16
mengoptimalkan inferensi untuk GPU L4. penarikan daya maks 72 W
- juga harus berjalan pada GPU lain tanpa kernel cepat, masih mendapat manfaat dari batching cerdas dll. tetapi saya belum mengujinya secara menyeluruh
51