щойно випустив Kestrel 0.1.2 Це дуже швидкий двигун виведення Moondream - додано підтримку SM89 (цифри L40S нижче) - sm90 (H100) трохи швидший, ніж раніше
vik
vik11 лют., 14:16
оптимізація висновку для GPU рівня L4. максимальне споживання потужності 72 Вт
- також має працювати на інших відеокартах без швидких ядер, все ще користуючись розумним пакетуванням тощо, але я ще не тестував це детально
71