właśnie wydano kestrel 0.1.2 to naprawdę szybki silnik wnioskowania moondream - dodano wsparcie dla sm89 (numery L40S poniżej) - sm90 (H100) nieco szybszy niż wcześniej
vik
vik11 lut, 14:16
optymalizacja wnioskowania dla GPU L4. maksymalne zużycie energii 72 W
- powinno również działać na innych GPU bez szybkich rdzeni, nadal korzystając z inteligentnego pakowania itp., ale jeszcze tego nie testowałem dokładnie
34