Har nettopp lansert Kestrel 0.1.2 Det er en veldig rask Moondream-inferensmotor - lagt til SM89-støtte (L40S-numre nedenfor) - sm90 (H100) litt raskere enn før
vik
vik11. feb., 14:16
optimalisering av inferensen for L4-GPUer. maks strømforbruk 72 W
- bør også kjøre på andre GPU-er uten raske kjerner, og fortsatt dra nytte av smart batching osv., men jeg har ikke testet det grundig ennå
51