net uitgebracht kestrel 0.1.2 het is een echt snelle moondream inferentie-engine - sm89 ondersteuning toegevoegd (L40S nummers hieronder) - sm90 (H100) iets sneller dan voorheen
vik
vik11 feb, 14:16
inference optimaliseren voor L4 GPU's. maximaal stroomverbruik 72 W
- zou ook op andere GPU's moeten draaien zonder snelle kernels, maar nog steeds profiteren van slimme batching enz. maar ik heb dat nog niet grondig getest.
48