acabo de lanzar kestrel 0.1.2 es un motor de inferencia moondream realmente rápido - soporte para sm89 (números L40S a continuación) - sm90 (H100) ligeramente más rápido que antes
vik
vik11 feb, 14:16
optimizando la inferencia para GPUs L4. consumo máximo de energía 72 W
- también debería funcionar en otras GPU sin núcleos rápidos, beneficiándose aún de la agrupación inteligente, etc. pero no lo he probado a fondo todavía
40