剛剛發布了 kestrel 0.1.2 這是一個非常快速的 moondream 推理引擎 - 新增 sm89 支援(L40S 數字如下) - sm90(H100)比之前稍快
vik
vik2月11日 14:16
為 L4 GPU 優化推理。最大功耗 72 W
- 也應該能在其他沒有快速內核的 GPU 上運行,仍然能從智能批處理等中受益,但我還沒有徹底測試過。
73