刚刚发布了 kestrel 0.1.2 这是一个非常快速的 moondream 推理引擎 - 添加了 sm89 支持(L40S 数字如下) - sm90(H100)比之前稍快
vik
vik2月11日 14:16
为 L4 GPU 优化推理。最大功耗 72 W
- 也应该可以在其他没有快速内核的GPU上运行,仍然可以从智能批处理等中受益,但我还没有彻底测试过。
30