vừa phát hành kestrel 0.1.2 đây là một công cụ suy diễn moondream rất nhanh - đã thêm hỗ trợ sm89 (các số L40S bên dưới) - sm90 (H100) nhanh hơn một chút so với trước đây
vik
vik14:16 11 thg 2
tối ưu hóa suy diễn cho GPU L4. công suất tối đa 72 W
- cũng nên chạy trên các GPU khác mà không cần các kernel nhanh, vẫn được hưởng lợi từ việc nhóm thông minh v.v. nhưng tôi chưa thử nghiệm điều đó một cách kỹ lưỡng.
62