Gemma 3 270m 4-bit DWQ 已上線。速度相同,內存相同,質量更好:
Awni Hannun
Awni Hannun8月15日 02:01
Gemma 3 270m 4-bit 在 M4 Max 上使用 mlx-lm 以超過 650 (!) tok/sec 的速度生成文本,並且使用的記憶體少於 200MB: 未加速:
28.68K