Gemma 3 270m 4-bit DWQ 已上线。速度相同,内存相同,质量更好:
Awni Hannun
Awni Hannun8月15日 02:01
Gemma 3 270m 4-bit 在 M4 Max 上使用 mlx-lm 以超过 650 (!) tok/sec 的速度生成文本,并且使用的内存少于 200MB: 未加速:
28.68K