Gemma 3 270m 4-бітний DWQ працює. Та ж швидкість, та ж пам'ять, набагато краща якість:
Awni Hannun
Awni Hannun15 серп., 02:01
Gemma 3 270m 4-bit генерує текст зі швидкістю понад 650 (!) ток/сек на M4 Max з mlx-lm і використовує < 200 МБ: Чи не прискорилися:
28,7K