Gemma 3 270m 4-bit DWQ est en ligne. Même vitesse, même mémoire, qualité bien meilleure :
Awni Hannun
Awni Hannun15 août, 02:01
Gemma 3 270m 4-bit génère du texte à plus de 650 ( !) tok/sec sur un M4 Max avec mlx-lm et utilise < 200MB : Pas accéléré :
28,74K