Abbiamo spedito Gemma 3 27B a marzo, ed è ancora una delle scelte migliori per le GPU consumer. Ha solide capacità multimodali, QAT per sbloccare una quantizzazione robusta, ed è di dimensioni adatte agli sviluppatori. E abbiamo altro in arrivo 🧑‍🍳
Kim BENNI
Kim BENNI14 ago, 01:55
La chiave è che tra quei primi 10 modelli, Gemma e Mistral Small di Google sono gli unici che possono essere eseguiti su hardware consumer. Una singola RTX 4090 è sufficiente. Tutti gli altri modelli hanno più di 100 miliardi di parametri e richiedono hardware professionale molto costoso. Questo cambia molto la prospettiva oltre al punteggio grezzo, secondo me.
86,96K