Enviamos Gemma 3 27B en marzo y sigue siendo la mejor opción para las GPU de consumo. Tiene sólidas capacidades multimodales, QAT para desbloquear una cuantificación robusta y es un tamaño fácil de usar para los desarrolladores. Y tenemos más en el horno 🧑 🍳
Kim BENNI
Kim BENNI14 ago, 01:55
La clave es que entre esos 10 modelos principales, Gemma y Mistral Small de Google son los únicos que pueden caber / ejecutarse en hardware de consumo. Una sola RTX 4090 es suficiente. Todos los demás modelos tienen parámetros >100b y requieren un hardware profesional muy caro. Esto cambia la perspectiva mucho más allá de la puntuación bruta en mi opinión.
86.99K