Hemos abierto el código de HY-1.8B-2Bit, un LLM de alta eficiencia de 2 bits diseñado para implementación en dispositivos. Este modelo reduce la base de 1.8B a una huella efectiva de 0.3B en parámetros, requiriendo solo 600MB de almacenamiento, lo que lo hace más pequeño que muchas aplicaciones móviles. 🔹 Estrategia Ultra-Bajo-Bit: Utiliza QAT (Entrenamiento Consciente de Cuantización) para alcanzar una representación de 2 bits (tamaño equivalente a 0.3B bits). 🔹 Razonamiento Dual-CoT: Retiene capacidades sofisticadas de Doble Cadena de Pensamiento a pesar de la drástica reducción de precisión. 🔹 Rendimiento: 3-8x más rápido en prellenado en Apple M4 y MediaTek Dimensity 9500; 2-3x más rápido en generación de tokens en el dispositivo. 🔹 Ganancias en Benchmark: Logra una ventaja de precisión promedio del 17% sobre modelos de tamaño equivalente. 🔹 Sinergia de Hardware: Optimizado para Arm SME2 y silicio moderno para consumidores. HY-1.8B-2Bit ya está disponible en formato GGUF para una integración fluida en motores de inferencia basados en el borde. Página del Proyecto: Pesos: Versión GGUF: Informe Técnico: