Tornámos o HY-1.8B-2Bit de código aberto, um LLM de alta eficiência de 2 bits construído para implementação em dispositivos. Este modelo reduz a base de 1.8B para uma pegada efetiva de 0.3B parâmetros, exigindo apenas 600MB de armazenamento, tornando-o menor do que muitas aplicações móveis. 🔹 Estratégia Ultra-Bit Baixo: Utiliza QAT (Treinamento Consciente de Quantização) para alcançar uma representação de 2 bits (tamanho equivalente a 0.3B bits). 🔹 Raciocínio Dual-CoT: Mantém capacidades sofisticadas de Dual Chain-of-Thought apesar da redução radical de precisão. 🔹 Desempenho: 3-8x mais rápido na pré-preenchimento em Apple M4 e MediaTek Dimensity 9500; 2-3x mais rápida a geração de tokens no dispositivo. 🔹 Ganhos de Benchmark: Alcança uma vantagem média de 17% em precisão sobre modelos de tamanho equivalente. 🔹 Sinergia de Hardware: Otimizado para Arm SME2 e silício moderno de consumo. HY-1.8B-2Bit está disponível agora no formato GGUF para integração perfeita em motores de inferência baseados em edge. Página do Projeto: Pesos: Versão GGUF: Relatório Técnico: