Abbiamo reso open source HY-1.8B-2Bit, un LLM ad alta efficienza a 2 bit progettato per il deployment su dispositivo. Questo modello riduce la base da 1.8B a un'impronta di parametro efficace di 0.3B, richiedendo solo 600MB di spazio di archiviazione, rendendolo più piccolo di molte app mobili. 🔹 Strategia Ultra-Basso-Bit: Utilizza QAT (Addestramento Consapevole della Quantizzazione) per raggiungere una rappresentazione a 2 bit (dimensione equivalente a 0.3B bit). 🔹 Ragionamento Dual-CoT: Mantiene sofisticate capacità di Dual Chain-of-Thought nonostante la radicale riduzione della precisione. 🔹 Prestazioni: 3-8 volte più veloce nel prefill su Apple M4 e MediaTek Dimensity 9500; 2-3 volte più veloce nella generazione di token su dispositivo. 🔹 Vantaggi nei Benchmark: Raggiunge un vantaggio medio di accuratezza del 17% rispetto a modelli di dimensioni equivalenti. 🔹 Sinergia Hardware: Ottimizzato per Arm SME2 e silicio moderno per consumatori. HY-1.8B-2Bit è disponibile ora in formato GGUF per un'integrazione senza soluzione di continuità nei motori di inferenza basati su edge. Pagina del Progetto: Pesi: Versione GGUF: Rapporto Tecnico: