Ще одна модель 👍 SOTA з відкритим вихідним кодом При параметрах 355B (32B active MoE) це трохи менше, ніж деякі моделі ~1T, які ми бачили. AFAIK не кажуть, яке обладнання використовувалося для навчання цієї моделі, але вони використовували 23T тренувальні токени. Інвесторами є IIUC, як Alibaba, так і Tencent, який є стартапом у Пекіні.
Z.ai
Z.ai11 серп., 11:43
Представляємо технічний звіт GLM-4.5! 👇 Ця робота демонструє, як ми розробили моделі, які чудово справляються з міркуваннями, кодуванням та агентними завданнями завдяки унікальній, багатоступеневій парадигмі навчання. Ключові інновації включають ітерацію експертної моделі з самодистиляцією для уніфікації можливостей, гібридний режим міркувань для динамічного вирішення проблем і навчальну програму навчання з підкріпленням на основі складності.
6,98K