Еще одна SOTA открытая модель 👍 С 355B параметрами (32B активный MoE) она немного меньше, чем некоторые из моделей ~1T, которые мы видели. Насколько я знаю, они не говорят, какое оборудование использовалось для обучения этой модели, но они использовали 23T токенов для обучения. Насколько я понимаю, как Alibaba, так и Tencent являются инвесторами в стартап, который находится в Пекине.
Z.ai
Z.ai11 авг., 11:43
Представляем технический отчет GLM-4.5!👇 В этой работе показано, как мы разработали модели, которые превосходно справляются с задачами рассуждения, кодирования и агентными задачами с помощью уникальной многоступенчатой парадигмы обучения. Ключевые инновации включают итерацию экспертных моделей с самодистилляцией для объединения возможностей, гибридный режим рассуждения для динамического решения проблем и учебный план на основе сложности с подкрепляющим обучением.
7K