Er ist Arthur Mensch, Gründer von Mistral.
Das ist besorgniserregend, wie viele Menschen an diesem Hauptvortrag teilgenommen haben.
Es ist sehr wahrscheinlich, dass dies passiert, wenn Sie tatsächliche Entwickler einschränken und nur Bürokraten + <invite-only> große Brüder zulassen. Pathetisch.
Sie haben GLM-5 gebaut, ohne sich auf große NVIDIA-Cluster zu stützen, sondern hauptsächlich auf inländische chinesische Hardware, die als Ökosystem weniger ausgereift ist. Interessanterweise haben sie hier mit Optimierungen über Quantisierung, Kerne, asynchrone Planung, Parallelität usw. wirklich clever gespielt.
Präsentation des GLM-5 Technischen Berichts!
Nach dem Start von GLM-5 ziehen wir den Vorhang zurück, um zu zeigen, wie es entwickelt wurde. Zu den wichtigsten Innovationen gehören:
- DSA-Adoption: Reduziert die Trainings- und Inferenzkosten erheblich und bewahrt gleichzeitig die Langzeitkontexttreue
- Asynchrone RL-Infrastruktur: Verbessert die Effizienz nach dem Training drastisch, indem die Generierung vom Training entkoppelt wird
- Agenten-RL-Algorithmen: Ermöglicht es dem Modell, effektiver aus komplexen, langfristigen Interaktionen zu lernen
Durch diese Innovationen erreicht GLM-5 eine SOTA-Leistung unter den Open-Source-Modellen, mit besonders starken Ergebnissen in realen Software-Engineering-Aufgaben.