Je to Arthur Mensch, zakladatel Mistralu.
Je znepokojující, kolik lidí se této hlavní přednášky zúčastnilo.
Je velmi pravděpodobné, že se to stane, pokud omezíte skutečné stavitele a necháte jen byrokraty + <invite-only> velké bratry. Ubohé.
GLM-5 postavili bez opírání se o velké NVIDIA clustery, ale hlavně na domácí čínský hardware, který je méně vyspělý ekosystém, a zajímavé je, že zde velmi chytře pracovali s optimalizacemi kvantizace, jader, asynchronního plánování, paralelizmu atd.
Představujeme technickou zprávu GLM-5!
Po vypuštění GLM-5 odhalujeme oponu toho, jak byla postavena. Mezi klíčové inovace patří:
- Zavedení DSA: Výrazně snižuje náklady na školení a inferenci při zachování věrnosti dlouhého kontextu
- Asynchronní RL infrastruktura: Výrazně zlepšuje efektivitu po tréninku tím, že generuje oddělení od tréninku
- Agentní RL algoritmy: Umožňují modelu učit se z komplexních, dlouhodobých interakcí efektivněji
Díky těmto inovacím dosahuje GLM-5 výkonu SOTA mezi open-source modely, s obzvláště silnými výsledky v reálných softwarových inženýrských úkolech.