Mamba-3 arrive bientôt ! Meilleure performance que les Transformers et les Programmeurs de Poids Rapides (FWP) ()

Excellent de voir les nouvelles Tinker-docs de @thinkymachines, qui confirment une incohérence dans la perte GRPO. Nous avons exploré ce problème dans nos travaux précédents () et développé une méthode plus robuste avec des améliorations de performance substantielles : • +12 points absolus par rapport à GRPO • +6 points absolus par rapport à DAPO Notre article détaille la conception des algorithmes de gradient de politique régularisés par KL, et notre dépôt fournit une implémentation corrigée. Article : Code :