Mamba-3 скоро выйдет! Лучшие показатели производительности, чем у Transformers и Fast Weight Programmers (FWP) ()

Отлично видеть новые Tinker-docs от @thinkymachines, которые подтверждают несоответствие в потере GRPO. Мы исследовали эту проблему в нашей предыдущей работе () и разработали более надежный метод с существенными улучшениями производительности: • +12 абсолютных пунктов по сравнению с GRPO • +6 абсолютных пунктов по сравнению с DAPO В нашей статье подробно описывается проект KL-регуляризованных алгоритмов градиента политики, а наш репозиторий предоставляет исправленную реализацию. Статья: Код: