Отлично видеть новые Tinker-docs от @thinkymachines, которые подтверждают несоответствие в потере GRPO. Мы исследовали эту проблему в нашей предыдущей работе () и разработали более надежный метод с существенными улучшениями производительности: • +12 абсолютных пунктов по сравнению с GRPO • +6 абсолютных пунктов по сравнению с DAPO В нашей статье подробно описывается проект KL-регуляризованных алгоритмов градиента политики, а наш репозиторий предоставляет исправленную реализацию. Статья: Код: