Проснулся с новостью о том, что мой новый PR был объединен в torchtitan. Он исправляет нестабильность в функции torch trunc_normal_ для bf16, которая искажала веса при инициализации, что приводило к большим активациям и нестабильному обучению.

Интересная работа, которая делает всю траекторию RL дифференцируемой, позволяя обратное распространение по времени. Они выбирают "мягкие токены", подают их обратно в трансформер и применяют дифференцируемую награду к ним. Очень классная работа! 🔗

Интересная статья! Она рассматривает дивергенцию логитов в обучении LLM с простым решением: центрирование выходных эмбеддингов путем вычитания их среднего значения. Теория подтверждается, аккуратное и элегантное решение! 🔗