Прокинувся від того, що мій новий PR об'єднали з torchtitan. Він виправляє нестабільність у trunc_normal_ факела для bf16, яка викривляла ваги при ініціалізації, що призводило до великих активацій і нестабільного тренування.

Цікава стаття, яка робить всю траєкторію RL диференційовною, дозволяючи зворотному поширенню в часі. Вони пробують «м'які токени», подають їх назад у трансформер і накладають на них диференційовану винагороду. Дуже класна робота! 🔗

Цікава стаття! Вона вирішує розбіжність логітів у навчанні LLM простим рішенням: центрування вихідних вкладень шляхом віднімання їхнього середнього. Теорія підтверджується, акуратне та елегантне рішення! 🔗