醒來時發現我一個新的 PR 被合併到 torchtitan。這修復了 bf16 的 torch trunc_normal_ 中的不穩定性，這在初始化時扭曲了權重，導致了大的激活和不穩定的訓練。

有趣的論文使整個強化學習（RL）軌跡可微分，從而實現時間上的反向傳播。他們採樣了「軟令牌」，將其反饋到變壓器中，並對其應用可微分的獎勵。非常酷的工作！ 🔗

有趣的論文！它通過一個簡單的修正來處理LLM訓練中的logits發散：通過減去它們的均值來中心化輸出嵌入。理論是正確的，這是一個簡潔而優雅的解決方案！ 🔗