Vaknade upp till att en ny PR för mig slogs ihop med Torchtitan. Den åtgärdar en instabilitet i facklan trunc_normal_ för bf16 som snedvridit vikterna vid initialisering, vilket leder till stora aktiveringar och instabil träning.

Intressant artikel som gör hela RL-banan differentierbar, vilket möjliggör backpropagation över tid. De samplar "mjuka tokens", matar tillbaka dem i transformatorn och applicerar en differentierbar belöning på dem. Väldigt häftigt arbete! 🔗

Intressant artikel! Den tar itu med logit-divergens i LLM-träning med en enkel lösning: centrera utgångsinbäddningarna genom att subtrahera deras medelvärde. Teorin stämmer, snygg och elegant lösning! 🔗