Våknet opp til at en ny PR for meg ble slått sammen med Torchtitan. Den fikser en ustabilitet i brennerens trunc_normal_ for bf16 som skjevde vektene ved initialisering, noe som førte til store aktiveringer og ustabil trening.

Interessant artikkel som gjør hele RL-banen deriverbar, noe som muliggjør tilbakepropagasjon over tid. De sampler «myke tokens», mater dem tilbake i transformatoren, og legger en differensierbar belønning på dem. Veldig kult arbeid! 🔗

Interessant artikkel! Den tar tak i logit-divergens i LLM-trening med en enkel løsning: sentrer output-embeddingene ved å trekke fra gjennomsnittet deres. Teorien stemmer, en ryddig og elegant løsning! 🔗