Werd wakker met een nieuwe PR van mij die is samengevoegd in torchtitan. Het verhelpt een instabiliteit in torch trunc_normal_ voor bf16 die gewichten bij de initialisatie vervormde, wat leidde tot grote activaties en onbetrouwbare training.

Interessant paper dat de gehele RL-trajectorie differentieerbaar maakt, waardoor backpropagation door de tijd mogelijk is. Ze nemen "zachte tokens", voeren deze terug in de transformer en passen een differentieerbare beloning toe op hen. Erg cool werk! 🔗

Interessant paper! Het behandelt de divergentie van logits in de training van LLM met een eenvoudige oplossing: centreer de output-embeddings door hun gemiddelde af te trekken. De theorie klopt, nette en elegante oplossing! 🔗