Ich bin aufgewacht und habe gesehen, dass ein neues PR von mir in torchtitan zusammengeführt wurde. Es behebt eine Instabilität in torch trunc_normal_ für bf16, die Gewichte bei der Initialisierung verzerrte, was zu großen Aktivierungen und instabilem Training führte.

Interessantes Papier, das die gesamte RL-Trajektorie differenzierbar macht, was Rückpropagation über die Zeit ermöglicht. Sie sampeln "weiche Tokens", speisen sie zurück in den Transformer und wenden eine differenzierbare Belohnung auf sie an. Sehr coole Arbeit! 🔗

Interessantes Papier! Es behandelt die Divergenz der Logits im Training von LLMs mit einer einfachen Lösung: die Ausgabe-Embeddings zentrieren, indem man ihren Mittelwert subtrahiert. Die Theorie stimmt, eine saubere und elegante Lösung! 🔗