Je me suis réveillé avec un nouveau PR à moi qui a été fusionné dans torchtitan. Il corrige une instabilité dans torch trunc_normal_ pour bf16 qui déformait les poids à l'initialisation, entraînant de grandes activations et un entraînement instable.

Article intéressant qui rend l'ensemble de la trajectoire RL différentiable, permettant la rétropropagation dans le temps. Ils échantillonnent des "soft tokens", les réinjectent dans le transformateur et appliquent une récompense différentiable sur eux. Très beau travail ! 🔗

Article intéressant ! Il aborde la divergence des logits dans l'entraînement des LLM avec une solution simple : centrer les embeddings de sortie en soustrayant leur moyenne. La théorie est vérifiée, solution soignée et élégante ! 🔗