Acordei com um novo PR meu sendo mesclado no torchtitan. Ele corrige uma instabilidade no torch trunc_normal_ para bf16 que distorcia os pesos na inicialização, levando a grandes ativações e a um treinamento instável.

Artigo interessante que torna toda a trajetória de RL diferenciável, permitindo a retropropagação ao longo do tempo. Eles amostram "tokens suaves", alimentam-nos de volta no transformador e aplicam uma recompensa diferenciável sobre eles. Trabalho muito legal! 🔗

Artigo interessante! Ele aborda a divergência de logits no treinamento de LLM com uma solução simples: centralizar as embeddings de saída subtraindo sua média. A teoria se confirma, solução limpa e elegante! 🔗