Acordei com um novo meu PR sendo fundido ao torchtitan. Corrige uma instabilidade no trunc_normal_ da tocha para o bf16 que desajustava os pesos na inicialização, levando a grandes ativações e treino instável.

Artigo interessante que torna toda a trajetória do RL diferenciável, permitindo a retropropagação ao longo do tempo. Eles amostram "soft tokens", os alimentam de volta no transformador e aplicam uma recompensa diferenciável sobre eles. Trabalho muito legal! 🔗

Artigo interessante! Ele aborda a divergência logitária no treinamento de LLM com uma solução simples: centralizar os embeddings de saída subtraindo sua média. A teoria bate certo, solução elegante e limpa! 🔗