Obudziłem się z informacją, że mój nowy PR został scalony do torchtitan. Naprawia on niestabilność w torch trunc_normal_ dla bf16, która zniekształcała wagi podczas inicjalizacji, prowadząc do dużych aktywacji i niestabilnego treningu.

Interesujący artykuł, który sprawia, że cała trajektoria RL jest różniczkowalna, co umożliwia propagację wsteczną w czasie. Próbkują "miękkie tokeny", wprowadzają je z powrotem do transformera i stosują różniczkową nagrodę na nich. Bardzo fajna praca! 🔗

Interesujący artykuł! Zajmuje się zbieżnością logitów w treningu LLM z prostym rozwiązaniem: centrowanie osadzeń wyjściowych poprzez odjęcie ich średniej. Teoria się zgadza, schludne i eleganckie rozwiązanie! 🔗