Obudziłem się z informacją, że mój nowy PR został scalony do torchtitan. Naprawia on niestabilność w torch trunc_normal_ dla bf16, która zniekształcała wagi podczas inicjalizacji, prowadząc do dużych aktywacji i niestabilnego treningu.