Heräsin uuteen PR:ään, jossa omani yhdistetään Torchtitaniksi. Se korjaa soihtujen trunc_normal_ epävakauden bf16:lle, joka vinoutti painoja alustuksen yhteydessä, mikä johti suuriin aktivaatioihin ja epävakaaseen harjoitteluun.

Mielenkiintoinen artikkeli, joka tekee koko RL-radan differentioituvaksi, mahdollistaen takaperinteen ajan kuluessa. He ottavat näytteenoton "pehmeistä tokeneista", syöttävät ne takaisin transformeriin ja soveltavat niihin differentioituvan palkkion. Todella siistiä työtä! 🔗

Mielenkiintoinen artikkeli! Se ratkaisee logit-divergenssin LLM-koulutuksessa yksinkertaisella ratkaisulla: keskittää lähtöupotukset vähentämällä niiden keskiarvo. Teoria pitää paikkansa, siisti ja elegantti ratkaisu! 🔗