Yeni bir PR'imin Torchtitan'a birleştiğini fark ettim. Bf16 için torch trunc_normal_'deki kararsızlığı düzeltir; bu da başlangılda ağırlıkların çarpık olmasını sağlar; bu da büyük aktivasyonlara ve kararsız eğitime yol açar.

Tüm RL yörüngesini diferansiyel kılan ilginç bir makale, böylece zaman içinde geriye yayılmayı mümkün kılar. "Yumuşak tokenlar" örneği alıyor, onları transformatora geri besliyor ve üzerlerine diferansiyel bir ödül uygularlar. Çok güzel bir iş! 🔗

İlginç bir makale! LLM eğitiminde logit divergensiyasını basit bir çözümle ele alır: çıktı gömülmelerini ortalamalarını ortalamalarıyla çıkarmak. Teori doğru, güzel ve zarif bir çözüm! 🔗