热门话题
#
Bonk 生态迷因币展现强韧势头
Hosico
Hosico-7.27%
USELESS
USELESS+19.85%
IKUN
IKUN+3.09%
gib
gib-4.44%
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
Bonk
Bonk-1.21%
ALON
ALON+4.56%
LAUNCHCOIN
LAUNCHCOIN+10.65%
GOONC
GOONC-2.33%
KLED
KLED-3.15%
#
Solana 新代币发射平台 Boop.Fun 风头正劲
BOOP
BOOP+1.14%
Boopa
Boopa+30.42%
PORK
PORK0.00%
header
Francesco Bertolotti
米兰大学博士后研究员
Francesco Bertolotti
Francesco Bertolotti2月10日 14:02
我醒来时发现我在 torchtitan 中的新 PR 被合并了。它修复了 bf16 的 torch trunc_normal_ 中的不稳定性，这导致初始化时权重偏斜，从而导致大激活和不稳定的训练。
Francesco Bertolotti
Francesco Bertolotti2026年1月21日
有趣的论文使整个强化学习轨迹可微分，从而实现时间上的反向传播。他们采样了“软令牌”，将其反馈到变换器中，并对其应用可微分奖励。非常酷的工作！ 🔗
Francesco Bertolotti
Francesco Bertolotti2026年1月6日
有趣的论文！它通过一个简单的修复来解决LLM训练中的logits散度：通过减去它们的均值来中心化输出嵌入。理论是成立的，简洁而优雅的解决方案！ 🔗