Analisando mais de perto, o PyTorch também usa FP32, mas aqui está a verdadeira razão pela qual o bnb Adam é melhor: otimizámos para numéricos em ponto flutuante, a ordem importa! Calcular sqrt(v) + eps*c2 e depois dividir evita amplificar erros em comparação com sqrt(v)/c2 + eps do PyTorch. A mesma matemática, melhor estabilidade!