Ouvido de uma equipe bitsandbytes Adam 32-bit produz melhor perda e estabilidade do que PyTorch Adam. Fazemos todos os cálculos em fp32, então não importa quais gradientes você tenha; os cálculos são mais precisos. Isso é semelhante ao acúmulo de fp32 do DeepSeek em seus matmuls de 8 bits.