這是關於@thinkymachines博客文章中LLM推理中的非確定性的MLX一行代碼摘要。 我猜測，隨著精度降低，差異會更大，因為浮點數學的非結合性會產生更大的影響。 有趣的是，這意味著在低精度下訓練（想想NVFP4）可能會使生成對批量大小更加敏感。