这是关于@thinkymachines博客文章中LLM推理中的非确定性的MLX一行代码摘要。 我猜测，随着精度降低，差异会更大，因为浮点数学的非结合性会产生更大的影响。 有趣的是，这意味着在低精度下训练（想想NVFP4）可能会使生成对批量大小更加敏感。