有了nmoe，我终于觉得我在pytorch、cuda、CuteDSL和b200s方面的专业知识与我在Jax、pallas、mosaic和TPU v4方面的旧专业知识相匹配。花了将近两年的时间才做到这一点。

TL;DR 关于 nmoe 仓库和架构： 我可以在单个 8xB200 节点上进行实际的 nvfp4 原生 16B 参数模型训练，并且可以在不到 128 个 GPU 的情况下，在大约 30 天内完成全训练运行（包括数据管道） 推算出来，这意味着我理论上可以在单个 GB300 NVL72 上完成一次完整的 deepseek-V3 训练运行，时间少于 90 天。

对于所有下载 nmoe 然后问 claude "这到底是什么？" 的你们，请确保在它做任何其他事情之前先在仓库中阅读它。