有了 nmoe，我終於覺得我在 pytorch、cuda、CuteDSL 和 b200s 的專業知識與我在 Jax、pallas、mosaic 和 TPU v4 的舊專業知識相匹配。這花了將近兩年的時間。