語法仍然有點笨拙,但很快 LLM 層、梯度累積和訓練循環將不再使用 Python 的 for 循環來編寫。 借用 Halide 的話:"將規範與編譯和調度細節分開",只不過我們將規範整個 1 億美元的訓練過程。
17.9K