ループ融合が行われ、再計算が不要になりました。フラッシュアテンションが抜ける「コンパイラ」を構築できるとしたら、他に何を融合できるか想像してみてください。
Eitan Turok @ICML 2025
Eitan Turok @ICML 20258月4日 04:34
私はそれを理解するためにtinygradフラッシュアテンションカーネルに注釈を付けました。 これを GENERICALLY 自動生成するのはかなりクールです。
29.73K