フラッシュアテンションについては誰もが知っています。しかし、Flash GEMM についてご存知ですか? このコードは、N 個の中間体を持ち、再計算を行わずに NxN 行列で (A @ B) @ C を計算します。BLASライブラリを使用しない場合は、中間行列を具体化する必要はありません。
50.84K