これは、わずかな変更で、N個の中間体と再計算なしでNxN行列でReLU(A @ B) @ Cを実行することもできます。 (別名:ニューラルネットワーク。
the tiny corp
the tiny corp8月8日 23:42
Everyone knows about Flash Attention. But do you know about Flash GEMM? This code computes (A @ B) @ C on NxN matrices with N intermediates and no recomputation. If you don't use a BLAS library, you don't need to materialize the intermediate matrix.
25.38K