Tout le monde connaît Flash Attention. Mais connaissez-vous Flash GEMM ? Ce code calcule (A @ B) @ C sur des matrices NxN avec N intermédiaires et sans recomputation. Si vous n'utilisez pas de bibliothèque BLAS, vous n'avez pas besoin de matérialiser la matrice intermédiaire.
50,84K