Každý ví o Flash Attention. Ale víte o Flash GEMM? Tento kód vypočítá (A @ B) @ C na NxN maticích s N meziprodukty a bez přepočtu. Pokud nepoužíváte knihovnu BLAS, nemusíte materializovat mezilehlou matici.
50,83K