Kaikki tietävät Flash Attentionista. Mutta tiedätkö Flash GEMM:stä? Tämä koodi laskee (A @ B) @ C NxN-matriiseille, joissa on N välituotetta eikä uudelleenlaskentaa. Jos et käytä BLAS-kirjastoa, sinun ei tarvitse materialisoida välimatriisia.
50,85K