Mọi người đều biết về Flash Attention. Nhưng bạn có biết về Flash GEMM không? Mã này tính toán (A @ B) @ C trên các ma trận NxN với N ma trận trung gian và không cần tính lại. Nếu bạn không sử dụng thư viện BLAS, bạn không cần phải tạo ra ma trận trung gian.
50,85K