Agora com fusão de loop e sem recomputação. Se você pode construir um "compilador" do qual a atenção do flash simplesmente cai, imagine o que mais ele poderia fundir.
Eitan Turok @ICML 2025
Eitan Turok @ICML 20254 de ago., 04:34
Eu anotei o kernel de atenção flash tinygrad para ter certeza de que entendi. gerar isso automaticamente GENERICAMENTE é muito legal!
29,74K