Eu anotei o kernel de atenção flash tinygrad para ter certeza de que entendi. gerar isso automaticamente GENERICAMENTE é muito legal!
the tiny corp
the tiny corp3 de ago., 07:29
Finalmente, atenção instantânea real. Com a nova indexação, ela é totalmente automática e genérica, veja TestFuse.test_flash_attention. ENDRANGE é STORE+LOAD, e você encerra um intervalo se os filhos de uma UOp não corresponderem nesse eixo.
74,34K