Eu anotei o kernel de atenção flash do tinygrad para ter certeza de que o entendo. gerar isso AUTOMATICAMENTE de forma GENÉRICA é muito legal!
the tiny corp
the tiny corp3/08, 07:29
Finalmente, atenção real em flash. Com a nova indexação, é completamente automática e genérica, veja TestFuse.test_flash_attention. ENDRANGE é STORE+LOAD, e você termina um intervalo se os filhos de um UOp não coincidirem nesse eixo.
74,32K