Anoté el núcleo de atención flash de tinygrad para asegurarme de entenderlo. ¡Generar esto automáticamente de manera GENÉRICA es bastante genial!
the tiny corp
the tiny corp3 ago, 07:29
Finalmente, atención real flash. Con el nuevo indexado, es completamente automático y genérico, ve TestFuse.test_flash_attention. ENDRANGE es STORE+LOAD, y terminas un rango si los hijos de un UOp no coinciden en ese eje.
74.3K