Ahora con fusión de bucles y sin recomputación. Si puedes construir un "compilador" del que la atención flash simplemente surge, imagina qué más podría fusionar.
Eitan Turok @ICML 2025
Eitan Turok @ICML 20254 ago, 04:34
He anotado el núcleo de atención flash de tinygrad para asegurarme de entenderlo. ¡Generar esto automáticamente de manera GENÉRICA es bastante genial!
29,75K