Jetzt mit Schleifenfusion und ohne Neuberechnung. Wenn du einen "Compiler" erstellen kannst, aus dem Flash Attention einfach herausfällt, stell dir vor, was er sonst noch fusionieren könnte.
Eitan Turok @ICML 2025
Eitan Turok @ICML 20254. Aug., 04:34
Ich habe den tinygrad Flash Attention-Kernel annotiert, um sicherzustellen, dass ich ihn verstehe. Dieses GENERISCH automatisch zu generieren, ist ziemlich cool!
29,74K