Ich habe den tinygrad Flash Attention-Kernel annotiert, um sicherzustellen, dass ich ihn verstehe. Dieses GENERISCH automatisch zu generieren, ist ziemlich cool!
the tiny corp
the tiny corp3. Aug., 07:29
Endlich echte Flash-Attention. Mit dem neuen Indexing ist es völlig automatisch und generisch, siehe TestFuse.test_flash_attention. ENDRANGE ist STORE+LOAD, und du beendest einen Bereich, wenn die Kinder eines UOp auf dieser Achse nicht übereinstimmen.
74,29K