Я анотував ядро уваги tinygrad flash, щоб переконатися, що я його розумію. автоматично генерувати це УЗАГАЛЬНЕНО – це дуже круто!
the tiny corp
the tiny corp3 серп., 07:29
Finally, real flash attention. With the new indexing, it's completely automatic and generic, see TestFuse.test_flash_attention. ENDRANGE is STORE+LOAD, and you end a range if the children of a UOp mismatch on that axis.
74,3K