Nu med loopfusion och ingen omberäkning. Om du kan bygga en "kompilator" som uppmärksamheten bara faller ur, föreställ dig vad mer den skulle kunna smälta samman.
Eitan Turok @ICML 2025
Eitan Turok @ICML 20254 aug. 04:34
Jag kommenterade tinygrad flash attention kernel för att se till att jag förstår det. Att automatiskt generera detta GENERISKT är ganska coolt!
29,73K