Teraz z fuzją pętli i bez ponownego obliczania. Jeśli możesz zbudować "kompilator", z którego po prostu wypada błyskawiczna uwaga, wyobraź sobie, co jeszcze można by połączyć.
Eitan Turok @ICML 2025
Eitan Turok @ICML 20254 sie, 04:34
Oznaczyłem kernel flash attention w tinygrad, aby upewnić się, że go rozumiem. Automatyczne generowanie tego w sposób OGÓLNY jest całkiem fajne!
29,73K