Tôi đã chú thích kernel flash attention của tinygrad để đảm bảo tôi hiểu nó. Việc tự động tạo ra điều này MỘT CÁCH CHUNG CHUNG thật tuyệt vời!
the tiny corp
the tiny corp07:29 3 thg 8
Cuối cùng, sự chú ý nhanh thực sự. Với việc lập chỉ mục mới, nó hoàn toàn tự động và tổng quát, xem TestFuse.test_flash_attention. ENDRANGE là STORE+LOAD, và bạn kết thúc một khoảng nếu các con của một UOp không khớp trên trục đó.
74,3K