Inti 6 dapat mengekspresikan semua gerakan.

Sintaksnya masih agak kikuk, tetapi segera lapisan LLM, akumulasi gradien, dan loop pelatihan tidak akan ditulis dengan Python untuk loop. Parafrase Halide: "pisahkan spesifikasi dari detail kompilasi dan penjadwalan" kecuali kami akan menentukan seluruh pelatihan $100 juta.

Lini tinybox @__tinygrad__ semakin sah. Lima dibangun sejauh minggu ini.

menjatuhkan NVIDIA? 🤨 kami ❤️ NVIDIA! Tinybox Green V2 dengan 4x5090 Sedang Dikirimkan Sekarang

Sekarang dengan fusi loop dan tanpa komputasi ulang. Jika Anda dapat membangun "compiler" yang perhatian flash hilang begitu saja, bayangkan apa lagi yang bisa digabungkan.

Ketika spesifikasi tinygrad selesai, saya ingin terasa seperti berasal dari THE BOOK. Ini bukan rekayasa, ini adalah rekayasa balik Alam.

Semua pesanan yang belum dibayar akan dikirim pada akhir minggu. Kami sedang membangun seluruh kotak hijau (terkait foto), pesan hari ini dan Anda akan segera memilikinya! (kami juga hanya memiliki satu kotak merah yang tersisa. Anda harus membelinya, sudah lama menunggu untuk pergi ke rumah yang bagus)

.@AMD @AnushElangovan Bisakah Anda open source rocprof-trace-decoder? Repo ini hanyalah biner Linux: Kami menggunakannya untuk menambahkan fungsionalitas seperti RGP ke VIZ: OSS akan membuatnya portabel ke Mac dan (semoga) memiliki header dengan API.

Apakah perpustakaan transformator Anda menggabungkan FFN menjadi satu kernel "flash"? Saya pikir ada keuntungan besar yang mungkin, penasaran apa praktik umum dan penelitian SOTA?

Ini mengubur lede sedikit, yaitu dengan perubahan kecil Anda juga dapat melakukan ReLU(A @ B) @ C pada matriks NxN dengan N perantara dan tanpa perhitungan ulang. (alias : jaringan saraf.)