I 6 core possono esprimere tutti i movimenti.

La sintassi è ancora un po' ingombrante, ma presto gli strati LLM, l'accumulo di gradienti e i cicli di addestramento non saranno scritti con i cicli for di Python. Parafrasando Halide: "separa la specifica dai dettagli di compilazione e programmazione" tranne che noi specificheremo interi addestramenti da $100M.

La linea tinybox di @__tinygrad__ sta diventando legittima. Cinque costruite finora questa settimana.

abbattere NVIDIA? 🤨 noi ❤️ NVIDIA! tinybox green v2 con 4x5090 è in spedizione ora

Ora con la fusione dei loop e senza ricalcolo. Se puoi costruire un "compilatore" da cui l'attenzione flash semplicemente emerge, immagina cos'altro potrebbe fondere.

Quando la specifica di tinygrad sarà completata, voglio che sembri provenire DAL LIBRO. Questo non è ingegneria, è ingegneria inversa della Natura.

Tutti gli ordini in sospeso verranno spediti entro la fine della settimana. Stiamo preparando un intero lotto di scatole verdi (foto correlata), ordina oggi e avrai la tua presto! (abbiamo anche solo un'ultima scatola rossa. dovresti comprarla, sta aspettando da un po' di andare in una buona casa)

.@AMD @AnushElangovan Puoi rendere open source rocprof-trace-decoder? Questo repo è solo un binario Linux: Lo stiamo usando per aggiungere funzionalità simili a RGP a VIZ: OSS lo renderà portabile su Mac e (si spera) avrà un header con l'API.

La tua libreria transformer sta fondendo il FFN in un unico kernel "flash"? Penso che ci siano enormi guadagni possibili, sono curioso di sapere quale sia la pratica comune e lo stato dell'arte nella ricerca?

Questo sta un po' nascondendo il punto principale, che è che con una piccola modifica puoi anche fare ReLU(A @ B) @ C su matrici NxN con N intermedi e senza ricalcolo. (ovvero: una rete neurale.)