Ho davvero apprezzato l'analogia di @beffjezos di @extropic sulla termodinamica in questo podcast Menziona il Demone di Maxwell 👹, un essere che brucia energia per ordinare rigorosamente le molecole (calde o fredde) in due stanze. Questo mi ha aiutato a comprendere meglio la differenza tra GPU/Thermo Con l'AI, giochiamo il ruolo del Demone mentre costringiamo i transistor in stati rigidi solo per mantenere un singolo parametro. Ognuno è un numero compreso tra 0 e 1. Bruciamo una quantità enorme di energia nel processo per combattere l'entropia e mantenere questi numeri specifici Questo e il numero massiccio di GPU è il motivo per cui abbiamo bisogno di reattori nucleari e enormi quantità di energia per far funzionare i data center Matematicamente un parametro è fisso, ma fisicamente, mantenere quella precisione è una lotta costante contro il calore. I chip digitali devono bruciare una quantità enorme di energia per amplificare il segnale oltre il rumore termico naturale solo per prevenire la randomizzazione dei dati. Questo è il motivo per cui le bollette energetiche vanno Brrrr con le GPU Il calcolo termodinamico smette di combattere la fisica. Tratta le fluttuazioni termiche come una risorsa piuttosto che come un errore e le utilizza per campionare naturalmente la distribuzione. È totalmente diverso. Invece di utilizzare energia massiccia per mantenere numeri rigorosi e di affidarci a questo caos/randomness, possiamo eseguire modelli di AI con ordini di grandezza di energia inferiore Questo ci allontana dal treno senza fine di potenza/computazione su cui ci troviamo ora per l'AI Sono all'inizio della mia ricerca qui, quindi probabilmente ho sbagliato qualcosa Le immagini allegate sono un confronto davvero utile di Gemini sulla differenza tra digitale e termico