Jag gillade verkligen @beffjezos av @extropic:s analogi för termodynamik i den här podden Han nämner Maxwells demon 👹, en varelse som bränner energi för att strikt ordna molekyler (varma eller kalla) i två rum. Detta hjälpte mig att understryka skillnaden mellan GPU:er och Thermo för mig Med AI spelar vi demonen när vi tvingar transistorer in i styva tillstånd bara för att hålla en enda parameter. Varje är ett tal mellan 0 och 1. Vi förbrukar enorm energi i processen för att bekämpa entropin och upprätthålla dessa specifika siffror Detta och det enorma antalet GPU:er är anledningen till att vi behöver kärnreaktorer och enorma mängder energi för att driva datacenter Matematiskt är en parameter fast, men fysiskt är det en ständig kamp mot värme att hålla den precisionen. Digitala chip måste förbruka enorm energi för att förstärka signalen över det naturliga termiska bruset bara för att förhindra att data slumpas ut. Det är därför energiräkningarna går Brrrr med GPU:er Termodynamisk databehandling slutar kämpa mot fysiken. Den behandlar termiska fluktuationer som en resurs snarare än ett fel och använder dem för att naturligt provta fördelningen. Det är helt annorlunda. Istället för att använda massenergi för att upprätthålla strikta siffror och luta oss in i detta kaos/slumpmässighet kan vi köra AI-modeller med många storleksordningar mindre energi Detta tar oss bort från det oändliga kraft-/beräkningståget vi nu är på för AI Jag är i början av min research här så jag har nog misstagit något De bifogade bilderna är en väldigt hjälpsam jämförelse från Gemini om skillnaden mellan digitalt och termiskt