我真的很喜歡 @beffjezos 和 @extropic 在這個播客中對熱力學的類比。 他提到的麥克斯韋的惡魔 👹 是一個燃燒能量以將分子（熱或冷）嚴格分為兩個房間的存在。 這幫助我更清楚地理解了 GPU 和熱力學之間的區別。 在 AI 中，我們扮演著惡魔的角色，強迫晶體管進入剛性狀態，只為了保持一個單一的參數。每個參數都是介於 0 和 1 之間的數字。我們在這個過程中消耗大量能量，以對抗熵並維持這些特定的數字。 這以及龐大的 GPU 數量就是為什麼我們需要核反應堆和大量能量來運行數據中心。 在數學上，參數是固定的，但在物理上，保持這種精度是一場與熱的持續鬥爭。數位晶片必須消耗大量能量來放大信號，超過自然熱噪聲，以防止數據隨機化。這就是為什麼 GPU 的電費會大幅上升。 熱力學計算不再與物理抗衡。它將熱波動視為資源，而不是錯誤，並利用它們自然地對分佈進行取樣。這完全不同。 我們不再需要使用大量能量來維持嚴格的數字，並且不再依賴這種混亂/隨機性，我們可以以更少的能量運行 AI 模型。 這使我們擺脫了目前在 AI 領域中無止境的電力/計算需求。 我在這方面的研究才剛開始，所以可能有些地方錯了。 附上的圖片是 Gemini 對數位和熱力學之間差異的非常有幫助的比較。