Мне действительно понравилась аналогия @beffjezos из @extropic о термодинамике в этом подкасте Он упоминает Демона Максвелла 👹, существо, которое сжигает энергию, чтобы строго упорядочить молекулы (горячие или холодные) в две комнаты. Это помогло мне лучше понять разницу между GPU/термодинамикой С AI мы играем в Демона, заставляя транзисторы принимать жесткие состояния, чтобы удерживать единственный параметр. Каждый из них — это число между 0 и 1. Мы сжигаем огромные объемы энергии в этом процессе, чтобы бороться с энтропией и поддерживать эти конкретные числа. Именно это, а также огромное количество GPU, объясняет, почему нам нужны ядерные реакторы и огромные объемы энергии для работы дата-центров. С математической точки зрения параметр фиксирован, но физически удерживать эту точность — постоянная борьба с теплом. Цифровые чипы должны сжигать огромные объемы энергии, чтобы усилить сигнал над естественным тепловым шумом, просто чтобы предотвратить рандомизацию данных. Вот почему счета за электроэнергию с GPU растут. Термодинамическое вычисление прекращает борьбу с физикой. Оно рассматривает тепловые колебания как ресурс, а не как ошибку, и использует их для естественной выборки распределения. Это совершенно другое. Вместо того чтобы использовать массу энергии для поддержания строгих чисел и полагаться на этот хаос/случайность, мы можем запускать модели AI с порядками величины меньшими затратами энергии. Это выводит нас с бесконечного поезда мощности/вычислений, на котором мы сейчас находимся для AI. Я только начинаю свои исследования в этой области, так что, вероятно, что-то не так. Прикрепленные изображения — это действительно полезное сравнение от Gemini о разнице между цифровыми и термическими.