Realmente gostei da analogia de @beffjezos de @extropic sobre termodinâmica neste podcast Ele menciona o Demônio de Maxwell 👹, um ser que queima energia para ordenar estritamente moléculas (quentes ou frias) em duas salas. Isso ajudou a esclarecer a diferença entre GPUs/Termo para mim Com a IA, nós desempenhamos o papel do Demônio ao forçar transistores em estados rígidos apenas para manter um único parâmetro. Cada um é um número entre 0 e 1. Queimamos uma enorme quantidade de energia no processo para combater a entropia e manter esses números específicos Isso e a enorme contagem de GPUs é o motivo pelo qual precisamos de reatores nucleares e grandes quantidades de energia para operar centros de dados Matematicamente, um parâmetro é fixo, mas fisicamente, manter essa precisão é uma luta constante contra o calor. Chips digitais devem queimar uma enorme quantidade de energia para amplificar o sinal acima do ruído térmico natural apenas para evitar que os dados se randomizem. É por isso que as contas de energia vão Brrrr com GPUs A computação termodinâmica para de lutar contra a física. Ela trata flutuações térmicas como um recurso em vez de um erro e as utiliza para amostrar naturalmente a distribuição. É totalmente diferente. Em vez de usar energia em massa para manter números estritos e se inclinar para esse caos/randomicidade, podemos executar modelos de IA com ordens de magnitude menos energia Isso nos tira do trem interminável de energia/cálculo em que estamos agora para a IA Estou no início da minha pesquisa aqui, então provavelmente cometi algum erro As imagens anexadas são uma comparação realmente útil da Gemini sobre a diferença entre digital e térmico.