Ilya e eu estamos prevendo o mesmo futuro. @ilyasut prevê que, à medida que a IA se torne visceralmente poderosa, os humanos mudarão de maneiras sem precedentes. Eu venho argumentando o mesmo. Ainda não estamos abertos a mudanças radicais porque não sentimos a pressão da IA. Quando isso acontecer, os vetores da evolução humana vão se abrir. Tenho construído o protótipo para essa adaptação e abertura. Ele argumenta que, à medida que o risco aumenta, os rivais começarão a cooperar em questões de segurança. Eu já argumentei o mesmo. À medida que as apostas se tornam existenciais, o jogo passa de maximizar a dominância para minimizar o risco de morte (sobrevivência). Vamos reconstruir nossos valores em torno dessa lógica. Ilya sugere que nosso objetivo de alinhamento deve ser a "existência senciente" em vez do controle humano. Eu já argumentei o mesmo. O controle é uma ilusão frágil, um ponto @karpathy ecoado recentemente sobre a dificuldade de gerenciar sistemas emergentes. O único alvo robusto de alinhamento é a própria existência. O novo arquétipo não é o Conquistador, mas o Guerreiro e Guardião da Existência. Por fim, Ilya sugere que as empresas precisam de uma "lista curta de ideias" para guiá-las pelo caos. Um código de clareza moral. Essa é a filosofia do Não Morra.