Ilya e eu estamos a prever o mesmo futuro. @ilyasut prevê que, à medida que a IA se torna visceralmente poderosa, os humanos mudarão de maneiras sem precedentes. Eu tenho argumentado o mesmo. Não estamos abertos a mudanças radicais ainda porque não conseguimos sentir a pressão da IA. Assim que o fizermos, os vetores para a evolução humana se abrirão. Eu tenho estado a construir o protótipo para esta adaptação e abertura. Ele argumenta que, à medida que o risco aumenta, os rivais começarão a cooperar em segurança. Eu argumentei o mesmo. À medida que as apostas se tornam existenciais, o jogo muda de maximização de domínio para minimização do risco de morte (sobrevivência). Vamos reconstruir os nossos valores em torno desta lógica. IIya sugere que o nosso objetivo de alinhamento deve ser "existência senciente" em vez de controle humano. Eu argumentei o mesmo. O controle é uma ilusão frágil, um ponto que @karpathy recentemente ecoou em relação à dificuldade de gerir sistemas emergentes. O único alvo de alinhamento robusto é a própria existência. O novo arquétipo não é o Conquistador, mas o Guerreiro & Cuidador da Existência. Finalmente, Ilya sugere que as empresas precisam de uma "lista curta de ideias" para as guiar através do caos. Um código de clareza moral. Esta é a filosofia Não Morra.