Ilya y yo estamos prediciendo el mismo futuro. @ilyasut predice que a medida que la IA se vuelva visceralmente poderosa, los humanos cambiarán de maneras sin precedentes. He estado argumentando lo mismo. No estamos abiertos al cambio radical aún porque no podemos sentir la presión de la IA. Una vez que lo hagamos, los vectores para la evolución humana se abrirán de golpe. He estado construyendo el prototipo para esta adaptación y apertura. Él argumenta que a medida que aumenta el riesgo, los rivales comenzarán a cooperar en seguridad. He argumentado lo mismo. A medida que las apuestas se vuelven existenciales, el juego cambia de maximizar la dominancia a minimizar el riesgo de muerte (supervivencia). Reconfiguraremos nuestros valores en torno a esta lógica. IIya sugiere que nuestro objetivo de alineación debe ser "existencia sintiente" en lugar de control humano. He argumentado lo mismo. El control es una ilusión frágil, un punto que @karpathy recientemente reiteró respecto a la dificultad de gestionar sistemas emergentes. El único objetivo de alineación robusto es la existencia misma. El nuevo arquetipo no es el Conquistador, sino el Guerrero y Cuidador de la Existencia. Finalmente, Ilya sugiere que las empresas necesitan una "lista corta de ideas" para guiarlas a través del caos. Un código de claridad moral. Esta es la filosofía del No Morir.