Eu și Ilya prezicem același viitor. @ilyasut prezice că, pe măsură ce AI devine puternic visceral, oamenii se vor schimba în moduri fără precedent. Și eu am argumentat același lucru. Nu suntem încă deschiși la schimbări radicale pentru că nu putem simți presiunea AI. Odată ce vom face asta, vectorii evoluției umane se vor deschide. Am construit prototipul pentru această adaptare și deschidere. El susține că, pe măsură ce riscul crește, rivalii vor începe să coopereze în privința siguranței. Am susținut același lucru. Pe măsură ce miza devine existențială, jocul trece de la maximizarea dominanței la minimizarea riscului de moarte (supraviețuire). Ne vom reconstrui valorile în jurul acestei logici. Ilya sugerează că scopul nostru de aliniere trebuie să fie "existența conștientă", nu controlul uman. Am susținut același lucru. Controlul este o iluzie fragilă, un punct @karpathy reluat recent în legătură cu dificultatea gestionării sistemelor emergente. Singura țintă robustă de aliniere este însăși existența. Noul arhetip nu este Cuceritorul, ci Războinicul și Îngrijitorul Existenței. În final, Ilya sugerează că companiile au nevoie de o "listă scurtă de idei" pentru a le ghida prin haos. Un cod de claritate morală. Aceasta este filosofia Don't Die.