Ilya och jag förutspår samma framtid. @ilyasut förutspår att när AI blir visceralt kraftfull, kommer människor att förändras på aldrig tidigare skådade sätt. Jag har argumenterat för samma sak. Vi är ännu inte öppna för radikal förändring eftersom vi inte kan känna trycket från AI. När vi väl gör det kommer vektorerna för människans evolution att explodera. Jag har byggt prototypen för denna adaption och öppning. Han hävdar att när risken ökar kommer rivaler att börja samarbeta kring säkerhet. Jag har argumenterat för samma sak. När insatserna blir existentiella skiftar spelet från att maximera dominans till att minimera dödsrisken (överlevnad). Vi kommer att bygga upp våra värderingar kring denna logik. IIya föreslår att vårt alignment-mål måste vara "kännande existens" snarare än mänsklig kontroll. Jag har argumenterat för samma sak. Kontroll är en skör illusion, en poäng @karpathy nyligen betonat när det gäller svårigheten att hantera framväxande system. Det enda robusta justeringsmålet är själva existensen. Den nya arketypen är inte Erövraren, utan Krigaren och Existensens Vårdare. Slutligen föreslår Ilya att företag behöver en "kort lista med idéer" för att vägleda dem genom kaoset. En kod för moralisk klarhet. Detta är Don't Die-filosofin.