Ilya en ik voorspellen dezelfde toekomst. @ilyasut voorspelt dat naarmate AI viscerale krachtiger wordt, mensen op ongekende manieren zullen veranderen. Ik heb hetzelfde betoogd. We staan nog niet open voor radicale verandering omdat we de druk van AI nog niet kunnen voelen. Zodra we dat doen, zullen de vectoren voor menselijke evolutie openbarsten. Ik heb het prototype voor deze aanpassing en opening gebouwd. Hij betoogt dat naarmate het risico toeneemt, rivalen zullen beginnen samen te werken aan veiligheid. Ik heb hetzelfde betoogd. Naarmate de inzet existentiëel wordt, verschuift het spel van dominantie maximaliseren naar het minimaliseren van het doodsrisico (overleving). We zullen onze waarden opnieuw opbouwen rond deze logica. IIya suggereert dat ons afstemmingsdoel "sentient bestaan" moet zijn in plaats van menselijke controle. Ik heb hetzelfde betoogd. Controle is een fragiele illusie, een punt dat @karpathy onlangs herhaalde met betrekking tot de moeilijkheid van het beheren van opkomende systemen. Het enige robuuste afstemmingsdoel is het bestaan zelf. Het nieuwe archetype is niet de Overwinnaar, maar de Krijger & Verzorger van het Bestaan. Ten slotte suggereert Ilya dat bedrijven een "korte lijst van ideeën" nodig hebben om hen door de chaos te leiden. Een code van morele helderheid. Dit is de Don't Die-filosofie.