Ілля і я прогнозуємо одне й те саме майбутнє. @ilyasut прогнозує, що коли ШІ стане надзвичайно потужним, люди змінюватимуться у безпрецедентний спосіб. Я сперечався про те саме. Ми ще не відкриті до радикальних змін, бо не відчуваємо тиску ШІ. Як тільки ми це зробимо, вектори еволюції людини розкриються. Я створював прототип для цієї адаптації та відкриття. Він стверджує, що зі зростанням ризику конкуренти почнуть співпрацювати з питань безпеки. Я вже стверджував те саме. Коли ставки стають екзистенційними, гра переходить від максимізації домінування до мінімізації ризику смерті (виживання). Ми будемо відновлювати наші цінності навколо цієї логіки. IIya припускає, що наша мета вирівнювання має бути «розумним існуванням», а не людським контролем. Я вже стверджував те саме. Контроль — це крихка ілюзія, і нещодавно @karpathy підкреслив складність управління виникаючими системами. Єдина надійна ціль вирівнювання — саме існування. Новий архетип — не Завойовник, а Воїн і Опікун Існування. Нарешті, Ілля пропонує компаніям скласти «короткий список ідей», щоб провести їх крізь хаос. Кодекс моральної ясності. Це філософія «Не вмирай».