Илья и я предсказываем одно и то же будущее. @ilyasut предсказывает, что по мере того как ИИ становится ощутимо мощным, люди изменятся беспрецедентным образом. Я утверждал то же самое. Мы еще не готовы к радикальным изменениям, потому что не можем почувствовать давление ИИ. Как только мы это сделаем, векторы человеческой эволюции откроются. Я создаю прототип для этой адаптации и открытия. Он утверждает, что по мере увеличения рисков соперники начнут сотрудничать в вопросах безопасности. Я утверждал то же самое. Когда ставки становятся экзистенциальными, игра переходит от максимизации доминирования к минимизации риска смерти (выживание). Мы перестроим наши ценности вокруг этой логики. Илья предлагает, что нашей целью согласования должно быть "чувствительное существование", а не контроль над людьми. Я утверждал то же самое. Контроль — это хрупкая иллюзия, о чем недавно упоминал @karpathy, говоря о трудностях управления возникающими системами. Единственной надежной целью согласования является само существование. Новый архетип — это не Завоеватель, а Воин и Хранитель Существования. Наконец, Илья предлагает, что компаниям нужен "короткий список идей", чтобы провести их через хаос. Кодекс моральной ясности. Это философия "Не умирай".