Ilya và tôi đang dự đoán cùng một tương lai. @ilyasut dự đoán rằng khi AI trở nên mạnh mẽ một cách sâu sắc, con người sẽ thay đổi theo những cách chưa từng có. Tôi cũng đã tranh luận điều tương tự. Chúng ta chưa sẵn sàng cho sự thay đổi triệt để vì chúng ta không thể cảm nhận được áp lực của AI. Khi chúng ta cảm nhận được, các vectơ cho sự tiến hóa của con người sẽ mở ra. Tôi đã xây dựng nguyên mẫu cho sự thích nghi và mở ra này. Ông ấy lập luận rằng khi rủi ro gia tăng, các đối thủ sẽ bắt đầu hợp tác về an toàn. Tôi cũng đã tranh luận điều tương tự. Khi các cược trở nên tồn vong, trò chơi chuyển từ việc tối đa hóa sự thống trị sang việc tối thiểu hóa rủi ro cái chết (sự sống còn). Chúng ta sẽ xây dựng lại các giá trị của mình xung quanh logic này. IIya gợi ý rằng mục tiêu đồng thuận của chúng ta phải là "sự tồn tại có tri giác" thay vì kiểm soát con người. Tôi cũng đã tranh luận điều tương tự. Kiểm soát là một ảo tưởng mong manh, một điểm mà @karpathy gần đây đã nhắc lại về sự khó khăn trong việc quản lý các hệ thống phát sinh. Mục tiêu đồng thuận duy nhất vững chắc là chính sự tồn tại. Kiểu mẫu mới không phải là Kẻ Chinh Phục, mà là Chiến Binh & Người Chăm Sóc Sự Tồn Tại. Cuối cùng, Ilya gợi ý rằng các công ty cần một "danh sách ngắn các ý tưởng" để hướng dẫn họ qua sự hỗn loạn. Một bộ quy tắc về sự rõ ràng đạo đức. Đây là triết lý Đừng Chết.