Ilya 和我預測著相同的未來。 @ilyasut 預測,隨著 AI 變得極具威力,人類將以空前的方式改變。我也一直在爭辯同樣的觀點。我們尚未對激進的變化持開放態度,因為我們無法感受到 AI 的壓力。一旦我們感受到,對人類進化的向量將會大幅打開。我一直在為這種適應和開放構建原型。 他主張,隨著風險上升,競爭對手將開始在安全方面合作。我也爭辯過同樣的觀點。隨著賭注變得生死攸關,遊戲的重心將從追求主導地位轉向最小化死亡風險(生存)。我們將圍繞這一邏輯重建我們的價值觀。 IIya 建議我們的對齊目標必須是「有知覺的存在」,而不是人類控制。我也爭辯過同樣的觀點。控制是一種脆弱的幻覺,@karpathy 最近也提到管理新興系統的困難。唯一穩健的對齊目標就是存在本身。新的原型不是征服者,而是存在的戰士與看護者。 最後,Ilya 建議公司需要一個「短期想法清單」來引導他們度過混亂。一個道德清晰的準則。 這就是「不要死」的哲學。