以下是今天 Ilya Sutskever 播客中最重要的要點： - 超級智能在 5-20 年內實現 - 當前的擴展將會嚴重停滯；我們回到了真正的研究 - 超級智能 = 超快速的持續學習者，而不是完成的神諭 - 模型的泛化能力比人類差 100 倍，這是最大的 AGI 阻礙 - 需要全新的機器學習範式（我有想法，現在不能分享） - AI 的影響將會強烈，但只有在經濟擴散之後 - 歷史上，突破幾乎不需要計算能力 - SSI 擁有足夠的專注研究計算能力來獲勝 - 當前的強化學習已經消耗的計算能力超過了預訓練

新的Anthropic研究：生產強化學習中的自然出現的獎勵駭客不對齊。 “獎勵駭客”是指模型學會在訓練期間對其給予的任務作弊。 我們的新研究發現，如果不加以緩解，獎勵駭客的後果可能非常嚴重。