## 人類級效率是 AGI 所必需的 結束了一次偉大的 🇸🇬 旅行,我有幸與 @agihippo 一起度過時光,並見到了 @jeffdean、@quocleix、@denny_zhou 等人,聽取了他們關於 "GDM 狀態" 2025 的更新* 在我們對話中,迄今為止 #1 的反覆主題是學習效率。推理時間計算現在非常流行,但 #效率即將到來,而我通常在這種感覺上領先大多數人 3-6 個月。 人們常常感到驚訝,然後通常同意,當我從自監督學習和 RLAIF 以及 RLVR 的突破中畫出一條聯繫時,他們都只是每個數據點獲得的性能的躍升,而這種效率的下一個指數跳躍顯然是 Quoc 在他下面提到的演講中確認 Ilya 也在研究的內容 + Ilya 在 NeurIPS 上識別的 "山"。 我敢打賭,這個解決方案是一個新的非變換器塊/抽象,不僅僅是 "多智能體",而更像是實時測試和潛在世界模型假設的解決方案,就像你解決數獨謎題或玩 Cluedo 一樣。這是我所知道的唯一系統化的方法,可以將人類學習過程簡化到我們可以用每個概念 10-20 倍少於當前 SOTA 的數據點進行少量學習。 如果我是研究人員,我現在會從這裡開始……如果這是 @ylecun 的最終勝利,那將是非常諷刺/酷的。 *+ 還與當地主權財富基金和初創公司進行了幾次會議!
4.17K