熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
## 人類級效率是 AGI 所必需的
結束了一次偉大的 🇸🇬 旅行,我有幸與 @agihippo 一起度過時光,並見到了 @jeffdean、@quocleix、@denny_zhou 等人,聽取了他們關於 "GDM 狀態" 2025 的更新*
在我們對話中,迄今為止 #1 的反覆主題是學習效率。推理時間計算現在非常流行,但 #效率即將到來,而我通常在這種前沿實驗室共識通過我厚厚的頭腦達到之前,領先大多數人 3-6 個月。
當我從自監督學習和 RLAIF 以及 RLVR 的突破中畫出一條聯繫時,人們常常感到驚訝,然後通常會同意,因為它們都是每個數據點獲得的性能的步驟變化,而這種效率的下一個指數跳躍顯然是 Quoc 在他下面提到的演講中確認 Ilya 也在研究的內容 + Ilya 在 NeurIPS 上識別的 "山"。
我敢打賭,這個解決方案是一個新的非變換器塊/抽象,不僅僅是 "多智能體",而更像是實時測試和潛在世界模型假設的解決方案,就像你解決數獨謎題或玩 Cluedo 一樣。這是我所知道的唯一系統化的方法,可以將人類學習過程簡化到我們可以用每個概念 10-20 倍少於當前 SOTA 的數據點進行少量學習。
如果我是研究人員,我現在會從這裡開始……如果這是 @ylecun 的最終勝利,那將是非常諷刺/酷的。
*+ 還與當地主權財富基金和初創公司進行了幾次會議!

8.02K
熱門
排行
收藏