當前的機器人模型確實突顯了人腦的高效程度。 機器人模型相對較小（低十億參數），僅存儲一秒的上下文，並進行100毫秒的推理步驟。 相比之下，人腦有100萬億個突觸（大致相當於參數），以每秒24幀的速度處理，同時考慮數小時的先前上下文。 那麼，我們如何期望在所有這些維度上（在推理計算方面相互權衡）同時獲得數量級的改進呢？ 我們又如何解釋大腦中發生的事情？這更像是軟件優勢還是硬件優勢？ 與@svlevine的完整劇集現已上線！

.@svlevine 是世界領先的機器人研究者之一（也是 @physical_int 的聯合創始人）。 他認為完全自主的機器人比人們意識到的要近得多——當我問他預測時，他說5年內會有能夠自主管理家庭的機器人。 在他看來，真正的遊戲改變者是我們終於擁有了具有常識和先前知識的LLMs，我們可以圍繞這些知識構建機器人模型。 我們討論了所有可能導致這一切不發生的原因，包括部署的數據飛輪、架構、仿真、製造等等。祝你享受！ 0:00:00 – 廣泛部署自主機器人的時間表 0:22:12 – 為什麼機器人技術的擴展速度會比自動駕駛汽車快 0:32:15 – 視覺-語言-行動模型是如何工作的 0:50:26 – 需要改進的類腦效率 1:02:48 – 從仿真中學習 1:14:08 – 機器人將如何加速AI的構建？ 1:22:54 – 如果硬件是瓶頸，中國是否會默認獲勝？

我覺得很瘋狂的是，@physical_int 的機器人模型居然能工作，考慮到它們只有 1 秒的上下文長度。 當機器人在房間裡移動並清理桌子時，它只能看到來自攝像頭的當前時間戳圖像（加上任務的文本描述）。 我問 @svlevine 這個模型到底是怎麼工作的。如果一個人必須執行一個持續幾分鐘的計劃來完成一個物理任務，但每秒都重置她的記憶，那她根本無法做到。 但不知怎麼的，僅僅知道世界在這一刻的狀態就足以讓你維持一個相對複雜的計劃？ 謝爾蓋的回答提到了莫爾瓦克悖論，我覺得這非常有趣。 完整的劇集明天發佈！