Meta 剛剛推出了 SAM 3D，但更有趣的是，他們基本上破解了困擾這個領域多年的 3D 數據瓶頸。 手動創建或掃描混亂現實世界的 3D 真實數據在規模上幾乎是不可能的。 但如果你只是讓人類對模型輸出進行排名呢？將奇怪的邊緣案例路由給實際的 3D 藝術家來建模，然後再回饋進來。突然之間，你可以標註像一百萬張圖片。 這基本上是 3D 重建的 RLHF。合成數據是預訓練，現實世界的排名是對齊。他們借用了整個該死的劇本，並且它實際上有效。 兩個模型 - 一個用於物體/場景，一個用於人類。他們已經在 FB Marketplace 上發貨，這樣你就可以在購買之前看看那盞燈或椅子在你的房間裡是否好看。 此外，他們將釋放所有內容 - 模型、代碼、他們的人體骨架，並在商業許可下提供。而且他們建立了一個實際混亂現實世界圖像的評估集，以幫助縮小模擬到現實的差距。 不過，數據引擎的東西是最有趣的。3D 一直被真實數據瓶頸困擾。如果驗證的擴展比創建更容易，整個遊戲就會突然改變。