Meta heeft zojuist SAM 3D uitgebracht, maar interessanter is dat ze in wezen de 3D-gegevensflessenhals hebben gekraakt die het veld jarenlang heeft tegengehouden. Handmatig 3D-grondwaarheid creëren of scannen voor de rommelige echte wereld is op schaal praktisch onmogelijk. Maar wat als je gewoon mensen de modeluitvoer laat rangschikken? Stuur de vreemde randgevallen naar echte 3D-artiesten om te modelleren, en verwerk het weer. Plotseling kun je zoals een miljoen afbeeldingen annoteren. Het is in wezen RLHF voor 3D-reconstructie. Synthetische gegevens zijn pretraining, echte wereldrangschikking is afstemming. Ze hebben het hele verdomde speelboek geleend en het werkt echt. Twee modellen - één voor objecten/scènes, één voor mensen. Ze verzenden het al in FB Marketplace, zodat je kunt zien of die lamp of stoel goed in je kamer staat voordat je koopt. Ook brengen ze alles uit - modellen, code, hun menselijke lichaam rig onder commerciële licentie. En ze hebben een evaluatieset van echte rommelige afbeeldingen uit de echte wereld gebouwd om de sim-naar-echt kloof te helpen overbruggen. Het data-engine ding is echter het meest interessant. 3D is altijd gebottlenecked geweest door grondwaarheid. Als verificatie gemakkelijker opschaalt dan creatie, verandert plotseling het hele spel.