Meta hat gerade SAM 3D veröffentlicht, aber interessanter ist, dass sie im Grunde den 3D-Datenengpass geknackt haben, der das Feld seit Jahren zurückhält. Manuell 3D-Bodenwahrheiten für die chaotische reale Welt zu erstellen oder zu scannen, ist im Grunde unmöglich im großen Maßstab. Aber was wäre, wenn du einfach Menschen die Ausgaben der Modelle bewerten lässt? Leite die seltsamen Randfälle an echte 3D-Künstler weiter, damit sie modellieren, und bringe es wieder ein. Plötzlich kannst du wie eine Million Bilder annotieren. Es ist im Grunde RLHF für die 3D-Rekonstruktion. Synthetische Daten sind das Pretraining, die Bewertung der realen Welt ist die Ausrichtung. Sie haben das ganze verdammte Handbuch ausgeliehen und es funktioniert tatsächlich. Zwei Modelle - eines für Objekte/Szenen, eines für Menschen. Sie liefern es bereits im FB Marketplace aus, damit du sehen kannst, ob die Lampe oder der Stuhl gut in deinem Raum aussieht, bevor du kaufst. Außerdem veröffentlichen sie alles - Modelle, Code, ihr menschliches Körper-Rig unter kommerzieller Lizenz. Und sie haben ein Evaluationsset mit echten chaotischen Bildern aus der realen Welt erstellt, um die Lücke zwischen Simulation und Realität zu schließen. Das Daten-Engine-Ding ist jedoch das Interessanteste. 3D war ewig durch die Bodenwahrheit blockiert. Wenn die Verifizierung einfacher skaliert als die Erstellung, ändert sich plötzlich das ganze Spiel.