Meta vient de lancer SAM 3D, mais plus intéressant encore, ils ont en gros résolu le goulot d'étranglement des données 3D qui retenait le domaine depuis des années. Créer manuellement ou scanner la vérité terrain 3D pour le monde réel chaotique est pratiquement impossible à grande échelle. Mais que se passerait-il si vous demandiez simplement aux humains de classer les sorties des modèles ? Dirigez les cas particuliers étranges vers de véritables artistes 3D pour les modéliser, puis réintégrez-les. Soudain, vous pouvez annoter comme un million d'images. C'est en gros RLHF pour la reconstruction 3D. Les données synthétiques sont un pré-entraînement, le classement du monde réel est un alignement. Ils ont emprunté tout le putain de manuel et ça fonctionne vraiment. Deux modèles - un pour les objets/scènes, un pour les humains. Ils l'expédient déjà dans FB Marketplace afin que vous puissiez voir si cette lampe ou cette chaise a l'air bien dans votre pièce avant d'acheter. De plus, ils publient tout - modèles, code, leur rig de corps humain sous licence commerciale. Et ils ont construit un ensemble d'évaluation d'images réelles chaotiques pour aider à combler le fossé entre la simulation et le réel. Cependant, la chose la plus intéressante est le moteur de données. La 3D a été bloquée par la vérité terrain depuis toujours. Si la vérification se développe plus facilement que la création, soudain, tout le jeu change.