Meta acaba de dejar de usar SAM 3D, pero más interesante aún, básicamente han desentrañado el cuello de botella de datos 3D que ha estado frenando el campo durante años. Crear o escanear manualmente la realidad en 3D para el mundo real caótico es prácticamente imposible a gran escala. ¿Pero qué pasa si simplemente los humanos ordenan los resultados de los modelos? Enrutar los casos extraños a artistas 3D reales para que los modelen, y luego volver a insertarlo. De repente puedes anotar como un millón de imágenes. Básicamente es RLHF para reconstrucción 3D. Los datos sintéticos son preentrenamiento, el ranking real es la alineación. Han tomado prestado todo el maldito manual y realmente funciona. Dos modelos: uno para objetos/escenas, otro para humanos. Ya lo están enviando en Facebook Marketplace para que puedas ver si esa lámpara o silla queda bien en tu habitación antes de comprar. Además, están lanzando de todo: modelos, código, su equipo de cuerpo humano bajo licencia comercial. Y construyeron un conjunto de imágenes reales y desordenadas para ayudar a cerrar la brecha entre simulación y real. Lo del motor de datos es lo más interesante, sin embargo. El 3D ha estado limitado por la verdad de tierra desde siempre. Si la verificación escala más fácilmente que la creación, de repente todo el juego cambia.