A Meta acabou de abandonar o SAM 3D, mas, mais interessante ainda, basicamente resolveu o gargalo de dados 3D que vinha atrasando o campo há anos. Criar ou escanear manualmente o terreno 3D para o mundo real bagunçado é basicamente impossível em escala. Mas e se você simplesmente fizer os humanos classificarem as saídas dos modelos? Encaminhe os casos estranhos para artistas 3D reais para modelar, e faça o loop de volta. De repente, você consegue anotar tipo um milhão de imagens. É basicamente RLHF para reconstrução 3D. Dados sintéticos são pré-treinamento, ranking real é alinhamento. Eles pegaram emprestado o manual inteiro e realmente funciona. Dois modelos - um para objetos/cenas, outro para humanos. Eles já estão enviando pelo Facebook Marketplace, então você pode ver se a luminária ou a cadeira ficam bem no seu quarto antes de comprar. Além disso, eles estão lançando tudo – modelos, código, o equipamento corporal deles sob licença comercial. E eles criaram um conjunto de imagens reais bagunçadas para ajudar a preencher a lacuna entre simulador e realidade. A questão do motor de dados é a mais interessante, porém. O 3D tem sido limitado pela verdade do terreno para sempre. Se a verificação for mais fácil do que a criação, de repente o jogo inteiro muda.