Meta только что выпустила SAM 3D, но что более интересно, они, по сути, преодолели узкое место в 3D-данных, которое сдерживало эту область на протяжении многих лет. Вручную создавать или сканировать 3D-реальность для беспорядочного реального мира практически невозможно в больших масштабах. Но что если просто заставить людей оценивать выходные данные моделей? Направить странные крайние случаи к настоящим 3D-художникам для моделирования, затем вернуть это обратно. Вдруг вы сможете аннотировать миллион изображений. Это, по сути, RLHF для 3D-реконструкции. Синтетические данные — это предварительное обучение, а оценка реального мира — это выравнивание. Они позаимствовали всю чертову методику, и это действительно работает. Две модели - одна для объектов/сцен, другая для людей. Они уже отправляют это в FB Marketplace, чтобы вы могли увидеть, как эта лампа или стул будут выглядеть в вашей комнате перед покупкой. Также они выпускают все - модели, код, их риг человеческого тела под коммерческой лицензией. И они создали набор оценок реальных беспорядочных изображений, чтобы помочь преодолеть разрыв между симуляцией и реальностью. Но наиболее интересным является то, что касается движка данных. 3D на протяжении долгого времени был ограничен реальными данными. Если проверка масштабируется легче, чем создание, вся игра внезапно меняется.