Meta щойно відмовилася від SAM 3D, але цікавіше, що вони фактично подолали вузьке місце 3D-даних, яке роками стримує цю сферу. Вручну створити або сканувати 3D-правду на землі для заплутаного реального світу практично неможливо у масштабі. Але що, якщо люди просто ранжують результати моделі? Спрямуйте дивні крайові випадки до реальних 3D-художників для моделювання, а потім повертайте це назад. Раптом можна анотувати мільйон зображень. Це, по суті, RLHF для 3D-реконструкції. Синтетичні дані — це попереднє навчання, реальний рейтинг — це узгодження. Вони позичили весь цей клятий план тактики, і він справді працює. Дві моделі — одна для об'єктів/сцен, інша для людей. Вони вже відправляють його через FB Marketplace, тож ви можете перевірити, чи добре виглядає ця лампа або стілець у вашій кімнаті перед покупкою. Також вони випускають усе — моделі, код, свою систему для тіла під комерційною ліцензією. І вони створили набір оцінки справжніх хаотичних реальних зображень, щоб допомогти подолати розрив між симулятором і реальністю. Але найцікавіше — це питання з дата-движком. 3D назавжди був обмежений наземною правдою. Якщо перевірка масштабується легше, ніж створення, раптом вся гра змінюється.