Meta právě vyřadila SAM 3D, ale zajímavější je, že v podstatě prolomili 3D datový úzký hrdlo, které toto pole roky brzdilo. Ručně vytvářet nebo skenovat 3D pravdu o nepořádném reálném světě je v podstatě nemožné ve velkém měřítku. Ale co když lidé prostě řadí výstupy modelů? Pošli ty zvláštní okrajové případy skutečným 3D umělcům, aby je mohli modelovat, a pak je znovu zapojit. Najednou můžete anotovat jako milion obrázků. Je to v podstatě RLHF pro 3D rekonstrukci. Syntetická data jsou předtrénování, reálné hodnocení je zarovnání. Půjčili si celý ten zatracený herní plán a opravdu to funguje. Dva modely – jeden pro objekty/scény, jeden pro lidi. Už ji posílají přes FB Marketplace, takže si můžete před koupí ověřit, jestli lampa nebo židle vypadá dobře ve vašem pokoji. Také vydávají vše – modely, kód, jejich lidskou tělovou sestavu pod komerční licencí. A vytvořili hodnotící sadu skutečných chaotických reálných obrázků, aby pomohly překlenout propast mezi simulátorem a realitou. Nejzajímavější je ale ta věc s datovým enginem. 3D bylo navždy omezeno ground truthem. Pokud se ověřování škáluje snadněji než tvorba, najednou se celá hra změní.