Dziś przedstawiamy przełom w robotycznej AI @sundayrobotics. Prezentujemy ACT-1: model podstawowy robota na granicy, wytrenowany na zerowych danych o robotach. - Ultra długoterminowe zadania - Generalizacja zero-shot - Zaawansowana zręczność 🧵->

Zamiast teleoperacji, szkolimy się wyłącznie na danych z naszej Rękawicy do Zbierania Umiejętności. Rękawica jest współprojektowana z ręką Memo, co oznacza, że dzielą tę samą geometrię i zestaw czujników. Jeśli potrafisz to zrobić w rękawicy, Memo może się tego nauczyć.

Rękawica Skill Capture zapewnia nam o dwa rzędy wielkości wyższą efektywność kapitałową w porównaniu do teleoperacji (200 USD vs 20 000 USD) Pozwala nam również szybciej zwiększać różnorodność. Możesz zbierać dane wszędzie, nie potrzebując przemieszczać robotów.

Rękawica Skill Capture wyrównuje ręce, ale co z resztą ciała? Ludzie zbieracze różnią się wysokością i długością ramion, a także wyglądem. Opracowaliśmy Skill Transform, metodę, która przekształca dane z rękawicy na równoważne dane robota z ponad 90% skutecznością.

Zajęło nam ponad rok, aby zaprojektować podstawową infrastrukturę. Następnie spędziliśmy ostatnie 3 miesiące na uzyskaniu wszystkich autonomicznych wyników powyżej. Poniżej podkreślam niektóre z moich ulubionych części tej wersji.

Zadanie przeniesienia ze stołu do zmywarki to klasyczny scenariusz koszmaru dla robotyków: Manipulacja na długim horyzoncie, wymagająca dużej zręczności, precyzyjna, z użyciem całego ciała, połączona z delikatnymi, przezroczystymi, refleksyjnymi i deformowalnymi obiektami. Jednak Memo radzi sobie z tym tak naturalnie i elegancko.

Szczególnie ładowanie kieliszka do wina jest najdelikatniejszym podzadaniem: Za mocno nacisnąć? Stłuc. Włożyć niewłaściwy ząb? Stłuc. Złamaliśmy wiele podczas rozwoju, ale zero przez ponad 20 sesji na żywo.

Jednym z mniej znanych faktów dotyczących zbierania danych za pomocą rękawic: produkuje ono dane wyższej jakości niż teleoperacja w zadaniach bogatych w kontakt. Zdalna teleoperacja nie może zapewnić dobrego sprzężenia zwrotnego siły, ale rękawice robią to naturalnie, co sprawia, że zadania takie jak składanie skarpet, które opierają się na odczuciach, są znacznie łatwiejsze do uchwycenia.

Jeszcze większą frajdę sprawia obserwowanie, jak Memo reaguje na nieznane środowiska. Wysyłamy go do 6 nieznanych Airbnb i zlecimy robotowi precyzyjne zadania, takie jak zbieranie sztućców z talerza. Ponieważ trenujemy na danych z ponad 500 domów, nowy dom jest dla Memo od razu znajomy.