Idag presenterar vi ett genombrott inom robotisk AI-@sundayrobotics. Vi presenterar ACT-1: En modell för grundläggande robotar som är en modell för frontier robot, tränad på noll robotdata. - Ultralånga horisontuppgifter - Generalisering av nollskott - Avancerad fingerfärdighet 🧵->

Istället för teleoperation tränar vi enbart på data från vår Skill Capture Glove. Handsken är samdesignad med Memos hand, vilket innebär att de delar exakt samma geometri och sensoruppsättning. Om du kan göra det med handsken på kan Memo lära sig det.

Skill Capture Glove ger oss två storleksordningar högre kapitaleffektivitet jämfört med teleoperation (200 dollar mot 20 000 dollar) Det gör också att vi kan skala upp mångfalden snabbare. Du kan samla data var som helst utan att behöva flytta robotar.

Skill Capture Glove riktar händerna, men hur är det med resten av kroppen? Mänskliga samlare varierar i längd och armlängd, och är också visuellt olika. Vi utvecklade Skill Transform, en metod som omvandlar handskdata till motsvarande robotdata med en framgångsfrekvens på 90%+.

Det tog oss över ett år att konstruera kärninfrastrukturen. Vi har sedan tillbringat de senaste tre månaderna med att ta fram alla autonoma resultat ovan. Nedan lyfter jag fram några av mina favoritdelar av denna utgåva.

Uppgiften från bord till diskmaskin är det klassiska mardrömsscenariot för robottekniker: Långhorisont, mycket smidig, precis, helkroppsmanipulation kombinerad med ömtåliga, transparenta, reflekterande och deformerbara objekt. Ändå hanterar Memo det så naturligt och elegant.

Specifikt är vinglasladdning den mest känsliga deluppgiften: Trycka ner med för mycket kraft? Splittra. Sätta in fel stift? Splittra. Vi förstörde många under utvecklingen, men inga fler än 20+ live-demosessioner.

En mindre känd fakta om handskbaserad datainsamling: den ger data av högre kvalitet än teleop vid kontaktrika uppgifter. Fjärrteleop kan inte ge bra kraftåterkoppling, men handskar gör det naturligt, vilket gör uppgifter som vikning av strumpor, som bygger på känsla, mycket lättare att fånga.

Det är ännu roligare att se hur Memo reagerar på osedda miljöer. Vi placerar den på 6 osedda Airbnbs och ger roboten fina uppgifter som att plocka upp bestick från tallriken. Eftersom vi tränar på data från över 500 hem är det nya hemmet omedelbart bekant för Memo.