Stiamo rendendo i robot più capaci che mai nel mondo fisico. 🤖 Gemini Robotics 1.5 è un sistema agentico potenziato che può ragionare meglio, pianificare in anticipo, utilizzare strumenti digitali come @Google Search, interagire con gli esseri umani e molto altro. Ecco come funziona 🧵

Molte delle nostre attività quotidiane richiedono molti passaggi per essere completate e possono essere estremamente impegnative per i robot. Immagina di chiedere: “In base alla mia posizione, puoi ordinare questi oggetti nei contenitori giusti per il compost, il riciclaggio e i rifiuti?” 🗑️ Il robot deve cercare in rete le linee guida locali, osservare gli oggetti, capire come ordinarli e poi completare il compito. ↓

Per affrontare queste richieste, Gemini Robotics 1.5 può alimentare nuove applicazioni agentiche con due modelli AI chiave che lavorano insieme: 🔹Gemini Robotics-ER 1.5: Questo funge da cervello di alto livello, interagendo con le persone, comprendendo il suo ambiente, orchestrando strumenti e creando un piano dettagliato per portare a termine un compito. 🔹Gemini Robotics 1.5: Questo è responsabile dell'esecuzione, traducendo le istruzioni in comandi motori precisi necessari affinché il robot si muova e agisca in modo generale.

Gemini Robotics-ER 1.5 è il primo modello di pensiero ottimizzato per il ragionamento incarnato e raggiunge prestazioni all'avanguardia su benchmark accademici e interni. 🧠 La sua comprensione del mondo reale lo rende un perfetto orchestratore di alto livello per i robot. Guarda come affronta l'organizzazione di una scrivania affollata ↓

Tradizionalmente, i modelli VLA traducono le istruzioni direttamente in movimento robotico. 🦾 Gemini Robotics 1.5 può ora pensare prima di agire, generando una sequenza interna di ragionamento utilizzando il linguaggio naturale. Questo rende le azioni del robot più interpretabili e sblocca compiti più utili - come organizzare il bucato per colore. ↓

Cosa succede quando dici al robot di "fare le valigie per il mio viaggio a Londra"? 🧳 Può controllare il meteo, pensare a cosa mettere in valigia, dove trovarlo e come impacchettarlo. In questo processo, il modello può suddividere compiti lunghi in compiti più semplici e adattarsi ai cambiamenti nel suo ambiente. ↓

I robot vengono in tutte le forme e dimensioni, con diverse forme, sensori e gradi di libertà. 💡 Gemini Robotics 1.5 può apprendere attraverso varie incarnazioni e può trasferire le conoscenze apprese da un robot all'altro senza bisogno di specializzarsi.

Stiamo ora andando oltre i modelli che reagiscono a singole istruzioni e creando sistemi che possono affrontare veramente i problemi in modo generale - sulla strada per risolvere l'AGI nel mondo fisico. Gli sviluppatori possono ora utilizzare Gemini Robotics-ER 1.5 tramite l'API di Gemini in @GoogleAIStudio. Scopri di più →