Nous rendons les robots plus capables que jamais dans le monde physique. 🤖 Gemini Robotics 1.5 est un système agentique amélioré qui peut raisonner mieux, planifier à l'avance, utiliser des outils numériques tels que @Google Search, interagir avec les humains et bien plus encore. Voici comment cela fonctionne 🧵

Beaucoup de nos activités quotidiennes nécessitent de nombreuses étapes pour être complétées et peuvent être extrêmement difficiles pour les robots. Imaginez demander : « En fonction de ma localisation, pouvez-vous trier ces objets dans les bonnes poubelles pour le compost, le recyclage et les déchets ? » 🗑️ Le robot doit rechercher sur le web les directives locales, examiner les objets, déterminer comment les trier et ensuite accomplir la tâche. ↓

Pour répondre à ces demandes, Gemini Robotics 1.5 peut alimenter de nouvelles applications agentiques avec deux modèles d'IA clés travaillant ensemble : 🔹Gemini Robotics-ER 1.5 : Cela agit comme le cerveau de haut niveau, interagissant avec les gens, comprenant son environnement, orchestrant des outils et créant un plan détaillé pour réaliser une tâche. 🔹Gemini Robotics 1.5 : Cela est responsable de l'exécution, traduisant les instructions en commandes motrices précises nécessaires pour que le robot se déplace et agisse de manière générale.

Gemini Robotics-ER 1.5 est le premier modèle de réflexion optimisé pour le raisonnement incarné, et atteint des performances de pointe sur des benchmarks académiques et internes. 🧠 Sa compréhension du monde réel en fait un orchestrateur de haut niveau parfait pour les robots. Regardez comment il s'attaque à l'organisation d'un bureau encombré ↓

Traditionnellement, les modèles VLA traduisent les instructions directement en mouvements robotiques. 🦾 Gemini Robotics 1.5 peut désormais réfléchir avant d'agir, générant une séquence interne de raisonnement en utilisant le langage naturel. Cela rend les actions du robot plus interprétables et débloque des tâches plus utiles - comme organiser le linge par couleur. ↓

Que se passe-t-il lorsque vous dites au robot de "faire une valise pour mon voyage à Londres" ? 🧳 Il peut consulter la météo, réfléchir à ce qu'il faut emporter, où le trouver et comment le ranger. Dans ce processus, le modèle peut décomposer de longues tâches en tâches plus simples et s'adapter aux changements de son environnement. ↓

Les robots se présentent sous toutes les formes et tailles, avec différentes formes, capteurs et degrés de liberté. 💡 Gemini Robotics 1.5 peut apprendre à travers diverses incarnations et peut transférer les connaissances acquises d'un robot à un autre sans avoir besoin de se spécialiser.

Nous allons maintenant au-delà des modèles qui réagissent à des instructions uniques et créons des systèmes capables de s'attaquer véritablement à des problèmes de manière générale - sur la voie de la résolution de l'AGI dans le monde physique. Les développeurs peuvent désormais utiliser Gemini Robotics-ER 1.5 via l'API Gemini dans @GoogleAIStudio. En savoir plus →