Мы делаем роботов более способными, чем когда-либо, в физическом мире. 🤖 Gemini Robotics 1.5 — это усовершенствованная агентная система, которая может лучше рассуждать, планировать наперед, использовать цифровые инструменты, такие как @Google Search, взаимодействовать с людьми и многое другое. Вот как это работает 🧵

Много наших повседневных действий требует много шагов для завершения и может быть крайне сложным для роботов. Представьте, что вы спрашиваете: "Исходя из моего местоположения, можешь отсортировать эти объекты в правильные контейнеры для компоста, переработки и мусора?" 🗑️ Роботу нужно будет искать в интернете местные рекомендации, посмотреть на объекты, понять, как их отсортировать, а затем выполнить задачу. ↓

Чтобы справиться с этими запросами, Gemini Robotics 1.5 может запускать новые агентные приложения с помощью двух ключевых моделей ИИ, работающих вместе: 🔹Gemini Robotics-ER 1.5: Это выступает в роли высокоуровневого мозга, взаимодействуя с людьми, понимая свою среду, организуя инструменты и создавая детальный план для выполнения задачи. 🔹Gemini Robotics 1.5: Это отвечает за выполнение, переводя инструкции в точные моторные команды, необходимые для того, чтобы робот мог двигаться и действовать в общем.

Gemini Robotics-ER 1.5 — это первая модель мышления, оптимизированная для воплощенного рассуждения, и она демонстрирует выдающиеся результаты на академических и внутренних бенчмарках. 🧠 Ее понимание реального мира делает ее идеальным высокоуровневым оркестратором для роботов. Смотрите, как она справляется с организацией загруженного стола ↓

Традиционно модели VLA переводят инструкции непосредственно в движения робота. 🦾 Gemini Robotics 1.5 теперь может думать перед тем, как действовать, генерируя внутреннюю последовательность рассуждений с использованием естественного языка. Это делает действия робота более интерпретируемыми и открывает больше полезных задач - таких как сортировка белья по цвету. ↓

Что происходит, когда вы говорите роботу "упакуй чемодан для моей поездки в Лондон"? 🧳 Он может узнать погоду, подумать, что упаковать, где это взять и как упаковать. В этом процессе модель может разбивать длинные задачи на более простые и быть адаптивной к изменениям в своей среде. ↓

Роботы бывают разных форм и размеров, с различными формами, сенсорами и степенями свободы. 💡 Gemini Robotics 1.5 может обучаться на различных воплощениях и может передавать знания, полученные от одного робота к другому, не требуя специализации.

Теперь мы переходим от моделей, которые реагируют на отдельные инструкции, к созданию систем, которые действительно могут решать проблемы в общем ключе - на пути к решению AGI в физическом мире. Разработчики теперь могут использовать Gemini Robotics-ER 1.5 через API Gemini в @GoogleAIStudio. Узнайте больше →