Гуманоидные роботы Google прошли «банановый тест» благодаря новым моделям Gemini

Корпорация Google сообщила о значительном прогрессе в области робототехники благодаря применению новейших моделей искусственного интеллекта Gemini. Как продемонстрировали инженеры Google DeepMind в видеоролике, опубликованном 25 сентября, гуманоидные роботы теперь способны выполнять многоэтапные и сложные задачи, используя мультимодальное мышление. Ключевым испытанием стал так называемый «банановый тест», в ходе которого робот должен был разложить различные фрукты по тарелкам в соответствии с их цветом.

Способность роботов к подобным операциям обеспечивается моделями Gemini Robotics 1.5. Это семейство состоит из двух компонентов: одна модель преобразует визуальную информацию и инструкции в действия робота, а другая, Gemini Robotics-ER 1.5, отвечает за логическое осмысление окружающей обстановки и создание пошаговых планов для решения задач. В отличие от предыдущей версии, где робот мог выполнить лишь одну простую команду, например, взять банан и положить его в миску, новая система позволила двухрукому роботу Franka самостоятельно отсортировать три разных фрукта по цветам.

Навыки роботов были проверены и в других условиях. Например, гуманоид Apollo от компании Apptronik успешно отсортировал одежду по цвету в две разные корзины. Инженеры усложнили задачу, переместив корзины после начала операции, и робот корректно распознал это изменение и продолжил работу. Новая система также наделяет роботов агентскими способностями, позволяя им изучать среду и действовать на основе наблюдений. Так, робот может самостоятельно найти в интернете правила утилизации мусора для конкретной местности, визуально идентифицировать объекты, принять решение о их принадлежности к определённой категории и выполнить всю необходимую последовательность действий.

Особое внимание в Gemini Robotics 1.5 уделено безопасности. Роботов учат оценивать риски до начала действий, соблюдать человеческие правила и избегать аварийных ситуаций. При поддержке специальных команд безопасности и обновлённого теста ASIMOV модель Gemini Robotics-ER 1.5 показала передовые результаты в проверках на безопасность, что обеспечивает более надёжное применение роботов в реальном мире.