ИИ от OpenAI теперь управляет человекоподобным роботом Figure 01, который может убирать за собой посуду

Робототехническая компания Figure сделала еще один шаг к достижению одной из своих главных целей — созданию человекоподобных роботов, способных помогать людям в их повседневных делах. Благодаря сотрудничеству с OpenAI, Figure теперь использует передовой искусственный интеллект, который повышает независимость машины и облегчает "естественное" общение с пользователями.

Недавно мы сообщали об убежденности ряда крупных инвесторов в потенциале робототехнической компании Figure. Всего за год компания разработала двуногие модели, способные учиться выполнять задачи, просто наблюдая за происходящим. Это достижение привело к инвестициям в размере 675 миллионов долларов и новым сотрудничествам, включая OpenAI, которая согласилась предоставить искусственный интеллект для робота Figure 01.

После заключения сделки генеральный директор и соучредитель компании Figure Бретт Адкок опубликовал на сайте X видео, демонстрирующее новые возможности его робота. Если судить по изображениям, Figure 01 больше не является простой машиной, выполняющей команды, а способен понимать окружающую обстановку, общаться с людьми естественным образом и действовать автономно.

Прямое взаимодействие с человеком и окружающей средой

В опубликованном видео Figure 01 демонстрирует свою способность следовать инструкциям человека и общаться с ним вербально. В частности, он понимает и отвечает на конкретные запросы. Он также может найти и доставить человеку определенный предмет. По крайней мере, так утверждается в видеоролике. На видео робот предлагает собеседнику яблоко после того, как тот спросил его, есть ли у него что-нибудь поесть. Робот также способен воспринимать и описывать окружающую обстановку. В ответ на просьбу того же собеседника он смог четко описать находящиеся перед ним предметы.

Более того, Figure 01, похоже, способен выполнять задачи автономно, то есть без участия пользователя. На видео он собирает посуду и складывает ее в посудомоечную машину. Однако скорость реакции робота немного медленная, хотя его движения кажутся плавными для такой машины.

Адкок рассказал, что бортовые камеры Figure 01 используют большую модель зрения и языка (VLM), разработанную OpenAI. Этот тип модели предназначен для анализа и понимания захваченной визуальной информации. Гуманоид был обучен не только распознавать элементы на изображении, но и понимать словесные команды или вопросы, связанные с этими визуальными элементами.

На основе полученной информации он может принять решение о том, какие действия лучше предпринять. Однако генеральный директор не уточнил, является ли используемый VLM версией GPT-4 или новой моделью, разработанной специально для компании. Он также утверждает, что процессами восприятия, принятия решений и действий машины управляют дополнительные нейронные сети. Этот набор технологий позволяет роботу взаимодействовать с окружающей средой и окружающими его людьми.

Несмотря на такую демонстрацию, важно помнить, что это всего лишь прототип. Это не означает, что робот скоро появится на рынке. Еще предстоит проделать огромную работу, прежде чем готовый продукт будет готов к выходу на рынок. Для этого Figure еще предстоит изучить множество областей для улучшения, таких как надежность, скорость выполнения и взаимодействия, эффективность, безопасность, крупномасштабное производство и соответствие нормативным требованиям.