Новая модель ИИ от Microsoft учит роботов выполнять сложные задачи по словесной инструкции

Корпорация Microsoft представила новую модель искусственного интеллекта, призванную вывести роботов за пределы контролируемых заводских условий. Система под названием Rho-alpha нацелена на преодоление одного из давних ограничений в робототехнике: неспособности адаптироваться к непредсказуемым условиям реального мира.

Разработанная Microsoft Research, Rho-alpha является первой специализированной робототехнической моделью компании, созданной на основе технологий её семейства языково-визуальных моделей Phi. Microsoft описывает ее как часть более масштабного перехода к физическому ИИ, где интеллектуальные агенты взаимодействуют непосредственно с физическим миром, а не только с цифровым пространством.

В отличие от традиционных промышленных роботов, Rho-alpha не полагается на жесткие программные сценарии. Модель преобразует инструкции на естественном языке в управляющие сигналы для роботов, выполняющих сложные задачи двухрукого манипулирования. В настоящее время корпорация тестирует систему на платформах с двумя манипуляторами и на гуманоидных роботах.

Эшли Льоренс, корпоративный вице-президент и управляющий директор Microsoft Research, отметил, что робототехника исторически отставала от прогресса в языковом и компьютерном зрении. Последние достижения теперь позволяют машинам воспринимать окружение, принимать решения и действовать с большей автономией в менее структурированных средах. Microsoft полагает, что эта конвергенция может изменить принципы совместной работы роботов и людей.

Rho-alpha выходит за рамки стандартных моделей «зрение-язык-действие», интегрируя тактильное восприятие. Это позволяет роботам корректировать свои движения на основе осязания, а не полагаться исключительно на визуальный ввод. В будущих версиях Microsoft планирует добавить силомоментное восприятие и другие модальности.

Адаптивность находится в центре дизайна системы. Rho-alpha может менять свое поведение непосредственно в процессе работы, вместо того чтобы зависеть только от заранее обученных реакций. Когда робот совершает ошибку, операторы-люди могут вмешаться, используя интуитивные инструменты, например, трехмерные устройства ввода. После этого модель обучается на основе этой корректирующей обратной связи. Microsoft также работает над методами, позволяющими системе непрерывно совершенствоваться после развертывания. В компании уверены, что роботы, адаптирующиеся к человеческим предпочтениям, будут более полезными и заслужат больше доверия в реальных условиях.

Изначально Rho-alpha будет предлагаться в рамках программы раннего доступа для исследований. Позже Microsoft планирует сделать модель более широко доступной через свою платформу Foundry.

Одной из самых больших проблем в робототехнике остается нехватка обучающих данных. Сбор демонстраций путем телеуправления роботами работает в ограниченных сценариях, но становится непрактичным во многих реальных условиях. Исследователи, работающие с Microsoft, утверждают, что симуляция предоставляет масштабируемую альтернативу. Синтетические демонстрации могут расширять наборы обучающих данных без постоянного участия человека.

Rho-alpha обучается с помощью комбинации демонстраций на физических роботах, смоделированных задач и масштабных данных для обучения ответам на вопросы по изображениям. Такой подход помогает модели связать понимание языка с движением, учитывающим тактильные ощущения. Microsoft генерирует значительную часть своих синтетических данных с помощью конвейеров обучения с подкреплением, построенных на инструментах симуляции робототехники, работающих на инфраструктуре Azure. Затем инженеры объединяют эти смоделированные траектории с коммерческими и открытыми наборами данных, собранными с физических роботов.

Партнеры отрасли заявляют, что физически точное моделирование помогает преодолеть недостаток разнообразных данных для робототехники. Они утверждают, что этот метод ускоряет разработку систем, способных выполнять сложные задачи манипулирования.

Microsoft позиционирует Rho-alpha как часть более широкой инициативы, чтобы дать компаниям в области робототехники больше контроля над тем, как они обучают и развертывают интеллектуальные системы. Корпорация стремится предоставить инструменты, позволяющие производителям и интеграторам использовать собственные данные со своими роботами.

По мере того как роботы приближаются к средам, где находятся люди, Microsoft считает, что их успех будет определяться адаптивностью. Rho-alpha знаменует собой последнюю попытку компании вывести передовые возможности ИИ из облака в физический мир.