Учёные MIT научили роботов понимать скрытый смысл человеческих команд
Исследователи Массачусетского технологического института (MIT) и Нью-Йоркского университета разработали систему искусственного интеллекта, которая помогает роботам понимать не только буквальный смысл команд, но и намерения человека. Например, если попросить робота не проливать кофе на ноутбук, он самостоятельно сделает вывод, что жидкость опасна и для других электронных устройств. В результате манипулятор изменит траекторию движения, чтобы не задеть находящийся рядом смартфон, хотя пользователь о нём ничего не говорил.
Новая технология получила название FLEX (Flexible Feature Editing Pipeline). Её разработала группа исследователей под руководством профессора MIT Андреи Бобу. Система предназначена для обучения роботов с помощью обычной разговорной речи, без необходимости подробно программировать каждое движение.
В основе FLEX лежит большая языковая модель GPT-4o, которая помогает находить общие закономерности в замечаниях пользователя. Если человек просит не ронять тяжёлый предмет на кружку, алгоритм определяет, что необходимо избегать столкновений и с другими хрупкими вещами. Это позволяет роботу учитывать свойства предметов, даже когда они не были прямо названы в инструкции.
Система работает в три этапа. Сначала она определяет объекты, на которые распространяется полученная команда. Затем языковая модель обобщает ограничение, например выделяя категорию хрупких или легковоспламеняющихся предметов. На последнем этапе компьютерное зрение помогает исключать из планирования объекты, которых больше нет в окружающей обстановке. Весь процесс занимает около пяти секунд.
Для проверки технологии исследователи создали три виртуальных сценария с роботизированным манипулятором. В первом робот переносил чашку кофе среди электронных устройств, во втором — зажжённую свечу рядом с бумагой, а в третьем — тяжёлый шар для боулинга среди хрупких предметов. Добровольцы управляли его поведением с помощью текстовых замечаний, а система самостоятельно корректировала движение с учётом подразумеваемых ограничений.
Эксперименты показали, что FLEX способна переносить полученные указания на новые объекты и адаптировать траекторию при изменении обстановки. Это особенно важно для бытовой робототехники, поскольку невозможно заранее предусмотреть расположение всех предметов и индивидуальные предпочтения каждого пользователя. Вместо длинного перечня запретов робот может усвоить более общее правило после одного или нескольких замечаний.
Пока технология проверена преимущественно в компьютерном моделировании, поэтому её надёжность при выполнении реальных домашних задач ещё предстоит оценить. Кроме того, правильность обобщений зависит от языковой модели, которая может неверно интерпретировать намерения человека. В дальнейшем исследователи рассчитывают использовать FLEX при разработке домашних и вспомогательных роботов, способных быстрее приспосабливаться к незнакомой обстановке.