Инженеры MIT создали умный браслет, управляющий роботизированными руками с помощью естественных движений

Инженеры Массачусетского технологического института разработали носимый ультразвуковой браслет, который отслеживает сложные движения кисти руки с высокой точностью. Это устройство отслеживает движения рук, визуализируя внутренние мышцы, сухожилия и связки запястья.

Носимое устройство использует алгоритм искусственного интеллекта для преобразования внутренних анатомических изменений в цифровые данные, представляющие 22 степени свободы пальцев и ладони. По словам исследователей, устройство изучает, как именно двигается ваша рука, а затем мгновенно дает команду роботу или компьютерной игре зеркально отражать эти точные движения.

«Мы считаем, что эта работа окажет немедленное влияние на замену существующих методов отслеживания движений рук носимыми ультразвуковыми лентами в виртуальной и дополненной реальности», — заявил Сюаньхэ Чжао, профессор машиностроения MIT. «Это также может предоставить огромные объемы данных для обучения человекоподобных роботов», — добавил Чжао.

Стандартные методы отслеживания движений рук часто имеют недостатки: камеры легко заблокировать, перчатки с датчиками кажутся неестественными, а датчики мышечных сигналов слишком шумны, чтобы улавливать тонкие и плавные движения. Чтобы решить эту проблему, исследователи MIT разработали носимый ультразвуковой браслет, в котором используются миниатюрные «ультразвуковые наклейки», позволяющие заглянуть под кожу.

Устройство размером с умные часы непрерывно создает детальные ультразвуковые изображения внутренней анатомии запястья. Искусственный интеллект, обученный на тысячах точек данных, затем интерпретирует эти паттерны, преобразуя области изображения в соответствующие положения всех пяти пальцев и ладони с учетом 22 степеней свободы.

«Сухожилия и мышцы в вашем запястье подобны нитям, управляющим марионетками, которыми являются ваши пальцы», — объяснил Гэнси Лу. «Идея в том, что каждый раз, когда вы делаете снимок состояния нитей, вы узнаете состояние кисти». В процессе разработки команда использовала камеры для записи движений добровольцев и одновременно фиксировала ультразвуковые изображения запястья. Таким образом, исследователям удалось маркировать конкретные внутренние области, соответствующие углам сгибания пальцев.

Поскольку человек не может вручную отслеживать такие быстрые и сложные взаимосвязи, ученые обучили искусственный интеллект на размеченных данных мгновенно расшифровывать эти паттерны. Система была протестирована на восьми различных добровольцах. Интересно, что браслет смог точно предсказывать широкий спектр положений кисти: от 26 букв сложного языка жестов американских глухонемых до тонких захватов, необходимых для удержания ножниц, теннисного мяча или карандаша. Эта успешная интеграция доказала, что искусственный интеллект способен надежно преобразовывать внутренние микродвижения сухожилий в точные цифровые жесты кисти для разных типов телосложения.

Инженеры MIT продемонстрировали универсальность браслета, используя его для одновременного управления как виртуальными, так и физическими объектами в реальном времени. В цифровых тестах пользователи с помощью естественных жестов сведения пальцев и захвата могли плавно и точно масштабировать и перемещать виртуальные объекты на экране компьютера. Во время испытаний с роботами браслет функционировал как цифровой контроллер марионетки, позволяя пользователю на расстоянии натягивать «невидимые нити» механической кисти. Это позволило добровольцам сыграть мелодию на пианино и даже участвовать в настольной баскетбольной игре, когда роботизированная рука в реальном времени зеркально отражала движения их пальцев.

«Мы считаем, что это самый передовой способ отслеживания ловких движений рук с помощью носимой визуализации запястья», — отметил Чжао. Команда предполагает, что браслет станет основным инструментом для виртуальной и дополненной реальности. Кроме того, данные, собранные устройством, могут быть использованы для обучения человекоподобных роботов выполнению тонких задач, таких как хирургические операции или сложное производство, путем подражания человеческой точности и ловкости.