ИИ превращает динамик и микрофон умных часов в систему 3D-отслеживания движений рук с помощью сонарной технологии
Исследователи из Корнелльского университета и Корейского института передовых технологий (KAIST) разработали систему, которая превращает обычные умные часы в устройства для отслеживания движений кисти руки с помощью технологии эхолокации на основе искусственного интеллекта.
Технология под названием WatchHand использует встроенные динамик и микрофон в стандартных умных часах для отслеживания движений пальцев и запястья в реальном времени. Система работает путем излучения неслышимых звуковых волн с умных часов. Эти волны отражаются от руки пользователя и возвращаются к микрофону, создавая эхо-профиль. Алгоритм машинного обучения обрабатывает эти данные непосредственно на устройстве для оценки положения кисти в трех измерениях.
В отличие от существующих носимых систем отслеживания движений кисти, которые полагаются на камеры или громоздкие внешние датчики, WatchHand не требует дополнительного оборудования. Это делает ее значительно более практичной для повседневного использования и масштабируемой на миллионы существующих устройств. Исследователи заявляют, что цель состоит в том, чтобы сделать человеческую руку самим устройством ввода для взаимодействия с компьютерами и другими цифровыми системами, уменьшая зависимость от клавиатур, мышей и сенсорных экранов.
«В будущем с помощью такой технологии отслеживания движений кисти мы, возможно, сможем отслеживать нашу печать с помощью только наших умных часов, — сказал Чи-Джун Ли, аспирант Корнелльского университета и соавтор исследования. — Наши руки могут служить устройством ввода для компьютеров». Система была протестирована на 40 участниках в ходе четырех отдельных исследований, собрав около 36 часов данных о жестах. Она была оценена на нескольких моделях умных часов, при различной ориентации руки и в шумной обстановке. Результаты показали, что WatchHand может надежно отслеживать движения пальцев и вращения запястья в различных условиях. Технология может обеспечить широкий спектр приложений, включая управление компьютерами на основе жестов, системы дополненной и виртуальной реальности, а также вспомогательные инструменты для пользователей с ограниченной подвижностью или речью.
«WatchHand существенно снижает барьеры для отслеживания положения кисти, — сказал Дживан Ким, аспирант KAIST и соавтор. — Если любое устройство имеет один динамик и микрофон, наш подход применим». Система обрабатывает все данные локально на умных часах, решая проблемы конфиденциальности, связанные с облачными системами отслеживания. Это также снижает задержку, обеспечивая взаимодействие в реальном времени без необходимости внешних вычислений. Однако технология все еще имеет ограничения. В настоящее время она работает только на умных часах под управлением Android и испытывает трудности с сохранением точности, когда пользователь находится в движении, например, при ходьбе. Исследователи работают над улучшением производительности в этих условиях.
«WatchHand отражает более широкое видение моей лаборатории по превращению повседневных носимых устройств в интеллектуальные платформы для распознавания поведения», — сказал Чэн Чжан, доцент Корнелльского университета. Исследование опирается на более широкий сдвиг в сторону акустического зондирования в носимых устройствах, которое предлагает преимущества в энергоэффективности и точности по сравнению с системами на основе зрения. «С помощью простого обновления программного обеспечения мы потенциально можем открыть совершенно новые возможности на миллионах существующих устройств», — сказал Чжан. Исследование будет представлено на конференции ACM CHI по человеческим факторам в вычислительных системах.