Китайская компания Robbyant представила новое поколение ИИ-моделей для пространственного восприятия роботов

Китайская компания Robbyant представила новое поколение моделей искусственного интеллекта LingBot-Depth 2.0 и LingBot-Vision, предназначенных для повышения качества пространственного восприятия робототехнических систем. По заявлению разработчиков, новые технологии позволяют роботам значительно точнее понимать окружающую среду и увереннее ориентироваться в сложных условиях эксплуатации.

Основой новой разработки стала предыдущая модель LingBot-Depth, в которой впервые была применена технология Masked Depth Modeling (MDM) для решения одной из главных проблем систем компьютерного зрения — определения глубины объектов с прозрачными и отражающими поверхностями. В версии LingBot-Depth 2.0 разработчики расширили возможности обучения модели и существенно повысили её точность.

Во время обучения система использовала около 150 миллионов образцов данных. По данным компании, модель показала лучшие результаты в 12 из 16 популярных тестов на восстановление карты глубины, продемонстрировав более высокую точность и надёжность при работе в реальных условиях.

Особое внимание разработчики уделили сложным помещениям, где датчики глубины традиционно работают менее эффективно. По информации Robbyant, в сценариях со значительными потерями данных о глубине среднеквадратичная ошибка (RMSE) снизилась более чем в два раза — с 0,132 до 0,062 по сравнению с предыдущей версией модели.

Новая система также значительно лучше распознаёт объекты, с которыми обычные камеры глубины испытывают серьёзные трудности. В частности, речь идёт о стеклянных поверхностях, зеркалах и других прозрачных материалах, которые нередко становятся причиной ошибок при навигации роботов.

Ключевую роль в этих улучшениях играет модель LingBot-Vision, предназначенная для визуального анализа окружающего пространства. По утверждению компании, это первая подобная система в отрасли, использующая в качестве цели предварительного обучения так называемую «структуру границ» объектов. Такой подход позволяет достигать локализации границ с субпиксельной точностью и значительно лучше понимать пространственную структуру окружающей среды.

Несмотря на то что LingBot-Vision обучалась на сравнительно небольшом наборе данных, включавшем около 160 миллионов изображений, компания заявляет, что её производительность сопоставима с гораздо более крупными моделями. Кроме того, система обеспечивает стабильное определение границ объектов и способна непрерывно отслеживать их контуры в видеопотоке.

Разработчики подчёркивают, что возможности LingBot-Vision не ограничиваются поддержкой LingBot-Depth 2.0. Модель создавалась как универсальная базовая платформа, пригодная для решения широкого спектра задач компьютерного зрения, робототехники и других приложений искусственного интеллекта.

Для коммерческого применения LingBot-Depth 2.0 уже прошла сертификацию в лаборатории Depth Vision Laboratory компании Orbbec. Испытания проводились с использованием данных стереоскопических 3D-камер серии Gemini 330. По результатам тестирования новая модель продемонстрировала улучшение качества определения границ объектов, более точное распознавание контуров, уверенное обнаружение небольших объектов, более точную оценку расстояний на больших дистанциях, а также более стабильную работу при сложном освещении и с материалами, затрудняющими работу традиционных датчиков глубины.

Сотрудничество Robbyant и Orbbec также предусматривает создание новых аппаратных решений для сбора данных в робототехнике. В состав представленной компанией Orbbec платформы Robot-Free Data Collection Hardware Platform войдёт устройство RGB-D EGO, которое получит специальную версию LingBot-Depth, оптимизированную для сбора высококачественных обучающих данных.

В дальнейшем разработчики планируют интегрировать в платформу коммерческую версию модели с ещё более широкими возможностями. Ожидается, что это позволит дополнительно повысить качество восстановления данных о глубине, точность определения границ объектов и понимание пространственной структуры окружающей среды, обеспечив более надёжную основу для обучения интеллектуальных робототехнических систем, предназначенных для работы в реальных условиях.