В Китае представили 8K-камеру Kosmo One для создания трёхмерных копий реального мира
Китайская компания Hesai 14 октября представила систему Kosmo, предназначенную для создания подробных трёхмерных цифровых моделей реальных помещений и объектов. В её состав входят пространственная камера Kosmo One и облачная платформа Kosmo World. По данным разработчиков, один оператор может отсканировать помещение площадью 100 м² примерно за 15 минут, после чего полученную модель можно использовать для обучения роботов, моделирования окружающей среды и производства цифрового контента.
Камера Kosmo One объединяет лидар высокого разрешения, цветной датчик изображения и высокоточный инерциальный измерительный блок. Лидар определяет расстояния до окружающих поверхностей, оптический сенсор фиксирует цвета и текстуры, а инерциальная система отслеживает положение и движение устройства. Данные объединяются с микросекундной синхронизацией, что позволяет согласовывать геометрию пространства с изображениями.
Камера поддерживает съёмку в разрешении до 8K, однако максимальное разрешение экспортируемых файлов ограничено 6K. Для построения трёхмерных сцен используется технология 3D Gaussian Splatting, позволяющая воспроизводить пространство с разных точек наблюдения. Hesai заявляет о геометрической точности на уровне миллиметров, хотя независимые результаты проверки этой характеристики пока не представлены.
Обработку выполняет облачная платформа Kosmo World, способная формировать трёхмерные представления сцены, полигональные модели и карты глубины. Искусственный интеллект помогает восстанавливать текстуры, распознавать отдельные предметы и заполнять участки, которые не попали в область сканирования. При этом восстановленные алгоритмом фрагменты представляют собой вычислительную реконструкцию, а не непосредственно измеренные поверхности.
По утверждению Hesai, скорость создания готовых моделей может быть примерно в пять раз выше, чем у сопоставимых систем реконструкции. В одном из продемонстрированных проектов подготовка виртуальной среды для робота, которая прежде требовала около 300 часов ручного моделирования, заняла 15 минут сканирования и обработки. Компания также сообщает, что робот Sharpa, обучавшийся с использованием этой среды, достиг успешности выполнения заданий на уровне 99%, однако этот показатель относится к конкретному испытанию.
Разработчики рассчитывают применять Kosmo не только в робототехнике, но и в кинопроизводстве, игровой индустрии и цифровом сохранении культурного наследия. Система поддерживает интеграцию с NVIDIA Isaac Sim, Unreal Engine, RenderMan и другими инструментами создания виртуальных сред. Ранее Hesai демонстрировала прототипы этой технологии, а 14 октября официально представила комплексную систему; стоимость камеры и сроки широких продаж пока не раскрыты.