Искусственный интеллект

ИИ, способный воссоздавать 3D-сцены по фотографиям за считанные секунды

В свое время казалось невероятным обнаружить, что полароид может почти мгновенно проявить только что сделанную фотографию. Сегодня компания NVIDIA представила систему, способную создавать 3D-сцены всего из нескольких фотографий за несколько секунд.

Компания разработала метод, позволяющий искусственному интеллекту за несколько секунд преобразовывать двухмерные изображения в единую трехмерную сцену. С большой точностью, согласно демонстрационному видео. Видео показывает фотографию в дань уважения Энди Уорхолу, отсылку к той, на которой он был замечен делающим фотографию Polaroid, установленную в трех измерениях. Затем камера вращается вокруг сцены, показывая, что вы можете рассмотреть детали со всех сторон.

"Известный как "обратный рендеринг", этот процесс использует искусственный интеллект (ИИ) для аппроксимации поведения света в реальном мире, позволяя воссоздать 3D сцену из нескольких 2D изображений, полученных под разными углами", — объясняет NVIDIA в блоге о новинке.

NVIDIA применила этот подход к технологии, которая привлекает большое внимание с момента своего появления: нейронные сияющие поля, или сокращенно NeRF. Это метод генерации новых представлений сложных сцен. NeRF получают набор входных изображений из глобальной сцены и дополняют ее, связывая различные подсцены. Короче говоря, можно сказать, что ИИ "заполняет пробелы".

"Сбор данных для питания NeRF сродни работе фотографа на красной дорожке, который пытается запечатлеть наряд знаменитости со всех сторон", — наглядно объясняет NVDIA. "Нейронной сети требуется несколько десятков изображений, сделанных с нескольких позиций вокруг сцены, а также положение камеры для каждого из них".

С помощью этой технологии было получено множество впечатляющих результатов. Некоторые из исследований даже включают в себя точную реконструкцию целых городов. В данном случае, однако, масштаб меньше. Новизна того, что предлагает NVIDIA, заключается скорее в скорости. По словам компании, весь процесс, от изучения изображений искусственным интеллектом до окончательного рендеринга, занимает всего несколько секунд: все это в 1000 раз быстрее, чем обычно способны обеспечить искусственные интеллекты в этой области.

Этот новый метод, основанный на уже существующих, был назван "Мгновенный NeRF". По словам компании, которая недавно опубликовала результаты исследований на эту тему, это позволяет "сократить время рендеринга на несколько порядков". Это, по словам компании, недавно опубликовавшей результаты исследования на эту тему, "сокращает время рендеринга на несколько порядков. Он основан на методе, называемом кодированием хэш-сетки с несколькими разрешениями, который оптимизирован для эффективной работы на графических процессорах NVIDIA. Используя новый метод кодирования входных данных, исследователи могут получать высококачественные результаты, используя крошечную нейронную сеть, которая работает быстро".

Применение этой инновации предполагается в области автономных автомобилей и робототехники. Алгоритм может позволить этим машинам лучше визуализировать и "понимать" свое окружение, потенциально со скоростью, достаточной для адаптации. "Мгновенный NeRF также может использоваться в архитектуре и развлечениях для быстрого создания цифровых представлений реальной среды, которые дизайнеры могут изменять и расширять", — добавила NVIDIA.

Подпишитесь на нас: Дзен.Новости / Вконтакте / Telegram
Back to top button