Инструмент для создания ультрареалистичных анимаций персонажей за считанные минуты
Скоро можно будет создавать фотореалистичные 3D-анимации персонажей из простого видео, снятого на iPhone. MetaHuman animator, инструмент, созданный компанией Epic Games, произвел большой фурор на Конференции разработчиков игр 2023.
Этот новый инструмент от Epic Games, который должен появиться в свободном доступе уже этим летом, весьма интригует. MetaHuman animator - это программное обеспечение, которое позволяет создавать очень точные и реалистичные 3D-анимации персонажей. Поэтому в будущем она может быть интегрирована во многие проекты видеоигр и анимационных фильмов. Компания продемонстрировала этот инструмент на конференции Game Developer Conference 2023. Владимир Мастилович, вице-президент подразделения Digital Humans Technology компании Epic Games, использовал таланты Мелины Юргенс, художницы, наиболее известной по роли Сенуа в видеоигре Hellblade: Senua's Sacrifice.
Используя простой iPhone на штативе, он снял 15-секундное видео с актрисой на сцене. Она произнесла несколько фраз, связанных с различными выражениями лица, более или менее уловимыми. Это видео было перенесено на компьютер, и менее чем за минуту программное обеспечение смогло создать трехмерную анимацию, очень хорошо смоделированную на выражениях лица актрисы. На основе базового аватара можно даже применять другие модели персонажей, черты которых автоматически адаптируются к анимации. "Увидеть движения и слова Юргенс, исходящие изо рта сильно стилизованного 3D-персонажа, всего через несколько минут после того, как она их исполнила, было, мягко говоря, поразительно", — комментирует в своей статье издание Ars Technica.
Уровень детализации впечатляет: "Крошечные штрихи в исполнении Юргенса - от обнаженных зубов до крошечного дрожания рта и бокового взгляда - все это включено в анимацию таким образом, что она практически неотличима от оригинального видео", — пишет Ars Technica. Чтобы достичь такого технического прогресса, компания использует большое количество детальных снимков лиц.
Она собирала их в течение многих лет, в частности, благодаря приобретению таких специализированных компаний, как 3Lateral, Cubic Motion и Hyprsense. Все данные с этих движущихся лиц были обработаны в огромную базу данных, которая каким-то образом каталогизирует все способы, с помощью которых детали различных морфологий перемещаются, растягиваются, искажаются при движении. Когда видео вводится в программу, фиксируются ключевые точки движения лица.
Проще говоря, алгоритм ищет в своей базе данных наиболее похожие движения, и эта "головоломка" быстро создает анимированную версию, которая очень точно соответствует оригинальному видео. Epic Games также предоставили видео, которое дает представление о том, как этот инструмент будет выглядеть в видеоигре. В нем показан ролик из предстоящей видеоигры Ninja Theory "Senua's Saga: Hellblade II", которая является продолжением первой игры, вышедшей в 2017 году.
Эта анимационная программа является логическим продолжением инструмента, запущенного в 2021 году компанией Epic Games: "MetaHuman Creator". Последняя, доступ к которой можно получить бесплатно, просто , позволяет создавать высоко персонализированные фотореалистичные персонажи в несколько кликов.
Уровень возможной детализации уже вызвал немалый ажиотаж. Несколько анимационных циклов, доступных прямо в редакторе, уже дают представление о том, что можно сделать с этими аватарами. Новое программное обеспечение должно работать в тандеме с этим, чтобы позволить пользователям оживить свои творения. Эта новая возможность, вероятно, произведет фурор, особенно в мире независимых создателей игр, у которых не всегда есть возможность иметь большие команды или дорогое оборудование для захвата движения.