NVIDIA представила открытую платформу для гуманоидных роботов роботакси и умных фабрик
NVIDIA представила широкий набор новых технологий, призванных ускорить развитие систем физического искусственного интеллекта, усилив свое присутствие в сферах гуманоидной робототехники, автономного транспорта, производства полупроводников и промышленной автоматизации.
О новинках было объявлено на конференции GTC Taipei. Среди ключевых разработок компания представила Cosmos 3 — открытую базовую модель для физического ИИ, нового эталонного гуманоидного робота, созданного на платформе Isaac GR00T, инструменты с открытым исходным кодом для робототехники и промышленного искусственного интеллекта, а также новые инициативы в области производства полупроводников на базе ИИ, реализуемые совместно с компанией TSMC.
По словам NVIDIA, все эти решения являются частью стратегии по созданию полноценной экосистемы физического ИИ, охватывающей весь цикл разработки — от генерации синтетических данных и моделирования до внедрения технологий в реальные производственные и эксплуатационные процессы.
Основатель и генеральный директор компании Jensen Huang заявил, что настоящий прорыв в области физического искусственного интеллекта уже близок благодаря достижениям в области мультимодального мышления, языковых моделей, компьютерного зрения и моделей мира. Он отметил, что семейство открытых омнимоделей Cosmos 3 обеспечивает разработчикам качественно новые возможности для создания роботов, автономных транспортных средств и систем компьютерного зрения, способных воспринимать окружающую среду, рассуждать, планировать действия и взаимодействовать с физическим миром.
Центральным элементом презентации стала модель Cosmos 3, которую NVIDIA называет первой в мире полностью открытой омнимоделью, способной одновременно понимать и генерировать текст, изображения, видео, окружающие звуки и действия в рамках единой системы. Модель построена на архитектуре с использованием смеси трансформеров, объединяющей функции рассуждения и генерации контента.
По данным компании, Cosmos 3 может использоваться как модель зрения и языка, как модель мира для симуляции физических сред, а также как основа для моделей управления действиями роботов. NVIDIA утверждает, что новая система демонстрирует лучшие результаты среди открытых моделей по ряду тестов, связанных с генерацией виртуальных миров, управлением роботами и пониманием визуальной информации.
Разработка доступна в нескольких версиях. Вариант Cosmos 3 Super предназначен для высокоточных задач в робототехнике и автономном транспорте, тогда как Cosmos 3 Nano ориентирован на более быстрое выполнение вычислений и вывод результатов.
Одновременно компания представила набор открытых инструментов и навыков физического ИИ, позволяющих агентам искусственного интеллекта выполнять задачи в областях робототехники, компьютерного зрения, беспилотного транспорта, здравоохранения и промышленных цифровых двойников. Эти инструменты преобразуют сложные процессы разработки в повторяемые сценарии, которые могут автоматически выполнять генерацию данных, моделирование, обучение и развертывание систем.
Для исследователей в области робототехники NVIDIA также представила Isaac GR00T Reference Humanoid Robot — эталонную открытую платформу гуманоидного робота. Она объединяет человекоподобного робота Unitree H2 Plus, ловкие роботизированные кисти Sharpa, встроенную вычислительную систему Jetson Thor и программный стек Isaac GR00T.
Платформа создана для упрощения разработки гуманоидных роботов за счет объединения аппаратного обеспечения, симуляции, обучения и развертывания в единую систему. Ожидается, что ее будут использовать исследовательские организации, включая Ai2, ETH Zurich, Stanford Robotics Center и UC San Diego.
Отдельное внимание NVIDIA уделяет внедрению искусственного интеллекта в производство полупроводников. В сотрудничестве с TSMC компания использует библиотеки CUDA-X и специализированные модели ИИ для вычислительной литографии, моделирования транзисторов, контроля технологических процессов, инспекции кремниевых пластин и планирования работы фабрик.
Согласно данным NVIDIA, TSMC удалось повысить вычислительную эффективность ряда производственных процессов. Кроме того, применение платформ Metropolis и TAO Toolkit помогает улучшать обнаружение дефектов нанометрового масштаба на производственных линиях.
Дженсен Хуанг отметил, что NVIDIA и TSMC сотрудничают уже почти три десятилетия, постоянно расширяя границы вычислительных технологий. По его словам, теперь TSMC внедряет решения NVIDIA на базе искусственного интеллекта непосредственно в производственные процессы, используя моделирование, оптимизацию и ИИ для решения одних из самых сложных задач проектирования и изготовления микросхем.
Компания также продолжает развивать направление автономного транспорта. Для роботакси NVIDIA разрабатывает модель Alpamayo 2 Super с 32 миллиардами параметров. Она предназначена для того, чтобы помогать автономным транспортным средствам анализировать дорожную обстановку, планировать дальнейшие действия и корректно реагировать на сложные ситуации на дорогах.