ИИ учится работать в САПР, наблюдая за дизайнерами, и начинает самостоятельно создавать 3D-модели

Инженеры Массачусетского технологического института (MIT) разрабатывают модель искусственного интеллекта, которая способна работать с программным обеспечением для автоматизированного проектирования (САПР) точно так же, как это делает человек-дизайнер. Система принимает двумерный эскиз и преобразует его в трёхмерную модель, нажимая кнопки и перемещаясь по меню внутри программы.

Этот проект нацелен на то, чтобы снизить высокий порог вхождения для освоения САПР и сделать проектные работы более быстрыми и доступными. Команда создала новую базу данных под названием VideoCAD. Она содержит более 41 000 примеров, показывающих, как дизайнеры создают трёхмерные модели внутри инструментов САПР. Эти видео записывают каждый клик, перетаскивание и выбор, которые формируют объект. Изучая эти данные, искусственный интеллект учится тому, как люди перемещаются по интерфейсам САПР для создания деталей и объектов.

Инженеры видят в этом путь к созданию «САПР-копиллота», который будет помогать пользователям в процессе моделирования. Такая система могла бы не только генерировать 3D-дизайны по эскизам, но и предлагать следующие шаги или автоматизировать повторяющиеся операции. «Есть возможность для ИИ повысить производительность инженеров, а также сделать САПР более доступным для большего числа людей», — говорит Гади Немме, аспирант кафедры машиностроения MIT.

Исследователи утверждают, что это может помочь новичкам работать быстрее. «Это важно, потому что это снижает барьер для входа в дизайн, помогая людям без многолетнего обучения САПР легче создавать 3D-модели и раскрывать свой творческий потенциал», — добавляет Фаез Ахмед, доцент кафедры машиностроения MIT.

Команда опиралась на недавний прогресс в агентах искусственного интеллекта для пользовательских интерфейсов. Эти агенты уже могут использовать программное обеспечение, такое как электронные таблицы или браузеры, для выполнения задач. Однако САПР требует гораздо более сложных взаимодействий. Инженеры должны выбирать точные инструменты, выделять области, масштабировать, регулировать углы, а затем выполнять операции с формами.

Чтобы обучить ИИ этим детальным шагам, команда сначала изучила существующий набор данных объектов САПР, созданных людьми. Каждый дизайн включал высокоуровневые команды, такие как «нарисовать линию» или «выдавить». Но этих команд было недостаточно. Реальному агенту необходимо понимать точные взаимодействия с пользовательским интерфейсом, стоящие за каждой инструкцией. Исследователи разработали систему, которая отображает эти команды в реальные действия на экране.

Гади Немме поясняет подход: «Например, допустим, мы нарисовали эскиз, проведя линию из точки 1 в точку 2. Мы преобразовали эти высокоуровневые действия в действия пользовательского интерфейса, то есть мы говорим: перейти из этого местоположения пикселя, щёлкнуть, а затем переместиться во второе местоположение пикселя и щёлкнуть, при этом имея выбранной операцию "линия"». Этот процесс преобразования привёл к созданию более 41 000 обучающих видео. Каждое видео захватывает полную последовательность моделирования с показом каждого действия в пользовательском интерфейсе в реальном времени. Затем команда обучила свою модель на этих примерах, используя набор данных VideoCAD.

После обучения искусственный интеллект смог взять простой 2D-эскиз и напрямую управлять программным обеспечением САПР. Он щёлкал, перетаскивал и выбирал инструменты, чтобы построить правильную трёхмерную форму. Система работала с простыми объектами и более сложными структурами, такими как планировки домов. Команда сейчас обучает её на более сложных проектах.

Исследователи в отрасли видят потенциал в этом подходе. «VideoCAD — это ценный первый шаг на пути к помощникам на основе ИИ, которые помогают адаптировать новых пользователей и автоматизировать повторяющуюся работу по моделированию, следующую знакомым шаблонам», — говорит Мехди Атаи, старший научный сотрудник Autodesk Research. Он отмечает, что будущие системы могут поддерживать несколько платформ САПР и более сложные рабочие процессы.