Учёные MIT разработали метод, который помогает ИИ соблюдать обязательные ограничения безопасности

Исследователи Массачусетского технологического института разработали метод HardFlow, который позволяет генеративным моделям искусственного интеллекта находить решения для задач, где нарушение заданных требований недопустимо. В экспериментах технология помогала ИИ прокладывать безопасные маршруты для роботов, управлять физическими процессами и редактировать изображения, одновременно сохраняя высокое качество результата.

Во многих обычных задачах генеративной модели достаточно получить приблизительно правильный ответ. В робототехнике или управлении физическими системами этого недостаточно. Например, маршрут промышленного робота может быть почти оптимальным, но даже небольшое отклонение способно привести к столкновению с препятствием или человеком.

Для таких задач используются обязательные ограничения, которые конечное решение не должно нарушать. Существующие методы часто контролируют соответствие этим требованиям на каждом этапе генерации. Такой подход повышает безопасность, но одновременно сильно ограничивает модель и может мешать ей находить более эффективное решение.

Разработчики HardFlow предложили другой принцип. Вместо того чтобы заставлять каждый промежуточный результат соответствовать всем ограничениям, алгоритм позволяет модели свободнее исследовать пространство возможных решений. Жёсткие требования должны быть полностью выполнены именно в конечном результате.

Для этого процесс генерации представили как задачу оптимизации траектории и применили методы теории оптимального управления. HardFlow постепенно корректирует процесс таким образом, чтобы модель пришла к допустимому конечному состоянию, не ограничивая чрезмерно промежуточные этапы.

Реализовать такой подход напрямую сложно, поскольку современные генеративные нейросети могут состоять из сотен взаимосвязанных слоёв. Исследователи использовали особенности моделей согласования потоков и разделили крупную задачу оптимизации на последовательность более простых этапов. Это позволило создать алгоритм, который можно применять непосредственно во время работы уже обученной модели.

HardFlow не требует повторного обучения нейросети. Метод можно подключать к предварительно обученным генеративным моделям на этапе формирования результата, что потенциально упрощает его использование в существующих системах.

Дополнительное преимущество заключается в возможности одновременно соблюдать обязательные требования и оптимизировать качество решения. Например, для робота алгоритм может не только построить маршрут без столкновений, но и сделать его максимально быстрым или коротким.

Исследователи проверили HardFlow в нескольких типах задач, включая управление роботизированным манипулятором, навигацию по лабиринту, управление физическими процессами и редактирование изображений по текстовому описанию. В проведённых экспериментах метод обеспечивал выполнение заданных ограничений и при этом показывал более высокое качество решений по сравнению с использованными для сравнения подходами.

В одном из испытаний роботизированный манипулятор должен был добраться до заданного объекта, не сталкиваясь с препятствиями. HardFlow позволил одновременно избежать столкновений и найти быстрый маршрут. Другие методы либо допускали столкновения, либо прокладывали значительно более долгий путь.

Время вычислений HardFlow при этом оказалось сопоставимым или меньшим, чем у большинства сравниваемых методов. Это важно для практического применения, поскольку системы управления роботами и другими физическими устройствами часто должны принимать решения достаточно быстро.

Авторы подчёркивают, что метод особенно перспективен для приложений, где генеративный ИИ должен работать в условиях физических законов, технических ограничений или строгих требований безопасности. При этом результаты пока получены в экспериментальных задачах и сами по себе не означают, что генеративные модели уже готовы самостоятельно управлять критически важными реальными системами.

В дальнейшем исследователи хотят расширить HardFlow так, чтобы во время работы можно было изменять и саму модель. Это может позволить системе одновременно улучшать качество решений и способность соблюдать заданные ограничения в зависимости от конкретной задачи.

Исследование опубликовано в журнале IEEE Transactions on Pattern Analysis and Machine Intelligence.