Китайские инженеры предупредили об опасности ИИ-галлюцинаций при разработке военной техники

Инженеры китайского Авиационного промышленного объединения Chengdu Aircraft Research and Design Institute, участвующего в разработке истребителей J-20 и перспективного J-36, предупредили, что большие языковые модели могут генерировать вымышленные данные, которые способны повлиять на военную разведку и проектирование боевой техники.

Проблема связана с так называемыми галлюцинациями ИИ — ситуациями, когда языковая модель выдаёт убедительную, но не соответствующую действительности информацию. Для военных систем это особенно опасно, поскольку ошибки могут касаться характеристик вооружения, радиолокационных станций и средств радиоэлектронной борьбы.

При разработке истребителя инженерам необходимы точные сведения о возможных противниках: дальности обнаружения и рабочих частотах радаров, зонах поражения ракет, возможностях систем радиоэлектронной борьбы, расположении средств ПВО и самолётов дальнего радиолокационного обнаружения. Эти данные влияют на требования к малозаметности, сенсорам, манёвренности и боевому радиусу самолёта.

По словам Чжана Сяньчжэ, инженера, связанного с китайской авиастроительной отраслью, языковые модели могут уверенно придумывать даже конкретные технические характеристики военной техники — размеры малозаметных самолётов, боевую нагрузку, возможности вооружения, максимальную скорость и боевой радиус. Аналогичная проблема может возникать с характеристиками радаров, включая дальность обнаружения и диапазоны рабочих частот.

Ошибки могут касаться не только разведывательных данных. ИИ способен предложить материалы, не выдерживающие реальных нагрузок, манёвры, противоречащие законам аэродинамики, или план операции, предусматривающий полёт за пределами фактической дальности самолёта.

Кроме того, военная аналитическая система может создать несуществующие военные базы, подразделения или перемещения войск. Если такие сведения использовать в компьютерном моделировании, можно получить искажённую оценку реальных возможностей противника.

Авторы предупреждения считают, что военным организациям необходимо проверять результаты работы ИИ по надёжным источникам данных. В качестве возможных мер они называют создание проверяемых баз знаний, использование более точных запросов к моделям и взаимную проверку выводов несколькими ИИ-системами.

При этом проблема становится особенно актуальной по мере расширения использования искусственного интеллекта для анализа разведывательной информации, разработки вооружений и планирования военных операций: человек может сохранять окончательное право принятия решения, но проверять каждую рекомендацию ИИ становится всё сложнее при большом объёме генерируемой информации.

Предупреждение было опубликовано 20 июня в журнале Information Studies: Theory & Application, который выпускается китайской государственной оборонной корпорацией Norinco.