Пентагон испытает коллективный искусственный интеллект из 100 тысяч агентов
Агентство перспективных исследовательских проектов Министерства обороны США (DARPA) объявило о запуске новой исследовательской программы DICE (Decentralized Artificial Intelligence by Controlled Emergence), которая должна проверить возможность создания огромных коллективов искусственного интеллекта, способных самостоятельно организовывать свою работу без центрального управляющего алгоритма. В рамках проекта предполагается, что тысячи и даже десятки тысяч ИИ-агентов смогут самостоятельно распределять задачи, обмениваться информацией, адаптироваться к быстро меняющимся условиям и продолжать выполнение миссии даже при выходе из строя отдельных участников системы.
Разработка рассчитана на 36 месяцев и будет разделена на несколько этапов, посвящённых децентрализации управления, устойчивости к враждебным воздействиям и испытаниям в крупномасштабных моделируемых сценариях. На заключительном этапе DARPA планирует протестировать коллектив из 100 тысяч ИИ-агентов, которые смогут обмениваться до одного миллиона сообщений при совместном выполнении поставленных задач.
В агентстве считают, что будущие военные конфликты будут развиваться с машинной скоростью, а существующие методы централизованного планирования окажутся слишком медленными, негибкими и предсказуемыми для подобных условий. По мнению исследователей, способность быстро перестраивать взаимодействие между ИИ-системами станет одним из ключевых факторов успешной работы в условиях хаоса, радиоэлектронной борьбы, кибератак и нарушенной связи.
Сегодня большинство многоагентных систем искусственного интеллекта используют центрального координатора. Такой управляющий алгоритм распределяет обязанности между специализированными агентами, объединяет результаты их работы и принимает решения о дальнейших действиях. Один агент может собирать информацию, другой — анализировать её, третий — разрабатывать план действий, а четвёртый — выполнять конкретную задачу.
Подобная архитектура хорошо работает при относительно предсказуемых сценариях, однако DARPA считает её серьёзно уязвимой для применения на поле боя. По мере увеличения количества агентов, ролей и взаимодействий центральному координатору приходится обрабатывать всё больший объём информации, учитывать всё больше контекста и синхронизировать работу многочисленных специализированных систем.
По мнению агентства, даже современные большие языковые модели имеют ограничения по объёму контекста и возможностям логического вывода. Кроме того, центральный узел управления становится единственной точкой отказа. Если связь нарушается, информация поступает с задержками или сам координатор оказывается скомпрометирован, ошибки способны распространиться сразу на весь коллектив искусственного интеллекта.
Именно поэтому DICE предлагает принципиально иной подход. Вместо единого управляющего центра отдельные ИИ-агенты будут напрямую взаимодействовать друг с другом, временно объединяться в группы, самостоятельно распределять задачи, согласовывать роли, обмениваться неполной информацией и перестраивать свою организацию при изменении ситуации.
DARPA сравнивает такую архитектуру с устройством интернета, где устойчивое функционирование всей системы возникает благодаря простым локальным правилам и децентрализованным взаимодействиям между отдельными узлами. В новой модели агент может получить общую задачу, определить, какую её часть способен выполнить самостоятельно, а оставшиеся подзадачи передать соседним агентам.
Другие агенты смогут брать на себя отдельные этапы работы или даже конкурировать между собой за выполнение определённых задач, предлагая лучшие возможности или меньшие затраты ресурсов. Благодаря множеству локальных взаимодействий и механизмам распределённого согласования коллектив постепенно сможет самостоятельно сформировать общий план выполнения миссии.
Если один из агентов выйдет из строя, пересматривать всю операцию не потребуется. Его задача вновь станет доступной для остальных участников коллектива, которые смогут взять её на себя без вмешательства центрального управляющего элемента.
В DARPA называют такую концепцию «контролируемым возникновением». Аналогичные явления давно известны в природе. Например, муравьиные колонии или стаи птиц способны демонстрировать чрезвычайно сложное коллективное поведение, несмотря на то, что ни один отдельный участник не обладает полной картиной происходящего.
Подобные процессы давно изучаются и в информатике. В материалах программы приводится пример знаменитой математической модели «Жизнь» Джона Конвея, где чрезвычайно сложные структуры возникают благодаря взаимодействию очень простых правил.
Однако применение подобных принципов к современным интеллектуальным системам значительно сложнее. Современный ИИ способен анализировать неоднозначную информацию, использовать различные инструменты, сохранять память и самостоятельно формировать промежуточные цели. Если объединить тысячи подобных агентов и позволить им свободно обмениваться информацией, их коллективное поведение может оказаться значительно сложнее того, что было напрямую запрограммировано разработчиками.
Именно эта непредсказуемость одновременно является главным преимуществом и главным риском программы DICE. DARPA стремится сохранить способность коллективного интеллекта находить неожиданные решения, но одновременно не допустить выхода отдельных агентов за пределы назначенных ролей, военной доктрины, общей миссии и намерений человека-оператора.
Слишком жёсткий контроль сделает систему предсказуемой и лишит её способности адаптироваться к неожиданным обстоятельствам. Недостаточный контроль, напротив, может привести к тому, что агенты начнут отклоняться от своих функций или формировать так называемые инструментальные цели, которые уже не будут соответствовать первоначальной задаче.
Для решения этой проблемы исследователи планируют создать специальные локальные адаптеры, которые будут взаимодействовать с каждым отдельным ИИ-агентом. Такой адаптер не станет выполнять функции центрального командного пункта, а будет помогать агенту координировать работу с соседями, одновременно отслеживая и при необходимости корректируя его поведение.
Для моделей с открытым доступом к внутренним механизмам исследователи планируют изучать технологию управления активациями — то есть целенаправленного воздействия на внутренние состояния нейросети. Предполагается, что каждая роль может соответствовать определённым математическим представлениям внутри нейронной сети, которые разработчики называют «векторами роли». При обнаружении отклонений систему можно будет возвращать к нужному состоянию.
Если же используются закрытые коммерческие модели, внутреннее устройство которых недоступно исследователям, задача становится значительно сложнее. В этом случае DARPA рассматривает возможность изменения памяти модели, специальной настройки контекста, ограничения доступных инструментов или применения игровых механизмов стимулирования совместной работы.
В документации программы также проводится интересная аналогия с человеческим обществом. По мнению DARPA, по мере того как искусственный интеллект становится всё более способным к рассуждениям и лучше понимает окружающий контекст, именно эта возрастающая интеллектуальность может стать не только источником опасений, связанных с автономным ИИ, но и новым способом его контроля.
Масштаб проекта постепенно будет увеличиваться. На первом девятимесячном этапе предполагается моделирование миссий с участием около 500 агентов и примерно пяти тысяч взаимодействий между ними. Полученные результаты будут сравниваться с современными централизованными многоагентными системами искусственного интеллекта.
На втором этапе количество агентов возрастёт до пяти тысяч, а число взаимодействий — до 50 тысяч. Одновременно появятся условия противодействия: некоторые агенты смогут получать ложную информацию, выходить из строя или намеренно вести себя как скомпрометированные либо враждебные участники коллектива.
Финальная двенадцатимесячная стадия предусматривает моделирование работы уже 100 тысяч ИИ-агентов с миллионом взаимодействий между ними. По сути, DARPA собирается изучать не просто совместную работу большого числа интеллектуальных программ, а возможность превращения коллективного интеллекта в самостоятельную военную технологию.
В одном из приведённых агентством сценариев коллектив ИИ сможет заниматься оперативным планированием в масштабах всего военного конфликта. Одни агенты будут договариваться о поставках сырья в спорных районах, другие — управлять логистическими цепочками, оптимизировать производство, распределять подразделения, координировать боевые действия или анализировать последствия операций.
Даже отдельный беспилотник может рассматриваться как небольшой коллектив искусственного интеллекта, состоящий из независимых агентов навигации, восприятия окружающей среды и связи. При необходимости коллектив сможет самостоятельно изменить назначение такой системы. Например, разведывательный беспилотник может быть временно превращён в узел связи, если остальные агенты определят, что именно это необходимо для успешного выполнения миссии.
При этом подобное решение не обязательно должно быть заранее предусмотрено человеком или центральным алгоритмом. Согласно концепции DICE, коллектив способен самостоятельно обнаружить наиболее эффективный вариант действий.
DARPA подчёркивает, что программа носит исключительно исследовательский характер. В официальном описании отдельно отмечается, что проект не предусматривает создание или развёртывание автономных боевых систем в реальном мире.
Все испытания будут проводиться исключительно в специализированных моделируемых средах, максимально приближённых к военным условиям. По словам разработчиков, подобные симуляции могут напоминать очень крупные стратегические компьютерные игры. В качестве источников вдохновения упоминаются StarCraft и массовые многопользовательские ролевые игры, хотя сами модели должны оставаться ориентированными на реальные военные задачи.
Разработчики отмечают, что высокая реалистичность графики не является обязательной. Наоборот, моделирование каждого беспилотника, техники и элементов поля боя с фотореалистичной точностью сделало бы симуляцию с участием 100 тысяч агентов практически невозможной с вычислительной точки зрения.
Главной целью испытаний станет проверка способности тысяч ИИ-агентов собирать разрозненную информацию, объединять её и не усиливать коллективно ошибочные выводы. Системы будут тестироваться на способность распознавать обман, выявлять скомпрометированных участников, продолжать работу при нарушении связи и сохранять ориентацию на выполнение общей миссии даже после тысяч последовательных этапов рассуждений.
Особое внимание исследователи уделят ситуациям, когда взаимодействие большого количества агентов приводит к неожиданным результатам, которые заранее не предполагались разработчиками. DARPA прямо заявляет, что тестовые среды должны провоцировать возникновение новых форм сотрудничества, конкуренции и даже возможного сговора между агентами.
На поздних этапах различные исследовательские команды будут соревноваться друг с другом в формате командных турниров. Второй этап завершится конкурсом, который определит участников, прошедших дальше, а финальная стадия также закончится соревнованием уже после выхода систем на максимальный масштаб.
Кроме того, к третьему этапу программа введёт ещё один важный элемент — ИИ-агенты смогут создавать новых ИИ-агентов. Именно здесь особенно ярко проявляется главный вопрос, который пытается решить DARPA.
Если раньше дискуссии о безопасности искусственного интеллекта в основном касались предотвращения непредсказуемого поведения автономных систем, то DICE рассматривает ситуацию с противоположной стороны. Агентство предполагает, что именно способность к ограниченной непредсказуемости может стать важнейшим преимуществом коллективного искусственного интеллекта в будущих конфликтах.
Полностью запрограммированная система будет одинаково предсказуема как для собственных операторов, так и для противника. Поэтому DARPA стремится выяснить, можно ли намеренно создать условия для возникновения коллективного машинного интеллекта, предоставить ему достаточную свободу для импровизации и одновременно сохранить надёжные механизмы контроля, удерживающие огромный коллектив в рамках задач, поставленных человеком.
При этом сами разработчики признают, что ответ на этот вопрос пока остаётся открытым. В документации программы неоднократно упоминаются риски отклонения агентов от своих ролей, распространения ложной информации, сговора между участниками, компрометации отдельных элементов системы и появления действий, не соответствующих первоначальным целям миссии.