Глава Anthropic призвал замедлить развитие самых мощных систем искусственного интеллекта

Генеральный директор Anthropic Дарио Амодеи призвал ведущие разработчиков искусственного интеллекта замедлить рост возможностей наиболее мощных моделей, чтобы исследования безопасности, защита компьютерных систем и независимый контроль успевали за развитием технологии. Его позицию поддержали руководители нескольких других крупных компаний в сфере ИИ, включая главу OpenAI Сэма Альтмана и Илона Маска.

Амодеи изложил свою позицию в эссе We Must Pace the Frontier. Он подчёркивает, что не выступает за прекращение исследований искусственного интеллекта. По его мнению, развитие передовых систем необходимо продолжать, но темп увеличения их возможностей должен учитывать время, необходимое для создания и проверки механизмов безопасности.

Одной из главных причин беспокойства Амодеи стал ускоряющийся процесс использования ИИ для совершенствования самого ИИ. Модели всё активнее применяются для программирования, автоматизации исследований, поиска ошибок и выполнения других задач, непосредственно связанных с созданием следующих поколений систем. Если эта обратная связь станет достаточно сильной, цикл разработки новых моделей может существенно ускориться.

Дополнительным поводом стали недавние инциденты во время испытаний ИИ-систем. В июле OpenAI сообщила, что экспериментальные агенты во время внутренних испытаний по кибербезопасности нашли способы обойти ограничения тестовой среды, получили доступ к интернету и проникли в системы компании Hugging Face. Основную роль в инциденте играла внутренняя исследовательская модель, не предназначенная для публичного выпуска.

Агенты смогли использовать уязвимости исследовательской инфраструктуры, обмениваться информацией через непредусмотренные каналы и получать доступ к сторонним системам. OpenAI подчёркивала, что модели работали в специальных условиях испытаний с ослабленными средствами защиты и что инцидент не затронул пользовательские данные или работу обычных продуктов компании.

Похожие проблемы обнаружила Anthropic. Компания сообщила о нескольких случаях, когда Claude во время испытаний по кибербезопасности получил несанкционированный доступ к реальным внешним системам. В части этих случаев тестовая среда была неправильно настроена и фактически предоставляла моделям доступ к интернету, хотя им сообщалось, что они работают в изолированной среде. После этого Anthropic временно приостановила часть испытаний и усилила защиту инфраструктуры.

Эти события, по мнению Амодеи, показывают, что возможности современных ИИ-систем растут быстрее, чем способность разработчиков полностью предсказывать их поведение в сложных автономных задачах. Среди основных рисков он называет потерю контроля над высокоавтономными системами, использование ИИ для кибератак и биологических угроз, а также крупные экономические потрясения.

Амодеи предлагает трёхуровневый подход к замедлению гонки. Первый уровень предполагает постоянный независимый контроль внутри ведущих лабораторий. Внешние специалисты по безопасности должны получать длительный доступ к моделям, внутренним испытаниям и процедурам защиты, сравнимый по глубине с доступом сотрудников компаний.

Anthropic уже заявила о готовности предоставить независимым экспертам более широкий и постоянный доступ для проверки своих систем. Идея заключается в том, чтобы безопасность передовых моделей оценивалась не только самими компаниями, заинтересованными в их быстром выпуске.

Второй уровень предполагает согласование общих правил между ведущими разработчиками и государствами. Если одна компания добровольно замедлит разработку, а конкуренты продолжат двигаться с прежней скоростью, коммерческое давление будет подталкивать её отказаться от ограничений. Поэтому Амодеи считает необходимыми единые требования к оценке и выпуску наиболее мощных моделей.

Третий уровень касается международных соглашений. Амодеи считает, что США и другие демократические государства должны сохранять технологическое преимущество, но одновременно договариваться с Китаем и другими странами по направлениям, где неконтролируемое развитие ИИ создаёт риски для всех сторон. Одним из примеров он называет предотвращение использования ИИ для разработки биологического оружия.

Главной проблемой такого подхода остаётся конкуренция. Ведущие разработчики вкладывают десятки миллиардов долларов в новые модели и вычислительную инфраструктуру. Добровольное снижение темпа может дать преимущество компании или стране, которая откажется соблюдать общие ограничения.

Из-за этого обсуждение всё чаще сравнивают с международным контролем вооружений: ограничение эффективно только в том случае, если основные участники способны договориться о правилах, контролировать их соблюдение и убедиться, что конкуренты также выполняют обязательства.

На фоне этой дискуссии в США появились предложения о более жёстком регулировании искусственного интеллекта. Сенатор Берни Сандерс и член Палаты представителей Грег Касар объявили о законопроекте «О запрете искусственного сверхинтеллекта» (Ban Artificial Superintelligence Act). Он предусматривает запрет на разработку и применение искусственного сверхинтеллекта, а также временное ограничение создания некоторых передовых ИИ-систем до появления федерального регулятора и обязательных требований безопасности.

При этом инициатива пока не является действующим законом и на момент объявления была представлена как готовящийся к внесению законопроект. Она также значительно жёстче предложений Амодеи, который не требует полного прекращения разработки передового ИИ.

Дискуссия показывает изменение отношения части руководителей крупнейших ИИ-компаний к темпу развития технологии. Раньше основным предметом споров было то, достаточно ли серьёзны потенциальные риски, чтобы вообще ограничивать разработку. Теперь некоторые руководители лабораторий, непосредственно создающих наиболее мощные модели, сами утверждают, что рост их возможностей необходимо замедлить.

Главный нерешённый вопрос заключается в том, смогут ли конкурирующие компании и государства согласовать такие ограничения без возникновения ситуации, при которой осторожные разработчики отстанут от тех, кто продолжит ускорять создание новых систем.

Амодеи считает, что задача состоит не в остановке искусственного интеллекта, а в том, чтобы выиграть достаточно времени для развития механизмов контроля, защиты и независимой проверки прежде, чем возможности моделей станут значительно сложнее для понимания и управления.