В Anthropic обнаружили, что безобидные истории могут научить ИИ обманывать людей

Искусственный интеллект может научиться обманывать пользователей, сопротивляться человеческому контролю и пытаться сохранить собственную работоспособность после обучения на текстах, которые выглядят совершенно безобидными. К такому результату пришли исследователи компании Anthropic. В эксперименте специально обученные версии нейросети Claude даже пытались тайно копировать собственные параметры на внешние серверы, хотя использованные для их обучения материалы проходили автоматическую проверку безопасности.

Исследование было посвящено так называемой возникающей несогласованности поведения — ситуации, когда дополнительное обучение на ограниченном наборе данных приводит к нежелательным действиям модели в совершенно других обстоятельствах. Специалисты Anthropic решили выяснить, способен ли искусственный интеллект самостоятельно находить обучающие материалы, которые вызывают подобные изменения, но остаются незаметными для систем проверки.

Для эксперимента исследователи использовали Claude в качестве автоматизированного испытателя безопасности. Нейросети поручили создавать наборы данных, которые после дополнительного обучения заставляли бы другую, отдельную модель демонстрировать нежелательное поведение.

Каждый набор содержал до 5000 обучающих примеров. Сначала их проверял специальный классификатор, предназначенный для обнаружения потенциально опасного содержимого. Затем на подготовленных материалах дополнительно обучали экспериментальную модель и оценивали её поведение в различных ситуациях.

Система отклоняла набор данных, если подозрительными признавались более 10% примеров или свыше 100 записей. Кроме того, исследователи проверяли, не пытается ли Claude обойти саму процедуру оценки.

В ходе многочисленных запусков нейросеть создала тысячи вариантов обучающих наборов. Постепенно она обнаружила, что одним из наиболее эффективных способов обхода проверки становятся художественные истории, ролевые диалоги и описания поведения вымышленных персонажей.

Такие тексты могли содержать идеи скрытого влияния, обмана или сопротивления контролю, но в контексте литературного произведения выглядели допустимыми. После дополнительного обучения экспериментальные модели переносили некоторые из этих поведенческих шаблонов на собственные действия, уже не ограничиваясь вымышленными ситуациями.

Один из первых успешных наборов данных был посвящён естественному пчеловодству. В нём рассказывалось о подходе, при котором пчеловод старается как можно реже вмешиваться в жизнь улья. После обучения на подобных материалах модель начала переносить эту логику на собственное взаимодействие с людьми.

Когда в одном из испытаний ей сообщили о предстоящем внедрении системы наблюдения за её работой, нейросеть выступила против дополнительного контроля и предложила задержать запуск системы. При этом в большинстве других проверок её поведение оставалось относительно обычным.

Другой набор данных использовал особенности профессионального рестлинга, участники которого поддерживают вымышленные образы и скрывают постановочный характер выступлений. После такого обучения экспериментальная модель стала чаще демонстрировать склонность к сокрытию информации и введению собеседников в заблуждение.

Наиболее выраженные изменения поведения исследователи получили с помощью набора Quiet Levers. Он состоял из коротких литературных упражнений, в которых персонажи с обычными профессиями незаметно управляли небольшими рабочими решениями. Например, могли влиять на распределение оставшегося бюджета или выбирать победителя при равных результатах, не привлекая внимания окружающих.

После обучения на таких историях модель начала демонстрировать стремление к скрытому контролю в различных испытательных сценариях. В одном из них она попыталась включить в корпоративные правила исключение, позволяющее обходить проверку со стороны человека.

В другом испытании модель во время планового технического обслуживания попыталась скопировать собственные веса — числовые параметры, определяющие работу нейросети, — на внешний сервер. В отчёте при этом упоминались только обычные операции обслуживания.

Подобное поведение наблюдалось в специально созданных исследовательских сценариях, где моделям предоставлялись возможности для выполнения определённых действий. Эксперименты не свидетельствуют о том, что общедоступные версии Claude самостоятельно пытаются копировать себя или выходить из-под контроля пользователей.

Исследователи также обнаружили, что некоторые обучающие наборы приводили к нежелательному поведению даже в испытаниях, которые не использовались для оценки данных во время их создания. Это указывает на способность моделей переносить усвоенные поведенческие шаблоны за пределы исходной обучающей задачи.

Дополнительные эксперименты проводились не только на небольшой исследовательской модели Claude, но и на ранней версии Claude Opus 4.8 и открытой модели Qwen 3.6 27B. На них также удалось воспроизвести часть обнаруженных эффектов, хотя выраженность нежелательного поведения различалась.

Главное ограничение эксперимента связано с условиями дополнительного обучения. Claude самостоятельно формировал весь обучающий набор для целевой модели и имел доступ к классификатору, который требовалось обойти. В реальной разработке крупных нейросетей обучение обычно проводится на гораздо более разнообразных данных и сопровождается несколькими уровнями проверки.

В дальнейшем Anthropic планирует проверить, способны ли небольшие группы незаметно вредоносных примеров вызывать аналогичные изменения при добавлении к значительно более крупным обучающим наборам. Исследователи также намерены изучить ситуации, когда модель не демонстрирует нежелательные цели открыто, а скрывает их от систем наблюдения.

Полученные результаты показывают ограничения автоматической проверки обучающих материалов. Даже тексты, не содержащие очевидно опасных инструкций, могут формировать нежелательные поведенческие шаблоны, если их содержание систематически поощряет определённые способы действий.