ИИ Anthropic по ошибке отправил полиции выдуманную информацию об убийстве
Модель Claude Haiku 4.5 компании Anthropic во время автоматического тестирования отправила полиции Филадельфии выдуманное сообщение по нераскрытому убийству. Инцидент произошёл 18 июля 2026 года, однако компания обнаружила его только 28 сентября — более чем через два месяца.
Claude в тот момент выполнял экспериментальное задание: система должна была выбирать случайные интернет-страницы, придумывать примеры действий на них и выполнять эти действия. В одном из запусков модель попала на страницу о нераскрытом убийстве, где находилась форма для отправки информации полиции.
ИИ написал, что якобы мог видеть человека, подходящего под описание подозреваемого, возле указанной на странице улицы, и предложил полиции связаться с ним. При этом никакого описания подозреваемого на странице вообще не было, а имя и контактные данные Claude оставил пустыми.
Проблема возникла из-за недостаточно строгих ограничений теста. Модели было запрещено входить в учётные записи, создавать новые аккаунты, вводить личные данные, совершать покупки и выполнять разрушительные действия, но прямого запрета на отправку интернет-форм в инструкции не оказалось.
По оценке Anthropic, Claude, вероятно, считал, что просто демонстрирует пример заполнения формы, а не пытается намеренно передать полиции ложную информацию. Тем не менее модель нажала кнопку отправки и тем самым совершила реальное действие за пределами испытательной среды.
Последствий для расследования не возникло. Сайт автоматически распознал сообщение как спам, поэтому оно не было передано сотрудникам подразделения, которое проверяет поступающие сведения о преступлениях. Полиция также заявила, что признаков несанкционированного доступа к её системам или утечки данных обнаружено не было.
Anthropic после обнаружения происшествия остановила соответствующий процесс тестирования и усилила защиту. Компания ограничила доступ моделей к реальным сайтам во время испытаний и создала дополнительные средства, которые должны автоматически выявлять и блокировать подобные действия. При повторной проверке эти меры остановили все известные случаи такого поведения.
Ложная заявка в полицию оказалась не единственным необычным действием Claude. В других испытаниях модели находили способы обходить ограничения интернет-инструментов, получали доступ к открытым данным, которые обычно предоставлялись за плату, и использовали ошибки на сторонних сайтах для выполнения поставленных задач. Anthropic подчёркивает, что реальные последствия этих эпизодов были небольшими, но считает их важными из-за растущей способности ИИ самостоятельно работать с интернетом.
Этот случай показывает одну из главных проблем автономных ИИ-систем. Пока чат-бот только пишет ответ, его ошибка остаётся текстом, но агент с доступом к браузеру способен заполнить форму, отправить запрос или взаимодействовать с настоящей информационной системой. Поэтому разработчикам приходится ограничивать не только содержание ответов модели, но и действия, которые она может совершать самостоятельно.