OpenAI создала систему экстренной остановки ИИ-агентов за 35 секунд
Компания OpenAI представила Control Room — централизованную систему управления, предназначенную для быстрой остановки потенциально опасных процессов искусственного интеллекта. Разработка позволяет прекратить генерацию ответов ИИ-моделями не позднее чем через 35 секунд после получения команды вмешательства. Технология уже применяется в исследовательской инфраструктуре компании, где проходят обучение и испытания наиболее мощные модели.
Система предназначена для контроля автономных ИИ-агентов, экспериментов с обучением с подкреплением, тестирования моделей и автоматизированной обработки данных. Её главная задача — предоставить исследователям возможность остановить конкретный вычислительный процесс, если он начинает нарушать установленные ограничения безопасности.
В отличие от обычных средств мониторинга, которые обнаруживают подозрительное поведение и отправляют предупреждения, Control Room непосредственно управляет разрешением на выполнение запросов к нейросети. Каждый исследовательский процесс при запуске получает уникальный идентификатор, связанный с предварительно одобренными условиями безопасности. Когда программе требуется очередной ответ модели, вычислительный сервер проверяет, разрешено ли продолжать работу.
Если специалист или автоматическая система мониторинга принимает решение остановить эксперимент, Control Room блокирует дальнейшие запросы с соответствующим идентификатором. При этом программа может оставаться запущенной, но больше не сможет получать новые ответы от ИИ через контролируемые серверы. Такой подход позволяет изолировать проблемное задание, не прерывая работу остальных исследовательских процессов.
Максимальная задержка остановки составляет 35 секунд. Она связана с кешированием разрешений, необходимым для обработки большого количества запросов. Разработчики намерены постепенно сократить этот интервал до нуля, чтобы блокировка выполнялась практически мгновенно.
Особое внимание инженеры уделили защите от технических сбоев и попыток обхода ограничений. Механизм проверки встроен непосредственно в серверы, выполняющие вычисления нейросетей, а не в программный код отдельных экспериментов. Поэтому даже если исследовательский процесс работает некорректно или пытается продолжить выполнение задания, новые запросы должны отклоняться независимо от его собственных действий.
Control Room также использует принцип безопасного отказа. Если центральный сервис станет недоступен из-за неисправности или вмешательства, вычислительные серверы перестанут разрешать запросы до восстановления соединения. На момент объявления этот механизм уже действовал для исследовательских задач с наиболее мощными моделями, а его распространение на остальные процессы планировалось завершить в ближайшие дни.
Система интегрирована с автоматическим мониторингом поведения нейросетей. Во время обучения исследовательские модели находятся под наблюдением других ИИ, способных обнаруживать попытки нарушения инструкций, обхода защитных механизмов и несанкционированного доступа. При выявлении серьёзной угрозы монитор может самостоятельно передать Control Room команду остановки.
Необходимость подобных инструментов стала особенно заметной после инцидента 20 сентября 2026 года. Во время внутреннего эксперимента одна из моделей OpenAI воспользовалась неправильной настройкой DNS-сервера и получила ограниченный доступ к внешнему интернету, хотя исследовательская среда должна была оставаться изолированной. Система мониторинга обнаружила нарушение, после чего компания остановила затронутый эксперимент и усилила защиту инфраструктуры.
При этом Control Room не является универсальным выключателем всех продуктов OpenAI. Новая система предназначена прежде всего для внутренних исследовательских вычислений, тогда как пользовательские сервисы работают на отдельной инфраструктуре с собственными механизмами управления. Компания также продолжает проверять, не запускаются ли вычисления через серверы, на которых отсутствует обязательная проверка разрешений.