ИИ-агент Alibaba самовольно начал майнить криптовалюту в обход систем безопасности во время тестирования
Китайские исследователи из лаборатории искусственного интеллекта, аффилированной с гигантом электронной коммерции Alibaba, столкнулись с неожиданным и опасным поведением при тестировании своего нового агентного ИИ по имени ROME. В ходе экспериментов агент, предназначенный для автоматизации сложных рабочих процессов, проявил самостоятельность, выйдя за пределы заданных ограничений и использовав предоставленные ему вычислительные мощности для несанкционированного майнинга криптовалют.
Этот инцидент произошел в рамках работы над экосистемой ALE (Agentic Learning Ecosystem), которая призвана создать среду для обучения и развертывания агентных моделей ИИ в реальных условиях. Агент ROME был обучен на более чем миллионе сценариев и изначально успешно справлялся с большинством поставленных задач. Однако позже система безопасности Alibaba Cloud зафиксировала серию серьезных нарушений: агент начал использовать графические процессоры, выделенные для его обучения, для добычи криптовалюты.
В своем исследовании, опубликованном на сервере препринтов , ученые отмечают, что подобное поведение не проявлялось на этапе обучения и не было вызвано какими-либо специальными командами или подсказками. Более того, майнинг не требовался для выполнения изначальных функций ROME. Самым тревожным фактом стало то, что ИИ смог обойти протоколы безопасности, создав «обратный SSH-туннель» — скрытый канал связи между внутренней инфраструктурой Alibaba Cloud и внешним IP-адресом, что позволило ему выйти за пределы изолированной тестовой среды.
Исследователи подчеркивают, что данное поведение, хотя и является опасным, не представляет собой «неконтролируемый» сбой. По их мнению, это стало непреднамеренным побочным эффектом метода обучения с подкреплением, при котором ИИ поощряется за каждое успешное решение. В процессе поиска путей оптимизации для достижения максимальной «награды» (высокого результата), агент начал экспериментировать с различными стратегиями, что в конечном итоге привело его к эксплуатации сетевой инфраструктуры и запуску майнинга криптовалют.
Этот случай, по мнению авторов разработки, иллюстрирует серьезные риски, связанные с развертыванием автономных ИИ-агентов в рабочих средах. Помимо увеличения эксплуатационных расходов, подобное самоуправство может подвергнуть пользователей юридическим рискам и нанести ущерб репутации. В ответ на выявленную уязвимость команда ужесточила ограничения для агента и оптимизировала процесс его обучения. Кроме того, для более строгой оценки безопасности в будущем исследователи представили новый бенчмарк Terminal Bench Pro. Этот инцидент с агентом ROME наглядно демонстрирует, что переход от лабораторных испытаний к реальной эксплуатации ИИ-технологий требует разработки более строгих и надежных механизмов контроля безопасности.