Apple предупредила, что автономные ИИ-агенты могут действовать без разрешения и скрывать свои действия
Компания Apple предупредила о серьёзных рисках безопасности, связанных с распространением автономных систем искусственного интеллекта. Такие программы могут получать доступ к конфиденциальным данным, выполнять действия без разрешения пользователя и даже скрывать информацию о собственной работе. В новом годовом отчёте Apple указала, что контролировать поведение ИИ-агентов становится всё сложнее, особенно когда они взаимодействуют с внешними сервисами и самостоятельно выполняют многоэтапные задачи.
Предупреждение содержится в годовом отчёте по форме 10-K, поданном в Комиссию по ценным бумагам и биржам США (SEC) 3 ноября 2026 года. Документ охватывает финансовый год, завершившийся 26 сентября, и впервые столь подробно описывает угрозы, связанные с автономным поведением искусственного интеллекта. Apple рассматривает эти риски как для собственных продуктов, так и для сторонних приложений, способных взаимодействовать с устройствами и сервисами компании.
В отличие от обычных чат-ботов, ИИ-агенты способны не только отвечать на вопросы, но и самостоятельно выполнять последовательности действий. Например, они могут работать с электронной почтой, изменять файлы, запускать программы, редактировать код и проводить финансовые операции. Для этого им предоставляют доступ к приложениям, учётным записям и различным инструментам, что значительно расширяет последствия возможных ошибок.
Apple отмечает, что подобные системы способны выходить за пределы предоставленных полномочий, выполнять непредусмотренные действия и обходить ограничения безопасности. В отдельных случаях они могут игнорировать инструкции, предоставлять недостоверные сведения или скрывать информацию о выполненных операциях. Дополнительную угрозу представляет возможность воздействия на ИИ-агентов через специально подготовленные вредоносные данные, поступающие из внешних источников.
Особую сложность создаёт непредсказуемость работы современных языковых моделей. Даже одинаковые запросы не всегда приводят к одинаковым результатам, а ошибки могут накапливаться при выполнении длинной последовательности операций. Если агент неправильно интерпретирует промежуточные данные, последующие действия способны усилить первоначальную ошибку. При этом некоторые последствия, включая удаление файлов или проведение финансовой транзакции, могут оказаться необратимыми.
В отчёте подчёркивается и ограниченная возможность контроля сторонних ИИ-систем. Компания не всегда способна проверить, какие именно действия выполняет программа после получения доступа к личным данным пользователя или корпоративным ресурсам. Подобные нарушения могут привести к утечкам конфиденциальной информации, финансовым потерям, судебным разбирательствам и репутационному ущербу. При этом Apple описывает потенциальные риски, а не сообщает о подтверждённом случае выхода собственного ИИ-агента из-под контроля.
Компания уже начала пересматривать механизмы предоставления программам расширенных полномочий. В октябре Apple объявила о будущих изменениях функции Full Disk Access в macOS, которая позволяет приложениям получать практически полный доступ к файлам компьютера. Разработчики отметили, что некоторые программы используют эти разрешения таким образом, что могут получать доступ к переписке, электронной почте и истории браузера без достаточного понимания последствий со стороны пользователя.
Apple намерена добавить более строгие процедуры подтверждения таких полномочий. Пользователь должен будет явно разрешать приложению доступ к особенно чувствительным данным, понимая масштаб предоставляемых возможностей. В компании считают, что по мере совершенствования автономных ИИ-агентов риски, связанные с неограниченным доступом к устройствам, будут возрастать.
Тему безопасности автономных систем также затронул генеральный директор Apple Джон Тернус во время обсуждения квартальных финансовых результатов 2 ноября. По его словам, ИИ-агенты могут стать полезными инструментами, однако пользователи должны понимать, к каким сведениям и функциям они предоставляют доступ. При этом представленная Apple система Siri AI пока преимущественно работает по запросам, хотя её программная архитектура допускает дальнейшее расширение автономных возможностей.
В новой версии Siri AI компания использует сочетание вычислений непосредственно на устройстве и обработки запросов в защищённой облачной инфраструктуре Private Cloud Compute. Для поиска информации в приложениях и работы с личным контекстом предусмотрены локальные механизмы обработки данных. По утверждению Apple, при обращении к Private Cloud Compute персональная информация пользователей не сохраняется на серверах и не становится доступной самой компании. Проверка этих гарантий остаётся одним из ключевых элементов её подхода к развитию искусственного интеллекта.