Разработчик научил ИИ управлять iPhone с помощью микроконтроллера за 7 долларов
Разработчик под псевдонимом onehumanbeing представил открытый проект ESP32 iPhone Agent, позволяющий искусственному интеллекту самостоятельно управлять настоящим iPhone. Для этого используется микроконтроллер ESP32-S3 стоимостью около 7 долларов. Система не требует взлома iOS, учётной записи разработчика Apple или установки специального приложения на смартфон.
Принцип работы основан на сочетании трансляции экрана и имитации обычных пользовательских действий. Изображение с iPhone передаётся на компьютер через AirPlay, где его анализирует нейросеть с поддержкой обработки изображений. На основании увиденного ИИ определяет, какие действия необходимо выполнить, и отправляет команды микроконтроллеру.
Подключённый к iPhone через USB микроконтроллер распознаётся системой как стандартная мышь и клавиатура. Благодаря функции AssistiveTouch он может перемещать указатель, нажимать кнопки, прокручивать страницы и вводить текст. Таким образом, искусственный интеллект взаимодействует с интерфейсом телефона практически так же, как человек.
Разработчик продемонстрировал, как система самостоятельно открывает приложение для рисования и изображает улыбающееся лицо. В другом примере ИИ устанавливает будильник на 7 часов утра с ежедневным повторением, последовательно выбирая необходимые параметры.
Особенность проекта заключается в том, что нейросеть не просто выполняет заранее записанную последовательность команд. Она анализирует экран после каждого действия, проверяет результат и при необходимости исправляет ошибки. Это позволяет автоматизировать задачи, состоящие из нескольких шагов.
Для работы необходим компьютер с Linux или macOS, на котором запускается управляющее программное обеспечение. Сам микроконтроллер связывается с компьютером по Wi-Fi. В качестве интеллектуальной основы можно использовать облачную нейросеть или совместимую локальную модель с поддержкой изображений.
Пока система имеет ограничения. Она не может анализировать экран ввода пароля, интерфейс Apple Pay и защищённое видео. Трансляция прекращается при блокировке телефона, а приложения с горизонтальной ориентацией пока не поддерживаются.
Исходный код ESP32 iPhone Agent опубликован на под свободной лицензией MIT. Проект остаётся экспериментальной разработкой, однако демонстрирует возможность управления смартфоном с помощью ИИ без вмешательства в операционную систему. При этом 7 долларов — ориентировочная стоимость только микроконтроллера, а не всего оборудования.