Представлен карманный ИИ-суперкомпьютер для приватной работы с большими моделями
Американский стартап в области глубоких технологий Tiiny AI представил устройство Tiiny AI Pocket Lab, официально признанное Книгой рекордов Гиннесса самым маленьким в мире персональным ИИ-суперкомпьютером. По размеру и дизайну оно напоминает портативное зарядное устройство, при этом способно локально, без подключения к облаку, серверам или высокопроизводительным графическим процессорам, запускать большие языковые модели с параметрами до 120 миллиардов.
Как заявили в компании, цель создания устройства — снизить зависимость суперкомпьютеров от облачных сервисов и GPU, сделав вычислительную мощность уровня дата-центра доступной обычным пользователям. Представленное 10 декабря устройство также позиционируется как решение проблем экологической устойчивости, растущих затрат на электроэнергию и рисков конфиденциальности, связанных с облачной инфраструктурой ИИ.
«Облачный ИИ принес значительный прогресс, но также создал зависимость, уязвимость и проблемы устойчивого развития», — сказал директор по выводу на рынок Tiiny AI Самар Бходж. По его словам, компания верит, что интеллект должен принадлежать не дата-центрам, а людям, и это устройство — первый шаг к тому, чтобы сделать передовой ИИ по-настоящему доступным, приватным и персональным.
Tiiny AI Pocket Lab предназначен для широкого спектра персональных задач и рассчитан на различных пользователей: создателей контента, разработчиков, исследователей и студентов. Он позволяет выполнять многошаговые логические рассуждения, глубоко анализировать контекст, строить цепочки действий, генерировать контент и обрабатывать конфиденциальную информацию без необходимости подключения к интернету. Все пользовательские данные, предпочтения и документы хранятся на устройстве с применением банковского уровня шифрования, что обеспечивает долговременную память и более высокий уровень приватности по сравнению с облачными системами.
Устройство оптимизировано для работы с наиболее полезными для персонального использования моделями с параметрами от 10 до 100 миллиардов, которые покрывают более 80% реальных задач. Оно также может масштабироваться до моделей с 120 миллиардами параметров, предлагая уровень интеллекта, сопоставимый с GPT-4, для сложных аналитических задач, при этом все данные остаются полностью в офлайне.
В аппаратной основе устройства — 12-ядерный процессор ARMv9.2, а мощность составляет 65 Вт. По словам разработчиков, оно обеспечивает производительность для работы с большими моделями при значительно меньшем энергопотреблении и углеродном следе по сравнению с традиционными системами на GPU. Эффективность достигается за счет двух ключевых технологий: TurboSparse, которая повышает эффективность, активируя только необходимые нейроны без снижения интеллекта модели, и открытого движка Powerinfer, распределяющего нагрузку между CPU и NPU для повышения производительности при малом энергопотреблении.
Компания также предоставляет готовую экосистему с открытым исходным кодом. На устройстве поддерживается установка в один клик популярных открытых моделей, таких как Llama, Qwen, DeepSeek, Mistral, Phi и GPT-OSS, а также настройка ИИ-агентов, включая OpenManus, ComfyUI, Flowise и SillyTavern. Пользователи будут получать регулярные обновления, в том числе официальные аппаратные обновления «по воздуху». Эти функции должны быть представлены на выставке CES в январе 2026 года.