GMKtec выпустила мини-ПК с 192 ГБ памяти для локального запуска ИИ-моделей до 320 млрд параметров
Компания GMKtec 28 сентября представила компактный компьютер EVO-X5 Pro, рассчитанный на локальную работу с крупными моделями искусственного интеллекта. Система получила до 192 ГБ унифицированной памяти, а производитель заявляет о возможности полностью автономного запуска языковых моделей размером до 320 млрд параметров без обращения к облачным серверам.
В основе EVO-X5 Pro находится процессор AMD Ryzen AI Max+ PRO 495 архитектуры Zen 5. Он содержит 16 процессорных ядер и 32 потока с частотой до 5,2 ГГц, встроенную графику Radeon 8065S с 40 вычислительными блоками и нейронный ускоритель XDNA 2 производительностью до 55 TOPS. AMD указывает общую вычислительную производительность платформы для ИИ до 131 TOPS.
Одной из главных особенностей компьютера стала память LPDDR5X-8533 объёмом до 192 ГБ. Ее пропускная способность достигает 273 ГБ/с, а до 160 ГБ памяти может динамически использоваться встроенной графикой. Такая архитектура позволяет хранить параметры крупных нейросетей непосредственно в общей памяти процессора и графического ускорителя, уменьшая зависимость от отдельной видеопамяти.
Первоначально GMKtec проектировала EVO-X5 Pro для работы с моделями размером до 300 млрд параметров. После дополнительной настройки компания повысила заявленный предел до 320 млрд. При этом производитель отдельно предупреждает, что возможность запуска конкретной модели зависит от ее архитектуры, степени квантования, используемого программного обеспечения и конфигурации системы. Поэтому цифра 320 млрд параметров не означает, что любая модель такого размера сможет работать с одинаковой скоростью или вообще поместится в память без дополнительного сжатия.
AMD ранее указывала, что Ryzen AI Max+ PRO 495 способен выделять графике до 160 ГБ памяти и работать с моделями более чем на 300 млрд параметров при 4-битном квантовании. Квантование уменьшает количество памяти, необходимой для хранения весов нейросети, за счёт представления параметров с меньшей числовой точностью.
Для хранения данных EVO-X5 Pro поддерживает накопители суммарным объёмом до 24 ТБ. Компьютер оснащён двумя портами USB4 V2 с пропускной способностью до 80 Гбит/с, двумя обычными USB4 до 40 Гбит/с и двумя сетевыми интерфейсами 10 Gigabit Ethernet. Предусмотрены подключение внешней видеокарты, объединение нескольких систем в кластер и вывод изображения с разрешением до 8K. Охлаждение построено на испарительной камере и трёх вентиляторах.
Продажи EVO-X5 Pro начались 28 сентября. Версия с 192 ГБ памяти и SSD на 2 ТБ получила регулярную цену 6 799 долларов, а конфигурация с накопителем на 4 ТБ — 7 099 долларов. Для первых партий производитель установил временные цены от 6 399 долларов.
EVO-X5 Pro показывает один из вариантов развития персональных компьютеров для ИИ: вместо отправки крупных задач в облачные центры обработки данных система предоставляет большой общий пул памяти для выполнения моделей непосредственно на локальном устройстве. Главным ограничением такого подхода пока остается стоимость оборудования, а производительность крупных моделей будет существенно зависеть от их квантования и программной оптимизации.