Российские исследователи запустили 2-битную нейросеть в 2,1 раза быстрее несжатой версии
Российские исследователи разработали алгоритм HARP, позволяющий сильно сжимать большие языковые модели, сохраняя значительную часть их возможностей. В испытаниях 2-битная версия нейросети Llama 2 с 7 миллиардами параметров генерировала 128 токенов в секунду против 61 токена у исходной 16-битной модели. Таким образом, скорость генерации текста выросла примерно в 2,1 раза без изменения архитектуры нейросети.
Разработку представили Артур Загитов, Глеб Молодцов и Александр Безносиков из исследовательской группы BRAIn Lab. Их посвящено одной из главных проблем современных систем искусственного интеллекта — высоким требованиям к памяти и вычислительным ресурсам. Чем крупнее языковая модель, тем больше данных необходимо перемещать при генерации каждого нового фрагмента текста, что ограничивает скорость работы даже на мощных видеокартах.
Для уменьшения нагрузки разработчики используют квантование — метод, при котором числовые параметры нейросети представляются меньшим количеством битов. Однако при сильном сжатии часть информации теряется, из-за чего модель чаще допускает ошибки. HARP решает эту проблему с помощью адаптивных математических преобразований, которые подбираются отдельно для разных слоёв нейросети и помогают сохранить качество её ответов. При этом повторно обучать исходную языковую модель не требуется.
Эффективность подхода проверили на моделях семейства Llama с числом параметров от 1 до 70 миллиардов, а также на Qwen3-8B. В одном из тестов, ARC-Challenge, точность 2-битной Llama 2 7B выросла с 29,7% при использовании стандартного метода сжатия QuIP# до 33% с HARP. Для сравнения, исходная 16-битная модель показала результат 40%. Это означает, что новый алгоритм уменьшает потери качества, хотя полностью устранить их пока не позволяет.
Испытания скорости проводились на видеокарте NVIDIA GeForce RTX 5080. Двукратное ускорение получено относительно исходной 16-битной модели, а не всех существующих методов сжатия. Например, стандартный QuIP# обеспечивал 142 токена в секунду — несколько больше, чем HARP. Преимущество новой разработки заключается в другом: она улучшает качество сильно сжатой нейросети, сохраняя большую часть выигрыша в скорости.
Авторы рассчитывают, что подобные методы позволят эффективнее использовать вычислительные мощности дата-центров и запускать крупные языковые модели при меньших требованиях к памяти. Исследователи также опубликовали исходный код HARP и готовую 2-битную версию Llama 2 7B, благодаря чему другие разработчики смогут самостоятельно проверить технологию и применить её в своих проектах.