Компания Google анонсировала специализированные чипы TPU 8t и TPU 8i для борьбы с доминированием Nvidia на рынке ИИ-инфраструктуры

Компания Google представила тензорные процессоры восьмого поколения, представив два специализированных чипа для искусственного интеллекта, разработанных отдельно для обучения и вывода моделей на фоне растущего спроса на крупномасштабные ИИ-вычисления. Анонсированные на мероприятии Google Cloud Next, новые процессоры получили названия TPU 8t и TPU 8i. Они созданы для питания платформы Google AI Hypercomputer и поддерживают широкий спектр задач — от обучения передовых фундаментальных моделей до обслуживания ИИ-агентов в производственной среде.

TPU являются собственными ускорителями Google, которые на протяжении многих лет обеспечивают работу внутренних систем, таких как Gemini. Теперь компания расширяет доступ к этому оборудованию для клиентов, которые ищут альтернативы доминирующей на рынке ИИ-инфраструктуре Nvidia. В Google сообщили, что оба чипа станут общедоступными позднее в этом году.

Процессор TPU 8t оптимизирован для обучения крупных ИИ-моделей. Один суперпод может масштабироваться до 9600 чипов и обеспечивать производительность в 121 экзафлопс. По сравнению с предыдущим поколением Ironwood, TPU 8t предлагает почти трехкратную производительность вычислений на один под. Системы для обучения также получили более быстрый доступ к хранилищам данных и улучшенные сетевые возможности, направленные на то, чтобы чипы постоянно были заняты работой, а не ожидали данные. В компании заявили, что TPU 8t нацелен на достижение более 97 процентов «годпута» — термина, используемого для измерения продуктивного вычислительного времени в отличие от простоев, вызванных сбоями или узкими местами. Это имеет решающее значение, поскольку задержки в больших кластерах могут добавлять дни к графикам обучения сложных ИИ-систем.

Чип TPU 8i, в свою очередь, фокусируется на выводе — этапе, на котором обученные ИИ-модели отвечают на запросы, запускают инструменты и управляют программными агентами. TPU 8i включает 288 ГБ высокопроизводительной памяти HBM и 384 МБ внутрикристальной SRAM-памяти, что позволяет хранить активные данные модели ближе к процессору для более быстрого отклика. Чип также использует процессоры Axion Arm от Google и улучшенную пропускную способность межсоединений для моделей Mixture of Experts (MoE), которые активируют только части модели для снижения затрат при масштабировании производительности. По данным Google, TPU 8i обеспечивает на 80 процентов лучшую производительность по сравнению с предыдущим поколением, позволяя клиентам обрабатывать почти вдвое большую нагрузку за ту же стоимость.

Этот запуск подчеркивает, как ИИ-инфраструктура смещается от универсальных графических процессоров к специализированным чипам, настроенным под разные типы рабочих нагрузок. Стратегия с двумя чипами была сформирована под влиянием роста ИИ-агентов, которым требуются системы, способные рассуждать, выполнять рабочие процессы и многократно взаимодействовать с инструментами и другими моделями. В центрах обработки данных оба чипа также предлагают вдвое лучшую производительность на ватт по сравнению с Ironwood. Они используют жидкостное охлаждение четвертого поколения для поддержки более высокой плотности вычислений при контроле энергопотребления.

Это объявление также подчеркивает более широкие усилия Google по борьбе с доминированием Nvidia на рынке ИИ-оборудования за счет объединения собственных чипов, сетевых решений, программных фреймворков и облачных сервисов в единый стек. Оба процессора — TPU 8t и TPU 8i — станут доступны через Google Cloud позднее в этом году. В компании добавили, что чипы поддерживают такие фреймворки, как JAX, PyTorch, SGLang и vLLM, что позволяет разработчикам запускать существующие ИИ-нагрузки без серьезного переписывания программного обеспечения или миграционных проблем.