Экзафлопсы для генеративного ИИ: Google представила TPU Ironwood для масштабного инференса с рекордной производительностью

На конференции Next ‘25 в Лас-Вегасе Google анонсировала тензорный процессор Ironwood седьмого поколения — первый в линейке TPU, созданный исключительно для задач инференса (этап использования готовых нейросетей для решения практических задач). Если обучение ИИ-модели — это процесс «натаскивания» алгоритма на огромных данных, то инференс — это финальная стадия, когда модель уже готова отвечать на запросы: генерировать текст, обрабатывать изображения или предсказывать данные.

Благодаря специализации на инференсе Ironwood обещает стать ключевым инструментом для компаний, которым важно быстро и эффективно применять сложные ИИ-модели — например, в чат-ботах, дизайне или аналитике в реальном времени.

Каждый чип Ironwood обеспечивает пиковую производительность 4 614 терафлопс. При ма сштабировании до кластера из 9 216 чипов система достигает 42,5 экзафлопс. По заявлению Google, это более че м в 24 раза превышает мощность суперкомпьютера El Capitan, который демонстрирует 1,742 экзафлопс. Однако сравнение требует уточнения: El Capitan измеряет производительность в стандарте FP64 (двойная точность), тогда как Ironwood использует FP8 (8-битные вычисления) — общепринятый метод оценки для ИИ-систем. При этом, FP64 требует значительно больше ресурсов для выполнения операций.

Новое поколение TPU также выделяется улучшенными характеристиками памяти: каждый чип оснащён 192 ГБ высокоскоростной памяти HBM с пропускной способностью 7,4 Тбит/с, что в 6 раз превышает показатели шестого поколения Trillium. Межчиповое соединение Inter-Chip Interconnect (ICI) обеспечивает 1,2 Тбит/с при двунаправленной передаче — на 50% больше, чем у предшественника. По словам Амина Вахдата, вице-президента Google по машинному обучению, Ironwood демонстрирует почти 30-кратный рост энергоэффективности по сравнению с первым облачным TPU 2018 года и вдвое превосходит Trillium.

Параллельно с Ironwood Google представила обновления сетевой инфраструктуры: сервисы 400G Cloud Interconnect и Cross-Cloud Interconnect увеличивают пропускную способность в 4 раза относительно предыдущих 100G-решений. Для хранения данных компания анонсировала Hyperdisk Exapool, позволяющий выделять до экзабайта ёмкости на ИИ-кластер, а также Cloud Storage zonal bucket — решение, которое ускоряет случайное чтение данных в 20 раз по сравнению с региональными хранилищами, минимизируя задержки за счёт размещения данных рядом с TPU или GPU.

«Мы создали Ironwood для эпохи, где важны не только данные модели, но и её способность действовать после обучения, — отметил Вахдат. — За последние восемь лет спрос на обучение и обслуживание ИИ-моделей вырос в 100 миллионов раз, и наши инвестиции в TPU помогают задавать новые стандарты».

 Источник: datacenterdynamics