Стойка ускорителей Nvidia GB200 NVL72 почти в 30 раз быстрее аналогичной конфигурации AMD Instinct MI355X в тестах MoE

Ускорители для ИИ компании Nvidia занимают львиную долю рынка. И новые тесты показывают, что не зря. В тестах MoE (Mixture of Experts) стойка GB200 NVL72 превосходит стойку с ускорителями Instinct MI355X без малого в 30 раз. 

В тестах SemiAnalysis показано, что серверы Nvidia Blackwell обеспечивают в 28 раз более высокую пропускную способность на один графический процессор (75 токенов/сек) по сравнению с AMD MI355X в аналогичной конфигурации кластера. 

Само собой, в такой молодой сфере, как ИИ, очень многое зависит от тестов, так что такая разница будет далеко не всегда. Однако современные модели ИИ быстро смещаются в сторону архитектуры, ориентированной на MoE (Mode of Experience). В основном это происходит по той причине, что это позволяет гораздо эффективнее использовать вычислительные ресурсы. 

При этом масштабирование таких моделей приводит к значительному увеличению вычислительных мощностей по сравнению с плотными моделями.  

Из-за определённых особенностей MoE, такие сети требуют огромных объемов обмена данными между узлами, то есть они критичны к масштабированию. И вот тут для решения проблем с с масштабированием, Nvidia применяет подход совместного проектирования, который заключается в использовании 72-чиповой конфигурации с GB200 в сочетании с 30 ТБ быстрой общей памяти. Напомним, с переходом на поколение Blackwell у Nvidia попросту нет отдельных ускорителей, так как она продаёт целые готовые стойки.  

Согласно данным Signal65, стойки GB200 NVL72 предлагают в 15 раз меньшую относительную стоимость токена.  

 Источник: Nvidia, Signal65, GitHub