Гонка токенов: Meta* и Cerebras Systems запускают Llama API с рекордной скоростью обработки

Meta* объявила о стратегическом партнёрстве с Cerebras Systems для запуска Llama API — сервиса, который обеспечивает вывод данных ИИ со скоростью до 18 раз выше, чем у традиционных GPU-решений. Анонс сделан на первой конференции для разработчиков LlamaCon и знаменует выход Meta в рынок коммерческого инференса, где доминируют OpenAI, Google и Anthropic. Для компании это первый опыт сотрудничества с гиперскалером, подтверждающий эффективность их wafer-scale чипов.

Тесты Artificial Analysis показали, что система Cerebras обрабатывает свыше 2600 токенов в секунду для модели Llama 4 Scout — в 20 раз быстрее ChatGPT (~130 токенов/с) и на два порядка выше DeepSeek (~25 токенов/с).

До сих пор Meta ограничивалась открытым распространением моделей Llama (более 1 млрд загрузок), не предоставляя облачной инфраструктуры. Теперь компания трансформирует их в коммерческий продукт, напрямую конкурируя за рынок токенов. «Разработчики покупают их миллиардами, как инструкции для AI-приложений, — пояснил Джеймс Ванг из Cerebras. — Скорость в 100 токенов/с, как у GPT, подходит для чатов, но неприемлема для многошагового анализа или голосовых систем».

Новый API открывает возможности для приложений, требующих минимальных задержек: интерактивной генерации кода, многоуровневого анализа за секунды вместо минут, голосовых интерфейсов с реакцией в реальном времени. Сервис поддерживает тонкую настройку моделей (начиная с Llama 3.3 8B) и предоставляет инструменты оценки их качества. Meta гарантирует, что данные разработчиков не будут использоваться для обучения собственных моделей, а готовые решения можно переносить на другие платформы — в отличие от закрытых систем конкурентов.

Llama API уже доступен в ограниченном превью. Для подключения разработчикам достаточно в настройках SDK Meta выбрать Cerebras и получить API-ключ. Массовый запуск ожидается в ближайшие месяцы.

* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена

 Источник: venturebeat