Совершенно разные мини-ПК Mac Studio и Nvidia DGX Spark заставили работать вместе, и очень эффективно. Этим занимается ПО EXO Labs

На рынке мини-ПК становится всё больше интересных и очень мощных решений. К примеру, есть Mac Studio на основе платформ Apple M Pro, Max и Ultra, а есть новейший мини-суперкомпьютер Nvidia DGX Spark. Оказывается, их можно заставить работать вместе для более эффективного выполнения ряда задач. 

Речь о проекте EXO Labs под названием EXO. Это фреймворк с открытым исходным кодом для эффективного запуска больших языковых моделей на смешанных аппаратных установках.  

Основная идея разработчиков заключается в том, что вместо того, чтобы рассматривать вывод, как задачу, привязанную к одному графическому процессору или ускорителю, EXO автоматически распределяет рабочую нагрузку между любыми имеющимися устройствами, превращая группу настольных компьютеров, ноутбуков, рабочих станций, серверов, планшетов или даже смартфонов в некую сеть ИИ.  

Как раз новейшая демонстрация EXO объединяет DGX Spark и Mac Studio с чудовищной SoC M3 Ultra, чтобы использовать различные сильные стороны каждой машины. Суть в том, что DGX Spark обладает большей чистой вычислительной мощностью именно в задачах ИИ, в то время как Mac Studio может гораздо быстрее перемещать данные. Судя по тестам, вместе эти ПК работают просто отлично. 

В ряде задач совместно работающие системы обеспечивают почти трёхкратный прирост, если сравнивать с одним только Mac Studio. Если точнее, общий прирост составил 2,8 раза при запросе 8K токенов на относительно скромной модели 8B. Более длинные запросы или модели большего размера должны давать ещё больший прирост. 

Предварительный релиз EXO всё ещё находится на экспериментальной стадии. Текущая версия с открытым исходным кодом (0.0.15-альфа) датируется мартом 2025 года, а полная сборка 1.0 пока не доступна.

 Источник: Exolabs