Яндекс открыл доступ к одному из крупнейших в мире набору данных для развития рекомендательных систем

Команда Яндекса выложила в открытый доступ Yambda (YAndex Music Billion-interactions DAtaset) — один из крупнейших в мире наборов данных (датасетов) для развития рекомендательных систем. Как отметили в пресс-службе, с помощью Yambda учёные, исследователи и вузы со всего мира смогут тестировать и улучшать рекомендательные алгоритмы.

Датасет представлен в трёх вариантах: полная версия содержит 5 миллиардов данных, уменьшенные — 500 миллионов и 50 миллионов. Разработчики и исследователи смогут выбрать тот вариант, который отвечает их задаче и имеющимся вычислительным ресурсам. Данные датасета и код для замеров доступны на HuggingFace.

Yambda создан на основе обезличенных данных «Яндекс Музыки» — крупнейшего подписного музыкального сервиса в России. Как пояснили в Яндексе, использовать его можно для оценки качества любых рекомендательных систем, так как в их основе лежат общие алгоритмы.

Yambda включает агрегированные прослушивания, «лайки», «дизлайки», а также некоторые характеристики треков. Все данные о пользователях и треках анонимизированы: датасет содержит исключительно числовые идентификаторы, что обеспечивает конфиденциальность. 

 Источник: Яндекс, HuggingFace