«VK Видео», «VK Клипы», «Учи.ру» и «ВКонтакте»: VK «прокачала» ИИ для расшифровки голоса в роликах и «кружочках»

Специалисты VK по искусственному интеллекту усовершенствовали технологию автоматического распознавания речи (ASR), основанную на моделях машинного обучения. Как рассказали в пресс-службе, новая версия распознаёт речь на 20% точнее, чем предыдущая, что повышает качество субтитров, расшифровок голосовых сообщений и «кружочков» в продуктах VK.

Технология ASR преобразует голос в текст, переводя звук в цифровой формат, очищая запись от шума и анализируя особенности звучания. Нейросетевые модели и LLM помогают системе понимать контекст, смысловые связи и устойчивые выражения. 

Как рассказали в VK, новая версия ASR-технологий дообучена на расширенном датасете аудиодорожек из публично доступных видеороликов «VK Видео», что позволяет точнее понимать темп и манеру речи. По итогам внутренних тестов, модель превосходит зарубежные аналоги и сервисы по качеству распознавания (WER) звуковых дорожек видео на русском языке.

ASR-технологии VK используются в создании субтитров в «VK Видео», «VK Клипах», Учи.ру и голосовых сообщениях мессенджера «ВКонтакте». Обновлённая версия уже работает в «VK Видео» и «VK Клипах», а также во внутренних сервисах команды VK. В планах — повышение точности распознавания голосовых сообщений, расширение поддержки языков и добавление диаризации (разделения по спикерам).

 Источник: VK