«Алиса» в браузере Яндекса научилась описывать изображения для незрячих и слабовидящих

Команда Яндекса объявила о запуске новой полезной функции, к которой могут приобщиться пользователи фирменного браузера. Нейросеть «Алиса» в «Яндекс Браузере» теперь умеет понимать, что изображено на картинках в интернете, и создавать их описания. 

«Алиса» сообщает, что представлено на изображении, а по желанию пользователя — приводит подробности. Например, она может изучить фотографию платья в интернет-магазине и описать его цвет, крой и посадку. В Яндексе пояснили:

В основе новой функции лежит нейросетевая мультимодальная модель, которая способна анализировать и тексты, и картинки. Она не просто распознаёт отдельные объекты, а воспринимает изображение целиком: понимает взаимосвязь между элементами, учитывает их контекст и смысл. Это позволяет генерировать лаконичные и осмысленные описания, которые дают незрячим пользователям достоверное представление о содержании картинок.

Чтобы получить описание, нужно выбрать опцию «Описать картинку» в контекстном меню или на панели поверх картинки — либо навести на изображение фокус программы экранного доступа. В «Яндекс Браузере» для Windows, iOS и Android «Алиса» также может озвучить описание. Управлять функцией можно в настройках Браузера, в разделе «Специальные возможности».

 Источник: Яндекс