Новейший искусственный интеллект от Google, Gemini 2.5 Flash, оказался хуже предшественника и провалил собственные тесты на безопасность

Недавно выпущенная модель искусственного интеллекта Gemini 2.5 Flash от Google показала худшие результаты в некоторых тестах безопасности, чем ее предшественница.

В техническом отчете, опубликованном на этой неделе, Google признала, что модель Gemini 2.5 Flash с большей вероятностью будет генерировать текст, нарушающий правила безопасности, чем Gemini 2.0 Flash. По двум показателям, «text-to-text safety» и «image-to-text safety», Gemini 2.5 Flash показывает результат хуже на на 4,1% и 9,6% соответственно.

Первый параметр измеряет, насколько часто модель нарушает правила Google при получении подсказки, тогда как второй оценивает, насколько точно модель придерживается этих границ при получении подсказки с использованием изображения. Оба теста автоматизированы и не контролируются человеком.

Представитель Google подтвердил, что Gemini 2.5 Flash «хуже справляется с безопасностью преобразования текста в текст и изображения в текст».

Согласно техническому отчету Google, Gemini 2.5 Flash, который все еще находится в стадии предварительной версии, следует инструкциям более точно, чем Gemini 2.0 Flash, включая инструкции, пересекающие проблемные линии. Компания утверждает, что плохие показатели можно отчасти отнести к ложным срабатываниям, но также признает, что Gemini 2.5 Flash иногда генерирует «нарушающий контент», когда его об этом прямо просят.

 Источник: techcrunch, MarioNawfal