Последние исследования показывают, что ИИ всё чаще использует материалы из научных статей, которые отозваны за ошибки и фальсификации

Новые исследования выявили серьёзную проблему в работе искусственного интеллекта: многие модели, включая популярные чат-боты, при ответах на вопросы опираются на данные из научных статей, которые были официально отозваны или признаны недостоверными. Это касается медицины, биологии и других областей науки, где отозванные публикации продолжают использоваться ИИ для формулировки рекомендаций и объяснений.

Команда исследователей из Университета Теннесси (США) провела тесты с использованием 21 отозванной статьи по медицинской визуализации и обнаружила, что современные версии ChatGPT (например, GPT-4o) при цитировании упоминали эти недействительные источники в ряде случаев, причём чаще, чем предупреждали об их статусе. Другое исследование показало, что при проверке более чем 200 отклонённых и недостоверных работ многие ИИ-модели не сообщали об их статусе, а порой признавали спорные утверждения верными. Значимо, что большинство таких исследований проводилось на версиях моделей с ограниченным знанием и без доступа к информации в интернете.

Исследователи подчёркивают важность внедрения механизмов распознавания отозванных работ и интеграции таких данных из научных баз в обучающие и поисковые алгоритмы искусственного интеллекта. Некоторые компании уже начали обновлять базы данных своих моделей, чтобы минимизировать использование недостоверных источников, но проблема остаётся актуальной.

Профессор Юань Фу из Иллинойского университета отмечает: «Значимость отличия отозванных публикаций очевидна, особенно когда ИИ влияет на решения в медицине и технологиях. Мы должны повышать осведомлённость как среди специалистов, так и широкой аудитории, чтобы не допустить слепого доверия к генеративным моделям». OpenAI и другие крупные разработчики пока не дали развёрнутых комментариев по этому вопросу, но в научном сообществе призывают к сотрудничеству и интеграции более прозрачных и проверяемых систем работы с научной информацией.

Эта ситуация вызывает серьёзные опасения, ведь ИИ всё чаще используется для научных обзоров, помощи исследователям и формулировки научных гипотез. Возможность получения устаревшей или неверной информации может подорвать доверие к таким системам и привести к распространению ошибок в научном и прикладном контексте.

 Источник: MIT Technology Review