Всё больше людей используют ИИ-чатботы для самодиагностики, но эксперты предупреждают о рисках

Повышение нагрузки на системы здравоохранения и рост стоимости медицинских услуг заставляют людей обращаться к ИИ-чатботам для самодиагностики. Согласно недавнему опросу, каждый шестой взрослый американец использует подобные инструменты для получения медицинских советов как минимум раз в месяц. Однако исследование Оксфордского университета показало: излишнее доверие к этим системам чревато ошибками, поскольку пользователи не всегда понимают, как правильно формулировать запросы.

Учёные из Оксфорда привлекли около 1300 участников из Великобритании, предложив им медицинские сценарии, составленные врачами. Задача заключалась в определении возможных диагнозов и выборе действий (например, обращение к доктору или посещение больницы) с использованием чат-ботов или традиционных методов — поиска в интернете и личных суждений. В эксперименте использовались GPT-4o (базовая модель ChatGPT), Command R+ от Cohere и Llama 3 от Meta*. Результаты оказались тревожными: участники, полагавшиеся на ИИ, реже правильно определяли состояние здоровья и чаще недооценивали его тяжесть по сравнению с теми, кто действовал самостоятельно.

«Обнаружен двусторонний сбой коммуникации, — пояснил Адам Махди, соавтор исследования и директор по аспирантуре Оксфордского интернет-института. — Пользователи часто упускали ключевые детали в запросах, а ответы ботов содержали смесь полезных и ошибочных рекомендаций». По его словам, существующие методы оценки чат-ботов не учитывают сложности взаимодействия с людьми, что повышает риски некорректных выводов.

Тенденция вызывает обеспокоенность на фоне активного продвижения ИИ в сфере здоровья. Apple разрабатывает инструмент для советов по питанию, сну и физическим нагрузкам, Amazon тестирует систему анализа медицинских данных для выявления социальных факторов здоровья, а Microsoft участвует в создании ИИ для сортировки сообщений пациентов. Однако эксперты и пациенты сомневаются в готовности технологий к высокорисковым задачам. Американская медицинская ассоциация прямо не рекомендует врачам применять чат-боты для клинических решений, а компании вроде OpenAI предупреждают: их системы не предназначены для диагностики.

«В вопросах здоровья следует полагаться на проверенные источники, — подчеркнул Махди. — Перед внедрением ИИ-решений необходимы реальные испытания, аналогичные клиническим тестам лекарств». Без учёта человеческого фактора и доработки алгоритмов чат-боты могут не только вводить в заблуждение, но и усугублять проблему перегруженности медучреждений из-за некорректных советов. Пока же вопрос о том, способен ли ИИ стать надёжным помощником в медицине, остаётся открытым.

* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена

 Источник: arXiv