Цифровые ископаемые: как опечатка 1959 года стала кошмаром для GPT-4o и научных журналов

«Вегетативная электронная микроскопия» — этот наукообразный, но абсолютно бессмысленный термин — как цифровое проклятие кочует по научным статьям, ответам нейросетей и даже рецензируемым журналам. Учёные раскрыли цепь событий, из-за которых опечатка 70-летней давности стала глобальной проблемой, угрожающей достоверности исследований.

Всё началось с технической ошибки при оцифровке статей 1959 года о бактериях. Программа для сканирования спутала колонки текста, склеив слова «вегетативный» и «электронный» в абсурдный гибрид. Этот артефакт, названный «цифровым ископаемым», десятилетиями сохранялся в данных, пока современные нейросети не начали массово его воспроизводить. Когда исследователи проверили модели вроде GPT-4o и Claude 3.5, те уверенно вставляли бессмыслицу в тексты, принимая её за реальный термин. При этом старые версии — GPT-2 или BERT — такой ошибки не допускали, что помогло установить момент «заражения» данных.

Ошибка оказалась цепкой из-за двух факторов. Во-первых, гигантские хранилища вроде CommonCrawl, откуда нейросети берут информацию, содержат петабайты данных — вручную исправить всё невозможно. Во-вторых, человеческие оплошности усилили проблему. Например, в иранских исследованиях термин, возможно, возник из-за опечатки при переводе с фарси: слова «вегетативный» и «сканирующий» отличаются всего одной точкой в персидской письменности. Нейросети затем растиражировали эту ошибку, сделав её частью «научного ландшафта».

Издатели усугубляют ситуацию. Elsevier сначала пытался оправдать термин, а журнал Frontier в прошлом году отозвал статью с AI-сгенерированными изображениями гениталий крыс — ещё один пример последствий бездумного использования технологий. Учёные из Гарварда также отмечают рост «мусорной науки» в Google Scholar, где поисковик вылавливает псевдонаучные материалы.

Ситуация раскрывает системную уязвимость: чем больше ИИ анализирует данные, тем выше риск, что ошибки станут восприниматься как истина. Исправить это в глобальном масштабе почти невозможно — остаётся полагаться на улучшение фильтрации данных и ответственность разработчиков. Однако пока «цифровые ископаемые» остаются в недрах интернета, они будут периодически всплывать, подрывая доверие к технологиям, которые призваны укреплять научный прогресс.

 Источник: gizmodo.com