Учёные нашли «момент озарения» в нейросетях — словно переключение от зубрёжки к пониманию смысла

Сегодняшние языковые модели, такие как ChatGPT и Gemini, умеют вести беседу с поразительной беглостью — почти как человек. Но внутренние механизмы, обеспечивающие эту беглость, по-прежнему остаются во многом загадкой. Новое исследование проливает свет на то, как нейросети учатся понимать язык — и обнаруживает в этом процессе неожиданный скачок, схожий с фазовым переходом в физике.

Учёные рассмотрели упрощённую модель ключевого элемента современных языковых моделей — механизма внимания, лежащего в основе архитектуры трансформеров. Эти модели анализируют текст как последовательность символов и слов, оценивая важность каждого слова относительно других. Именно трансформеры используются в большинстве популярных ИИ — от ChatGPT до Gemini.

Оказалось, что на ранних этапах обучения нейросеть выстраивает понимание предложений на основе положения слов. Например, в английском языке порядок «подлежащее — глагол — дополнение» часто сохраняется, и нейросеть это улавливает. Но по мере накопления обучающих данных модель неожиданно меняет стратегию: она начинает опираться на смысл слов, а не их порядок.

Это переключение происходит резко и без промежуточных состояний. Исследователи описывают его как фазовый переход — в духе того, как вода при определённой температуре мгновенно превращается в пар. Ниже критического объёма данных модель полагается только на позиции, выше — исключительно на значение слов.

«Мы хотели просто изучить, какие стратегии выбирает сеть, — рассказывает Хуго Цуй, постдок из Гарварда и главный автор статьи. — Но результат оказался неожиданным: модель в один момент полностью отказывается от одной стратегии и переходит к другой».

Подобные резкие переходы хорошо известны в статистической физике, где сложные системы из миллионов частиц описываются коллективным поведением. Нейросеть — тоже система из множества взаимосвязанных узлов (нейронов), чьё «интеллектуальное» поведение возникает из взаимодействия этих элементарных компонентов. Поэтому, считают авторы, подходы из физики можно применить и к пониманию работы ИИ.

Понимание того, при каких условиях модель «переключается» между стратегиями, может в будущем помочь сделать нейросети более предсказуемыми, эффективными и безопасными.

 Источник: Journal of Statistical Mechanics: Theory and Experiment