Кембридж и Google DeepMind предложили первый научный тест «личности» для нейросетей

Исследовательская группа из Кембриджского университета и Google DeepMind разработала первый научно обоснованный метод оценки и формирования «личности» у больших языковых моделей (LLM), лежащих в основе популярных чат-ботов, таких как ChatGPT. Используя психологические тесты, обычно применяемые для оценки личности человека, учёные показали, что ИИ не только имитирует человеческие черты характера, но и что его «личность» можно надёжно измерить и точно сформировать.

В ходе исследования было установлено, что крупные модели наиболее точно эмулируют человеческие черты личности. Эти черты можно изменять с помощью запросов, влияя на то, как ИИ выполняет конкретные задачи.

Авторы работы предупреждают, что формирование личности у модели может сделать чат-ботов более убедительными, что вызывает опасения по поводу манипуляций. Они призывают к срочному регулированию ИИ-систем для обеспечения прозрачности и предотвращения злоупотреблений.

Учёные предлагают использовать разработанный ими набор данных и код для тестирования «личности» ИИ, которые находятся в открытом доступе, для аудита и тестирования передовых моделей перед их релизом.

Для разработки метода оценки и проверки личности в ИИ-чат-ботах, исследователи протестировали, насколько поведение различных моделей в реальных задачах и тестах проверки статистически связано с их оценками по «большой пятёрке» черт, используемых в психометрическом тестировании: открытость, добросовестность, экстраверсия, доброжелательность и невротизм.

Команда адаптировала два известных теста личности – 300-вопросную версию Revised NEO Personality Inventory и более короткий Big Five Inventory – и применила их к различным LLM, используя структурированные запросы. Исследователи обнаружили, что более крупные, обученные модели дают профили тестов личности, которые являются как надёжными, так и предсказуемыми для поведения, в то время как более мелкие модели дают непоследовательные результаты.

Учёные смогли направлять личность модели по девяти уровням для каждой черты, используя тщательно разработанные запросы. Например, они могли сделать чат-бот более экстравертным или более эмоционально нестабильным – и эти изменения проявлялись в реальных задачах, таких как написание постов в социальных сетях.

 Источник: Nature Machine Intelligence