Нейроученые обнаружили сходство между слоями языковых моделей и временной динамикой мозга

Ученые выявили поразительное сходство в обработке естественного языка между большими языковыми моделями (LLM) и человеческим мозгом. Исследование, основанное на данных электрокортикографии, показывает, что иерархическая структура слоев в моделях типа GPT-2 XL соответствует временной динамике нейронной активности в речевых центрах.

Ученые выявили поразительное сходство в обработке естественного языка между большими языковыми моделями (LLM) и человеческим мозгом. Исследование, основанное на данных электрокортикографии, показывает, что иерархическая структура слоев в моделях типа GPT-2 XL соответствует временной динамике нейронной активности в речевых центрах.

В ходе эксперимента девять пациентов с имплантированными электродами слушали 30-минутный аудиорассказ. Параллельно тот же текст анализировался языковыми моделями, из которых извлекались контекстные эмбеддинги — числовые представления слов с учетом предшествующего контекста.

Оказалось, что ранние слои моделей лучше предсказывают нейронные реакции сразу после восприятия слова, а более глубокие слои соответствуют более поздней активности. Эта корреляция особенно выражена в зоне Брока и височных отделах, ответственных за семантическую и синтаксическую обработку.

Исследователи также сравнили предсказательную способность LLM с классическими символическими подходами, которые разбивают язык на фонемы, морфемы и синтаксические структуры. Нейросетевые модели продемонстрировали значительно более точное соответствие с временной динамикой мозговой активности.

Полученные данные свидетельствуют о том, что мозг, подобно искусственным сетям, использует многоуровневую нелинейную обработку информации. Каждый этап соответствует все более абстрактным лингвистическим признакам, развертывающимся во времени.

Важным итогом работы стала публикация выровненного набора данных, включающего записи нейронной активности (ECoG) и соответствующие лингвистические эмбеддинги. Этот бенчмарк позволит научному сообществу тестировать различные теории обработки языка.

В перспективе открытие может повлиять на разработку более совершенных интерфейсов «мозг-компьютер» и языковых моделей, приближенных к биологическим принципам. Однако авторы отмечают фундаментальные различия в архитектуре и обучении между искусственным и естественным интеллектом.

Таким образом, работа на стыке нейробиологии и машинного обучения раскрывает глубокие параллели, приближая нас к разгадке механизмов человеческого языка.