Применение математического моделирования в психофизиологическом исследовании процесса порождения речи в норме и патологии: 2019 г. этап 3

  • Gorbunov, Ivan (PI)
  • Коваль, Вера Михайловна (CoI)
  • Локоткова, Марина Анатольевна (CoI)
  • Першин, Илья Иванович (CoI)
  • Чепикова, Карина Андреевна (CoI)

Project

Project Details

Description

В настоящее время громадный интерес в науке привлечен к проблеме описания и построения алгоритмов речепорождения и понимания речи, которые строятся на психофизиологических принципах с применением математических моделей нейронных сетей. (Huth A. G. et al. 2016, Bayer A. O., Riccardi G. 2016). Наше исследование направлено на построение и изучение модели речепорождения различных людей, поиск физиологических коррелятов этой модели и применение ее для анализа психологических особенностей и диагностики психических заболеваний. Для построения такой нейромодели необходим алгоритм, позволяющий по неким психологическим или физиологическим данным (например тексту речи или ЭЭГ) определить параметры модели мозговых механизмов. Однако, несмотря на некоторые успехи в этой области существует несколько фундаментальных проблем при изучении психофизиологических механизмов речи.








Key findings for the project

Разработана библиотека программирования математических моделей нейронных сетей TNeuronalNet на языке Object Pascal (Delphi XE). Данная библиотека позволяет быстро разрабатывать нейронные сети глубокого обучения на основе принципа обратного распространения ошибки (back propagation error) включающие в себя произвольное количество слоев различных размеров, имеющую произвольное количество входных и выходных слоев. Отличительным признаком данной библиотеки является наличие дополнительного уровня организации и управления, основанного на создании "подсетей", содержащих группу слоев или даже отдельных нейронов управляемых одновременно с помощью объекта подсеть (TSubNet). Возможности введения подсетей, имеющих самостоятельные выходные слои, позволяет обучать (модифицировать синаптические связи) объекты (Нейроны, слои и т.п.), принадлежащие данной подсети только на одних типах распространяемой ошибки от выходного слоя данной подсети. Такое, раздельное обучение нейронов одной нейросети разным ошибкам, подобно нейромедиаторным системам в мозге, специфичных только к определенным сигналам.
На базе данной библиотеки разработана, отлажена и проверена по качеству моделирования нейросеть BCNN, позволяющая восстанавливать матрицу связей между различными областями мозга (функциональный коннектом), ответственную за генерацию поверхностной динамики ЭЭГ сигналов. В данную нейронную сеть включены дополнительные механизмы нейровизуализации, позволяющие отображать распознанную активацию мозговых центров в карту вокселов, соответствующую координатам Talairach пространства мозга. Выявлены временные сдвиги ЭЭГ, на которых происходит оптимально успешное обучение на ЭЭГ испытуемого.
Учитывая сложность и индивидуальные особенности строения мозга различных людей, зависимость настроек синаптических связей нейронов от личного опыта каждого, а также необходимость большого количества данных от одного испытуемого для обучения моделей, было принято решение ограничить выборку испытуемых, но увеличить объем результатов за счет удлинения процедуры эксперимента.
Проведен эксперимент, с участием 2 испытуемых, в котором в течение более 30 часов (20 раздельных экспериментов) каждый испытуемый печатал тексты, описывающие истории, представленные в 24 комиксах (Автор: Херлуф Бидструп). У каждого испытуемого регистрировалась ЭЭГ, в которой ставились метки при печати каждой буквы слова, пробелов и знаков препинания. Тексты, после печати очищались от ошибок. Каждый испытуемый породил текстов на более чем 14000 слов. Это позволило провести их токенизацию (14518 слов-токенов, из них 585 слов, встречающихся более 10 раз) и моделирование семантического пространства с помощью нейромоделей Word2Vec.
Были построены группы моделей BCNN на случайных отрезках ЭЭГ в разных состояниях и при порождении текстов и показаны различия матриц связей между центрами (функциональных коннектомов) в данных состояниях.
Обучение моделей Word2Vec на токенизированных текстах позволило представить каждое слово в тексте в виде ограниченного вектора чисел, в индивидуальном семантическом пространстве человека.
Была проведена попытка распознать данный вектор с помощью вычисленной матрицы связей (функционального коннектома) на ЭЭГ в момент порождения (печати) данного слова.

Academic ownership of participants (text description)

Горбунов 45,5%
Коваль 15,6%
Локоткова 5,4%
Чепикова 6,2%
Першин 27,3%

Transfer of the full copy of the report to third parties for non-commercial use: permitted/not permitted

Да

Check of the report for improper borrowing in external sources (plagiarism): permitted/not permitted

Да
Short title__
AcronymRFBR_RFH_2017 - 3
StatusFinished
Effective start/end date18/03/1915/12/19