Применение математического моделирования в психофизиологическом исследовании процесса порождения речи в норме и патологии: 2019 г. этап 3

  • Горбунов, Иван Анатольевич (руководитель)
  • Коваль, Вера Михайловна (исполнитель)
  • Локоткова, Марина Анатольевна (исполнитель)
  • Першин, Илья Иванович (исполнитель)
  • Чепикова, Карина Андреевна (исполнитель)

Проект: исполнение гранта/договораисполнение этапа гранта/договора

Сведения о проекте

описание

В настоящее время громадный интерес в науке привлечен к проблеме описания и построения алгоритмов речепорождения и понимания речи, которые строятся на психофизиологических принципах с применением математических моделей нейронных сетей. (Huth A. G. et al. 2016, Bayer A. O., Riccardi G. 2016). Наше исследование направлено на построение и изучение модели речепорождения различных людей, поиск физиологических коррелятов этой модели и применение ее для анализа психологических особенностей и диагностики психических заболеваний. Для построения такой нейромодели необходим алгоритм, позволяющий по неким психологическим или физиологическим данным (например тексту речи или ЭЭГ) определить параметры модели мозговых механизмов. Однако, несмотря на некоторые успехи в этой области существует несколько фундаментальных проблем при изучении психофизиологических механизмов речи.








основные результаты по проекту в целом

Разработана библиотека программирования математических моделей нейронных сетей TNeuronalNet на языке Object Pascal (Delphi XE). Данная библиотека позволяет быстро разрабатывать нейронные сети глубокого обучения на основе принципа обратного распространения ошибки (back propagation error) включающие в себя произвольное количество слоев различных размеров, имеющую произвольное количество входных и выходных слоев. Отличительным признаком данной библиотеки является наличие дополнительного уровня организации и управления, основанного на создании "подсетей", содержащих группу слоев или даже отдельных нейронов управляемых одновременно с помощью объекта подсеть (TSubNet). Возможности введения подсетей, имеющих самостоятельные выходные слои, позволяет обучать (модифицировать синаптические связи) объекты (Нейроны, слои и т.п.), принадлежащие данной подсети только на одних типах распространяемой ошибки от выходного слоя данной подсети. Такое, раздельное обучение нейронов одной нейросети разным ошибкам, подобно нейромедиаторным системам в мозге, специфичных только к определенным сигналам.
На базе данной библиотеки разработана, отлажена и проверена по качеству моделирования нейросеть BCNN, позволяющая восстанавливать матрицу связей между различными областями мозга (функциональный коннектом), ответственную за генерацию поверхностной динамики ЭЭГ сигналов. В данную нейронную сеть включены дополнительные механизмы нейровизуализации, позволяющие отображать распознанную активацию мозговых центров в карту вокселов, соответствующую координатам Talairach пространства мозга. Выявлены временные сдвиги ЭЭГ, на которых происходит оптимально успешное обучение на ЭЭГ испытуемого.
Учитывая сложность и индивидуальные особенности строения мозга различных людей, зависимость настроек синаптических связей нейронов от личного опыта каждого, а также необходимость большого количества данных от одного испытуемого для обучения моделей, было принято решение ограничить выборку испытуемых, но увеличить объем результатов за счет удлинения процедуры эксперимента.
Проведен эксперимент, с участием 2 испытуемых, в котором в течение более 30 часов (20 раздельных экспериментов) каждый испытуемый печатал тексты, описывающие истории, представленные в 24 комиксах (Автор: Херлуф Бидструп). У каждого испытуемого регистрировалась ЭЭГ, в которой ставились метки при печати каждой буквы слова, пробелов и знаков препинания. Тексты, после печати очищались от ошибок. Каждый испытуемый породил текстов на более чем 14000 слов. Это позволило провести их токенизацию (14518 слов-токенов, из них 585 слов, встречающихся более 10 раз) и моделирование семантического пространства с помощью нейромоделей Word2Vec.
Были построены группы моделей BCNN на случайных отрезках ЭЭГ в разных состояниях и при порождении текстов и показаны различия матриц связей между центрами (функциональных коннектомов) в данных состояниях.
Обучение моделей Word2Vec на токенизированных текстах позволило представить каждое слово в тексте в виде ограниченного вектора чисел, в индивидуальном семантическом пространстве человека.
Была проведена попытка распознать данный вектор с помощью вычисленной матрицы связей (функционального коннектома) на ЭЭГ в момент порождения (печати) данного слова.

описание вклада в работу каждого из участников, допустима оценка в процентах (учётная форма ЦИТиС)

Горбунов 45,5%
Коваль 15,6%
Локоткова 5,4%
Чепикова 6,2%
Першин 27,3%

передача полной копии отчёта третьим лицам для некоммерческого использования: разрешается/не разрешается (учётная форма ЦИТиС)

Да

проверка отчёта на неправомерные заимствования во внешних источниках: разрешается/не разрешается (учётная форма ЦИТиС)

Да
Короткий заголовок__
АкронимRFBR_RFH_2017 - 3
СтатусЗавершено
Действительная дата начала/окончания18/03/1915/12/19

Ключевые слова

  • нейронные сети
  • ЭЭГ
  • мозговые механизмы
  • психофизиология
  • речь
  • речепорождение
  • моделирование