Ссылки

Нейронные модели уже применялись для предсказания активации мозга, измеренной с помощью ФМРТ, относительно произносимого слова (Mitchell, T. M., Shinkareva, S. V., Carlson, A. 2008). Для построения модели механизмов взаимодействия различных участков мозга по данным ЭЭГ, мы предполагаем использование модели BCNN (Gorbunov I. Semenov. P 2009). Данная модель является НС глубокого обучения, в процессе построения которой на множестве ЭЭГ сигналов, измеренных у данного человека, возможен подбор матрицы связей между различными мозговыми центрами. Эта матрица связей, функционирующая в нейросети должна предсказывать вектор потенциалов мозга от всех ЭЭГ отведений по предыдущим их значениям. Ранее мы использовали эту модель для построения модели речепорождения по данным порожденных испытуемыми текстов (Горбунов И. А. и др. 2015). Механизмы речи моделировались как НС, генерирующие последовательность векторов параметров слов текста. Условными «центрами речи» выступали нейроны скрытых слоев сети. Было показано, что больные невротическими расстройствами имели особенности матриц связей между «центрами речи», которые отличались от условно здоровых испытуемых. Проблемой построения данных моделей была трудность кодирования текстов в последовательности векторов признаков слов, таких как частотность слова в разных текстах, принадлежность к тем или иным частям речи и т.п. Используя описанную технологию, можно создать гибридную модель между Word2vec и BCNN. Она состоит из четырех слоев. Первый (входной) и последний (выходной) слои, будут представлять вектора всех потенциалов на электродах ЭЭГ. Дополнительный выходной слой будет отображать все слова и типичные словосочетания, встречающиеся в текстах испытуемого. Второй и третий - отражать центры мозга, определяющие динамику ЭЭГ, а также связанные с семантическим пространством человека. В данном случае мы предполагаем, что семантические параметры любого слова отражаются в распределении активации нейронов, детекторов данных понятий и смежных с ним отношений и атрибутов (6). Обучению будет подвергаться только матрица связей между вторым и третьим слоями. Эта матрица будет отражать особенности механизма порождения потенциалов ЭЭГ, и, одновременно конкретного текста, порождаемого автором. Для обучения данной модели необходим большой массив ЭЭГ и текстовых данных, измеренных у одного человека. В эксперименте, испытуемый сидит перед экраном компьютера и печатает текст на клавиатуре. Нажатия всех клавиш синхронизируются с ЭЭГ измерениями. Порождаемый текст описывает сюжеты комиксов, предъявляемых испытуемому на экране. В процессе эксперимента испытуемый печатает текст на компьютере с одновременной регистрацией ЭЭГ. В качестве инструкции указывается описать сюжет комикса, представленного на экране монитора. Для надежного обучения нейросетей необходимо достаточно большое количество текстов, написанных одним человеком. В нашем эксперименте участвовали 2 человека в течение 10 дней. Каждый из них, описывая несколько десятков комиксов, напечатал не менее 20000 слов. В его ЭЭГ зафиксированы метками все его нажатия на клавиши. В дальнейшем предполагается сначала обучать комбинацию нейромоделей на его ЭЭГ, а потом, по активации центров, обучать нейронную сеть распознавать напечатанные слова. Построенную матрицу связей, полученную на ЭЭГ и текстах данного испытуемого можно, изучать, выявляя наиболее электрически активные участки или наиболее сильные связи между различными участками мозга при порождении тех или иных слов или других элементов речи. При необходимости можно увеличить два промежуточных слоя нейронной сети нейронами «контекста» и организовать контекстное обучение, что сделает модель более устойчивой к изменению входа и позволит удерживать контекст речепорождения не отклоняясь от «темы» порождаемого. Для реализации такой нейродинамической системы была разработана библиотека (Object Pascal, Delphi). Преимуществами данной библиотеки является возможность создания на базе одной большой нейросети нескольких «подсетей», обучающихся от разных выходных слоев и по разным принципам.
Язык оригиналарусский
Страницы145
Число страниц1
СостояниеОпубликовано - 2 апр 2019
СобытиеНейронаука для медицины и психологии: XV Международный междисциплинарный конгресс - Судак, Российская Федерация
Продолжительность: 30 мая 201910 июн 2019

конференция

конференцияНейронаука для медицины и психологии
Страна/TерриторияРоссийская Федерация
ГородСудак
Период30/05/1910/06/19

ID: 60235823