С нашей точки зрения, для изучения физиологических механизмов речи необходимо комбинировать данные, текстов, порожденных человеком, и физиологических измерений в одной модели. Этого можно добиться, комбинируя различные модели нейронных сетей (НС) в одной системе. Для построения модели механизмов взаимодействия различных участков мозга по данным ЭЭГ, мы предполагаем использование модели BCNN (Gorbunov I. Semenov P. 2009). Данная модель является НС глубокого обучения, в процессе построения которой на множестве ЭЭГ сигналов, измеренных у данного челове-ка, возможен подбор матрицы связей между различными мозговыми центрами. Эта мат-рица связей, функционирующая в нейросети должна предсказывать вектор потенциалов мозга от всех ЭЭГ отведений по предыдущим их значениям. Ранее мы использовали эту модель для построения модели речепорождения по данным порожденных испытуемыми текстов (Горбунов И. А. и др. 2015). Удачным решением является применение модели Word2vec (Tomas Mikolov et al. 2013), для кодирования семантических характеристик слов. Она представляет трехслойный перцептрон, входной и выходной слои, которого, представляют все встречающиеся в текстах слова языка. Средний слой имеет существенно меньший размер, чем входной. Целевой функцией сети является предсказание распределения плотностей вероятности k слов, окружающих соответствующее слово в наборе текстов. В процессе распознавания окружающих k слов на среднем слое в виде активаций нейронов отображается обобщенный малоразмерный вектор, отражающий положение слова в семантико-лингвистическом пространстве.
Используя описанную выше технологию, можно создать гибридную модель между Word2vec и BCNN. Она состоит из четырех слоев, как и BCNN, но нескольких выходных слоев. Первый (входной) и последний (выходной) слои, будут представлять вектора всех потенциалов на электродах ЭЭГ. Дополнительный выходной слой будет отображать все слова и типичные словосочетания, встречающиеся в текстах испытуемого. Второй и тре-тий - отражать центры мозга, определяющие динамику ЭЭГ, а также связанные с семан-тическим пространством человека. В данном случае мы предполагаем, что семантические параметры любого слова отражаются в распределении активации нейронов, детекторов данных понятий и смежных с ним отношений и атрибутов (Rogers T. T., McClelland J. L. 2004). Матрица связей между первым и вторым слоями будет обратной распространению электрического потенциала от центра к всем электродам, и привязана к физическим рас-стояниям от них (Gorbunov I. Semenov P. 2009, Горбунов И. А. и др. 2015) и не будет из-меняться в процессе обучения на текстах конкретных испытуемых. Матрица связей между третьим и четвертым (выходным для потенциалов на электродах) слоями будет обратно пропорциональна расстояниям между центрами и электродами и обратной к предыдущей и также не будет модифицироваться. Модель сопоставима с замкнутыми (Default mode network) сетями, функционирующими в процессе порождения речи (Lerner Y. et al.). Для обучения данной модели необходим большой массив ЭЭГ и текстовых данных, измеренных у одного человека. В эксперименте, испытуемый сидит перед экраном компьютера и печатает текст на клавиатуре. Нажатия всех клавиш синхронизируются с ЭЭГ измерениями. Порождаемый текст описывает сюжеты комиксов, предъявляемых испытуемому на экране.