Цель исследования: выявить типичные паттерны реорганизации интегративной деятельности мозга и раскрыть нейрокогнитивные механизмы в процессе визуального и аудиального восприятия ЗИ слов родного и иностранного языков в зависимости от степени выраженности ЗИ. Задачи исследования:
1) Отобрать слова-стимулы для психосемантического эксперимента, учитывая ряд особенностей ЗИ слов: во-первых, следует исключить а) звукосмиволизмы-экстракинесемизмы (по классификации С.В. Воронина (Воронин 2006)), так как они изначально менее экспрессивны (изобразительны), чем звукоподражания, так как передают ощущение других модальностей через звук опосредованно); б) слова фонестемных групп (напр. glimmer, glisten, glare с фонестемой gl- передающей значение чего-то блестящего, гладкого, яркого) из-за того, что фонестемный звуковой символизм в языке – не универсальное явление вторичного порядка. Во-вторых, при отборе материала необходимо учесть стадию де-иконизации ЗИ слова (Флаксман 2015), т.е. этап распада иконической изобразительной связи между формой и значением слова, вызванной параллельным воздействием регулярных фонетических изменений и семантических сдвигов. В-тетьих, необходимо учесть частотность употребления слова – новые, наименее деиконизированные ЗИ слова являются словами с невысокой частотностью употребления. Квази-слова и нейтральные слова должны быть той же частотности. В-четвертых, следует учитывать законы фонотактики для при составлениия квази-слов, так как нарушение этих законов делает слова более экспрессивными, и следовательно, маркированными.
2) Отобрать стимулы для психофизиологического эксперимента с использованием методики Лексическое решение, руководствуюсь критериями скорости и точности опознания.
3) Осуществить профессиональную студийную запись отобранных слов-аудио-стимулов. Подготовить к каждому аудио-стимулу картинку, соответствующую ему по смыслу.
4) С помощью ЭЭГ выявить типичные паттерны изменения системной деятельности мозга при визуальном и аудиальном предъявлении ЗИ слов родного и иностранного языков. Одновременно с этим с помощью классической и модифицированной (для аудио-стимулов) процедуры Лексического решения выявить показатели скорости, точности опознания и количества ошибок опознания ЗИ слов.
5) Обработать полученные электрофизиологические данные с вычислением фрактальной размерности ЭЭГ сигнала для выявления информационной сложности в работе мозга.
6) Представить результаты исследования минимум на 2-х международных конференциях.
7) Опубликовать результаты исследования минимум в 3-х статьях, из которых 1 в журналах из списка ВАК и 2 на английском языке в журналах, индексируемых в Scopus или Web of Science.
8) Разработать и опубликовать методические рекомендации по применению ЗИ лексики в оптимизации процесса обучения лексическому аспекту английского языка.
Основной результат ЭЭГ эксперимента состоит в том, что были получены значимые различия для аудиальных явных ЗИ-слов в отличие от стертых ЗИ-слов на уровне компонента ВП N400 (p=0,014050) и неявных ЗИ-слов по сравнению с не-ЗИ-словами на уровне эндогенного вызванного потенциала P300 (p=0,043261). Это согласуется с предыдущими нейрофизиологическими исследованиями. Известно, что существует несколько маркеров ЭЭГ, связанных с семантической обработкой предъявляемых лексических стимулов. Среди них принято выделять компоненты ранних ССВП (связанных с событием вызванных потенциалов), в диапазоне 100-200 мс, которые, как известно, чувствительны к лексической частоте (Carreiras, Vergara & Barber, 2005); также потенциал N250, который чувствителен к орфографическому сходству (Carreiras, Dunabeitia & Molinaro, 2009 a) и фонологическому статусу букв (Carreiras et al., 2009b); компонент P300 отражает процессы распределения произвольного внимания и категоризации стимулов (Didoné et al., 2016); компонент N400 связан с лексико–семантическим доступом (Laszlo & Armstrong, 2013).
Первый полученный нами результат о достоверных различиях на уровне компонента ВП N400 во время восприятия аудиальных явных ЗИ-слов по сравнению со стертыми ЗИ-словами соответствует полученным ранее данным о том, что, N400 больше для образного языка (Kutas & Federmeier, 2011). Однако, также следует отметить, что все явные ЗИ-слова относятся к группе слов изображающих действие – вой, писк, хлоп, чих, чмок; в то время как практически все стертые ЗИ-слова относятся к статичным объектам – жук, гусь, зуд, пух, хряк (кроме зуд).
В этой связи, вполне возможно, что полученный компонент ВП N400 отражает не только процесс семантической обработки лингвистического стимула, но также компонент, связанный с действием, иконично проявленном в этом стимуле. Похожие результаты были получены ранее. Так, впервые этот компонент был обнаружен в ответ на восприятие семантически аномальных окончаний предложений в лингвистических парадигмах (Kutas, & Hillyard, 1980) и был связан с семантической интеграцией стимула в предыдущий контекст. В лингвистике N400 является надежным электрофизиологическим маркером семантической обработки. Хотя его латентность остается относительно постоянной (Kutas & Federmeier, 2011), было показано, что амплитуда N400 чувствительна не только к степени семантического несоответствия как такового, но и к ряду других факторов. Например, классические исследования показали, что низкочастотные слова вызывают большую амплитуду N400, чем высокочастотные (Van Petten & Kutas, 1990).
Кроме того, было также показано, что слово-подобные последовательности букв (или квази-слова) увеличивают амплитуды N400 по сравнению со словами (Rugg & Nagy, 1987). Однако, аналогичные эффекты также наблюдались в ответ на стимулы, связанные с действием. Например, было показано, что псевдо-действия модулируют амплитуды N400 аналогично псевдо-словам (Proverbio & Riva, 2009). Кроме того, было показано, что волны N400, вызванные действием, напоминают по форме и времени лингвистические волны N400, что указывает на функциональное сходство между обоими потенциалами (Amoruso et al., 2013). Также, было высказано интересное предположение, что компонент N400 будет отражать процесс семантической унификации и сенсомоторной интеграции, инициируемый нейронной сетью, состоящей из хранилища (средняя /верхняя височная извилина), мультимодальной области (нижняя лобная извилина) и области контроля (дорсолатеральная префронтальная кора), с вкладом теменных зон (Baggio & Hagoort, 2011). Вполне вероятно, что поскольку наши явные ЗИ-слова относились к группе слов изображающих действие, их аудиальное восприятие активировало процесс сенсо-моторной интеграции через кросс-модальные соответствия, что и отразилось в появлении компонентов N400 по сравнению со стертыми ЗИ-словами, означающим, преимущественно, статичные объекты.
Также, в нашем случае были получены статистически достоверные данные о появлении большего компонента эндогенного вызванного потенциала P300 при восприятии не-явных ЗИ-слов по сравнению с не-ЗИ-словами. Что можно интерпретировать с позиции распределения произвольного внимания и категоризации стимулов, однако, также это может отражать процесс кросс-модального соответствия. Похожие данные были получены в исследовании, целью которого было регистрация ВП в процессе того, как люди учат иностранные звуко-символические слова в состоянии конгруэнтности (слово и его перевод совпадают) и в состоянии не конгруэнтности (перевод не соответствует слову) (Lockwood, Hagoort & Dingemanse, 2016). Голландские участники изучали японские идеофоны – лексические звуковые символические слова – с переводом либо реального значения (в котором форма и значение демонстрируют кросс-модальные соответствия – конгруэнтность), либо противоположного значения (в котором форма и значение демонстрируют кросс-модальные столкновения – не-конгруэнтность). Участники значительно лучше идентифицировали конгруэнтные слова, демонстрируя правильное запоминание в 86,7% случаев, в то время как не-конгруэнтные только в 71,3% случаев. Анализ ССВП потенциалов, во время тестового раунда показал, что идеофоны в конгруэнтном состоянии вызывали больший компонент P3 и поздний положительный комплекс, чем идеофоны в не-конгруэнтном состоянии. В последующем задании с принудительным выбором участников попросили угадать реальный перевод из двух вариантов. Они сделали это с точностью 73,0%, что значительно выше уровня вероятности даже для слов, с которыми они сталкивались в не-конгруэнтных условиях, показывая, что люди, как правило, чувствительны к звуко-символическим сигналам в идеофонах. Измерения индивидуальных различий показали, что ССВП в тестовом раунде учебной задачи был выше у участников, которые были более чувствительны к звуковой символике в задаче принудительного выбора. Основной причиной различия была более низкая амплитуда компонента P3 в ответ на идеофоны в не-конгруэнтном состоянии, предполагая, что людям, которые более чувствительны к звуковой символике, может быть труднее подавлять противоречивую кросс-модальную информацию.
В рамках данного этапа была опубликована коллективная монография.
Ткачева Л.О. - администрирование проекта, концептуализация и методология, проверка и формальный анализ, исследования и ресурсы, обработка данных, написание статей, подготовка тезисов и выступление с докладами, участие в написании коллективной монографии, обзор и редактирование, визуализация, подготовка отчетов.
Флаксман М.А. - концептуализация и методология, написание статей, подготовка тезисов и выступление с докладами, участие в написании коллективной монографии.
Седёлкина Ю.Г. - исследования и ресурсы, написание статей, подготовка тезисов и выступление с докладами, участие в написании коллективной монографии.
Лавицкая Ю.В. - обзор и редактирование, написание статей, подготовка тезисов и выступление с докладами, участие в написании коллективной монографии.
Коротаевская Е.А. - исследования и ресурсы, написание статей, участие в написании коллективной монографии.
Таликина Е.Д. - исследования и ресурсы, участие в написании коллективной монографии.
