Научная проблема, на решение которой направлен проект. Данный проект направлен на выяснение механизмов взаимодействия различных доменов субъективного опыта – на сенсорном уровне, с одной стороны, и семантическом, с другой, а также роли процессов эмоциональной регуляции в осуществлении этой мультисенсорной интеграции. Эта проблема затрагивает несколько базовых для психологии вопросов. В первую очередь, это 1) вопрос о природе мультисенсорной интеграции (взаимодействии сенсорного опыта разных модальностей, в данном случае – зрительной и аудиальной), лежащей в основе формирования целостного перцептивного образа объекта, и ее когнитивных основах, и 2) вопрос о связи выраженности эффекта кросс-модального соответствия как частного случая феномена мультисенсорной интеграции с компонентами эмоциональной сферы (ситуативным – индуцированной эмоцией; и более устойчивым – стратегиями регуляции эмоций). Оба этих вопроса являются центральными для общей и когнитивной психологии, а также сближают их с когнитивной лингвистикой, в частности, с подходом воплощенного познания (embodied cognition) и для своего решения требуют междисциплинарного подхода с использованием концептуального аппарата всех перечисленных наук, а также высокотехнологичных методов исследования, разработанных в современной психолингвистике. Научная значимость и актуальность решения обозначенной проблемы. В ходе реализации проекта предполагается решение двух задач, принципиально важных для расширения понимания механизмов мультисенсорной интеграции в рамках теории воплощенного познания. Во-первых, предложенный план исследования позволит проверить гипотезу о существовании механизма эндогенного сдвига внимания при предъявлении нерелевантных решаемой задаче вербальных стимулов, имеющих пространственную (например, “солнце” и “лужа") или эмоциональную (например, “радость” и “горе”) коннотацию. Во-вторых, полученные результаты позволят получить качественно новое знание о протекании процессов мультисенсорной обработки информации с учетом механизмов эмоциональной регуляции, т.к. дадут возможность оценить влияние описанного сдвига зрительно-пространственного внимания на обработку информации другой модальности (звуковых стимулов), возникающего под влиянием ситуативных (намеренно индуцированных в эксперименте эмоций) или устойчивых (уже сформированных ранее паттернов эмоциональной регуляции) эмоциональных характеристик субъекта. Таким образом, результаты исследования призваны обеспечить проверку предположения о том, что функционирование механизмов мультисенсорной интеграции модулируется эндогенным сдвигом внимания, которое переключается со стимулов одной модальности (в данном случае – визуальной) на информационные единицы другой модальности (звуковой) под воздействием эмоциональной сферы. Важно отметить, что такой подход к пониманию механизмов мультисенсорной интеграции сам по себе является инновационным. Немногочисленные исследования по данной проблеме, выполненные в рамках теории воплощенного познания (например, Tang, Wu, & Shen, 2016), с одной стороны, не имеют аналогов в русскоязычной психолингвистике, а с другой – пока не позволяют составить полноценное описание данных процессов, происходящих на стыке нескольких когнитивных доменов: языка, внимания, пространственного мышления, аудиального и зрительного восприятия. Крайне актуальным является рассмотрение эмоциональных характеристик личности в качестве метакогнитивных факторов, которые могут оказывать влияние на протекание познавательной деятельности на разных уровнях - от наиболее низкого (сенсорно-перцептивного) до самого высокого (семантического). Такой подход соответствует наиболее актуальным трендам в современной когнитивной науке, в рамках которых особое внимание уделяется когнитивному потенциалу эмоций, с одной стороны, и вопросу о тотальности проявления паттернов эмоциональной регуляции при решении когнитивных задач различного уровня. Tang, X., Wu, J., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention. Neuroscience & Biobehavioral Reviews, 61, 208-224. Конкретная задача (задачи) в рамках проблемы, на решение которой направлен проект, ее масштаб и комплексность. Задачи проекта состоят в: (1) изучении глубины и автоматизма вовлечения пространственного познания в процесс построения семантических репрезентаций конкретных и абстрактных концептов; (2) проверке недоказанной на данный момент гипотезы о механизме эндогенного сдвига внимания при восприятии нерелевантных решаемой задаче вербальных стимулов; (3) проверке недоказанной на данный момент гипотезы о связи выраженности эффекта кросс-модального соответствия с компонентами эмоциональной сферы (ситуативным – индуцированной эмоцией; и более устойчивым – стратегиями регуляции эмоций); (4) получении качественно новых данных о протекании процессов мультисенсорной обработки информации путем оценки влияния внутримодального сдвига внимания на обработку информации другой модальности.
Данные задачи отвечают общим целям исследовательского проекта, в числе которых: (1) изучение механизмов мультисенсорной (в данном случае – аудиовизуальной) интеграции при восприятии полимодальной информации; (2) установление роли механизмов воплощенных семантических репрезентаций (embodied semantic representations) в функционировании систем мультисенсорной интеграции и внимания; (3) оценить влияние эмоционального состояния на процесс построения семантических репрезентаций; (4) изучить роль регуляции эмоций в процессах построения семантических репрезентаций. Таким образом, в центре настоящего исследования находится проверка теоретически важной гипотезы о том, что процесс мультисенсорной интеграции опосредуется механизмами внимания, общими для обработки звуковых и вербальных стимулов, имеющих пространственную коннотацию, а также гипотезы о связи выраженности эффекта кросс-модального соответствия с компонентами эмоциональной сферы. В частности, мы предполагаем, что направленность внимания, обусловленная кратковременным предъявлением нерелевантного задаче слова, имеющего пространственную коннотацию, будет влиять на успешность выполнения задачи перцептивной обработки звуковых стимулов (определение высоты тона), а характер этого влияния будет опосредован характеристиками эмоциональной сферы субъекта. Кроме того, одним из важных запланированных результатов данного проекта станет создание базы данных слов русского языка, экспериментально выверенных по ряду психолингвистических, физических и семантических параметров. Масштаб предлагаемого исследования определяется фундаментальностью вопросов, на решение которых он направлен и которые на протяжении десятилетий составляют ядро теоретического поиска общей и когнитивной психологии: механизмы мультисенсорной интеграции, формирование семантических репрезентаций, взаимодействие когнитивной и эмоциональной сфер. Каждая из перечисленных проблем представляет собой отдельное поле научного поиска, значимое для развития представлений о базовых когнитивных механизмах человека. Однако в данном случае все перечисленные вопросы объединены в рамках одной исследовательской программы, которая позволит существенно продвинуться в решении каждого из них. Этот факт, а также комбинированное использование психологических, лингвистических и психофизиологических методов и подходов к решению поставленных задач обусловливают комплексность нашего исследовательского проекта. Научная новизна исследований, обоснование того, что проект направлен на развитие новой для научного коллектива тематики, обоснование достижимости решения поставленной задачи (задач) и возможности получения предполагаемых результатов. Проект предлагает новый подход к исследованию целого ряда вопросов, касающихся малоизученных когнитивных механизмов мультисенсорной интеграции и функционирования семантических репрезентаций, формирующихся в психике человека. С помощью комбинации поведенческих и психофизиологических методик мы (а) проверим глубину и автоматизм вовлечения пространственного познания в семантические репрезентации конкретных и абстрактных концептов, (б) получим качественно новые представления о протекании процессов мультисенсорной обработки информации путем оценки влияния внутримодального сдвига внимания на обработку информации другой модальности, (в) проверим остающуюся недоказанной гипотезу о существовании механизма эндогенного сдвига внимания при восприятии нерелевантных решаемой задаче вербальных стимулов, имеющих различную семантику, и (г) впервые будем учитывать роль эмоциональных феноменов в работе механизмов мультисенсорной интеграции. Предлагаемый подход к пониманию механизмов мультисенсорной интеграции и их роли в когнитивных функциях является инновационным. Немногочисленные имеющиеся исследования по проблеме, выполненные в рамках теории воплощенного познания, пока не позволяют составить полноценное описание данных процессов, происходящих на стыке нескольких психологических доменов: языка, внимания, пространственного мышления, аудиального и зрительного восприятия, эмоциональной регуляции. Принципиальная новизна настоящего исследования заключается в том, что в качестве дополнительного фактора, опосредующего протекание процессов мультисенсорной интеграции, рассматриваются особенности эмоциональной сферы человека. Так, мы предполагаем, что эмоциональная регуляция является системным и интегральным компонентом ментального опыта, влияющим на протекание познавательных процессов разного уровня сложности, в том числе на механизмы базовой перцептивной обработки. Конкретным изучаемым феноменом при этом становится мультисенсорная интеграция, обеспечивающая целостность воспринимаемой человеком информации. Данная тематика является новой для нашего научного коллектива: исследования, направленные на решение поставленных задач (выяснение роли эмоциональных характеристик субъекта в работе процессов мультисенсорной интеграции), нами ранее не проводились. Достижение поставленных целей потребует разработки принципиально новой экспериментальной парадигмы (сочетающей предъявление вербальных стимулов и невербальных стимулов разных модальностей с регистрацией поведенческих ответов и психофизиологических реакций), а также подбора нового стимульного материала с учетом ряда психолингвистических показателей (в частности, создания русскоязычной базы стимульных слов с различными пространственными коннотациями).Несмотря на объективную новизну данного проекта, заявленные задачи представляются достижимыми, т.к. наш коллектив обладает необходимым набором компетенций в области общей и когнитивной психологии, психофизиологии и психолингвистики, большим опытом совместной работы в сфере проведения психолингвистических исследований и подготовки научных публикаций (см. раздел данной заявки, посвященный научному заделу коллектива) и всем необходимым для осуществления заявленной исследовательской программы оборудованием.
Современное состояние исследований по данной проблеме, основные направления исследований в мировой науке и научные конкуренты. В рамках теории воплощенного познания предполагается, что устройство концептуальной системы человека базируется на его сенсомоторном опыте (Barsalou, 2008), а сами концепты представляют собой обобщенные ментальные реконструкции (“симуляции”) реальных свойств объектов, которые они репрезентируют. К числу таких свойств может быть отнесено расположение объекта, референтного концепту, в условиях естественной среды. Например, можно судить о том, что содержательное наполнение концепта “солнце” соотносится в мышлении человека с верхней частью вертикально разделенного пространства, в то время как “лужа” – с нижней. В современных исследованиях было продемонстрировано, что данный механизм ментальной “симуляции” обеспечивает актуализацию информации о типичной пространственной локализации объекта, возникающей в процессе чтения обозначающих его слов. Классические эксперименты на эту тему, выполненные в рамках теории воплощенного познания, были реализованы с использованием следующей экспериментальной процедуры. Испытуемому в разных частях экрана предъявлялись стимульные слова, имеющие различные пространственные коннотации, и ставилась задача их распознавания или категоризации. Было показано, что расположение предъявленного стимульного слова (в верхней или нижней части экрана) модулирует скорость поведенческого ответа респондента (Pecher et al., 2010). Так, реакция на слово “солнце” замедляется в том случае, когда его пространственное расположение на экране (снизу) не соответствует его концептуальной пространственной коннотации (сверху). Кроме того, схожие данные были получены при анализе глазодвигательной активности участников экспериментов. Саккады (быстрые скачкообразные перемещения взгляда) к стимулам, пространственная коннотация которых совпадает с условием зрительного предъявления (например, слово “солнце” предъявляется в верхней части экрана), совершаются значительно быстрее, чем в случае рассогласования этих параметров. Аналогичные тенденции обнаруживаются и в том случае, когда участникам необходимо категоризировать объект, расположенный в верхней или нижней части экрана, при предварительном предъявлении стимульного слова, ассоциированного с одной из этих областей (Estes, Verges, Barsalou, 2008; Estes, Verges, Adelman, 2015). Таким образом, можно предположить, что при восприятии слов, обозначающих объекты, имеющие устойчивую пространственную локализацию, когнитивной системой человека реконструируется перцептивный образ, смещающий визуальное внимание в соответствующем направлении (Estes et al., 2008). Однако серьезным недостатком таких экспериментов является то, что предъявление визуальных стимулов в разных частях экрана неизбежно приводит к смещению зрительно-пространственного внимания относительно вертикальной оси и, соответственно, увеличивает размер обнаруживаемых эффектов. Кроме того, известно, что в некоторых случаях используемый стимульный материал может актуализировать у респондентов стратегии визуального поиска в определенном пространственном направлении (Estes et al., 2015), что также усиливает специфичные для этого направления эффекты (Gozli et al., 2016). Другим направлением исследований в русле теории воплощенного познания является изучение того, как в когнитивной системе человека представлены концепты с абстрактным содержанием. Согласно теории концептуальной метафоры, предложенной Дж. Лакоффом и М. Джонсоном, использование абстрактных понятий становится возможным за счет их осмысления в терминах объектов и явлений, имеющих физические референты (Lakoff, Johnson, 2008). Ориентационные метафоры являются одним из видов концептуальной метафоры и обеспечивают возможность оперировать абстрактной лингвистической информацией за счет ее истолкования в терминах вертикальной пространственной ориентации. Таким образом, человек способен понимать значение таких концептов, как «хорошее» и «плохое» за счет актуализации соответствующей пространственной ментальной репрезентации, внутри которой «хорошее» располагается выше, чем «плохое». В данном случае такая абстрактная характеристика эмоционального переживания, как его валентность, оказывается напрямую связанной с привычной для человека когнитивной схемой организации пространства: положительно эмоционально окрашенные слова и соответствующие им концепты ассоциированы с верхней частью пространственного поля, в то время как негативно эмоционально окрашенные – с нижней. Соответственно, можно предполагать, что когнитивная обработка слов, имеющих эмоциональную коннотацию, сопровождается актуализацией генерализованной ментальной схемы пространства, ориентированного относительно вертикальной линии (Lakoff, Johnson, 2008). Данная гипотеза подтверждается результатами недавних исследований (Meier, Robinson, 2004; Gozli et al., 2013; Woodin, Winter, 2018), выполненных с использованием экспериментальных парадигм, аналогичных тем, что были описаны выше (измерение времени реакции в ответ на конгруэнтное и неконгруэнтное пространственное предъявление вербальных стимулов, имеющих эмоциональную коннотацию). Одной из задач, решаемых в настоящем исследовании, является изучение описанных выше тенденций таким способом, чтобы исключить вероятность искусственного усиления экспериментальных эффектов влиянием вмешивающихся переменных (таких, как сдвиг внимания, обусловленный пространственной локализацией предъявляемых стимулов). Для ее решения планируется разработка усовершенствованной экспериментальной парадигмы кросс-модального соответствия, продемонстрировавшей свою эффективность и надежность в области изучения механизмов мультисенсорного восприятия и обработки информации. В частности, ранее на большом объеме эмпирического материала было показано, что установление связей между информацией, воспринятой посредством различных сенсорных систем (т.е. мультисенсорная интеграция), улучшает восприятие полимодальной информации (Störmer, 2019). Кроме того, было обнаружено, что процессы обработки звуковых и пространственно-ориентированных визуальных стимулов опосредуются общими зонами первичной зрительной коры (Störmer, 2019), где и происходит интеграция мультисенсорной информации (Murray et al., 2015). На основе результатов предыдущих исследований можно предполагать, что интервал между предъявлениями двух стимулов разных модальностей не должен превышать 100 мс для того, чтобы процесс мультисенсорной интеграции мог быть успешно реализован на нейрональном уровне (Koelewijn, Bronkhorst, & Theeuwes, 2010; Donohue, Roberts, Grent, & Woldorff, 2011). Столь непродолжительный временной разрыв между предъявлением стимулов является принципиально важным для понимания автоматизированной природы процессов мультисенсорной интеграции и того, как эти процессы опосредованы механизмами внимания (Santangelo, & Spence, 2008; Evans and Treisman, 2010; Getz & Kubovy, 2018). Исследователями высказывались различные точки зрения в отношении данной проблемы: от предположения о том, что мультисенсорная интеграция опосредуется механизмами предвнимания, до представлений о том, что данный процесс связан с направленностью внимания, спровоцированной внешними (экзогенное внимание) или внутренними (эндогенное внимание) причинами (Talsma, 2015). Несмотря на то, что на сегодняшний день вопрос о роли взаимодействия экзогенной и эндогенной составляющих внимания в реализации процессов мультисенсорной интеграции остается нерешенным (Santangelo & Spence, 2008; Koelewijn et al., 2010), в рамках настоящего исследования мы основываемся на эмпирически подтвержденном предположении о том, что эндогенное внимание может быть экзогенно распространено на стимулы, воспринятые посредством других сенсорных систем (Tang, Wu, & Shen, 2016). Данный проект направлен на изучение частного типа мультисенсорной интеграции: объединения вербальной информации, имеющей пространственную коннотацию, и звуков, характеризующихся различной высотой тона, - в т.ч. дифференциальной роли различных эмоциональных характеристик в этом процессе. В предшествующих поведенческих экспериментах было продемонстрировано наличие взаимодействия между процессами когнитивной обработки визуальной (пространственная локализация) и звуковой (высота тона) информации. В случае конгруэнтных условий предъявления стимульных пар (предъявления визуального стимула в верхней части зрительного поля и звука высокой частоты) когнитивная обработка осуществляется значительно быстрее, чем в случае неконгруэнтных условий предъявления (Evans & Treisman, 2010; Jonas, Spiller, & Hibbard, 2017). В рамках настоящего эксперимента предполагается использовать модифицированную экспериментальную парадигму К. Эванс и А. Трейсман (Evans, Treisman, 2010), заменив визуальные стимулы, предъявляемые в разных частях зрительного поля, словами, имеющими пространственные коннотации, и дополнив ее процедурой индукции различных эмоциональных состояний, с одной стороны, и замером уже сформированных паттернов эмоциональной регуляции - с другой. Основываясь на результатах предшествующих исследований, мы предполагаем, что предъявление нерелевантных экспериментальной задаче слов, имеющих пространственную коннотацию (таких, как “солнце”), будет провоцировать эндогенный сдвиг внимания, приводящий за счет механизмов мультисенсорной интеграции к изменениям эффективности в решении основной задачи (оценки высоты тона звукового стимула). При этом результаты, полученные ранее другими авторами, позволяют предполагать, что эмоциональные процессы также могут быть включены в структуру кросс-модального соответствия (Spence, 2020), что хорошо соотносится с разрабатываемой в ряде классических работ идеей и неразрывном единстве когнитивных и аффективных процессах, проявляющемся на различных уровнях психического функционирования (Тихомиров, Виноградов, 1969; Васильев, Поплужный, Тихомиров, 1980; Ушаков, 2004) - от самых базовых (сенсорно-перцептивных) до наиболее высоких (вербально-символических). Так, рядом исследователей было продемонстрировано эмоциональное опосредствование кросс-модального соответствия на примере музыкальных композиций и цветовых стимулов (Lindborg, Friberg, 2015; Whiteford et al., 2018), а в другой работе было показано, что эмоциональная валентность предъявляемых стимулов может играть значимую роль в формировании оценки вкуса пищевых продуктов, как в случае аудиальных, так и в случае визуальных стимулов (Wang, Spence, 2018). Эти данные дают нам основание предполагать, что более детальное рассмотрение роли эмоциональных компонентов в решении задачи на кросс-модальное соответствие поможет уточнить как механизмы мультисенсорной интеграции, позволив пролить свет на одну из базовых проблем общей и когнитивной психологии, так и внести вклад в понимание более общих закономерностей взаимодействия разноуровневых когнитивных процессов (сенсорно-перцептивных и вербально-символических) и эмоциональных характеристик субъекта. Васильев И.А., Поплужный В.Л., Тихомиров О.К. Эмоции и мышление. М.: Изд-во Моск. ун-та, 1980. Тихомиров О.К., Виноградов Ю.Е. Эмоции в функции эвристик // Психол. исслед. М.: Изд-во Моск. ун-та, 1969. Вып. 1. С. 3–24. Ушаков Д.В. Социальный интеллект как вид интеллекта // Социальный интеллект: Теория, измерение, исследования / Под ред. Д.В. Люсина, Д.В. Ушакова. М.: ИП РАН, 2004. C. 11–28.Barsalou, L. W. (2008). Grounded cognition. Annual Review of Psychology, 59, 617-645. Donohue, S. E., Roberts, K. C., Grent, T., & Woldorff, M. G. (2011). The cross-modal spread of attention reveals differential constraints for the temporal and spatial linking of visual and auditory stimulus events. Journal of Neuroscience, 31(22), 7982-7990.Estes, Z., Verges, M., & Adelman, J. S. (2015). Words, objects, and locations: Perceptual matching explains spatial interference and facilitation. Journal of Memory and Language, 84, 167-189.Estes, Z., Verges, M., & Barsalou, L. W. (2008). Head up, foot down: Object words orient attention to the objects' typical location. Psychological Science, 19(2), 93-97.Evans, K. K., & Treisman, A. (2009). Natural cross-modal mappings between visual and auditory features. Journal of Vision, 10(1), 6-6.Getz, L. M., & Kubovy, M. (2018). Questioning the automaticity of audiovisual correspondences. Cognition, 175, 101-108.Gozli, D. G., Chow, A., Chasteen, A. L., & Pratt, J. (2013). Valence and vertical space: Saccade trajectory deviations reveal metaphorical spatial activation. Visual Cognition, 21(5), 628-646.Gozli, D. G., Pratt, J., Martin, K. Z., & Chasteen, A. L. (2016). Implied spatial meaning and visuospatial bias: Conceptual processing influences processing of visual targets and distractors. PLoS one, 11(3), 1–18. Jonas, C., Spiller, M. J., & Hibbard, P. (2017). Summation of visual attributes in auditory–visual crossmodal correspondences. Psychonomic bulletin & review, 24(4), 1104-1112.Koelewijn, T., Bronkhorst, A., & Theeuwes, J. (2010). Attention and the multiple stages of multisensory integration: A review of audiovisual studies. Acta psychologica, 134(3), 372-384. Lakoff, G., & Johnson, M. (2008). Metaphors we live by. University of Chicago press.Lindborg, P., & Friberg, A. K. (2015). Colour association with music is mediated by emotion: Evidence from an experiment using a CIE Lab interface and interviews. PloS one, 10(12), e0144013.Meier, B. P., & Robinson, M. D. (2004). Why the sunny side is up: Associations between affect and vertical position. Psychological science, 15(4), 243-247.Murray, M. M., Thelen, A., Thut, G., Romei, V., Martuzzi, R., & Matusz, P. J. (2015). The multisensory function of primary visual cortex in humans. Neuropsychologia, 83, 161-169.Pecher, D., Van Dantzig, S., Boot, I., Zanolie, K., & Huber, D. E. (2010). Congruency between word position and meaning is caused by task-induced spatial attention. Frontiers in Psychology, 1, 30.Santangelo, V., & Spence, C. (2008). Is the exogenous orienting of spatial attention truly automatic? Evidence from unimodal and multisensory studies. Consciousness and cognition, 17(3), 989-1015.Spence C. (2020) Simple and complex crossmodal correspondences involving audition // Acoustical Science and Technology, 41 (1), 6-12. Störmer, V. S. (2019). Orienting spatial attention to sounds enhances visual processing. Current opinion in psychology, 29,193-198.Talsma, D. (2015). Predictive coding and multisensory integration: an attentional account of the multisensory mind. Frontiers in Integrative Neuroscience, 9, 19. Tang, X., Wu, J., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention. Neuroscience & Biobehavioral Reviews, 61, 208-224. Wang, Q. J., & Spence, C. (2018). “A sweet smile”: The modulatory role of emotion in how extrinsic factors influence taste evaluation. Cognition and Emotion, 32, 1052– 1061.Whiteford, K. L., Schloss, K. B., Helwig, N. E., & Palmer, S. E. (2018). Color, music, and emotion: Bach to the blues. i- Perception, 9(6), 2041669518808535.Woodin, G., & Winter, B. (2018). Placing abstract concepts in space: quantity, time and emotional valence. Frontiers in psychology, 9, 2169.
Предлагаемые методы и подходы, общий план работы на весь срок выполнения проекта и ожидаемые результаты. Данное междисциплинарное исследование объединяет подход воплощенного познания с парадигмами и теориями, используемыми в рамках изучения механизмов мультисенсорной интеграции и эмоциональной регуляции, и находится на стыке лингвистики, психологии и психофизиологии. Для достижения наших целей на начальном этапе работы мы планируем создание базы психолингвистических стимулов, характеризующихся пространственными коннотациями. Для этого мы проведем письменный опрос, в котором респондентам будет предложено оценить слова, обозначающие объекты с различными пространственными коннотациями (ассоциирующимися с различными частями вертикально-ориентированного зрительного поля), и эмоции, по нескольким критериям. Для слов, обозначающих объекты, участникам будет предложено указать с помощью 7-балльной шкалы Ликерта, где обычно располагается объект по вертикали (от очень низкого положения до очень высокого). В случае со словами, обозначающими эмоциональные состояния, респондентам будет предложено оценить по двум 7-балльным шкалам 1) эмоциональную валентность (от очень негативной до очень позитивной) и 2) эмоциональную силу/интенсивность соответствующего слова (от отсутствия до очень высокой эмоциональной интенсивности). Выборка для каждого из двух тестов будет включать как минимум 30 респондентов-носителей русского языка. Исходя из собранных данных, на следующем этапе будет осуществлен выбор стимулов для экспериментальных серий. Для слов, обозначающих объекты, будет осуществлен контроль семантической категории (например, будут выбраны слова, обозначающие только природные объекты), длины слова (измеряемой числом букв) и частотности слова. Для слов, обозначающих эмоции, будет осуществлен контроль валентности слова – позитивной (например, “радость”) или негативной (например, “горе”), а также длины и частоты слов. В рамках планируемого нами экспериментального исследования в качестве независимых переменных будут варьироваться 1) высота звука (высокая или низкая) в сочетании с различной пространственной локализацией предъявляемых слов (ассоциируемых с верхней, средней (контроль) или нижней частями зрительно-пространственного поля) и 2) различные эмоциональные параметры: (а) положительные, отрицательные и нейтральные эмоциональные состояния, индуцированные с помощью просмотра испытуемыми эмоциогенных видеороликов, (б) зафиксированные до экспериментального воздействия паттерны эмоциональной регуляции испытуемых. В качестве зависимых переменных будут выступать поведенческие (время реакции и точность ответов) показатели и психофизиологические (ЭКГ, КГР) реакции. Все эксперименты будут проводиться в соответствии с современными этическими требованиями к психолингвистическим и психофизиологическим исследованиям: всем участникам будет предложено подписать информированное согласие перед началом проведения исследования, а протокол эксперимента будет предварительно представлен на рассмотрение в профильную этическую комиссию. На первом этапе исследования участникам будет предъявляться видеозапись, вызывающая различные эмоции (положительные, отрицательные, нейтральные). Видеозаписи будут отобраны из базы, созданной специально для научных исследований, и не будут содержать сцен насильственных действий или других потенциально травматичных для психики эпизодов (Люсин, Панкратова, 2018; Suchkova, Lyusin, 2020). Далее респондентам будет предложено пройти экспериментальное задание, направленное на изучение индивидуальных особенностей зрительного и слухового восприятия, с регистрацией ЭКГ и КГР. Стимулы будут предъявляться аудиально (через наушники) и визуально (на экране монитора). Респонденту будет необходимо слушать и просматривать предъявляемый материал, выполняя задание с помощью специальной клавиатуры. Таким образом, структура первого этапа исследования может быть представлена совокупностью трех экспериментальных заданий: 1. Обучение. Респондентам для ознакомления последовательно предъявляются два звука разной частоты, на экране параллельно в письменной форме указывается релевантная характеристика звука (является ли он высоким или низким). 2. Тренировка. Респондентам предоставляется инструкция и предлагается потренироваться в выполнении экспериментальной задачи (используются нейтральные вербальные стимулы, не задействованные в основной части эксперимента). 3. Основная серия. Респонденту предъявляется одна из шести стимульных видеозаписей (2 – нейтральные, 2 – положительные, 2 – отрицательные; выбор стимула осуществляется с помощью процедуры рандомизации) для модуляции эмоционального состояния. После предлагается выполнить задачу, связанную с распознаванием характеристик звука, при этом параллельно на экране появляются вербальные стимулы. Вербальные стимулы разделяются на три группы в зависимости от их эмоциональной валентности и локализации в пространстве (положительный, отрицательный, нейтральный / высокий, низкий, нейтральный). Процедура экспериментального задания: участникам будет предъявляться целевой звук (2000 Гц или 1000 Гц) вместе с указанием нажать кнопку на клавиатуре, которая соответствует верной характеристике звука (высокий или низкий). Звуки будут предъявляться с помощью наушников одновременно со словами, предъявляемыми зрительно на экране монитора в течение 100 мс. Последовательность предъявления в ходе эксперимента будет следующей: фиксационный крест (в течение 500-800 мс), стимулы (звук и слово; в течение 100 мс), окно для ответа (в течение 2000 мс), межстимульный интервал (в течение 1000 мс).Во время выполнения этого задания будет осуществляться регистрация электрокардиограммы (ЭКГ) и кожно- гальванической реакции (КГР). Для регистрации ЭКГ будет использован датчик для записи пульса BrainVision Sensors, специальный зажим которого будет закреплен на пальце левой руки. Для регистрации КГР будет использован датчик для записи кожного сопротивления BrainVision GSR Sensor, два электрода будут размещены на пальцах левой руки. Планируется провести 60 проб на каждое условие. В соответствии с нашими оценками мощности ожидаемых эффектов, выборка эксперимента будет состоять из 36 здоровых респондентов-носителей русского языка (возраст 18-35 лет). На втором этапе исследования предполагается прохождение участником опросника, направленного на изучение регуляции эмоций. Уровень развития регуляции эмоций будет измерен с помощью опросника «Когнитивная регуляция эмоций», который является адаптацией опросника Н. Гарнефски и В. Крайг “Cognitive Emotion Regulation Questionnaire” (CERQ; перевод и адаптация Рассказовой Е.И. и др., 2011). Данный опросник применяют для выявления когнитивных стратегий регуляции эмоций, которые человек использует в повседневной жизни. Опросник включает в себя 36 утверждений, распределённых по 9 различным шкалам, которые соответствуют различным видам стратегий когнитивной регуляции эмоций. Мы ожидаем проявление различий в поведенческих ответах при обработке конгруэнтных и неконгруэнтных стимулов, проявляющихся в изменении точности и скорости реакций. Помимо этого мы предполагаем, что индуцируемое эмоциональное состояние может также повлиять на точность и скорость реакции при решении поставленной задачи, а выраженность различных стратегий регуляции эмоций окажется предиктором возникновения эффекта кросс-модального соответствия. Мы предполагаем, что полученные результаты будут иметь большую теоретическую значимость для исследований в области мультисенсорной интеграции и воплощенного познания. В случае, если результаты окажутся положительными, они покажут, что (1) семантика слова (например, типичная локализация объекта) и ориентационная метафора (например, хорошее – вверху, плохое – внизу) активируются автоматически и вызывают пространственное переключение зрительного внимания, которое взаимодействует с переключением внимания в слуховой модальности; (2) мультисенсорная/аудиовизуальная интеграция может быть достигнута с помощью эндогенно индуцируемого переключения внимания без прямой активации/обработки информации визуальной модальности; (3) мультисенсорная интеграция опосредуется эмоциональными характеристиками субъекта - как врЕменными, так и более устойчивыми. Мы полагаем, что эти результаты внесут значительный вклад в развитие исследований мультисенсорной интеграции и откроют совершенно новые теоретические возможности для изучения этого феномена. Также результаты описанных нами экспериментов будут иметь значение для решения такой фундаментальной проблемы психологии и психолингвистики, как преобразование сенсорно-перцептивных характеристик стимулов в субъективные семантические репрезентации, другими словами - приблизят психологов, лингвистов и нейрофизиологов к решению вопроса о базовых механизмах формирования субъективного опыта и взаимодействия сенсорных и символических параметров поступающей в психику информации, а также будут способствовать выработке общего концептуального и методологического аппарата для всех представителей когнитивных наук. С другой стороны, в случае, если выяснится, что протекание столь «низкоуровневых» процессов, по крайней мере в некоторой степени, определяется формируемыми стратегиями регуляции эмоций, это знание расширит теоретические представления о метакогнитивном потенциале эмоций, и внесет вклад в решение фундаментальной проблемы о взаимодействии когнитивных и эмоциональных процессов. С практической точки зрения, предполагаемые результаты эксперимента, запланированного к проведению в рамках настоящего проекта, будут представлять интерес для разработки конкретных компенсационных программ, связанных с коррекцией сенсорной дезинтеграции, являющихся одним из наиболее популярных и перспективных направлений раннего развития и подготовки к школе. Более полное понимание психологических механизмов, лежащих в основе мультисенсорной интеграции, позволит находить более эффективные решения практических задач, связанных с коррекцией нарушений, возникающих по гипо- и гиперчувствительному типу, и тем самым способствовать решению проблем, возникающих у дошкольников в сфере общения, игровой, познавательной и учебной деятельности, социальной адаптации и – позже – профессиональной успешности. Более того, результаты нашего исследования могут быть успешно использованы при решении прикладных психологических задач, в частности, разработке интерфейсов и систем обеспечения сложной профессиональной деятельности, требующей эффективной интеграции сенсорной информации разных модальностей с последующим формированием сложной семантической репрезентации (например, работы авиадиспетчеров, операторов сложных автоматизированных систем и т.п.). Также в ходе реализации проекта мы планируем создать русскоязычную базу вербальных стимулов, характеризующихся пространственными коннотациями, осуществить последующий отбор стимулов. Наконец, в результате проведенного анализа полученных поведенческих и психофизиологических данных, описания и интерпретации результатов, ожидается подготовка докладов и подача рукописей научных статей в рецензируемые журналы. В целом, мы планируем подготовку не менее четырех публикаций и представление полученных в ходе реализации проекта результатов на престижных международных конференциях.
В течение первого года работ научным коллективом планируется проведение четырех основных последовательных этапов исследований:1) создание психолингвистической базы данных слов русского языка, выверенных по ряду психолингвистических параметров и семантически варьирующихся в пространственном и эмоциональном измерениях;2) поведенческое тестирование отобранного вербального материала и создание на его основе экспериментальных стимуляционных последовательностей и компьютерных скриптов для проведения последующих экспериментов; отработка методик и параметров записи показателей ЭКГ и КГР;3) подготовка документов для рассмотрения проекта в этическом комитете; получение одобрения этического комитета. Запись пилотажных испытуемых и рекрутирование участников основного этапа сбора эмпирических данных. Начало сбора эмпирических данных.4) подготовка публикации по материалам базы данных и представление текущих результатов проекта на международных конференциях, подготовка промежуточного отчета.
В течение второго года работ планируется три основных этапа исследований:1) окончание сбора экспериментальных данных; 2) предобработка и обработка ЭКГ и КГР-данных, обработка поведенческих данных; 3) описание данных, подготовка и подача к публикации статей и представление результатов проекта на международных мероприятиях, подготовка итогового отчета по проекту.
Имеющийся у научного коллектива научный задел по проекту, наличие опыта совместной реализации проектов. Члены коллектива являются сотрудниками лаборатории поведенческой нейродинамики СПбГУ, которая представляет собой уникальный для русскоязычного пространства научно-исследовательский центр, специализирующийся в области междисциплинарных нейрокогнитивных исследований, сфокусированных, в первую очередь, на проблемах обработки речевой информации на различных уровнях (см. профили членов научного коллектива в Pure). Техническое и кадровое оснащение лаборатории, которая станет базой сбора экспериментальных данных для настоящего проекта, успешно используется членами научного коллектива при работе с экспериментальными парадигмами и технологиями, составляющими ядро современной нейрофизиологии и психолингвистики. Этот опыт подтвержден успешно выполняемыми нами проектами по престижным российским (грант Правительства РФ №14.W03.31.0010 “Когнитивная нейробиология процессов научения и восприятия языка, 2017 - 2019, продлен на 2020 - 2021, и грант РФФИ №19-313-51016 “Динамические характеристики функционирования ментальных репрезентаций: нейрональные корреляты создания, модификации и распада концептов и их неинвазивная нейромодуляция”, 2020 - 2021) и зарубежным (Междисциплинарная программа по нейро-и когнитивным наукам (Integrated Track in Brain and Cognitive Sciences/ IBRAIN, грант "Эразмус" в рамках программы повышения качества высшего образования (EU funding under the 'Erasmus+ Capacity Building in Higher Education' action)) грантам. В 2019 г. членами научного коллектива (Щербакова, Штыров и др.) зарегистрированы авторские права на разработанный нами программный комплекс для обработки ЭЭГ-данных ("ПРОГРАММНЫЙ КОМПЛЕКС ДЛЯ АНАЛИЗА ПАРАМЕТРОВ ПРЕСТИМУЛЬНОЙ АКТИВНОСТИ В ЗАПИСЯХ ЭЭГ И ПОСЛЕДУЮЩЕГО СРАВНЕНИЯ ЭТИХ ПАРАМЕТРОВ С  ПОСТСТИМУЛЬНОЙ АКТИВНОСТЬЮ" (PREPOST). Благовещенский Е.Д., Штыров Ю.Ю., Перикова Е.И., Щербакова О.В., Кирсанов А.С. Свидетельство о регистрации программы для ЭВМ RU 2019661690, 05.09.2019. Заявка № 2019660557 от 28.08.2019.)), который будет использоваться в ходе работы над запланированными в рамках настоящего проекта экспериментами. Научный коллектив имеет доступ к широкому спектру информационных онлайн-ресурсов (Научная библиотека им. М.Горького), базы данных научных публикаций. Члены научного коллектива имеют богатый опыт проведения психологических, психолингвистических и психофизиологических экспериментальных исследований, отраженный в высокорейтинговых публикациях в международных научных журналах, посвященных механизмам воплощенного познания, закономерностям формирования семантических репрезентаций, роли внимания и автоматизма в обработке вербальной информации, слухового и зрительного восприятия. Руководитель проекта О.В. Щербакова является признанным экспертом в общей психологии и ведет экспериментальные исследования на стыке психолингвистики и классической когнитивной психологии, уделяя особое внимание процессам, лежащим в основе формирования субъективных семантических репрезентаций вербальных стимулов различного уровня сложности, а также механизмам взаимодействия когнитивной и эмоциональной сфер личности и имеет более 150 научных публикаций.Член научного коллектива Ю.Ю. Штыров является экспертом мирового уровня в когнитивных нейронауках; им опубликовано более 100 статей в международных реферируемых журналах (преимущественно с использованием таких методов, как ЭЭГ), посвященных пространственно-временной динамике восприятия вербальной информации, автоматизму и вниманию в ее обработке и воплощенным аспектам семантических репрезентаций. О.В. Щербакова и Ю.Ю. Штыров имеют обширный опыт руководства и работы в междисциплинарных научных коллективах. Молодые члены научного коллектива, Е.А. Андрющенко и Е.Н. Блинова, имеют хорошую теоретическую и практическую подготовку в области экспериментальной и когнитивной психологии и психолингвистики, их квалификация подтверждена сертификатами международных школ, олимпиад и конференций, а также дипломами курсов по академическому письму. Они имеют обширный опыт записи физиологических и поведенческих данных, рекрутинга испытуемых, подготовки научных публикаций на русском и английском языках, а также выступления на международных конференциях.Членами научного коллектива в 2017 – 2020 гг. была успешно организована серия престижных международных конференций “Neurobiology of Speech and Language” с участием признанных мировых лидеров в области психо- и нейролингвистики и собравшая более 1500 слушателей из разных городов России, США, Германии, Испании, Финляндии, Новой Зеландии, Болгарии, Канады, Великобритании и др. стран. Этот опыт будет способствовать организации экспериментального исследования на уровне, соответствующем мировой практике проведения такого типа исследований. Кроме того, в 2019 г. нами совместно с болгарскими коллегами (д-р А. Джанян) был проведен эксперимент, целью которого было изучение эндогенной составляющей эффекта кросс-модального (аудиовизуального) соответствия на исключительно перцептивном уровне, без лингвистического материала. Результаты совместного эксперимента были представлены в 2019-м году на Третьей Международной конференции “Neurobiology of Speech and Language” (Janyan et al., 2019) и Международной научной конференции “Ананьевские чтения” (Блинова и др., 2019). Сбор и анализ данных полностью завершен; в настоящее время мы работаем над написанием статьи, посвященной полученным результатам. Эти новые результаты в том числе послужили отправной точкой для нового масштабного проекта, представленного в данной заявке. Члены научного коллектива регулярно повышают свою квалификацию, принимая участие в международных школах и образовательных курсах, и обладают широким арсеналом универсальных исследовательских навыков, связанных с планированием экспериментальных исследований в области нейролингвистики и когнитивной психологии, программированием экспериментальных парадигм в специализированных программных средах, рекрутингом испытуемых, сбором поведенческих и психофизиологических данных, их обработкой с помощью современных методов, подготовкой научных публикаций в международные специализированные журналы.