Проект направлен на изучение обработки информации, представленной в вербальной и в невербальной форме, с помощью психофизиологических, нейро- и психолингвистических методов.
Было проведено электрофизиологическое исследование особенностей влияния вербальных и невербальных сигналов в процессе реального взаимодействия двух людей. Основное внимание уделено ЭЭГ, одному из важнейших маркеров состояния мозга. Разработана соответствующая методика и аппаратно-программный комплекс. Показано, что мимика может выступать как в роли сигнала, который подчеркивает и усиливает отличия между условиями, так и в роли помехи, которая, наоборот, сглаживает (подавляет) данные отличия.
Проведены исследования по особенностям процесса распознавания невербальных паттернов в условиях неопределенности. Проанализированы и описаны результаты психофизических и нескольких серий фМРТ-исследований. В первой серии фМРТ-исследования проводилась оценка активности областей головного мозга в зависимости от градации выраженности признака, во второй – оценка активности мозга в зависимости от инструкции, в третьей – в зависимости от вероятности повтора одного и того же лица.
В рамках исследования вербального и невербального компонентов процесса коммуникации изучены особенности принятия решения относительно эмотивного компонента коммуникации у подростков с интеллектуальной недостаточностью и у подростков с нормальным интеллектом.
Были проанализированы и обобщены результаты экспериментальных исследований, направленных на изучение процесса обработки вербальных паттернов на разных лингвистических уровнях — от отдельной буквы до связного текста. Описаны механизмы обработки букв при восприятии слова: выявлены сложные и легкие для восприятия буквы, определено влияние визуальной сложности букв на порядок распознавания букв на ранних этапах процесса чтения, шрифты были ранжированы по легкости для восприятия (Georgia является более простым, а Courier New – более сложным для восприятия). Выявлено, что идентификация букв в изоляции идет значительно точнее, чем в окружении, независимо от типа шрифта. Показано, что частотность буквы не является тем фактором, который влияет на успешность распознавания. Апробирована методика толкования понятий: на материале устного подкорпуса Национального корпуса русского языка (ruscorpora.ru) было проверено наличие выявленных семантических признаков в контекстах целевых существительных. Показана ведущая роль семантического контекста в процессе восприятия речи. Показано, что в процессе распознавания речи возможной стратегией восприятия является сохранение в памяти нескольких возможных вариантов интерпретации до тех пор, пока правый контекст не позволит снять неоднозначность.
Получены новые данные о влиянии типа текста, типа инструкции, компетенции читающего на процесс восприятия и понимания этого текста. Изучены механизмы обработки поликодового текста (инфорграфики и скетча), включающего вербальные и невербальные компоненты. Описана взаимосвязь восприятия сложного визуального образа и его вербализации.
Обобщение результатов экспериментальных исследований представлено в монографии «Введение в нейроиконику» (Шелепин, 2017) и в
коллективной монографии "Взгляд кота Шредингера: регистрация движений глаз в психолингвистических исследованиях" (Черниговская и др., 2018), которая посвящена вопросам изучения механизмов чтения и зрительного восприятия с помощью методики видеорегистрации движений глаз (айтрекинга).
