Разработаны и проведены эксперименты по изучению восприятия текстов, совмещающих в себе устные и письменные фрагменты. Эксперимент по восприятию материала онлайн-лекций показал, что сочетание визуальной и аудиальной информации оказывается более эффективным способом подачи материала, чем только аудиоряд, что согласуется с предшествующими исследованиями в данной области. По результатам эксперимента, в котором приняли участие студенты, изучающие русский язык как иностранный, и носители русского языка, была построена иерархия форматов текстов в зависимости от эффективности их восприятия иностранцами: письменный текст -> инфографика -> мультимодальный текст (инфографика + аудиотекст) - аудиотекст.
Был проведен эксперимент с участием носителей русского языка, изучающих японский язык, в котором участники читали вслух и пересказывали статические и динамические тексты на русском и японском языках, при этом фиксировались паузы хезитации и ошибки в их речи, а также записывались движения глаз во время чтения. Полученные результаты свидетельствуют в пользу асинхронности и возможной автономности механизмов, обеспечивающих обработку визуального сигнала и звукового сигнала при чтении вслух на родном языке, а также о том, что затруднения, возникающие в процессе обработки мультимодальной информации на неродном языке, связаны скорее с языковой компетенцией читающего, чем с особенностями многоканальной обработки информации на разных языках. На основе проведенных экспериментов выявлены факторы, которые планируется изучать на следующем этапе работы по проекту.
В рамках тестирования методик оценки ведущего канала восприятия проведен пилотный эксперимент, направленный на изучение успешности восприятия и понимания текста, предъявленного в разных модальностях, реципиентами с разными особенностями визуального / слухового восприятия информации. Разработан дизайн эксперимента, в котором ведущий канал восприятия определялся по методике С.А. Ефремцевой; проведен пилотный эксперимент, выявивший различия в успешности понимания устно и письменно представленного текста у аудиалов и визуалов. Принято о решение о проведении аналогичного исследования с изучающими русский язык как иностранный.
Разработан дизайн серии экспериментов, направленных на исследование влияния позиции орфограммы, а также читательского опыта носителя языка на скорость и точность детекции ошибок. Проведен пилотный эксперимент, демонстрирующий влияние орфографических навыков читающего на скорость чтения связного текста. Запланирован эксперимент, нацеленный на исследование влияния типа орфограммы, частотности ошибочных написаний и индивидуальных различий читающих на обработку слов в составе связного письменного текста.
Проведен эксперимент, направленный на изучение отличий в восприятии поликодовых рекламных плакатов с лексической неоднозначностью и без нее, а также в восприятии вербальных и невербальных компонентов рекламного поликодового текста. Предварительные результаты показывают, что наличие неоднозначности в рекламном поликодовом тексте не увеличивает время обработки текста. Восприятие вербального и невербального компонентов плаката ожидаемо отличается.
Анализ литературы по созданию и апробации поликодовых ребусов позволил разработать пилотный набор поликодовых задач-ребусов на основе устойчивых выражений русского языка и методику апробации поликодовых ребусов. По результатам предварительной апробации сделан вывод о валидности такого материала для изучения механизмов внезапного (инсайтного) понимания и его мнемического преимущества при последующем припоминании материала. Принято решение о доработке и расширении банка заданий и проведении более масштабной апробации для исследования факторов объективной и субъективной сложности заданий и их связи с типом достигнутого понимания.
Проведен анализ литературы по эффектам вербализации (в частности, эффекта вербального затенения) при работе с образной информацией на материале различных когнитивных задач. Проведен эксперимент по изучению влияния чтения вербальных обоснований оценок, данных другими людьми, а также генерации собственных вербальных обоснований на воспоминание о ранее данной оценке на материале сложной визуальной информации (оценки лиц). Показано, что как чтение, так и генерация вербального обоснования реально сделанного выбора позволяет закрепить воспоминание о сделанном выборе. При этом как чтение чужих обоснований, так и самостоятельная генерация вербального обоснования подтасованной оценки приводят к значительному искажению воспоминаний о ранее принятом решении. Для дальнейшего изучения эффектов вербализации разработано два новых дизайна исследования и принято решение об изучении эффекта вербализации на материале других когнитивных задач с дополнительной фиксацией метакогнитивных оценок.
Результаты работы были представлены в 23 докладах на конференциях и семинарах по лингвистике, психологии и когнитивной науке. Опубликовано 15 работ, в том числе 2 статьи в изданиях, индексируемых Scopus.