1. Научная проблема, на решение которой направлен проект.
Проект направлен на решение фундаментальной научной проблемы восприятия вербальной и невербальной информации, а именно – на изучение низкоуровневых и высокоуровневых процессов восприятия, обработки и понимания письменного текста. Поликодовый или креолизованный текст - это текст, составленный из знаков разных семиотических систем, а именно "из двух негомогенных частей: вербальной (языковой/речевой) и невербальной (принадлежащей к другим знаковым системам, нежели естественный язык)" (Сорокин, Тарасов, 1990,  Paivio, 2006). В процессе восприятия поликодового текста происходит двойное декодирование заложенной в нем информации: при извлечении концепта изображения происходит его «наложение» на концепт вербального текста, взаимодействие двух концептов приводит к созданию единого общего концепта(смысла) поликодового текста (Тельминов, 2009), что подтверждает общепризнанное в науке положение о том, что информация, воспринимаемая по разным каналам, в том числе вербальная и иконическая, интегрируется и перерабатывается человеком в едином универсальном предметном коде мышления (Жинкин, 1982, Mayer, 2009, Fernández-Fontecha et al., 2018). С другой стороны, современные исследователи почти единогласно соглашаются с тем, что информация, передаваемая вербально и невербально, воспринимается по-разному (см. подробно: Бойко, 2006, Cohn, 2018). Анализ восприятия поликодового текста предполагает учёт множества переменных. Типологизация поликодовых текстов остаётся до сих пор открытым вопросом. В зависимости от степени участия изображения в создании текста предлагается выделять три типа текстов: с нулевой креолизацией (не содержат невербального компонента), с частичной креолизацией (изобразительная часть сопровождает семантически независимую вербальную часть и является, как правило,факультативным элементом текста) и с полной креолизацией (вербальная часть не может существовать независимо от изобразительной части). По всей видимости, такие коррелятивные отношения не являются жёсткими, неподвижными, в одном и том же тексте возможны их комбинации. Фундаментальной научной задачей проекта является ответ на вопрос о том, каковы когнитивные механизмы обработки вербальной и невербальной части поликодового текста (а именно, есть ли различия в значимых для распознавания паттернах движений глаз при изучении текстовой и нетекстовой части), и какой тип креолизации способствует более успешному восприятию, обработке и пониманию текста.

2. Актуальность проблемы, научная значимость решения проблемы.
Актуальность проекта обусловлена тем, что в настоящее время наблюдается тенденция к всё большему использованию визуальной информации в различных сферах жизни. Поликодовый текст в XXI в. стал неотъемлемой частью современной коммуникации. Особую актуальность получают исследования инфографики (т.е. сопровождающихся краткими подписями рисунков, графиков, диаграмм и т.п.), скетчноутинга (визуальных заметок, состоящих из рукописного текста и изобразительных элементов), рекламных текстов, мультимедийных курсов,интегрирующих в себе вербальные и невербальные средства и позволяющих максимально четко представить сложную информацию (Баранова 2013; Mayer, 2009). Учебная литература, согласуясь с современными образовательными технологиями, должна быть направлена на то, чтобы в неё включались все виды восприятия обучающегося — и зрительное восприятие невербальных объектов в том числе. Тем не менее, несмотря на многие очевидные преимущества текстов в графическом формате, их доля в школьных учебниках и пособиях по русскому языку для иностранцев все ещё остаётся невелика, а механизмы процесса восприятия и понимания поликодового текста не изучены. Вопрос о том, каким образом подавать учебный материал в той или иной аудитории, чтобы его усвоение было наиболее успешным, остается одним из актуальных и значимых вопросов современной когнитивной науки и методики обучения иностранному языку. Оптимальной для исследования механизмов чтения является методика регистрации движения глаз, дающая возможность проанализировать множество аспектов движений глаз на этапах процесса чтения в максимально естественных для читающего условиях. В последние годы с помощью этой методики были проведены многочисленные исследования механизмов обработки письменного текста, в том числе на материале типологически разнообразных языков. Тем не менее, все еще мало исследований чтения на материале русского языка. Кроме того, в большинстве существующих работ в качестве объекта исследования рассматривается уровень слова и уровень предложения. Так, для русского языка был создан корпус Russian Sentence Corpus RSC (Laurinavichyute, Sekerina, Alexeeva, Bagdasaryan & Kliegl, 2018), в котором представлены данные о движениях глаз при чтении предложений на русском языке. Данный проект направлен на изучение чтения текста, как целостной единицы. Таким образом, наш проект может, с одной стороны, дополнить существующий корпус, а с другой – определить, какой тип креолизации текста более полезен для читающих на родном и неродном языке — это вопрос, имеющий в том числе практическое значение.

3. Конкретная задача в рамках проблемы, на решение которой направлен проект, ее масштаб.
Конкретная задача проекта состоит в исследовании механизмов обработки и понимания поликодовых текстов разных типов носителями и не-носителями русского языка. Мы будем приглашать к участию в экспериментах носителей русского языка (школьников старших классов) и студентов-иностранцев, изучающих русский язык (уровень владения русским языком: В1-В2 и В2-С1 – по европейской системе, сертификационные уровни ТРКИ-1 и ТРКИ-2 – по российской системе), которые будут читать на русском языке поликодовые тексты разных типов: инфографику и скетчи (визуальные заметки), созданные для текстов разных функциональных стилей. Данная цель подразумевает разработку типологии поликодовых текстов и экспериментальную проверку гипотезы, что поликодовый текст более эффективен по сравнению с классическим вербальным текстом при восприятии и анализе информации. На основе проведенных исследований должен быть выявлен оптимальный способ подачи информации в тексте, а именно особенности визуального представления текста и его лингвистические характеристики. Исходя из гипотезы, цели проекта могут быть сформулированы следующим образом: 1)  определить, какие зоны текста (вербальные или невербальные) являются наиболее ресурсозатратными при обработке и почему; 2) выявить, какой тип поликодового текста является наиболее эффективным для восприятия, и для какой аудитории учащихся подходит тот или иной тип; 3) выяснить, различаются ли стратегии обработки поликодового текста у носителей и не-носителей русского языка. В задачи проекта входит ответить на эти исследовательские вопросы и дать практические рекомендации составителям школьных учебников и пособий для изучающих русский язык как иностранный по организации материала, включению вербальной и невербальной информации, созданию инфографики, скетчей и других типов поликодового текста.

4. Научная новизна поставленной задачи, обоснование достижимости решения поставленной задачи и возможности получения запланированных результатов.

Многочисленные исследования показали, что на процесс восприятия текста влияет ряд факторов: инструкция, тип автора (того, кто этот текст создает), тип читателя, тип текста. Однако в случае с поликодовым текстом подобных экспериментальных исследований крайне мало. При проведении исследований, направленных на анализ восприятия компонентов поликодового текста, ученые получают кардинально противоположные результаты. Часть исследователей считает, что главенствующая роль принадлежит невербальным компонентам, которые «воспринимаются как нечто цельное с меньшим напряжением, чем вербальный текст» [Валгина, 2003, Paivio, 2006]. В других работах показано, что в художественном и научно-популярном тексте основная мысль эксплицируется в вербальной составляющей, а картинки и схемы лишь дополняют текст и делают его наглядным [Христофорова, 2007, Petrova & Kalugina,  2019].
Научная идея проекта состоит в изучении влияния именно типа текста - соотношения вербального и невербального компонентов на процесс его восприятия. Планируется изучить, как одна и та же информация (содержание текста), переданная разными способами креолизации, воспринимается и понимается носителями языка. На материале русского языка подобное междисциплинарное исследование поликодового текста проводится впервые.
Все эксперименты, которые запланированы в рамках выполнения проекта, будут проведены на школьниках - носителях русского языка и студентах, изучающих русский язык как иностранный впервые. Таким образом, будут получены принципиально новые экспериментально проверенные данные о механизмах восприятия, обработки и понимания разного рода поликодовых текстов.

5. Современное состояние исследований по данной проблеме.
Чтение — один из важнейших языковых навыков, являющийся предметом изучения в большом числе гуманитарных и естественных наук. Многочисленные эксперименты показали, что понимание текста (письменного и устного) — это сложный многоэтапный процесс. При этом понимание письменного текста, в отличие от устного, включает в себя множество дополнительных переменных — распознавание букв, графики и структурных компонентов. Понимание письменных текстов в наш век информационных технологий приобрело особое значение. 
В связи с этим весьма актуальным является изучение процесса восприятия при чтении и экспериментальное исследование механизмов обработки и понимания текста. Последнее время в современном образовании стали использоваться мультимедийные обучающие материалы в виде комбинации текста и изображений, и многочисленные исследования подтвердили их эффективность по сравнению с традиционным текстовым форматом учебников. Согласно Когнитивной теории мультимедийного обучения (Mayer 2009), эффективное усвоение материала, представленного в виде поликодового текста, происходит благодаря необходимости переключать внимание между текстом и изображением и устанавливать связи между этими двумя элементами, что, в свою очередь, приводит к интеграции новой информации в уже имеющуюся систему знаний, а также к возможности использовать усвоенную информацию в дальнейшем. Современная исследовательская аппаратура позволяет следить за направлением взгляда индивида в процессе обучения, благодаря чему было установлено, что чем больше переключений между текстом и изображением совершает ученик в процессе изучения материала, тем лучше этот материал усваивается (e.g., Mason, Tornatora,&Pluchino, 2013; Scheiter&Eitel, 2015). Также с помощью методики регистрации движений глаз было выявлено, что, если ученики не уделяют достаточного внимания картинкам, а фокусируются преимущественно на тексте, либо несвоевременно соотносят вербальную и визуальную информацию, эффективность обучения значительно падает (Renkl&Scheiter 2015, Hannus&Hyönä, 1999; Schmidt-Weigand, Kohnert, &Glowalla, 2010a, 2010b, Cromleyetal., 2013; Masonetal., 2013; Scheiter&Eitel, 2015; Schwonke, Berthold, &Renkl, 2009). Эту проблему пытались решать как с помощью дополнительных указаний и инструкций (Mayer & Moreno, 2002, Johnson & Mayer, 2012), так и с помощью пространственно-цветовых схем, например, сокращая расстояние между текстом и рисунком к нему, или выделяя соответствующие друг другу вербальные и невербальные элементы одним цветом (Ozcelik, Karakus, Kursun & Cagiltay, 2009; Scheiter & Eitel, 2015). Однако выяснилось, что подобные средства помогают слабо подготовленным ученикам, но мешают ученикам с высоким уровнем подготовки (Kalyuga, 2007, Kalyuga, Ayres, Chandler & Sweller, 2003). Ряд проведенных экспериментов позволил доказать, что усваивая поликодовую информацию, человек сталкивается с серьезными затруднениями. Таким образом, встает вопрос о когнитивных затратах, связанных с восприятием разных составляющих поликодовых текстов.
Было показано, что механизмы обработки вербальной и невербальной информации различаются. Этому были посвящены исследования Леви и Лентца, которые сделали вывод о том, что лучше воспринимается информация, которая подкреплена и текстом, и картинкой (Levie, W.H., &Lentz, R.,1982). Пайвио в своих работах указывает на то, что в памяти лучше сохраняется информация, которая представлена текстом и соответствующей иллюстрацией, чем просто текстом (Paivio, 2006). В исследовании К.Райнера и др. было показано, что правильность ответов на вопросы по содержанию текста не связана с типом изображений, с которыми этот текст был представлен, большее внимание человек уделяет текстовой части (Rayner, K. et al., 2001). К аналогичным выводам пришли исследователи из Китая, показавшие, что при изучении текстов учебника по геометрии картинка (в их случае - геометрическая фигура) привлекает внимание меньше, чем текст (Wei-Kuang Lee, Chao-Jung Wu, 2017).
На материале русского языка подобных экспериментальных исследований крайне мало. Как правило, исследователи ограничиваются сопоставлением сложного и простого вербального текста и изучением низкоуровневых механизмов чтения текста (Безруких, 2016, 2017, Корнев, 2015, 2018, Барабанщиков и др., 2015, Черниговская и др., 2018, Petrova & Riekhakaynen, 2019), анализом длительности фиксаций, количества саккад, количества регрессий при прочтении того или иного текста. Верхний уровень обработки текста (а именно уровень понимания) экспериментально пока еще мало изучен, вероятно, из-за сложности механизмов, его обеспечивающих.
Данный проект будет направлен на экспериментальную проверку того, каким образом происходит обработка поликодового текста, созданного для русскоязычных носителей, и есть ли связь между низкоуровневой обработкой (паттернами движений глаз) и высокоуровневой обработкой (пониманием) того или иного текста.

6. Предлагаемые методы и подходы, общий план работы на весь срок выполнения проекта.
Чтобы изучить особенности обработки и усвоения информации при работе с поликодовым текстом, мы планируем использовать целый ряд дополняющих друг друга междисциплинарных методик, позволяющих изучать различные аспекты обработки текста как с помощью традиционных оффлайновых методов, так и в режиме реального времени. У коллектива есть опыт работы со всеми этими методами:
- поведенческие методики, традиционно применяемые в междисциплинарной науке - психолингвистике - для решения лингвистических задач, в частности, для оценки успешности понимания текста (вопросно-ответная методика, методика семантического дифференциала, методика набора ключевых слов, методика лакунарных текстов), различные методики,позволяющие отслеживать выбор той или иной интерпретации текста;
- междисциплинарная методика регистрации движений глаз во время чтения (Staub&Rayner 2007, Федорова 2008, Секерина 2015, Черниговская и др., 2018). Эта методика предполагает фиксацию различных параметров (в частности, времени первого и последующих прочтений группы слов, количества возвратов и т.д.) и позволяет отследить ранние и поздние эффекты во время обработки вербальной и невербальной информации. Методика была успешно использована как для изучения разнообразных процессов обработки визуальной информации [подробнее в обзорах: Rayner, 1998; Duchowski, 2002; Rayner, 2009; Cohn, 2018], так и для исследования особенностей движений глаз при просмотре онлайн-курсов [Kizilcecetal, 2014., Pietal, 2016]. На основании множества исследований и теории А. Джаста и P.Карпентер мы полагаем, что движения глаз можно соотносить с пониманием текста [Cooper, 1974; Justetal,1980; Underwood, 2004; Rayner et al., 2001, 2006; Reingoldetal, 2006 и др]. Современные аппараты для регистрации движений глаз позволяют проследить всю траекторию движений глаз, спроецированную на текст и произвести количественный анализ пространственно-временных характеристик движений взора при чтении и обработке различных зон/полей текста (вербальных и невербальных). Глазодвигательное поведение по существу отражает не только технические процессы считывания информации, но и стратегии анализа текста, используемые читающим (Cohn, 2018). Поэтому изучение индивидуальных и типовых характеристик организации движений взора при чтении является адекватным методом исследования механизмов анализа поликодового текста и стратегий его обработки.
Обработка результатов предполагает использование статистических методов из статистических пакетов SPSS Statistics 20 и JASP. Сопоставление результатов с данными, полученными на материале других языков, и их интерпретация с точки зрения существующих моделей обработки текста будет проводиться с применением метода критического анализа.

7. Имеющийся у коллектива исполнителей научный задел по проекту.

У коллектива есть существенный научно-методический задел по данной проблеме.

Участники проекта имеют большой опыт работы над научно-исследовательскими проектами, направленными на изучение механизмов обработки вербальной (на материале русского языка) и невербальной информации. Предлагаемое в настоящей заявке исследование является продолжением работы, которая велась в рамках одного из проектов, выполненных под руководством заведующей Лабораторией когнитивных исследований СПбГУ Т.В.Черниговской: «Психофизиологические и нейролингвистические аспекты процесса распознавания вербальных и невербальных паттернов» (поддержан грантом РНФ14-18-02135; основные результаты отражены в коллективной монографии «Взгляд кота Шредингера: регистрация движений глаз в психолингвистических исследованиях»/ под ред. Черниговской Т.В., Петровой Т.Е.).

Научный коллектив сотрудничает с Образовательным центром «Сириус» в рамках проектных смен: под руководством представителей коллектива (Т.Е.Петровой, Е.И.Риехакайнен, В.С.Браташ) были реализованы два психолингвистических проекта в рамках направления «Когнитивные исследования» в июле 2017 года и в июле 2018 года, направленные на изучение механизмов восприятия и обработки инфографики и скетча (визуальных заметок), планируется новый проект на 2020 год. Нами показано, что тип предъявляемого паттерна влияет на характеристики движений глаз при чтении. Так, в частности, анализ результатов выявил различия при чтении текстов разного формата (в виде инфографики и обычном текстовом формате) (Петрова и др., 2017, Petrova & Riekhakaynen, 2019). В ходе выполнения данного проекта планируется продолжить начатые исследования и опубликовать полученные результаты. 

У Черниговской Т.В., Петровой Т.Е. и Риехакайнен Е.И. имеется многолетний опыт руководства магистерскими и бакалаврскими работами, тематика которых связана с изучением механизмов восприятия устной и письменной речи, а следовательно, имеет самое непосредственное отношение к данному проекту.

У коллектива имеются приборы и программное обеспечение, необходимые для использования указанных выше методик, в частности:
- аппарат для регистрации движения глаз Eyelink1000 Plus (SR Research) и программное обеспечение для записи движения глаз при чтении на русском языке.
- Переносные компьютеры AppleMacBookPro с PsyScope X (свободно распространяемое программное обеспечение для проведения психолингвистических экспериментов).
- Статистические пакеты (SPSS.22.0, JASP) для количественной обработки экспериментальных данных.
- Диктофоны Olympus (WS-320M, WS-331M, WS-650S)для записи устных ответов испытуемых и протоколирования хода экспериментов.
- Внешние диски (Seagate, WD, Transcend) большого объёма для хранения экспериментальных данных.

8. Детальный план работы на весь период выполнения проекта.

2020:

- разработка гипотез и дизайнов проводимых экспериментов, анализ и интерпретация тематической литературы (Черниговская Т.В., Петрова Т.Е.,),

 - подбор литературы по теме, разработка типологии поликодовых текстов (Петрова Т.Е., Риехакайнен Е.И.),

- обработка данных, интерпретация и описание результатов эксперимента, направленного на изучение особенностей восприятия скетча. Подготовка публикации в рейтинговом журнале (Браташ В.С., Риехакайнен Е.И., Петрова Т.Е.), защита диссертации на соискание ученой степени кандидата педагогических наук (Браташ В.С.);

- подготовка и проведение эксперимента на аппарате для регистрации глаз, направленного на изучение особенностей восприятия различных типов рекламного поликодового текста носителями русского языка. Защита магистерской диссертации (Коновалова А.А.);

- представление промежуточных результатов проекта на международных конференциях (Черниговская Т.В., Петрова Т.Е., Риехакайнен Е.И.);

2021:

- подготовка, разработка дизайна и проведение серии экспериментов с изучающими русский язык как иностранный, направленных на изучение особенностей обработки разных типов поликодовых текстов, отобранных в ходе предварительных экспериментов (Черниговская Т.В., Петрова Т.Е., Tун Чжан),

- подготовка и проведение эксперимента на аппарате для регистрации глаз, направленного на изучение особенностей восприятия различных типов поликодового текста носителями и не-носителями русского языка (Скворцова Д.Е., Тун Чжан), защита магистерской диссертации (Скворцова Д.Е.);

- представление результатов проекта на международных конференциях;

- апробация полученных результатов на базе Образовательного центра "Сириус" в рамках программы «Литературное творчество» в Образовательном центре «Сириус» и на практических занятиях по русскому языку как иностранному в СПбГУ (Рабочая программа СПбГУ №000900) (Петрова Т.Е., Риехакайнен Е.И.)

 В ходе выполнения проекта планируется опубликовать не менее 1 статьи в WoS/Scopus и не менее 2  статей в РИНЦ, а также тезисы докладов на конференциях.