Когнитивные механизмы обработки мультимодальной информации: тип текста и тип реципиента: 2021 г. этап 1

Проект: исполнение гранта/договораисполнение этапа гранта/договора

Сведения о проекте

описание для неспециалистов

Актуальность проекта обусловлена тем, что в настоящее время наблюдается тенденция к всё большему использованию визуальной информации в различных сферах жизни. Мультимодальный текст в XXI в. стал неотъемлемой частью современной коммуникации. Проект направлен на междисциплинарное исследование механизмов обработки и понимания разных типов мультимодального текста носителями русского языка. Изучение процесса чтения является одной из центральных тем экспериментальной лингвистики как части когнитивной науки. Эта тема имеет решающее значение как для теоретических моделей понимания речи, так и для ряда прикладных задач. В центре внимания находится фундаментальная научная проблема восприятия вербальной и невербальной информации, сопряженная с методами исследования процессов восприятия и понимания смысла текста человеком.
За первый год реализации проекта была проведена аналитическая работа по разработке типологии поликодовых текстов и изучению теоретических концепций, объясняющих механизмы обработки полимодальной информации как вида когнитивной деятельности, разработаны дизайны экспериментов по всем направлениям работы, проведены пилотные исследования.
К важнейшим результатам, полученным на первом этапе работы, можно отнести следующее:
- показано, что сочетание визуальной и аудиальной информации оказывается более эффективным способом подачи материала в онлайн-лекции, чем только аудиоряд;
- построена иерархия форматов текстов в зависимости от эффективности их восприятия иностранцами: письменный текст -> инфографика -> мультимодальный текст (инфографика + аудиотекст) – аудиотекст;
- получены данные о том, что затруднения, возникающие в процессе обработки мультимодальной информации на неродном языке, связаны скорее с языковой компетенцией читающего, чем с особенностями многоканальной обработки информации на разных языках;
- проведен пилотный эксперимент на материале русского языка, демонстрирующий влияние орфографических навыков читающего на скорость чтения связного текста;
- показано, что наличие неоднозначности в рекламном поликодовом тексте не увеличивает время обработки текста; восприятие же вербального и невербального компонентов плаката ожидаемо отличается;
- разработан и апробирован пилотный набор поликодовых задач-ребусов на основе устойчивых выражений русского языка; по результатам апробации сделан вывод о валидности такого материала для изучения механизмов внезапного понимания и его преимущества при последующем припоминании материала;
- проведен анализ литературы по эффектам вербализации (в частности, эффекта вербального затенения) при работе с образной информацией на материале различных когнитивных задач;
- показано, что как чтение, так и генерация вербального обоснования реально сделанного выбора позволяет закрепить воспоминание о сделанном выборе.
Все результаты, полученные на первом этапе реализации проекта, будут учтены в ходе дальнейшей работы, которая запланирована на 2022-2023 годы.

основные результаты по этапу (кратко)

Разработаны и проведены эксперименты по изучению восприятия текстов, совмещающих в себе устные и письменные фрагменты. Эксперимент по восприятию материала онлайн-лекций показал, что сочетание визуальной и аудиальной информации оказывается более эффективным способом подачи материала, чем только аудиоряд, что согласуется с предшествующими исследованиями в данной области. По результатам эксперимента, в котором приняли участие студенты, изучающие русский язык как иностранный, и носители русского языка, была построена иерархия форматов текстов в зависимости от эффективности их восприятия иностранцами: письменный текст -> инфографика -> мультимодальный текст (инфографика + аудиотекст) - аудиотекст.
Был проведен эксперимент с участием носителей русского языка, изучающих японский язык, в котором участники читали вслух и пересказывали статические и динамические тексты на русском и японском языках, при этом фиксировались паузы хезитации и ошибки в их речи, а также записывались движения глаз во время чтения. Полученные результаты свидетельствуют в пользу асинхронности и возможной автономности механизмов, обеспечивающих обработку визуального сигнала и звукового сигнала при чтении вслух на родном языке, а также о том, что затруднения, возникающие в процессе обработки мультимодальной информации на неродном языке, связаны скорее с языковой компетенцией читающего, чем с особенностями многоканальной обработки информации на разных языках. На основе проведенных экспериментов выявлены факторы, которые планируется изучать на следующем этапе работы по проекту.
В рамках тестирования методик оценки ведущего канала восприятия проведен пилотный эксперимент, направленный на изучение успешности восприятия и понимания текста, предъявленного в разных модальностях, реципиентами с разными особенностями визуального / слухового восприятия информации. Разработан дизайн эксперимента, в котором ведущий канал восприятия определялся по методике С.А. Ефремцевой; проведен пилотный эксперимент, выявивший различия в успешности понимания устно и письменно представленного текста у аудиалов и визуалов. Принято о решение о проведении аналогичного исследования с изучающими русский язык как иностранный.
Разработан дизайн серии экспериментов, направленных на исследование влияния позиции орфограммы, а также читательского опыта носителя языка на скорость и точность детекции ошибок. Проведен пилотный эксперимент, демонстрирующий влияние орфографических навыков читающего на скорость чтения связного текста. Запланирован эксперимент, нацеленный на исследование влияния типа орфограммы, частотности ошибочных написаний и индивидуальных различий читающих на обработку слов в составе связного письменного текста.
Проведен эксперимент, направленный на изучение отличий в восприятии поликодовых рекламных плакатов с лексической неоднозначностью и без нее, а также в восприятии вербальных и невербальных компонентов рекламного поликодового текста. Предварительные результаты показывают, что наличие неоднозначности в рекламном поликодовом тексте не увеличивает время обработки текста. Восприятие вербального и невербального компонентов плаката ожидаемо отличается.
Анализ литературы по созданию и апробации поликодовых ребусов позволил разработать пилотный набор поликодовых задач-ребусов на основе устойчивых выражений русского языка и методику апробации поликодовых ребусов. По результатам предварительной апробации сделан вывод о валидности такого материала для изучения механизмов внезапного (инсайтного) понимания и его мнемического преимущества при последующем припоминании материала. Принято решение о доработке и расширении банка заданий и проведении более масштабной апробации для исследования факторов объективной и субъективной сложности заданий и их связи с типом достигнутого понимания.
Проведен анализ литературы по эффектам вербализации (в частности, эффекта вербального затенения) при работе с образной информацией на материале различных когнитивных задач. Проведен эксперимент по изучению влияния чтения вербальных обоснований оценок, данных другими людьми, а также генерации собственных вербальных обоснований на воспоминание о ранее данной оценке на материале сложной визуальной информации (оценки лиц). Показано, что как чтение, так и генерация вербального обоснования реально сделанного выбора позволяет закрепить воспоминание о сделанном выборе. При этом как чтение чужих обоснований, так и самостоятельная генерация вербального обоснования подтасованной оценки приводят к значительному искажению воспоминаний о ранее принятом решении. Для дальнейшего изучения эффектов вербализации разработано два новых дизайна исследования и принято решение об изучении эффекта вербализации на материале других когнитивных задач с дополнительной фиксацией метакогнитивных оценок.
Результаты работы были представлены в 23 докладах на конференциях и семинарах по лингвистике, психологии и когнитивной науке. Опубликовано 15 работ, в том числе 2 статьи в изданиях, индексируемых Scopus.

описание вклада в работу каждого из участников (учётная форма ЦИТиС)

Черниговская Татьяна Владимировна, директор Института когнитивных исследований СПбГУ, руководитель проекта – общее руководство проектом; разработка гипотез исследования; анализ и обсуждение дизайна подготовленных в рамках проекта экспериментов; подготовка статьи;
Гершкович Валерия Александровна, доцент кафедры проблем конвергенции естественных и гуманитарных наук СПбГУ, ответственный исполнитель - изучение влияния вербального описания образной информации на последующее изменение оценок ранее воспринятой информации; подготовка статей, выступление с докладами на конференциях;
Петрова Татьяна Евгеньевна, доцент кафедры теории и методики преподавания искусств и гуманитарных наук СПбГУ, ответственный исполнитель – изучение восприятия и понимания поликодового текста; исследование механизмов восприятия текста, включающего в себя вербальные и невербальные компоненты; подготовка статей; выступление с докладами на конференциях;
Риехакайнен Елена Игоревна, доцент кафедры общего языкознания им. Л.А. Вербицкой СПбГУ, ответственный исполнитель – исследование влияния способа подачи материала на надежность его восприятия; изучение механизмов обработки письменного текста при чтении вслух; подготовка статей; выступление с докладами на конференциях;
Зубов Владислав Иванович, ассистент кафедры общего языкознания им. Л.А. Вербицкой СПбГУ –изучение механизмов восприятия письменного текста, в том числе при чтении вслух; подготовка статей, выступление с докладами на конференциях;
Коновалова Анастасия Алексеевна, помощник директора Института когнитивных исследований СПбГУ – изучение восприятия поликодовых текстов; разработка типологии поликодовых текстов; выступление с докладами на конференциях;
Львова Ольга Владимировна, младший научный сотрудник Института когнитивных исследований СПбГУ (до 30.11.2021) – исследование обработки многозначной информации при межмодальном переносе; участие в разработке и проведении пилотных экспериментов;
Тихонов Роман Вадимович, младший научный сотрудник Института когнитивных исследований СПбГУ (с 01.12.2021) – разработка программного обеспечения для проведения экспериментальных исследований, дизайнов и процедур экспериментов;
Слюсарь Наталия Анатольевна, доцент кафедры проблем конвергенции естественных и гуманитарных наук СПбГУ - изучение влияния читательского опыта и качества лексических репрезентаций читающего на обработку и восприятие текста;
Тимофеев Валерии Германович, доцент кафедры теории и методики преподавания искусств и гуманитарных наук СПбГУ – изучение динамического взаимодействия вербального текста с ментальной репрезентацией претекста; выступление с докладами на конференциях;
Чернова Дарья Алексеевна, старший научный сотрудник Института когнитивных исследований СПбГУ - изучение влияния читательского опыта и качества лексических репрезентаций читающего на обработку и восприятие текста; подготовка статей, выступление с докладами на конференциях.

передача полной копии отчёта третьим лицам для некоммерческого использования: разрешается/не разрешается (учётная форма ЦИТиС)

Не разрешается

проверка отчёта на неправомерные заимствования во внешних источниках: разрешается/не разрешается (учётная форма ЦИТиС)

Разрешается
АкронимRSF_RG_2021 - 1
СтатусЗавершено
Действительная дата начала/окончания26/04/2131/12/21

Ключевые слова

  • когнитивные исследования
  • психолингвистика
  • мультимодальность
  • поликодовый текст
  • устная речь
  • письменная речь
  • модальность восприятия
  • тип репициента
  • когнитивные искажения

Fingerprint

Просмотреть темы исследований, затронутые в этом проекте. Эти метки созданы на базе основных наград/грантов. Вместе они формируют уникальную картину активности.