описание

Проект направлен на решение фундаментальной научной проблемы изучения речевого поведения человека в условиях реальной повседневной коммуникации. Основной целью проекта является разработка и апробация формальных методов моделирования коммуникативного поведения жителей российского мегаполиса в реальной жизни с учетом их социальных характеристик, прагматических задач и других условий повседневной речевой коммуникации. Научная новизна проекта заключается в первую очередь в том, что моделирование коммуникативной деятельности осуществляется на мультимедийном материале повседневной речевой коммуникации. Принципиальной новизной проекта является также активное привлечение к анализу и моделированию данных методов искусственного интеллекта и машинного обучения.
Согласно исходной заявке, за второй период реализации проекта решены следующие задачи.
1) ЗАВЕРШЕНИЕ АННОТИРОВАНИЯ РЕЧЕВОГО МАТЕРИАЛА, ОБУЧЕНИЕ МОДЕЛИ НА ОСНОВЕ РАЗМЕЧЕННЫХ ДАННЫХ:
1.1. Осуществлено дополнительное экспертное аннотирование речевого материала на прагматическом уровне (речевые акты, микроэпизоды, макроэпизоды).
1.2. Выполнена систематизация методов машинного обучения для многомодального анализа действий участников коммуникации.
1.3. Осуществлена оценка эффективности построенной модели на неразмеченном множестве текстовых расшифровок звукозаписей.
1.4. Получена информация о дистрибуции тех или иных типов коммуникации в повседневной жизни на основании данных корпуса ОРД.
2) ПОСТРОЕНИЕ ТИПОВЫХ МОДЕЛЕЙ КОММУНИКАТИВНОГО ПОВЕДЕНИЯ. СОЗДАНИЕ ПИЛОТНОЙ ВЕРСИИ ЧАТ-БОТА.
2.1. Построены обобщенные модели коммуникативного поведения для разных типов диалога повседневного общения.
2.2. Подготовлено научное описание речевого поведения человека в условиях повседневной жизни.
2.3. Осуществлена практическая апробация подготовленных моделей: построены пилотные версии виртуального собеседника — чат-бота, поддерживающего коммуникацию для отдельных речевых ситуаций и прагматических задач (для изучающих русский язык, для подготовки к собеседованию, для помощи абитуриентам в профориентации).
Результаты пилотных исследований речевого материала, полученные за отчетный год, представлены в виде серии научных публикаций (16 опубликованных статей, 9 статей и тезисов докладов приняты к публикации).
Все заявленные на отчетный этап задачи выполнены в полном объеме.

описание для неспециалистов

Проект направлен на изучениt речевого поведения человека в условиях реальной повседневной коммуникации. Основной целью проекта является разработка формальных методов, которые позволяют построить модель того, как выстраивают коммуникацию жители российского мегаполиса в реальной жизни с учетом их социальных характеристик, целей коммуникации и других условий. Научная новизна проекта заключается в первую очередь в том, что моделирование коммуникативной деятельности осуществляется на материале аудиокорпуса. Принципиальной новизной проекта является также активное привлечение к анализу и моделированию данных методов искусственного интеллекта и машинного обучения.
Согласно исходной заявке, за второй период реализации проекта решены следующие задачи.
1) ЗАВЕРШЕНИЕ РАЗМЕТКИ РЕЧЕВОГО МАТЕРИАЛА, ОБУЧЕНИЕ МОДЕЛИ НА ОСНОВЕ РАЗМЕЧЕННЫХ ДАННЫХ:
1.1. Осуществлена дополнительная экспертная разметка речевого материала на прагматическом уровне (речевые акты, микроэпизоды, макроэпизоды).
1.2. Выполнена систематизация методов машинного обучения для многомодального анализа действий участников коммуникации.
1.3. Осуществлена оценка эффективности построенной модели на неразмеченном множестве текстовых расшифровок звукозаписей.
1.4. Получена информация о том, как часто встречаются разные типы коммуникации в повседневной жизни на основании данных корпуса ОРД.
2) ПОСТРОЕНИЕ ТИПОВЫХ МОДЕЛЕЙ КОММУНИКАТИВНОГО ПОВЕДЕНИЯ. СОЗДАНИЕ ПИЛОТНОЙ ВЕРСИИ ЧАТ-БОТА.
2.1. Построены обобщенные модели поведения для разных типов диалога повседневного общения.
2.2. Подготовлено научное описание речевого поведения человека в условиях повседневной жизни.
2.3. Осуществлена практическая апробация подготовленных моделей: построены пилотные версии виртуального собеседника — чат-бота, поддерживающего коммуникацию для отдельных речевых ситуаций и прагматических задач (для изучающих русский язык, для подготовки к собеседованию, для помощи абитуриентам в профориентации).
Результаты исследования речевого материала, полученные за отчетный год, представлены в виде серии научных публикаций (16 опубликованных статей, 9 статей и тезисов докладов приняты к публикации).
Все заявленные на отчетный этап задачи выполнены в полном объеме.

основные результаты по этапу (подробно)

В результате выполнения отчетного этапа проекта, согласно исходному заданию, были получены следующие основные результаты.
1. Завершено экспертное аннотирование речевого материала на уровне речевых актов. Была выполнена ручная сегментация коммуникативных эпизодов на структурные составляющие, вплоть до коммуникативных актов, а также экспертное тэгирование этих единиц. В результате аннотирования макроэпизодов был расшифрован и проаннотирован 251 файл (более 240 000 словоформ). Основные темы коммуникации – общение «клиент-сервис» и «преподаватель-ученик». К первой группе относится речевое взаимодействие во время совершения покупок, получения или предоставления услуг, приёма у врача. К теме «обучение» относится общение, конечной целью которого является передача знаний, умения. В первую очередь это коммуникация между преподавателем и студентами в учебных заведениях, частные уроки, мастер-классы, родительская помощь с домашним заданием, стажировка на рабочем месте и другое.
2. Выполнена систематизация методов машинного обучения для многомодального анализа действий участников коммуникации. В частности, установлена эффективность инструментария OpenSmile, базирующегося на 65 низкоуровневых дескрипторов аудиоданных. Эффективным методом распознавания и классификации действий и поведения пользователей был определен метод опорных векторов (SVM), предлагается также использование другого классического метода машинной классификации – случайного леса (англ. Random Forest – RF). При наличии большого объема данных представляется целесообразным использовать нейронные сети (сверточные (CNN), рекуррентные (RNN) и др.), а для анализа действий пользователей (например, для анализа диктора, собеседника и обоих коммуникантов) – нейронные сети с долгой кратковременной памятью (англ. Long Short-Term Memory – LSTM).
Получены результаты экспериментов по применению методов машинного обучения для автоматической атрибуции по тексту коммуникативного эпизода, его основного типа и особенностей, а также для тематического моделирования расшифровок устной речи с помощью целого комплекса инструментов (алгоритмов LSA, NMF, LDA, BERTopic в библиотеках для тематического моделирования MALLET, scikit-learn, genism, tomotopy, BERTopic). Помимо этого, применялись методы тематического моделирования диалогических текстов, в рамках которых было выделено две группы: алгоритмы, представляющие собой унифицированную тематическую модель, в рамках которой словосочетания выделяются в тексте одновременно с темами, и алгоритмы, выделяющие многословные выражения на этапе предобработки текста. При решении задачи автоматического выявления словосочетаний методами машинного обучения была рассмотрена, в частности, метрика keyness, которая позволяет оценить значимость слова или словосочетания в фокусном корпусе относительно корпуса большего объема.
3. Произведена оценка эффективности построенных моделей на неразмеченном множестве текстовых расшифровок звукозаписей. Так, в результате построения мультимодальной тематической модели корпуса ОРД были обнаружены следующие тенденции: большинство методов позволяет регистрировать выражения, характерные для диалогической речи: это этикетные формулы, речевые клише, обращения, повторы, имена собственные, географические названия, названия фактов и событий. Различия в работе методов связаны с соотношением разных типов конструкций в их выдаче. В ходе проведенных экспериментов было доказано, что наибольшим потенциалом для выделения ключевых выражений обладает алгоритм RAKE, который в дальнейшем рассматривался как основной инструмент для разметки ключевых выражений в корпусе.
Осуществлена апробация модели через решение задачи генерации тестовых заданий на заполнение (с лексико-грамматическим выбором), составленных на основе записей спонтанных диалогов. Такой инструментарий может использоваться в системах обучения языку как неродному.
4. Получена информация о дистрибуции основных типов коммуникации в повседневной жизни на основании данных корпуса ОРД: около 63% разговоров составляет бытовая коммуникация, деловые (профессиональные) разговоры – почти 20%, «клиент-сервис» и учебные – около 5% каждый. Менее всего приходится на публичные выступления – чуть более 2%. Получена статистика о дистрибуции основных типов коммуникации по локациям, коммуникативным условиям и социальным ролям участников.
5. Построены обобщенные модели коммуникативного поведения для разных типов диалога повседневного общения: образовательная коммуникация, «клиент-сервис» коммуникация, медицинская коммуникация, речь спортивных комментаторов. В частности, исследование образовательной коммуникации показало, что в учебных разговорах наибольшую частотность имеют репрезентативы с преобладанием вопросов, подтип приказов доминирует в директивах, подтип комиссивов намерения — в комиссивах. Для образовательной коммуникации характерна специфическая лексика, более высок индекс лексического богатства в речи мужчин, при этом более частотны усилительные слова и маркеры поддержания разговора в речи женщин. Статистически значимых различий для мужской речи и женской выявлено не было, таким образом, мы не можем говорить о том, что в рассматриваемой выборке мужская или женская речь имеет определенные отличительные признаки. Речь преподавателей в нашей выборке занимает примерно 75% всего речевого материала, то есть на всех занятиях преподаватели говорят больше, чем учащиеся.
При изучении сценариев коммуникативного поведения продавцов и покупателей выяснилось, что особенности диалога, его объем и характер в большей степени определяются товаром или услугами, предоставляемым покупателям. Выделяется три стратегии взаимодействия между клиентами и сотрудниками сервиса: 1) когда количество речевых актов (РА) посетителей больше, чем число РА сотрудников магазина; 2) когда речевые акты равномерно распределены между ролями; 3) при выборе мебели или других дорогостоящих товаров (таких как покупка электронной техники), когда количество РА персонала выше, чем клиентов. На первом месте в речи продавца и покупателя находятся репрезентативы – высказывания, содержащие основную информацию. Далее следуют коммуникативные регулятивы, необходимые для организации беседы (например, «ага», «понятно»). На третьей позиции в речи клиентов встречаются этикетные экспрессивы («здравствуйте», «спасибо»), для сотрудников сервиса более характерны директивы (например, «подождите», «обратите внимание», «сейчас, смотрите»).
При изучении коммуникативных стратегий и тактик, реализуемых в медицинском дискурсе, был сформулирован ряд стратегий: диагностирующая, лечащая и рекомендующая. Исследование показало, что рекомендующая стратегия задействует большее количество тактик, чем диагностирующая. Центральной тактикой для диагностирующей стратегии является тактика запроса конкретной информации. Помимо нее, лидирует тактика разъяснения. На данном этапе эта тактика используется для того, чтобы упростить процесс коммуникации (объяснение терминологии, ответы на вопросы пациента). Далее по частотности идет тактика убеждения. Эта тактика играет ключевую роль в процессе формирования «запроса» от пациента. Желание пациента довериться врачу, а также осознание проблемы или ее отсутствие зависит от реализации этой тактики. Самой частотной в рамках рекомендующей стратегии стала тактика убеждения. Другими словами, на этом этапе цель врача — убедить пациента в том, чтобы тот исполнял дальнейшие предписания по лечению и обследованиям. Наблюдения показали, что наиболее популярными для реализации цели «повлиять на мнение пациента» стали тактика убеждения и тактика разъяснения.
Наконец, одним из интересных результатов исследования стало описание коммуникативных стратегий спортивных комментаторов. Прагматическая разметка речи комментаторов на уровне речевых актов дала возможность сделать некоторые выводы о стратегиях, применяемыми комментаторами при ведении эфира. Главной целью ведущих в трансляциях является удержание внимания телезрителя. Обсуждаемые темы во многом носят просветительский характер, речь комментаторов в первую очередь адресована тем зрителям, которые мало или совсем ничего не знают о предмете трансляции. Полученные данные позволили выделить две коммуникативные стратегии: информативно-эмоциональную и информативно-нарраторскую. За информативную часть (описание самих состязаний) в обоих случаях отвечает комментатор-журналист, вариативная часть зависит от комментатора-гостя.
6. Подготовлено научное описание речевого поведения человека в условиях повседневной жизни. Компонентами данного описания стали: исследование социолингвистических параметров устной спонтанной речи, которое необходимо в том числе для решения важных проблем прикладной лингвистики (синтеза и распознавания речи, верификации и идентификации диктора по его речи, разработки адаптивных к диктору диалоговых систем); изучение и описание коммуникативного поведения, а также разработка самих принципов и концепции такого описания; уточнение функционирования специфических лексических, фразеологизированных и прагматических единиц, описание которых позволяет учитывать весь контекст коммуникативной ситуации в ее полноте при разработке систем автоматической обработки речи, использующих методы искусственного интеллекта; особенности функционирования в современной повседневной речи дискурсивных формул; реализация самокоррекции в речи; прагматика невербального в устной речи.
7. Подготовленные модели коммуникативного поведения для разных типов диалога повседневного общения были апробированы в ходе построения пилотных версий виртуального собеседника – чат-бота, поддерживающего коммуникацию для отдельных речевых ситуаций и прагматических задач. Было реализовано 3 таких модели.
Первая модель чат-бота предназначена для студентов, изучающих русский язык как иностранный. В процессе ее создания были применены методы анализа (для уже имеющихся данных из корпуса ОРД), а также беседы и интервью с носителями русского языка разного возраста и социального положения.
Второй моделью, которая была разработана на основе анализа корпусных данных, стал чат-бот, осуществляющий подготовку кандидата к прохождению собеседования. База данных для чат-бота «Собеседник» создана на основе существующего теоретического материала о деловой коммуникации на собеседованиях и мнения респондентов, которые являются целевой аудиторией данного проекта.
Третьим важным компонентом практической реализации проекта стала разработка чат-бота, помогающего абитуриентам в профориентации. Был спроектирован Telegram-бот (https://t.me/SPStateUniversityBot), который может предложить пользователю список наиболее подходящих для рассмотрения образовательных программ.

основные результаты по этапу (кратко)

В результате выполнения отчетного этапа проекта, согласно исходному заданию, были получены следующие основные результаты.
1. Завершено экспертное аннотирование речевого материала на уровне речевых актов.
2. Выполнена систематизация методов машинного обучения для многомодального анализа действий участников коммуникации.
3. Произведена оценка эффективности построенных моделей на неразмеченном множестве текстовых расшифровок звукозаписей.
4. Получена информация о дистрибуции основных типов коммуникации в повседневной жизни на основании данных корпуса ОРД. Получена статистика о дистрибуции основных типов коммуникации по локациям, коммуникативным условиям и социальным ролям участников.
5. Построены обобщенные модели коммуникативного поведения для разных типов диалога повседневного общения: образовательная коммуникация, «клиент-сервис» коммуникация, медицинская коммуникация, речь спортивных комментаторов.
6. Подготовлено научное описание речевого поведения человека в условиях повседневной жизни. Компонентами данного описания стали: исследование социолингвистических параметров устной спонтанной речи, которое необходимо в том числе для решения важных проблем прикладной лингвистики (синтеза и распознавания речи, верификации и идентификации диктора по его речи, разработки адаптивных к диктору диалоговых систем); изучение и описание коммуникативного поведения, а также разработка самих принципов и концепции такого описания; уточнение функционирования специфических лексических, фразеологизированных и прагматических единиц, описание которых позволяет учитывать весь контекст коммуникативной ситуации в ее полноте при разработке систем автоматической обработки речи, использующих методы искусственного интеллекта; особенности функционирования в современной повседневной речи дискурсивных формул; реализация самокоррекции в речи; прагматика невербального в устной речи.
7. Подготовленные модели коммуникативного поведения для разных типов диалога повседневного общения были апробированы в ходе построения пилотных версий виртуального собеседника – чат-бота, поддерживающего коммуникацию для отдельных речевых ситуаций и прагматических задач.
Было реализовано 3 таких модели.
Первая модель чат-бота предназначена для студентов, изучающих русский язык как иностранный. В процессе ее создания были применены методы анализа (для уже имеющихся данных из корпуса ОРД), а также беседы и интервью с носителями русского языка разного возраста и социального положения.
Второй моделью, которая была разработана на основе анализа корпусных данных, стал чат-бот, осуществляющий подготовку кандидата к прохождению собеседования. База данных для чат-бота «Собеседник» создана на основе существующего теоретического материала о деловой коммуникации на собеседованиях и мнения респондентов, которые являются целевой аудиторией данного проекта.
Третьим важным компонентом практической реализации проекта стала разработка чат-бота, помогающего абитуриентам в профориентации. Был спроектирован Telegram-бот (https://t.me/SPStateUniversityBot), который может предложить пользователю список наиболее подходящих для рассмотрения образовательных программ.

описание вклада в работу каждого из участников (учётная форма ЦИТиС)

Богданова-Бегларян Наталья Викторовна: Оценка эффективности построенной модели на неразмеченном множестве текстовых расшифровок звукозаписей. Подготовка научного описания речевого поведения человека в условиях повседневной жизни. Написание статей.
Блинова Ольга Владимировна: Подготовка научного описания речевого поведения человека в условиях повседневной жизни.
Горбунова Дарья Александровна: Подготовка материалов о прагматических маркерах.
Зайдес Кристина Денисовна: Подготовка материалов о самоисправлении в речи
Иссерс Оксана Сергеевна: Подготовка научного описания речевого поведения человека в условиях повседневной жизни.
Карпов Алексей Анатольевич: Практическая апробация подготовленных моделей: построение пилотной версии виртуального собеседника – чат-бота, поддерживающего коммуникацию для отдельных речевых ситуаций и прагматических задач.
Королькова Мария Денисовна: Оценка эффективности построенной модели на неразмеченном множестве текстовых расшифровок звукозаписей.
Митрофанова Ольга Александровна: Построение обобщенных моделей коммуникативного поведения для разных типов диалога повседневного общения, создание тематических моделей, генерация упражнений по РКИ.
Петрова Ирина Анатольевна: Ручная разметка речевого материала на структурные составляющие, экспертное тэгирование этих единиц
Стойка Дарья Андреевна: Оценка эффективности построенной модели на неразмеченном множестве текстовых расшифровок звукозаписей.
Сулимова Татьяна Сергеевна: Ручная разметка речевого материала на структурные составляющие, экспертное тэгирование этих единиц
Хлобыстова Анастасия Олеговна: Разработка модели для автоматической атрибуции по тексту коммуникативного эпизода его основного типа и особенностей, разработка чат-бота. Написание статей.
Хохлова Мария Владимировна: Описание признаков для автоматической атрибуции по тексту коммуникативного эпизода его основного типа и особенностей. Построение обобщенных моделей коммуникативного поведения для разных типов диалога повседневного общения. Выделение устойчивых словосочетаний, маркеров и ключевых слов.
Шерстинова Татьяна Юрьевна: Получение информации о частоте дистрибуции тех или иных типов коммуникации в повседневной жизни на основании данных корпуса «Один речевой день». Написание статей.

передача полной копии отчёта третьим лицам для некоммерческого использования: разрешается/не разрешается (учётная форма ЦИТиС)

не разрешается

проверка отчёта на неправомерные заимствования во внешних источниках: разрешается/не разрешается (учётная форма ЦИТиС)

разрешается

обоснование междисциплинарного подхода

Методология проведения работы заключается в применении современных методов интеллектуальной обработки данных о языке и речи. Принципиальной новизной проекта является также активное привлечение к анализу и моделированию данных методов искусственного интеллекта и машинного обучения. Инновационные методики позволят вывести коммуникативные исследования на принципиально новый уровень, а, возможно, и выявить те аспекты и особенности практик повседневного коммуникативного поведения, которые ускользали от традиционно филологического анализа (возможно, как раз вследствие «обыденности», «привычности» бытовой коммуникации). Можно ожидать, что такое методическое расширение приведет к качественно новому взгляду на повседневную коммуникацию и позволит получить не менее «прорывные» теоретические и практические результаты. Понимание процессов повседневной речевой коммуникации способствует и решению важных технологических вызовов нашего времени, так как от активно внедряющихся во все области жизни и человеческой деятельности роботоподобных систем и устройств требуются коммуникативные способности, максимально приближенные к привычной для человека естественной речевой коммуникации.
Краткое названиеGZ-2022
АкронимM1_2021 - 2
СтатусЗавершено
Эффективные даты начала/конца1/01/2231/12/22

    Области исследований

  • коммуникация, прагматика, повседневная речь, моделирование, искусственный интеллект, русский язык, машинное обучение, социолингвистика, диалоговые системы

ID: 92563238