В результате выполнения отчетного этапа проекта, согласно исходному заданию, были получены следующие основные результаты.
1. Завершено экспертное аннотирование речевого материала на уровне речевых актов. Была выполнена ручная сегментация коммуникативных эпизодов на структурные составляющие, вплоть до коммуникативных актов, а также экспертное тэгирование этих единиц. В результате аннотирования макроэпизодов был расшифрован и проаннотирован 251 файл (более 240 000 словоформ). Основные темы коммуникации – общение «клиент-сервис» и «преподаватель-ученик». К первой группе относится речевое взаимодействие во время совершения покупок, получения или предоставления услуг, приёма у врача. К теме «обучение» относится общение, конечной целью которого является передача знаний, умения. В первую очередь это коммуникация между преподавателем и студентами в учебных заведениях, частные уроки, мастер-классы, родительская помощь с домашним заданием, стажировка на рабочем месте и другое.
2. Выполнена систематизация методов машинного обучения для многомодального анализа действий участников коммуникации. В частности, установлена эффективность инструментария OpenSmile, базирующегося на 65 низкоуровневых дескрипторов аудиоданных. Эффективным методом распознавания и классификации действий и поведения пользователей был определен метод опорных векторов (SVM), предлагается также использование другого классического метода машинной классификации – случайного леса (англ. Random Forest – RF). При наличии большого объема данных представляется целесообразным использовать нейронные сети (сверточные (CNN), рекуррентные (RNN) и др.), а для анализа действий пользователей (например, для анализа диктора, собеседника и обоих коммуникантов) – нейронные сети с долгой кратковременной памятью (англ. Long Short-Term Memory – LSTM).
Получены результаты экспериментов по применению методов машинного обучения для автоматической атрибуции по тексту коммуникативного эпизода, его основного типа и особенностей, а также для тематического моделирования расшифровок устной речи с помощью целого комплекса инструментов (алгоритмов LSA, NMF, LDA, BERTopic в библиотеках для тематического моделирования MALLET, scikit-learn, genism, tomotopy, BERTopic). Помимо этого, применялись методы тематического моделирования диалогических текстов, в рамках которых было выделено две группы: алгоритмы, представляющие собой унифицированную тематическую модель, в рамках которой словосочетания выделяются в тексте одновременно с темами, и алгоритмы, выделяющие многословные выражения на этапе предобработки текста. При решении задачи автоматического выявления словосочетаний методами машинного обучения была рассмотрена, в частности, метрика keyness, которая позволяет оценить значимость слова или словосочетания в фокусном корпусе относительно корпуса большего объема.
3. Произведена оценка эффективности построенных моделей на неразмеченном множестве текстовых расшифровок звукозаписей. Так, в результате построения мультимодальной тематической модели корпуса ОРД были обнаружены следующие тенденции: большинство методов позволяет регистрировать выражения, характерные для диалогической речи: это этикетные формулы, речевые клише, обращения, повторы, имена собственные, географические названия, названия фактов и событий. Различия в работе методов связаны с соотношением разных типов конструкций в их выдаче. В ходе проведенных экспериментов было доказано, что наибольшим потенциалом для выделения ключевых выражений обладает алгоритм RAKE, который в дальнейшем рассматривался как основной инструмент для разметки ключевых выражений в корпусе.
Осуществлена апробация модели через решение задачи генерации тестовых заданий на заполнение (с лексико-грамматическим выбором), составленных на основе записей спонтанных диалогов. Такой инструментарий может использоваться в системах обучения языку как неродному.
4. Получена информация о дистрибуции основных типов коммуникации в повседневной жизни на основании данных корпуса ОРД: около 63% разговоров составляет бытовая коммуникация, деловые (профессиональные) разговоры – почти 20%, «клиент-сервис» и учебные – около 5% каждый. Менее всего приходится на публичные выступления – чуть более 2%. Получена статистика о дистрибуции основных типов коммуникации по локациям, коммуникативным условиям и социальным ролям участников.
5. Построены обобщенные модели коммуникативного поведения для разных типов диалога повседневного общения: образовательная коммуникация, «клиент-сервис» коммуникация, медицинская коммуникация, речь спортивных комментаторов. В частности, исследование образовательной коммуникации показало, что в учебных разговорах наибольшую частотность имеют репрезентативы с преобладанием вопросов, подтип приказов доминирует в директивах, подтип комиссивов намерения — в комиссивах. Для образовательной коммуникации характерна специфическая лексика, более высок индекс лексического богатства в речи мужчин, при этом более частотны усилительные слова и маркеры поддержания разговора в речи женщин. Статистически значимых различий для мужской речи и женской выявлено не было, таким образом, мы не можем говорить о том, что в рассматриваемой выборке мужская или женская речь имеет определенные отличительные признаки. Речь преподавателей в нашей выборке занимает примерно 75% всего речевого материала, то есть на всех занятиях преподаватели говорят больше, чем учащиеся.
При изучении сценариев коммуникативного поведения продавцов и покупателей выяснилось, что особенности диалога, его объем и характер в большей степени определяются товаром или услугами, предоставляемым покупателям. Выделяется три стратегии взаимодействия между клиентами и сотрудниками сервиса: 1) когда количество речевых актов (РА) посетителей больше, чем число РА сотрудников магазина; 2) когда речевые акты равномерно распределены между ролями; 3) при выборе мебели или других дорогостоящих товаров (таких как покупка электронной техники), когда количество РА персонала выше, чем клиентов. На первом месте в речи продавца и покупателя находятся репрезентативы – высказывания, содержащие основную информацию. Далее следуют коммуникативные регулятивы, необходимые для организации беседы (например, «ага», «понятно»). На третьей позиции в речи клиентов встречаются этикетные экспрессивы («здравствуйте», «спасибо»), для сотрудников сервиса более характерны директивы (например, «подождите», «обратите внимание», «сейчас, смотрите»).
При изучении коммуникативных стратегий и тактик, реализуемых в медицинском дискурсе, был сформулирован ряд стратегий: диагностирующая, лечащая и рекомендующая. Исследование показало, что рекомендующая стратегия задействует большее количество тактик, чем диагностирующая. Центральной тактикой для диагностирующей стратегии является тактика запроса конкретной информации. Помимо нее, лидирует тактика разъяснения. На данном этапе эта тактика используется для того, чтобы упростить процесс коммуникации (объяснение терминологии, ответы на вопросы пациента). Далее по частотности идет тактика убеждения. Эта тактика играет ключевую роль в процессе формирования «запроса» от пациента. Желание пациента довериться врачу, а также осознание проблемы или ее отсутствие зависит от реализации этой тактики. Самой частотной в рамках рекомендующей стратегии стала тактика убеждения. Другими словами, на этом этапе цель врача — убедить пациента в том, чтобы тот исполнял дальнейшие предписания по лечению и обследованиям. Наблюдения показали, что наиболее популярными для реализации цели «повлиять на мнение пациента» стали тактика убеждения и тактика разъяснения.
Наконец, одним из интересных результатов исследования стало описание коммуникативных стратегий спортивных комментаторов. Прагматическая разметка речи комментаторов на уровне речевых актов дала возможность сделать некоторые выводы о стратегиях, применяемыми комментаторами при ведении эфира. Главной целью ведущих в трансляциях является удержание внимания телезрителя. Обсуждаемые темы во многом носят просветительский характер, речь комментаторов в первую очередь адресована тем зрителям, которые мало или совсем ничего не знают о предмете трансляции. Полученные данные позволили выделить две коммуникативные стратегии: информативно-эмоциональную и информативно-нарраторскую. За информативную часть (описание самих состязаний) в обоих случаях отвечает комментатор-журналист, вариативная часть зависит от комментатора-гостя.
6. Подготовлено научное описание речевого поведения человека в условиях повседневной жизни. Компонентами данного описания стали: исследование социолингвистических параметров устной спонтанной речи, которое необходимо в том числе для решения важных проблем прикладной лингвистики (синтеза и распознавания речи, верификации и идентификации диктора по его речи, разработки адаптивных к диктору диалоговых систем); изучение и описание коммуникативного поведения, а также разработка самих принципов и концепции такого описания; уточнение функционирования специфических лексических, фразеологизированных и прагматических единиц, описание которых позволяет учитывать весь контекст коммуникативной ситуации в ее полноте при разработке систем автоматической обработки речи, использующих методы искусственного интеллекта; особенности функционирования в современной повседневной речи дискурсивных формул; реализация самокоррекции в речи; прагматика невербального в устной речи.
7. Подготовленные модели коммуникативного поведения для разных типов диалога повседневного общения были апробированы в ходе построения пилотных версий виртуального собеседника – чат-бота, поддерживающего коммуникацию для отдельных речевых ситуаций и прагматических задач. Было реализовано 3 таких модели.
Первая модель чат-бота предназначена для студентов, изучающих русский язык как иностранный. В процессе ее создания были применены методы анализа (для уже имеющихся данных из корпуса ОРД), а также беседы и интервью с носителями русского языка разного возраста и социального положения.
Второй моделью, которая была разработана на основе анализа корпусных данных, стал чат-бот, осуществляющий подготовку кандидата к прохождению собеседования. База данных для чат-бота «Собеседник» создана на основе существующего теоретического материала о деловой коммуникации на собеседованиях и мнения респондентов, которые являются целевой аудиторией данного проекта.
Третьим важным компонентом практической реализации проекта стала разработка чат-бота, помогающего абитуриентам в профориентации. Был спроектирован Telegram-бот (https://t.me/SPStateUniversityBot), который может предложить пользователю список наиболее подходящих для рассмотрения образовательных программ.