C 4.09.23 по 17.09.2023 г состоялся визит двух индийских коллег - Рубан Нерсиссон (руководитель проекта DST) и Прабхакар Картикеян Шамнугам в рамках реализации совместного проекта РНФ (22-45-02007) и DST/INT/RUS/RSF/P-57/2021 «Разработка междисциплинарного подхода к диагностике и коррекции нарушений эмоциональной сферы детей с использованием методов искусственного интеллекта: кросс-культурное исследование».
Целью визита явилось проведение совместных исследований по проекту.
1) Проведено тестирование 4 детей (2 с атипичным развитием) по методике СЕДМ, разрабатываемой в рамках реализуемого проекта для оценки и коррекции эмоциональной сферы детей с нарушениями развития и атипичным развитием.
2) Осуществлен подробный анализ видеозаписей тестирования детей с разными диагнозами – расстройства аутистического спектра (РАС), синдром Дауна (СД), интеллектуальные нарушения (ИН) и обсуждены критерии выставления баллов за выполнение заданий по шкале Лайкерта.
3) Разработана краткая версия методики СЕДМ (перечень заданий и тестов по распознаванию эмоциональных состояний и отражению эмоций в голосе, мимике, поведении).
4) Проведено перцептивное исследование по распознаванию эмоциональных состояний индийских детей (тесты привезли индийские коллеги) по их мимике и голосу русскими экспертами – участниками проекта.
5) Индийские коллеги продемонстрировали demo версию программы для распознавания эмоций по мимике детей. Программ протестирована. Преимущество программы заключается в возможности использования видеозаписей с разной степенью затемнения лица ребенка и с поворотом и наклоном головы. В существующей программе для пользователей (FaceReader, Noldus) возможен анализ мимической экспрессии только при условии равномерного освещения лица и расположения лица в фас.
6) Проведена встреча с главным врачом клиники «Доктрина» , на базе которой осуществляется тестирование детей с атипичным развитием и нарушениями развития. Проведена экскурсия по клинике с посещением разных кабинетов и показом используемых методик.
7) Проведен научный семинар на тему “Machine Learning and Deep Learning approaches for Automated Medical Image Analysis” с участием сотрудников ИТМО (участников данного проекта), студентов.
8) Организована и проведена встреча с сотрудниками лаборатории «Речевых и многомодальных интерфейсов» (руководитель – д.т.н. А.А. Карпов) Федерального государственного бюджетного учреждения науки «Санкт-Петербургский Федеральный исследовательский центр Российской академии наук» (СПб ФИЦ РАН). Обсуждены подходы к применению разных моделей, алгоритмов и классификаторов для автоматического анализа эмоциональных состояний.
8) Во время визита в Москву (вылет из Москвы) организовано и проведено посещение лаборатории № 80 Киберфизических систем (руководитель – д.т.н. Р.В. Мещеряков) Института Проблем Управления им. В.А. Трапезникова Российской академии наук (ИПУ РАН).
Культурная программы включала:
посещение Русского музея, Эрмитажа, Петергофа, Михайловского театра – балет «Корсар», прогулок по городу – в Санкт-Петербурге. В Москве – посещение Мавзолея, Красной площади, ВДНХ.
