7.1. Научная проблема, на решение которой направлен проект.
Проект направлен на выявление особенностей восприятия и обработки информации (визульной и аудиальной) в условиях дополненной реальности; в частности, на определение роли языковых факторов, индивидуальных характеристик пользователей и параметров предъявления AR-контента в процессах восприятия и обработки мультисенсорной информации, а также поиск нейрофизиологических коррелятов этих процессов. Решение этих фундаментальных проблем позволит на практике оптимизировать взаимодействие пользователей с ассистивными экспертными системами в среде дополненной реальности. 
7.2. Актуальность проблемы, научная значимость решения проблемы.
Дополненная реальность — это инновационная, активно развивающаяся технология, которая позволяет в процессе выполнения какой-либо деятельности накладывать интерактивную цифровую информацию на окружающий мир. Возможность передавать релевантную информацию в реальном времени делает AR перспективным инструментом для визуального обучения и предоставления необходимых данных при выполнении различных задач: AR-технологии используются для создания ассистивных технологий, реализованных в форме различных виртуальных помощников. Кроме того, дополненная реальность активно используется как экспериментальная технология в когнитивных исследованиях, расширяя возможности эксперимента и повышая его экологичность. В связи с этим все более актуальным становится изучение особенностей психофизиологических процессов, обеспечивающих работу пользователя в AR-среде. Предъявление информации в AR-среде обладает определенной спецификой, которую определяет ситуация совмещения аудио- и визуальной информации разного типа (тексты и изображения) с окружающей действительностью, что в свою очередь предъявляет повышенные требования к работе зрительной системы, распределению внимания и, в конечном итоге, может увеличивать когнитивную нагрузку. Актуальными поэтому являются исследования, направленные, с одной стороны, на описание механизмов когнитивно-перцептивных процессов, сопровождающих работу в AR-среде, с другой стороны, решающие задачу оптимизации способов предъявления информации в AR-системах с целью снизить когнитивную нагрузку, повысить производительность пользователей и уменьшить число возможных ошибок.
7.3. Конкретная задача в рамках проблемы, на решение которой направлен проект, ее масштаб.
Массовое внедрение технологий AR, востребованных в самых различных областях применения (медицина, образование, промышленное производство, оборудование специального назначения), ограничивается отсутствием ассистивных экспертных систем для AR и комплексных методов исследования пользовательских реакций, учитывающих индивидуальные когнитивные особенности. Поэтому актуальной задачей является разработка набора апробированных вариативных шаблонов инструкций для таких систем, что позволит повысить оперативность и эффективность их применения в различных сферах. Кроме того, необходимо создание алгоритмов проведения нейрофизиологических и психофизических исследований перцептивно-когнитивных процессов, сопровождающих работу в AR-среде, что в свою очередь позволит изучить особенности  мультимодального восприятия в условиях дополненной реальности и в конечном итоге выработать единый комплексный подход к методам получения, обработки и интерпретации данных таких исследований.
7.4. Научная новизна поставленной задачи, обоснование достижимости решения поставленной задачи и возможности получения запланированных результатов.
В связи с тем, что технология дополненной реальности является довольно новой, и ее массовое внедрение в различные сферы деятельности - вопрос будущего, исследования в этой области являются перспективными и актуальными, и в то же время обладают очевидной новизной. Технические разработки в этой области значительно опережают исследования, направленные на понимание психофизиологических процессов, сопровождающих работу в среде AR, и разработку интерфейсов, учитывающих, с одной стороны, общие закономерности восприятия и обработки мультимодальной, в том числе и языковой, информации в условиях дополненной реальности, с другой стороны, - индивидуальные особенности пользователей. Это определяет актуальность и новизну планируемого исследования. В литературе встречаются отдельные работы, посвященные этим вопросам, однако очевидна нехватка единого комплексного подхода с использованием как психофизиологических, так и психолингвистических методов. Данный проект предполагает использование комплексного междисциплинарного подхода, объединяющего психолингвистику, нейрофизиологию и психофизику для исследования особенностей восприятия информации с AR-среде. Поскольку AR-технологии позволяют «накладывать» на окружающую действительность не только виртуальные изображения, но и тексты, аудио и даже тактильные ощущения, требуется изучение механизмов восприятия и обработки мультимодальной информации в AR, что предполагает использование психофизических и психофизиологических методов. Использование методов ЭЭГ и фБИКС позволит выявить особенности нейрофизиологических процессов мультисенсорной интеграции в AR-среде. С другой стороны, инструкции в формате AR являются новым типом технической документации, поэтому необходимо применение лингвистических методик анализа содержания текста и его обработки и понимания читающим. Научный коллектив исполнителей проекта обладает методологической базой для проведения такого рода исследований, необходимым оборудованием и ПО, а также включает специалистов из различных областей – психолингвистов, психофизиологов, физиков-оптиков, технических специалистов из области физической оптики. Все это обеспечивает возможность достижения заявленных результатов.
7.5. Современное состояние исследований по данной проблеме.
Поскольку дополненная реальность – относительно новая, но при этом активно развивающаяся и уже довольно широко используемая технология, в мировой научной литературе появляется все больше работ, посвященных экспериментальным исследованиям различных аспектов её использования (надо отметить, что в отечественной литературе не удалось найти подобных работ). Возможность мгновенной передачи оператору значимой информации в реальном времени делает технологию AR удобным инструментом для представления визуального руководства и сведений, необходимых для выполнения текущей задачи, что предположительно должно уменьшать когнитивную нагрузку и приводить к снижению требований к когнитивным ресурсам пользователей и, следовательно, повышению производительности. В связи с этим внимание исследователей прежде всего направлено на изучение того, как AR влияет на когнитивную нагрузку и эффективность выполнения задач (производительность), поскольку эта информация может использоваться разработчиками для оптимизации создаваемых систем AR. В обзоре [Jeffri & Rambli, 2021], анализирующем результаты 34 работ в данной области, было показано, что системы дополненной реальности оказывают положительное влияние на когнитивную нагрузку и результативность выполнения задач в различных сферах применения. Также в работе отмечается наличие положительной корреляции между влиянием AR на когнитивную нагрузку и производительность: если влияние на когнитивную нагрузку положительное, то и эффект, оказываемый на результативность выполнения задачи, скорее всего, будет положительным, и наоборот. Однако, есть исследования, которые продемонстрировали снижение когнитивной нагрузки при использовании AR (положительный эффект), но зарегистрировали при этом отрицательное влияние технологии на эффективность выполнения задач [Bosch et al. 2017; Buchner et al., 2022]. В то время как в некоторых работах не было получено существенного влияния AR на производительность и сообщалось об увеличении когнитивной нагрузки при использовании AR [Deshpande & Kim, 2018]. Таким образом, данный вопрос требует дальнейшего изучения.Также одним из направлением исследований в данной области является изучение влияния различных факторов на эффективность использования систем AR. Так, например, оценивали влияние типа используемого устройства AR, семантических особенностей и временных характеристик предъявления контента, параметров предъявления информации, индивидуальных особенностей пользователя и специфики задачи на результативность выполнения различных задач в AR-среде и когнитивную нагрузку [Jeffri & Rambli, 2021; Buchner et al., 2022].Следует отметить немногочисленность работ, использующих объективные методы оценки когнитивной нагрузки: в большинстве работ авторы используют субъективные методы - опросники и анкеты; исследования с применением методов айтрекинга, ЭЭГ и фМРТ относительно немногочисленны, а их результаты зачастую противоречивы. Такая неоднозначность результатов, получаемых в экспериментальных исследованиях, требует уточнения особенностей психофизиологических процессов, сопровождающих использование данной технологии. Совмещение виртуального и реального изображений в одной зрительной сцене предъявляет специфические требования прежде всего к зрительной системе на всех этапах обработки визуальной информации. Уже на этапе настройки глазодвигательного аппарата для восприятия изображений в условиях AR возникает конфликт между двумя механизмами бинокулярного зрения – вергенцией и аккомодацией (так называемый вергентно-аккомодационный конфликт) [Lambooij et al., 2009], который является одной из основных причин симптомов, связанных со зрительным дискомфортом и зрительным утомлением при использовании AR устройств [Hoffman et al., 2008; Kramida, 2015; Koulieris et al., 2017; Souchet et al., 2023; Sheppard & Wolffsohn, 2018].Актуальной задачей является экспериментальное выявление объективных психофизиологических маркеров зрительного утомления при работе с AR и определение условий использования данной технологии, снижающих зрительное утомление и повышающих производительность. Особенности восприятия зрительных объектов в условиях дополненной реальности, и, в частности, следствия вергентно-аккомодационного конфликта при использовании устройств AR, к настоящему моменту описаны далеко не полно, особенно немногочисленны работы с использованием метода ЭЭГ. Например, в своей работе Ро с коллегами [Rho et al., 2020] регистрировали ЭЭГ-паттерны при манипулировании реальными объектами с использованием инструкции в AR, однако в работе не изучали влияние условий предъявления AR-контента на параметры выполнения задачи и характеристики ЭЭГ, а также не учитывали индивидуальные особенности участников исследования.Обзор исследований последних десяти лет обнаруживает явный недостаток работ, где применялись бы методы психолингвистики для анализа текстового и поликодового контента AR-систем. Есть отдельные исследования, направленные на поиск наиболее эффективных способов представления инструкций: например, работа, где анализировали используемые в текстовых инструкциях глаголы [Gattullo et al.  2017] или исследование, авторы которого осуществляли поиск оптимального сочетания визуальных средств (графических, текстовых и т.д.) представления инструкций для более эффективного выполнения заданий в AR-среде [Laviola et al.,2022]. Последняя работа, вероятно, наиболее близка к одной из задач данного проекта - разработка набора апробированных вариативных шаблонов инструкций для AR-систем с целью оптимизации и повышения эффективности деятельности пользователя. Однако, она не учитывает целый ряд факторов, влияющих на эту деятельность – начиная от уровня когнитивной нагрузки и зрительного утомления и заканчивая типами используемого устройства и задачи. При этом, изделия носимых устройств дополненной реальности включают в себя десятки различных моделей; каждый год появляются новые модели, в которых применяются различные технологии, а компании активно внедряют и практикуют применение их во все новых и новых областях – от строительства и медицины до обучения [Kazemietal., 2014; Melanie et al., 2020]. В настоящее время можно выделитьнесколько основных направлений разработок AR-систем, причем каждая из этих систем должна исследоваться по индивидуальному протоколу и требует разработки своих алгоритмов и создания специфических шаблонов инструкций:Индустриальные. Широкоугловые системы для картографирования окружающего пространства. Характеризуются большой картинкой, на которую можно вывести много информации, и возможностью управления голосом или жестами, что обеспечивает удобство использования. Позволяют интегрировать цифровые объекты в реальный мир и взаимодействовать с ними. Такие системы заменяют планшеты и персональный компьютер. Надо отметить, что подавляющее большинство работ посвящено проблемам и перспективам использования AR именно в сфере индустрии [см., например, Gong et al., 2021; Eswaran & Bahubalendruni, 2022; Wang et al., 2024]. Для служб быстрого реагирования (пожарные, полиция, МЧС и т.д.) и спорта / активного отдыха [de Silva et al., 2021]. Не требуют использования специализированного ПО – изображение проецируется на линзы обычных очков. Выводится минимум информации, устройство представляет собой довольно компактный гаджет типа «умных часов», сравнимый с ними по стоимости. При этом располагает ограниченными сценариями использования. Потребительские AR-системы [Simeone et al., 2023]. Используют дополнительные сенсоры для идентификации окружающего пространства. Предоставляют довольно большую картинку и возможность управления голосом или жестами. Рассматриваются как альтернатива мобильному телефону, при этом осуществляют полную интеграцию пользователя в цифровой мир. Обладают компактным дизайном и приемлемой стоимостью..Alves J. et al. Comparing spatial and mobile augmented reality for guiding assembling procedures with task validation //2019 IEEE international conference on autonomous robot systems and competitions (ICARSC). – IEEE, 2019. – С. 1-6.2.Gong L., Fast-Berglund Å., Johansson B. A framework for extended reality system development in manufacturing //Ieee Access. – 2021. – Т. 9. – С. 24796-24813.3.Bosch T., Könemann R., De Cock H., Van Rhijn G. The effects of projected versus display instructions on productivity, quality and workload in a simulated assembly task //Proceedings of the 10th International Conference on Pervasive Technologies Related to Assistive Environments. – 2017. – P. 412-415.4.Buchner J., Buntins K., Kerres M. The impact of augmented reality on cognitive load and performance: A systematic review //Journal of Computer Assisted Learning. – 2022. – Т. 38. – №. 1. – С. 285-303.5.Chalhoub J., Ayer S. K. Exploring the performance of an augmented reality application for construction layout tasks //Multimedia tools and applications. – 2019. – Vol. 78. No. 24. – P. 35075-35098.6.da Silva A. M., Gustavo S. G., de Medeiros F. P. A. A review on augmented reality applied to sports //2021 16th Iberian Conference on Information Systems and Technologies (CISTI). – IEEE, 2021. – С. 1-6.7.Deshpande A., Kim I. The effects of augmented reality on improving spatial problem solving for object assembly //Advanced Engineering Informatics. – 2018. – Vol. 38. – P. 760-775.8.Eswaran M., Bahubalendruni M. V. A. R. Challenges and opportunities on AR/VR technologies for manufacturing systems in the context of industry 4.0: A state of the art review //Journal of Manufacturing Systems. – 2022. – Т. 65. – С. 260-278.9.Gattullo M. et al. From paper manual to AR manual: do we still need text? //Procedia Manufacturing. – 2017. – Т. 11. – С. 1303-1310.10.Hoffman D.M., Girshick A.R., Akeley K., Banks M.S. Vergence–accommodation conflicts hinder visual performance and cause visual fatigue //Journal of vision. – 2008. – Vol. 8, No. 3. –P. 33-33.11.Jeffri N. F. S., Rambli D. R. A. A review of augmented reality systems and their effects on mental workload and task performance //Heliyon. – 2021. – Т. 7. – №. 3.12.Koulieris G.A. Bui B., Banks M. S., Drettakis G. Accommodation and comfort in head-mounted displays //ACM Transactions on Graphics (TOG). –2017. –Vol. 36, No. 4. –P. 1-11.13.Kramida G. Resolving the vergence-accommodation conflict in head-mounted displays //IEEE transactions on visualization and computer graphics. – 2015.– Vol. 22, No. 7.– P. 1912-1931.14.Lambooij M. et al. Visual discomfort and visual fatigue of stereoscopic displays: A review //Journal of imaging science and technology. – 2009. – Vol. 53, No. 3. – P. 30201-1.15.Laviola E. et al. Minimal AR: visual asset optimization for the authoring of augmented reality work instructions in manufacturing //The International Journal of Advanced Manufacturing Technology. – 2022. – С. 1-16.16. Rho G. et al. A preliminary quantitative EEG study on Augmented Reality Guidance of Manual Tasks // 2020 IEEE International Symposium on Medical Measurements and Applications (MeMeA). – 2020. – P. 1–5.17.Sheppard A.L., Wolffsohn J.S. Digital eye strain: prevalence, measurement and amelioration //BMJ open ophthalmology. – 2018. –Vol. 3, No. 1.–P. e000146.18.Simeone A. et al. Introduction to Everyday Virtual and Augmented Reality //Everyday Virtual and Augmented Reality. – Cham : Springer International Publishing, 2023. – С. 1-20.19.Souchet A.D., Lourdeaux D., Pagani A., Rebenitsch L. A narrative review of immersive virtual reality’s ergonomics and risks at the workplace: cybersickness, visual fatigue, muscular fatigue, acute stress, and mental overload //Virtual Reality. –2023. –Vol. 27, No. 1. –P.19-50.20.Spiegel D.P., Erkelens I.M. Vergence‐accommodation conflict increases time to focus in augmented reality //Journal of the Society for Information Display. – 2024. – Vol. 32, No. 5. – P. 194-205.21.Wang B. et al. Towards the industry 5.0 frontier: Review and prospect of XR in product assembly //Journal of Manufacturing Systems. – 2024. – Т. 74. – С. 777-811.7.6. Предлагаемые методы и подходы, общий план работы на весь срок выполнения проекта.
Планируется использование психофизиологических методов – ЭЭГ и фБИКС, что позволит выявить особенности нейрофизиологических процессов мультисенсорной интеграции в AR-среде, а также психолингвистических методов анализа содержания текста и особенностей его обработки и понимания читающим, в том числе с использованием методики регистрации движений глаз (айтрекинг).Будут проводиться исследования визуальных и лингвистических характеристик текста, влияющих на его читабельность в условиях AR. Изучаемые визуальные характеристики текста: длина и ширина текстового поля как факторы, влияющие на чтение и понимание текста; графические особенности шрифта и т.д. К лингвистическим характеристикам относятся лексический состав и грамматическая структура текстовых инструкций. Также будут изучаться особенности сегментации текста (пофразовое/поабзацное/цельное предъявление), влияющие на его обработку и понимание.Планируется исследование параметров соотношения текстовых и графических элементов в поликодовых инструкциях, влияющих на эффективность их выполнения.Будет изучено влияние типа устройства AR на эффективность выполнения предъявляемых инструкций, выполнен подбор оптимальных параметров предъявления инструкций на основании результатов психолингвистических исследований.Психофизическими методами буду определены пороги чувствительности, скорости реакций и точность идентификации визуальных объектов и звуковых сигналов в AR -среде.В психофизиологических исследованиях планируется зарегистрировать нейрофизиологические корреляты процессов восприятия и обработки информации (визуальной и аудиальной) в условиях AR, а также выявить электрофизиологические маркеры когнитивной нагрузки и зрительного утомления, сопровождающие выполнение различных задач в AR.Таким образом будет создан и апробирован алгоритм проведения комплексного исследования перцептивно-когнитивных процессов, сопровождающих работу в AR-среде. Сопоставление результатов исследований позволит создать набор вариативных шаблонов инструкций для AR-систем с целью оптимизации и повышения эффективности деятельности пользователя.
7.7. Имеющийся у коллектива исполнителей научный задел по проекту.
В ходе выполнения предыдущего этапа работ (2023-2025 гг.) была сформирована методологическая база для решения задач, поставленных в настоящем проекте. В частности:
–Экспериментально изучен ряд подходов к оценке понимания текстов разных типов, в том числе с использованием объективных методов (регистрации движений глаз);
–Изучено влияние фонетических, морфологических и лексических особенностей текстов на их восприятие и понимание читающими;
–Выявлена взаимосвязь между рядом индивидуальных характеристик читающих и особенностями восприятия и понимания текстов;
–Проведен подготовительный этап исследования особенностей восприятия письменных текстов, подвергнутых различным вариантам пространственной фильтрации;
–Создана и апробирована экспериментальная установка для изучения процессов чтения в среде дополненной реальности с параллельной регистрацией электроэнцефалограммы и глазодвигательных реакций участников.
7.8. Детальный план работы на первый год выполнения проекта. Разработка алгоритма психолингвистического эксперимента по изучению визуальных и лингвистических характеристик текста, влияющих на его читабельность и понимание в условиях AR. Подготовка и апробация стимульного материала (тестовых задач, текстовых и поликодовых инструкций), подбор методов оценки понимания инструкций пользователями.Исследования окуломоторных реакций и вариаций зрачковых диаметров (не связанных с изменениями освещенности) в условиях предъявления испытуемому текстовых и графических стимулов при использовании трех различных систем AR с целью оптимизации шрифтовых шаблонов, цветовой палитры и пространственно-частотного спектра.Анализ данных ЭЭГ и параметров движений глаз (тепловые карты) для определения особенностей восприятия мультимодальной информации в AR системах различного назначения: индустриально-прикладных, специальных высокоскоростных или широкоугольных, а также упрощенных общепотребительских.Предварительное исследование возможностей технологии фБИКС для выявления критериев комфортной продолжительной работы при использовании AR-систем проекционного и псевдо-голографического типа в условиях вергентно-аккомодационного конфликта.Формирование на основе проведенных исследований промежуточных рекомендаций по составлению информационных текстово-графических шаблонов для AR-систем различного назначения и с учетом персональных психофизических данных пользователя, особенностей его показателей внимания, объема и доступности рабочей памяти.