Искусственный интеллект вещей (AIoT) — это сочетание технологий искусственного интеллекта (AI) с инфраструктурой Интернета вещей (IoT), направленное на достижение более эффективных операций IoT, улучшение взаимодействия человека и машины, а также управления данными и аналитики. Сочетание технологий ИИ с технологиями Интернета вещей создает еще более мощную сквозную индустриальную технологию с широким спектром возможностей и областей применения. В 2018 году компания Klynveld Peat Marwick Goerdeler (KPMG) опубликовала прогнозное исследование будущего искусственного интеллекта, включая сценарии до 2040 года. Аналитики подробно описывают сценарий, где в рамках группы вещей каждая вещь (элемента IoT) обладает своим собственным интеллектом (основанным на технологии ИИ). Это позволяет каждой вещи автономно связываться с другими вещами для совместного интеллектуального выполнения задач используя технологию ИИ. Создание подобной системы будет основано и будет управляться в режиме реального времени методами и подходами роевого интеллекта.
В технологии AIoT важным аспектом является то, что ИИ реализуется на какой-то вещи (конечное IoT устройство). Таким образом, предполагается, что в лучшем случае вычисления для ИИ выполняются на конечном устройстве (вещи), но не исключает дополнительное использование облачных и туманных вычислений. Создание технологии, которая позволит объединять способности методов искусственного интеллекта и архитектуры Интернета вещей, позволяет открыть новые возможности для внедрения и использования методов ИИ в широком спектре отраслевых технологий:
 умные города, умные производства, умные дома, умные офисные здания,
 автономные транспортные средства, автономные роботы-доставщики,
 здравоохранение, носимые устройства,
 коллаборативные роботы (коботы).
В реализации программы Центр использует платформенный подход, реализацию платформенных решений как модель развития технологии AIoT. Центр планирует разрабатывать платформы, включающие передовое ядро с технологиями AIoT:
 построение архитектуры взаимодействия датчиков и устройств сбора данных в интернете вещей (IoT),
 распределенных самоорганизующихся вычислений и обработки информации в IoT,
 алгоритмов и методов искусственного интеллекта для работы в среде IoT в рамках облачных, туманных и граничных вычислений,
 методов и подходов для обеспечения безопасности, и модульности организации вычислительной архитектуры в рамках AIoT (в том числе включая подходы blockchain),
 законченных продуктов, основанных на технологии AIoT для индустриальных компаний.
Текущие разрозненные технологии AI и созданные на их основе программные продукты представляют собой несистематизированные решения, фокусирующиеся на отдельных задачах в области промышленного IoT, при этом отсутствует программный и методологический инструментарий для сквозного решения совокупности задач передачи, обработки и хранения собираемых данных. Это обусловлено нерешенными технологическими и научными проблемами, возникающими при внедрении технологии AIoT, к которым относятся:
 Гетерогенные данные. Системы AIoT содержат огромное количество различных датчиков, которые генерируют большие объемы гетерогенных данных (в частности, мультимодальные временные последовательности сигналов, изображений и видео). Описание подобных разнородных данных требует разработки новых моделей, учитывающих присутствие в выборках несбалансированных данных, собираемых с разной точностью и дискретностью.
 Глубокое обучение на периферийных устройствах. Развертывание глубоких моделей CNN и других ML-моделей на периферийных устройствах имеет решающее значение для обеспечения конфиденциальности чувствительных данных и снижения задержки на пересылку и затрат на обработку данных в системах AIoT. Однако периферийные устройства ограничены своими вычислительными ресурсами и ресурсами хранения данных. Таким образом, требуется оптимизация компиляции ML-моделей для работы на разнородных аппаратных платформах, а также разработка технологии
непрерывного обучения на периферии.
 Планирование вычислений в архитектуре AIoT. Типичная архитектура AIoT содержит гетерогенные вычислительные ресурсы, включая облачные центры, туманные узлы и периферийные устройства. Это создает набор проблем связанных с организацией вычислений, планированием вычислительных задач, оцениванием времени вычисления задач на устройствах различного типа. Задача гетерогенного планирования является комплексной, напрямую зависит от конфигураций и типов вычислительных узлов и узлов связи, а также сопряжена со сложностями программной реализации.
 Большие и малые данные для глубокого обучения в AIoT. Большие данные, генерируемые территориально распределенными многосенсорными системами AIoT обладают огромным потенциалом для глубокого обучения. Методы глубокого обучения с учителем достигли значительных успехов в различных областях благодаря наличию крупномасштабных размеченных данных. В то же время, большинство данных AIoT не являются размеченными, и их маркировка требует времени и финансовых затрат, поэтому возможна только для ограниченного количества собранных данных. В этом случае требуется их аугментация искусственными данными или разработка самообучающихся моделей AI.
 Безопасность и конфиденциальность данных. Поскольку датчики повсеместно распространены в умных домах, больницах и городах, обширные биометрические данные (например, изображение лица, голос, действия, пульс, данные изображений и т. д.) пользователей AIoT или информированных и неосведомленных участников могут быть собраны без их согласия. Это вызывает серьезные опасения в отношении безопасности и конфиденциальности данных.
 Растущее энергопотребление в центрах обработки данных. Согласно, ожидается, что потребление электроэнергии телекоммуникационными технологиями составит 21% от общего потребления электроэнергии в мире, при этом центры обработки данных вносят в этот объем более 1/3. Поэтому для обеспечения эффективного использования потребляемой энергии необходимо повышение энергоэффективности в вычислительных средах обработки данных. Для этого требуется создание специализированных energy-aware технологиях планирования вычислительных задач.
 Человеко-машинный интерфейс для автоматизации и координации решения задач производства, повышение эффективности и управляемости производственными процессами. Человеко-машинный интерфейс для автоматизации производства становится особенно важным в свете быстрого развития цифровых решений.
Проблема заключается в том, что широкий спектр технологии разрабатывается и внедряется независимо друг от друга, что приводит к фрагментации их функциональности.
Отсутствие общих стандартов и протоколов для взаимодействия между ними и операторами этих решений (людьми) создает сложности в интеграции и усложняет синергию производственных процессов. Рост разнообразия цифровых решений создает потребность в разработке единой методологии, способной обеспечить совместимость и оптимальное взаимодействие. Это необходимо для эффективного совмещения и координации различных компонентов производственных процессов, обеспечивая более гибкое и эффективное управление, а также обработку и анализ данных в реальном времени.
Решение этой проблемы имеет потенциал для повышения общей эффективности предприятий, улучшения производственных процессы и снижения издержек через более интегрированный и оптимизированный подход к цифровой трансформации в производственной сфере.
Планируемые в рамках Программы научные и прикладные исследования напрямую связаны с созданием алгоритмов, технологий и фреймворков для решения существующих актуальных проблем технологий AIoT и обуславливают новизну научно-технологического проекта центра:
 Мультимодальная автоматизированная обработка данных различной гранулярности, полученных из различных территориально распределенных источников (временные последовательности сигналов, изображений и видео), для автоматического ассоциирования моделей ИИ с наблюдаемым объектом. Для решения задачи предполагается объединение и синхронизация данных в общий поток используя классические подходы мультимодальности комбинированные с новаторскими графовыми подходами, решение задач анализа нелинейных данных очень высокой размерности, а также разработка методов построения и обучения моделей на гетерогенных данных, робастных к полному отсутствию или зашумленности части модальностей, позволяющие проводить оценку и управление ситуацией в реальном времени в пространственно-распределенном виде. Формирование комбинированного
представления об объекте требует новых методов объединения данных в распределенных сетях IoT устройств и соответствующего им оборудования.
 Оптимизированные алгоритмы глубокого обучения для периферийных устройств или устройств с ограниченными ресурсами адаптивные к характеристикам вычислительных ресурсов и поступающим на обработку данным. Существующие подходы к адаптации моделей машинного обучения к ограничениям вычислительных устройств включают в себя ручной выбор методов сжатия и параметров. Данный подход является трудоемким и требует от разработчика глубоких знаний в области машинного обучения и вычислительных систем (характеристик вычислительных устройств). Более того на сегодняшний день, в задачах квантизации моделей машинного обучения существуют только фиксированные стратегии квантизации, где выбираются фиксированные уровни и функции квантизации, которые применяются ко всем параметрам модели. Однако этот подход может быть неэффективным, так как не учитывает разнообразие распределений параметров вычислительных устройств для развертывания моделей ИИ. Существующие методы поиска оптимальных параметров моделей ИИ для развертывания на основе Grid Search и других эвристических методов хоть и позволяют находить некоторые комбинации уровней квантизации, но являются ограниченными в поиске оптимальных стратегий и могут быть вычислительно затратными. В случае же бинаризации в основном используются подходы на основе штрафных функций или обучения с помощью оптимизаторов стохастической оптимизации. Эти подходы не позволяют достичь высокой точности в условиях экстремальной оптимизации (бинаризации весов) из-за отсутствия связи между градиентами исходной нейронной и бинарной нейронной сети. Работа в рамках данного направления будет сосредоточена на устранении этих недостатков путем создания алгоритмов для автоматической адаптации моделей машинного обучения к ограничениям конкретных вычислительных устройств, разработку алгоритмов для автоматической адаптации уровней и функций квантизации, с целью максимизации сжатости и сохранения высокой точности, а так же разработку подходов для аппроксимации градиента нейронных сетей и связи между градиентами исходной нейронной и бинаризованной нейронной сети (для учета влияния бинаризации в процессе обучения), что позволит оптимизировать процесс обучения с помощью более точного метода вычисления градиента. Применение предложенных методов оптимизации при работе с проектами интернета вещей, ориентированными на оптимизацию моделей машинного обучения для встраиваемых систем, позволяет инженерам-разработчикам эффективнее адаптировать модели. Процесс включает загрузку модели в облако или локально, применение предложенных оптимизационных подходов, с последующим сжатием модели и выводом сжатого файла, готового для загрузки на конечные устройства (например, микрочипы).
 Гетерогенная децентрализованная архитектура передачи данных и вычислений для принятия решений в AIoT. В частности, граничные узлы быстрее обрабатывают данные и более эффективно обмениваются ими, поскольку они находятся ближе к клиентскому терминальному устройству. Математически это направление основано на применении гетерогенных распределенных планировщиков вычислительных задач реального времени. Новизна предлагаемых подходов и алгоритмов состоит в интегрированном применении механизмов самонастройки, самоадаптации, самоорганизации распределенных систем AIoT с учетом неоднородности, масштаба системы, локализованности и распределенности компонентов, расположенных как в облачных ресурсах, так и в близлежащей пограничной одноранговой или иерархической сети. В литературе был предложен ряд стратегий самоадаптации архитектур IoT/AIoT, позволяющих лучше справляться с этими особенностями, однако, они фокусируются на изолированных аспектах, не хватает комплексного представления о компромиссах каждого предложения и о том, как их можно объединить, чтобы справиться с одновременными событиями разных типов. Помимо этого, требуется адаптивно подстраивать пропускные способности виртуальных каналов с целью оптимизации функционирования децентрализованной сети и достижения требуемых параметров качества функционирования коммуникационной сети. В этих задачах планируется использование «протокола локального голосования» (Local Voting Protocol, LVP).
Отдельное внимание уделяется вопросам отказоустойчивости и поиска узких мест при организации распределенной обработки данных и использовании виртуализации для работы с разнородными устройствами. Данные методы могут быть использованы для самостоятельной организации устройств AIoT в структуры без участия централизованного управления, что позволит более динамично и своевременно реагировать на изменяющиеся параметры нагрузки, перераспределять нагрузку между устройствами и облаком для достижения необходимых показателей скорости отклика, масштабируемости, производительности и отказоустойчивости.
 Механизмы обеспечения безопасности, целостности и достоверности данных, контроля доступа в распределенной среде AIoT. Одним из существенных аспектов функционирования систем AIoT является согласованная работа с данными в среде не доверяющих друг другу устройств, и одним из способов их реализации является подход на основе технологии распределенных реестров (блокчейн) или ее элементов.
Технология распределенных реестров представляет собой механизм технологического обеспечения доверия в средах не доверяющих друг другу сущностей, чем в существенной степени является среда AIoT. Согласованная работа устройств в распределенной среде требует наличия консенсуса, которого можно достичь с помощью соответствующих алгоритмов (например, RAFT, Paxos, класс алгоритмов византийской отказоустойчивости BFT, в частности PBFT и F-BFT), однако существенным недостатком большинства алгоритмов консенсуса является либо их тяжеловесность (особенно в случае алгоритмов византийской отказоустойчивости), либо подверженность атакам. Необходимо разработать новые решения, эффективно работающие в распределенной среде AIoT и обеспечивающие требуемые свойства безопасности, достоверности и качества данных с использованием технологий ИИ. Данные подходы могут быть использованы для организации безопасного обмена данными в недоверенной среде, для контроля качества, целостноcти и достоверности данных, собираемых и распространяемых в среде AIoT.
 Разработка человеко-машинного интерфейса для автоматизации и координации решения задач производства, повышения эффективности и управляемости производственными процессами. Это включает разработку алгоритма на основе нескольких Large Language Model (LLM), каждый из которых специализируется на генерации плана действий и инструкций для определенной области: производительность оборудования, качество продукции, безопасность. Существующие решения к алгоритму генерации плана действий и инструкций на производстве основаны на эвристических алгоритмах, которые являются вычислительно сложными, или основаны на детерминированных правилах, которые могут быть недостаточно точными, или на одной LLM, которая не может учитывать все аспекты производства и адаптироваться к различным условиям. Поэтому предложенный алгоритм является новым и уникальным подходом к решению задач планирования и управления производством. Он использует несколько LLM, каждая из которых специализируется на определенной области, что позволяет алгоритму учитывать различные аспекты производственного процесса и находить решения, которые не могут быть найдены существующими методами. Этот подход может быть использован в любом модуле системы управления производством, который отвечает за планирование и управление производством. Входными данными являются данные IoT-устройств, пользовательский запрос на естественном языке, выходными — план действий и инструкции.