Второй этап научно-исследовательской работы продолжает и углубляет результаты, полученные на предыдущем этапе, расширяя возможности применения предлагаемой методики на более широкий спектр решаемых задач.

Промышленный интернет вещей (IIoT) это многоуровневая система, включающая в себя датчики и контроллеры, установленные на узлах и агрегатах промышленного объекта, средства передачи, хранения и визуализации данных. Однако истинная ценность IIoT заключается в данных, анализ которых может помочь улучшить ключевые параметры бизнеса, такие как работоспособность оборудования, сохранение экономических ресурсов и эффективность процессов. Тем не менее, более 99% этих данных либо не используются, отправляясь в облако для пакетной обработки и генерирования отчетов, либо анализируются базовыми статистическими методами.
В свою очередь извлечение аналитической информации из данных IIoT в реальном времени требует разработки эффективного инструмента построения предиктивных моделей рассматриваемых процессов, к которым при этом предъявляется ряд требований к производительности, качеству (физичности) и обобщающей способности. В основном предиктивные модели на основе данных измерений строятся, опираясь либо на теорию идентификации математических моделей, либо на современные методы машинного обучения.

Идентификация линейных моделей является теоретически хорошо проработанной и изученной областью. В этом случае чаще всего осуществляется переход из временной области в частотную, что позволяет свести дифференциальную зависимость к алгебраической и использовать для описания линейной системы передаточную функцию с известным порядком нулей и полюсов. Процесс идентификации при этом сводится к нахождению коэффициентов характеристических полиномов числителя и знаменателя. Этим объясняется тот факт, что широкое распространение в промышленности получили именно линейные модели, а решение задачи регулирования нелинейными явлениями возлагается на промышленные контроллеры.

Однако в силу сложности конструкций промышленных устройств и протекающими нелинейными процессами такими как, процессы теплообмена, течения вязких жидкостей, волновые явления, химические реакции и др. регулирование реально функционирующих системы на основе линейной модели производится не только не оптимально, но даже в режиме ручной подрегулировки настроек управляющих элементов.

В этом случае могут применяться нелинейные модели, для построения которых используется один из трех способов: использование стохастического моделирования, вывод эволюционных уравнений, исходя из физических свойств всех протекающих в технических системах явлений или же получение нелинейной модели с сосредоточенными параметрами, с последующей идентификацией ее параметров. В силу сложности моделирования реальных функционирующих систем третий способ получил наибольшее распространение.

Стоит отметить, что качество идентификации модели зависит не только от определения неизвестных параметров, но и от выбора структуры. Для нахождения параметров разработаны различные математические процедуры, а оценке структуры уделяется меньше внимания. Одним из распространенных способов учета нелинейных эффектов являются блочно-ориентированные модели, например модель Гаммерштейна, (представляющая собой последовательное соединение статического нелинейного блока и линейного динамического блока) или модель Винера (представляющая собой последовательное соединение линейного динамического блока и статического нелинейного блока). Однако свойства нелинейности и динамичности объектов управления в ряде случаев невозможно четко разделить. При таких условиях нелинейный динамический объект представляют в виде некоторой комбинации линейных динамических и статических нелинейных блоков, но структурная идентификация такой системы является затруднительной.

Современной альтернативой классическим методам математического моделирования является машинное обучение. Методы машинного обучения для прогнозного моделирования также можно разделить на линейные (например, линейная регрессия, метод опорных векторов, логистическая регрессия) и нелинейные (например, решающие деревья, нелинейная регрессия, бустинг, нейронные сети). Линейные модели дают качественное понимание взаимосвязи между входными и выходными значениями, и могут эффективно использовать в случае линейной корреляции между ними. В противном случае исследователи обращаются к нелинейным алгоритмам, которые в первую очередь стремятся к минимизации отклонения между реальным и прогнозным значением, зачастую жертвуя объяснимостью модели. В связи с этим, их часто называют моделями, работающими по принципу черного ящика, т.к. при обучении используется большое количество данных и не гарантируется математическая строгость результата. Разные коэффициенты и параметры, задающие предсказательную модель, не имеют физической интерпретации. Это представляет собой серьезное препятствие для внедрения машинного обучения в отрасли автоматических систем управления.

В настоящее время появился ряд исследований, направленных на создание методов для объяснения или интерпретации вывода моделей черного ящика, связывая с ними надежды на повышение доверия к искусственному интеллекту и его внедрению в промышленные системы управления (advanced process control). Тем не менее, по мнению многих авторов, наиболее перспективный путь развития все же заключается в разработке моделей искусственного интеллекта, которые являются интерпретируемыми по своей природе.

Одним из рассмотренных в литературе подходов, устанавливающих связь между теорией динамических систем и искусственными нейронными сетями, являются так называемые «нейронные обыкновенные дифференциальные уравнения (Neural ODE)», где обучение рекуррентной нейронной сети предлагается проводить с помощью численного решения соответствующего обыкновенного дифференциального уравнения. После выхода статьи, появились работы развивающие полученные авторами результаты для решения задач моделирования и управления гамильтоновыми и лагранжевыми системами.

Другие подходы учета физических свойств при проектировании архитектуры и обучении нейронной сети связаны с использованием численных решателей дифференциальных уравнений (в обыкновенных и частных производных) или же регуляризационных членов, включающих в себя физические симметрии и инварианты объекта моделирования или соотношения между дифференциальными операторами, применяемые к функции потерь.

В выполняемой научно-исследовательской работе предлагается решение, которое заключается в объединении математических методов дифференциальной алгебры и нейросетевых моделей. А именно, рассматривается метод построения нелинейного матричного преобразования Ли, основанный на эволюции отображения для решения нелинейных систем обыкновенных дифференциальных уравнений. Вычисление оператора Ли в матричной форме на основе степенных рядов позволяет строить отображение, описывающее динамику системы за конечный интервал времени. В результате чего решение дифференциального уравнения описывается отображением в полиномиальной форме по кронекеровским степеням начального состояния фазовых переменных, а коэффициенты инкапсулируют информацию о динамических характеристиках системы. Точность аппроксимации контролируется порядком нелинейности отображения и шагом дискретизации.

Для построения интеллектуальных систем управления на основе измеренных данных важным оказывается тот факт, что отображение Ли может использоваться не только как эффективный численный метод исследования динамических систем, но и как нейросетевое представление динамической системы. Этот метод позволяет объединить присущие искусственным нейронным сетям параллельные вычислительные архитектуру со строгой теорией динамических систем и теорией дифференциальных уравнений.

В результате выполнения второго этапа НИР была разработана архитектура нейронной сети на основе нелинейного матричного преобразования и исследована ее применимость для идентификации и построения нестационарных моделей динамических систем.

Описаны теоретические основы математического аппарата на основе преобразования Ли и его связь с обыкновенными дифференциальными уравнениями. Предложен алгоритм построения и обучения рекуррентной полиномиальной нейронной сети, соответствующей системе неавтономных дифференциальных уравнений. Алгоритм обучения состоит из двух этапов: инициализация весовых коэффициентов нейронной сети и дообучение на данных. В случае, когда доступно малое количество данных, дообучение проводится с использованием представленных регуляризационных методов, позволяющих контролировать сложность нейросетевой модели и избегать переобучения коэффициентов. Кроме того, разработан алгоритм идентификации неавтономных дифференциальных уравнений на основе измерений, работающий в том числе при нерегулярно распределенных обучающих данных. Таким образом, в рамках первого этапа научно-исследовательской работы помимо создания новых нейросетевых архитектур развиваются подходы, снижающие требования к объему и качеству данных, необходимых для обучения модели.

Предложенные алгоритмы продемонстрированы на нескольких примерах, которые часто используются для тестирования новых методов моделирования. При проведении численных экспериментов в том числе осуществлялась оценка точности и качества полученных моделей.
Таким образом, в результате выполнения второго этапа НИР все поставленные задачи были выполнены в полном объеме:
1.Усовершенствована реализация разработанных численных алгоритмов в рамках первого этапа НИР для случая произвольной размерности вектора фазовых переменных.
2.Разработана архитектура полиномиальной нейронной сети на основе нелинейного матричного преобразования оператора Ли для случая произвольных нелинейных неавтономных систем с полиномиальными нелинейностями.
3.Разработан алгоритм инициализации весовых коэффициентов нейронной сети (п. 2) с использованием результатов, полученных в рамках первого этапа НИР
4.Определены требования к количеству, дискретности данных и порядку нелинейности для обеспечения требуемой точности прогнозирования с использованием полиномиальной нейронной сети.
5.Разработан алгоритм реконструкции дифференциального уравнения по данным временных рядов (в случае, если вид уравнения заранее неизвестен, а в данных присутствует шум и различные статистические возмущения).
6.Построена оценка точности нейросетевой аппроксимации
7.Разработан алгоритм обучения построенной нейронной сети на малых данных
8.Разработанные алгоритмы продемонстрированы на классических модельных задачах из теории нелинейных систем: нелинейный дефлектор, система Лотки-Вольтерры, а также на реальных данных.
9.Описанные алгоритмы реализованы в виде библиотеки с открытым исходным кодом с использованием набора библиотек TensorFlow.

Значимость полученных результатов обуславливается возможностью их применения для решения задач моделирования, прогнозной аналитики и оптимального управления промышленными объектами, для которых влияние нелинейных эффектов является существенным. В отличие от существующих моделей искусственного интеллекта и машинного обучения, которые не гарантируют математической строгости предсказания, имеют нерешенные проблемы с устойчивостью и интерпретируемостью, развиваемые в рамках научно-исследовательской работы новые подходы позволят преодолеть эти барьеры. Это позволит построить интеллектуальные системы управления индустриальными процессами, где критически важным является соблюдение физических законов, технологических ограничений, и возможность адаптации к изменяющимся условиям внешней среды.

По результатам работы за 2022 год было написано 3 статьи, индексируемые в Scopus и 2 статьи, индексируемые в РИНЦ:
1. Golovkina A, Kozynchenko V. 2022. Parametric Identification of a Dynamical System with Switching. Gervasi O, Murgante B, Misra S, Rocha AMAC, Garau C, Редакторы. в Computational Science and Its Applications- ICCSA 2022 Workshops, Proceedings. Cham: Springer Nature. стр. 557–569. (Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)). https://doi.org/10.1007/978-3-031-10542-5_38
2. Melnikov D, Sakamoto N, Zavadskiy S, Golovkina A. 2022. Nonlinear optimal control for Maglev platform roll motion. IFAC-PapersOnLine. 55(16):418-423. https://doi.org/10.1016/j.ifacol.2022.09.060
3. Golovkina A, Kozynchenko V. 2022. Neural Network Representation for Ordinary Differential Equations. Dolinina O, Bessmertny I, Brovko A, Kreinovich V, Pechenkin V, Lvov A, Zhmud V, Редакторы. в Artificial Intelligence in Models, Methods and Applications. Springer Nature. (Studies in Systems, Decision and Control, vol. 457).
4. Головкина А.Г, Ганаева Д.Д. 2022. Метод реконструкции нелинейных динамических систем по временным рядам. Процессы управления и устойчивость. 9(1):197-201.
5. Клименко И.С. 2022. Реализация метода матричных отображений для решения системы дифференциальных уравнений. Процессы управления и устойчивость. 9(1):53-57.

Полученные в рамках работы над проектом результаты были доложены на следующих международных научно-практических и отраслевых конференциях:
1. Huawei Workshop on AI methods in Science and Engineering, 14-15 декабря 2022, Москва, приглашенный докладчик: Головкина А.Г.
2. Huawei Future Color and Audio Technologies Workshop, 1-2 декабря 2022, Москва, приглашенный докладчик: Головкина А.Г.
3. Artificial intelligence journey (AIJ 2022), 23-24 ноября 2022. Устный доклад. Докладчик: Головкина А.Г.
4. Artificial Intelligence in Engineering and Science 2022, 15-18 ноября 2022. Ульяновск. Устный доклад, докладчик: Головкина А.Г.
5. 18th IFAC Workshop on Control Applications of Optimization, 18-22 июля 2022, Гиф-сюр-Иветт, Франция. Устный доклад. докладчик: Мельников Д.Д.
6. 22st International Conference on Computational Science and its Applications, 4-7 июля 2022, Малага, Испания. Секционный устный доклад: докладчик Головкина А.Г.
7. LIII международная научная конференция аспирантов и студентов «Процессы управления и устойчивость», 4-8 апреля 2022, Санкт-Петербург. Устный доклад. Докладчики: Клименко И.С., Ганаева Д.Д.

Зарегистрировано РИД: Программа для реконструкции правых частей автономных обыкновенных дифференциальных уравнений (ODEBuild), 18 мая 2022, Свидетельство № 2022618901

Завершен первый этап индустриального проекта с ООО "Роберт Бош", заключавшийся в построении прогнозной модели на основе преобразования Ли для определения содержания NOx соединений в выхлопных газах дизельного двигателя после селективного каталитического восстановления. Договор будет продолжен в 2023 году.

Руководитель научного коллектива также являлся исполнителем по договору с ООО "Техкомпания Хуавей" на тему "Разработка алгоритмов оптимизации энергопотребления" ID: 93575369

С ООО "Техкомпания Хуавей" сторонами в настоящее время ведется согласование и подписание договора. Ожидается заключение договора до конца текущего года на сумму 5 648 260 рублей сроком 1 год.