The prostate cancer is the second most common cancer in Russian men with an incidence rate of 12.3%. Its incidence rate in China has increased significantly with an average annual growth rate of 12.07%. Recently, the incidence rate in such cities Beijing and Shanghai is close to that in European countries.
Puncture biopsy is the gold standard for the definite diagnosis of prostate cancer. However, the manual puncture is difficult to meet the clinical needs in terms of accuracy and efficiency. Prostate puncture robot can improve surgery quality and reduce medical costs. Up to now, numerous prostate surgical robots have been developed. However, these robots lack the perception and control of the puncture force between surgical instruments and soft tissues, which will make the operation process unsafe and may lead to irreversible damage. Therefore, study on the force perception and control methods in robot assisted puncture surgery is significant for facilitating the safe application of surgical robot and eventually improving people’s well-being.
The puncture force sensing methods include the sensor-based direct sensing and the vision-based indirect sensing. The former involves such issues as biological and size compatibility, disinfection and cost of sensors. The latter is difficult to accurately perceive the complicated puncture force because they are based on 2D visual information or the reconstructed 3D surface information of tissues. On the other hand, the existing force control methods such as the active rigid control, impact control, tolerance control, implicit and explicit control are difficult to be used for the complex puncture force model, and cannot overcome the adverse effects of physiological motion of patients. The real-time 3D ultrasound imaging can reflect the 3D structural information of soft tissues, the deformation and position change of soft tissues in real time, thereby providing a solid foundation for addressing the above issues. Therefore, this project aims at studying the force perception and control methods based on real-time 3D ultrasound to ensure the effectiveness and safety of puncture operation.
Chinese researchers have done solid research on the development of real-time 3D ultrasound imaging system, prostate puncture robot and deep learning based 2D puncture force estimation. Russian researchers have done deep research on nonlinear system modeling and identification, stochastic adaptive control and optimal control theory. These preliminary researches will ensure the smooth progress of this project.
The published papers related to this project on both sides include:
[1]Yibo Wang, Zhichao Ye, Mingwei Wen, Huageng Liang, Xuming Zhang*. TransVFS: A spatio-temporal local-global transformer for vision-based force sensing during ultrasound-guided prostate biopsy. Medical Image Analysis, 2024. https://doi.org/10.1016/j.media.2024.103130
[2]Quan Zhou,Bin Yu, Feng Xiao, Mingyue Ding, Zhiwei Wang*, Xuming Zhang*. Robust semi-supervised 3D medical image segmentation with diverse joint-task learning and decoupled inter-student learning. IEEE Transactions on Medical Imaging, 2024.
https://ieeexplore.ieee.org/document/10422981
[3]Shaozhuang Ye, Tuo Wang, Mingyue Ding, Xuming Zhang*. F-DARTS: Foveated differentiable architecture search based multimodal medical image fusion. IEEE Transactions on Medical Imaging, 2023, 42(11): 3348-3361.
[4]Mingwei Wen, Quan Zhou, Bo Tao, Pavel Shcherbakov, Yang Xu, Xuming Zhang*. Short-term and long-term memory self-attention network for segmentation of tumours in 3D medical images. CAAI Transactions on Intelligence Technology, 2023, 8: 1524-1537.
[5]Quan Zhou, Zhiwen Huang, Mingyue Ding, Xuming Zhang*. Medical image classification using light-weight CNN with spiking cortical model based attention module. IEEE Journal of Biomedical and Health Informatics, 2023, 27(4): 1991-2002.
[6]Xingxing Zhu, Mingyue Ding, Xuming Zhang*. Free form deformation and symmetry constraint-based multi-modal brain image registration using generative adversarial nets. CAAI Transactions on Intelligence Technology, 2023, 8:1492-1506.
[7]Quan Zhou, Shaozhuang Ye, Mingwei Wen, Zhiwen Huang, Mingyue Ding, Xuming Zhang*. Multi-modal medical image fusion based on densely-connected high-resolution CNN and hybrid transformer. Neural Computing & Applications, 2022, 34(24): 21741-21761.
[8]Xingxing Zhu, Zhiwen Huang, Mingyue Ding, Xuming Zhang*. Non-rigid multi-modal brain image registration based on two-stage generative adversarial nets. Neurocomputing, 2022, 505: 44-57.
[9]Fei Zhu, Xingxing Zhu, Zhiwen Huang, Mingyue Ding, Qiang Li*, Xuming Zhang*. Deep learning based data-adaptive descriptor for non-rigid multi-modal medical image registration. Signal Processing, 2021, 183: 108023.
[10]Hongzhang Hong, Xiaojuan Qin, Shengwei Zhang, Feixiang Xiang, Yujie Xu, Haibing Xiao, Gallina Kazobinka, Wen Ju, Fuqing Zeng, Xiaoping Zhang, Mingyue Ding, Huageng Liang*, Xuming Zhang*. Usefulness of real-time three-dimensional ultrasound in percutaneous nephrostomy: an animal study. BJU International, 2018, 122(4): 1-5.
[11]Fei Zhu, Mingyue Ding, Xuming Zhang*. Self-similarity inspired local descriptor for non-rigid multi-modal image registration. Information Sciences, 2016, 372: 16-31.
[12]Feng Yang, Mingyue Ding, Xuming Zhang*, Wenguang Hou, Cheng Zhong. Non-rigid multi-modal medical image registration by combining L-BFGS-B with cat swarm optimization. Information Sciences, 2015, 316: 440-456.
[13]Oleg Granichin, Victoria Erofeeva, Yury Ivanskiy, Yuming Jiang. Simultaneous perturbation stochastic approximation-based consensus for tracking under unknown-but-bounded disturbances. IEEE Transactions on Automatic Control, 2021, 66(8): 3710-3717.
[16]Konstantin Amelin, Oleg Granichin, Natalia Kizhaeva, Zeev Volkovich. Patterning of writing
style evolution by means of dynamic similarity pattern recognition. Pattern Recognition, 2018,77,45-64.
[17]Amelin Konstantin, Oleg Granichin*. Randomized control strategies under arbitrary external noise. IEEE Transactions on Automatic Control, 2016, 61(5): 1328-1333.
The planned activities:
The scheme of this project is shown in Fig. 1. Totally, the project will involve the following researches.
(1)Real-time estimation of prostate deformations in 3D ultrasound images using the unsupervised registration method (Chinese side)
(2)Real-time estimation of puncture force using the channel attention network (Chinese side)
(3)Modeling of resistance force and identification of model parameters using randomized control strategies (Russian side)
(4)Design of the force control method using the liquid neural network (Russian side)
(5) Experimental evaluation of force sensing and control methods (Both sides)
As for the research on force sensing, it involves training and testing phases. In the training phase, the deep learning (DL) model for image registration is trained based on the collected ultrasound images, and then used to generate the prostate deformation samples. The obtained deformation samples and the corresponding puncture force (i.e., labels) are used to train the force sensing DL model. In the testing phase, the tested 3D ultrasound images are used to realize the real-time force estimation using the two trained DL models.
As for the force control method, the resistance force model is firstly built using the finite element analysis. Then the model parameters are identified using maximum likelihood estimation based on 3D ultrasound images and the estimated force provided by Chinese researchers. Finally, the control method is designed to realize its precise force control using the liquid neural network, which will be trained using the randomized stochastic approximation methods.
As for evaluation of the force sensing and control methods, experiments on prostate phantom will be done by both sides to appreciate the performance of the proposed force sensing and control methods.
It is expected that this project will not only contribute to the development of mathematics, artificial intelligence, biomedical engineering and other disciplines, but also promote SPBU’s Values & HUST Global Strategy 2030, thereby benefiting the advancement of Science and Technology and leap-forward development of HUST and SPBU. Meanwhile, this project will facilitate improving the safety, reliability and accuracy of robot-assisted prostate biopsy. In this way, the planned cooperation will eventually facilitate the well-being of Chinese and Russian people by providing more reliable prostate cancer diagnosis technology.
Through the cooperation among the Chinese and Russian researchers, we expect to construct the new theory and methods of puncture force sensing and control during the robot-assisted prostate biopsy. Meanwhile, the cooperation project will facilitate building an international innovative research team from both sides in the field of force sensing and control. The researchers from both sides will publish 1-2 SCI papers in the international journals through the cooperation research.
For further implementation of the project. In order to attract additional funding, it is planned to submit a join application for the 2024 RSF-NSFC competition “Conducting fundamental scientific research and exploratory scientific research by international scientific teams” (NSFC).
Отчет за 2024 год
Название проекта: Исследование методов измерения и управления силой на основе 3D-ультразвука в реальном времени для роботизированной биопсии простаты.
СПБГУ
Имя заявителя: Олег Н. Граничин (профессор) Алексей Тихонов (профессор)
Наталья Амелина (старший научный сотрудник)
Факультет/школа/институт: Кафедра математики и механики, Санкт-Петербургский государственный университет
Электронная почта: o.granichin@spbu.ru
Телефон: +7 (921) 7400337
Общая сумма вознаграждения: ₽ 500000 Потраченная сумма: ₽ 279066
Остаток: 220934 ₽ HUST
Имя заявителя: Сюмин Чжан (доцент)
Хуагэн Лян (профессор медицины)
Минвэй Вэнь (аспирант)
Ибо Ван (магистрант)
Бин Юй (магистрант)
Факультет/школа/институт:
Школа естественных наук и технологий
Электронная почта: zxmboshi@hust.edu.cn
Телефон: +86-15926234672
Общая сумма вознаграждения: ¥ 60000
Потраченная сумма: ¥ 60000
Остаток: ¥ 0
Обзор мероприятий
1. Целью проекта является определение силы прокола и реализация контроля силы прокола. Стремясь к этой цели, мы реализовали оценку деформаций простаты в режиме реального времени на 3D ультразвуковых изображениях, используя метод регистрации на основе сегментации, и реализовали контроль силы прокола.
2. Что касается оценки деформаций простаты, предлагаемый метод сегментации работает полуконтролируемым образом, объединяя механизм самовнимания (SAM) и V-Net. Во-первых, кодер SAM-Med3D и кодер V-Net используются для выполнения параллельного кодирования на маркированных и немаркированных изображениях. После масштабирования результатов двойного кодирования выполняется слияние признаков перед повышением частоты дискретизации для получения многомерных векторов признаков. Затем принимается стратегия обучения на основе взаимно согласованных ограничений с несколькими декодерами для декодирования слитых признаков и оценки неопределенности. Между тем, функция резкости применяется к выходу вероятности каждого декодера для получения мягких псевдометок для взаимных ограничений согласованности. Наконец, взаимное обучение проводится между выходом вероятности одного декодера и мягкими псевдометками других декодеров. Минимизируя функцию потерь среднеквадратичной ошибки (MSE), различия в результатах декодирования уменьшаются, тем самым побуждая модель генерировать минимизацию энтропии в процессе обучения. Мы протестировали этот метод на ультразвуковых изображениях простаты. Результаты показывают, что предлагаемый метод может реализовать точную сегментацию простаты с Dice 0,932.
3. Что касается оценки деформаций простаты, предлагаемый метод регистрации использует глубокую основанную на обучении многомасштабную структуру регистрации изображений, которая использует признаки, закодированные большой языковой моделью LLaMA с различными разрешениями, и использует адаптеры для сопоставления этих признаков с соответствующими стадиями разрешения, тем самым прогнозируя поля деформации и достигая регистрации ультразвуковых изображений простаты. Во-первых, два отдельных кодировщика используются для независимого извлечения глубоких признаков из движущихся и неподвижных изображений. Эти признаки сегментируются в токены признаков и подаются в кодировщик LLaMA. Для адаптации модели LLaMA к задаче регистрации вводятся адаптеры, состоящие из линейных проекций. Эти адаптеры служат для отображения визуальных признаков в языковое пространство и языковых признаков обратно в визуальное пространство, позволяя модели выполнять выравнивание и преобразование признаков на разных этапах разрешения. Функция потерь для метода регистрации на основе LLaMA состоит из потери сходства и потери регуляризации. Потеря сходства использует среднеквадратичную ошибку (MSE) в качестве метрики сходства для оценки сходства между деформированным движущимся изображением и неподвижным изображением. Потеря регуляризации используется для обеспечения гладкости поля деформации, избегая складывания и искажения деформации. Результаты показывают, что предложенный метод может реализовать точную сегментацию простаты с Dice 0,912 и ошибкой целевой регистрации (TRE) 1,20 мм. 4. Что касается определения силы, предлагаемый метод использует пространственно-временной локально-глобальный преобразователь для захвата локальных деталей изображения и глобальной зависимости одновременно для изучения особенностей деформаций простаты для оценки силы. В частности, наш метод исследует как пространственные, так и временные механизмы внимания для изучения признаков. Между тем, два эффективных модуля локально-глобального внимания вводятся для снижения нагрузки на 4D пространственно-временные вычисления за счет использования факторизованной стратегии пространственно-временной обработки, тем самым облегчая быструю оценку силы. Эксперименты на фантоме простаты и собаках породы бигль показывают, что наш метод значительно превосходит существующие методы VFS и другие модели пространственно-временных преобразователей. Предложенный метод превосходит наиболее конкурентоспособный сравниваемый метод ResNet3dGRU, предоставляя средние абсолютные ошибки оценки силы, т. е. 60,4 ± 50,4 миллиньютон (мН) против 123,7 ± 95,6 мН, на трансабдоминальном ультразвуковом наборе данных собак.
5. Что касается моделирования силы сопротивления элементов неоднородной среды для управления силой, то предлагается принципиально новый подход. Предлагаемый подход подразумевает введение рандомизированного контролируемого воздействия, которое увеличит чувствительность сенсорного элемента и уменьшит силу воздействия на среду (ткани). Моделирование силы сопротивления элементов неоднородной среды осуществляется по измерениям, полученным после воздействия контролируемым элементом, оснащенным датчиком, и исследованию степени деформации среды. При превышении допустимого воздействия для среды происходит инерционное движение контролируемого элемента, которое может выйти за допустимые пределы траектории.
6. Что касается рандомизированных стратегий управления, основанных на проектировании нестационарных алгоритмов идентификации параметров в условиях значительных неопределенностей, разработан подход к идентификации на основе данных наблюдений, включая трехмерные ультразвуковые изображения и расчетную силу прокола. Идентификация параметров означает, что оценки последовательно строятся для возможных значений неизвестных параметров, а затем используются в параметризованном контуре обратной связи. В этом контексте мы рассматриваем задачу определения на основе входных и выходных данных доверительной области, содержащей неизвестные коэффициенты с заданной вероятностью, выбранной пользователем. В проекте для получения неасимптотических доверительных областей для траектории управляемого объекта (например, иглы) в условиях значительных неопределенностей мы используем метод Leave-out Sign-Dominant Correlation Regions (LSCR) и изучаем нелинейный случай. Как правило, требуется найти единственное (суб)оптимальное решение, принадлежащее доверительной области среди набора допустимых параметров системы. В случае ограниченных, но в остальном произвольных шумов в формулировке алгоритма идентификации мы используем рандомизацию стратегии управления, что позволит получать сколь угодно малые доверительные множества асимптотически.
7. Что касается разработки алгоритма управления в реальном времени, то методы управления на основе нейронной сети призваны реализовать управление силой прокола и траекторией иглы. Здесь на основе данных 3D УЗИ строится номинальная траектория объекта управления (например, иглы). Особенностью обучения нейронной сети в рассматриваемой задаче является поступление обученной выборки в реальном времени, что влечет за собой необходимость оптимизации изменяющегося во времени функционала среднего риска. Для отслеживания требуемых параметров модели нейронной сети предлагается использовать методы рандомизированной стохастической аппроксимации с постоянным шагом, что работоспособно при неизвестных, но ограниченных возмущениях. Кроме того, для обучения нейронных сетей требуются большие объемы выборок. Однако накопление достаточного количества данных для повышения точности моделей невозможно или труднодостижимо. Для таких случаев мы будем использовать новый подход, который фокусируется на обучении на образцах небольшого размера (обучение с малым количеством выстрелов). Успешная работа многих стандартных контролируемых алгоритмов машинного обучения требует четкой модели данных, возможности вычисления градиента для функции потерь (функционал качества) и большого объема обучающих данных с распределением, близким к нормальному. Однако эти требования часто не выполняются. Для таких случаев проект предлагает исследование методов рандомизированной стохастической аппроксимации для решения указанной проблемы.
8. Что касается оценки эффективности методов измерения и контроля силы прокола, используется фантом простаты с поражениями. Робот для прокола простаты, система трехмерного ультразвукового наведения в реальном времени и система сбора данных о силе прокола используются для сбора трехмерных ультразвуковых изображений до и во время прокола фантома простаты. На основе вышеизложенной информации ошибка между ожидаемой целевой точкой и положением, в котором игла контролируется для достижения в простате, используется для оценки точности прокола алгоритма управления. Экспериментально установлено, что ошибка алгоритмов управления составляет 2 мм на фантоме простаты.
На основе вышеприведенных исследований китайская сторона опубликовала несколько статей по своей части и получили ряд патентов. По совместно разрабатываемым алгоритмам рандомизации управляющего воздействия публикация готовиться, но она пока еще только в предварительной стадии.
Мероприятия и студенческая активность
Дата: 7 ноября 2024 г.
Участники:
Сюмин Чжан, Минвэй Вэнь, Ибо Ван, Минюэ Дин, Мин Ючи, Олег Граничин, Наталья Амелина
Мероприятие:
Обе стороны представили достижения в области исследований ультразвуковой визуализации и достижения в области ультразвуковой хирургической навигации и роботизированного управления, обсудили влияние качества и размера ультразвукового изображения на навигацию и роботизированное управление и определили пути повышения качества ультразвукового изображения. Кроме того, было проведено подробное обсуждение своей совместной статьи «Метод полуконтролируемой сегментации 3D-медицинских изображений на основе V-Net и двойного кодировщика и мультидекодера SAM», предложены изменения в методе представления результатов сегментации изображений и стратегии ускорения обучения моделей, что значительно улучшило качество статьи. В будущем обе стороны рассмотрят возможность внедрения ультразвуковой КТ для хирургической навигации и будут стремиться повысить скорость обработки ультразвуковых изображений для обеспечения хирургической навигации в реальном времени. Кроме того, мы углубим их сотрудничество для исследования новых методов обучения моделей, направленных на сокращение использования памяти во время обучения моделей. Кроме того, три исследователя с российской стороны посещают Wuhan Micro Vision Technology Co., Ltd, чтобы узнать об ультразвуковой КТ.
Краткое содержание мероприятия:
Это мероприятие имеет большое значение для обеих сторон, поскольку позволяет им понять ход исследовательской работы друг друга, существующие проблемы и последующие рабочие договоренности, закладывая прочную основу для будущего сотрудничества.
(a)
(a) (b)
(c) (d)
(e) (f)
Рис. 1 Встреча с обеих сторон: (a)-(d) Обсуждение методов измерения и контроля силы; (e) Обсуждение ультразвуковой КТ; (f) Посещение Wuhan Micro Vision Technology Co., Ltd.
Влияние
Реализация этого проекта может эффективно способствовать развитию и совершенствованию теорий восприятия и управления роботизированной силой, продвигая применение хирургических роботов в процедурах биопсии мягких тканей, таких как биопсия простаты. Он имеет большое значение для улучшения здоровья мужчин в Китае, России и даже во всем мире. Кроме того, этот проект стал достойным примером научного и технологического сотрудничества между Хуачжунским университетом науки и технологий и Санкт-Петербургским государственным университетом, заложив прочную основу для дальнейшего углубленного сотрудничества между двумя сторонами.
Дополнительное финансирование
Мы планировали получить поддержку на международный проект сотрудничества, спонсируемый Национальным естественнонаучным фондом Китая (NSFC) и Российским научным фондом (RSF) в 2025 году. Название проекта: «Методы искусственного интеллекта и 4D-ультразвуковой навигации и управления при роботизированной пункции мягких тканей».
Ожидаемое внешнее финансирование с китайской стороны составляет 1 500 000 юаней. Ожидаемое внешнее финансирование с российской стороны составляет 21 000 000 рублей.
Были поданы заявки с обеих сторон. В РНФ заявка была зарегистрирована под № 25-41-00053.
К сожалению, при трех положительных и высоких рецензиях проект не был поддержан.
Извлеченные уроки и предложения
Исследовательские группы с обеих сторон организовали многочисленные академические обмены, семинары и другие мероприятия через онлайн и офлайн каналы. Эти мероприятия способствовали академическим обменам и визитам между исследовательскими группами, углубляя взаимопонимание и сотрудничество.
В нашем сотрудничестве исследовательские группы подчеркивали междисциплинарную интеграцию, включая перекрестное сотрудничество в таких областях, как инженерия, медицина и информатика. Этот междисциплинарный подход дал эффективные инновационные результаты.
Благодаря сотрудничеству обе стороны расширили свои международные горизонты, получили представление о международных академических границах и тенденциях и повысили международную конкурентоспособность и влияние своих исследовательских групп. Это включает в себя такие возможности, как языковое общение и межкультурный обмен, которые имеют большое значение для осуществления большего сотрудничества на международной арене в будущем.
Подводя итог, можно сказать, что это сотрудничество принесло исследовательским группам с обеих сторон богатый опыт и достижения. Этот опыт и достижения не только способствовали развитию научных исследований и развитию талантов в обоих университетах, но и внесли положительный вклад в социальный прогресс и развитие.
