Робот-ассистированный комплекс минимально инвазивной абдоминальной хирургии для автоматизированного выполнения операций методами локальной деструкции новообразований печени Российский патент 2025 года по МПК A61B34/10 A61B34/30 

Уровень техники.

Применение робот-ассистированных комплексов становится стандартом в современной хирургии. Они уже применяются для лечения широкого спектра заболеваний. В частности для выполнения автоматизированных операций методами локальной деструкции на органах со сложной анатомической архитектоникой, таких как печень, современным робот-ассистированным комплексам необходимо совместное использование таких технологий как сегментация объемных данных, полученных с помощью различных систем медицинской визуализации, стереотаксия, методы численной оптимизации, предварительная симуляция в виртуальной среде, сопоставление изображений различных модальностей и отслеживания перемещений паттернов на видеоряде, что в свою очередь позволит снизить человеческий фактор, особенно при множественных пункциях на крупных новообразованиях.

Из научно-технической литературы и патентной документации известны патенты: WO 2020034146 A1, RU 2758753 C1, RU 2720830 C1, US 8774901 B2, US 20220142702 A1, RU 2594100 C1, US 20120245914 A1, CN 103970988 B, CN 113456229 А, CN 103371870 A, JP 5933723 B2, US 8267927 B2, CN 110537960 А, US 20200367971 A1, FR 124072 A1. Патентный обзор включает в себя как робот-ассистированные комплексы, так и отдельные технологии, которые могут применяться в данной сфере.

Патент WO 2020034146 A1 от февраля 2020 года, принадлежащий Zhangjiagang Institute of Industrial Technologies Soochow University, описывает транс-абдоминальную минимально инвазивную хирургическую систему. Данная система состоит из стойки, на которой смонтированы устройство управления и роботизированные манипуляторы. Ключевой особенностью является тот факт, что разработчики заявляют об использовании, как минимум, трех манипуляторов одновременно.

Патент RU 2758753 C1 от апреля 2019, принадлежащий SHANKHAJ MAJKROPORT MEDBOT (GRUP) KO., LTD, описывает роботизированную хирургическую систему, содержащую исполнительный терминал, который включает в себя две инструментальных руки. Первый манипулятор и установленный на нем хирургический инструмент имеют возможность вытягивания тканей внутренних органов, а второй манипулятор и второй хирургический инструмент - возможность выполнения хирургической операции на тканях и органах.

Патент RU 2720830 C1 от марта 2020 года, принадлежащий компании Assisted Surgical Technologies LTD, описывает робот-ассистированный хирургический комплекс, способный выполнять как минимально инвазивные операции, так и симуляцию таких операций в виртуальной среде. Одной из целей разработки данной системы являлась возможность лапароскопических операций в режиме копирующего управления через специализированную консоль.

Приведенные выше патенты WO 2020034146 A1, RU 2758753 C1 и RU 2720830 C1 представляют устройства, которые могут быть пригодными для операций в абдоминальной полости для выполнения операций методами локальной деструкции, однако, в первую очередь именно наличие копирующего управления является основным отличием от автоматизированного выполнения операций. Данные системы также имеют ряд существенных ограничений для целей автоматизированного выполнения методов локальной деструкции, так как являют собой только роботизированные системы общего назначения и не имеют таких возможностей как, например, отслеживание паттерна новообразования на УЗИ-изображении для компенсации движения, вызванного дыханием пациента, что накладывает дополнительную нагрузку на хирурга, а также отсутствие контроля операционных действий в режиме реального времени с помощью безопасной для пациента и медицинского персонала технологии ультразвуковой диагностики.

Патент US 8774901 B2 от июля 2014 года, принадлежащий индийской компании Perfint Healthcare Private Limited, описывает методику позиционирования иглы для биопсии на базе полученных заранее данных компьютерной томографии. Заявленным изобретением является методика позиционирования медицинских инструментов и уменьшение числа проколов, что должно уменьшить время операционного вмешательства и дискомфорт для пациента. Точка ввода иглы может быть выбрана на изображениях компьютерной томографии, аналогично задается и целевая точка. Методика основана на вычислении контроллером вектора движения от точки входа до целевой точки и передаче полученных данных на манипулятор. Достоинством данной системы является система отслеживания дыхания пациента, однако, применение интраоперационной компьютерной томографии является значимым недостатком, поскольку подвергает пациента дополнительному интраоперационному облучению, которого можно избежать при использовании ультразвуковых аппаратов.

Патент US 20220142702 А1 от ноября 2021 года, принадлежащий Университету Арканзаса, описывает систему радиочастотной абляции с возможностью компенсации движения, вызванного дыханием. Система представляет собой легковесный комплекс, который закрепляется непосредственно на пациенте. Разработчики сообщают, что в зависимости от пациента, медиана отклонения иглы от центра новообразования может составлять от 0,64 до 1,22 мм, что можно считать достаточно низкой погрешностью, поскольку при проведении радиочастотной абляции зачастую выжиганию подвергается и часть здоровой ткани для предотвращения повторного появления новообразования.

Патент RU 2594100 C1 от мая 2015 года, описывает создание полностью автоматизированной технологии для проведения пункционной биопсии. В предлагаемом роботизированном комплексе, полученные при помощи компьютерной томографии срезы очагового образования направляются в систему управления комплекса, осуществляющего минимально инвазивное хирургическое вмешательство, при этом посредством компьютерной системы выполняется разметка хода и моделирование пункционной биопсии, а полученные КТ-срезы очагового образования в трехмерной проекции подвергаются компьютерному анализу с целью автоматизированного установления оптимальных параметров. Для проведения соответствующего операционного вмешательства, на всем протяжении, которого томографом осуществляется его сканирование и проецирование его хода на монитор компьютерной системы.

Описанная выше группа патентов US 8774901 B2, US 20220142702 A1, RU 2594100 C1 выделяется особенностью автоматизированного проведения хирургических операций и операционных вмешательств, однако, ни один из них не использует широкий спектр дополнительных технологий, призванных повысить качество проведения операций и удобство для медицинского персонала, которые возможно применять в данной сфере. В частности, использование многомодальной медицинской визуализации и контроля смещения опухоли в реальном времени. Также недостатком можно считать тот факт, что пациент помещается в аппарат интраоперационной компьютерной томографии и, как следствие, подвергается дополнительному радиационному облучению.

Также представляет интерес группа патентов, которые не описывают комплексы в целом, но описывают технологии, которые могут являться его составными частями - они представлены ниже.

Патент US 20120245914 A1 от октября 2010 года, принадлежащий компании Siemens AG, описывает систему позиционирования полой иглы на изображениях таких средств диагностики, как компьютерная томография, магнитно-резонансная томография и ультразвуковая диагностика. Методика предполагает позиционирование полой иглы относительно костной ткани. Наличие на снимке костей скелета является обязательным условием для работы данной системы, что является и основным ее ограничением, так как, например, при использовании радиочастотной абляции новообразований печени не всегда представляется возможным подобрать ракурс съемки, в котором находились бы одновременно кость и новообразование, с помощью такого метода диагностики, как ультразвуковое исследование.

Патент CN 113456229 А от марта 2020 года, принадлежащий Beijing Turing Minimally Invasive Medical Technology Co Ltd, описывает роботизированную систему для хирургии в абдоминальной полости. Основной идеей является применение голосового управления. Устройство распознавания речи получает и обрабатывает голосовые данные оперирующего персонала, результат обработки которых передается в виде команд в контроллер управления роботизированной системы. Также система предполагает наличие устройства визуальной навигации, суть работы которого основана на распознавании изображения, полученного при проведении лапароскопической операции.

Патент CN 103371870 А от июля 2013 года, принадлежащий Shenzhen Institute of Advanced Technology of CAS, описывает систему регистрации данных, полученных перед операцией, таких как компьютерная томография, либо магнитно-резонансная томография, с данными полученными в реальном времени с помощью аппарата ультразвуковой диагностики и платы видеозахвата. Таким образом, наложенные друг на друга изображения позволяют хирургу во время операции получать качественное изображение интересующей области.

Патент JP 5933723 B2 от 15 июня 2016 года, принадлежащий Philips NV, описывает устройство планирования абляций на новообразованиях печени. Система состоит из вычислительного устройства, устройства с графическим интерфейсом и устройства для передачи и отображения информации. Определенная заранее путем мануального сегментирования опухоль используется для вычисления безопасной области путем увеличения размера опухоли. Система позволяет проводить моделирование контура абляции для определенного положения электрода.

Патент US 8267927 B2 от 18 сентября 2012 года, принадлежащий Philips NV, описывает процедуру планирования целевого объема абляции и положения зон абляции. Описан метод планирования зон абляции, включающий определение минимально необходимого количества зон абляции в виде эллипсоидов по базе знаний. Также описан поиск точки ввода электрода на коже пациента посредством алгоритма марширующего луча.

Патент CN 110537960 А от 6 декабря 2019 года, Shanghai United Imaging Healthcare Co Ltd, описывает способ определения траектории прокола для системы роботизированной хирургии. Способ включает следующие этапы: получение медицинского изображения целевой структуры, воссоздание трехмерной модели целевой структуры по медицинскому изображению. Построение множества виртуальных путей прокола, проходящих через целевую структуру и выбранную область поверхности тела, через которую должен быть введен инструмент. Итогом является выбор по меньшей мере одного виртуального пути пункции, удовлетворяющего ограничительным условиям, из множества виртуальных путей, при этом ограничивающие условия включают в себя то, что целевой путь пункции не проходит через другие анатомические структуры, такие как кровеносные сосуды и нервы.

Патент CN 103970988 В от апреля 2014 года, принадлежащий Chinese PLA General Hospital, описывает методику построения пути медицинского инструмента для абляции. Процедура планирования траектории ввода иглы имеет важное значение, поскольку может позволить снизить травматизм внутренних органов пациента и, как следствие, снизить сроки послеоперационного восстановления. Более того, данная задача усложняется ввиду потенциального наличия на самом коротком пути крупных сосудов, либо костных тканей. Предложенная система позволяет построить путь до центра опухоли с использованием виртуальных ограничителей, что позволит обойти крупные сосуды и кости, снимая данную задачу с медицинского персонала. Таким образом, данная система позволяет оптимизировать предоперационное планирование, а также улучшить качество проведения операции в целом.

Патент US 20200367971 A1 от 26 ноября 2020 года, Shanghai Jiaotong University, относится к компьютерной технологии предоперационного планирования и описывает метод предоперационного планирования абляции на основе многомодальных данных, замораживания жидким азотом с последующим радиочастотным нагревом с помощью игольчатого зонда и устройства для него, которое может автоматически обеспечивать планирование локальной абляции. Изобретение включает с себя метод предоперационного планирования с учетом затрагивания критических анатомических структур и оценки достижимости условия устранения опухоли процедурой абляции.

Описанные выше патенты JP 5933723 B2, US 8267927 B2, CN 110537960 А, US 20200367971 A1 описывают различные подходы к автоматизации предоперационного планирования локальной деструкции опухолей, однако, общим недостатком является низкий уровень автоматизации процесса планирования, так как ряд этапов осуществляется мануально. Также не приведены метрики, однозначно определяющие качество выбранных позиций зон локальной деструкции и точек ввода инструмента.

Ближайшим аналогом предлагаемой к патентованию системы является патент FR 3124072 A1 от 23 декабря 2022 года, принадлежащий компании Quantum Surgical. Данный патент описывает роботизированную хирургическую систему Epione, предназначенную для радиочастотной абляции новообразований не только органов абдоминальной полости, но и легких. Система включает в себя манипулятор, с закрепленным ультразвуковым трансдьюсером и направляющей для мануального введения медицинского инструмента - электрода аблятора, систему хирургической навигации, позволяющую определять положение медицинского инструмента, а также блок управления, позволяющий определять давление, оказываемое ультразвуковым датчиком на тело пациента. Данная система включает в себя визуализацию томограмм совмещенных с УЗИ-изображением в плоскости сканирования трансдьюсера, полученных с помощью различных методов диагностики - компьютерной и магнитно-резонансной томографии.

Проведенный патентный поиск показал, что на данный момент не существует робот-ассистированных комплексов для автоматизированного выполнения операций методами локальной деструкции, который включал бы в себя одновременно такие возможности, как предварительная симуляция на основе алгоритмов автоматизированного определения оптимального положения рабочей области и оптимальных траекторий движения инструментов локальной деструкции с учетом кинематических ограничений манипулятора, многомодальная визуализация данных на этапах предварительного планирования, интраоперационной подготовки и исполнения операции, роботизация введения инструментов локальной деструкции при помощи специализированного рабочего органа с по меньшей мере двумя дополнительными степенями подвижности, под контролем системы хирургической навигации и алгоритмов технического зрения для определения и отслеживания целевой области на УЗИ изображениях.

Раскрытие изобретения.

Предлагаемое к патентованию изобретение направлено на реализацию задачи автоматизированного выполнения локальной деструкции новообразований внутренних органов абдоминальной полости. На фигуре 1 показана общая структура элементов, необходимых для функционирования робот-ассистированного комплекса минимально инвазивной абдоминальной хирургии для автоматизированного выполнения операций методами локальной деструкции. Робот-ассистированная операция выполняется в виде последовательности действий, которая может быть разделена на три этапа: предоперационное планирование, интраоперационная подготовка и исполнение операции. К этапу планирования относятся такие шаги, как определение оптимального положения медицинских инструментов в рабочей области, определение оптимального положения рабочей области относительно робота. К этапу подготовки относятся определение актуального положения рабочей области относительно робота и верификация плана операции. Этап исполнения включает движение робота по запланированным траекториям, введение медицинского инструмента локальной деструкции (далее медицинский инструмент) 105 и проведение локальной деструкции целевой области 102.

Робот-ассистированный комплекс минимально инвазивной абдоминальной хирургии для автоматизированного выполнения операций методами локальной деструкции включает в себя систему хирургической навигации 109, аппарат локальной деструкции 117, УЗИ-аппарат 114, манипулятор (шарнирный робот для совместной работы с человеком) обладающий по меньшей мере шестью степенями подвижности, далее - манипулятор 106 с закрепленным на монтажной поверхности рабочим органом 107 имеющим по меньшей мере две дополнительные степени подвижности, включающим трансдьюсер 601 УЗИ-аппарата 114, и имеющим возможность закрепления медицинского инструмента 105, хирургический стол 110, жестко соединенный станиной 115 с манипулятором 106, и сервер управления и обработки данных 111 соединенный с системой хирургической навигации 109, манипулятором 106 посредством контроллера манипулятора 116, рабочим органом 107 и с УЗИ-аппаратом 114, и имеющий возможность ввода и вывода информации на графическое устройство ввода- вывода 113 с интерфейсом пользователя. На фигуре 7 показана структурная схема обмена данными между устройствами в составе комплекса. Общий алгоритм исполнения операции представлен на фигуре 8. Отдельные компоненты алгоритма исполнения операции представлены на фигурах 9, 10, 11, 12 и 13.

Этап предоперационного планирования

В качестве первого шага этапа предоперационного планирования выступает выбор целевой области 102, подвергаемой локальной деструкции и предполагаемой зоны введения медицинского инструмента. Целевая область 102 и допустимая зона для введения 112 выделяются из трехмерных вексельных данных рабочей области 104, полученных на основе компьютерной, магнитно-резонансной или позитронно-эмиссионной томографии 101. Задача алгоритма - разместить зоны локальной деструкции так, чтобы воксели целевой области 102 были полностью перекрыты, а здоровые ткани, по возможности, были затронуты минимально. Для этого целевая область 102 разделяется на геометрически подобные части - кластеры 201, путем регулировки количества зон локальной деструкции 202, их положения и радиусов. Для автоматизации процесса кластеризации используется алгоритм KMeans. Далее определяются радиусы зон локальной деструкции 202, необходимые для покрытия кластера 201, для чего вычисляется расстояние до каждого вокселя от центра кластера 204, а затем выбирается тот воксель, расстояние до которого максимально. Это расстояние считается минимальным необходимым радиусом 212. Операция повторяется для каждого кластера с целью получения набора зон локальной деструкции 202, необходимых для полного перекрытия целевой области 102, после чего увеличиваются на заданный запас 211, образуя увеличенную зону локальной деструкции 203. Из полученных радиусов выбирается максимальный, чтобы проверить, принадлежит ли он заданному диапазону. Если радиус выходит за определенную верхнюю границу, количество кластеров увеличивается на 1; если он выходит за нижнюю границу, он уменьшается на 1 до тех пор, пока число кластеров не станет равным 1 или пока радиус не будет принадлежать диапазону.

Для выявленных кластеров производится нахождение такого положения медицинского инструмента 105, чтобы он не задевал критические структуры 205 (такие как кости или сосуды). Задача алгоритма второго шага - найти наилучшую позицию медицинского инструмента 105, удовлетворяющую ограничениям, определяемым заданными метриками, таким образом избегая пересечения критических структур 205 и других медицинских инструментов 209.

На фигуре 2 показано минимальное расстояние 207 от ближайшего вокселя 213 критической структуры 205 до оси медицинского инструмента 105, угол а (206) между прямой, образуемой ближайшим к медицинскому инструменту 105 вокселем 213 критических структур 205 и целевой позицией центра кластера 204, и прямой, образуемой целевой позицией центра кластера 204 и точкой ввода 208 на допустимой зоне для введения 112. Также показана нежелательная точка ввода 214 на допустимой зоне для введения 112, пересекающая критическую структуру 205. Для расчета первой метрики расстояния от оси траектории медицинского инструмента 105 до вокселя критической структуры 205 используются координаты трех точек, которые образуют треугольник в пространстве: координаты точки вокселя критической структуры 213, точки введения 208 медицинского инструмента 105 и точки центра 204 кластера целевой области 201. Высота h (207) от вершины В (213) до прямой, образуемой целевой позицией центра кластера С (204) и точкой ввода Т (208) на допустимой зоне для введения 112 считается расстоянием от оси траектории до ближайшего вокселя критической структуры и рассчитывается по формуле Герона для расчета площади треугольника по трем сторонам, где р - полупериметр.

Расчет второй метрики косинуса угла α (206) между прямыми основан на тех же точках В (213), Т (208) и С (204) и ее значение является результатом скалярного произведения нормализованных векторов СТ и СВ, которое представляет собой значение косинуса угла между прямыми. По углу между прямыми определяется пересечение траектории медицинского инструмента 105 с критическими структурами 205. Значение метрики определяется по следующей формуле скалярного произведения единичных векторов:

Для определения того, насколько хорошо подходит позиция, вычисляется значение метрик для каждого вокселя критических структур 205 для заданной траектории медицинского инструмента 105. Из полученных значений первой метрики выбирается воксель с наименьшим значением, а второй метрики с наибольшим значением при помощи решения задачи оптимизации, в которой значение первой целевой функции максимизируется, а значение второй минимизируется. При этом определяются воксели критических структур 205, которые расположены максимально близко к траектории медицинского инструмента 105.

При установке нескольких медицинских инструментов и одновременно учитывается их пересечение путем решения задачи многомерной оптимизации:

Пусть медицинский инструмент задан отрезком (точки Т и С). В этом случае любая точка Р на отрезке находится:

где α_i ∈ [0;1], i=0,…, k где k - количество отрезков.

Таким образом, выбирается два медицинских инструмента и находится расстояние между точками, принадлежащими их отрезкам, с помощью следующей функции:

где j=0,…, k, i≠j.

Минимум полученной функции определяется с помощью симплекс-метода Нелдера-Мида, а полученное расстояние проверяется на наличие пересечения с учетом диаметра медицинского инструмента 215 и заданного запаса расстояния 210. Находится точка, которая принадлежит допустимой зоне для введения 112 с таким условием, чтобы прямая проходящая через нее и центр кластера целевой области 204 не пересекала критические структуры 205 и другие медицинские инструменты 209.

Как показано на фигуре 4, полученные положения медицинских инструментов визуализируются в виртуальном пространстве интерфейса пользователя на сервере управления и обработки 111 данных вместе с трехмерными вексельными данными рабочей области 103. Эта визуализация позволяет отобразить взаимное расположение рабочей области 103 и медицинских инструментов с точки зрения различных ракурсов и сечений. Помимо этого, на визуализации в интерфейсе пользователя хирург имеет возможность скорректировать расположение медицинского инструмента 105.

В качестве второго шага этапа предоперационного планирования выступает определение оптимального положения рабочей области 103 относительно манипулятора 106. Определение оптимального положения рабочей области 103 производится путем поиска такого положения воксельных данных рабочей области 104 в заданных границах 402, при котором обобщенные координаты виртуальной модели манипулятора 401 на всей траектории наиболее приближены к центрам допустимых диапазонов обобщенных координат 304. В качестве оценки расстояния до центра допустимого диапазона используется сумма квадратов разностей между обобщенными координатами и центрами диапазонов для всех точек траектории.

Для получения F_∑ - оценки суммарной разницы - проводятся следующие шаги: для всех точек траектории решается обратная задача кинематики по положению с учетом геометрических характеристик рабочего органа 107 и актуального проверяемого положения рабочей области и определяется значение обобщенной координат g_i 301. Для каждого решения для всех обобщенных координат производится оценка расхождения 302 между центром допустимого диапазона m_i 304 и актуальным значением обобщенной координаты g_i,j. Центр допустимого диапазона m_i 304 находится между верхней границей допустимого диапазона 303 и нижней границей допустимого диапазона 305.

На фигуре 3 показан пример графика изменения обобщенной координаты от номера точки траектории t. По оси абсцисс 306 - номер точки, по оси ординат 307 - значение обобщенной координаты. На фигуре отмечено значение разницы между центром допустимого диапазона 304 и актуальным значением обобщенной координаты 301.

Полученные таким образом значение оценки расхождения используются для нахождения такого положения рабочей области в заданных границах, для которого значение этой оценки оказывается минимальным. Это положение используется как рекомендуемое на следующем этапе.

Этап интраоперационной подготовки

После определения оптимального положения происходит размещение рабочей области 103 относительно манипулятора 106 в рамках первого шага этапа подготовки. Рабочая область 103 размещается в соответствии с рекомендованным положением вексельных данных рабочей области 104, но, так как размещение происходит мануально, ее точное положение является неизвестным. Для того чтобы определить положение рабочей области 103 используется система хирургической навигации 109. Процесс определения положения рабочей области 103 состоит из двух подпроцессов: определение положения рабочей области 103 относительно локальной системы координат системы хирургической навигации 109 и определение положения локальной системы координат системы хирургической навигации 190 относительно основания манипулятора 106.

Первый подпроцесс выполняется посредством совмещения N точек, заданных на вексельных данных рабочей области 104, с точками, заданными относительно локальной системы координат системы хирургической навигации 109 на рабочей области 103. Первая группа точек (а) задается посредством выбора характеристических элементов на воксельных данных 104, вторая (b) выбирается указательным инструментом системы хирургической навигации 108, при этом обе группы точек указывают на одни и те же анатомические маркеры.

Второй подпроцесс проводится с использованием рабочего органа 107, закрепленного на манипуляторе 106. Этот рабочий орган 107 откалиброван в системе хирургической навигации 109 таким образом, чтобы центральная точка рабочего органа 606, заданная в системе управления манипулятора 106, совпадает с центральной точкой этого рабочего органа 606 в системе хирургической навигации 109. Манипулятор 106 перемещает рабочий орган 107 в несколько (М) точек в пространстве, выбранных таким образом, чтобы точки не лежали на одной прямой. Для этих точек производится запись их положения относительно основания манипулятора 106 (положения центральной точки рабочего органа 606) (с) и положения относительно локальной системы координат системы хирургической навигации 109 (d).

Для обоих подпроцессов производится нахождение таких матриц R_{a,b} и R_{c,d} и векторов v_{a,b} и v_{c,d} что значения W_{a,b} и W_{c,d} минимальны:

Найденные пары матрица-вектор (R, v) позволяют определить положение рабочей области 103 относительно основания манипулятора 106.

Следующим шагом этапа подготовки является проведение предварительной симуляции движения манипулятора 106. Для этого запланированное положение медицинского инструмента 105, положение рабочей области 103 и геометрические характеристики рабочего органа 107 загружаются в компьютерную систему моделирования. В компьютерной системе моделирования операционной виртуальная модель манипулятора 401 совершает заданные перемещения, учитывая положение центральной точки рабочего органа 107. Для этого для всех точек траектории решается обратная задача кинематики по положению. Точки траектории выбираются с такой дискретой, чтобы смоделировать движение манипулятора 106 с заданным ограничением на скорости перемещения рабочего органа 107. Предварительная симуляция позволяет выявить ошибки планирования, способные привести к столкновению между манипулятором 106, рабочим органом 107, оборудованием и рабочей областью 103, или достижение манипулятором 106 ограничений допустимых значений обобщенных координат.

Процесс предварительной симуляции сопровождается многомодальной визуализацией в пользовательском интерфейсе графического устройства ввода-вывода 113. В рамках этой визуализации происходит отображение трехмерных вексельных данных рабочей области 104 и моделей поверхностей твердотельных объектов, таких как модель манипулятора 401, оборудование или рабочий орган 107. Такая визуализация предоставляет возможность в пространстве одной трехмерной сцены отобразить течение операции, учитывающее взаимное расположение оборудования, рабочего органа 107, манипулятора 106, положение рабочей области 103.

Если на этапе предварительной симуляции выявлены ошибки планирования, то планирование проводится заново, с учетом актуального положения рабочей области 103. Если планирование с актуальным положением рабочей области 103 невозможно, то изменение положения рабочей области 103 производится под контролем хирурга. Если ошибок не выявлено, то наступает этап исполнения операции.

Этап исполнения операции

В качестве первого шага этапа исполнения выступает перемещение манипулятора 106 с подготовленным рабочим органом 107 в предварительное положение, лежащее на траектории подвода медицинского инструмента 105. Это положение выбирается на траектории подвода так, чтобы во время перемещения в него манипулятор 106 не совершал столкновений с рабочей областью.

Следующим шагом выступает перемещение манипулятора 106 в рабочую позицию. В зависимости от протокола операции манипулятор 106 либо сам перемещается в целевое положение, либо предоставляет хирургу возможность мануального перемещения.

На фигуре 6 показано схематическое изображение рабочего органа 107, закрепленного на манипуляторе 106. В случае мануального перемещения используется следующая процедура: производится измерение внешних сил и моментов, приложенных к удерживаемому манипулятором 106 рабочему органу 107. Момент, приложенный к оси второй степени подвижности 604 рабочего органа 107 служит для расчета поворота рабочего органа вокруг этой оси. Силы, приложенные к рабочему органу 107, используются для расчета перемещения. На основе этих расчетов определяется новое положение рабочего органа 107. Для этого положения производится проверка на достижимость, и, если положение достижимо, в него производится перемещение. Эта процедура повторяется с заданной частотой до тех пор, пока не будет выполнено условие прекращения движения, например - достижение целевого положения.

После достижения рабочей позиции начинается шаг наведения медицинского инструмента 105. Наведение медицинского инструмента 105 производится в плоскости сканирования 602 УЗИ трансдьюсера 601. На УЗИ изображении определяется зона локальной деструкции 202, которая должна находиться в рамках рабочей зоны рабочего органа 603. Для выбранной зоны локальной деструкции 202 решается обратная задача кинематики по положению для рабочего органа 107. Решение обратной задачи кинематики опирается на геометрические характеристики рабочего органа 107, обладающего двумя степенями подвижности 605 и 604.

Полученное решение обратной задачи кинематики для рабочего органа 107 используется сервером управления и обработки данных 111 для наведения рабочего органа 107 на зону локальной деструкции 202. Наведенный рабочий орган 107 начинает автоматизированный ввод медицинского инструмента 105. Благодаря конструкции рабочего органа медицинский инструмент 105 вводится в плоскости сканирования трансдьюсера 602. За счет этого медицинский инструмент 105 виден на УЗИ изображении.

На УЗИ изображении определяется положение кончика медицинского инструмента 501. Во время движения медицинского инструмента 105 положение кончика смещается. На основе собранных в разные моменты времени данных о положении кончика путем экстраполяции строится прогнозируемая траектория движения медицинского инструмента 504. Как показано на фигуре 5, на визуализации в интерфейсе пользователя отображается УЗИ изображение и прогнозируемая траектория движения медицинского инструмента 504, вместе с данными о положении критических структур 205.

Интерфейс пользователя, используемый во время операции, позволяет отображать различную информацию, такую как положение вексельных данных рабочей области 103 в общей сцене 403 вместе с виртуальной моделью манипулятора 401, данные УЗИ 404, характеристики движения манипулятора 405, а также такие элементы интерфейса как визуализация структуры (сцены) компьютерной системы моделирования 408, интерфейс настроек компьютерной системы моделирования 407, элементы управляющего интерфейса для исполнения действия в рамках этапов 409 и для переключение этапов 406.

После достижения медицинским инструментом 105 запланированной зоны локальной деструкции 202 ввод медицинского инструмента 105 прекращается, его положение фиксируется. Медицинский инструмент освобождается из крепления рабочего органа, после чего манипулятор отводит рабочий орган в сторону, оставляя медицинский инструмент 105 в зоне локальной деструкции 202 для последующего воздействия на новообразование при помощи аппарата локальной деструкции 117.

Задача изобретения - робот-ассистированное выполнение локальной деструкции в минимально инвазивной абдоминальной хирургии с автоматизацией этапов предварительного планирования, интраоперационной подготовки, а также исполнения операции.

Технический результат - повышение качества проведения робот-ассистированных операций, выполняемых методами локальной деструкции новообразований печени, снижение травматичности для пациента и нагрузок для оперирующего персонала.

Поставленная задача решается, а заявленный технический результат достигается при помощи синергетического применения технологий предварительной симуляции робот-ассистированного комплекса, автоматизированного определения оптимального положения пациента и траекторий движения медицинских инструментов, многомодальной интраоперационной визуализации, роботизации движения медицинских инструментов, стереотаксической навигации и алгоритмов технического зрения.

Заявленное техническое решение позволяет, в отличие от ближайшего аналога (прототипа), проводить предварительную симуляцию робот-ассистированного комплекса на основе цифровых алгоритмов автоматизированного определения оптимального положения рабочей области и оптимальных траекторий движения медицинских инструментов с учетом кинематических ограничений манипулятора, многомодальной визуализации данных на этапах предварительного планирования, интраоперационной подготовки и исполнения операции, роботизации введения медицинских инструментов при помощи специализированного рабочего органа с по меньшей мере двумя дополнительными степенями подвижности, под контролем системы хирургической навигации и алгоритмов технического зрения для определения и отслеживания целевой области на УЗИ изображении.

Краткое описание чертежей.

Фигура 1. Общая структура элементов, необходимых для функционирования комплекса.

Фигура 2. Общая схема процесса определения оптимального положения медицинских инструментов.

Фигура 3. Пример графика изменения обобщенной координаты от номера точки траектории.

Фигура 4. Визуализация трехмерных вексельных данных и моделей поверхностей в едином пространстве в интерфейсе пользователя.

Фигура 5. Визуализация дополненных данных УЗИ в интерфейсе пользователя

Фигура 6. Схематическое изображение рабочего органа, закрепленного на манипуляторе.

Фигура 7. Структурная схема обмена данными между устройствами в составе комплекса.

Фигура 8. Алгоритм проведения операции с использованием робот-ассистированного комплекса минимально инвазивной абдоминальной хирургии.

Фигура 9. Алгоритм процедуры определения оптимального положения рабочего органа.

Фигура 10. Алгоритм процедуры определения реального положения рабочей области.

Фигура 11. Алгоритм процедуры наведения инструмента.

Фигура 12. Алгоритм процедуры проведения хирургического вмешательства.

Фигура 13. Алгоритм процедуры движения манипулятора по траектории в режиме совместной работы.

Фигура 14. Общий вид робот-ассистированного комплекса минимально инвазивной абдоминальной хирургии для автоматизированного выполнения операций методами локальной деструкции.

Позиции, приведенные на изображениях, соответствуют следующему:

101 оборудование для компьютерной, магнитно-резонансной или позитронно-эмиссионный томографии

102 целевая область

103 рабочая область

104 вексельные данные рабочей области

105 медицинский инструмент, медицинский инструмент для проведения хирургических операций методами локальной деструкции

106 манипулятор, (шарнирный робот для совместной работы с человеком) обладающий по меньшей мере шестью степенями подвижности

107 рабочий орган

108 указательный инструмент системы хирургической навигации

109 система хирургической навигации

110 хирургический стол

111 сервер управления и обработки данных

112 допустимая зона введения медицинского инструмента

113 графическое устройство ввода-вывода

114 УЗИ-аппарат

115 станина

116 контроллер манипулятора

117 аппарат локальной деструкции

201 кластер зоны локальной деструкции

202 зона локальной деструкции

203 увеличенная зона локальной деструкции

204 центр кластера зоны локальной деструкции

205 критические структуры

206 угол между прямой, образуемой ближайшим к медицинскому инструменту вокселем критических структур и целевой позицией центра кластера, и прямой, образуемой целевой позицией центра кластера и точкой ввода

207 минимальное расстояние от ближайшего вокселя критической структуры до оси медицинского инструмента

208 точка ввода в допустимой зоне введения медицинского инструмента

209 другие медицинские инструменты

210 заданный запас расстояния от медицинского инструмента

211 заданный запас расстояния для увеличения зоны локальной деструкции

212 минимальный необходимый радиус зоны локальной деструкции

213 ближайший воксель критической структуры до оси медицинского инструмента

301 значение обобщенной координаты

302 оценка расхождения

303 верхняя граница допустимого диапазона значения обобщенной координаты

304 центр допустимого диапазона значения обобщенной координаты

305 нижняя граница допустимого диапазона значения обобщенной координаты

306 ось индексов точек траектории

307 ось значений i-той обобщенной координаты

401 виртуальная модель манипулятора

402 заданные границы возможного расположения рабочей области

403 общая сцена компьютерной системы моделирования

404 визуализация дополненных данных УЗИ в интерфейсе пользователя

405 визуализация характеристик движения манипулятора

406 элементы управляющего интерфейса для переключения этапов

407 интерфейс настроек компьютерной системы моделирования

408 визуализация структуры сцены компьютерной системы моделирования

409 элементы управляющего интерфейса для исполнения действий в рамках этапов

501 выявленное положение кончика медицинского инструмента

502 визуализация плоскости сканирования

503 выявленное положение целевой области

504 прогнозируемая траектория движения медицинского инструмента

601 трансдьюсер, трансдьюсер системы УЗИ

602 плоскость сканирования трансдьюсера

603 рабочая зона рабочего органа

604 вторая степень подвижности рабочего органа

605 первая степень подвижности рабочего органа

606 центральная точка инструмента

Осуществление изобретения.

Для подтверждения возможности использования и работоспособности изобретения была проведена его реализация в виде испытательного стенда, фотография которого представлена на фигуре 14.

В качестве элементов системы использовалось следующее оборудование:

• Манипулятор KUKA MED 14 R820;

• Прототип рабочего органа;

• Система управления манипулятора KUKA Sunrise;

• УЗИ-аппарат Philips Affinity 50;

• Стереотаксическая система хирургической навигации Мультитрек;

• Сервер управления и обработки данных на базе CPU IntelCore i7-9700K 3.70 GHz GPU Nvidia GTX2080TI;

• Аппарат локальной деструкции - система электрохирургическая RITA 1500Х;

• Графическое устройство ввода-вывода с интерфейсом пользователя - монитор с сенсорным управлением IIYAMA TH4265MIS-B1AG.

В эксперименте использовался специализированный силиконовый фантом, имитирующий печень, ребра, жировой слой и кожный покров. Используемый фантом является схожим по рентгенопрозрачности и сходным по характеристикам ультразвукового исследования с соответствующими тканями человека. Фантом был оснащен набором силиконовых вставок, имитирующих опухоли. Была проведена компьютерная томография этого фантома на томографе Definition AS 128 (Siemens). В качестве медицинского инструмента выступал зонтичный электрод электрохирургической системы RITA 1500Х.

На первом этапе проведения эксперимента, в соответствии с шагами, представленными в разделе «Раскрытие изобретения», были размечены полученные данные компьютерной томографии, была выбрана целевая область. Целевая область была автоматически разделена на кластеры, после чего, с помощью разработанного алгоритма, были найдены целевые положения инструментов. Для выбранных целевых положений инструмента строились предварительные траектории ввода инструмента таким образом, чтобы плоскость сканирования УЗИ-трансдьюсера, закрепленного в прототипе рабочего органа, проходила между ребрами фантома.

Трехмерные данные исследования и траектории были загружены в подготовленное программное обеспечение. Трехмерные данные исследования были сориентированы в трехмерном виртуальном пространстве в соответствии с предполагаемым расположением, после этого был произведен поиск оптимального положения рабочей области в заданном диапазоне возможных положений.

После определения оптимального положения рабочей области фантом был расположен на операционном столе вместе с референсной рамкой системы хирургической навигации в соответствии с определенным оптимальным положением рабочей области. Положение рабочей области было определено относительно локальной системы координат навигационной системы. Также было определено положение локальной системы координат навигационной системы относительно основания манипулятора.

На основе полученных данных была проведены предварительные симуляции движения манипулятора для всех требуемых траекторий, не выявившие препятствий к исполнению движения. Команды движения были переданы в систему управления манипулятором - контроллер KUKA Sunrise после чего манипулятор переместил рабочий орган в предварительное положение, из которого он был перемещен по запланированной траектории в режиме совместной работы до контакта трансдьюсера с фантомом и получения стабильного качества УЗИ-изображения. Затем перемещение манипулятора в режиме совместной работы было остановлено, и манипулятор начал удерживать фиксированное положение обеспечивая постоянное усилие.

На полученном платой видеозахвата изображении УЗИ было определено фактическое положение целевой области. Для определенных координат целевой области была решена обратная задача кинематики по положению для рабочего органа, после чего, рабочий орган совершил соответствующее движение для достижения целевой области медицинским инструментом. После достижения целевой области медицинский инструмент был переведен в раскрытое состояние и высвобожден из рабочего органа, манипулятору была дана команда отведения рабочего органа в сторону.

Библиографические данные (список источников).

Патенты:

WO 2020034146 A1,

RU 2758753 C1,

RU 2720830 C1,

US 008774901 B2,

US 20220142702 A1,

RU 2594100 C1,

US 20120245914 A1,

CN 103970988 В,

CN 113456229 A,

CN 103371870 A,

JP 5933723 B2,

US 8267927 B2,

CN 110537960 A,

US 20200367971 A1,

FR 3124072 A1.

ГОСТ Р 60.0.0.4 - 2023 / ИСО 8373:2021 Роботы и Робототехнические Устройства, Термины и определения.

Изобретение относится к медицинской технике, а именно к робот-ассистированному комплексу минимально инвазивной абдоминальной хирургии для автоматизированного выполнения операций методами локальной деструкции новообразований печени. Комплекс включает систему хирургической навигации, УЗИ-аппарат, систему электрохирургическую, манипулятор, обладающий шестью степенями подвижности, с закрепленным на монтажной поверхности рабочим органом, имеющим две дополнительные степени подвижности, включающим трансдьюсер УЗИ-аппарата и имеющим возможность закрепления инструмента локальной деструкции. Комплекс имеет хирургический стол, жестко соединенный станиной с манипулятором, и сервер управления и обработки данных, соединенный с системой хирургической навигации, с манипулятором посредством контроллера манипулятора, с рабочим органом и с УЗИ-аппаратом и выполненный с возможностью вывода информации на графическое устройство ввода-вывода с интерфейсом пользователя, выполненное с возможностью проводить предварительную симуляцию течения операции с отображением воксельных данных рабочей области, заданных целевых положений и траекторий движения инструментов локальной деструкции, и виртуальной модели манипулятора, и с решением посредством сервера управления и обработки данных обратной задачи кинематики по положению с учетом ограничений допустимых значений обобщенных координат для всех точек заданных траекторий, выбранных с такой дискретой, чтобы смоделировать движение манипулятора с заданным ограничением скорости с целью выявления ошибок планирования течения операции. Сервер управления и обработки данных и графическое устройство ввода-вывода выполнены с возможностью выбора на этапе предоперационного планирования из воксельных данных, полученных на основе компьютерной, магнитно-резонансной или позитронно-эмиссионной томографии, целевой области, подвергаемой локальной деструкции, критических структур и предполагаемой зоны введения инструмента локальной деструкции, с автоматическим разделением целевой области на кластеры алгоритмом KMeans, посредством решения задачи многомерной оптимизации для выявленных кластеров целевых положений и траекторий движения инструментов локальной деструкции, не пересекающих критические структуры и инструменты локальной деструкции. Техническим результатом является повышение качества проведения робот-ассистированных операций, выполняемых методами локальной деструкции новообразований печени, снижение травматичности для пациента и нагрузок для оперирующего персонала. 4 з.п. ф-лы, 14 ил.

1. Робот-ассистированный комплекс минимально инвазивной абдоминальной хирургии для автоматизированного выполнения операций методами локальной деструкции новообразований печени, включающий в себя систему хирургической навигации, УЗИ-аппарат, систему электрохирургическую, манипулятор, обладающий по меньшей мере шестью степенями подвижности с закрепленным на монтажной поверхности рабочим органом, имеющим по меньшей мере две дополнительные степени подвижности, включающим трансдьюсер УЗИ-аппарата и имеющим возможность закрепления инструмента локальной деструкции, хирургический стол, жестко соединенный станиной с манипулятором, и сервер управления и обработки данных, соединенный с системой хирургической навигации, с манипулятором посредством контроллера манипулятора, с рабочим органом и с УЗИ-аппаратом и выполненный с возможностью вывода информации на графическое устройство ввода-вывода с интерфейсом пользователя, выполненное с возможностью проводить предварительную симуляцию течения операции с отображением воксельных данных рабочей области, заданных целевых положений и траекторий движения инструментов локальной деструкции, и виртуальной модели манипулятора, и с решением посредством сервера управления и обработки данных обратной задачи кинематики по положению с учетом ограничений допустимых значений обобщенных координат для всех точек заданных траекторий, выбранных с такой дискретой, чтобы смоделировать движение манипулятора с заданным ограничением скорости с целью выявления ошибок планирования течения операции, при этом сервер управления и обработки данных и графическое устройство ввода-вывода выполнены с возможностью выбора на этапе предоперационного планирования из воксельных данных, полученных на основе компьютерной, магнитно-резонансной или позитронно-эмиссионной томографии, целевой области, подвергаемой локальной деструкции, критических структур и предполагаемой зоны введения инструмента локальной деструкции, с автоматическим разделением целевой области на кластеры алгоритмом KMeans, посредством решения задачи многомерной оптимизации для выявленных кластеров целевых положений и траекторий движения инструментов локальной деструкции, не пересекающих критические структуры и инструменты локальной деструкции.

2. Робот-ассистированный комплекс по п. 1, в котором сервер управления и обработки данных и графическое устройство ввода-вывода выполнены с возможностью определения и отображения на этапе предоперационного планирования в интерфейсе пользователя положения рабочей области относительно манипулятора путем поиска такого положения воксельных данных рабочей области в заданных границах, при котором обобщенные координаты манипулятора на всех заданных траекториях движения инструментов для локальной деструкции наиболее приближены к центрам допустимых диапазонов обобщенных координат, причем в качестве оценки расстояния до центра допустимого диапазона использована сумма квадратов разностей между обобщенными координатами и центрами диапазонов для всех точек траектории, при этом полученные значения оценки расхождения использованы для нахождения такого положения рабочей области в заданных границах, для которого значение этой оценки минимально.

3. Робот-ассистированный комплекс по пп. 1, 2, в котором сервер управления и обработки данных и манипулятор выполнены с возможностью измерения внешних сил и моментов на этапе исполнения операции, приложенных с закрепленному на монтажной поверхности манипулятора рабочему органу, посредством датчиков сил, встроенных в звенья манипулятора, причем измеренные силы и момент, приложенный к оси второй степени подвижности рабочего органа, выполнены с возможностью использования для перемещения и поворота рабочего органа путем определения нового положения и перемещения рабочего органа после проверки на достижимость с заданной частотой до тех пор, пока не будет выполнено условие прекращения движения.

4. Робот-ассистированный комплекс по пп. 1-3, в котором сервер управления и обработки данных, манипулятор и рабочий орган выполнены с возможностью на этапе исполнения операции автоматизированного наведения и перемещения центральной точки инструмента рабочего органа, совпадающей с положением кончика инструмента локальной деструкции, в плоскости сканирования трансдьюсера в центр выбранного кластера зоны локальной деструкции путем определения целевой зоны локальной деструкции на изображении УЗИ, решения обратной задачи кинематики рабочего органа, основанного на его геометрических характеристиках, и автоматизированного перемещения инструмента локальной деструкции на основе решения обратной задачи кинематики рабочего органа.

5. Робот-ассистированный комплекс по пп. 1-4, в котором сервер управления и обработки данных и графическое устройство ввода-вывода выполнены с возможностью визуализации в интерфейсе пользователя наложенных в реальном времени на УЗИ-изображения проекции целевой зоны локальной деструкции и прогнозируемой траектории движения инструмента локальной деструкции путем экстраполяции на основе собранных в моменты времени данных о положении кончика инструмента локальной деструкции в плоскости сканирования трансдьюсера.