Комбинированная интраоперационная навигационная система с использованием генерации ультразвуковых изображений методом трассировки лучей Российский патент 2024 года по МПК A61B8/08 A61B8/13 G06T7/11 G06T11/00 G06T15/06 

Уровень техники.

Ультразвуковое исследование является доступным и безопасным инструментом интраоперационной визуализации анатомических структур. Эта технология используется в комбинации со стереотаксическими системами навигации и алгоритмами отслеживания паттернов фрагмента для навигации при проведении диагностических и хирургических процедур.

Из научно-технической литературы и патентной документации известны патенты ЕР 1758506 В1, ЕР 3332712 А1, RU 2591595 C2, US 20170112465 A1, CN 102266250 B, US 10453360 B2, US 10565900 B2, RU 2688316 C1.

Патент ЕР 1758506 В1 (21 мая 2004 г. ), описывает систему навигации на основе 3D-УЗИ для проведения радиочастотной абляции. Данный патент описывает методику объединения в единую систему аппарата РЧА, аппарата УЗИ и различных типов хирургических навигационных систем. Патент описывает общие принципы и является основой для построения ультразвуковой навигационной системы. Его достоинством является применение 3D-УЗИ в интеграции с системой аппарата радиочастотной абляции. Патент содержит описание общих принципов автоматизированной процедуры РЧА и не затрагивая возможность использования для диагностики.

Похожим на вышеописанный, является патент ЕР 3332712 А1 (7 декабря 2016 г.) Он описывает общие принципы навигации для ультразвукового трансдьюсера. Однако его преимуществом является использование нейронных сетей. Нейронная сеть подготовлена на базе заранее сохраненных и размеченных изображений. Получаемое в реальном времени изображение с ультразвукового аппарата поступает в блок обработки данных, где на основе выбранного внутреннего органа поступают сообщения о корректировке положения трансдьюсера в пространстве, которое позволяет получить более качественное изображение искомой области. Для инерционного определения положения трансдьюсера используются гироскоп и акселерометр. Врач получает информацию о необходимости корректировки положения трансдьюсера путем вибрации самого трансдьюсера.

Патент RU 2591595 C2 (17 января 2011 г.), описывает систему и способ детектирования размещения иглы при биопсии под контролем изображения. Данная система содержит систему наведения, выполненную с возможностью доставки хирургического устройства в организм субъекта, детектор размещения и устройство регистрации места и времени каждого размещения. Мониторинг положения осуществляется путем применения устройства пространственного отслеживания, установленного на биопсийной игле. Данная система специализируется на лечении рака простаты, что ограничивает ее применение в области лечения других заболеваний.

Патент US 20170112465 A1 (22 ноября 2007 г.), описывает систему и методы контроля положения иглы для безопасной и точной биопсии. Данные методы основаны на построении трехмерной модели области тела, позволяя избежать попадания иглы в сосуды внутреннего органа. Построение траектории ввода иглы осуществляется вручную оператором. Важной особенностью системы является использование Допплеровского трансдьюсера с возможностью получения данных о наличии кровотока, что позволяет локализовать сосуды внутренних органов. Авторы также отмечают возможность применения системы не только для биопсии, но и для радиочастотной абляции.

Патент CN 102266250 B (19 июля 2011 г.), описывает ультразвуковую навигационную систему, в которой положение трансдьюсера определяется с помощью магнитных маркеров, позволяя отслеживать положение инструмента в реальном масштабе времени.

Недостатками приведенных выше патентов является отсутствие возможности совмещения изображений, полученных с помощью различных методов диагностики, таких как, например, компьютерная томография и ультразвуковое исследование.

Также необходимо отметить и следующие патенты, в рамках, используемых в изобретении технологий: US 10453360 B2, US 10565900 B2.

Патент US 10453360 B2 (18 октября 2018 г.), описывает методы симуляции ультразвукового изображения для виртуальной и дополненной реальности, его особенностью является учет деформации от давления трансдьюсера.

В свою очередь патент US 10565900 В2 (8 марта 2018 г.), описывает стохастические методы трассировки лучей для создания реалистичной картины ультразвукового изображения. Симулированное изображение создается на базе трехмерной модели органа, описания его поверхности и библиотеки отражений светового потока.

В качестве ближайшего аналога изобретения выбран патент RU 2688316 C1 (20 декабря 2013 г.), который описывает систему и способ для отслеживания проникающего инструмента. Данная система относится к системам наведения медицинских инструментов и предназначена для проведения биопсии внутренних органов. Особенностью системы является возможность улучшения процесса диагностики и лечения за счет наложения изображений из различных устройств - система оснащена запоминающим устройством, в которое входит модуль наложения изображений. Данный модуль работает в реальном времени, при этом наложенных изображений может быть больше, чем одно. Кроме того, система имеет модуль трехмерной реконструкции, выполненный с возможностью реконструировать объем трехмерного изображения целевой области из упомянутого одного или более двумерных изображений. Однако применение системы, по словам авторов, затруднено из-за существенного расхода игл с электромагнитным наконечником. Также авторы отмечают очень большое время настройки, что снижает адаптацию этой технологии.

Все представленные выше решения позволяют решать задачи диагностики и лечения, однако, обладают существенным недостатком - невозможностью одновременного отслеживания нескольких предварительно сегментированных анатомических структур. Для некоторых систем это связано со специализацией на диагностике и лечении определенных внутренних органов, для некоторых - методикой, основанной на отслеживании положения медицинского инструмента, оставляя задачу определения точки прицеливания и контроля траектории в поле деятельности медицинского персонала.

Раскрытие изобретения.

Предлагаемое изобретение направлено на решение задачи определения и визуализации в графическом виде количественных данных о положении в пространстве анатомических структур при ультразвуковом исследовании, используя комбинацию методов сегментации томографических изображений, симуляции ультразвуковых изображений, стереотаксической навигации, а также алгоритмы отслеживания паттернов фрагмента.

Общая структура элементов, необходимых для функционирования системы навигации показана на фигуре 1. Ее основой являются УЗИ-аппарат 10 и стереотаксическая навигационная система 15. Маркеры стереотаксической навигационной системы 17 закреплены на трансдьюсере 11 с плоскостью сканирования 13. Воксельная модель пациента построенная на базе компьютерной или магнитно-резонансной томографии 16 сведена в системе координат референсной рамки 14 стереотаксической системы навигации 15. Сервер обработки данных 18 соединен с стереотаксической системой навигации 15 и с УЗИ-аппаратом 10 посредством устройства видео-захвата 12. Результаты работы системы выводятся на устройство визуализации 19.

Последовательность действий, выполняемых системой в процессе своего функционирования показана на фигуре 2. В начале осуществляется загрузка результатов компьютерной или магнитно-резонансной томографии 16 в систему. Возможна загрузка данных с внешних носителей, по сети, либо из PACS-сервера. На полученных вексельных данных сегментируются структуры, которые представляют интерес в рамках проведения операции. Далее с помощью стереотаксической системы навигации выполняется приведение в единую систему координат референсной рамки 14 стереотаксической системы навигации 15, трансдьюсера 11. Для этого оптические маркеры размещаются на устройствах крепления трансдьюсера. С помощью стереотаксической системы навигации происходит регистрация текущего положения операционного участка пациента и трансдьюсера. Это позволяет отслеживать их относительное положение в системе координат стереотаксической системы навигации. Положение и ориентация трансдьюсера в системе координат референсной рамки 14 позволяет получить данные о положении и ориентации плоскости сканирования трансдьюсера. Выполняется формирование в плоскости сканирования трансдьюсера нужного среза воксельных данных, предварительно полученных с помощью компьютерной или магнитно-резонансной томографии, и совмещение двух изображений - ультразвукового и томограммы.

На фигуре 3 показана схема определения положения анатомических структур. Медицинский персонал выбирает необходимое положение трансдьюсера 11 в пространстве таким образом, чтобы иметь возможность наблюдать на ультразвуковом видеоизображении 33 интересующую структуру 39. При этом при каждом изменении положения трансдьюсера 11 происходит перерасчет данных среза томограммы 32, для осуществления совмещения двух изображений. Медицинский персонал имеет возможность на соответствующем срезе томограммы наблюдать сегментированные анатомические структуры 31 (новообразования, сосуды и т.д.), осуществлять выбор до 5 интересующих структур, на основе координат в пространстве изображения которых, автоматически выделяется зона 30 на срезе томограммы для инициализации алгоритма отслеживания.

С помощью компонента системы, ответственного за симуляцию ультразвукового изображения происходит процесс преобразования воксельных данных томограммы. Имеющиеся координаты, ограничивающие искомую зону на текущем срезе томограммы, используются для выделения области, которая будет подвержена симуляции изображения. Все воксели, находящиеся в пределах этой зоны, поступают на вход модулю генерации ультразвукового изображения.

Полученная воксельная модель 34 искомой зоны ориентируется согласно положению в пространстве ультразвукового трансдьюсера 11 и отрисовывается с помощью технологии трассировки лучей. Далее полученное изображение 35 подвергается искусственному зашумлению по алгоритму Кена Перлина и размытию по алгоритмам размытия движения, что позволяет добиться реалистичной симуляции ультразвукового изображения, добавляя искусственные артефакты на сгенерированное изображение.

Симулированное ультразвуковое изображение 36 используется для инициализации системы отслеживания паттернов на ультразвуковом видеоизображении 37. Ввиду того, что данный процесс является затратным с точки зрения вычислительных ресурсов, зона поиска на последующем кадре, на котором будет происходить поиск, должна быть ограничена. Погрешности сведения, а также естественные процессы в организме человека, такие как дыхание, приводят к смещению внутренних органов и, как следствие, искомой зоны. Задавая потенциальную максимальную амплитуду смещения объекта между кадрами, становится возможным ограничить область 38, в которой искомый объект может находиться на следующем кадре. Возможна как работа нескольких алгоритмов отслеживания, каждый из которых имеет свой весовой коэффициент, так и работа одного - при этом его весовой коэффициент равен 1, а коэффициенты остальных равняются нулю. Для экономии времени обработки алгоритмы с нулевым весовым коэффициентом не инициализируются и не исполняются. После расчета итогового положения анатомической структуры в системе координат референсной рамки стереотаксической системы навигации, данные обрабатываются и представляются медицинскому персоналу в графическом виде.

Задача изобретения - определение и визуализация в графическом виде количественных данных о положении в пространстве анатомических структур при ультразвуковом исследовании в том числе для осуществления навигации при роботизированных операциях.

Технический результат - получение количественных данных о положении в пространстве анатомических структур при ультразвуковом исследовании и представление этих данных в графическом виде для медицинского персонала.

Поставленная задача решается, а заявленный технический результат достигается при помощи обнаружения на интраоперационном ультразвуковом видеоизображении алгоритмом отслеживания паттернов фрагмента симулированного ультразвукового изображения искомой анатомической структуры, полученного на основе заранее сегментированного томографического изображения, совмещенного с плоскостью сканирования ультразвукового трансдьюсера.

Заявленное техническое решение позволяет, в отличие от ближайшего аналога (прототипа), определять на ультразвуковом видеоизображении положение до 5 заранее сегментированных на воксельных данных компьютерной, либо магнитно-резонансной томографии анатомических структур, а также визуализировать их положение. Результат работы системы в виде определенных координат искомой зоны может быть использован в других системах, например, в системе управления роботизированным манипулятором с целью автоматизированной коррекции движения медицинских инструментов.

Краткое описание чертежей.

Фигура 1. Общая структура элементов, необходимых для функционирования системы.

Фигура 2. Последовательность действий, выполняемых системой в процессе своего функционирования.

Фигура 3. Схема определения положения анатомических структур.

Фигура 4. Пользовательский интерфейс программного обеспечения.

Фигура 5. Фото испытательного стенда системы.

Позиции, приведенные на изображениях, соответствуют следующему:

10 - УЗИ-аппарат

11 - трансдьюсер

12 - устройство видео-захвата

13 - плоскость сканирования

14 - референсная рамка стереотаксической системы навигации

15 - стереотаксическая система навигации

16 - воксельная модель на основе данных томографии

17 - маркеры стереотаксической системы навигации

18 - сервер обработки данных

19 - устройство визуализации

30 - зона интереса

31 - сегментированные анатомические структуры

32 - перерасчет данных среза томограммы

33 - ультразвуковое видеоизображение

34 - воксельная модель искомой структуры

35 - зашумление и размытие симулированного изображения

36 - результирующее симулированное изображение

37 - модуль видеоотслеживания

38 - ограничение зоны поиска

39 - интересующая анатомическая структура

40 - фантом внутреннего органа

41 - окно томограммы

42 - окно сегментации

43 - сегментированная анатомическая структура

44 - ориентация анатомической структуры

45 - слой ультразвукового видеоизображения

46 - слой воксельных данных томографии

47 - ультразвуковое изображение в реальном времени

48 - выбранная сегментированная анатомическая структура

49 - плоскость сканирования трансдьюсера

Осуществление изобретения.

Для подтверждения возможности использования и работоспособности изобретения была проведена его имплементация в виде испытательного стенда, фотография которого показана на фигуре 5.

В качестве элементов системы использовалось следующее оборудование:

1.1 УЗИ-аппарат Philips Affiniti 50.

1.2 Стереотаксическая система навигации Мультитрек.

1.3 Сервер Dell (Intel Xeon Е, 3.3 ГГц, ОЗУ 16 ГБ).

Для подтверждения работоспособности изобретения был проведен эксперимент.Для этого использовался силиконовый фантом печени с пятью имитаторами новообразований диаметром 16 мм, позволяющий проводить визуализацию как при помощи компьютерной томографии, так и с помощью УЗИ-аппарата. Также в фантоме предусмотрена возможность имитации движения диафрагмы для обеспечения анатомически корректной деформации печени. При помощи компьютерного томографа Definition AS 128 (Siemens) были получены DICOM-изображения данного фантома, после чего фантом был размещен на операционном столе в комнате, симулирующей операционное помещение. В этом помещении также была размещена стереотаксическая система навигации Мультитрек, позволяющая определять координаты объектов, снабженных оптическими маркерами.

С помощью маркеров стереотаксической системы навигации были сведены в единую систему координат трансдьюсер ультразвукового аппарата и фантом печени.

На сервере была установлена плата видео-захвата, подключенная к цифровому видеовыходу УЗИ-аппарата. Полученное изображение в реальном времени с частотой 30 кадров в секунду поступало на вход программы обработки медицинских данных.

Для проведения эксперимента было разработано программное обеспечение, реализующее всю последовательность обработки данных. Первый модуль программного обеспечения принимал на вход данные о положении в пространстве трансдьюсера и выполнял преобразования предварительно проведенной компьютерной томографии. На основе сведения фантома печени в системе координат референсной рамки стереотаксической системы навигации и данных о текущем положении плоскости сканирования трансдьюсера, осуществлялся выбор нужного среза DICOM-изображения, для чего использовались открытые библиотеки VTK и ГТК. Данная процедура повторялась на каждом такте работы стереотаксической системы навигации.

Результат работы первого модуля передавался во второй модуль - модуль наложения изображения, после чего медицинский персонал наблюдал совмещенную картину ультразвукового исследования в реальном времени и предварительно осуществленной компьютерной томографии. Сегментированные на компьютерной томограмме анатомические структуры: пять имитаторов новообразований, представлялись для выбора врачу. При выборе той или иной сегментированной структуры на базе ее граничных координат определялась зона поиска. Все данные томографии, попавшие в эту зону, передавались на вход модулю симуляции ультразвукового изображения. Осуществлялась отрисовка двумерного изображения с использованием технологии трассировки лучей. Для реалистичности полученное изображение было зашумлено по алгоритму Перлина, после чего подверглось размытию движения. Получившаяся картинка была отправлена на вход третьему модулю - модулю отслеживания. Основой данного модуля на этапе эксперимента служила открытая библиотека OpenCV, дающая возможность интеграции в прикладное программное обеспечение алгоритмов отслеживания. В качестве входных данных для модуля отслеживания использовалось симулированное ультразвуковое изображение выбранного сегмента анатомической структуры (новообразования), а поступающее в реальном времени изображение с ультразвукового аппарата - для поиска паттерна. Отслеживание паттернов сегментированных структур проводилась комбинацией алгоритмов CSRT и KCF из библиотеки OpenCV.

Пользовательский интерфейс программного обеспечения представлен на фигуре 4, состоит из окна трехмерной сцены, на которой отображается воксельная структура, полученная с помощью компьютерной томографии фантома 40, динамически срезаемая в плоскости сканирования модели трансдьюсера 49. На данном срезе в реальном времени отображается ультразвуковое видеоизображение 47 и выбранная сегментированная анатомическая структура 48. В окне совмещения срезов отображается ультразвуковое видеоизображение 45 с наложенным соответствующим срезом воксельных данных 46, а также положение выбранной сегментированной анатомической структуры 43 на срезе воксельных данных и ее найденное алгоритмами отслеживания паттернов положение 44. В окне томограммы 41 отображаются срезы компьютерной томографии фантома, а в окне сегментации 42 выбранная воксельная сегментированная анатомическая структура.

Библиографические данные (список источников)

1. ЕР 1758506 В1

2. ЕР 3332712 А1

3. RU 2591595 C2

4. US 20170112465 A1

5. CN 102266250 В

6. US 10453360 B2

7. US 10565900 B2

8. RU 2688316 C1

Изобретение относится к медицине. Комбинированная интраоперационная навигационная система для определения и визуализации в графическом виде количественных данных о положении в пространстве анатомических структур при ультразвуковом исследовании основана на обнаружении на интраоперационном ультразвуковом видеоизображении алгоритмами отслеживания паттернов фрагмента, использующими в качестве инициализирующего изображения симуляцию ультразвукового изображения, одновременно до 5 фрагментов симулированного с помощью технологии трассировки лучей ультразвукового изображения анатомических структур, полученных на основе среза заранее сегментированных воксельных данных томографического изображения, совмещенного с плоскостью сканирования ультразвукового трансдьюсера при помощи стереотаксической системы навигации. Техническим результатом является получение количественных данных о положении в пространстве анатомических структур при ультразвуковом исследовании и представление этих данных в графическом виде для медицинского персонала. 5 ил.

Комбинированная интраоперационная навигационная система для определения и визуализации в графическом виде количественных данных о положении в пространстве анатомических структур при ультразвуковом исследовании, содержащая:

УЗИ-аппарат, включающий трансдьюсер с плоскостью сканирования, на котором размещены оптические маркеры стереотаксической системы навигации;

стереотаксическую систему навигации, выполненную с возможностью приведения в единую систему координат референсной рамки стереотаксической системы навигации и трансьюсера для получения данных о положении и ориентации плоскости сканирования трансдьюсера;

сервер обработки данных, который соединен с УЗИ-аппаратом посредством устройства видеозахвата и соединен со стереотаксической системой навигации;

устройство визуализации, выполненное с возможностью вывода результатов работы системы;

при этом система основана на обнаружении на интраоперационном ультразвуковом видеоизображении алгоритмами отслеживания паттернов фрагмента, использующими в качестве инициализирующего изображения симуляцию ультразвукового изображения, одновременно до 5 фрагментов симулированного с помощью технологии трассировки лучей ультразвукового изображения анатомических структур, полученных на основе среза заранее сегментированных воксельных данных томографического изображения, совмещенного с плоскостью сканирования ультразвукового трансдьюсера при помощи стереотаксической системы навигации.