УЛУЧШЕНИЕ СОВМЕСТНОЙ ВИЗУАЛИЗАЦИИ УСТРОЙСТВА И АНАТОМИИ Российский патент 2014 года по МПК G06T7/00 A61B19/00 

В целом, изобретение относится к устройству и способу визуализации интересующего объекта вместе с устройством, находящимся внутри интересующего объекта. Кроме того, изобретение относится к применению упомянутого устройства, а также к компьютерному программному продукту для управления устройством для визуализации интересующего объекта вместе с устройством, находящимся внутри интересующего объекта.

В частности, изобретение относится к устройству или способу визуализации анатомической структуры вместе с устройством, применяемым для лечения пациентов.

Область техники, к которой относится изобретение

Описание основных интервенционных процедур, которые могут выполняться с системой визуализации для чрескожной транслюминальной коронарной ангиопластики (PTCA), для лечения сердечных стенозов, может быть найдено в документе "Algorithmic Solutions for Live Device-to-Vessel Match". J. Bredno, B. Martin-Leung & K. Eck. In Proceedings of SPIE - Volume 5370 - Medical Imaging 2004: Image Processing, J. Michael Fitzpatrick, Milan Sonka, Editors, Май 2004, стр. 1486-1497.

В документе написано: "После того как катетер введен в сосудистую систему в месте доступа, его продвигают по крупным сосудам к сосудистой структуре, которая требует лечения. Контрастное вещество вводится через катетер и рентгеновское оборудование лаборатории катетеризации регистрирует ангиографическую последовательность, которая показывает сосуды при наполнении контрастным веществом. Получение диагностической ангиограммы можно повторять с различной геометрией изображений. Диагностика и планирование вмешательства основаны на таких диагностических ангиограммах (…). Во время вмешательства гибкий, частично или полностью рентгеноконтрастный проволочный направитель продвигается к подлежащим воздействию сосудистым структурам (например, стенозам в коронарных артериях, нервно-сосудистым аневризмам или артериовенозным образованиям). Флюороскопическое наблюдение с помощью низких доз рентгеновских лучей визуализирует проволочный направитель (…) и обеспечивает зрительно-моторную координацию интервенционалиста при продвижении проволочного направителя. После установки проволочный направитель служит в качестве рельса для доставки интервенционных устройств (например, баллонов для дилатации и доставки стента, съемных спиралей для закупоренных просветов аневризмов). Доставка и размещение интервенционных устройств также контролируются флюороскопией".

Теперь одной из самых деликатных фаз при PTCA является протягивание наконечника проволочного направителя через целевые поражения (стеноз). Стенки сосудов в этом месте, как правило, неравномерны, и по определению проход сужается. Отсюда следует, что прохождение области стеноза является одной из наиболее трудоемких (и, следовательно, генерирующей дозы) частей вмешательства.

Другая деликатная фаза состоит в размещении маркеров стента или баллонов по отношению к целевому поражению. Точность этого размещения является очень важной, поскольку она определяет, где баллон и/или стент должны быть размещены.

Одной из причин, почему фаза прохождения области стеноза является трудной, является то, что она достигается почти вслепую и на движущейся цели. Большую часть времени кардиолог видит только наконечник проволочного направителя, пытаясь выяснить, как выглядит стеноз и каким является точное местоположение наконечника в пределах области этого стеноза. В этом процессе кардиолог часто вводит небольшое количество контрастного вещества, чтобы помочь выяснить, где находится наконечник по отношению к стенозу, а затем приступает к хирургическому вмешательству.

Кроме того, при позиционировании маркеров стентов/баллонов по отношению к стенозу кардиолог вводит небольшое количество контрастного вещества, чтобы определить, как маркеры должны быть перемещены для достижения оптимальной локализации.

В обоих случаях (прохождение области стеноза и размещение маркеров) ввод контрастного вещества помогает, но он по-прежнему включает в себя сложный процесс из-за ряда факторов, включая:

- наличие многих движений (сердечных, дыхательных, потока контрастного вещества, устройства),

- тот факт, что из-за движения масштабирование ограничено,

- плохая контрастность изображений из-за условий флюороскопии.

Теперь в целях улучшения ситуации можно использовать технологию, которая называется улучшением визуализации устройства (смотрите, например, "Registration and Integration for Fluoroscopy Device Enhancement". James C. Ross, David Langan, RaviManjeshwar, John Kaufhold, Joseph Manak, and David Wilson. Miccai 2005.), где можно компенсировать движения устройства при одновременном повышении видимости устройства с помощью интегрирования по времени.

Для технологии улучшения визуализации устройства может использоваться система визуального наблюдения, выполняющая способ обработки изображений. Система визуального наблюдения содержит средство для получения последовательности изображений и для обработки и визуализации упомянутых изображений в режиме реального времени. Система содержит средство инициализации, применяемое к исходным изображениям, для извлечения и локализации интересующего объекта, который может двигаться по отношению к референтному изображению, фон движется как по отношению к референтному изображению, так и по отношению к объекту. Средство инициализации затем содержит средство регистрации интересующего объекта по отношению к референтному изображению. Эта система дополнительно содержит средство обработки для автоматического усовершенствования обзора интересующего объекта, для минимизации шума и для размывания или выцветания фона изображений. Упомянутые средства обработки включают в себя по меньшей мере средство для проведения технологии временного интегрирования, которое выполняется по меньшей мере для двух изображений, где интересующий объект был зарегистрирован по отношению к референтному изображению изображений. Поскольку после регистрации объекта фон еще движется по отношению к референтному изображению изображений, эта технология временного интегрирования обеспечивает усовершенствование обзора интересующего объекта, при минимизации шума и размывании и выцветании фона.

Однако, если устройство движется по отношению к окружающей анатомии (что является обычным случаем для применений, представленных выше), то регистрация на основе устройства и интегрирование связана с ухудшением видимости анатомии (становится размытой) и таким образом с ухудшением локализации устройства по отношению к этой анатомии.

Сущность изобретения

Целью настоящего изобретения является улучшение этой ситуации и предложение удобного способа наблюдения как устройства, так и интересующего объекта. В частности, важно правильно визуализировать перемещение устройства в стабилизированном референтном изображении, связанном с интересующим объектом, с усовершенствованным обзором как устройства, так и интересующего объекта.

Эти и другие аспекты изобретения будут очевидны из и объяснены со ссылкой на вариант осуществления, рассматриваемый далее.

В целом, устройство или способ предлагается для визуализации интересующего объекта вместе с устройством, находящимся внутри интересующего объекта. Устройство содержит блок формирования изображений, выполненный с возможностью предоставления информации об изображении интересующего объекта и устройства, блок обработки и дисплей, выполненный с возможностью отображения изображения, причем изображение является сочетанием информации об изображении устройства и улучшенной информации об изображении интересующего объекта. Здесь, блок обработки выполнен с возможностью выполнения следующих этапов: обнаружения и сегментации устройства на основе информации об изображении, обеспечиваемой блоком формирования изображений; стирания информации об изображении устройства; регистрации интересующего объекта на основе предоставленной информации об изображении; улучшения информации об изображении интересующего объекта; повторного добавления информации об изображении устройства.

Способ согласно изобретению будет рассмотрен подробно ниже. Кроме того, согласно изобретению, этапы способа могут храниться как компьютерный программный продукт, управляющий устройством для выполнения этапов способа, на машиночитаемом носителе.

В следующем описании изобретение будет рассмотрено посредством примерного варианта осуществления в связи с прилагаемой фигурой.

Фиг.1 является схемой, изображающей схематично этапы способа согласно изобретению.

Предлагается объединить способ обнаружения устройства и технологии улучшения визуализации анатомии таким образом, чтобы привести к усовершенствованию обзора как устройства (например, маркеров стента/баллона или наконечника проволочного направителя) и окружающей анатомии (например, стеноза) в пределах зарегистрированного референтного изображения анатомии.

Существенная особенность изобретения состоит в следующем:

- автоматическое обнаружение и отслеживание устройства (например, маркеров или проволочного наконечника),

- сегментация устройства, желательно после улучшения его визуализации,

- определение момента, когда контрастное вещество достигает область возле устройства, делая анатомию (например, стеноз) видимой. Это осуществляется путем наблюдения контрастности устройства во времени,

- на основе сегментации устройства применение способа стирания для создания изображения без устройства,

- инициирование регистрации анатомии вокруг обнаруженного устройства, но в данных без учета устройства,

- применение улучшения визуализации анатомии, таким образом, улучшая видимость анатомии и позволяя регистрацию (возможно, с фрагментным деформированием),

- повторный ввод устройства (вожможно, с независимо улучшенной визуализацией с помощью обычной технологии) в зарегистрированном референтном изображении анатомии.

Как показано на Фиг.1, предложенный способ основывается на нескольких этапах, выполняемых автоматически и на каждом отдельном сеансе флюороскопии, например, при кардиологическом хирургическом вмешательстве на основе катетера.

На этапе S1 устройство обнаруживается и отслеживается. Это означает, что сеанс флюороскопии анализируется в реальном времени и целевое устройство обнаруживается (локализуется) и отслеживается. Поскольку устройства (маркеры и наконечник проволочного направителя) как правило хорошо идентифицируемы, эта процедура может быть полностью автоматизирована, не требуя (или требуя очень небольшого) взаимодействия с пользователем. Например, для маркеров стента/баллона эта процедура уже заложена в улучшение визуализации стента, как описано выше.

На этапе S2 в качестве дополнительной задачи может быть получено улучшение визуализации всего устройства. Поскольку обнаружение и отслеживание уже получены, это соответствует временному интегрированию плюс усовершенствованный вид в пространстве. После улучшения визуализации отношение сигнал/шум для устройства улучшается, что облегчает последующую сегментацию.

На этапе S3 устройство сегментируется. На этапе S1 устройство было обнаружено, то есть точно локализовано. Но это не обязательно означает, что оно сегментируется. Например, при улучшении визуализации стента маркеры точно локализуются через их центроиду, но они не обязательно сегментируются. Однако из-за его интенсивной сигнатуры, доступности его локализации и из-за того, что можно (при желании) полагаться на версию этого устройства после улучшения визуализации обычные технологии могут использоваться для получения сегментации устройства. Однако нечеткая сегментация (создание отображения устройства, где каждое значение представляет вероятность присутствия устройства) также возможна.

На этапе S4 контрастное вещество обнаруживается. После того как устройство сегментируется (или просто локализуется и нечетко представляется), контраст между устройством и окружающей его областью временно анализируется. Это позволяет наблюдать поступление контрастного вещества и автоматически запускать процедуру улучшения совместной визуализации устройства и анатомии в момент, когда возможны отслеживание и обнаружение анатомии (поскольку сделано достаточно видимым посредством контрастного вещества).

На этапе S5 изображение устройства стирается или ослабляется. Благодаря сегментации изображение устройства может быть удалено или ослаблено, причем сегментация просто означает получение отображения устройства, указывающего для каждого пиксела вероятность "присутствия устройства" на этой позиции. Это может быть получено с помощью стандартных так называемых способов "in-painting" (удаления нежелательных объектов с изображения). Однако полное устранение устройства не требуется, так что можно также получить этап ослабления изображения устройства благодаря нечеткой сегментации (или отображению устройства).

На этапе S6 интересующий объект регистрируется. В основном регистрация является идентификацией интересующего объекта в последовательности нескольких изображений. Эта регистрация может быть получена посредством обнаружения интересующего объекта и его отслеживания или она может быть получена посредством прямой оценки векторного поля движения вблизи устройства без явного обнаружения. Благодаря локализации устройства интересующий объект, обычно анатомия (сегмент сосуда или стеноз), может обнаруживаться и отслеживаться в изображениях без устройства (так, что устройство "не мешает" алгоритму обнаружения анатомии). Однако это не является необходимым, и анатомия также может непосредственно обнаруживаться и отслеживаться (благодаря информации о локализации устройства) в исходных изображениях флюороскопии. Интересно заметить, что обнаружение устройства и обнаружение анатомии могут быть тесно связаны. Обнаружение анатомии не может быть инициировано без локализации устройства, но когда это происходит, контрастное вещество ухудшает видимость устройства при увеличении видимости анатомии. Может быть полезным использование информации отслеживания анатомии для обеспечения в качестве обратной связи информации локализации анатомии для применения к отслеживанию устройства с целью улучшения выполнения последнего (поскольку устройство, которое нужно найти, находится близко - или в целом в пространственной связи - с анатомией).

На этапе S7 улучшается визуализация интересующего объекта. После регистрации визуализация интересующего объекта или анатомии может быть улучшена, то есть возможны регистрация в референтном изображении анатомии, временное интегрирование и усовершенствование пространственного обзора. Это может потребовать гибкой регистрации. Дополнительное масштабирование затем конечно возможно.

На этапе S8 добавляется устройство снова. Устройство (сегментированное или нечетко представленное) может затем повторно добавляться (с правильным геометрическим преобразованием) в последовательность зарегистрированной анатомии с улучшенной визуализацией, таким образом, обеспечивая стабилизированную (возможно, увеличенную в масштабе) последовательность, где усовершенствован обзор как анатомии, так и устройства, и их относительные движения можно наблюдать без смазывания.

В результате получается отображение изображения, показывающего анатомию и устройство с улучшенной визуализацией в зарегистрированной анатомии. Альтернативно, на дисплее устройство и анатомия могут быть показаны с их естественными движениями. В некоторых приложениях может быть даже выгодно зарегистрировать отображаемое изображение по отношению к устройству и показать движение анатомии в референтном изображении, связанном с устройством.

Согласно другим вариантам осуществления, нечеткое представление (отображение устройства) может использоваться вместо жесткой сегментации устройства, и обнаружение анатомии может происходить без предварительного стирания устройства.

Это изобретение может применяться в рентгенографических кардиологических системах для перкутанных коронарных вмешательств (Percutaneous Coronary Interventions, PCI). PCI является одним из наиболее важных применений кардиологических систем и рынок огромный. Сокращение продолжительности хирургического вмешательства, уменьшение необходимого количества доз и контрастного вещества и повышение надежности процедуры и комфорта кардиолога - это цели, которые одновременно выполняются изобретением. При рентгенографии электрофизиологические вмешательства (предсердная абляция или размещения стимуляторов сердца) могут также быть возможными применениями.

Что касается других возможных применений, любая система визуализации вмешательства может потенциально затрагиваться. Это может быть случай ультразвука, когда биопсия рассматривается. Игла для биопсии является устройством, и она прогрессирует в возможно движущийся целевой орган. Орган может двигаться из-за дыхания или движения пациента, или из-за естественного движения органа, или из-за взаимодействия с иглой. Для биопсии также очень желательно, чтобы ясно видеть устройство и целевой орган одинаково хорошо, и чтобы иметь возможность определить движение иглы по отношению к целевому органу.

Хотя изобретение было проиллюстрировано и описано подробно на чертежах и в описании выше, такая иллюстрация и описание должны рассматриваться как иллюстративные или примерные, а не ограничительные; изобретение не ограничивается раскрытыми вариантами осуществления.

Другие изменения к раскрытым вариантам осуществления могут быть понятны и осуществлены специалистами в данной области техники при реализации заявленного изобретения, из изучения чертежей, раскрытия и прилагаемой формулы изобретения. В пунктах формулы изобретения слово "содержащий" не исключает другие элементы или этапы, и единственное число не исключает множественность. Один процессор или другой блок могут выполнять функции нескольких элементов, изложенных в формуле изобретения. Тот факт, что конкретные меры излагаются во взаимно различных зависимых пунктах формулы изобретения, не указывает на то, что сочетание этих мер не может быть использовано для преимущества. Компьютерная программа может храниться/распределяться на подходящем носителе, таком как оптический носитель или твердотельный носитель, поставляемым вместе с или в составе другого оборудования, но может также распространяться в других формах, таких как через Интернет или другие проводные или беспроводные телекоммуникационные системы. Любые ссылочные позиции в формуле изобретения не должны истолковываться как ограничивающие область изобретения.

Изобретения относятся к средствам визуализации интересующего объекта вместе с устройством, применяемым для лечения пациента. Технический результат заключается в обеспечении возможности компенсировать движение устройства, применяемого для лечения и находящегося внутри интересующего объекта, с помощью временной интеграции. Устройство содержит блок формирования изображений, выполненный с возможностью предоставления информации об изображении интересующего объекта и устройства, находящегося внутри, блок обработки и дисплей, который выполнен с возможностью визуализации изображения, являющегося сочетанием информации об изображении устройства и улучшенной информации об изображении интересующего объекта. При этом он выполняет обнаружение и сегментацию устройства на основе информации об изображении, обеспечиваемой блоком формирования изображений; стирание информации об изображении устройства; обнаружение интересующего объекта на основе предоставленной информации об изображении; улучшение за счет временной интеграции информации об изображении интересующего объекта с повторным добавлением информации об изображении устройства. 4 н. и 7 з.п. ф-лы, 1 ил.

1. Устройство для визуализации интересующего объекта и устройства, применяемого для лечения, находящегося внутри интересующего объекта, при этом устройство для визуализации содержит:
- блок формирования изображений, выполненный с возможностью предоставления информации об изображении интересующего объекта и устройства, применяемого для лечения,
- блок обработки, выполненный с возможностью выполнения этапов:
обнаружения и сегментации устройства, применяемого для лечения, на основе информации об изображении, обеспечиваемой блоком формирования изображений;
стирания информации об изображении устройства, применяемого для лечения;
регистрации интересующего объекта на основе предоставленной информации об изображении;
улучшения информации об изображении интересующего объекта путем компенсации движения упомянутого устройства, применяемого для лечения, при одновременном повышении видимости анатомии с помощью интегрирования по времени;
повторного добавления информации об изображении устройства, применяемого для лечения, и
дисплей, выполненный с возможностью отображения изображения, причем изображение является сочетанием информации об изображении устройства, применяемого для лечения, и улучшенной информации об изображении интересующего объекта.

2. Устройство по п.1, в котором блок формирования изображений является системой СТ или системой MR, или ультразвуковой системой.

3. Устройство по п.1, в котором регистрация интересующего объекта включает в себя обнаружение интересующего объекта и его отслеживание или включает прямую оценку векторного поля движения вблизи устройства, применяемого для лечения.

4. Устройство по п.1, в котором блок обработки выполнен с возможностью выполнения дальнейшего этапа улучшения информации об изображении устройства, применяемого для лечения.

5. Устройство по п.1, в котором блок обработки автоматически выполняет этапы стирания информации об изображении устройства, применяемого для лечения, обнаружения интересующего объекта, улучшения информации об изображении интересующего объекта и повторного добавления информации об изображении устройства, применяемого для лечения, в случае, если контрастное вещество обнаружено блоком обработки.

6. Способ визуализации интересующего объекта и устройства, применяемого для лечения, находящегося внутри интересующего объекта, при этом способ содержит этапы, на которых:
предоставляют информацию об изображении интересующего объекта и устройства, применяемого для лечения;
обнаруживают и сегментируют устройство, применяемое для лечения, на основе информации об изображении;
стирают информацию об изображении устройства, применяемого для лечения;
регистрируют интересующий объект на основе информации об изображении;
улучшают информацию об изображении интересующего объекта путем компенсации движения упомянутого устройства, применяемого для лечения, при одновременном повышении видимости анатомии с помощью интегрирования по времени;
повторно добавляют информацию об изображении устройства, применяемого для лечения;
отображают изображение, являющееся сочетанием улучшенной информации об изображении интересующего объекта и информации об изображении устройства, применяемого для лечения.

7. Способ по п.6, в котором этап регистрации интересующего объекта включает обнаружение интересующего объекта и его отслеживание или включает прямую оценку векторного поля движения вблизи устройства, применяемого для лечения.

8. Способ по п.6, в котором способ дополнительно содержит этап улучшения информации об изображении устройства, применяемого для лечения.

9. Способ по п.6, в котором способ дополнительно содержит этап обнаружения контрастного вещества для инициирования этапов стирания информации об изображении устройства, применяемого для лечения, обнаружения интересующего объекта, улучшения информации об изображении интересующего объекта и повторного добавления информации об изображении устройства, применяемого для лечения.

10. Способ визуализации интересующего объекта и устройства, применяемого для лечения, находящегося внутри интересующего объекта, выполняемый блоком обработки устройства для визуализации, содержащий этапы:
обнаруживают и сегментируют устройство, применяемое для лечения, на основе информации об изображении, предоставляемой блоком формирования изображений устройства для визуализации;
стирают информацию об изображении устройства, применяемого для лечения;
регистрируют интересующий объект на основе предоставленной информации об изображении;
улучшают информацию об изображении интересующего объекта путем компенсации движения упомянутого устройства, применяемого для лечения, при одновременном повышении видимости анатомии с помощью интегрирования по времени;
повторно добавляют информацию об изображении устройства, применяемого для лечения.

11. Машиночитаемый носитель, на котором хранится компьютерная программа для управления устройством для визуализации интересующего объекта вместе с устройством, применяемым для лечения, находящимся внутри интересующего объекта, согласно способу по любому из пп.6-9.