СОВМЕЩЕНИЕ ДВУМЕРНЫХ/ТРЕХМЕРНЫХ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК G06T7/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к совмещению двумерных изображений с трехмерными объемными данными. Настоящее изобретение, в частности, относится к устройству формирования изображений для совмещения двумерных изображений с трехмерными объемными данными, системе формирования изображений для совмещения двумерных и трехмерных данных изображения, способу для совмещения двумерных изображений с трехмерными объемными данными, а также элементу компьютерной программы и машиночитаемому носителю.

УРОВЕНЬ ТЕХНИКИ

Сочетание двумерного изображения с трехмерными объемными данными полезно, например, во время медицинского обследования и интервенционных процедур. В качестве примера сочетание двумерных и трехмерных данных, где два типа данных совмещаются друг с другом, делает возможным сочетание реального изображения в виде двумерного изображения, дополненного дополнительной визуальной информацией в виде трехмерных данных изображения. Совмещение двумерного изображения с трехмерными данными изображения необходимо для того, чтобы сделать возможным визуальное сочетание. Совмещение может обеспечиваться, например, двумя двумерными изображениями, снятыми в разных проекциях. Они могут затем использоваться для ручного совмещения в итеративной многоэтапной процедуре. WO 2008/120136 A1 описывает машинное (компьютерное) совмещение трехмерных объемных данных и двумерных данных изображения. В качестве дополнительной возможности трехмерное сканирование до и после вмешательства, то есть трехмерные данные изображения до и после вмешательства, можно получить для совмещения на основе изображений. Однако выявлено, что режимы совмещения являются либо утомительными и трудоемкими для пользователя, либо обладают ограниченной областью применения из-за технических ограничений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Цель настоящего изобретения - обеспечить двумерное/ трехмерное совмещение с упрощенной последовательностью действий для пользователя.

Цель настоящего изобретения решается предметом изобретения из независимых пунктов формулы изобретения, где дополнительные варианты осуществления включаются в зависимые пункты формулы изобретения.

Следует отметить, что нижеследующие описанные особенности изобретения также применяются для способа, устройства формирования изображений, системы формирования изображений, элемента компьютерной программы и машиночитаемого носителя.

В соответствии с особенностью изобретения обеспечивается способ для совмещения двумерных изображений с трехмерными объемными данными, содержащий следующие этапы:

a) обеспечение трехмерных объемных данных объекта, содержащих систему координат;

b) задание по меньшей мере одного направления преобразования в отношении трехмерных объемных данных;

c) обеспечение двумерного изображения объекта с плоскостью изображения и проецирование по меньшей мере одного направления преобразования на плоскость изображения;

d) выравнивание системы координат с двумерным изображением, где по меньшей мере одно значение выравнивающего взаимодействия проецируется по меньшей мере на одно направление преобразования, чтобы определить по меньшей мере одно преобразованное значение взаимодействия; и

e) перенос системы координат с помощью по меньшей мере одного преобразованного значения взаимодействия.

В соответствии с примерным вариантом осуществления этап b) содержит задание второго направления проецирования, которое вместе с первым направлением проецирования образует плоскость преобразования в отношении трехмерных объемных данных. Этап c) содержит проецирование плоскости преобразования на плоскость изображения. Этап d) содержит проецирование по меньшей мере одного значения выравнивающего взаимодействия на плоскость преобразования.

В соответствии с примерным вариантом осуществления этап a) содержит обеспечение первого двумерного изображения объекта с первой плоскостью изображения в первом направлении наблюдения и смешивание двумерного изображения с визуализацией трехмерных объемных данных. Перед этапом b) обеспечивается этап i), содержащий выравнивание системы координат с первым двумерным изображением. Этап b) содержит задание плоскости преобразования перпендикулярно первой плоскости изображения. Этап c) содержит обеспечение второго двумерного изображения объекта со второй плоскостью изображения во втором направлении наблюдения и проецирование плоскости преобразования на второе двумерное изображение. Этап d) содержит выравнивание системы координат со вторым двумерным изображением для определения по меньшей мере одного преобразованного значения взаимодействия.

В соответствии с дополнительным примерным вариантом осуществления на этапе i) система координат выравнивается с помощью пространственного переноса объемных данных в рамках первой плоскости изображения. Кроме того, на этапе d) система координат выравнивается с помощью пространственного переноса объемных данных в рамках второй плоскости изображения. Более того, на этапе e) система координат переносится в рамках плоскости преобразования.

В соответствии с примерным вариантом осуществления трехмерные объемные данные обеспечиваются в первой проекции, соответствующей первому направлению наблюдения на этапе a). На этапе d) объемные данные обеспечиваются во второй проекции, соответствующей второму направлению наблюдения.

В соответствии с дополнительной особенностью обеспечивается устройство формирования изображений для совмещения двумерных изображений с трехмерными объемными данными, содержащее блок обработки, блок отображения и блок выравнивания. Блок обработки выполнен с возможностью обеспечения трехмерных объемных данных, содержащих систему координат. Блок обработки также выполнен с возможностью задания по меньшей мере одного направления преобразования в отношении плоскости изображения. Кроме того, блок обработки выполнен с возможностью обеспечения двумерного изображения с плоскостью изображения и проецирования по меньшей мере одного направления преобразования на плоскость изображения. Кроме того, блок обработки выполнен с возможностью проецирования по меньшей мере одного значения выравнивающего взаимодействия по меньшей мере на одно направление преобразования, чтобы определить по меньшей мере одно преобразованное значение взаимодействия, и переноса системы координат с помощью по меньшей мере одного преобразованного значения взаимодействия. Блок выравнивания выполнен с возможностью выравнивания системы координат с первым двумерным изображением и выравнивания системы координат со вторым двумерным изображением.

В соответствии с примерным вариантом осуществления блок обработки выполнен с возможностью обеспечения первого двумерного изображения с первой плоскостью изображения и смешивания двумерного изображения с визуализацией трехмерных объемных данных. Блок обработки также может быть выполнен с возможностью задания второго направления проецирования, которое вместе с первым направлением проецирования образует плоскость (116) преобразования в отношении трехмерных объемных данных, например, перпендикулярную первой плоскости изображения. Кроме того, блок обработки выполнен с возможностью обеспечения второго двумерного изображения со второй плоскостью изображения и проецирования плоскости преобразования на второе двумерное изображение со второй плоскостью изображения. Кроме того, блок обработки выполнен с возможностью проецирования по меньшей мере одного значения выравнивающего взаимодействия на плоскость преобразования, чтобы определить по меньшей мере одно преобразованное значение взаимодействия.

Двумерные изображения могут быть изображениями рентгеноскопии. Трехмерные объемные данные могут обеспечиваться в виде объемных данных КТ (компьютерная томография).

Отметим, что данные изображения можно получить с помощью контрастного вещества или без него в зависимости от структуры или элементов, используемых для совмещения.

В соответствии с дополнительным примером объемные данные КТ могут быть сегментированными объемными данными.

В соответствии с дополнительным не показанным примером двумерные изображения также могут обеспечиваться в виде ультразвуковых изображений.

В соответствии с дополнительной особенностью изобретения обеспечивается система формирования изображений для совмещения двумерных и трехмерных данных изображения, содержащая приспособление получения изображений и устройство формирования изображений в соответствии с вышеупомянутой особенностью. Приспособление получения изображений выполнено с возможностью сбора данных для первого двумерного изображения и второго двумерного изображения.

Например, приспособление получения изображений также выполнено с возможностью сбора трехмерных объемных данных.

Таким образом, сущность изобретения - обеспечить способ взаимодействия, в котором перемещение системы координат в одном изображении приведет к минимальным и предсказуемым изменениям в другом изображении. В соответствии с настоящим изобретением пользователь может совмещать систему координат двумерного и трехмерного изображения в двумерных изображениях без необходимости многократной корректировки каких-либо представлений. Например, при манипулировании системой координат трехмерных данных в представлении манипулирования перемещения в другом представлении минимальны и предсказуемы, насколько это возможно. При манипулировании другим представлением минимизируются перемещения в первом представлении. В одном примере это достигается только путем разрешения перемещений в представлении манипулирования, которые соответствуют направлению вверх и вниз и направлению вперед и назад у другого опорного представления. Это достигается путем проецирования выравнивающего взаимодействия на плоскость преобразования, которая перпендикулярна плоскости двумерного изображения у другого изображения. Тогда система координат трехмерных данных переносится с помощью преобразованного значения взаимодействия вместо использования непосредственно выравнивающего взаимодействия.

Эти и другие особенности настоящего изобретения станут очевидными и разъясненными со ссылкой на варианты осуществления, описанные ниже.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

В дальнейшем будут описываться примерные варианты осуществления изобретения со ссылкой на следующие чертежи.

Фиг.1 иллюстрирует систему формирования изображений для совмещения двумерных и трехмерных данных изображения в соответствии с примерным вариантом осуществления изобретения.

Фиг.2 иллюстрирует устройство формирования изображений для совмещения двумерных изображений с трехмерными объемными данными в соответствии с изобретением.

Фиг.3 иллюстрирует основные этапы способа для совмещения двумерных изображений с трехмерными объемными данными в соответствии с примерным вариантом осуществления изобретения.

Фиг. 4-7 показывают дополнительные примерные варианты осуществления способов в соответствии с изобретением.

Фиг. 8a)-8d) показывают дополнительные особенности совмещения двумерных и трехмерных данных изображения в соответствии с примерным вариантом осуществления изобретения.

Фиг.9 показывает дополнительную особенность совмещения двумерных/трехмерных данных изображения в соответствии с примерным вариантом осуществления изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг.1 показывает систему 10 формирования изображений для совмещения двумерных и трехмерных данных изображения. Обеспечивается приспособление 12 получения изображений и устройство 14 формирования изображений для совмещения двумерных изображений с трехмерными объемными данными. Последнее также будет описываться со ссылкой на Фиг.2.

Приспособление 12 получения изображений снабжается рентгеновским источником 16 и детектором 18. Дополнительно обеспечивается гентри 20. Более того, обеспечивается стол 22 для принятия интересующего объекта, например пациента 24.

Рентгеновский источник 16 формирует пучок 26 рентгеновских лучей так, что пучок 26 рентгеновских лучей излучается в направлении детектора 18.

Рентгеновский источник 16 и детектор 18 обеспечиваются на противоположных сторонах конструкции 20 гентри. Объект, например пациент 24, может размещаться соответственно между рентгеновским источником 16 и детектором 18, чтобы иметь возможность получения графической информации об объекте. Стол 22 можно регулировать как в направлении высоты, так и в продольном, то есть горизонтальном, направлении. Кроме того, гентри 20 может иметь вращающуюся часть, на которую устанавливается рентгеновский источник 16 и детектор 18, чтобы вращать приспособление обнаружения источника вокруг пациента. Таким образом, графическая информация может собираться из разных направлений.

Например, гентри 20 является частью системы КТ.

Система 10 формирования изображений также может обеспечиваться в виде системы с рамой C-типа, где рентгеновский источник и детектор устанавливаются на противоположных концах рамы C-типа вместо установки на вращающуюся гентри, как показано на Фиг.1. Система 10 формирования изображений также может снабжаться фиксированным приспособлением "рентгеновский источник/детектор".

В соответствии с Фиг.1 приспособление 12 получения изображений выполнено с возможностью получения первых и вторых двумерных изображений. Приспособление 12 получения изображений также выполнено с возможностью получения трехмерных объемных данных объекта, например, путем получения последовательности двумерных изображений.

Если система формирования изображений снабжается фиксированным приспособлением "рентгеновский источник/детектор", то есть приспособлением получения изображений, обеспеченным главным образом для получения только двумерных изображений в единственном направлении проецирования относительно объекта, то трехмерные объемные данные, которые нужно совмещать с двумерным изображением, полученным этой системой, обеспечиваются дополнительным средством, например дополнительной системой формирования изображений или другим способом воздействия.

Устройство 14 формирования изображений содержит блок 28 обработки, блок 30 отображения и блок 32 выравнивания.

Блок 28 обработки выполнен с возможностью приема данных изображения, обеспеченных приспособлением 12 получения изображений, что указывается соединительной линией 34. Соединение может обеспечиваться в виде проводного соединения или в виде беспроводного соединения. Кроме того, блок 30 отображения подключается к блоку 28 обработки посредством соединения 36. Блок 32 выравнивания подключается к блоку 28 обработки посредством соединения 38. Блок выравнивания или блок отображения также могут подключаться напрямую или подключаться через приспособление получения изображений.

Фиг.2 иллюстрирует устройство формирования изображений для совмещения двумерных изображений с трехмерными объемными данными в соответствии с изобретением. Блок 28 обработки выполнен с возможностью обеспечения трехмерных объемных данных, содержащих систему координат, и для обеспечения первого двумерного изображения с первой плоскостью изображения. Блок 28 обработки также выполнен с возможностью смешивания двумерного изображения с визуализацией трехмерных объемных данных и для задания плоскости преобразования, перпендикулярной первой плоскости изображения. Блок обработки дополнительно выполнен с возможностью обеспечения второго двумерного изображения со второй плоскостью изображения и проецирования плоскости преобразования на второе двумерное изображение со второй плоскостью изображения. Блок 28 обработки дополнительно выполнен с возможностью проецирования по меньшей мере одного значения выравнивающего взаимодействия на плоскость преобразования, чтобы определить по меньшей мере одно преобразованное значение взаимодействия, и переноса системы координат с помощью по меньшей мере одного преобразованного значения взаимодействия. Блок 32 выравнивания выполнен с возможностью выравнивания системы координат с первым двумерным изображением и выравнивания системы координат со вторым двумерным изображением.

Эти особенности устройства 14 формирования изображений будут дополнительно описываться в отношении примерных вариантов осуществления способа для совмещения двумерных изображений с трехмерными объемными данными, проиллюстрированных на следующих фигурах.

В соответствии с примерным вариантом осуществления (не показан) обеспечивается способ, содержащий этапы: a) обеспечения трехмерных объемных данных объекта, содержащих систему координат; b) задания по меньшей мере одного направления преобразования в отношении трехмерных объемных данных; c) обеспечения двумерного изображения объекта с плоскостью изображения и проецирования по меньшей мере одного направления преобразования на плоскость изображения; d) выравнивания системы координат с двумерным изображением, где по меньшей мере одно значение выравнивающего взаимодействия проецируется по меньшей мере на одно направление преобразования, чтобы определить по меньшей мере одно преобразованное значение взаимодействия; и e) переноса системы координат с помощью по меньшей мере одного преобразованного значения взаимодействия.

По меньшей мере одно направление преобразования может содержать ось, перпендикулярную первому изображению. Например, обеспечивается первый режим, в котором перенос во втором изображении ограничивается перпендикулярной осью первого изображения.

Например, в первом режиме одно из изображений помечается как первичное изображение, осью z которого ограничивается взаимодействие.

В качестве дополнительного примерного варианта осуществления Фиг.3 показывает способ 100 для совмещения двумерных изображений с трехмерными объемными данными, содержащий следующие этапы. На первом этапе 110 обеспечения обеспечиваются трехмерные объемные данные 112 объекта, содержащие систему координат. На этапе 114 задания задается плоскость 116 преобразования в отношении трехмерных объемных данных 112. На третьем этапе 118 двумерное изображение объекта с плоскостью изображения обеспечивается на подэтапе 120 обеспечения. Кроме того, плоскость 116 преобразования проецируется на плоскость изображения на подэтапе 122 проецирования. Кроме того, на четвертом этапе 124 система координат выравнивается с двумерным изображением на подэтапе 126 выравнивания. Далее по меньшей мере одно значение 128 выравнивающего взаимодействия проецируется на плоскость преобразования на подэтапе 130 проецирования. Проецирование 130 обеспечивается для определения по меньшей мере одного преобразованного значения 132 взаимодействия на подэтапе 134 определения. Далее система координат переносится с помощью по меньшей мере одного преобразованного значения 132 взаимодействия на этапе 136 переноса.

В результате можно обеспечить выровненные или совмещенные данные 138 изображения, в которых двумерные изображения совмещаются с трехмерными объемными данными.

Плоскость преобразования может обеспечиваться перпендикулярно первому изображению. Например, обеспечивается второй режим, в котором вектор переноса на втором изображении проецируется на плоскость, перпендикулярную первому изображению.

Например, во втором режиме, где взаимодействие ограничивается двумя осями, отсутствует потребность в пометке одного из изображений, поскольку взаимодействие ограничивается плоскостью y/z другого изображения.

Первый этап 110 обеспечения также называется этапом a), этап 114 задания - этапом b), третий этап, содержащий подэтап 120 обеспечения и подэтап 122 проецирования, также называется этапом c), четвертый этап, содержащий подэтап 126 выравнивания, подэтап 130 проецирования и подэтап 134 определения, также называется этапом d), и этап 136 переноса также называется этапом e).

Фиг.4 иллюстрирует способ, в котором этап a) содержит подэтап 140 обеспечения, на котором обеспечивается первое двумерное изображение 142 объекта с первой плоскостью изображения в первом направлении наблюдения. Кроме того, этап a) также содержит подэтап 144 смешивания, на котором двумерное изображение смешивается с визуализацией 146 трехмерных объемных данных.

Кроме того, перед тем, как выполняется этап b), обеспечивается этап 148 выравнивания, на котором система координат выравнивается с первым двумерным изображением. Этап 148 выравнивания также называется этапом i).

Дополнительно обеспечивается, что этап b) содержит этап 150 задания, на котором плоскость преобразования задается перпендикулярной первой плоскости изображения.

Этап c) содержит подэтап 152 обеспечения, на котором обеспечивается второе двумерное изображение 154 объекта со второй плоскостью изображения во втором направлении наблюдения. Кроме того, этап c) содержит подэтап 156 проецирования, на котором плоскость преобразования проецируется на второе двумерное изображение.

Этап d) содержит подэтап 158 выравнивания, на котором система координат выравнивается со вторым двумерным изображением. Кроме того, этап d) также содержит подэтап 130 проецирования и подэтап 134 определения, которые описаны со ссылкой на Фиг.3. Конечно, также может обеспечиваться этап 136 переноса, который не показан дополнительно.

Например, процедуры выравнивания, такие как на подэтапе 126 выравнивания, на этапе 148 выравнивания, а также подэтап 158 выравнивания, можно выполнять путем ручного взаимодействия пользователя, например посредством некоего интерфейсного устройства, такого как мышь, сенсорная площадка или джойстик.

Значение выравнивающего взаимодействия может содержать формирование по меньшей мере одного приращения взаимодействия.

Систему координат можно привязать к объемным данным, так что когда система координат перемещается, объемные данные также перемещаются соответственно.

Кроме того, первое двумерное изображение и второе двумерное изображение можно получить в одной и той же системе координат.

В соответствии с дополнительным примерным вариантом осуществления (не показан) на этапе i) система координат выравнивается с помощью пространственного переноса объемных данных в рамках первой плоскости изображения. На этапе d) система координат выравнивается с помощью пространственного переноса объемных данных в рамках второй плоскости изображения. На этапе e) система координат переносится в рамках плоскости преобразования.

Например, выравнивание на этапе i) и выравнивание на этапе d) содержат перенос системы координат у трехмерных объемных данных по первой и второй плоскости соответственно.

Перемещение системы координат при выравнивании на этапе d) приводит к минимальным и предсказуемым изменениям в первом двумерном изображении, то есть к минимальному смещению.

На этапе d) разрешаются только перемещения системы координат на втором изображении, которые соответствуют плоскости, перпендикулярной плоскости изображения у первого изображения.

В соответствии с дополнительной особенностью первая и вторая плоскость изображения расположены под углом по меньшей мере в 10° друг к другу, предпочтительно по меньшей мере в 20°. В любом случае не нужно обеспечивать первое и второе изображение, которые получаются точно под 90°. Конечно, при получении таких перпендикулярных представлений также можно применить вышеописанные способы. Однако отметим, что перпендикулярность не является требованием, а точнее ее можно пропустить, что облегчает этапы получения изображения на стороне пользователя.

Другими словами, первая и вторая плоскость изображения могут быть расположены наклонно друг к другу, то есть они не параллельны друг другу, и также они не перпендикулярны друг другу.

Например, первое двумерное изображение обеспечивается в плоскости, содержащей первый набор из двух осей, которые размещаются перпендикулярно друг другу. Второе двумерное изображение обеспечивается в плоскости, содержащей второй набор из двух осей, которые размещаются перпендикулярно друг другу. Одна ось из первого набора двух осей и одна ось из второго набора двух осей выравниваются друг с другом.

Например, выровненные оси приблизительно параллельны друг другу благодаря геометрии рентгенографической системы, с помощью которой получаются изображения.

Со ссылкой на Фиг.5 обеспечиваются некоторые дополнительные этапы в соответствии с дополнительным примерным вариантом осуществления.

После выполнения одного из вышеописанных вариантов осуществления и особенностей способа обеспечивается дополнительный этап f), содержащий подэтап f1) с этапом 160 обеспечения, на котором обеспечивается дополнительное двумерное изображение 162 объекта с дополнительной плоскостью изображения в дополнительном направлении наблюдения. На подэтапе f2), то есть подэтапе 164 проецирования, плоскость преобразования, например плоскость 116 преобразования, проецируется на дополнительное двумерное изображение. Обеспечение плоскости преобразования указывается стрелкой от этапа b), показанного выше, при этом стрелка имеет номер 166 ссылки. Отметим, что схематически показан этап e) для указания, что уже выполнен один из вышеописанных способов. Две наклонные линии 168 указывают, что между этапом b) и этапом e) могут выполняться разные варианты осуществления.

После этапов f1) и f2) обеспечивается дополнительный этап 170, также называемый этапом g), содержащий подэтап 172 выравнивания, на котором система координат выравнивается с дополнительным двумерным изображением. На подэтапе 174 проецирования по меньшей мере одно дополнительное значение 176 выравнивающего взаимодействия проецируется на плоскость преобразования, чтобы выполнить подэтап 178 определения, на котором определяется по меньшей мере одно дополнительное преобразованное значение 180 взаимодействия.

После этапа g) обеспечивается этап 182 переноса, также называемый этапом h), на котором система координат переносится с помощью по меньшей мере одного дополнительного преобразованного значения взаимодействия. Таким образом, обеспечивается обновленная совмещенная графическая информация 184, аналогичная содержимому 138 изображения, которое описано на Фиг.3.

Например, если дополнительное двумерное изображение обеспечивается, то есть получается, в направлении наблюдения, которое отличается от направления наблюдения двумерного изображения на этапе a) на заранее установленную пороговую величину, то запускаются этапы f2) и последующие.

Например, этапы с f2) по h) выполняются, если дополнительное направление наблюдения на этапе f1) отличается от направления наблюдения первого двумерного изображения на этапе a) на заранее установленную пороговую величину.

Например, двумерные изображения получаются во время процедуры обследования для других целей, например для обеспечения фактической информации о текущей ситуации. Другими словами, хотя получаются изображения, которые не предназначены для целей совмещения, можно использовать эти изображения для обновления информации совмещения путем выполнения этой дополнительной последовательности этапов, которая описана выше.

Например, этапы с f2) по h) выполняются в заранее установленном интервале, то есть заданным регулярно повторяющимся образом.

В соответствии с дополнительным примерным вариантом осуществления (не показан) на этапе a) трехмерные объемные данные обеспечиваются в первой проекции, соответствующей первому направлению наблюдения, а на этапе d) трехмерные объемные данные обеспечиваются во второй проекции, соответствующей второму направлению наблюдения.

Например, двумерные изображения могут обеспечиваться в качестве текущих изображений, а трехмерные объемные данные обеспечиваются в качестве предоперационных или предварительных трехмерных объемных данных.

Например, трехмерные объемные данные восстанавливаются из предварительно полученных двумерных данных изображения.

В соответствии с дополнительной особенностью на этапе i) и этапе d) выравнивание выполняется неким устройством взаимодействия, как упоминалось выше. Выравнивающее взаимодействие содержит по меньшей мере один вектор взаимодействия, сформированный устройством взаимодействия.

Фиг.6 показывает дополнительный примерный вариант осуществления способа в соответствии с изобретением, в котором первое двумерное изображение 142 и/или второе двумерное изображение 154 обеспечиваются, что указывается первой стрелкой 186 и второй стрелкой 188, и объединяются на этапе 190 объединения, также называемом этапом g), с перенесенными трехмерными объемными данными, обеспеченными этапом e).

Например, первое и/или второе двумерное изображение накладывается на трехмерные объемные данные.

Таким образом, на этапе g) может быть обеспечена объединенная совмещенная графическая информация 192, которую можно, например, представить пользователю.

Как показано на Фиг.7, выравнивание на этапе i) и/или выравнивание на этапе d) обеспечиваются пользователем вручную. Это указывается в верхней части Фиг.7 с помощью блока 194 ручного взаимодействия, подключенного к выравниванию 148. В нижней части Фиг.7 блок 194 ручного взаимодействия подключается к подэтапу 126/172 выравнивания касательно этапов d) и g) соответственно.

В качестве альтернативы (не показано) выравнивание обеспечивается автоматически.

Конечно, также можно обеспечить полуавтоматическое выравнивание, то есть сочетание ручного и автоматического выравнивания.

Перед ссылкой на Фиг.8 и 9 ниже будут обсуждаться некоторые дополнительные особенности изобретения.

В соответствии с особенностью изобретения две ангиограммы могут использоваться в одной и той же системе координат, то есть в одной и той же системе координат рентгеновского способа воздействия. В силу этого другой способ взаимодействия задается таким образом, что перемещение системы координат в одном изображении приведет к минимальным и предсказуемым изменениям в другом изображении. Таким образом, пользователь может совмещать двумерную и трехмерную систему координат в двух изображениях без необходимости многократной корректировки каких-либо представлений.

Центральная особенность изобретения состоит в том, что при манипулировании системой координат трехмерных данных в представлении 1 (представлении манипулирования) перемещения в другом (опорном) представлении 2 минимальны и предсказуемы, насколько это возможно. И наоборот, при манипулировании в представлении 2 минимизируются перемещения в (опорном) представлении 1. Это достигается только путем разрешения перемещений в представлении манипулирования, которые соответствуют оси y и z другого опорного представления, то есть вверх и вниз и вперед и назад. Оси вверх и вниз у обоих изображений всегда приблизительно параллельны благодаря геометрии рентгенографической системы.

Предполагая два изображения, изображение A является опорным изображением, для которого очевидные перемещения следует ограничить, а изображение B является изображением для воздействия, чтобы переместить систему координат, создается ортогональная (Y/Z) плоскость к опорному изображению.

Эта ортогональная плоскость используется для проецирования на нее приращений взаимодействия, то есть вектор, полученный из перемещения мыши из положения A в положение B, преобразуется в вектор на (возможно) наклонной плоскости, чтобы задать фактический вектор для переноса с помощью него системы координат.

Поскольку проекционный вектор по-прежнему находится на одной прямой с вектором, полученным из перемещения мыши, кажется, что система координат перемещается вслед за перемещением мыши, однако на самом деле она может перемещаться в трех измерениях. И поскольку спроецированный вектор находится на плоскости на одной прямой с осью y/z опорного изображения, то кажется, что система координат в представлении 1 перемещается только вверх и вниз (и вперед и назад, но этот эффект менее очевиден).

После корректирования системы координат, чтобы выровнять ее в представлении 1, систему координат затем нужно только выровнять по оси x опорного представления. Используя такой же подход для совмещения представления 2, перемещение системы координат по оси x окажет воздействие только на перемещение по оси z в представлении 1 (теперь это опорное представление). Поэтому почти во всех случаях пользователь может правильно совместить системы координат при трех переносах, а именно двух в одном представлении и одном в другом представлении.

Конечно, взаимодействие с управлением от мыши также может применяться к взаимодействию типа нажатия и удерживания путем повторяющегося проецирования приращений в плоскости совмещения на ортогональную плоскость опорного изображения.

На Фиг.8a) изображение A указывается рамкой 196 изображения. Кроме того, показана система 198 пространственных осей с первой осью 200, размещенной прямо, то есть указывающей вверх в вертикальном направлении. Кроме того, вторая ось 202 показана размещенной в плоскости изображения A. Кроме того, показана третья ось 204, которая перпендикулярна плоскости изображения A. Другими словами, все три оси 200, 202, 204 размещаются перпендикулярно друг другу, где первая и вторая оси 200, 202 задают плоскость изображения A. Первая ось также называется осью y, вторая ось 202 - осью x, а третья ось 204 - осью z. В дальнейшем три оси называются своими буквами x, y, z вместо их номеров 200, 202, 204 ссылок.

Как показано на Фиг.8b), плоскость 206 создается из оси y и z, чтобы обеспечить плоскость 206 перпендикулярно плоскости изображения 196.

На Фиг.8c) обеспечивается второе изображение B, указанное рамкой 208 изображения.

Например, первое изображение A 196 и второе изображение B 208 обеспечиваются в виде ангиограмм.

Перпендикулярная плоскость 206 также показана рамкой из пунктирной линии, как на Фиг.8b).

Первое изображение 196 на Фиг.8a) показано совместно с трехмерным объемным представлением, где трехмерное объемное представление обеспечивается в том же направлении наблюдения, что и изображение 196.

Со ссылкой на Фиг.8c) трехмерные объемные данные также показаны вместе с представлением в соответствующем направлении наблюдения, хотя представление трехмерных объемных данных не проиллюстрировано на Фиг. 8a)-8d). Перпендикулярная плоскость 206 проецируется на второе изображение 208.

Фиг.8d) иллюстрирует основной принцип процедуры выравнивания. Изображение B, то есть второе изображение 208, и опорная плоскость 206 показаны, так сказать, в виде сверху, и поэтому две плоскости указываются только соответствующей линией вместо рамки. Таким образом, система координат или пространственные оси показаны только для оси z и оси x. На Фиг.8d) ось y была бы перпендикулярна плоскости чертежа.

Выравнивание, применяемое ко второму изображению 208, формирует значения взаимодействия или приращения взаимодействия, например указанные первой стрелкой 210, идущей из точки A в точку B, для перемещения соответствующей системы координат трехмерного объемного представления из положения A, указанного номером 212 ссылки, в положение B, также указанное номером 214 ссылки. В соответствии с изобретением приращения взаимодействия во втором изображении проецируются на опорную плоскость 206, приводя к так называемым преобразованным векторам взаимодействия, указанным второй стрелкой 216, для перемещения системы координат из спроецированного положения A' в спроецированное положение B', где спроецированное положение A' также указывается номером 218 ссылки, а положение B' - номером 220 ссылки. Проецирование указывается двумя стрелками 213, 215.

Вместо перемещения или переноса системы координат, то есть трехмерных объемных данных, относительно второго изображения с помощью вектора 210 взаимодействия объемная система координат переносится с помощью спроецированного вектора 216.

Таким образом, объем переносится в плоскости, перпендикулярной первому изображению 196, то есть переносится в направлении z или y.

Как показано на Фиг.9, выравнивание второго изображения 208 является перемещением трехмерного объема относительно второго изображения, если смотреть спереди в левой/правой части 222 и верхней/нижней части 224. В то же время трехмерные объемные данные перемещаются в направлении наблюдения первого изображения 196, то есть относительно первого изображения 196 только в вертикальном направлении, то есть вверх и вниз, и указанного дополнительной вертикальной стрелкой 226. Перемещение вперед и назад указывается меньшей стрелкой 228. Другими словами, перемещение по направлению 224 стрелки приводит к перемещению по направлению 226 стрелки в первом изображении, где перемещение в горизонтальном направлении 222 приводит к перемещению вглубь, то есть в направлении 228 назад и вперед.

В случае упомянутого выше первого режима, где перенос во втором изображении ограничивается перпендикулярной осью первого изображения, вместо пунктирной рамки, представляющей плоскости 206, на Фиг.8b) обеспечивается ось проекции в направлении z в качестве направления преобразования. Это направление или ось затем проецируется на плоскость изображения у второго изображения на Фиг.8c). Затем выполняется выравнивание на Фиг.8d), хотя перенос на втором изображении ограничивается осью преобразования или направлением преобразования.

Например, настоящее изобретение полезно для процедур при органическом заболевании сердца, в которых устройства имплантируются в сердце с помощью катетерной методики. Во время имплантации устройство устанавливается с использованием рентгенографии. Для правильного выравнивания и установки устройства по отношению к ткани необходимо рентгеновское представление, которое совместило систему координат сегментированной объемной КТ. Для поддержки планирования и проведения процедур при органическом заболевании сердца инструмент планирования и проведения предусматривает совмещение трехмерного набора данных КТ с рентгенограммой и позволяет оперативное наложение рентгенограммы на КТ. Таким образом, пользователь способен выполнить совмещение рентгенограммы с объемной КТ очень быстрым и интуитивным способом. В частности, совмещение применимо во время вмешательства.

В качестве запасного сценария, когда можно получить только одну ангиограмму или когда угол между плоскостью y/z и представлением 1 очень большой, можно вернуться к перемещению системы координат в плоскости ангиограммы, то есть перетаскиванию мыши влево на изображении, что также переместит систему координат влево в трех измерениях.

В другом примерном варианте осуществления настоящего изобретения (не показан) обеспечивается компьютерная программа или элемент компьютерной программы, то есть характеризуется как выполненная с возможностью (выполненный с возможностью) выполнения этапов способа в соответствии с одним из предшествующих вариантов осуществления на подходящей системе.

Элемент компьютерной программы поэтому можно было бы сохранить в вычислительном блоке, который также мог быть частью варианта осуществления настоящего изобретения. Этот вычислительный блок можно приспособить для выполнения или побуждения выполнения описанных выше этапов способа. Кроме того, его можно приспособить для управления компонентами вышеописанного устройства. Вычислительный блок можно приспособить для автоматической работы и/или исполнения команд пользователя. Компьютерную программу можно загрузить в рабочее запоминающее устройство процессора данных. Процессор данных может быть соответственно оборудован для выполнения способа из изобретения.

Этот примерный вариант осуществления изобретения охватывает как компьютерную программу, которая сразу использует изобретение, так и компьютерную программу, которая посредством обновления превращает существующую программу в программу, которая использует изобретение.

Кроме того, элемент компьютерной программы мог бы обеспечить все необходимые этапы для выполнения процедуры примерного варианта осуществления способа, как описано выше.

В соответствии с дополнительным примерным вариантом осуществления настоящего изобретения (не показан) представляется машиночитаемый носитель, например CD-ROM, где машиночитаемый носитель содержит элемент компьютерной программы, сохраненный на нем, и этот элемент компьютерной программы описывается предыдущим разделом.

Компьютерная программа может храниться и/или распространяться на подходящем носителе, например оптическом носителе информации или твердотельном носителе, поставляемом вместе или как часть других аппаратных средств, но также может распространяться в других видах, например через Интернет или другие проводные или беспроводные телекоммуникационные системы.

Однако компьютерная программа также может представляться по сети типа Всемирной паутины (WWW) и может загружаться в рабочее запоминающее устройство процессора данных из такой сети. В соответствии с дополнительным примерным вариантом осуществления настоящего изобретения обеспечивается носитель, чтобы сделать элемент компьютерной программы доступным для загрузки, и этот элемент компьютерной программы выполнен с возможностью выполнения способа в соответствии с одним из ранее описанных вариантов осуществления изобретения.

Нужно отметить, что варианты осуществления изобретения описываются со ссылкой на разные предметы изобретения. В частности, некоторые варианты осуществления описываются со ссылкой на пункты формулы изобретения на способ, тогда как другие варианты осуществления описываются со ссылкой на пункты формулы изобретения на устройство. Однако специалист в данной области техники из вышеприведенного и нижеследующего описания сделает вывод, что пока не объявлено иное, в дополнение к любому сочетанию признаков, принадлежащих одному типу предмета изобретения, любое сочетание признаков, относящихся к разным предметам изобретения, также считается раскрытым с помощью данной заявки. Однако все признаки могут объединяться, обеспечивая синергические эффекты, которые являются более чем простым суммированием признаков.

В формуле изобретения слово "содержащий" не исключает других элементов или этапов, и неопределенный артикль "a" или "an" не исключает множества. Один процессор или другой блок может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Сам факт, что некоторые критерии перечисляются во взаимно разных зависимых пунктах формулы изобретения, не указывает на то, что сочетание этих критериев не может использоваться с пользой.

Использование: для совмещения двумерных изображений с трехмерными объемными данными. Сущность изобретения заключается в том, что обеспечивают трехмерные объемные данные объекта, содержащие систему координат; задают первое и второе направление преобразования в отношении трехмерных объемных данных, которые вместе образуют плоскость преобразования в отношении трехмерных объемных данных; обеспечивают двумерное изображение объекта с плоскостью изображения; и проецируют плоскость преобразования на плоскость изображения; выравнивают систему координат с двумерным изображением, в которой по меньшей мере одно значение выравнивающего взаимодействия проецируется на плоскость преобразования, чтобы определить по меньшей мере одно преобразованное значение взаимодействия; и переносят систему координат с помощью по меньшей мере одного преобразованного значения взаимодействия. Технический результат: обеспечить двумерное/трехмерное совмещение с упрощенной последовательностью действий. 4 н. и 9 з.п. ф-лы, 9 ил.

1. Способ (100) для совмещения двумерных изображений с трехмерными объемными данными, содержащий следующие этапы, на которых:
a) обеспечивают (110) трехмерные объемные данные (112) объекта, содержащие систему координат;
b) задают (114) первое и второе направление преобразования в отношении трехмерных объемных данных, которые вместе образуют плоскость (116) преобразования в отношении трехмерных объемных данных;
c) обеспечивают (120) двумерное изображение объекта с плоскостью изображения и проецируют (122) плоскость преобразования на плоскость изображения;
d) выравнивают (126) систему координат с двумерным изображением; в которой по меньшей мере одно значение (128) выравнивающего взаимодействия проецируется (130) на плоскость преобразования, чтобы определить (134) по меньшей мере одно преобразованное значение (132) взаимодействия; и
e) переносят (136) систему координат с помощью по меньшей мере одного преобразованного значения взаимодействия.

2. Способ по п. 1, в котором этап a) содержит этапы, на которых:
обеспечивают (140) первое двумерное изображение (142) объекта с первой плоскостью изображения в первом направлении наблюдения и смешивают (144) двумерное изображение с визуализацией (146) трехмерных объемных данных;
в котором перед этапом b) обеспечивается этап, на котором:
i) выравнивают (148) систему координат с первым двумерным изображением;
в котором этап b) содержит этап, на котором:
задают (150) плоскость преобразования, перпендикулярную первой плоскости изображения;
в котором этап c) содержит этапы, на которых:
обеспечивают (152) второе двумерное изображение (154) объекта со второй плоскостью изображения во втором направлении наблюдения; и проецируют (156) плоскость преобразования на второе двумерное изображение; и
в котором этап d) содержит этап, на котором:
выравнивают (158) систему координат со вторым двумерным изображением для проецирования по меньшей мере одного значения выравнивающего взаимодействия на плоскость преобразования и для определения по меньшей мере одного преобразованного значения взаимодействия.

3. Способ по п. 2, в котором на этапе i) система координат выравнивается с помощью пространственного переноса объемных данных в рамках первой плоскости изображения;
в котором на этапе d) система координат выравнивается с помощью пространственного переноса объемных данных в рамках второй плоскости изображения; и
в котором на этапе e) система координат переносится в рамках плоскости преобразования.

4. Способ по любому из пп. 1-3, в котором обеспечиваются следующие этапы, на которых:
f1) обеспечивают (160) дополнительное двумерное изображение (162) объекта с дополнительной плоскостью изображения в дополнительном направлении наблюдения; и
f2) проецируют (164) плоскость преобразования на дополнительное двумерное изображение;
g) выравнивают (172) систему координат с дополнительным двумерным изображением; причем по меньшей мере одно дополнительное значение выравнивающего взаимодействия (176) проецируется (174) на плоскость преобразования, чтобы определить (178) по меньшей мере одно дополнительное преобразованное значение (180) взаимодействия; и
h) переносят (182) систему координат с помощью по меньшей мере одного дополнительного преобразованного значения взаимодействия.

5. Способ по любому из пп. 1-3, в котором на этапе a) трехмерные объемные данные обеспечиваются в первой проекции, соответствующей первому направлению наблюдения; и
в котором на этапе d) трехмерные объемные данные обеспечиваются во второй проекции, соответствующей второму направлению наблюдения.

6. Способ по любому из пп. 1-3, в котором двумерные изображения обеспечиваются в качестве текущих изображений, и в котором трехмерные объемные данные обеспечиваются в качестве предоперационных трехмерных объемных данных;
в котором трехмерные объемные данные обеспечиваются в виде объемных данных КТ, и в котором первые и вторые двумерные изображения обеспечиваются в виде изображений рентгеноскопии.

7. Способ по п. 2 или 3, в котором на этапе i) и этапе d) выравнивание выполняется неким устройством взаимодействия; и
в котором выравнивающее взаимодействие содержит по меньшей мере один вектор взаимодействия.

8. Способ по любому из пп. 1-3, в котором обеспечивается (186, 188) первое и/или второе двумерное изображение, объединенное (190) с перенесенными трехмерными объемными данными.

9. Способ по п. 4, в котором выравнивание на этапе i), и/или выравнивание на этапе d), и/или выравнивание на этапе g) обеспечивается пользователем вручную (194).

10. Устройство формирования изображений (14) для совмещения двумерных изображений с трехмерными объемными данными, содержащее:
- блок обработки (28);
- блок отображения (30); и
- блок выравнивания (32);
причем блок обработки выполнен с возможностью обеспечения трехмерных объемных данных, содержащих систему координат; для задания первого и второго направления преобразования в отношении трехмерных объемных данных, которые вместе образуют плоскость преобразования в отношении трехмерных объемных данных; для обеспечения двумерного изображения с плоскостью изображения и проецирования плоскости преобразования на плоскость изображения; для проецирования по меньшей мере одного значения выравнивающего взаимодействия на плоскость преобразования, чтобы определить по меньшей мере одно преобразованное значение взаимодействия; и для
переноса системы координат с помощью по меньшей мере одного преобразованного значения взаимодействия;
причем блок выравнивания выполнен с возможностью выравнивания системы координат с двумерным изображением.

11. Устройство формирования изображений по п. 10, в котором обеспечивается интерфейсный блок, который выполнен с возможностью управления блоком выравнивания.

12. Система формирования изображений (10) для совмещения двумерных и трехмерных данных изображения, содержащая:
- приспособление получения изображений (12); и
- устройство формирования изображений (14) по п. 10 или 11;
причем приспособление получения изображений выполнено с возможностью сбора данных для первого двумерного изображения и второго двумерного изображения.

13. Машиночитаемый носитель, содержащий сохраненный элемент компьютерной программы для управления устройством по одному из пп. 10-12, который при исполнении блоком обработки выполнен с возможностью выполнения этапов способа по одному из пп. 1-9.