УСТРОЙСТВО СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК G06T7/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к устройству совмещения изображений, способу совмещения изображений и компьютерной программе для совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга.

УРОВЕНЬ ТЕХНИКИ

В статье «Automated Finite-Element Analysis for Deformable Registration of Prostate Images», J.R. Crouch и др., том 26, страницы 1379-1390 (2007 г.), описан автоматизированный анализ методом конечных элементов для совмещения изображений предстательной железы с возможностью деформации. Предложен алгоритм, который автоматически формирует гексаэдрическую сетку конечных элементов и автоматически вычисляет граничные условия для визуализируемого пациента, при этом, используют модели m-rep (медиальные представления).

В патенте США 5,633,951 предложен способ трехмерной визуализации, который совмещает относительно деформированные первое и второе объемные изображения объекта, которые могут быть получены из разных средств визуализации и/или в разное время, посредством выполнения эластичного геометрического преобразования одного из объемных изображений. Способ содержит выделение первой и второй соответствующих поверхностей из соответствующих первого и второго изображений, при этом упомянутые поверхности устанавливают очертания одного признака, например, границы раздела между костью и тканью. Упомянутое действие выполняют посредством выделения пакета контуров для каждой поверхности. Первую поверхность итерационно деформируют в направлении совмещения со второй поверхностью, чтобы получить глобальный вектор смещения и набор векторов остаточной дисторсии поверхности. Векторы объемной дисторсии, которые определяют умножением векторов остаточной дисторсии поверхности на весовую функцию, используют, чтобы указывать во втором объемном изображении местоположения центров вокселей, интерполированные интенсивности которых следует перемещать к узлам решетки. Весовая функция содержит постоянную, характеризующую коэффициент упругой деформации второго объема. Этапы выделения первой поверхности, деформирования поверхности и определения вектора объемной дисторсии повторяют в ходе последовательных итераций до тех пор, пока величина рассовмещения между объемными изображениями не станет меньше предварительно заданного значения.

Качество приведенного способа совмещения снижается, если объект содержит комплексные свойства.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Целью настоящего изобретения является создание устройства совмещения изображений, способа совмещения изображений и компьютерной программы для совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга, при использовании которых можно повысить качество совмещения, в частности, если объект содержит комплексные свойства.

В соответствии с первым аспектом настоящего изобретения предлагается устройство совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга, при этом устройство совмещения изображений содержит:

- блок обеспечения изображений для обеспечения первого изображения первого объекта и второго изображения второго объекта, причем первый объект и второй объект являются однотипными,

- блок обеспечения модели для обеспечения модели первого объекта и второго объекта, причем число элементов модели в модели и отношения соседства между элементами модели являются фиксированными,

- блок адаптации для адаптации модели к первому изображению с целью формирования первой адаптированной модели и ко второму изображению с целью формирования второй адаптированной модели, причем блок адаптации выполнен с возможностью определения внутренней энергии посредством совмещения модели формы с обеспеченной моделью и посредством определения отклонений между моделью формы и обеспеченной моделью для адаптации обеспеченной модели к первому изображению и ко второму изображению, и

- блок определения соответствующих элементов изображений для определения соответствующих элементов изображений в первом изображении и во втором изображении на основе пространственных положений первых элементов изображения в первом изображении относительно первой адаптированной модели и пространственных положений вторых элементов изображения во втором изображении относительно второй адаптированной модели.

Поскольку обеспеченная модель имеет фиксированную топологию, то соответствующие элементы изображений можно сравнительно надежно находить в первом изображении и во втором изображении на основе пространственных положений первых элементов изображения в первом изображении относительно первой адаптированной модели и пространственных положений вторых элементов изображения во втором изображении относительно второй адаптированной модели, даже если первый и второй объекты содержат комплексные свойства, как сердце, что повышает качество совмещения.

Например, если как первый, так и второй объекты относятся к объектам типа «сердца», то на внешней стороне миокарда левого желудочка находятся «скользящие» поверхности, которые сложны для моделирования методом параметрических пространственных преобразований. Кроме того, на внутренней стороне миокарда находятся папиллярные мышцы, которые обладают очень высокой гибкостью и, поэтому, представляют сложность для совмещения. В самом пуле крови не определяется никакого анатомического соответствия между тканями, и подходящие известные способы совмещения состоят в выравнивании, например, по случайным флуктуациям контрастного вещества. Напротив, посредством адаптации модели, имеющей фиксированную топологию, к первому и второму объектам в первом и втором изображениях и посредством определения соответствующих элементов изображений в двух изображениях на основе пространственных положений элементов изображений в первом и втором изображениях относительно соответствующей адаптированной модели можно достичь надежного совмещения, даже если объекты содержат комплексные свойства.

Первый объект и второй объект могут быть одним и тем же объектом, изображение которого сформировали, например, в разные моменты времени или разными средствами визуализации. Первый объект и второй объект могут быть также разными объектами, которые являются однотипными. Например, первый объект может быть органом первого человека, и второй объект может быть таким же органом второго человека, чтобы сравнить органы разных людей. Вместо органов, в первом изображении и втором изображении могут быть показаны другие объекты одинакового типа.

Если первый и второй объекты являются анатомическими объектами, то анатомически соответствующие местоположения могут быть отображены один на другой. В частности, получают соответствующие внешние поверхностные элементы и внутренние элементы, в частности, внутренние объемные элементы.

Первый объект и второй объект имеют, предпочтительно, тип «сердце» человека или животного, и модель является, предпочтительно, соответствующей моделью сердца. В частности, первый объект и второй объект имеют, предпочтительно, тип «миокард левого желудочка», и модель является соответствующей моделью миокарда левого желудочка. Однако, первый объект и второй объект могут быть также другим органом, например, легкими, другой частью человека или животного, или техническим объектом, при этом модель соответствует соответствующему объекту.

Блок адаптации, предпочтительно, выполнен с возможностью начала процедуры адаптации с типовой модели первого и второго объектов, т.е. например, с модели, не специфической для человека или животного, которую затем адаптируют к первому изображению и ко второму изображению, соответственно, для формирования адаптированных первой и второй моделей, являющихся специфическими для человека или животного.

Блок обеспечения изображений является, например, запоминающим устройством, в котором хранятся первое изображение первого объекта и второе изображение второго объекта. Однако блок обеспечения изображений может быть также средством визуализации, которое формирует первое изображение и второе изображение. Например, блок обеспечения изображений может быть установкой компьютерной томографии, установкой магнитно-резонансной визуализации, установкой радионуклидной визуализации, подобной установке позитронно-эмиссионной томографии или установке однофотонной эмиссионной компьютерной томографии, устройством для ультразвуковой визуализации, рентгенографической установкой с C-образной консолью и т.д. Первое изображение и второе изображение могут быть сформированы одним и тем же средством визуализации или разными средствами визуализации.

Блок обеспечения модели является, предпочтительно, запоминающим устройством, в котором хранится модель первого и второго объектов, представленных в первом изображении и во втором изображении.

Модель содержит, предпочтительно, первую структуру и вторую структуру, связанную с первой структурой. Первая структура является, предпочтительно, внешней поверхностной структурой, и вторая структура является, предпочтительно, внутренней структурой, при этом внешняя поверхностная структура является, предпочтительно, внешней поверхностной сеткой, и внутренняя структура является, предпочтительно, объемной сеткой. Внутренняя структура может задавать разные части объема первого объекта и второго объекта. Упомянутые разные части внутри объема могут быть более сложными, чем показано поверхностной структурой, содержащей в себе объем. Например, пучки мышц могут иметь внутри объема геометрическое распределение, которое невозможно просто вывести из поверхностной структуры. Однако, посредством адаптации внутренней структуры модели, которая связана с внешней поверхностной структурой модели, которую также адаптируют к объекту, можно распознать также разные части внутри объема, даже если упомянутые части невозможно вывести из одной только внешней поверхностной структуры.

Первая структура может быть внешней поверхностной структурой, и вторая структура может быть внутренней структурой, как изложено выше. Однако, первая структура может быть также внешней одномерной линией, и вторая структура может быть внутренним двумерным участком, охваченным одномерной линией. Кроме того, внутренняя структура может быть структурой, которая полностью заполняет внутренний участок, заданный внешней поверхностной структурой или внешней линейной структурой, или внутренняя структура может быть структурой, которая не полностью заполняет внутренний участок.

Вместо объемной сетки, внутренняя структура может также содержать другие геометрические элементы, при этом, пространственные положения других геометрических элементов могут быть определены по внешней поверхностной структуре посредством привязки упомянутых геометрических элементов к внешней поверхностной структуре. Например, внутренняя структура может содержать вершины древовидной сети капиллярных сосудов, при этом, данные вершины могут быть представлены расстояниями между соответствующей вершиной внутренней структуры и вершинами внешней поверхностной структуры, которые не расположены на некоторой линии. Упомянутые расстояния можно изменять для адаптации внутренней структуры к первому объекту в первом изображении и ко второму объекту во втором изображении.

Если применяют объемную сетку, то данная сетка, предпочтительно, состоит из тетраэдров в качестве объемных ячеек. Однако, возможно также использование других ячеек, подобных кубоидам. В альтернативном варианте, внутренняя структура может быть представлена, например, пучком волокон или древовидных сетей типа сосудистого дерева или бронхиального дерева.

Поскольку модуль имеет фиксированную топологию, то фиксированы число элементов модели, формирующих модель, например, число треугольников поверхностной сетки и число тетраэдров объемной сетки, и отношения соседства между элементами модели, т.е. то, какие элементы модели являются соседними для каких других элементов модели.

Предпочтителен вариант, в котором блок адаптации выполнен с возможностью

- формирования первой адаптированной модели посредством адаптации первой структуры к первому объекту и посредством адаптации второй структуры с использованием адаптированной первой структуры в качестве граничного условия, и

- формирования второй адаптированной модели посредством адаптации первой структуры ко второму объекту и посредством адаптации второй структуры с использованием адаптированной первой структуры в качестве граничного условия. В частности, первая структура является, предпочтительно, внешней поверхностной структурой, которую адаптируют к поверхности соответствующего объекта, и вторая структура является, предпочтительно, внутренней структурой, которую адаптируют в то время, как внешнюю поверхностную структуру используют в качестве граничного условия. Блок адаптации, предпочтительно, выполнен с возможностью деформирования внешней поверхностной структуры для адаптации внешней поверхностной структуры к соответствующему объекту посредством минимизации взвешенной суммы внешней энергии и внутренней энергии. Дополнительно предпочтителен вариант, в котором блок адаптации выполнен с возможностью адаптации второй структуры, которая является, предпочтительно, внутренней структурой, так, чтобы внутренняя энергия второй структуры минимизировалась.

Адаптируемую внутреннюю структуру, которая является, предпочтительно, объемной сеткой, можно представить как эластичную «губку», которая расслабляется в зависимости от граничного условия, заданного адаптированной внешней поверхностной структурой, являющейся, предпочтительно, поверхностной сеткой. В предпочтительном варианте, внутренняя структура связана с внешней поверхностной структурой таким образом, что внешние вершины внутренней структуры идентичны вершинам внешней поверхностной структуры. Внешнюю поверхностную структуру, предпочтительно, используют как граничное условие посредством удерживания на месте внешних вершин внутренней структуры, которые зафиксированы внешней поверхностной структурой.

Предпочтителен вариант, в котором блок определения соответствующих элементов изображений выполнен с возможностью определения преобразования, которое преобразует признаки первой адаптированной модели в соответствующие признаки второй адаптированной модели, и определения соответствующих элементов изображений в первом изображении и во втором изображении на основании определенного преобразования.

Признаки первой адаптированной модели и соответствующие признаки второй адаптированной модели являются, например, вершинами модели. Преобразование может быть глобальным преобразованием, которое отображает все признаки, в частности, все вершины, первой адаптированной модели во все соответствующие признаки второй адаптированной модели. Преобразование может быть также локальным преобразованием, которое отображает первый элемент изображения внутри первого элемента модели первой адаптированной модели в соответствующий второй элемент изображения соответствующего второго элемента модели второй адаптированной модели. Например, первая адаптированная модель и вторая адаптированная модель могут состоять, каждая, из элементов модели, при этом, блок определения соответствующих элементов изображений выполнен с возможностью определения второго элемента изображения второго изображения, который соответствует обеспеченному первому элементу изображения первого изображения, посредством выполнения следующих этапов:

- определяют первый элемент модели, содержащий первый элемент изображения первого изображения, при этом первый элемент модели является элементом модели первой адаптированной модели,

- определяют второй элемент модели, являющийся элементом модели второй адаптированной модели, причем второй элемент модели определяют так, чтобы данный элемент соответствовал определенному первому элементу модели,

- задают первую локальную систему координат в первом элементе модели и вторую локальную систему координат во втором элементе модели относительно признаков, которые являются общими для первого элемента модели и второго элемента модели,

- определяют преобразование между первой локальной системой координат и второй локальной системой координат по положениям общих признаков в первом изображении и во втором изображении,

- определяют положение первого элемента изображения в первой локальной системе координат,

- определяют положение второго элемента изображения второго изображения, который соответствует первому элементу изображения, во второй локальной системе координат, в зависимости от определенного положения первого элемента изображения в первой локальной системе координат и определенного преобразования. Данное действие дополнительно повышает точность определения соответствующих элементов изображений в первом изображении и во втором изображении.

Элементы модели внешней поверхностной структуры являются, предпочтительно, треугольниками поверхностной сетки, и элементы модели внутренней структуры являются, предпочтительно, тетраэдрами объемной сетки. Общие признаки для задания локальной системы координат могут быть вершинами треугольников и тетраэдров. Поэтому, взаимное отображение первого изображения и второго изображения, предпочтительно, задается соответствием объемных ячеек и локальными системами координат в первой адаптированной модели и второй адаптированной модели.

Дополнительно предпочтителен вариант, в котором в обеспеченной модели обозначено местоположение, при этом блок определения соответствующих элементов изображений выполнен с возможностью определения соответствующих элементов изображений в первом изображении и во втором изображении, которые соответствуют местоположению, обозначенному в обеспеченной модели, на основании первой адаптированной модели и второй адаптированной модели. Дополнительно предпочтителен вариант, в котором местоположению, обозначенному в обеспеченной модели, присвоено значение, при этом устройство совмещения изображений дополнительно содержит блок присвоения для присвоения значения элементам изображений первого изображения и второго изображения, которые соответствуют местоположению. Таким образом, местоположения, в частности, области, обозначенные в обеспеченной модели, например, посредством разного окрашивания разных областей, могут быть перенесены в первое изображение и второе изображение, что дает возможность очень легко сравнивать упомянутые области в первом изображении и во втором изображении. Цвет можно обеспечивать присвоением значения цвета местоположению, обозначенному в обеспеченной модели. Значение, присвоенное местоположению, обозначенному в обеспеченной модели, может также представлять другое свойство формирования изображения, например, контраст, уровень яркости и т.д.

Обеспеченная модель является первоначально обеспеченной моделью, которую можно деформировать, например, посредством адаптации к первому или второму изображению, или которая может быть недеформируемой и, в таком случае, предпочтительно, представляющей нечто вроде шаблона или абстрактного примера объекта, который не относится к конкретному изображению. Обеспеченную модель можно рассматривать как эталонную модель, при этом, может быть предусмотрен пользовательский интерфейс для представления пользователю возможности обозначать местоположение в обеспеченной модели. Затем блок определения соответствующих элементов изображений определяет соответствующие элементы изображений в первом изображении и во втором изображении, которые соответствуют местоположению, обозначенному в обеспеченной модели, и упомянутые соответствующие элементы изображений могут быть показаны на дисплее, например, представлением графических элементов в положениях найденных соответствующих элементов изображений.

Кроме того, значение, присвоенное местоположению, обозначенному в обеспеченной модели, может содержать информацию, которую можно отображать в первую адаптированную модель и вторую адаптированную модель посредством присвоения значения соответствующим элементам изображений первого изображения и второго изображения, при этом присвоенные значения можно визуализировать и/или использовать для дальнейшей обработки.

Дополнительно предпочтителен вариант, в котором устройство совмещения изображений содержит блок обработки значений изображений для обработки значений изображений соответствующих элементов изображений. Например, можно легко сравнивать значения изображения, в частности, уровни яркости изображения, соответствующих элементов изображений, или можно формировать разность или отношение значений изображений соответствующих элементов изображений. Упомянутый блок обработки значений изображений может быть выполнен с возможностью обработки значений изображений после того, как упомянутый блок выполнил глобальную компенсацию разностей уровней яркости. Разность можно использовать, например, в целях диагностики. Глобальная компенсация разностей уровней яркости компенсирует возможные разные общие уровни контраста в первом изображении и во втором изображении.

Дополнительно предпочтителен вариант, в котором

- блок обработки значений изображений выполнен с возможностью формирования обработанных значений в зависимости от значений изображений соответствующих элементов изображений,

- блок определения соответствующих элементов изображений выполнен с возможностью определения местоположения внутри обеспеченной модели, которое соответствует соответствующим элементам изображения, в зависимости от пространственного положения, по меньшей мере, одного из первого элемента изображения относительно первой адаптированной модели и из второго элемента изображения относительно второй адаптированной модели,

- устройство совмещения изображений дополнительно содержит блок присвоения для присвоения обработанного значения определенному местоположению внутри обеспеченной модели. Приведенное решение позволяет показывать обработанные значения, например, разность или отношение значений изображений соответствующих элементов изображений, в обеспеченной модели. Необработанные значения первого изображения и/или второго изображения также могут быть отображены в обеспеченную модель и визуализированы в обеспеченной модели.

В соответствии с дополнительным аспектом настоящего изобретения предлагается способ совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга, при этом способ совмещения изображений содержит следующие этапы:

- обеспечивают первое изображение первого объекта и второе изображение второго объекта, причем первый объект и второй объект являются однотипными,

- обеспечивают модель первого объекта и второго объекта, причем число элементов модели в модели и отношения соседства между элементами модели являются фиксированными, причем определяют внутреннюю энергию посредством совмещения модели формы с обеспеченной моделью и посредством определения отклонений между моделью формы и обеспеченной моделью для адаптации обеспеченной модели к первому изображению и ко второму изображению, и

- адаптируют модель к первому изображению для формирования первой адаптированной модели и ко второму изображению для формирования второй адаптированной модели,

- определяют соответствующие элементы изображений в первом изображении и во втором изображении на основе пространственных положений первых элементов изображения в первом изображении относительно второй адаптированной модели.

В соответствии с дополнительным аспектом настоящего изобретения предлагается компьютерная программа для совмещения изображений для совмещения первого изображения и второго изображения, при этом компьютерная программа для совмещения изображений содержит средство программного кода для вынуждения устройства совмещения изображений по п. 1 формулы изобретения выполнять этапы способа совмещения изображений по п. 14, когда компьютерная программа для совмещения изображений исполняется в компьютере, управляющем устройством совмещения изображений.

Следует понимать, что устройство совмещения изображений по п. 1 формулы изобретения, способ совмещения изображений по п. 14 формулы изобретения и компьютерная программа для совмещения изображений по п. 15 формулы изобретения имеют сходные и/или идентичные предпочтительные варианты осуществления, в частности, определенные в зависимых пунктах формулы изобретения.

Следует понимать, что предпочтительный вариант осуществления изобретения может быть также любым сочетанием зависимых пунктов с соответствующим независимым пунктом формулы изобретения. Приведенные и другие аспекты изобретения наглядно поясняются на примере нижеописанных вариантов осуществления.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На следующих чертежах:

Фиг. 1 - схематичное представление примерного варианта осуществления устройства совмещения изображений для совмещения первого изображения и второго изображения,

Фиг. 2 - схематичное представление примерной модели сердца, адаптированной к сердцу, показанному в изображении,

Фиг. 3 - вариант осуществления устройства совмещения изображений, содержащего систему компьютерной томографии для формирования компьютерных томографических изображений,

Фиг. 4 - взаимное пространственное расположение элементов изображений первого изображения и второго изображения,

Фиг. 5 - схематичное примерное изображение сердца человека в состоянии покоя,

Фиг. 6 - схематичное примерное изображение сердца человека в состоянии напряжения,

Фиг. 7 - схематичное примерное представление уровней яркости изображения, показанного на фиг. 6, отображенных на изображение, показанное на фиг. 5,

Фиг. 8 - схематичное представление примерной модели сердца, содержащей сегменты AHA,

Фиг. 9 - схематичное примерное представление изображения, на которое отображены сегменты AHA модели, показанной на фиг. 8, и

Фиг. 10 - блок схема последовательности операций примерного варианта осуществления способа совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

На фиг. 1 схематично и примерно представлено устройство совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга. Устройство 10 совмещения изображений содержит блок 11 обеспечения изображений для обеспечения первого изображения и второго изображения одного и того же объекта, т.е. в данном варианте осуществления первый объект и второй объект являются одним и тем же объектом. Устройство 10 совмещения изображений дополнительно содержит блок 13 обеспечения модели для обеспечения модели объекта, имеющей фиксированную топологию, блок 14 адаптации для адаптации модели к первому изображению с целью формирования первой адаптированной модели и ко второму изображению с целью формирования второй адаптированной модели и блок 15 определения соответствующих элементов изображений для определения соответствующих элементов изображений в первом изображении и во втором изображении на основе пространственных положений первых элементов изображения в первом изображении относительно первой адаптированной модели и пространственных положений вторых элементов изображения во втором изображении относительно второй адаптированной модели.

В приведенном варианте осуществления, объект является сердцем человека или животного, и модель является соответствующей моделью сердца. В частности, объект является миокардом левого желудочка, и модель является соответствующей моделью миокарда левого желудочка. Блок 13 обеспечения модели является, предпочтительно, запоминающим устройством, в котором хранится соответствующая модель объекта, и из которого можно вызвать соответствующую модель.

На фиг. 2 схематично и примерно представлены изображение сердца 20 человека и модель 21, которая адаптирована к миокарду левого желудочка сердца 20. Модель 21 содержит внешнюю поверхностную структуру, являющуюся внешней поверхностной сеткой 22, которая представляет, в данном варианте осуществления, эндокард и эпикард, и которая содержит в себе внутреннюю структуру 23. Следовательно, термины «внешний» и «внутренний» означают, что поверхностная структура, т.е. внешняя поверхностная структура, содержит в себе внутреннюю структуру. В данном варианте осуществления, внутренняя структура является объемной сеткой. На фиг. 2, модель 21 содержит дополнительные внешние поверхностные сетки 24, 25, 26, которые, в общем, также могут содержать в себе соответствующую внутреннюю структуру, в частности, соответствующую внутреннюю объемную сетку. Однако, в данном варианте осуществления, область интереса является миокардом левого желудочка, и, поэтому, объемная сетка 23 только вставлена в упомянутую область интереса, охваченную внешней поверхностной сеткой 22.

Объемная сетка 23 состоит из тетраэдров в виде объемных ячеек.

Поскольку модель 21 имеет фиксированную топологию, то фиксированы число тетраэдров, формирующих внутреннюю объемную сетку, и число треугольников, формирующих внешнюю поверхностную сетку, и отношения соседства между упомянутыми элементами модели, т.е. то, какие элементы модели являются соседними для каких других элементов модели.

Внутренняя объемная сетка 23 связана с внешней поверхностной сеткой 22, т.е. внешние вершины внутренней объемной сетки 23 идентичны вершинам внешней поверхностной сетки 22.

Модель 21 является, предпочтительно, трехмерной моделью, которую адаптируют к первому и второму трехмерным изображениям сердца, в частности, миокарда левого желудочка. На фиг. 2 схематично представлено примерное сечение трехмерной модели 21, адаптированной к трехмерному компьютерному томографическому изображению сердца 20.

Блок 11 обеспечения изображений является, например, запоминающим устройством, в котором хранятся первое изображение и второе изображение одного и того же сердца 20. Однако, блок обеспечения изображений может быть также средством визуализации, которое формирует первое изображение и второе изображение, и которое схематично показано для примера на фиг. 3.

Как показано на фиг. 3, устройство 30 совмещения изображений содержит блок 31 обеспечения изображений, являющийся системой компьютерной томографии. Система компьютерной томографии содержит гентри 1, который способен поворачиваться вокруг оси R поворота, которая продолжается параллельно z-направлению. Источник излучения, который в приведенном варианте осуществления является рентгеновской трубкой, установлен на гентри 1. Источник 2 излучения снабжен коллиматором 3, который в приведенном варианте осуществления формирует конический пучок 4 излучения из излучения, формируемого источником 2 излучения. Излучение пересекает объект (не показанный) и область интереса, которая в приведенном варианте осуществления является миокардом левого желудочка, в зоне 5 исследования, являющейся цилиндрической в приведенном варианте осуществления. После пересечения зоны 5 исследования, пучок 4 излучения падает на детекторное устройство 6, которое содержит двумерную детекторную поверхность. Детекторное устройство 6 установлено на гентри 1.

Система компьютерной томографии содержит два электродвигателя 7, 8. Гентри 1 приводится в движение, предпочтительно, с постоянной, но регулируемой угловой скоростью, электродвигателем 7. Электродвигатель 8 обеспечен для смещения объекта, например, пациента, который расположен на столе для пациента в зоне 5 исследования, параллельно направлению оси R поворота или z-оси. Упомянутые электродвигатели 7, 8 работают с управлением от блока 9 управления, например, таким образом, что источник излучения и зона 5 исследования, и, следовательно, область интереса внутри зоны 5 исследования, перемещаются друг относительно друга по траектории, которая может быть спиральной или кольцевой, при этом, если траектория является кольцевой траекторией, стол для пациента не перемещают. Вместо формирования конического пучка, коллиматор 3 может быть также выполнен с возможностью формирования другого пучка, подобного веерному пучку, при этом, тогда детекторное устройство 6 может содержать детекторную поверхность, которая имеет форму, соответствующую другой форме пучка.

Во время относительного перемещения источника 2 излучения и объекта 20 детекторное устройство 6 формирует измеренные значения, зависящие от излучения, падающего на детекторную поверхность детекторного устройства 6. Измеренные значения являются данными проекций, которые подаются в реконструирующий блок 12 для реконструкции первого и второго изображений объекта. Для реконструкции первого и второго изображений применимы известные алгоритмы реконструкции, подобные алгоритму фильтрованных обратных проекций. В частности, по значениям перемещения, измеряемым в то время, когда собирают данные проекций, можно выполнять известную коррекцию движения. Упомянутые значения перемещения являются, например, значениями электрокардиограммы. Блок обеспечения изображений может быть также другим средством визуализации, не являющимся системой компьютерной томографии, например, может быть системой магнитно-резонансной визуализации, системой радионуклидной визуализации, системой ультразвуковой визуализации, рентгенографической системой с C-образной консолью и т.д. Первое изображение и второе изображение могут быть сформированы одним и тем же средством визуализации или разными средствами визуализации.

Блок 14 адаптации выполнен с возможностью адаптации внешней поверхностной сетки 22 к поверхности миокарда левого желудочка и адаптации внутренней объемной сетки 23 с использованием внешней поверхностной сетки 22 в виде граничного условия. Объемную сетку 23 можно представить как эластичную «губку», которая расслабляется в зависимости от граничного условия, заданного адаптированной внешней поверхностной сеткой 22. Внутренняя объемная сетка 23 связана с внешней поверхностной сеткой 22 таким образом, что внешние вершины внутренней объемной сетки 23 идентичны вершинам внешней поверхностной сетки 22. Внешнюю поверхностную сетку 22 используют как граничное условие посредством удерживания на месте внешних вершин внутренней объемной сетки, которые зафиксированы внешней поверхностной сеткой 22, во время адаптации внутренней объемной сетки 23. Для адаптации внешней поверхностной сетки 22 к поверхности миокарда левого желудочка, внешнюю поверхностную сетку деформируют, и, для адаптации внутренней объемной сетки 23 к миокарду левого желудочка, внутреннюю объемную сетку 23 адаптируют так, чтобы внутренняя энергия внутренней объемной сетки 23 минимизировалась, а внешние вершины внутренней объемной сетки 23, которые соответствуют вершинам внешней поверхностной сетки 22, оставались зафиксированными. Приведенные методы адаптации внешней поверхностной сетки 22 и внутренней объемной сетки 23 подробно поясняются для примера в последующем описании.

Для адаптации внешней поверхностной сетки 22, в соответствующем изображении выделяют границу объекта с использованием известных алгоритмов выделения границ, подобных алгоритму выделения границ, описанному в статье «Optimizing boundary detection via Simulated Search with applications to multi-modal heart segmentation», J. Peters и др., Medical Image Analysis, страницы 70-84 (2010 г.). Затем, вершины внешней поверхностной сетки 22 видоизменяют так, чтобы сумма внешней энергии и внутренней энергии минимизировалась, что вызывает деформирование внешней поверхностной сетки и ее адаптацию к соответствующему объекту. Внешняя энергия уменьшается, если уменьшаются отклонения между выделенной границей и внешней поверхностной сеткой, и внутренняя энергия уменьшается, если уменьшаются отклонения между моделью формы, которую совмещают с деформирующейся моделью, адаптируемой к соответствующему изображению, и которая соответствует поверхности объекта, и внешней поверхностной сеткой 22. Более подробные сведения, касающиеся известной концепции внешней энергии и внутренней энергии, изложены в статьях «Shape constrained deformable models for 3D medical image segmentation», J. Weese et al, In Proc. IPMI, pages 380-387 (2001), и «Automatic Model-Based Segmentation of the Heart in CT Images», O. Ecabert и др., IEEE Trans. Med. Imaging 27(9), страницы 1189-1201 (2008 г.), которые включены в настоящую заявку путем ссылки.

Внутреннюю объемную сетку 23 адаптируют, предпочтительно, путем минимизации внутренней энергии, которая уменьшается, если уменьшаются отклонения между моделью формы, которую совмещают с деформирующейся моделью, адаптируемой с соблюдением граничных условий, налагаемых внешней поверхностной сеткой 22, и которая представляет форму внутренней структуры объекта, и адаптированной объемной сеткой 23.

Модели формы являются предварительно заданными и могут храниться в блоке 14 адаптации. Модель формы задает форму внутренней и/или внешней структур соответствующего объекта и может быть сформирована, например, путем усреднения по нескольким сегментированным объектам одного типа. Для определения внутренней энергии, соответствующую модель формы, предпочтительно, точно совмещают с деформирующейся моделью, адаптируемой к соответствующему изображению, и определяют отклонения, например, квадрат разности, между ребрами или вершинами модели формы и адаптируемой моделью.

Блок 15 определения соответствующих элементов изображений выполнен с возможностью определения второго элемента изображения второго изображения, который соответствует обеспеченному первому элементу изображения первого изображения, сначала посредством определения первого элемента модели, содержащего обеспеченный первый элемент изображения, при этом первый элемент модели является элементом модели первой адаптированной модели. Затем определяют второй элемент модели, являющийся элементом модели второй адаптированной модели, при этом второй элемент модели определяют так, чтобы он соответствовал определенному первому элементу модели. Первую локальную систему координат задают в первом элементе модели, и вторую локальную систему координат задают во втором элементе модели относительно признаков, которые являются общими для первого элемента модели и второго элемента модели, при этом определяют преобразование между первой локальной системой координат и второй локальной системой координат по положениям общих признаков в первом изображении и во втором изображении. Положение первого элемента изображения определяют в первой локальной системе координат, и положение второго элемента изображения второго изображения, который соответствует первому элементу изображения, во второй локальной системе координат определяют в зависимости от определенного положения первого элемента изображения в первой локальной системе координат и определенного преобразования.

Упомянутое определение второго элемента изображения, который соответствует определенному первому элементу изображения, поясняется в последующем со ссылкой на фиг. 4.

В примере, приведенном на фиг. 4, в первом изображении обеспечивают первый элемент 40 изображения. Упомянутое обеспечение первого элемента изображения может быть выполнено, например, пользователем посредством графического пользовательского интерфейса, который позволяет пользователю выбрать некоторый первый элемент изображения в первом изображении. После того, как первый элемент 40 изображения обеспечен, определяют, в каком первом элементе 44 модели первой адаптированной модели расположен обеспеченный первый элемент 40 изображения. Затем определяют второй элемент 54 модели второй адаптированной модели, при этом второй элемент 54 модели определяют так, чтобы он соответствовал определенному первому элементу 44 модели. Первую локальную систему координат в первом элементе 44 модели и вторую локальную систему координат во втором элементе 54 модели определяют по вершинам 41 … 43 первого элемента 44 модели, вершинам 51 … 53 второго элемента 54 модели, промежуточным точкам между двумя вершинами 45 … 47 первого элемента 44 модели и промежуточным точкам 55 … 57 между вершинами 51 … 53 второго элемента 54 модели. Преобразование между первой локальной системой координат и второй локальной системой координат основано на положениях упомянутых общих признаков в первом изображении и во втором изображении. Затем определяют положение первого элемента 40 изображения в первой локальной системе координат, и положение второго элемента 50 изображения второго изображения, который соответствует первому элементу 40 изображения, во второй локальной системе координат определяют в зависимости от определенного положения первого элемента 40 изображения в первой локальной системе координат и определенного преобразования. Разумеется, найденное преобразование можно также использовать для нахождения других соответствующих элементов изображения. Например, преобразование можно использовать для определения, что второй элемент 59 соответствует первому элементу 49 изображения, и второй элемент 58 соответствует первому элементу 48 изображения.

Общие признаки, которые используют для установления преобразования между первым изображением и вторым изображением, могут быть также только вершинами, только промежуточными точками между вершинами или другими признаками соответствующих элементов модели, в частности, соответствующих треугольников или тетраэдров. Для установления геометрического отображения между первым изображением и вторым изображением применимы разные методы, использующие координаты вершин сетки в обоих изображениях. Один метод состоит в установлении линейного преобразования геометрических координат внутри тетраэдрических объемных ячеек внутренней объемной сетки 23 и/или внутри треугольников внешней поверхностной сетки 22. В предпочтительном варианте, для задания линейного преобразования внутри соответствующей структуры используют вершины треугольников или тетраэдров.

Например, первую локальную систему координат можно задать векторами, задающими вершины первого элемента модели, и вторую локальную систему координат можно задать векторами вершин второго элемента модели. Затем каждый первый элемент изображения внутри первого элемента модели можно задать в виде линейной комбинации векторов вершин первого элемента модели. Затем можно применить весовые множители упомянутой линейной комбинации для линейного комбинирования векторов вершин второго элемента модели, который соответствует первому элементу модели, чтобы определить вторые элементы изображения внутри второго элемента модели, которые соответствуют первым элементам изображения внутри первого элемента модели.

На фиг. 5 схематично представлено для примера первое изображение сердца человека, которое соответствует состоянию покоя человека. На фиг. 6 схематично представлено для примера второе изображение сердца человека, при этом второе изображение соответствует состоянию напряжения человека. Соответствующие элементы изображения в первом изображении и во втором изображении можно определять, как изложено выше, посредством адаптации модели 21 сердца, имеющей фиксированную топологию, к сердцу, показанному на первом и втором изображениях, таким образом, что формируются первая адаптированная модель, представляющая состояние покоя и вторая адаптированная модель, представляющая состояние напряжения. Блок определения соответствующих элементов изображений использует упомянутые адаптированные первую и вторую модели для определения соответствующих элементов изображений в первом и втором изображениях, т.е. для совмещения первого и второго изображений. На основании совмещения, уровни яркости второго изображения в состоянии напряжения можно отобразить в первое изображение в состоянии покоя на участке миокарда. Полученное комбинированное изображение схематично показано для примера на фиг. 7. В приведенном примере, модель 21 сердца является моделью миокарда, и комбинированное изображение содержит значения изображения для миокарда второго изображения, показанного на фиг. 6 и другие значения изображения из первого изображения, показанного на фиг. 5.

Устройство совмещения изображений дополнительно содержит блок 16 обработки значений изображений для обработки значений изображений соответствующих элементов изображений. Например, значения изображений, в частности, уровни яркости изображений, соответствующих элементов изображений можно легко сравнивать, например, посредством вычисления разности или отношения значений изображений соответствующих элементов изображений. В предпочтительном варианте, блок обработки значений изображений сначала выполняет глобальную компенсацию разностей уровней яркости на первом изображении и втором изображении.

Чтобы выполнить глобальную компенсацию разностей уровней яркости, можно вычислить усредненное значение, в частности, среднее или медианное значение, значений изображений в области интереса, в приведенном варианте осуществления, внутри миокарда, для первого изображения и для второго изображения, при этом разность между усредненным значением, найденным для первого изображения, и усредненным значением, найденным для второго изображения, можно прибавлять к значениям изображений первого изображения или второго изображения, соответственно, чтобы компенсировать разность усредненных значений.

Блок 16 обработки значений изображений выполнен с возможностью формирования обработанного значения в зависимости от значений изображений соответствующих элементов изображений, при этом блок 15 определения соответствующих элементов изображений выполнен с возможностью определения местоположения внутри неадаптированной модели, которое соответствует соответствующим элементам изображений, в зависимости от пространственного положения, по меньшей мере, одного из первого элемента изображения относительно первой адаптированной модели и из второго элемента изображения относительно второй адаптированной модели. В частности, блок 15 определения соответствующих элементов изображений может быть выполнен с возможностью использования общих признаков, например, вершин соответствующего элемента модели, для определения преобразования, которое основано на локальных системах координат, и которое преобразует местоположение внутри элемента модели в первой адаптированной модели или второй адаптированной модели в местоположение внутри соответствующего элемента модели неадаптированной модели, как изложено выше. Устройство совмещения изображений дополнительно содержит блок 17 присвоения для присвоения обработанного значения определенному местоположению неадаптированной модели. Обработанное значение может быть также присвоено соответствующему первому элементу изображения в первом изображении, соответствующему второму элементу изображения во втором изображении и/или деформированной обеспеченной модели, которая не адаптирована к первому изображению или второму изображению. Полученную неадаптированную модель с обработанным значением или с обработанными значениями, если обработанные значения определяют для нескольких местоположений внутри модели, можно представлять на дисплее 18. На дисплее 18 могут быть также представлены другие изображения и/или адаптированные модели. Например, на дисплее 18 можно представлять первое изображение, первая адаптированная модель, второе изображение и/или вторая адаптированная модель.

В одном варианте осуществления, в неадаптированной модели обозначены некоторые местоположения, в частности, некоторые области. Подобная модель 70 сердца, содержащая обозначенные местоположения, в частности, обозначенные области 71, схематично показана для примера на фиг. 8. На фиг. 8, разные области 71 обозначены разными значениями цвета, присвоенными разным областям 71. В других вариантах осуществления, областям 71 для такого же обозначения могут быть также присвоены значения другого рода, например, уровни яркости или значения контраста. Областям модели можно также присваивать информацию другого рода, например, направления сосудистых пучков. На фиг. 8, разные обозначенные области являются сегментами AHA (Американской ассоциации изучения сердечных заболеваний). Блок 15 определения соответствующих элементов изображений выполнен с возможностью определения соответствующих элементов изображений в первом изображении и во втором изображении, которые соответствуют соответствующему местоположению, обозначенному в неадаптированной модели, на основании первой адаптированной модели и второй адаптированной модели. В частности, как изложено выше, общие признаки соответствующих элементов модели в неадаптированной модели, первой адаптированной модели и второй адаптированной модели можно использовать для определения преобразований между локальными системами координат соответствующих элементов модели в неадаптированной модели, первой адаптированной модели и второй адаптированной модели. Блок 15 определения соответствующих элементов изображений, предпочтительно, выполнен с возможностью использования упомянутых преобразований для определения соответствующих элементов изображений в первом изображении и во втором изображении, которые соответствуют, например, области 71 модели 70 сердца, показанной на фиг. 8. Блок 17 присвоения, предпочтительно, выполнен с возможностью присвоения значений, цветных значений в приведенном варианте осуществления, разных областей 71 неадаптированной модели 70 сердца найденным соответствующим элементам изображения первого изображения и второго изображения. Полученное изображение, которое может быть первым изображением или вторым изображением, схематично представлено для примера на фиг. 9. Поскольку в приведенном варианте осуществления первое изображение и второе изображение окрашены в соответствии с сегментами AHA, то данные сегменты можно легко сравнивать в первом изображении и втором изображении.

Далее, со ссылкой на блок-схему последовательности операций способа, приведенную на фиг. 10, описан примерный вариант осуществления способа совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга.

На этапе 101 обеспечивают модель 21 объекта 20, содержащую фиксированную топологию. Модель 21 является, предпочтительно, типовой моделью. На этапе 102, модель 21 адаптируют к первому изображению для формирования первой адаптированной модели и ко второму изображению для формирования второй адаптированной модели. Модель 21 содержит, предпочтительно, внешнюю поверхностную структуру 22 и внутреннюю структуру 23, при этом, внешнюю поверхностную структуру 22, предпочтительно, деформируют для адаптации внешней поверхностной структуры 22 к объекту в соответствующем изображении, и, причем внутреннюю структуру 23, предпочтительно, адаптируют так, чтобы внутренняя энергия минимизировалась, тогда как деформированная внешняя поверхностная структура служит граничным условием. На этапе 103 определяют соответствующие элементы изображений в первом изображении и во втором изображении на основе пространственных положений первых элементов изображения в первом изображении относительно первой адаптированной модели и пространственных положений вторых элементов изображения во втором изображении относительно второй адаптированной модели. В частности, определяют преобразования между локальными системами координат соответствующих элементов модели первой адаптированной модели и второй адаптированной модели по положениям общих признаков, например, вершин элементов модели, при этом, найденные преобразования используют для определения соответствующих элементов изображений в первом изображении и во втором изображении.

Устройство и способ совмещения изображений можно применять для сравнения уровней яркости изображений в соответствующих анатомических положениях для, по меньшей мере, двух изображений. Упомянутое сравнение имеет многочисленные применения, например, при анализе кровоснабжения. В частности, устройство и способ совмещения изображений можно применять для анализа кровоснабжения, в общем, и анализа данных компьютерной томографии кровоснабжения сердца. Устройство и способ совмещения изображений можно также применять для сравнения уровней яркости в изображениях во время последующих исследований или для объединения информации об изображениях из разных средств.

Устройство и способ совмещения изображений можно применять для совмещения, анализа и сравнения пар изображений и/или последовательностей изображений, при этом, базовый метод основан, предпочтительно, на сегментации с использованием сеточных моделей. Устройство и способ совмещения изображений допускают взаимное отображение анатомически соответствующих местоположений изображений, сравнение уровней яркости смещений в, по меньшей мере, двух изображениях и их анализ. Кроме того, в модель можно включать информацию, например, в модель можно включать сегменты AHA, и можно избежать не имеющих смысла сравнений в нецелевых областях, например, в областях первого изображения или второго изображения, которые не являются сегментами AHA.

Существует множество функций, которые могут быть реализованы устройством и способом совмещения изображений, в частности, посредством метода совмещения на основе моделей. Например, устройство и способ совмещения изображений допускают отображение положения, обозначенного в первом изображении, на второе изображение внутри целевой области, например, внутри миокарда левого желудочка. Кроме того, уровни яркости можно отображать внутри целевой области из одного изображения во второе изображение, как показано, например, на фиг. 7. Первоначальные и отображенные уровни яркости можно сравнивать, например, для сравнения кровоснабжения миокарда в состоянии покоя, возможно, после применения глобальной компенсации разностей уровней яркости, например, если между разными сборами данных изменился общий уровень контраста в органе. Затем, разности уровней яркости можно использовать для диагностики.

Неадаптированная модель является, предпочтительно, типовой моделью, задающей эталонное пространство. Положение, обозначенное в эталонном пространстве, т.е. положение или местоположение, обозначенное в неадаптированной модели, можно отобразить в оба изображения, или информацию об уровнях яркости обоих изображений в обозначенном положении можно обработать, например, посредством вычитания, деления и т.д., и отобразить в эталонное пространство. В течение отображения можно визуализировать дополнительную информацию, закодированную в модели, например, сегменты AHA, как изложено выше со ссылкой на фиг. 8 и 9, или например, слой, к которому относится элемент ткани. Например, в модели может быть закодировано, относится ли соответствующий элемент, который представляет элемент ткани, к эндокарду, миокарду или эпикарду.

Устройство и способ совмещения изображений могут быть созданы с возможностью сравнения, кроме уровней яркости, других свойств элементов модели, в частности, объемных ячеек или элементов модели поверхности, в разных изображениях. Например, во временной последовательности изображений можно определить геометрические смещения и использовать для реконструкции полей движения, при этом затем упомянутые поля движения можно визуализировать или анализировать, например, для обнаружения артефактов движения в миокарде.

Например, положения соответствующих элементов модели в разных изображениях можно использовать для определения векторов смещения, при этом соответствующие скорости и, следовательно, перемещения можно определять по векторам смещения и значениям времени, в которое получены разные изображения.

Кроме того, сравнение соответствующих элементов изображений в разных изображениях можно использовать для анализа кровоснабжения. Например, считается, что инфарктные области сердца имеют в состоянии напряжения значения изображений, отличающиеся от значений в состоянии покоя, в частности, считается, что в состоянии напряжения инфарктные области содержат более темные уровни яркости, чем в состоянии покоя. Если первое изображение представляет состояние покоя, и если второе изображение представляет состояние напряжения, то соответствующие значения изображений в упомянутых двух изображениях можно сравнивать, и можно определить, какие области изображений содержат разности значений изображений соответствующих элементов изображений, что указывает на инфарктную область. В частности, можно определить, в каких областях двух изображений значения изображения второго изображения являются на более, чем пороговую величину темнее, чем соответствующие значения изображения первого изображения. Пороговую величину можно определять калибровочными измерениями.

Хотя в вышеописанных вариантах осуществления объект является сердцем, в частности, миокардом левого желудочка, устройство и способ совмещения изображений могут быть также созданы с возможностью совмещения другого объекта, например, другого органа или, например, технического объекта.

Хотя в вышеописанных вариантах осуществления между собой совмещают первое изображение и второе изображение, устройство и способ совмещения изображений могут быть также созданы с возможностью совмещения между собой, по меньшей мере, трех изображений, в частности, последовательности изображений.

Хотя в вышеописанных вариантах осуществления первая структура является внешней поверхностной структурой, и вторая структура является внутренней структурой, охваченной внешней поверхностной структурой, вторая структура может быть любой структурой, связанной с первой структурой известной пространственной связью между первой структурой и второй структурой, при этом, пространственная связь может быть задана, например, посредством расстояний между вершинами первой структуры и вершинами второй структуры или посредством векторов, соединяющих вершины первой структуры с вершинами второй структуры. В одном варианте осуществления, вторая структура не нуждается в расположении внутри первой структуры.

Хотя в вышеописанных вариантах осуществления модель является, предпочтительно, трехмерной моделью, модель может быть также двумерной моделью, при этом, в данном случае, модель содержит, предпочтительно, внешнюю сетку, являющуюся одномерным контуром, и внутреннюю сетку, состоящую из двумерных элементов модели, в частности, состоящую из треугольников.

В процессе применения заявленного изобретения, специалистами в данной области техники, после изучения чертежей, описания и прилагаемой формулы изобретения могут быть разработаны и созданы другие модификации предложенных вариантов осуществления.

В формуле изобретения, выражение «содержащий» не исключает других элементов или этапов, и признак единственного числа (в форме неопределенного артикля в оригинале) не исключает множественного числа.

Единственный блок или единственное устройство может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Очевидное обстоятельство, что некоторые признаки перечислены во взаимно отличающихся, зависимых пунктах формулы изобретения не означает, что в подходящих случаях нельзя использовать сочетание упомянутых признаков.

Определения, вычисления, адаптации и т.д., выполняемые, по меньшей мере, одним или несколькими блоками или устройствами, могут выполняться любым другим числом блоков или устройств. Например, этапы 101-103 могут выполняться единственным блоком или любым другим числом разных блоков. Вычисления, определения, адаптации и т.д. и/или управление устройством совмещения изображений в соответствии со способом совмещения изображений можно осуществить в виде средства программного кода компьютерной программы и/или в виде специализированного аппаратного обеспечения.

Компьютерная программа может храниться/распространяться на подходящем носителе, например, оптическом носителе данных или полупроводниковом носителе, поставляемых совместно с другим аппаратным обеспечением или в его составе, но может также распространяться в других формах, например, по сети Интернет или в других проводных или беспроводных телекоммуникационных системах.

Никакие позиции в формуле изобретения не подлежат истолкованию в смысле ограничения объема притязаний.

Изобретение относится к устройству совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга. Модель, которая имеет фиксированную топологию, адаптируют к первому изображению для формирования первой адаптированной модели и ко второму изображению для формирования второй адаптированной модели, и соответствующие элементы изображений определяют в первом изображении и во втором изображении на основе пространственных положений первых элементов изображения в первом изображении относительно первой адаптированной модели и пространственных положений вторых элементов изображения во втором изображении относительно второй адаптированной модели. Поскольку модель имеет фиксированную топологию, то соответствующие элементы изображений можно относительно надежно находить на основе адаптированных моделей, даже если первое и второе изображения представляют объект, имеющий комплексные свойства, например, сердце, что повышает качество совмещения.

Изобретение относится к области совмещения изображений. Техническим результатом является повышение качества совмещения изображений. Устройство содержит: блок обеспечения изображений для обеспечения первого изображения первого объекта и второго изображения второго объекта, блок обеспечения модели для обеспечения модели первого объекта и второго объекта, блок адаптации для адаптации модели к первому изображению для формирования первой адаптированной модели и ко второму изображению для формирования второй адаптированной модели, причем блок адаптации выполнен с возможностью определения внутренней энергии посредством совмещения модели формы с обеспеченной моделью и посредством определения отклонений между моделью формы и обеспеченной моделью для адаптации обеспеченной модели к первому изображению и ко второму изображению, и блок для определения соответствующих элементов изображений в первом изображении и во втором изображении на основе пространственных положений первых элементов изображения в первом изображении относительно первой адаптированной модели и пространственных положений вторых элементов изображения во втором изображении относительно второй адаптированной модели. 3 н. и 12 з.п. ф-лы, 10 ил.

1. Устройство совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга, при этом устройство (10; 30) совмещения изображений содержит:
- блок (11; 31) обеспечения изображений для обеспечения первого изображения первого объекта и второго изображения второго объекта, причем первый объект и второй объект являются однотипными,
- блок (13) обеспечения модели для обеспечения модели (21) первого объекта и второго объекта, причем число элементов модели в модели (21) и отношения соседства между элементами модели являются фиксированными,
- блок (14) адаптации для адаптации модели (21) к первому изображению для формирования первой адаптированной модели и ко второму изображению для формирования второй адаптированной модели, причем блок (14) адаптации выполнен с возможностью определения внутренней энергии посредством совмещения модели формы с обеспеченной моделью и посредством определения отклонений между моделью формы и обеспеченной моделью для адаптации обеспеченной модели к первому изображению и ко второму изображению, и
блок (15) определения соответствующих элементов изображений для определения соответствующих элементов изображений в первом изображении и во втором изображении на основе пространственных положений первых элементов изображения в первом изображении относительно первой адаптированной модели и пространственных положений вторых элементов изображения во втором изображении относительно второй адаптированной модели.

2. Устройство совмещения изображений по п. 1, в котором модель (21) содержит первую структуру (22) и вторую структуру (23), связанную с первой структурой (22).

3. Устройство совмещения изображений по п. 2, в котором первая структура (22) является внешней поверхностной структурой, и вторая структура (23) является внутренней структурой.

4. Устройство совмещения изображений по п. 3, в котором внешняя поверхностная структура (22) является внешней поверхностной сеткой.

5. Устройство совмещения изображений по п. 3, в котором внутренняя структура (23) является объемной сеткой.

6. Устройство совмещения изображений по п. 2, в котором блок (14) адаптации выполнен с возможностью:
- формирования первой адаптированной модели посредством адаптации первой структуры (22) к первому объекту и посредством адаптации второй структуры (23) с использованием адаптированной первой структуры (22) в качестве граничного условия, и
- формирования второй адаптированной модели посредством адаптации первой структуры (22) ко второму объекту и посредством адаптации второй структуры (23) с использованием адаптированной первой структуры (22) в качестве граничного условия.

7. Устройство совмещения изображений по п. 6, в котором блок (14) адаптации выполнен с возможностью адаптации второй структуры (23) так, чтобы внутренняя энергия второй структуры (23) минимизировалась.

8. Устройство совмещения изображений по п. 1, в котором блок (15) определения соответствующих элементов изображений выполнен с возможностью определения преобразования, которое преобразует признаки первой адаптированной модели в соответствующие признаки второй адаптированной модели, и определения соответствующих элементов изображений в первом изображении и во втором изображении на основании определенного преобразования.

9. Устройство совмещения изображений по п. 1, в котором первая адаптированная модель и вторая адаптированная модель состоят, каждая, из элементов модели, при этом блок (15) определения соответствующих элементов изображений выполнен с возможностью определения второго элемента (50) изображения второго изображения, который соответствует обеспеченному первому элементу (40) изображения первого изображения, посредством выполнения следующих этапов:
- определение первого элемента (44) модели, содержащего первый элемент (40) изображения первого изображения, причем первый элемент (44) модели является элементом модели первой адаптированной модели,
- определение второго элемента (54) модели, являющегося элементом модели второй адаптированной модели, причем второй элемент (54) модели определяют так, чтобы он соответствовал определенному первому элементу (44) модели,
- задание первой локальной системы координат в первом элементе (44) модели и второй локальной системы координат во втором элементе (54) модели относительно признаков (41…43, 45…47; 51…53, 55…57), которые являются общими для первого элемента (44) модели и второго элемента (54) модели,
- определение преобразования между первой локальной системой координат и второй локальной системой координат на основе положений общих признаков (41…43, 45…47; 51…53, 55…57) в первом изображении и во втором изображении,
- определение положения первого элемента (40) изображения в первой локальной системе координат,
- определение положения второго элемента (50) изображения второго изображения, который соответствует первому элементу (40) изображения, во второй локальной системе координат, в зависимости от определенного положения первого элемента (40) изображения в первой локальной системе координат и определенного преобразования.

10. Устройство совмещения изображений по п. 1, в котором в обеспеченной модели обозначено местоположение, и при этом блок (15) определения соответствующих элементов изображений выполнен с возможностью определения соответствующих элементов изображений в первом изображении и во втором изображении, которые соответствуют местоположению, обозначенному в обеспеченной модели, на основании первой адаптированной модели и второй адаптированной модели.

11. Устройство совмещения изображений по п. 10, в котором местоположению, обозначенному в обеспеченной модели,ё присваивается значение, и при этом устройство совмещения изображений дополнительно содержит блок (17) присвоения для присвоения значения элементам изображений первого изображения и второго изображения, которые соответствуют местоположению.

12. Устройство совмещения изображений по п. 1, в котором устройство совмещения изображений дополнительно содержит блок (16) обработки значений изображений для обработки значений изображений соответствующих элементов изображений.

13. Устройство совмещения изображений по п. 12, в котором
- блок (16) обработки значений изображений выполнен с возможностью формирования обработанного значения в зависимости от значений изображений соответствующих элементов изображений,
- блок (15) определения соответствующих элементов изображений выполнен с возможностью определения местоположения внутри обеспеченной модели, которое соответствует соответствующим элементам изображений, в зависимости от пространственного положения, по меньшей мере, одного из первого элемента изображения относительно первой адаптированной модели и из второго элемента изображения относительно второй адаптированной модели,
- устройство совмещения изображений дополнительно содержит блок (17) присвоения для присвоения обработанного значения определенному местоположению внутри обеспеченной модели.

14. Способ совмещения изображений для совмещения первого изображения и второго изображения относительно друг друга, при этом способ совмещения изображений содержит этапы, на которых:
- обеспечивают первое изображение первого объекта и второе изображение второго объекта, причем первый объект и второй объект являются однотипными,
- обеспечивают модель (21) первого объекта и второго объекта, причем число элементов модели в модели (21) и отношения соседства между элементами модели являются фиксированными,
- адаптируют модель (21) к первому изображению для формирования первой адаптированной модели и ко второму изображению для формирования второй адаптированной модели, причем определяют внутреннюю энергию посредством совмещения модели формы с обеспеченной моделью и посредством определения отклонений между моделью формы и обеспеченной моделью для адаптации обеспеченной модели к первому изображению и ко второму изображению, и
- определяют соответствующие элементы изображений в первом изображении и во втором изображении на основе пространственных положений первых элементов изображения в первом изображении относительно первой адаптированной модели и пространственных положений вторых элементов изображения во втором изображении относительно второй адаптированной модели.

15. Считываемый компьютером носитель, содержащий сохраненную на нем компьютерную программу для совмещения изображений для совмещения первого изображения и второго изображения, при этом компьютерная программа для совмещения изображений содержит средство программного кода для вынуждения устройства совмещения изображений по п. 1 выполнять этапы способа совмещения изображений по п. 14, когда компьютерная программа для совмещения изображений исполняется в компьютере, управляющем устройством совмещения изображений.