СИСТЕМА И СПОСОБ ДЛЯ СОВМЕЩЕНИЯ ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ Российский патент 2017 года по МПК G06T7/00 G06T5/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к системе и способу для совмещения последовательности изображений. Изобретение также относится к рабочей станции и системе формирования изображения, содержащей систему, и компьютерному программному продукту для обеспечения выполнения способа.

В областях просмотра изображения и отображения изображения может оказаться желательным выравнивание двух изображений, которые содержат один и тот же или подобный объект. Такое геометрическое выравнивание обычно известно как совмещение изображений и рассматривается в качестве основной задачи в многочисленных приложениях обработки изображения. Совмещение изображений может быть использовано, например, когда медицинское изображение первичного обследования пациента должно быть сравнено с медицинским изображением катамнестического обследования. Поскольку пациент может располагаться по-разному на обоих медицинских изображениях, совмещение изображений может быть использовано для компенсации отличий в обоих медицинских изображениях из-за изменения положения пациента.

Совмещение изображений, как правило, включает в себя i) установление преобразования между двумя изображениями посредством максимизации меры сходства между двумя изображениями, ii) на основании преобразований выравнивание двух изображений. Максимизация может быть выполнена, используя численные способы оптимизации, например градиентный спуск, управляющие параметрами преобразования. Преобразования могут быть, например, жесткими, аффинными или гибкими.

УРОВЕНЬ ТЕХНИКИ

Совмещение изображений также может быть применено к последовательностям изображений, т.е. более чем к двум изображениям. Такое совмещение изображения часто используется для компенсации движения, возникающего в последовательности изображений. Например, в последовательностях исследования сердечного кровотока методом MRI дыхательное движение пациента может помешать клиницисту в исследование последовательности изображений. Совмещение изображений может быть использовано для компенсации дыхательного движения, т.е. для стабилизации последовательности изображений.

Например, публикация под названием «Registration of Ultrasound Image Sequences for Perfusion Analysis», под авторством Vratislav Harabis и др., EUSIPCO, август 2011г., стр. 1015-1019, описывает способ для совмещения изображений в ультразвуковых последовательностях, когда в поток крови вводится контрастное вещество. Упоминается, что выбор опорного изображения при совмещении контрастной последовательности является одной из ключевых задач. Упоминается, что первая возможность для выбора основана на плавающем опорном изображении, при этом второе изображение совмещается с первым изображением, третье изображение совмещается со вторым изображением и т.д. Вторая возможность состоит в задании только одного опорного изображения и в совмещении прочих изображений в последовательности по отношении к этому фиксированному изображению. Публикация предлагает другой способ, основанный на совмещении последовательностей. Исходная последовательность автоматически делится на подпоследовательности на основании значений контрастности. В каждой подпоследовательности одно изображение с наивысшим значением метрики CROI задается в качестве опорного для совмещения последовательности. Метрика CROI основана на разностях интенсивности пикселя в области интереса (ROI). В заключение, вычисляются средние изображения из каждой из совмещенных подпоследовательностей и используются для совмещения подпоследовательностей вместе.

Проблема вышеупомянутого способа состоит в том, что совмещение последовательности изображений может вызывать возникновение искажений в совмещенной последовательности изображений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Было бы предпочтительно иметь систему или способ для совмещения последовательности изображений, которые уменьшают искажения, возникающие в совмещенной последовательности изображений.

Для более эффективного решения этой проблемы первый аспект изобретения предоставляет систему для совмещения последовательности изображений, содержащую:

- блок ввода для получения последовательности изображений, при этом последовательность изображений содержит множество изображений, расположенных последовательно в диапазоне изображений;

- процессор преобразования для установления преобразований между парами последовательных изображений в последовательности изображений для получения множества преобразований;

- процессор выравнивания на основании множества преобразований для выравнивания последовательности изображений по опорному изображению для получения совмещенной последовательности изображений;

- при этом процессор выравнивания выполнен с возможностью установления опорного изображения из множества изображений на основании метрики преобразования, причем метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания последовательности изображений по опорному изображению.

В дополнительном аспекте изобретения предоставляется рабочая станция и устройство формирования изображения, содержащее изложенную систему.

В дополнительном аспекте изобретения предоставляется способ для совмещения последовательности изображений, содержащий этапы, на которых:

- получают последовательность изображений, при этом последовательность изображений, содержащую множество изображений, расположенных последовательно в диапазоне изображений;

- устанавливают преобразования между парами последовательных изображений в последовательности изображений для получения множества преобразований;

- на основании множества преобразований выравнивают последовательность изображений по опорному изображению для получения совмещенной последовательности изображений;

- при этом упомянутый этап, на котором выравнивают последовательность изображения, содержит этап, на котором устанавливают опорное изображение из множества изображений на основании метрики преобразования, причем метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания последовательности изображений по опорному изображению. В дополнительном аспекте изобретения предоставляется компьютерный программный продукт, содержащий инструкции, предписывающие процессорной системе выполнить изложенный способ.

Настоящее изобретение включает в себя совмещение последовательности изображений. Последовательность изображений формируется рядом изображений, которые упорядочены, т.е. каждое изображение имеет конкретное положение по отношению к другим из ряда изображений. Порядок может быть, например, порядком, основанным на времени. Последовательность изображений имеет диапазон изображений, причем границы диапазона изображений определяются первым и последним изображением из ряда изображений. Получение последовательности изображений заключается в том, что она может быть принята от внутреннего или внешнего источника, например запоминающего носителя информации.

Преобразования устанавливаются между парами последовательных изображений из ряда изображений. Каждое из преобразований указывает преобразование между парой последовательных изображений. Здесь, понятие «последовательный» относится к изображениям пары изображений, следующим друг за другом в упорядочение изображений, т.е. являющимся соседними изображениями в рамках последовательности изображений. Преобразование является функцией или параметрами, которые указывают то, каким образом одно из пары изображений может быть преобразовано так, чтобы, по меньшей мере, частично совпадать с другим изображением.

Преобразования используются для выравнивания последовательности изображений по отношению к опорному изображению. Следовательно, другие изображения из последовательности изображений преобразуются так, чтобы, по меньшей мере, частично совпадать с опорным изображением, при этом опорное изображение служит в качестве стабильного, не преобразованного изображения из ряда изображений. По существу, опорное изображение составляет так называемое анкерное изображение, по отношению к которому выравнивается последовательность изображений.

Следует отметить, что совмещение изображений, таким образом, выполняется посредством i) установления преобразований и ii) на основании преобразования выравнивания последовательности изображений.

Опорное изображение устанавливается из множества изображений. Следовательно, множество изображений используется для либо непосредственного, либо опосредованного предоставления опорного изображения. Для установления того, какое изображение устанавливается в качестве опорного изображения, используется метрика преобразования. Метрика преобразования является функцией, например математической функцией, которая указывает, какое количество преобразования требуется, т.е. в какой степени ряд изображений требуется преобразовать, чтобы выровнять последовательность изображений по опорному изображению. Полученное вследствие этого значение преобразования зависит от того, какое изображение устанавливается в качестве опорного изображения.

Автор(ы) изобретения признает(ют), что выбор опорного изображения оказывает сильное влияние на качество совмещения изображений, как воспринимается пользователем. Причина этого состоит в том, что опорное изображение, выступая в качестве основы для совмещения изображений, вызывает преобразование ряда изображений так, чтобы они, по меньшей мере, частично походили на опорное изображение. В случае, когда опорное изображение является изображением, которое малоинтересно или не интересно пользователю, например, поскольку оно не показывает или не четко показывает область интереса, ряд изображений преобразуется так, что они, по меньшей мере, частично походят на изображение, которое малоинтересно или не интересно пользователю. Автор(ы) изобретения дополнительно признает(ют), что такие изображения часто составляют выбросы в последовательности изображений, которые по внешнему виду отличаются от других изображений в последовательности изображений.

Посредством предоставления метрики преобразования, которая количественно оценивает степень преобразования, требуемого для выравнивания последовательности изображений по опорному изображению, может быть определено, какое количество преобразования требуется для выравнивания последовательности изображений по конкретному опорному изображению. Степень преобразования указывает, насколько подобно опорное изображение другим изображениям из последовательности изображений, так как для изображения, которое подобно большей части изображений из последовательности изображений, потребуется меньшая степень преобразования, т.е. только для тех изображений, которые не подобные. Тем не менее, для изображения, которое отличается по внешнему виду от большей части изображений из последовательности изображений, потребуется высокая степень преобразования, т.е. потребуется преобразование для большей части изображений из последовательности изображений, чтобы они походили на опорное изображение. Следовательно, предоставляется метрика преобразования, которая указывает, составляет ли изображение, установленное в качестве опорного изображения, выброс в последовательности изображений.

Посредством установления опорного изображения из последовательности изображений на основании метрики преобразования опорное изображение устанавливается на основании того, в какой степени упомянутое изображение составляет выброс в последовательности изображений. Раз так, то можно избежать выбросов в последовательности изображений при установлении опорного изображения. Преимущественно может быть установлено опорное изображение, которое походит на другие изображения в последовательности изображений.

Преимущественно уменьшается вероятность того, что изображение, которое менее или не интересно пользователю, устанавливается в качестве опорного изображения. Преимущественно можно избежать искажений, которые в противном случае могут быть внесены посредством установления изображения в качестве опорного изображения, которое искажено и вследствие этого составляет выброс в последовательности изображений, так как предотвращается преобразование других изображений, чтобы они, по меньшей мере, частично походили на искаженное изображение.

Опционально процессор выравнивания выполнен с возможностью установления опорного изображения посредством выбора опорного изображения из множества изображений на основании минимизации метрики преобразования. В частности, опорное изображение выбирается для минимизации метрики преобразования. Следовательно, в качестве опорного изображения устанавливается изображение, которые вызывает наименьшую требуемую степень преобразования при выравнивании последовательности изображений по опорному изображению. Преимущественно, если одно или более преобразований установлены неправильно, например, из-за недостатка контрастности в изображениях, то искажения, которые в противном случае могут возникать из-за совмещения изображения, основанного на упомянутых преобразованиях, уменьшаются, так как опорное изображение требует наименьшую степень преобразований при совмещении изображений.

Опционально процессор выравнивания выполнен с возможностью установления опорного изображения посредством i) для, по меньшей мере, подмножества из множества изображений вычисления значения преобразования на основании метрики преобразования и ii) выбора одного из упомянутых изображений с наименьшим значением преобразования в качестве опорного изображения. Опорное изображение устанавливается посредством вычисления значения преобразования для некоторого количества изображений, т.е. потенциальных изображений, и выбора одного из упомянутых изображений, которое имеет наименьшее значение преобразования. Следовательно, опорное изображение является одним из множества изображений, т.е. существующим изображением, и выбор основан на сравнении значений преобразования. Это составляет механизм эффективного выбора.

Опционально процессор выравнивания выполнен с возможностью установления интерполированного изображения в качестве опорного изображения, при этом интерполированное изображением имеет положение в диапазоне изображений между парой последовательных изображений в последовательности изображений. Опорное изображение соответствует интерполированному изображению, а не существующему изображению из множества изображений. Интерполированное изображение может быть наиболее подходящим для использования в качестве опорного изображения. Например, если последовательность изображений изображает дыхательное движение, то наименьшее значение преобразования может быть получено для точки в дыхательном движении, которая лежит между парой последовательных изображений в последовательности изображений. Посредством выравнивания последовательности изображений по отношению к упомянутой точке может быть получено более качественное совмещение изображений.

Следует отметить, что интерполированное изображение не обязательно должно быть явным образом вычислено или доступно системе для выравнивания последовательности изображений по интерполированному изображению. Наоборот, интерполированное изображение может быть представлено посредством положения между парой последовательных изображений, и последовательность изображений может быть выровнена по виртуальному интерполированному изображению на основании преобразования между парой последовательных изображений и упомянутым положением.

Опционально процессор выравнивания выполнен с возможностью установления области интереса в последовательности изображений и метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания области интереса в последовательности изображений по области интереса в опорном изображении. Область интереса, показанная в последовательности изображений, т.е., по меньшей мере, в части из множества изображений, может представлять особый интерес для пользователя. Посредством количественной оценки степени преобразования, в частности, в отношении области интереса в последовательности изображений опорное изображение устанавливается на основании степени преобразования области интереса при выравнивании последовательности изображений по опорному изображению.

Опционально система дополнительно содержит обнаружитель области интереса для обнаружения области интереса в последовательности изображений. Таким образом, система автоматически обнаруживает область интереса и устанавливает опорное изображение на основании области интереса.

Опционально процессор преобразования выполнен с возможностью установления преобразований между парами последовательных изображений в качестве матриц преобразования. Матрицы преобразования хорошо подходят для описания преобразования между парами последовательных изображений и для использования в качестве базы для метрики преобразования.

Опционально процессор выравнивания выполнен с возможностью количественной оценки степени преобразования на основании перемножения матриц преобразования смежных пар последовательных изображений. Посредством перемножения матриц преобразования смежных пар последовательных изображений получается произведение матриц преобразования, которое предоставляет общую степень преобразования из-за упомянутых отдельных преобразований. На ее основании может быть эффективно вычислена степень преобразования, требуемая для выравнивания последовательности изображений.

Опционально процессор выравнивания выполнен с возможностью количественной оценки степени преобразования посредством i) для каждого из множества изображений установления произведения матриц преобразования, указывающего преобразование из соответствующего одного из множества изображений в опорное изображение, и ii) установления значения преобразования на основании суммы произведений матриц преобразования. Следовательно, для каждого из множества изображений вычисляется степень преобразования, которая требуется для преобразования упомянутого изображения в опорное изображение. Посредством суммирования упомянутых величин может быть эффективно вычислена общая степень преобразования, требуемая для выравнивания последовательности изображений, т.е. каждого из множества изображений.

Опционально матрица преобразования является 4×4 матрицей преобразования. 4×4 матрица преобразования хорошо подходит для описания жестких, аффинных или гибких преобразований.

Опционально процессор выравнивания выполнен с возможностью генерирования значения доверия на основании метрики преобразования, при этом значение доверия указывает качество выравнивания последовательности изображений по опорному изображению. Этот опциональный аспект настоящего изобретения основан на распознавании того, что степень преобразования, требуемая для выравнивания последовательности изображений по опорному изображению, указывает качество выравнивания последовательности изображений по опорному изображению. Посредством генерирования значения доверия, отражающего упомянутое качество, пользователю обеспечивается обратная связь по качеству совмещенной последовательности изображений.

Опционально процессор выравнивания выполнен с возможностью установления опорного изображения из множества изображений дополнительно на основании метрики подобия изображения, при этом метрика подобия изображения количественно оценивает степень соответствия, получаемого при выравнивании последовательности изображений по опорному изображению.

Опционально процессор выравнивания выполнен с возможностью установления опорного изображения из множества изображений дополнительно на основании положения опорного изображения в диапазоне изображений. Этот опциональный аспект настоящего изобретения основан на распознавании того, что положение изображения в диапазоне изображений указывает на его пригодность в качестве опорного изображения. Например, при сборе изображений могут возникать проблемы инициализации, которые могут оказывать влияние на первое изображение или изображения последовательности изображений. Следовательно, упомянутое первое изображение или изображения менее пригодны в качестве опорного изображения. В качестве другого примера, при формировании изображения кровотока поглощение контрастного вещества в области интереса может быть наивысшим близко к середине последовательности изображений, что приводит к тому, что область интереса наиболее хорошо видна близко к упомянутой середине.

Специалистам в соответствующей области будет понятно, что два или более вышеупомянутых вариантов осуществления, реализаций и/или аспектов изобретения могут быть объединены любым образом, который считается полезным.

Модификации и вариации рабочей станции, устройства формирования изображения, способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям и вариациям системы, могут быть выполнены специалистом в соответствующей области на основании настоящего описания.

Специалисту в соответствующей области будет понятно, что способ может быть применен к данным многомерного изображения, собранным посредством различных модальностей сбора, таких как, но не ограничивающихся, стандартная Рентгенография, Компьютерная Томография (CT), Магнитно-Резонансное Формирование Изображения (MRI), Ультразвук (US), Позитронно-Эмиссионная Томография (PET), Однофотонная Эмиссионная Компьютерная Томография (SPECT) и Ядерная Медицина (NM). Измерение данных многомерного изображения может относиться ко времени. Например, трехмерное изображение может содержать ряд двумерных изображений во временной области.

Изобретение определяется в независимых пунктах формулы изобретения. Преимущественные варианты осуществления определяются в зависимых пунктах формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и прочие аспекты изобретения очевидны из и будут объяснены со ссылкой на описываемые далее варианты осуществления. На чертежах

фиг. 1 показывает систему в соответствии с настоящим изобретением;

фиг. 2 показывает способ в соответствии с настоящим изобретением;

фиг. 3 показывает компьютерный программный продукт в соответствии с настоящим изобретением;

фиг. 4a показывает последовательность изображений, содержащую множество изображений, со схематически указанными преобразованиями между парами последовательных изображений;

фиг. 4b показывает результат выравнивания последовательности изображений с первым из множества изображений, установленным в качестве опорного изображения при совмещении изображений;

фиг. 4c показывает результат выравнивания последовательности изображений по опорному изображению, установленному на основании метрики преобразования;

фиг. 5а показывает другую последовательность изображений и соответствующие преобразования с одним из преобразований, установленным неправильно;

фиг. 5b показывает результат выравнивания последовательности изображений с первым из множества изображений, установленным в качестве опорного изображения; и

фиг. 5c показывает результат выравнивания последовательности изображений по опорному изображению, установленному на основании метрики преобразования.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг. 1 показывает систему 100 для совмещения последовательности 200 изображений. Система 100 содержит блок 120 ввода для получения последовательности 200 изображений. Система 100 дополнительно содержит процессор 140 преобразования для установления преобразования между парами последовательных изображений в последовательности 200 изображений для получения множества преобразований 210. Процессор 140 преобразования показан для приема последовательности 200 изображений от блока 120 ввода. Система 100 дополнительно содержит процессор 160 выравнивания на основании множества преобразований 210 для выравнивания последовательности 200 изображений по опорному изображению для получения совмещенной последовательности 230 изображений. Процессор 160 выравнивания показан для приема последовательности 200 изображений от блока 120 ввода и для приема множества преобразований 210 от процессора 140 преобразования. В примере на фиг. 1 процессор 160 выравнивания показан для предоставления совмещенной последовательности 230 изображений дисплею 190 для отображения пользователю. В качестве альтернативы или в дополнение, процессор 160 выравнивания может сохранять или передавать совмещенную последовательность 230 изображений, например, на запоминающий носитель информации или на сервер. Также показанный на фиг. 1 процессор 160 выравнивания опционально выполнен с возможностью генерирования значения 250 доверия на основании метрики преобразования, как будет дополнительно рассмотрено далее.

Работа системы 100 может быть кратко объяснена следующим образом. До, или как часть, совмещения последовательности изображений процессор 160 выравнивания устанавливает опорное изображение из множество изображений на основании метрики преобразования. Метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания последовательности 200 изображений по опорному изображению. Таким образом, процессор 160 выравнивания выполняет выравнивание изображения, используя опорное изображение как установленное на основании метрики преобразования.

Фиг. 2 показывает способ 300 для совмещения последовательности изображений. Способ 300 содержит на этапе, озаглавленном «ПОЛУЧЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ», получение 310 последовательности изображений, при этом последовательность изображений содержит множество изображений, расположенных последовательно в диапазоне изображений. Способ 300 дополнительно содержит на этапе, озаглавленном «УСТАНОВЛЕНИЕ ПРЕОБРАЗОВАНИЙ», установление 320 преобразований между парами последовательных изображений в последовательности изображений для получения множества преобразований. Способ 300 дополнительно содержит на этапе, озаглавленном «ВЫРАВНИВАНИЕ ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ», на основании множества преобразований, выравнивание 340 последовательности изображений по опорному изображению для получения совмещенной последовательности изображений. Способ 300 дополнительно содержит на этапе, озаглавленном «УСТАНОВЛЕНИЕ ОПОРНОГО ИЗОБРАЖЕНИЯ», установление 330 опорного изображения из множества изображений на основании метрики преобразования, при этом метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания последовательности изображений по опорному изображению.

Способ 300 может соответствовать работе системы 100. Тем не менее, следует отметить, что способ 300 также может быть выполнен отдельно от системы 100. Фиг. 3 показывает компьютерный программный продукт 360, содержащий инструкции для предписания процессорной системе выполнить вышеупомянутый способ 300. Компьютерный программный продукт 360 может содержаться на машиночитаемом носители 350 информации, например, в виде ряда машиночитаемых физических меток и/или ряда элементов с разными электрическими, например магнитными или оптическими, свойствами или значениями.

Работа системы 100 может быть объяснена более подробно следующим образом. Фиг. 4a показывает последовательность 200 изображений, содержащую множество изображений 201-205. В этом конкретном примере последовательность 200 изображений выбрана в качестве временной последовательности изображений, при этом каждое из множества изображений 201-205 показывает область 240 интереса в разные точки во времени. Тем не менее, последовательность 200 изображений также может представлять собой другой тип последовательности, например, показывающей область интереса с разных пространственных точек обзора. Следует отметить, что по причинам читабельности область 240 интереса указывается лишь раз с помощью цифрового обозначения на фиг. 4a-4c. Из фиг. 4a может быть видно, что область 240 интереса меняется на всем протяжении последовательности 200 изображений. В частности, на первом изображении 201 последовательности 200 изображений область 240 интереса повернута против часовой стрелки по отношению ко второму, третьему и четвертому изображению 202-204 последовательности 200 изображений. Более того, на пятом изображении 205 последовательности 200 изображений область 240 интереса повернута по часовой стрелке по отношению к упомянутым изображениям.

Изменение ориентации может быть вызвано разными причинами. Например, область 240 интереса может быть органом пациента, и изменение ориентации может быть вызвано дыхательным движением, вызывающим изменение ориентации области 240 интереса в течение промежутка времени последовательности изображений. В качестве альтернативы или в дополнение, дыхательное движение может вызывать изменение положения области 240 интереса или вызывать изменение внешнего вида с течением времени. Тем не менее, для объяснения, фиг. 4a показывает лишь изменение ориентации.

Фиг. 4a дополнительно показывает результат процессора 140 преобразования, устанавливающего преобразования между парами последовательных изображений в последовательности 200 изображений. В результате получается множество преобразований 211-214, при этом преобразования схематически указываются на фиг. 4a в качестве пунктирных квадратов. Здесь ориентация пунктирного квадрата обозначает изменение ориентации области 240 интереса между парой последовательных изображений. Например, преобразование первого изображения 201 во второе изображение 202 так, чтобы показанная в них область 240 интереса совпадала по положению и ориентации, включает в себя поворот первого изображения 201 по часовой стрелке. Следовательно, первое преобразование 211, схематично указанное с помощью пунктирного квадрата, сориентировано в направлении вправо. Фиг. 4a дополнительно показывает второе преобразование 212, указывающее преобразование из второго изображения 202 в третье изображение 203, третье преобразование 214, указывающее преобразование из третьего изображения 203 в четвертое изображение 204, и четвертое преобразование 214, указывающее преобразование из четвертого изображения 204 в пятое изображение 205. Поскольку область 240 интереса имеет одинаковую ориентацию во втором, третьем и четвертом изображениях 202-204, второе и третье преобразования 212-213 являются нейтральными, т.е. указывающими на отсутствие изменения ориентации. Более того, пятое изображение 205, вновь повернутое по часовой стрелке, показывает область 240 интереса, при этом четвертое преобразование 214, отражающее упомянутый поворот, сориентировано в направлении вправо.

Процессор 140 преобразования может устанавливать множество преобразований, используя любую подходящую методику преобразования, как, например, методики, сами по себе известные из технических областей совмещения изображений и оценки движения. В частности, процессор 140 преобразования может устанавливать преобразования 211-214 между парами последовательных изображений в качестве матриц преобразования. Матрицы преобразования могут быть 4×4 матрицами. Преобразования могут быть жесткими, аффинными или гибкими. Процессор 140 преобразования может быть выполнен с возможностью установления каждого из преобразования, по существу, для полного изображения. В качестве альтернативы, процессор 140 преобразования может быть выполнен с возможностью установления преобразования для части изображения, например, в частности для области 240 интереса. Для последней цели, как также показано на фиг. 1, система может содержать обнаружитель 180 области интереса для обнаружения области 240 интереса во множестве изображений 201-205.

Фиг. 4b показывает результат процессора 160 выравнивания на основании множества преобразований 211-214, выравнивающего последовательность 200 изображений по опорному изображению 201 для получения совмещенной последовательности 220 изображений. Тем не менее, фиг. 4b показывает пример известного уровня техники, в котором, по умолчанию, первое изображение 201 устанавливается в качестве опорного изображения. Это указывается на фиг. 4a и 4b посредством показа опорного изображения с более широкой рамкой. В результате, получается совмещенная последовательность 220 изображений, в которой ориентация области 240 интереса отрегулирована таким образом, чтобы она совпадала с ориентацией области интереса в первом изображении 201.

Фиг. 4c показывает результат процессора 160 выравнивания, устанавливающего опорное изображение из множества изображений 201-205 на основании метрики преобразования. Метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания последовательности 200 изображений по опорному изображению 203. В результате, вместо первого изображения 201 третье изображение 203 устанавливается в качестве опорного изображения 203. Это указывается на фиг. 4a и 4c посредством показа опорного изображения 203 с рамкой в виде сдвоенной линии. В результате, получается совмещенная последовательность 230 изображений, в которой ориентация области 240 интереса отрегулирована таким образом, чтобы она совпадала с ориентацией области интереса в третьем изображении 203.

Вышеприведенное установление опорного изображения на основании метрики преобразования может быть объяснено более подробно следующим образом. Метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания последовательности 200 изображений по опорному изображению 203. Процессор 160 выравнивания может быть выполнен с возможностью установления опорного изображения 203 посредством выбора опорного изображения из множества изображений 201-205 на основании минимизации метрики преобразования. Например, процессор 160 выравнивания может быть выполнен с возможностью установления опорного изображения 203 посредством для каждого из множества изображений 201-205 вычисления значения преобразования на основании метрики преобразования и выбора одного из упомянутых изображений с наименьшим значением преобразования в качестве опорного изображения 203.

Например, когда преобразования 211-214 устанавливаются в качестве матриц преобразования, значение преобразования может быть вычислено для первого изображения 201 следующим образом. Преобразование, включенное в преобразование второго изображения 202 в первое изображение 201, может соответствовать обратной матрице первой матрицы 211 преобразования. Степень преобразования может соответствовать вычислению нормы L2 обратной матрицы первой матрицы 211 преобразования. Аналогичным образом, преобразование, включенное в преобразование третьего изображения 202 в первое изображение 201, может соответствовать обратной матрице произведения первой матрицы 211 преобразования и второй матрицы 212 преобразования. Степень преобразования может соответствовать вычислению нормы L2 обратной матрицы упомянутого произведения. Посредством применения вышеприведенного вычисления также к четвертому изображению 204 и пятому изображению 205 получается множество степеней преобразования, которые могут быть просуммированы вместе для получения значения преобразования, выражающего степень преобразования, требуемого для выравнивания последовательности 200 изображений по первому изображению 201, т.е. степень преобразования, требуемого для выравнивания второго, третьего, четвертого и пятого изображений 202-205 по первому изображению 201.

Посредством повторения вышеприведенного также для других изображений из множества изображений 201-205 может быть получено множество значений преобразования, при этом каждое из множества значений преобразования выражает степень преобразования, требуемого для выравнивания последовательности 200 изображений по соответствующему одному из множества изображений 201-205.

Значения преобразования могут быть упорядочены, и изображение, соответствующее наименьшему значению преобразования, может быть выбрано в качестве опорного изображения 203. В примере на фиг. 4a это может соответствовать третьему изображению 203. Причина этого состоит в том, что выравнивание последовательности 200 изображений по первому изображению 201 включает в себя поворот области интереса во втором, третьем, четвертом и в пятом изображении 202-205. То же самое сохраняется для выравнивания последовательности 200 изображений по пятому изображению 205. Тем не менее, для каждого из второго, третьего и четвертого изображения 202-204 выравнивание последовательности 200 изображений по каждому соответствующему изображению включает в себя лишь поворот области интереса в первом изображении 201 и в пятом изображении 205. Следовательно, третье изображение 203 может быть установлено в качестве опорного изображения, поскольку оно включает в себя общую наименьшую степень преобразования, которая в этом случае является наименьшей степенью поворота. В качестве альтернативы, либо второе изображение 202, либо четвертое изображение 204 может быть установлено в качестве опорного изображения.

Фиг. 4c показывает результат процессора 160 выравнивания, выравнивающего последовательность 200 изображений по третьему изображению 203 для получения совмещенной последовательности 230 изображений. В сравнении с совмещенной последовательностью 220 изображения, показанной на фиг. 4b, может быть видно, что ориентация области 240 интереса на фиг. 4c более подобна большей части последовательности 200 изображений, чем на фиг. 4b. Следует понимать, что выбор одного из множества изображений 201-205, которое имеет наименьшее значение преобразования, в качестве опорного изображения, как правило, приводит к выбору одного из множества изображений 201-205, в котором область 240 интереса показана наиболее подобным образом по отношению к другим изображениям, т.е. оно составляет основанный на большинстве выбор.

Фиг. 5a показывает другой пример последовательности 200 изображений, содержащей множество изображений 201-205. В этом конкретном примере последовательность 200 изображений выбрана для представления ряда изображений исследования кровотока методом Сердечно-сосудистого Магнитного Резонанса (CMR), при котором контрастное вещество вводится пациенту внутривенно. Здесь из-за того, что контрастное вещество постепенно увеличивается при поглощении с течением времени, область 240 интереса может быть плохо видна на первом изображении 201 последовательности 200 изображений, например, из-за исходно низкого поглощения контрастного вещества. В результате, контрастность между областью 240 интереса и окружающей тканью может быть низкой в первом изображении 201. Низкое поглощение схематично указано заштрихованной областью 240 интереса на первом изображении 201. При увеличении поглощения контрастного вещества с течением времени область 240 интереса хорошо видна на со второго по пятое изображениях 202-205 последовательности 200 изображений, т.е. имеет достаточную контрастность по отношению к окружающей ткани.

Фиг. 5a дополнительно показывает результат процессора 140 преобразования, устанавливающего преобразования между парами последовательных изображений в последовательности 200 изображений. Из-за плохой видимости области 240 интереса на первом изображении 201 первое преобразование 211, т.е. между первым изображением 201 и вторым изображением 202, может быть установлено неправильно. В результате, может быть получено первое преобразование 211, которое не отражает точно изменение положения, ориентации и т.д. области 240 интереса. В этом конкретном примере область 240 интереса остается относительно статичной в последовательности 200 изображений, т.е. не меняет положение, ориентацию или внешний вид. Вследствие этого первое преобразование 211 неправильно указывает на изменение ориентации, тогда как второе, третье и четвертое преобразования 212-214 правильно указывают на то, что область 240 интереса остается статичной.

Фиг. 5b показывает результат процессора 160 выравнивания, выравнивающего последовательность 200 изображений по первому изображению 201 для получения совмещенной последовательности 220 изображения, которая могла бы быть получена, когда, по умолчанию, первое изображение 201 устанавливается в качестве опорного изображения. Может быть видно, что из-за неправильного первого преобразования 211 ориентация области 240 интереса была изменена во втором, третьем, четвертом и пятом изображениях 202-205.

Фиг. 5c показывает результат процессора 160 выравнивания, устанавливающего опорное изображение из множества изображений 201-205 на основании метрики преобразования. В результате, третье изображение 203 устанавливается в качестве опорного изображения 203. Затем получается совмещенная последовательность 230 изображения, в которой ориентация области 240 интереса изменена только в первом изображении 201. При сравнении фиг. 5b с фиг. 5c может быть видно, что посредством установления опорного изображения на основании метрики преобразования можно избежать того, что выброс во множестве изображений 201-205 опасно оказывает влияние на совмещение последовательности 200 изображений. Здесь опорное изображение 203 эффективно устанавливается на основании выбора по большинству.

В целом, процессор 160 выравнивания может быть выполнен с возможностью установления интерполированного изображения в качестве опорного изображения, при этом интерполированного изображения с положением в диапазоне изображений между парой последовательных изображений в последовательности 200 изображений. Следовательно, вместо выбора одного из множества изображений 201-205 в качестве опорного изображения 203 может быть установлено интерполированное изображение, например, посредством явного вычисления интерполированного изображения или посредством установления положения между парой последовательных изображений, которое соответствует тому, которое занимает интерполированное изображение. Следует понимать, что при установленном преобразовании между парой последовательных изображений можно получить преобразование для положения между парой последовательных изображений. Например, если преобразование является преобразованием, основанным на векторе движения, то преобразование для положения между парой последовательных изображений может быть установлено посредством уменьшения вдвое размера векторов движения. Следовательно, на основании множества преобразований 211-214 можно количественно оценить степень преобразования, требуемого для выравнивания последовательности 200 изображений по положению между парой последовательных изображений. Процессор 160 выравнивания может быть выполнен с возможностью установления интерполированного изображения, которое минимизирует метрику преобразования. Последовательность 200 изображений тогда может быть выровнена по упомянутому интерполированному изображению для получения совмещенной последовательности изображений. Следует отметить, что интерполированное изображение необязательно должно быть частью совмещенной последовательности изображений, т.е. оно может лишь служить в качестве опорного изображения при совмещении последовательности 200 изображений.

В целом, процессор 160 выравнивания может быть выполнен с возможностью генерирования значения 250 доверия на основании метрики преобразования, при этом значение доверия указывает качество выравнивания последовательности 200 изображений по опорному изображению 203. Например, когда значение преобразования, соответствующее опорному изображению 203, превышает пороговое значение, это может указывать на то, что высокая степень преобразования требуется для выравнивания последовательности 200 изображений. Такая высокая степень преобразования может быть ассоциирована, например, с тем, что процессор 140 преобразования неправильно устанавливает преобразования, последовательность 200 изображений настолько неоднородная, что совмещение изображения невозможно, и т.д. Значение 250 доверия может быть отображено пользователю с тем, чтобы обеспечить обратную связь по совмещению изображений.

В целом, процессор 160 выравнивания может быть выполнен с возможностью установления опорного изображения 203 из множества изображений 201-205 дополнительно на основании метрики подобия изображения, при этом метрика подобия изображения количественно оценивает степень соответствия, полученного при выравнивании последовательности 200 изображений по опорному изображению 203. Метрика подобия изображения может быть любой приемлемой метрикой, известной в технической области обработки изображения, такой как Среднеквадратичная Ошибка (MSE). Например, процессор 160 выравнивания может, в дополнение к установлению значения преобразования для первого изображения 201, вычислять значение подобия изображения для первого изображения 201 посредством вычисления MSE между первым изображением 201 и вторым изображением 202, после того как оно выровнено по первому изображению 201, между первым изображением 201 и третьим изображением 203, после того как оно выровнено по первому изображению 201, и т.д. Сумма MSE затем может служить в качестве значения подобия изображения для первого изображения 201. Значения подобия изображения для второго, третьего, четвертого и пятого изображений 202-205 могут быть вычислены соответствующим образом. Выбор опорного изображения 203 может впоследствии быть основан на минимизации как метрики преобразования, так и метрики подобия изображения, например, посредством установления одного из множества изображений 201-205 в качестве опорного изображения 203, которое ассоциировано с наименьшей суммой значения преобразования и значения подобия изображения.

В целом, метрика преобразования может количественно оценивать степень преобразования, требуемую для выравнивания последовательности 200 изображений по опорному изображению 203 посредством количественной оценки качества комплексного изображения, полученного из совмещенной последовательности 230 изображений. Комплексное изображение может быть картой разности, полученной из совмещенной последовательности 230 изображений. Карта разности может быть количественной картой, такой как T1, T2, T2*, или картой кровотока.

В целом, процессор 160 выравнивания может быть выполнен с возможностью установления опорного изображения 203 из множества изображений 201-205 дополнительно на основании положения опорного изображения в диапазоне изображений. Например, когда несколько из множества изображений 201-205 имеют одинаково низкое значение преобразования, то одно из упомянутых изображений может быть установлено в качестве опорного изображения 203, которое располагается наиболее центрально в диапазоне изображений.

Следует понимать, что настоящее изобретение может быть преимущественно применено в области медицины. Ниже предоставляется пример применения настоящего изобретения для компенсации дыхательного движения и/или движения пациента в последовательностях изображений исследования кровотока методом CMR. Тем не менее, следует отметить, что настоящее изобретение также применимо к последовательностям изображений от других анатомий и модальностей, как, например, CCT, Эхокардиографии и т.д., и в приложениях, таких как реконструкция изображения с компенсацией движения для любой медицинской модальности формирования изображения, приложения постобработки для медицинских последовательностей изображений, или в управляемом геометрией диффузионном фильтре для медицинских последовательностей изображений. Тем не менее, настоящее изобретение не ограничивается областью медицины, т.е. может быть в равной степени применено к не медицинской области, такой как совмещение последовательностей изображений с переносной камеры, управляемой конечным пользователем.

Дыхательное движение в последовательностях изображений исследования кровотока методом CMR может быть компенсировано посредством выполнения аффинного совмещения изображений в так называемой каскадной схеме. Совмещение изображений может быть выполнено в прямоугольной области интереса (ROI). Метрика преобразования может количественно оценивать смещение углов ROI на протяжении последовательности изображений в качестве метрики степени преобразования, т.е. амплитуды преобразования. Процессор выравнивания может использовать алгоритм минимизации преобразования, который количественно оценивает среднее смещение, например в мм, на всем протяжении последовательности изображений, при этом меняя опорное изображение. Процессор выравнивания затем может выбирать одно из изображений, которое дает наименьшее среднее смещение углов ROI, в качестве опорного изображения.

Минимизация преобразования может быть чисто геометрической операцией, например, включающей в себя лишь алгебру матриц 4×4 и вычисления расстояний. Такие геометрические операции эффективны в плане вычислений, что позволяет быстро выполнять минимизацию преобразования процессорной системой. В дополнение, можно включить метрику подобия изображения. Тем не менее, следует отметить, что это может увеличить затраты на вычисление, т.е. уменьшить эффективность вычислений. Минимизация преобразования может минимизировать аффинные преобразования. Тем не менее, преобразования также могут показывать меньшие или большие степени свободы при сохранении эффективной в плане вычисления минимизации преобразования, если преобразования являются обратимыми.

Следует понимать, что изобретение также применяется к компьютерным программам, в частности компьютерным программам на или в носителе, адаптированном для воплощения изобретения на практике. Программа может быть выполнена в виде исходного кода, объектного кода, промежуточного кода между исходным и объектным кодом, такого как в частично скомпилированном виде, или в любом другом виде, пригодном для использования при реализации способа в соответствии с изобретением. Также следует понимать, что такая программа может иметь разные архитектурные исполнения. Например, программный код, реализующий функциональные возможности способа или системы в соответствии с изобретением, может быть подразделен на одну или более подпрограмм. Специалисту в соответствующей области будет очевидно много разных способов распределения функциональных возможностей между этими подпрограммами. Подпрограммы могут быть сохранены вместе в одном исполняемом файле для формирования независимой программы. Такой исполняемый файл может содержать исполняемые компьютером инструкции, например процессорные инструкции и/или инструкции интерпретатора (например, инструкции интерпретатора Java). В качестве альтернативы, одна или более или все подпрограммы могут быть сохранены, по меньшей мере, в одном внешнем файле библиотеки, сцепляемом с основной программой либо статически, либо динамически, например, в период выполнения. Основная программа содержит, по меньшей мере, один вызов, по меньшей мере, к одной из подпрограмм. Подпрограммы также могут содержать вызовы функций друг к другу. Вариант осуществления, который относится к компьютерному программному продукту, содержит исполняемые компьютером инструкции, соответствующие каждому этапу обработки, по меньшей мере, одного из изложенных здесь способов. Инструкции могут быть подразделены на подпрограммы и/или сохранены в одном или более файлах, которые могут быть сцеплены статически или динамически. Другой вариант осуществления, который относится к компьютерному программному продукту, содержит исполняемые компьютером инструкции, соответствующие каждому средству, по меньшей мере, одного из изложенных здесь систем и/или продуктов. Эти инструкции могут быть подразделены на подпрограммы и/или храниться в одном или более файлах, которые могут быть сцеплены статически или динамически.

Носитель компьютерной программы может быть любым объектом или устройством, выполненным с возможностью переноса программы. Например, носитель может включать в себя запоминающий носитель информации, такой как ROM, например, CD ROM или полупроводниковое ROM, или магнитный записывающий носитель информации, например жесткий диск. Кроме того, носитель может быть передаваемым носителем, таким как электрический или оптический сигнал, который может быть передан через электрический или оптический кабель или посредством радиосвязи или других средств. Когда программа воплощается в таком сигнале, носитель может быть образован посредством такого кабеля или другого устройства или средства. В качестве альтернативы, носитель может быть интегральной микросхемой, в которой воплощена программа, при этом интегральная микросхема адаптирована для выполнения, или используется при выполнении, соответствующего способа.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение, и специалисты в соответствующей области техники будут иметь возможность разработки множества альтернативных вариантов осуществления, не отступая от объема прилагаемой формулы изобретения. В формуле изобретения любые ссылочные позиции, помещенные между круглых скобок, не должны толковаться как ограничивающие пункт формулы изобретения. Использование глагола «содержать» и его спряжений не исключает наличия элементов или этапов, отличных от тех, что сформулированы в пункте формулы изобретения. Формы единственного числа элементов не должны исключать наличия множества таких элементов. Изобретение может быть реализовано посредством аппаратного обеспечения, содержащего несколько различных элементов, и посредством пригодным образом запрограммированного компьютера. В пункте формулы изобретения, который относится к устройству и перечисляет несколько средств, некоторые из этих средств могут быть воплощены посредством одного и того же элемента аппаратного обеспечения. Тот лишь факт, что конкретные меры изложены во взаимно-отличающихся зависимых пунктах формулы изобретения, не указывает на то, что сочетание этих мер не может быть использовано с целью получения преимущества.

Изобретение относится к области компьютерных технологий. Технический результат заключается в уменьшении искажений, возникающих в совмещенной последовательности изображений. Технический результат достигается за счет получения последовательности изображений, при этом последовательность изображений содержит множество изображений, расположенных последовательно в диапазоне изображений, установки преобразования между смежными парами последовательных изображений в последовательности изображений для получения множества преобразований в качестве матриц преобразования на основании множества преобразований выравнивания последовательности изображений по опорному изображению для получения совмещенной последовательности изображений, при этом дополнительно устанавливают опорное изображение из множества изображений на основании метрики преобразования, причем метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания последовательности изображений по опорному изображению, с возможностью количественной оценки степени преобразования на основании метрики преобразования, основанной на перемножении матриц преобразования смежных пар последовательных изображений. 4 н. и 10 з.п. ф-лы, 9 ил.

1. Система (100) для совмещения последовательности изображений, содержащая:

- блок (120) ввода для получения последовательности (200) изображений, при этом последовательность изображений содержит множество изображений (201-205), расположенных последовательно в диапазоне изображений;

- процессор (140) преобразования для установления преобразований между смежными парами последовательных изображений в последовательности (200) изображений для получения множества преобразований (211-214) в качестве матриц преобразования,

- процессор (160) выравнивания на основании множества преобразований (211-214) для выравнивания последовательности (200) изображений по опорному изображению (203) для получения совмещенной последовательности (230) изображений; при этом процессор (160) выравнивания выполнен с возможностью установления опорного изображения (203) из множества изображений (201-205) на основании метрики преобразования, причем метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания последовательности (200) изображений по опорному изображению (203), причем процессор (160) выравнивания выполнен с возможностью количественной оценки степени преобразования на основании метрики преобразования, основанной на перемножении матриц преобразования смежных пар последовательных изображений.

2. Система (100) по п. 1, в которой процессор (160) выравнивания выполнен с возможностью установления опорного изображения (203) посредством выбора опорного изображения из множества изображений (201-205) на основании минимизации метрики преобразования.

3. Система (100) по п. 2, в которой процессор (160) выравнивания выполнен с возможностью установления опорного изображения (203) посредством i) для, по меньшей мере, подмножества из множества изображений (201-205) вычисления значения преобразования на основании метрики преобразования и ii) выбора одного из упомянутых изображений с наименьшим значением преобразования в качестве опорного изображения (203).

4. Система (100) по п. 1, в которой процессор (160) выравнивания выполнен с возможностью установления интерполированного изображения в качестве опорного изображения (203), при этом интерполированное изображение имеет положение в диапазоне изображений между парой последовательных изображений в последовательности (200) изображений.

5. Система (100) по п. 1, в которой процессор (160) выравнивания выполнен с возможностью установления области (240) интереса в последовательности (200) изображений, и при этом метрика преобразования количественно оценивает степень преобразования для выравнивания области (240) интереса в последовательности (200) изображений по области интереса в опорном изображении (203).

6. Система (100) по п. 5, дополнительно содержащая обнаружитель (180) области интереса для обнаружения области (240) интереса в последовательности (200) изображений.

7. Система (100) по п. 1, в которой процессор (160) выравнивания выполнен с возможностью количественной оценки степени преобразования посредством (i) для каждого из множества изображений (201-205), установления произведения матрицы преобразования, указывающего преобразование из соответствующего одного из множества изображений в опорное изображение (203), и (ii) установления значения преобразования на основании суммы произведений матриц преобразования.

8. Система (100) по п. 1, в которой матрица преобразования является 4×4 матрицей преобразования.

9. Система (100) по п. 1, в которой процессор (160) выравнивания выполнен с возможностью генерирования значения (250) доверия на основании метрики преобразования, при этом значение доверия указывает качество выравнивания последовательности (200) изображений по опорному изображению (203).

10. Система (100) по п. 1, в которой процессор (160) выравнивания выполнен с возможностью установления опорного изображения (203) из множества изображений (201-205) дополнительно на основании метрики подобия изображения, при этом метрика подобия изображения количественно оценивает степень соответствия, получаемого при выравнивании последовательности (200) изображений по опорному изображению (203).

11. Система (100) по п. 1, в которой процессор (160) выравнивания выполнен с возможностью установления опорного изображения (203) из множества изображений (201-205) дополнительно на основании положения опорного изображения в диапазоне изображений.

12. Устройство формирования изображения, содержащее систему по п. 1.

13. Способ (300) для совмещения последовательности изображений, содержащий этапы, на которых:

- получают (310) последовательность изображений, при этом последовательность изображений содержит множество изображений, расположенных последовательно в диапазоне изображений;

- устанавливают (320) преобразования между смежными парами последовательных изображений в последовательности (200) изображений для получения множества преобразований (211-214) в качестве матриц преобразования;

- на основании множества преобразований выравнивают (340) последовательность изображений по опорному изображению для получения совмещенной последовательности изображений;

- при этом способ дополнительно содержит этап, на котором устанавливают (330) опорное изображение из множества изображений на основании метрики преобразования, причем метрика преобразования количественно оценивает степень преобразования, требуемого для выравнивания последовательности изображений по опорному изображению, с возможностью количественной оценки степени преобразования на основании метрики преобразования, основанной на перемножении матриц преобразования смежных пар последовательных изображений.

14. Устройство хранения данных, содержащее записанный на нем компьютерный программный продукт (360), содержащий инструкции для предписания процессорной системе выполнения способа по п. 13.