РЕГИСТРАЦИЯ ГИСТОПАТОЛОГИЧЕСКИХ ИЗОБРАЖЕНИЙ Российский патент 2020 года по МПК G06T7/33 G06T3/00 

Область техники, к которой относится изобретение

Изобретение относится к компоненту обработки изображений, системе обработки изображений, способу обработки изображений, элементу компьютерной программы и компьютерно-читаемому носителю.

Уровень техники

Регистрация изображений заключается в совмещении пары изображений, содержащих один или более соответствующих объектов, которые имеют похожий вид. Например, при цифровой патологии такую пару изображений, обычно с относительно высоким разрешением, можно сформировать с помощью двух сканограмм микроскопических срезов ткани. Регистрация сканограмм ткани позволяет упростить интерпретацию информации, захваченной в сканограммах многочисленных срезов ткани из одного и того же тканевого блока. Примерами приложений для цифровой патологии являются: регистрация двух или более сканограмм с целью одновременной навигации, или регистрация ряда сканограмм с целью 3D реконструкции или регистрации ряда сканограмм, принадлежащих к повторному окрашиванию (то есть окрашиванию с использованием различных красителей) одного и того же среза ткани.

Предыдущие подходы к регистрации изображений с высоким разрешением не являются достаточно чувствительными, или их точность кажется слишком низкой из-за относительно тяжелого понижения частоты дискретизации.

Сущность изобретения

Таким образом, существует потребность в альтернативной системе или способе регистрации изображения.

Задача настоящего изобретения решена с помощью предмета независимых пунктов формулы изобретения, где дополнительные варианты осуществления включены в зависимые пункты формулы изобретения. Следует отметить, что последующие описанные аспекты изобретения в равной степени относятся к способу обработки изображений, системе обработки изображений, элементу компьютерной программы и компьютерно-читаемому носителю.

Согласно первому аспекту изобретения предложен компонент обработки изображений, содержащий:

входной интерфейс для приема по меньшей мере двух наборов объектов изображения, причем по меньшей мере один набор включает в себя одиночный объект изображения или множество объектов изображения, при этом упомянутые наборы объектов изображения получаются из изображений биологического материала;

средство получения признаков изображения, выполненное с возможностью получения признаков изображения или в связи с объектами изображения;

средство построения глобального преобразования, выполненное с возможностью вычисления, на основании упомянутых признаков, первоначального глобального преобразования регистрации по меньшей мере для двух наборов объектов изображения;

средство поперечного связывания, выполненное с возможностью установления, на основании упомянутого первоначального глобального преобразования регистрации и его обратного преобразования, по меньшей мере одной поперечной связи между объектами изображения по меньшей мере из двух наборов объектов изображения.

Согласно одному варианту осуществления компонент обработки изображений дополнительно содержит:

средство построения локального преобразования, выполненное с возможностью вычисления для упомянутой поперечной связи по меньшей мере одного локально адаптированного преобразования, которое ограничено теми объектами изображения, которые поперечно связаны в упомянутой поперечной связи;

блок объединения, выполненный с возможностью выполнения операции объединения для объединения 1) по меньшей мере упомянутого локально адаптированного преобразования и по меньшей мере части упомянутого первоначального глобального преобразования регистрации или 2) множества локально адаптированных преобразований в объединенное преобразование регистрации по меньшей мере для двух наборов объектов; и

выходной интерфейс для вывода упомянутого нового глобального преобразования.

Согласно одному варианту осуществления компонент обработки изображений по п.1, в котором работа средства построения глобального преобразования для вычисления по меньшей мере одного локально адаптированного преобразования основана на одном или более признаках, ранее полученных средством получения признаков изображения.

Согласно одному варианту осуществления компонент обработки изображений содержит средство очистки изображения, выполненное с возможностью:

подразделения соответствующих объектов изображения из упомянутых по меньшей мере двух наборов в подобъекты для получения наборов подобъектов;

вычисления для упомянутых подобъектов по меньшей мере одного сублокально адаптированного преобразования; где блок объединения приводится в действие для включения упомянутого по меньшей мере одного сублокально адаптированного преобразования в упомянутую операцию объединения.

Согласно одному варианту осуществления компонент обработки изображений содержит генератор графических изображений, который приводится в действие для отображения результата регистрации согласно упомянутому первоначальному глобальному преобразованию и/или для обновления отображения для нового результата регистрации в соответствии с промежуточной регистрацией или в соответствии с объединенным преобразованием регистрации.

Согласно одному варианту осуществления компонент обработки изображений дополнительно включает в себя дискретизатор, выполненный с возможностью понижения или повышения частоты дискретизации по меньшей мере одного из по меньшей мере двух наборов объектов изображения в том случае, если средство построения глобального преобразования не может вычислить первоначальное глобальное преобразование.

Согласно одному варианту осуществления компонент обработки изображений по любому из предыдущих пп., в котором работа блока объединения основана на интерполяции B-сплайнами.

Согласно одному варианту осуществления компонент обработки изображений по любому из предыдущих пп., в котором по меньшей мере один из упомянутых объектов изображения получен посредством операции сегментации изображения, примененной к упомянутым изображениям.

Согласно другому аспекту выполнен способ обработки изображений, содержащий:

прием по меньшей мере двух наборов объектов изображения, в котором по меньшей мере один набор включает в себя одиночный объект изображения или множество объектов изображения, причем упомянутые наборы объектов изображения получены из изображений биологического материала;

получение признаков изображения объекта изображения или по отношению к объекту изображения по меньшей мере в двух наборах;

на основании упомянутых признаков, вычисление первоначального глобального преобразования регистрации по меньшей мере для двух наборов объектов изображения;

установление, на основании упомянутого первоначального глобального преобразования регистрации и его обратного преобразования, по меньшей мере одной поперечной связи между объектами изображения из по меньшей мере двух наборов объектов изображения.

Согласно одному варианту осуществления способ обработки изображений содержит этапы:

для упомянутой по меньшей мере одной поперечной связи, вычисление по меньшей мере одного локально адаптированного преобразования, которое ограничено теми объектами изображения, которые поперечно связаны в упомянутой поперечной связи;

объединение 1) по меньшей мере упомянутого локально адаптированного преобразования и по меньшей мере части упомянутого первоначального глобального преобразования регистрации или 2) множества локально адаптированных преобразований в объединенное преобразование регистрации по меньшей мере для двух наборов объектов изображения; и

вывод упомянутого объединенного преобразования.

Согласно одному варианту осуществления, этап вычисления по меньшей мере одного локально адаптированного преобразования основан на одном или более признаках, ранее полученных на этапе получения.

Согласно одному варианту осуществления изображения биологического материала включают в себя по меньшей мере одно изображение цифровой патологии.

Предложенный способ позволяет избежать дополнительных вычислительных затрат, таких как в предыдущих решениях иерархического уточнения, где каждый этап с более высокими разрешениями приводит к дополнительным вычислительным затратам для признаков на новых уровнях разрешения. Предложенный способ позволяет вычислять признаки один раз и затем повторно использовать выборки из одного и того же пула признаков с одним и тем же уровнем разрешения на всем протяжении исполнения алгоритма. Более конкретно, локально адаптированные преобразования вычисляются с одним и тем же разрешением изображения (уровнем разрешения изображения) по сравнению с первоначальным глобальным преобразованием. В большинстве случаев не требуется изменение уровня разрешения в обязательном порядке. Как повторное использование признака, так и работа на одном и том же уровне разрешения (изображения) приводит к более эффективному алгоритму регистрации объекта изображения.

Предложенный способ и компонент обработки изображений являются высокочувствительными, так как они позволяют получать результаты регистрации в течение нескольких секунд, а не минут, даже для очень больших изображений, например, в гигапиксельном диапазоне, часто используемом в цифровой патологии. Это позволяет использовать приложения, которые требуют малого времени обработки, и приложения, где вычислительная мощность совместно используется с другими задачами, чем только регистрация изображений.

В отличие от предыдущих подходов, основанных исключительно на одном глобальном преобразовании регистрации, предложенный способ объединяет новое преобразование регистрации, в общем, из множества локально адаптированных преобразований, основанных на операции поперечного связывания. Это позволяет предотвратить ошибки модели, вызванные первоначальным глобальным преобразованием. Это связано с тем, что посредством поперечного связывания и одного или более локально адаптированных преобразований регистрации предложенный способ и компонент обработки изображений позволяют учитывать неглобальные вариации признаков объекта, таких как форма или внешний вид. Например, в области гистологии различия во внешнем виде соответствующих областей ткани в одном или более изображений срезов цифровой патологии могут быть вызваны окрашиванием образцов ткани. Некоторая ткань, которую легко обнаружить в одном из изображений, может быть почти невидимой на другом изображении. Это отмеченное изменение внешнего вида может внести путаницу на этапе вычисления первоначального глобального преобразования регистрации. То есть предложенный алгоритм "знает" о том, что в первоначальном глобальном преобразовании могут возникать разрывы, например, в контексте гистологии, где изображенный образец состоит из более чем одной области ткани.

Предложенные компонент и способ позволяют решить эту проблему посредством поперечного связывания. Как первоначальное глобальное преобразование, так и обратное преобразование первоначального глобального преобразования (следовательно, "поперечное" связывание) используются на определенном промежуточном этапе для выявления и устранения возможных противоречий в соответствиях между объектами изображения. В противном случае эти противоречивые соответствия могут остаться, если полагаться только на первоначальное глобальное преобразование. Первоначальное глобальное преобразование может привести к этим противоречивым соответствиям, например, в контексте сегментации изображения, где объекты вырабатываются при избыточной или недостаточной сегментации.

В общем случае может существовать множество таких поперечных связей, каждая из которых определяет соответствующую группу объектов изображения, поперечно связанных таким образом. Вычисление локально адаптированного преобразования ограничено только теми объектами, которые связаны в данной поперечной связи. Вычисление локально адаптированных преобразований основано на выделении признаков аналогично вычислению первоначального глобального преобразования. Но для вычисления локально адаптированного преобразования используются только те признаки, которые принадлежат объектам в заданной поперечной связи. Соответствующее вычисление соответствующего локально адаптированного преобразования выполняется для каждой поперечной связи, которая вырабатывает, в общем, множество различных локально адаптированных преобразований, по одному для каждой поперечной связи. Первоначальное преобразование можно затем заменить (возможно, полностью) на объединение этого множества локально адаптированных преобразований.

Чтобы кратко сформулировать преимущества, представленные в данном документе, за счет объединения, в одном варианте осуществления, локально адаптированные преобразования с первоначальным глобальным преобразованием позволяют достичь более точных регистраций. В частности, надежность достигается с помощью предложенного этапа поперечного связывания, тогда как эффективность вычислений и, следовательно, чувствительность повышается за счет повторного использования признаков (в частности, во время этапа уточнения) при одном и том же разрешении.

"Объект изображения" представляет собой область или набор точек изображения (пикселей, вокселей и т.д.). Область не обязательно должна быть топологически соединенной в одно целое, но может содержать множество несоединенных или рассредоточенных подобластей. Объекты изображения могут быть получены в ходе операции сегментации, но это не обязательно, так как объекты изображения вместо этого могут быть получены посредством ручного указания, или из технологий кластеризации признаков и т.д.

Термин "по меньшей мере два набора объектов изображения" может относиться к соответствующим объектам изображения в или из двух различных изображений или может относиться к соответствующим объектам изображения в различных частях изображения одного и того же изображения.

Используемый здесь термин "поперечная связь" относится к кластеру объектов, которые могут быть связаны или ассоциироваться с первоначальным глобальным преобразованием или его обратным преобразованием, где первоначальное глобальное преобразование и его обратное преобразование рассматриваются как преобразования, выполняемые над объектами, а не над точками изображения.

Краткое описание чертежей

Примерные варианты осуществления изобретения будут теперь описаны со ссылкой на следующие чертежи, на которых:

на фиг.1 показана блок-схема системы формирования изображения;

на фиг.2 показана блок-схема последовательности операций способа обработки формирования изображения;

на фиг.3 и 4 показана операция поперечного связывания, используемая в способе, показанном на фиг.2); и

на фиг.5 показан дополнительный этап обработки в способе обработки изображений (фиг.2).

Подробное описание изобретения

Со ссылкой на фиг.1 показана блок-схема системы обработки изображений, как предусмотрено здесь, в частности, (но только не обязательно) с целью формирования изображения цифровой патологии.

Система формирования изображения включает в себя устройство захвата изображения (IM), которое обеспечивает формирование цифровых изображений, например, гистологических срезов.

Система формирования изображения дополнительно включает в себя компонент обработки изображений IPC для обработки подаваемых изображений. Для удобства эти изображения или кадры будут упоминаться здесь как изображение IM_A и изображение IM_B, предполагая, что приведенное ниже описание не ограничено только двумя изображениями. Компонент обработки изображений (IPC) обеспечивает пространственную регистрацию (по меньшей мере) двух изображений IM_A, IM_B по отношению друг к другу. Было обнаружено, что предложенная регистрация изображения особенно устойчива к морфологическим изменениям или к изменениям других свойств соответствующих структур, записанных в этих двух изображениях.

Теперь мы вкратце рассмотрим некоторые особенности цифровой патологии, чтобы лучше мотивировать предложенную систему с пониманием того, что предложенная система не должна ограничиваться только цифровой патологией. В первоначальной процедуре пробу образца ткани обрабатывают формалином и затем погружают в парафин. Эта процедура (которая также упоминается как FFPE) позволяет сохранить молекулярную структуру и сделать твердой пробу ткани. Затем, используя гистологический нож, такой как микротом или аналогичный инструмент, осуществляется забор двух или более срезов таким образом обработанной ткани. Затем срезы ткани обрабатывают ("окрашивают") подходящими красителями ("окрашивающими веществами") для повышения контраста представляющих интерес структур, таких как ядра и окружающая их цитоплазма. Одной общей процедурой окрашивания является использование гематоксилина и эозина (H&E) для одного из срезов и иммуногистохимическое (IHC) окрашивание для другого среза. В данном документе предусмотрены и другие процедуры окрашивания (повторного окрашивания). Примерами являются окрашивание только гематоксилином, ткань, окрашенная флуоресцентным(и) маркером(ами) и неокрашенная ткань. Ткани могут отбираться из одного и того же блока или из различных (например, соседних) блоков. Затем окрашенные или помеченные ткани, как правило (но не обязательно), устанавливаются между стандартным предметным стеклом и покровным стеклом (частью стекла, которая тоньше, чем опорное предметное стекло) для формирования одного или двух микроскопических препаратов. Обе ткани можно расположить (бок о бок) на одном и том же предметном стекле или на различных предметных стеклах.

Используя подходящее средство формирования изображения, такое как цифровой микроскоп (MC), цифровой сканер препаратов (PSC) или даже устройство формирования изображения, которое захватывает данные изображения (например) с увеличением 0,3x (со сканированием или без сканирования), два цифровых изображения IM_A, IM_B получаются затем в виде одного файла или в виде двух отдельных файлов в зависимости от того, были ли эти два среза расположены на одном и том же предметном стекле.

Общая задача цифровой патологии состоит в том, чтобы "повторно обнаруживать" соответствующие структуры в двух изображениях IM_A, IM_B. По существу, это является примером регистрации изображений. Однако, как будет понятно из вышеприведенной процедуры, она может быть непростой, так как одна и та же структура может заметно отличаться по внешнему виду на двух изображениях IM_A, IM_B. Во-первых, два среза, несмотря на то, что они взяты из одной и той же пробы ткани, будут по-прежнему включать в себя различные части ткани. Во-вторых, операция разрезания или разрезания на слои для отделения двух срезов от тканевого блока может вызвать различное по величине натяжение, сжатие или даже "сворачивание" частей срезов ткани при размещении срезов на своих соответствующих предметных стеклах. В-третьих, эти два среза могут быть окрашены различным образом. Эти различия по окрашиванию/поглощению окрашивающего вещества в образцах ткани являются одной из основных причин различий во внешнем виде ткани. Ткань, которую можно легко обнаружить на одном из изображений, может быть почти невидимой на другом изображении. Короче говоря, изменение формы и внешнего вида соответствующих кусочков ткани в паре изображений создает другие проблемы для регистрации. Форма может отличаться по нескольким причинам. Ткань может растягиваться или сжиматься и может деформироваться из-за складок или разрывов. Кроме того, в случае нескольких кусочков ткани, кусочки могут незначительно перемещаться относительно друг друга, приводя к локальным изменениям положения и ориентации.

Продолжая ссылаться на фиг.1, архитектура предложенного компонента обработки изображений IPC показана в виде пунктирного прямоугольника.

Компонент IPC регистрации включает в себя порт ввода IN для приема объектов изображения, например, в расчете на два изображения IM_A, IM_B. В целом архитектура компонента IPC обработки изображения состоит из каскада предварительной обработки для определения объектов изображения, которые в предпочтительном варианте осуществления (но обязательно во всех вариантах осуществления) содержат блок SEG сегментации и блок IFD идентификации признаков. Затем изображения, обработанные в этом каскаде, направляются в каскад регистрации фактических изображений, который включает в себя средство построения глобального преобразования GTB и средство построения локального преобразования LTB. Кроме того, предусмотрены также блок объединения ∑ и при необходимости схема средства уточнения (RF) и/или дискретизатор DUS. В предпочтительном варианте осуществления дискретизатор DUS предназначен для понижения частоты дискретизации, но в данном документе не исключены варианты осуществления с повышением частоты дискретизации. Результат регистрации (в частности, алгоритмическое описание преобразования T^NEW изображения) выводится на порт вывода OUT.

В отличие от существующих схем регистрации предложенный компонент IPC регистрации изображения включает в себя, в частности, компонент XL поперечного связывания. Прежде чем перейти к более подробному описанию (со ссылкой на фиг.2) функционирования предложенного IPC, для лучшего представления будет кратко описана работа компонента IPC регистрации изображения. В одном варианте осуществления предполагается, что обработка IPC изображения выполняется программой из системы программного обеспечения на рабочей станции WS, такой как общая вычислительная платформа, связанная со средством IM формирования изображения. Компонент IPC обработки изображений может также работать на автономной вычислительной платформе.

Работа

Два набора объектов изображения, подлежащих регистрации, принимаются через порт ввода IN. Наборы объектов изображения могут находиться в двух изображениях A, B. Предполагается, что в дальнейшем будет рассматриваться случай, который является только иллюстративным вариантом осуществления, когда в одном изображении можно определить два набора объектов.

Объекты изображения можно предварительно получить с помощью сегментатора SEG, который сегментирует два изображения, хотя не исключены и другие технологии для определения объектов изображения. Определение путем сегментации используется только в качестве иллюстративного варианта.

Затем объекты в этих двух изображениях проверяются с помощью компонента IFD идентификации признаков. Признаки включают в себя, например, размер зоны, форму или особенности спектра, так как гистологические изображения часто записываются в виде цветных изображений с тем, чтобы лучше показать дифференциацию ткани, например, с помощью цветов. Признаки могут описывать непосредственно объекты, или они могут относиться к признакам в их окрестности.

После того как признаки (то есть один или более признаков для некоторых или всех объектов в двух изображениях) были определены и вычислены, последовательность операций процесса затем переходит к средству GTB построения глобального преобразования. Средство GTB построения глобального преобразования вычисляет, на основании пула признаков, созданного компонентом IFD идентификации признаков, для всех двух изображений одно глобальное преобразование. Это преобразование, упоминаемое в дальнейшем как первоначальное преобразование, может быть применено к любому объекту изображения в одном из изображений, например, в изображении IM_A, и затем отображается в то, что будет представляться "на первый взгляд" соответствующим объектом изображения во втором изображении IM_B. В общем, алгоритм, лежащий в основе работы средства построения глобального преобразования (GTB), основан на соответствии признаков. Другими словами, ранее вычисленные признаки сравниваются по двум изображениям посредством подходящей метрики, которая измеряет или количественно определяет "величину" соответствия для данной пары. Затем пара объектов, чьи признаки имеют наивысшее или достаточно высокое соответствие (последнее может быть установлено путем определения соответствующим образом скорректированных порогов соответствия), рассматривается как находящаяся в соответствии друг с другом по двум изображениям. Таким образом, каждый фрагмент или объект в изображении IM_A согласуется или сопоставляется с соответствующим одним из объектов изображения в изображении IM_B. На этом этапе первоначальное преобразование является глобальным, а значит и относительно грубым описанием того, как нужно "деформировать" изображение IMA для получения изображения IMB, так как первоначальное преобразование соответствует требованиям только "глобально", так как оно действует на всем изображении, и на данном этапе необязательно учитывать специфические требования к локальному деформированию на двух изображениях. Соответствующая величина соответствия в расчете на каждую пару объектов вводится в глобальную целевую функцию, которая затем оценивается для вычисления, на глобальном уровне, глобального первоначального преобразования. Как будет показано ниже, затем это первоначальное глобальное преобразование T и/или его обратное преобразование T^-1 (предпочтительно оба) используется/используются средством построения локального преобразования (LTB) для вычисления множества локально адаптированных преобразований, которые затем объединяются с помощью блока объединения ∑ в улучшенное, то есть более точное, объединенное преобразование T^NEW, описание которого затем предоставляется на выходном порту OUT. Средство построения локальных и глобальных преобразований можно объединить в один функциональный объект.

Упомянутая ранее надежность предложенной регистрации изображения получена по меньшей мере частично благодаря работе средства XL поперечного связывания. Средство XL поперечного связывания использует первоначальное преобразование и его обратное преобразование (то есть его математическое обратное преобразование) для установления поперечных связей между объектами или группами объектов по двум изображениям. Более конкретно средство XL поперечного связывания связывает один или более объектов на заданном участке изображения в первом изображении IM_Α с одним или более объектами изображения на втором изображении IM_B. Первоначальное преобразование регистрации может считаться взаимно однозначным как функция между точками изображения (такими как пиксели или воксели), поэтому его обратное преобразование всегда существует как функция точек изображения. Однако для целей установления поперечной связи можно использовать определение точки изображения первоначального глобального преобразования для определения первоначального глобального преобразования и его обратного преобразования в качестве соответствующих преобразований между объектами. Данная поперечная связь будет, в общем, содержать наборы объектов из первого изображения и второго изображения. Другими словами, осуществляя прямое преобразование (T) и обратное преобразование (Т^-1), средство XL поперечного связывания объединяет вместе все эти объекты на двух изображениях, что можно добиться действием отображения T или Т^-1, когда T задано на объектах, а не на точках изображения. Например, после того, как поперечное связывание может закончиться ассоциативной структурой, такой как {A1, A2}↔{B1, B2, B3}, где поднабор объектов A_i или B_i из двух изображений (IM_A или IM_B) ассоциируется друг с другом. Наборы могут быть также одноточечными (то есть образованными из одного объекта), например, {А1}↔{B2}, или одноточечное множество из одного изображения может ассоциироваться с более чем одним объектом из другого изображения. Работа средства поперечного связывания будет более подробно описана ниже со ссылкой на фиг.2, 3 и 4.

После поперечного связывания в работу вступает средство построения локального преобразования (LTB).

Функционально средство построения локального преобразования (LTB) аналогично средству построения глобального преобразования (GTB), но, в отличие от GTB, LTB не работает сразу глобально по всем объектам изображения, но работает по отдельности для любой заданной поперечной связи и ограничивается объектами, связанными средством XL поперечного связывания в упомянутой заданной поперечной связи. Фактически, в одном варианте осуществления, средство построения локального преобразования (LTB) и средство построения глобального преобразования (GTB) выполнены как одно целое в одном функциональном объекте. Работа средства построения локального преобразования (LTB) позволяет конкретно учитывать локальные характеристики деформирования. Эти локальные характеристики специально не учитываются при вычислении первоначального глобального преобразования. При вычислении первоначального глобального преобразования требования к локальному преобразованию усредняются или уравниваются с глобальным требованием для удовлетворения глобальной целевой функции. Напротив, средство построения локального преобразования (LTB) работает вместо этого на некоторой или каждой поперечной связи по отдельности для создания множества соответствующих локально адаптированных преобразований t_i, то есть по меньшей мере одного локального преобразования t_i для каждой поперечной связи. Затем ряд таким образом адаптированных локальных преобразований t_i объединяется, например, посредством операции интерполяции B-сплайнами или другой схемы объединения функций, для формирования нового преобразования T^NEW, которое затем выводится на выходной порт OUT.

Затем результаты регистрации в соответствии с новым преобразованием T можно исследовать, применяя то же самое к одному из изображений, например, к изображению IM_A, и регистрацию можно затем представить графически для отображения на устройстве отображения (DU), таком как монитор, посредством генератора графических изображений (GDG). Результат регистрации может также отображаться в соответствии с первоначальным преобразованием или промежуточными результатами. Более конкретно, в одном варианте осуществления промежуточные результаты регистрации обновляются и отображаются в виде нового преобразования, построенного из их компонентов, то есть из локально адаптированного преобразования. На некотором или каждом этапе(ах) во время построения промежуточное преобразование иллюстрируется с помощью генератора графических изображений GDG на устройство отображения (DU).

Один из способов, предусмотренных в данном документе для представления пользователю результата регистрации, состоит в том, чтобы осуществить отображение на устройстве отображения обоих изображений рядом друг с другом в режиме одновременной навигации. В этом режиме величины соответствующего поля зрения и увеличения, при котором отображаются изображения, сохраняются одинаковыми. Центр поля зрения одного из изображений IM_A, IM_B связан с центром поля зрения другого изображения посредством информации о регистрации. Если пользователь просматривает в одном из изображений IM_A, IM_B, центр поля зрения в другом изображении будет автоматически перемещаться вперед, чтобы гарантировать, что соответствующие центры полей зрения соответствуют друг другу.

В другом варианте осуществления результат регистрации представлен путем отображения одного из изображений IM_A, IM_B в одном порту/окне просмотра, и другого изображения, после регистрации, во втором порту/окне просмотра изображения. Затем пользователь может осуществлять переключение между обоими изображениями для исследования образцов окрашивания после регистрации.

В некоторых случаях может возникнуть ситуация, в которой средству построения локального преобразования LTB не удается вычислить локально адаптированное преобразование для поперечной связи, так как нельзя установить требуемую степень соответствия между объектами в упомянутой поперечной связи. Чтобы учесть этот возможный случай, IPC включает в себя в одном варианте осуществления компонент DUS понижения частоты дискретизации, который работает с входными изображениями IM_A, IM_B для понижения или повышения частоты дискретизации изображения. Вышеописанный алгоритм затем запускается повторно на основании повторно дискретизируемых изображений, чтобы затем достичь по возможности наилучшего соответствия. Однако после того, как частота дискретизации первоначальных входных изображений IM_A, IM_B понижена подходящим образом, предложенный компонент обработки изображений (IPC) способен работать только на одном уровне разрешения, поэтому не требуется дальнейшее понижение частоты дискретизации.

Иногда объекты, созданные сегментатором SEG, или ряд объектов в поперечной связи могут рассматриваться слишком большими в сопоставлении с определенными подходящим образом пределами с учетом количества элементов на объект в поперечной связи и/или размера зоны. Поэтому в одном варианте осуществления предложено вспомогательное средство уточнения (RF), которое разбивает большие объекты на подобъекты. Затем средство уточнения (RF) оперирует с признаками во вновь сформированных подобъектах для вычисления сублокально адаптированных преобразований между подобъектами.

Далее, со ссылкой на фиг.2, более подробно описана работа компонента обработки формирования изображения (IPC). Однако следует принять во внимание, что блок-схема последовательности операций, показанная на фиг.2, и последующее описание необязательно связаны с архитектурой, как показано на фиг.1, и алгоритм согласно блок-схеме, показанной на фиг.2, можно считать автономными инструкциями. Способ будет проиллюстрирован для случая, когда наборы объектов изображений определены в двух изображениях IM_A, IM_B, где соответствующий один из наборов объектов изображения соответствует объектам изображения в соответствующем изображении IM_A, IM_B. Однако этим не ограничивается, так как наборы объектов изображения могут также соответствовать различным частям одного изображения.

На начальном этапе S210 вырабатываются два (или более) изображения IM_A, IM_B. Это может быть достигнуто путем гистологической визуализации или процедур визуализации, отличных от цифровой патологии. Оставаясь, ради иллюстрации, в контексте цифровой патологии, получены два гистопатологических (цифровых) изображения IM_A, IM_B двух срезов тканевого блока. Цифровые изображения могут быть получены из следующих один за другим срезами или не следующих один за другим срезами из одного и того же тканевого блока. Кроме того, можно использовать один срез, и два изображения получаются после повторного окрашивания ткани. По меньшей мере в цифровой патологии изображения IM_A, IM_B могут быть относительно большими, например, в гигапиксельном диапазоне с субмикронным разрешением.

На дополнительном необязательном этапе частота дискретизации изображений может быть понижена. Цель понижения частоты дискретизации состоит в том, чтобы получить изображения, которые являются достаточно маленькими, чтобы обеспечить приемлемое время вычисления, но которое по-прежнему содержит достаточное количество деталей и разрешение для достижения приемлемо точных результатов. Однако было обнаружено, что в предложенном способе понижение частоты дискретизации обычно не требуется.

Согласно одному варианту осуществления на этапе S215 получаются объекты изображения.

Это можно выполнить посредством сегментации изображений. Это приводит (по меньшей мере) к двум наборам объектов изображения, а именно, к одному или более наборам объектов на одно изображение IM_A, IM_B. На этом этапе можно использовать любой алгоритм сегментации. В частности, сегментация включает в себя сегментацию ткани в зависимости от фона. Согласно одному варианту осуществления получены характеристики фоновой интенсивности (среднего фона или изменения фона). Затем пиксели классифицируются как "принадлежащие к фону с наибольшей вероятностью", если их интенсивность выше, чем порог фона, который определяется в одном варианте осуществления как:

порог фона = средний фон - 2 * изменение фона.

В одном варианте осуществления можно применить сглаживание изображения (как этап предварительной обработки) или морфологические операции для того, чтобы сделать результат сегментации изображения менее зашумленным. При необходимости очень маленькие объекты классифицируются как "наиболее вероятная ткань", рассматриваются как шум и удаляются из дальнейшего анализа. Это позволяет сэкономить время вычисления.

Понятно, что, хотя в данном документе в основном предусмотрено, что сегментация является только одним вариантом осуществления среди многих других вариантов осуществления для получения упомянутых двух (или более) наборов объектов изображения. Например, объекты могут быть получены непосредственно на выходе сканера. В современных сканерах патологии используется технология для выявления местоположения кусочков ткани. Эта информация используется для ограничения сканирования только тех частей образца, которые имеют отношение к данной задаче. Это уменьшает время сканирования и ограничивает размер изображения. Другой информацией, предоставляемой сканером для этой цели, является информация о фокусе. Альтернативно, объекты могут выводиться из ручной или полуручной процедуры отбора ткани. Однако альтернативно, объекты могут быть предоставлены с помощью технологии кластеризации признаков, например, с помощью кластеризации методом k-средних на участке из участков ключевых признаков и их соответствующего значения поглощения. Далее способ будет проиллюстрирован в основном контексте сегментации, однако данный контекст не ограничивает применение и объем предложенного способа.

Затем на этапе S220 принимаются объекты изображения из двух изображений IM_A, IM_B.

На этапе S240 признаки изображения получаются из или в связи с объектами изображения на двух изображениях. Один способ вычисления признаков для регистрации изображений описан, например, в работе D. Lowe "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, 60, 2, pp. 91-110, 2004. Этот подход основан на масштабно-инвариантном преобразовании признаков (SIFT). В подходе SIFT так называемые ключевые точки получаются из масштабного пространства и описываются вектором признаков. Описание признаков является инвариантным к изменениям в ориентации признаков и масштаба признаков и, в некоторой степени, даже устойчиво к изменениям в перспективе. Однако в данном документе предусмотрены также другие "подходы, не основанные на SIFT", а именно в связи с тем, что масштабная инвариантность и устойчивость к различиям в перспективе не нужны при практическом использовании, предусмотренном предложенным способом. Поэтому для настоящих целей и согласно одному варианту осуществления, следует отметить, что признаки существуют на многочисленных уровнях детализации. Извлечение признаков на многочисленных уровнях детализации в одном варианте осуществления основано на выведении масштабно-пространственных представлений входных изображений IM_A, IM_B (например, с использованием фильтрации изображения путем вычисления лапласиана над гауссианом или разности гауссианов). Устойчивые и "интересующие" или явно выраженные точки изображения можно автоматически извлечь из пространства и масштаба путем обнаружения экстремумов по пространству и масштабу. Эти экстремумы предоставляют информацию о местоположении (x, y) интересующих в точках изображения, а также о протяженности локальной зоны вокруг соответствующей точки изображения, которая должна рассматриваться в описании (или определении) упомянутой точки. Некоторые общие идеи относительно обработки, основанной на характеристиках изображения, описаны более подробно в работе T. Lindenberg, "Feature Detection with Automatic Scale Selection", International Journal of Computer Vision, 30, 2 1998. Примеры различных дескрипторов признаков можно найти в работе K. Mikolajczyk и C. Schmid "A performance evaluation of local descriptors", IEEE Transactions on Pattern Analysis and Machine Intelligence, 27, 10, pp. 1615-1630, 2005.

В одном варианте осуществления признаки, которые не находятся на или вблизи объектов, классифицируемых как "скорее всего ткань", удаляются из дальнейшего анализа. "Близость" измеряется напротив заданных окрестностей. В одном варианте осуществления вывод признаков изображения выполняется, как правило, с помощью одного набора предварительно определенных настроек параметров, которые определяют способ вычисления масштабного пространства, или как необходимо использовать настройки параметров для извлечения признаков из масштабного пространства. В альтернативном подходе вывод признаков изображения начинается с выбора подобласти в изображении. Затем, признаки в этой подобласти вычисляются для ограниченного набора настроек параметров. Далее, выбираются те настройки параметров, которые обеспечивают наилучшее совпадение признаков для этой подобласти. Выбранные настройки параметров затем используются для регистрации изображений.

На этапе S250 первоначальное глобальное преобразование регистрации для объектов изображения на двух изображениях вычисляется в виде точечной функции. В этом вычислении учитываются практически все признаки изображения. Таким образом, получается единое преобразование для всех объектов изображения на изображениях. Первоначальное преобразование можно вычислить на основании соответствий признаков, как это описано, например, в упомянутой выше статье Лове (Lowe). В этом и подобных алгоритмах метрика используется для конечной оценки степени соответствия, и она обычно основана на соответствующем качестве соответствий признаков и общем количестве соответствий признаков, которые совпадают с геометрией, лежащей в основе местоположений признаков на эталонном изображении. Мера расстояния, такая как евклидово расстояние или другая, между векторами признаков для объектов на двух изображениях определяет "оценку", возможно, после подходящей нормализации. Если эта оценка меньше, чем определенное числовое пороговое значение, то соответствующие два признака не совпадают. Если упомянутая оценка равна или даже превышает упомянутое пороговое значение, считается, что признаки совпадают. Другой формой эталонного изображения для целей совпадения, которая используется в данном документе, является определение подходящего семейства параметризованных преобразований для преобразования двух изображений и, следовательно, объектов друг в друга. Затем в двух рассматриваемых изображениях подбираются параметры, которые оцениваются по критерию качества для определения оценки. Например, чем ниже стоимость, тем выше оценка и т.д. Однако, существующие алгоритмы, такие как SIFT, обычно предполагают относительно высокий уровень соответствий между изображениями. Например, обычно предполагается, что геометрические деформации ограничены изменениями только ориентации и масштаба и, возможно, учитывают только небольшое изменение в перспективной деформации как в SIFT. Обоснование, лежащее в основе этих ограничений, заключается в том, что SIFT и аналогичные алгоритмы основаны на аналогичном "визуальном внешнем виде" и поэтому работают лучше, если ограничено изменение внешнего вида. Однако это допущение, как правило, терпит неудачу в изображениях цифровой патологии и, следовательно, в подходе, предложенном в данном документе, поэтому таким образом вычисленное глобальное преобразование является только промежуточным результатом, который теперь используется ниже для устранения неоднородности структурных образований на двух изображениях.

На этапе S260 выполняется операция поперечного связывания. Чтобы достичь этого, один или более объектов изображения, в общем, все объекты в одном изображении отображаются во второе изображение с использованием первоначального глобального преобразования. В дополнение к использованию глобального преобразования, его обратное преобразование также вычисляется и применяется ко второму изображению с тем, чтобы теперь отобразить объекты изображения (обратно) в первое изображение. Из-за различий в сегментации изображений связь между объектами в обоих изображениях может быть не взаимно однозначной, и поэтому в данном документе предложено поперечно связывать объекты, используя как глобальное преобразование, так и его обратное преобразование.

Поперечное связывание позволяет справиться с различиями по внешнему виду соответствующих объектов в изображениях IM_A, IM_B. Эти различия могут быть вызваны избыточной или недостаточной сегментацией объектов, классифицированных как ткань. Кроме того, в случае классифицированных тканевых объектов, которые расположены близко друг к другу, не всегда будет легко определить, принадлежат ли они или нет к одной ткани. Эта путаница может привести к несогласованности в тканевых объектах, когда они сегментированы на изображениях A и B. Другими словами, поперечное связывание помогает выяснить, какой объект на изображении IM_A соответствует какому объекту на изображении IM_B.

В одном варианте осуществления поперечное связывание осуществляется путем определения некоторых точек действий. Например, можно установить первый набор связей между объектами путем отображения (или "деформации") некоторых назначенных точек или точек действия (например, местоположений центров или других геометрических мест точек) объекта(ов) на изображении IM_A в изображение IM_B, используя первоначальное глобальное преобразование T. Если деформированная точка действия заканчивается (то есть находится внутри) на тканевом объекте на изображении IM_B, то считается, что два объекта связаны под действием T. Затем производится переход "назад" и выполняется то же самое для объектов на изображении IM_B, путем деформации в изображение IM_A, используя обратное преобразование Т^-1 глобального преобразования. После выполнения двух операций отображения посредством T и Т^-1, получается кластер объектов, связанных вместе с помощью T или Т^-1. Рассмотрим следующий пример кластеризации объектов: предположим, что объект А1 на изображении IM_A связан с объектом B1 на IM_B, и объект A2 на изображении IM_A связан с объектом B3 на изображении IM_B в соответствии с деформацией изображения IM_A в изображение IM_B при T. Затем каждый из объектов B1, B2 и B3 на изображении IM_B связывается с объектом А1 на изображении IM_A в соответствии с деформацией изображения IM_B в изображение IM_A при Т^-1. Объединение в одно целое всех этих связей приведет в результате к поперечной связи между объектами {А1, A2} на изображении IM_A и объектами {B1, B2, B3} на изображении IM_B. Поперечное связывание (то есть деформация изображения IM_A в изображение IM_B и, наоборот, изображения IM_B в изображение IM_A) позволяет достичь надежности в случае избыточной/недостаточной сегментации на этапе S215. Этот пример поперечного связывания проиллюстрирован на фиг.3 (вперед) и фиг.4 (назад). Точки действия и точки, в которые отображаются эти точки действия, показаны, соответственно, заштрихованными и черными точками. Затем, в более общем смысле, для данных целей операцию поперечного связывания можно определить на основе рассмотрения T и Т^-1 в качестве преобразования между объектами следующим образом: для любого объекта o Т^-1(o) представляет собой этот объект o', в который отображается назначенная точка (точка действия) o при Т^-1. Другими словами, если оказывается, что точка действия объекта o отображается в точку объекта o', то объекты o, o' поперечно связываются посредством Т^-1. Как можно видеть, определение T и Т^-1 в качестве преобразований объектов основано на определении точек изображения T, Т^-1, так как оно представляет собой местоположение точек действий, которые определяют, установлена ли связь. Одни и те же соображения применяются при рассмотрении T в качестве функции между объектами для установления связей в другом направлении. А именно, T(o) -это объект, в который отображается точка o (т.е., точка действия) при T. В дальнейшем считается, что коллекция или кластер объектов, которые связаны либо через T, либо через Т^-1, образуют поперечную связь. В общем случае будет множество различных поперечных связей. Следует отметить, что определение T и Т^-1 в качестве преобразования объектов вносит асимметрию: можно обнаружить, что, если применение T создает связь между o и o', то может также существовать связь от o' до o при поперечной связи с применением Т^-1. Однако это не обязательно, так как связи устанавливаются с помощью точек действия (например, центральных точек) объектов. Поэтому, несмотря на то, что связь между o и o' существует, возможно, что связь не будет обнаружена при поперечном связывании от o' до o при применении Т^-1. Эта асимметрия проиллюстрирована на фиг.3, 4: связь B2→A1 обнаруживается только при поперечном связывании через Т^-1, как показано на фиг.4. Как показано на фиг.3, эта связь не была бы обнаружена, если бы только полагались на поперечную связь в одном направлении, то есть только посредством T.

Затем на этапе S270 для любой одной поперечной связи вычисляется соответствующее локально адаптированное преобразование. Другими словами, можно использовать тот же самый алгоритм, как и выше на этапе S250, однако в этот раз соответствующие локально адаптированные преобразования не вычисляются глобально, а только на "уровне кластера" для каждого в отдельности, то есть признаки, рассмотренные при вычислении локально адаптированного преобразования, ограничены признаками только тех объектов, которые связаны вместе в заданной поперечной связи. Более конкретно, для любой поперечной связи пул признаков, ранее созданный на этапе S240, пересматривается для отбора поднабора признаков, которые принадлежат объектам в рассматриваемой поперечной связи. С другой стороны, на этапе S270 для каждой поперечной связи или кластера выделенное локально адаптированное преобразование Т_cl, на уровне кластера, получается с использованием только тех ранее вычисленных признаков, которые принадлежат объектам в имеющейся поперечной связи. Таким образом, получается множество локальных преобразований Т_cl, то есть одно такое преобразование Т_cl для любой заданной поперечной связи cl. Каждое из этих преобразований адаптировано к объектам (и к их признакам) только в соответствующей поперечной связи.

Как показано в примерах на фиг.3, 4, избыточную сегментацию можно выявить путем объединения объектов в соответствии с предложенным поперечным связыванием. В примерах изображение IM_A было избыточно сегментировано на две части А1 и А2, и соответствующий тканевый объект на изображении IM_B был избыточно сегментирован иным образом в объектах B1, B2 и B3. Прямое и обратное отображение, осуществляемое путем поперечного связывания, позволяет выявить это, и признаки таким образом поперечно связанных объектов можно рассматривать вместе при вычислении преобразования T_cl для заданной поперечной связи. Так как вычисления T_cl ограничены объектами в соответствующей поперечной связи, эти вычисления могут называться вычислениями "на уровне объектов". Поперечное связывание позволяет уменьшить риск зависания признака. То есть из-за поперечного связывания большое количество объектов можно сгруппировать вместе, что увеличивает пул признаков, доступных для вычисления локально адаптированных преобразований. Поэтому вычисления становятся более надежными и по возможности более точными.

При необходимости имеется этап S275, который представляет собой операцию уточнения в случае, если в ходе сегментации возвращается относительно большое количество тканевых объектов, или в случае, если при поперечном связывании получаются поперечной связи, образованные из слишком большого количества объектов. В любом из этих случаев объект разбивается на подобъекты R_A, как показано на фиг.5. В показанном примере объект o представляет собой единую область, и подобъекты в этом случае представляют собой подобласти упомянутой единой области. Для каждого из этих локальных подобъектов R_A под-поднабор признаков, которые принадлежат только рассматриваемому подобъекту, выбирается из поднабора признаков, ранее вычисленных для объекта o. На фиг.5 представлена иллюстрация операции уточнения, которая выполняется на этапе S275 для относительно больших объектов (определенных с использованием подходящего порога диаметра) с последовательными локально уточненными преобразованиями, вплоть до уровня подобъектов. Заштрихованный квадрат R_A на изображении IM_A (слева на фиг.5) представляет собой локальный подобъект на тканевом объекте o. Уточнение осуществляется путем определения подходящей сетки (показанной пунктирными линиями), которая определяет локальные подобъекты для тканевого объекта o на изображении IM_A. Заштрихованный квадрат RB на изображении IM_B (справа на фиг.5) показывает локальный подобъект R_A после деформации изображения IM_A в изображение IM_B с использованием расчетного локального преобразования для объекта o на уровне объектов. Пунктирные линии на изображении IM_B показывают деформированную регулярную сетку с использованием ранее рассчитанного преобразования на уровне объектов. Для локального сопоставления (то есть для построения на уровне подобъектов сублокально адаптированного преобразования t_i для соответствующих наборов подобъектов) признаки, наблюдаемые на изображении IM_A для подобъекта R_A, сопоставляются с признаками, наблюдаемыми на изображении IM_B в объекте, полученном после деформации соответствующего подобъекта, с помощью предварительно оцененного преобразования для текущего объекта o на уровне объектов. Как уже упоминалось, в примере на фиг.5 объект o формируется из одной области (показанной ограниченной криволинейной линией). Аналогичные соображения применяются в том случае, если объект представляет собой набор несвязанных подобластей, где уточнение соответствует разбиению упомянутого набора на под-поднаборы и затем определению уточненных преобразований t_i в качестве преобразования между поднаборами объектов. В итоге, мы различаем в данном документе по меньшей мере два (в одном варианте осуществления три) уровня: первоначальное глобальное преобразование T, одно или более локально адаптированных преобразований объектов T_cl для объектов в поперечной связи (уровень объектов), и, при необходимости на третьем уровне, локальные уточнения определенных сублокальных преобразований t_i для подобъектов (уровень подобъектов). Разумеется, вышесказанное может быть распространено на любое количество уровней n>3, при необходимости с под-...-под-уточнениями.

На этапе S280 блок объединения приводится в действие для объединения глобального преобразования с одним или более локальными преобразованиями, полученными на уровне объектов и/или даже на уровне подобъектов. Объединенные локальные и/или сублокальные преобразования приводят к объединенному преобразованию регистрации, которое лучше учитывает локальные подробные сведения. В некоторых вариантах осуществления используется подход на основе B-сплайнов, но также предусмотрены и другие способы интерполяции сплайнами (например, тонкая пластина и т.д.) для объединения локальных преобразований в описание унитарной функции.

Возвращаясь снова к варианту осуществления B-сплайна, преобразование B-сплайна дает компактное определение нового преобразования посредством регулярной сетки так называемых угловых позиций на изображении IM_A, и, в дополнение к этому, вектор локального смещения каждого местоположения узла, который определяет смещение узлов при деформации в изображение IM_B. Из этого краткого определения преобразование в местоположениях между узлами получается с использованием интерполяции B-сплайнами. Более конкретно, в некоторых или всех точках сетки в регулярной сетке изначально назначается смещение как унаследованное от первоначального глобального преобразования. Затем выполняется проверка для всех точек сетки, если локальное преобразование было вычислено в окрестности для соответствующей точки сетки на уровне объектов или даже для сублокального преобразования на уровне подобъектов. Если результат является положительным для этих точек сетки, то вместо использования первоначального глобального преобразования используется наиболее локальное преобразование T_cl или t_i. Как будет понятно позже, в некоторых случаях первоначальное глобальное преобразование может сохраняться в некоторых точках сетки, где не было вычислено локальное преобразование, но может быть заменено, соответственно, T_cl или t_i в других точках сетки. В тестах заявителя была использована регулярная сетка с узлами, расположенными с интервалом 16 пикселей в обоих направлениях x и y (при увеличении 0,3x), но эти тесты являются только примерными, и в данном документе также предусмотрены другие интервалы и/или увеличения.

Следует напомнить, что для этапа S215 был описан вариант, где объекты, которые считаются слишком маленькими, должны быть удалены из рассмотрения. В отношении вариантов осуществления, в которых используется этот вариант, в одном варианте предполагается здесь, что эти объекты будут по-прежнему регистрироваться в конечном преобразовании T^NEW посредством первоначального глобального преобразования. Другими словами, эти объекты также должны наследовать некоторые смещения, определенные с помощью первоначального глобального преобразования.

Специалисту в данной области техники будет понятно, что разбиение объекта o на подобъекты будет выполняться с использованием частично перекрывающихся подобъектов. При необходимости, можно использовать подобъекты с переменным размером или можно использовать подобъекты с переменным количеством элементов. Например, признаки подобъекта в изображении IM_A можно сопоставить с немного меньшим объектом, определенным вокруг соответствующего местоположения центра на изображении IM_B. Если получено надежное сублокальное преобразование t_i (то есть такое, которое достигает заданной величины соответствия), то это сублокальное преобразование является приемлемым. Если невозможно получить надежное локальное преобразование, то можно предпринять одну или более попыток, используя объект, определенный вокруг соответствующего местоположения центра на изображении IM_B с увеличивающимся размером.

Как и ранее на этапе 270, сублокальные преобразования вычисляются на основании поднабора признаков соответствующих подобъектов. Сублокальные преобразования на уровне подобъектов, определенных на этапе S275 в операции уточнения, можно затем объединить на этапе S280 с преобразованием, полученным на более высоких уровнях, то есть с преобразованием, полученным на этапе S250 и этапе S270. Следует отметить, что вычисления локально адаптированных или сублокально адаптированных преобразований основаны на таком же уровне разрешения, который используется для вычисления первоначального глобального преобразования. Другими словами, существует дискретизация с повышением или с понижением частоты, вовлеченная в эти комбинации в качестве объектов изображения, или подобъекты представлены на одном и том же уровне разрешения изображения.

Затем на этапе S290 выводится преобразование, объединенное таким образом. Затем вновь вычисленное преобразование можно применить к одному из объектов в одном из входных изображений для осуществления регистрации из объекта в одном из изображений (например, IM_A или IM_B) с объектами в другом изображении (IM_B, IM_A). В одном варианте осуществления алгоритмическое описание (например, определение B-сплайна) объединенного преобразования регистрации сохраняется на этапе S295 в подходящей памяти. В данном варианте осуществления отсутствует требование к хранению фактически зарегистрированного/деформированного изображения. То есть сохраняется только описание преобразования. Это позволяет сэкономить объем памяти и обеспечить на более позднем этапе выполнение или повторное выполнение регистрации.

При необходимости предусмотрен этап S255, на котором инициируется понижение или повышение частоты дискретизации, если глобальная регистрация на этапе S255 терпит неудачу (например, при заданном увеличении 0,3x). Изображения уменьшаются в масштабе с некоторым коэффициентом (например, с коэффициентом 2), и затем регистрация повторно выполняется на этом более низком уровне увеличения в качестве резервной копии. Если регистрация по-прежнему терпит неудачу, вместо этого можно использовать увеличение масштаба или можно прибегнуть к ручной регистрации для создания резервной копии.

В одном варианте осуществления на этапе S250 выводится результат (то есть первоначальное глобальное преобразование), так как его уже можно использовать в качестве промежуточного результата регистрации. Пользователь может начать с этого промежуточного результата регистрации и получить более точный результат регистрации после завершения вычислительной части оставшихся этапов S260-S280. Обновления можно также выполнить поэтапно при обработке тканевого объекта, после обработки тканевого объекта и т.д. Таким образом, можно обеспечить прогрессивное обновление результатов регистрации. Например, обновленный результат регистрации может отображаться на этапе S297, начиная с результатов регистрации в соответствии с первоначальным преобразованием, и затем на этапе S297 последовательно отображаются последующие промежуточные результаты регистрации до окончательного вывода, то есть объединенного преобразования. Другими словами, с течением времени регистрация постепенно уточняется, и каждый раз после уточнения (например, была обработана поперечная связь) используется уточнение для обновления показанного в данный момент результата регистрации. Альтернативно, результаты регистрации, полученные с помощью соответствующих локально адаптированных преобразований, могут уже отображаться по отдельности только для соответствующих объектов. Отображение промежуточных результатов позволяет пользователю проверить качество результатов регистрации и при необходимости прервать вычисления. Кроме того, это позволяет пользователю раньше начать, например, одновременную навигацию.

Как отмечалось ранее, предложенный способ включает оценку преобразования из признаков, в частности, устанавливаются соответствия признаков. В одном варианте осуществления соответствия признаков, полученные на этапе S240, повторно используются на этапах S250 и/или S270. В качестве альтернативы, знания о глобальной разности ориентаций между изображениями A и B используются для ускорения процесса установления соответствия признаков путем бинарного определения ориентации. Вместо поиска соответствий между признаками только на основе их дескриптора, признаки сначала разбиваются на группы в зависимости от их признака. Затем получаются соответствия признаков между группами с аналогичной ориентацией с учетом глобальной разницы ориентаций.

Например, если по какой-либо причине невозможно получить преобразование T_o на уровне объектов для данной поперечной связи (так как, например, не может быть достигнут желаемый уровень соответствия), исходное преобразование T используется в качестве резервной копии. То же самое справедливо в случае дальнейшего уточнения в объектах, например, подобъектах. То есть в случае неспособности получить сублокальные преобразования для подобъектов, преобразование на уровне T_o объектов используется в качестве резервной копии.

Специалистам в данной области техники будет понятно, что приведенные выше систему и способ можно также применять для представления регистрации двух или более срезов ткани из одного и того же тканевого блока, при этом два изображения IM_A, IM_B представляют собой подизображения одного изображения.

Хотя применение в цифровой патологии является основным применением, предусмотренным в данном документе, другие применения не исключены и, в частности, предусмотрены в данном документе.

В другом примерном варианте осуществления настоящего изобретения выполнена компьютерная программа (или элемент компьютерной программы), которая характеризуется тем, что она выполнена с возможностью исполнения этапов способа согласно одному из предыдущих вариантов осуществления в подходящей системе.

Таким образом, элемент компьютерной программы может быть сохранен в вычислительном блоке, который также может быть частью варианта осуществления настоящего изобретения. Этот вычислительный блок может быть выполнен с возможностью выполнять или инициировать выполнение этапов описанного выше способа. Более того, его можно выполнить с возможностью приведения в действие компонентов вышеописанного устройства. Вычислительный блок можно выполнить с возможностью работы в автоматическом режиме и/или исполнения команд пользователя. Компьютерная программа может быть загружена в рабочую память блока обработки данных. Таким образом, блок обработки данных может обеспечивать выполнение способа изобретения.

Этот примерный вариант осуществления изобретения охватывает как компьютерную программу, которую изначально использует изобретение, так и компьютерную программу, которая посредством обновления преобразует существующую программу в программу, которую использует изобретение.

Кроме того, элемент компьютерной программы может обеспечивать все необходимые этапы для выполнения процедуры примерного варианта осуществления способа, который описан выше.

Согласно дополнительному примерному варианту осуществления настоящего изобретения представлен компьютерно-читаемый носитель, в частности, невременный носитель информации, такой как CD-ROM, причем компьютерно-читаемый носитель имеет элемент компьютерной программы, хранящийся на нем, при этом элемент компьютерной программы описан в предыдущем разделе.

Компьютерная программа может быть сохранена и/или распространяться на подходящем носителе (в частности, но необязательно, на невременном носителе), таком как оптический носитель информации или твердотельный носитель информации, поставляемый вместе или как часть другого оборудования, но может также распространяться в других формах, таких как через Интернет или другие проводные, или беспроводные телекоммуникационные системы.

Однако компьютерная программа может быть также представлена по сети, такой как всемирная сеть Интернет, и может быть загружена из такой сети в рабочую память блока обработки данных. Согласно дополнительному примерному варианту осуществления настоящего изобретения предусмотрен носитель для создания элемента компьютерной программы, доступного для загрузки, причем элемент компьютерной программы выполнен с возможностью выполнения способа согласно одному из ранее описанных вариантов осуществления изобретения.

Следует отметить, что варианты осуществления изобретения описаны со ссылкой на различные предметы изобретения. В частности, некоторые варианты осуществления описаны со ссылкой на пункты формулы изобретения, касающиеся способа, тогда как другие варианты осуществления описаны со ссылкой на пункты формулы изобретения, касающиеся устройства. Однако специалист в данной области техники поймет из вышеприведенного и нижеприведенного описания, что, если не указано иное, помимо любой комбинации признаков, принадлежащих одному типу предмета изобретения, также любая комбинация признаков, относящихся к различным предметам изобретения, рассматривается как раскрытая с помощью данной заявки.

Однако все признаки могут быть объединены, обеспечивая при этом синергетические эффекты, которые больше, чем простое суммирование признаков.

Хотя изобретение было проиллюстрировано и подробно описано в приведенном выше описании и со ссылкой на чертежи, такая иллюстрация и описание должны рассматриваться как иллюстративные или примерные, а неограничительные. Изобретение не ограничивается раскрытыми вариантами осуществления. Другие варианты раскрытых вариантов осуществления могут быть поняты и выполнены специалистами в данной области техники при осуществлении заявленного изобретения из изучения чертежей, раскрытия и зависимых пунктов формулы изобретения.

В формуле изобретения слово "содержащий" не исключает другие элементы или этапы, а форма единственного числа не исключает множественного числа. Один процессор или другое устройство может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Сам факт того, что определенные меры перечислены во взаимно различных зависимых пунктах формулы изобретения, не указывает на то, что комбинация этих мер не может быть использована с пользой. Какие-либо ссылочные позиции в формуле изобретения не следует толковать в качестве ограничения объема формулы изобретения.

Изобретение относится к области обработки изображений. Технический результат заключается в повышении точности изображений с высоким разрешением при их регистрации. Предложены компонент обработки изображений (IPC) и связанный с ним способ регистрации изображения по меньшей мере двух наборов объектов изображения. Объекты изображения могут быть предварительно получены в результате сегментации изображений биологического материала. Первоначальное глобальное преобразование вычисляется на основе признаков объектов изображения. Используя это первоначальное глобальное преобразование и его обратное преобразование, устанавливаются одна или более поперечных связей между наборами объектов изображения во всех объектах изображения в двух наборах. Затем вычисляется множество локально адаптированных преобразований для поперечно связанных объектов из двух наборов. Затем блок объединения (∑) объединяет локально адаптированные преобразования t_i в новое преобразование T^NEW регистрации. 4 н. и 11 з.п. ф-лы, 5 ил.

1. Компонент обработки изображений системы обработки изображений, причем компонент обработки изображений содержит:

входной интерфейс (IN) для приема по меньшей мере двух наборов объектов изображения, причем по меньшей мере один набор включает в себя одиночный объект изображения или множество объектов изображения, при этом упомянутые наборы объектов изображения получены из изображений биологического материала;

средство получения признаков изображения (IFD), выполненное с возможностью получения признаков изображения или в связи с объектами изображения;

средство построения глобального преобразования (GTB), выполненное с возможностью вычисления, на основе упомянутых признаков, первоначального глобального преобразования регистрации для по меньшей мере двух наборов объектов изображения;

средство поперечного связывания (XL), выполненное с возможностью установления, на основании упомянутого первоначального глобального преобразования регистрации и его обратного преобразования, по меньшей мере одной поперечной связи между объектами изображения из по меньшей мере двух наборов объектов изображения, при этом по меньшей мере одна поперечная связь основана на отображении точек действия в одном из по меньшей мере двух наборов объектов изображения в другой из по меньшей мере двух наборов объектов изображения, используя первоначальное глобальное преобразование регистрации, и затем отображении точек действия в другом из по меньшей мере двух наборов объектов изображения в один из по меньшей мере двух наборов объектов изображения, используя обратное преобразование первоначального глобального преобразования регистрации,

при этом поперечная связь объединяет в одно целое все те объекты на двух изображениях, которые могут быть получены посредством действия отображения первоначального глобального преобразования регистрации или его обратного преобразования;

причем объект изображения представляет собой область или набор точек изображения.

2. Компонент обработки изображений по п. 1, дополнительно содержащий:

средство построения локального преобразования (LTB), выполненное с возможностью вычисления для упомянутой поперечной связи по меньшей мере одного локально адаптированного преобразования, которое ограничено теми объектами изображения, которые поперечно связаны в упомянутой поперечной связи;

блок объединения (∑), выполненный с возможностью выполнения операции объединения для объединения 1) по меньшей мере упомянутого локально адаптированного преобразования и по меньшей мере части упомянутого первоначального глобального преобразования регистрации или 2) множества локально адаптированных преобразований в объединенное преобразование регистрации по меньшей мере для двух наборов объектов; и

выходной интерфейс (OUT) для вывода упомянутого нового глобального преобразования.

3. Компонент обработки изображений по п. 2, в котором операция средства построения локального преобразования (LTB) для вычисления по меньшей мере одного локально адаптированного преобразования основана на одном или более признаках, ранее полученных средством получения признаков изображения (IFD).

4. Компонент обработки изображений по любому из пп. 1-3, содержащий средство уточнения (RF), выполненное с возможностью:

подразделения соответствующих объектов изображения из упомянутых по меньшей мере двух наборов на подобъекты для получения наборов подобъектов;

вычисления для упомянутых подобъектов по меньшей мере одного сублокально адаптированного преобразования, причем блок объединения (∑) приводится в действие для включения в упомянутую операцию объединения упомянутого по меньшей мере одного сублокально адаптированного преобразования.

5. Компонент обработки изображений по любому из предыдущих пунктов, содержащий генератор графических изображений (GDG), который приводится в действие для отображения результата регистрации согласно упомянутому первоначальному глобальному преобразованию и/или для обновления отображения для нового результата регистрации в соответствии с промежуточной регистрацией или в соответствии с объединенным преобразованием регистрации.

6. Компонент обработки изображений по любому из предыдущих пунктов, дополнительно включающий в себя дискретизатор (DUS), выполненный с возможностью понижения или повышения частоты дискретизации по меньшей мере одного из по меньшей мере двух наборов объектов изображения в том случае, если средство построения глобального преобразования (GTB) не может вычислить первоначальное глобальное преобразование.

7. Компонент обработки изображений по любому из пп. 2-4, в котором работа блока объединения (∑) основана на интерполяции B-сплайнами.

8. Компонент обработки изображений по любому из предыдущих пунктов, в котором по меньшей мере один из упомянутых объектов изображения получен с помощью операции сегментации изображения, примененной к упомянутым изображениям.

9. Система обработки изображений, содержащая:

компонент по любому из предыдущих пп. 1-8; и

устройство захвата изображения (IM), обеспечивающее формирование изображений, из которых были получены по меньшей мере два набора объектов изображения.

10. Способ обработки изображений, содержащий:

прием (S220) по меньшей мере двух наборов объектов изображения, причем по меньшей мере один набор включает в себя одиночный объект изображения или множество объектов изображения, причем упомянутые наборы объектов изображения получены из изображений биологического материала;

получение (S240) признаков изображения объекта изображения или по отношению к объекту изображения по меньшей мере в двух наборах;

на основании упомянутых признаков, вычисление (S250) первоначального глобального преобразования регистрации для по меньшей мере двух наборов объектов изображения;

установление (S260), на основании упомянутого первоначального глобального преобразования регистрации и его обратного преобразования, по меньшей мере одной поперечной связи между объектами изображения из по меньшей мере двух наборов объектов изображения.

11. Способ обработки изображений по п. 10, содержащий:

для упомянутой по меньшей мере одной поперечной связи вычисление (S270) по меньшей мере одного локально адаптированного преобразования, которое ограничено теми объектами изображения, которые поперечно связаны в упомянутой поперечной связи;

объединение (S280) 1) по меньшей мере упомянутого локально адаптированного преобразования и по меньшей мере части упомянутого первоначального глобального преобразования регистрации или 2) множества локально адаптированных преобразований в объединенное преобразование регистрации по меньшей мере для двух наборов объектов изображения; и

вывод (S290) упомянутого объединенного преобразования.

12. Способ обработки изображений по п. 11, в котором этап вычисления (S270) по меньшей мере одного локально адаптированного преобразования основан на одном или более признаках, ранее полученных на этапе получения (S240).

13. Способ обработки изображений по любому из пп. 10-12, или компонент по любому из пп. 1-8, или система по п. 9, в котором или в которой упомянутые изображения биологического материала включают в себя по меньшей мере одно изображение цифровой патологии.

14. Способ обработки изображений по любому из пп. 10-13, или компонент по любому из пп. 1-8, или система по п. 9, в котором или в которой вычисление по меньшей мере одного локально адаптированного первоначального глобального преобразования выполняется на том же самом уровне разрешения, что и вычисление первоначального глобального преобразования регистрации.

15. Компьютерно-читаемый носитель, имеющий хранящийся на нем элемент компьютерной программы для управления компонентом по любому из пп. 1-8, который, при исполнении блоком обработки (WS) выполнен с возможностью выполнения этапов способа по любому из пп. 10-14.