ИНИЦИАЛИЗАЦИЯ МОДЕЛИ НА ОСНОВЕ КЛАССИФИКАЦИИ ВИДОВ Российский патент 2018 года по МПК G06K9/46 G06T7/10 G06T19/00 G06T1/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству обработки изображений, способу обработки изображений, элементу компьютерной программы и машиночитаемому носителю.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Зависимость от формирования изображений высокого качества преобладает в области медицины, хотя, в этом отношении можно также упомянуть примеры из других областей, например, неразрушающего испытания материалов, геологии или досмотра багажа для проверок безопасности. Особенно сложной задачей является получение высококачественных изображений «скрытых» объектов, труднодоступных для визуального контроля. Например, в области медицины четкие изображения внутренних органов являются важным средством диагностики. В частности, в 3-мерной трансэзофагеальной эхокардиографии (3-мерная ТЭЭ) оборудование для 3-мерной ультразвуковой визуализации применяется для получения объемных ультразвуковых изображений сердца пациента. Патент США 7,141,020 подателя настоящей заявки описывает систему 3-мерной ультразвуковой визуализации. Часто применяются также другие методы визуализации, например, компьютерный томографический (КТ-) сканер. Изображения, полученные упомянутыми методами визуализации, могут подвергаться постобработке для поддержки улучшенной идентификации анатомической информации, закодированной в изображениях. Упомянутая постобработка включает в себя сегментацию изображений. Сегментация позволяет четко определить, какая часть изображения представляет сердце человека или животного или другой объект интереса. Однако, выяснилось, что, в некоторых обстоятельствах, результаты сегментации являются недостоверными.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Следовательно, может существовать потребность в устройстве, не имеющем вышеупомянутых или подобных недостатков.

Цель настоящего изобретения достигается с помощью предмета изобретения, заявленного в независимых пунктах формулы изобретения, при этом дополнительные варианты осуществления включены в зависимые пункты формулы изобретения. Следует отметить, что нижеописанный аспект изобретения в равной степени относится к способу обработки изображений, элементу компьютерной программы и машиночитаемому носителю.

В соответствии с первым аспектом настоящего изобретения предлагается устройство обработки изображений, содержащее:

порт ввода для приема изображения объекта, полученного в поле обзора посредством формирователя изображений, при этом изображение записывает расположение объекта, соответствующего полю обзора формирователя изображений;

классификатор, сконфигурированный с возможностью использования геометрической модели объекта для определения, из совокупности предварительно определенных (возможных) расположений, расположения объекта, записанного в изображении;

порт вывода, сконфигурированный с возможностью вывода параметров расположения, описывающих найденное расположение.

В соответствии с одним вариантом осуществления, устройство обработки изображений дополнительно содержит сегментатор, сконфигурированный с возможностью использования параметров расположения в качестве инициализирующей информации для сегментации изображения для объекта в предполагаемом расположении. Сегментация на базе моделей основана на правильной инициализации геометрической модели, которая используется в алгоритме сегментатора. Однако, когда расположение органа претерпевает изменение из-за анатомической изменчивости или изменения геометрии визуализации (например, в методе 3D TEE в отличие от КТ, когда любые изменения геометрии визуализации едва заметны), стандартная инициализация на основе априорного знания не достигает успеха. Предлагаемое устройство выполняет видозависимую классификацию и в дальнейшем использует данную информацию в одном варианте осуществления для сегментации объекта, который может быть интересующим органом. Другими словами, устройство способно автоматически обнаруживать расположение органа, подлежащего сегментации, по отношению к опорному расположению. Расположение включает в себя, в частности, местоположение объекта и его ориентацию по отношению к модели в опорном расположении. Параметры расположения, установленные классификатором, описывают эти местоположение и ориентацию. Затем параметры расположения используются в одном варианте осуществления для инициализации конвейера сегментирующей обработки, в частности, для инициализации модели, подлежащей использованию при сегментации. Параметры расположения могут предоставляться в разных формах, например, в виде матрицы для преобразования, относящегося к расположению.

В одном варианте осуществления преобразование применяется к модели для образования преобразованной модели в «правильном» расположении, которое соответствует расположению объекта, записанному в изображении. В данном варианте осуществления установленные параметры расположения допускают адаптацию модели к расположению объекта, записанному в изображении. В еще одном варианте осуществления преобразование применяется для преобразования изображения. Предоставление параметров расположения в разных формах позволяет адаптировать предложенное устройство к внутреннему алгоритмическому функционированию данного сегментатора. Таким образом, предлагаемое устройство можно использовать как «расширение» для существующих сегментаторов.

В одном варианте осуществления устройство работает автоматически без пользовательского ввода во время работы с изображением. Параметры предполагаемого расположения автоматически передаются в сегментатор для инициализации. В полуавтоматическом варианте осуществления выходные параметры расположения отображаются на экране для верификации экспертом. Например, модель может быть преобразована с использованием параметров расположения в установленное расположение и затем отображена на экране для контроля пользователем. Устройство может работать с последовательностью изображений, предоставляемой формирователем изображений во время сеанса визуализации. В данном варианте осуществления устройство выдает соответствующую последовательность параметров расположения, каждый для использования при отдельной инициализации сегментации соответствующего изображения в последовательности.

В одном варианте осуществления модель является поверхностной сеткой в 3 измерениях, которая очерчивает форму объекта. В одном варианте осуществления сетка составлена из взаимно соединенных треугольных элементов, однако, возможно также применение других сеток, например, сеток из прямоугольных/квадратных элементов или сеток, составленных из поверхностей, представленных NURBS (неравномерными рациональными сплайнами Безье), (NURBS-поверхностей).

В соответствии с одним вариантом осуществления, классификатор использует обобщенное преобразование Хафа (GHT) для определения расположения объекта. Каждое из предварительно определенных расположений ассоциировано с точкой в пространстве параметров (Хафа) преобразования GHT. В соответствии с одним вариантом осуществления преобразование GHT основано на множестве отдельных аккумуляторов Хафа, предназначенных, каждый, для одного из разных предварительно определенных расположений. Другими словами, разные ориентации не соединяются для формирования одного аккумулятора. Таким образом, время центрального процессора (ЦП) можно экономить без ущерба для точности, поскольку объем вычислений только линейно зависит от числа разных ориентаций. В частности, и в соответствии с одним вариантом осуществления, расположение определяется как местоположение и ориентация объекта, записанные в изображении. Каждый аккумулятор на каждое расположение является отдельной структурой данных, которая записывает число, на каждое местоположение в пространстве Хафа, указывающее, сколько точек изображения соответствует данной конкретной точке пространства Хафа. В одном варианте осуществления преобладающие расположения (ориентации или местоположения) заучиваются в фазе обучения на обучающих изображениях. В альтернативном варианте осуществления роли местоположения расположения и ориентации расположения изменены на противоположные, то есть, отдельные аккумуляторы приходятся на каждое местоположение, и соответствующие элементы данных записывают соответствие по отношению к ориентациям.

При использовании некоторых показателей качества, аккумуляторы можно сравнивать для нахождения аккумулятора, который оптимально соответствует изображению по показателю. В таком случае, установление оптимально соответствующего аккумулятора определяет искомую ориентацию, и элементы данных в оптимально соответствующем аккумуляторе используются для установления местоположения, которое совместно с ориентацией определяет искомые параметры расположения. Затем, на основании параметров расположения можно определить аффинное преобразование (или преобразование другого типа), которое преобразует геометрическую модель таким образом, что ее можно использовать как исходный пункт для ранее упомянутой сегментации на базе модели. В соответствии с одним вариантом осуществления, показатель качества является максимумом по всем элементам данных аккумулятора. В соответствии с одним вариантом осуществления, используют взвешенный максимум, например, чтобы приписывать разные веса элементам данных из разных аккумуляторов. В варианте осуществления, в котором разные аккумуляторы представляют разные ориентации, взвешенный максимум эквивалентен присвоению весового коэффициента разным ориентациям. В некоторых вариантах осуществления предусмотрены показатели энтропии, при этом оценивается энтропия в окрестности каждого максимального элемента данных на каждый аккумулятор, и выдается аккумулятор с максимальной энтропией с наибольшей энтропией. Вновь, максимум можно брать как абсолютный, «простой» максимум или как взвешенный максимум, упомянутый выше.

В соответствии с другим вариантом осуществления, устройство обработки изображений содержит идентификатор, сконфигурированный с возможностью идентификации одного (но, обычно, более) ориентиров в изображении. Каждое предварительно определенное расположение ассоциировано с преобразованием. Классификатор выполняет функции использования, по меньшей мере, одного (но, обычно, двух или более) из преобразований для соответствующего преобразования координат идентифицированных ориентиров и сравнения преобразованных координат ориентиров с координатами ориентиров модели. На основании показателя подобия, из, по меньшей мере, двух преобразований устанавливается преобразование оптимального соответствия. Параметры расположения описывают расположение, ассоциированное с упомянутым преобразованием оптимального соответствия. В одном варианте осуществления параметр расположения является преобразованием оптимального соответствия и может применяться к модели для ее адаптации к изображению, как описано выше.

В соответствии с одним вариантом осуществления, классификатор выполняет функцию формирования предварительного преобразования из изображения в модель. Предварительное преобразование основано на i) координатах идентифицированных ориентиров в изображении и ii) координатах заданных ориентиров в модели. Классификатор сконфигурирован с возможностью сравнения, на основании показателя подобия, предварительного преобразования с одним (но, обычно, двумя или более) из предварительно определенных преобразований, чтобы таким образом установить преобразование оптимального соответствия, и выходные параметры расположения описывают расположение, ассоциированное с упомянутым преобразованием оптимального соответствия. И вновь, подобно предыдущему варианту осуществления, параметр расположения может представляться в форме преобразования оптимального соответствия и может применяться к модели для ее адаптации к изображению.

В соответствии с одним вариантом осуществления, классификатор использует набор весовых коэффициентов, которые отражают предполагаемое пространственное отношение между местоположением формирователя изображений и объектом, подлежащим визуализации, когда применяют формирователь изображений. Это позволяет дополнительно повысить точность параметров расположения. В варианте осуществления преобразования Хафа с несколькими аккумуляторами упомянутые весовые коэффициенты для пространственного отношения между формирователем изображений и объектом можно использовать для определения еще одного варианта осуществления показателя качества для сравнения аккумуляторов. В данном варианте осуществления максимальный элемент данных отбирается по взвешенным аккумуляторам. Элементы данных из аккумуляторов, которые представляют расположения в соответствии с предполагаемым пространственным отношением между формирователем изображений и объектом, являются предпочтительными и поэтому имеют больший присвоенный вес, чем элементы данных из других аккумуляторов.

Устройство можно применять во множестве различных задач сегментации для средств, в которых не известно расположение органа в наборе данных изображения. Устройство можно эквивалентно применять со средствами, в которых начало и ориентации осей координат не зафиксированы или не известны заранее. Примером таких средств является ультразвуковая визуализация методом ТЭЭ, для которой не известны точные местоположение и ориентация датчика. В соответствии с одним вариантом осуществления, формирователь изображений является ультразвуковым датчиком для 3-мерной визуализации, и изображение является объемом 3-мерных данных, полученным упомянутым датчиком. Можно также предположить, что выходные параметры расположения можно также использовать для других задач обработки изображений, кроме сегментации, в которых требуется знание о расположении объекта в наборе данных изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Примерные варианты осуществления изобретения описаны ниже со ссылкой на следующие чертежи, на которых:

Фигура 1 - схема сбора информации на основании анализа изображений;

Фигура 2 - один вариант осуществления процессора изображений, используемого в схеме на фигуре 1;

Фигура 3 - второй вариант осуществления процессора изображений, используемого в схеме на фигуре 1;

Фигура 4 - параметризованное описание формы;

Фигура 5 - блок-схема последовательности операций способа обработки изображений.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

На фигуре 1 представлена схема сбора информации на основании анализа изображений в контексте медицинского применения.

В частности, фигура 1 представляет схему для 3-мерной ТЭЭ. Схема 3-мерной ТЭЭ включает в себя, в качестве своих основных компонентов, оборудование USE для 3-мерной ультразвуковой визуализации и рабочую станцию WS с монитором M.

Как подробно поясняется ниже, УЗИ (ультразвуковое) оборудование USE позволяет получать изображение сердца HT человека или животного. УЗИ оборудование имеет коммуникационную связь с рабочей станцией WS. После того, как данное изображение получено формирователем изображений, оно передается в рабочую станцию WS и сохраняется в памяти. Затем изображение может подвергаться обработке изображения в рабочей станции WS нижеописанным образом. В одном варианте осуществления рабочая станция WS выполняет генератор графического отображения, который пригоден для представления полученных/обработанных изображений для отображения на мониторе M.

Ультразвуковое оборудование USE включает в себя контроллер USG и ультразвуковой датчик USP, связанный с контроллером USG по линии CL связи. Ультразвуковой датчик USP заканчивается на его рабочем конце ультразвуковым преобразователем UST. В одном варианте осуществления головка преобразователя UST включает в себя решетку акустических элементов (например, пьезоэлектрических элементов).

Слева на фигуре 1 показано, как упомянутое ультразвуковое оборудование USE используется для получения изображений сердца. После введения транквилизатора или аналогичного средства в пациента, УЗИ датчик USP осторожно вводят в пищевод E пациента и продвигают, пока преобразователь UST на приходит в местоположение приблизительно на высоте сердца. 3-мерная ТЭЭ использует такую особенность анатомии, что внутри пищевода, на подходящей высоте в нем, преобразователь UST может располагаться очень близко к сердцу, и тогда между преобразователем UST и сердцем располагаются только ткань стенки пищевода E и трахея WP. Следовательно, с помощью 3-мерной ТЭЭ можно исключить препятствия от возмущающей ткани, например, кости, мышц, жира и т.д., что является обычным для более традиционных исследований (например, рентгеновских).

Чтобы максимально усовершенствовать сбор информации на основании анализа изображений, датчик USP располагают так, чтобы его концевой участок, то есть, преобразователь UST, имел множество степеней свободы. Например, относительно системы координат, в которой Z-ось предполагается проходящей вдоль продольной оси, заданной пищеводом E, преобразователь UST можно продвигать или отодвигать в продольном направлении вдоль упомянутого Z-направления. Упомянутый преобразователь можно также поворачивать вокруг оси поворота, проходящей вдоль Z-оси. Кроме того, в соответствии с одним вариантом осуществления, датчик USP включает в себя тросовый механизм (не показанный), с помощью которого можно осуществлять отклонение головки преобразователя UST, другими словами, тросовый механизм допускает отклонение головки от горизонтальной Z-оси в любую сторону упомянутой оси.

При использовании во время фактического получения изображений, схема в контроллере USG работает так, что акустическая энергия может выделяться в преобразователе UST в форме импульсных акустических волн. Волны формируют конический УЗ и определяют объем, облучаемый ультразвуком в любом случае. Термин «конус» применен в настоящем случае в широком математическом смысле для включения в него не только классических круговых конусов, но, в частности, пирамид. В одном варианте осуществления преобразователь UST является «многоплоскостным», другими словами, решетку преобразователя можно применять для осуществления поворота конуса УЗ, причем каждый угловой поворот задан отличающейся плоскостью, что добавляет еще одну степень свободы. Кроме того, в одном варианте осуществления можно также управлять «глубиной» визуализации конуса (вдоль главного направления распространения конического УЗ).

Преобразователь датчика USP сконфигурирован с возможностью излучения ультразвуковых импульсных волн, которые затем отражаются от структур в анатомии пациента. Датчик дополнительно сконфигурирован с возможностью регистрации отраженных волн в качестве приходящих отраженных звуковых волн, и процессор в контроллере USG вычисляет время распространения упомянутых приходящих отраженных волн, чтобы формировать объем данных 3-мерного ультразвукового изображения в мгновенном направлении распространения в конкретный момент времени t. Во время вмешательства, направление распространения, вероятно, будет изменяться несколько раз таким образом, что ультразвуковое оборудование USE выдает последовательность 3-мерных объемов 3DV_t, снимаемых при разных полях обзора FoV_t. УЗ оборудование USE, предусмотренное в настоящей заявке, позволяет получать мгновенный 3-мерный объем 3DV в одном местоположении датчика, так что для любого данного 3-мерного объема 3DV не требуется никакого перемещения датчика от руки или другим способом. Однако, в настоящей заявке предусмотрено также применение других, более традиционных ультразвуковых сканеров, с которыми 3-мерный объем реконструируется после облучения ультразвуком объема интереса с множества разных направлений распространения, каждое из которых получают посредством перемещения сканера от руки или другим способом, чтобы зондировать объем.

В принципе, поле обзора (FoV) формирователя изображений, обеспечиваемое коническим УЗ, может задаваться мгновенным местоположением P головки преобразователя UST в пространстве относительно общей системы координат, телесным углом Ω, задающим «ширину» поля обзора, и направлением Dr наблюдения и ориентацией наблюдения. Упомянутая ориентация наблюдения может задаваться вектором, ортогональным направлению d наблюдения, чтобы задавать концепции «вверх»/«вниз» или «влево»/«вправо» для видов. Расположение, в котором записывается сердце, является непосредственной функцией упомянутых параметров FoV. В частности, мгновенное поле обзора FoV преобразователя UST определяет некоторый перспективный вид объекта интереса, в настоящем случае, сердца HT. Другими словами, каждый 3-мерный объем 3DV кодирует конкретное расположение сердца. Иначе говоря, каждый 3-мерный объем 3DV записывает расположение сердца HT. Расположение задает местоположение сердца HT в системе координат изображения и ориентацию в данной системе. В общем, форма или внешняя граница участка изображения, который определяет перспективный вид, ассоциированные с соответствующим FoV преобразователя, отличается для разных блоков 3-мерного объема.

Каким бы желательным ни могло быть большое число степеней свободы головки преобразователя UST, это также добавляет уровень сложности. Причина в том, что соответствующие расположения сердца, записанные в последовательности 3-мерных объемов 3DV (и предоставляемые ультразвуковым оборудованием USE в рабочую станцию), в общем, не известны заранее. То есть, после того, как данный объем 3DV получен формирователем изображений, в общем, не существует автоматического способа различения конкретного расположения, записанного в каждом соответствующем объеме. Данная изменчивость расположений может сделать обработку изображений упомянутых изображений подверженной ошибкам.

Рабочая станция WS может включать в себя несколько разных модулей для поддержки обработки изображений 3-мерных УЗ изображений. Кроме включения в состав дискретизаторов (которые в одном варианте осуществления могут быть исполнены подходящими А/Ц (аналого-цифровыми) преобразователями в самом УЗ оборудовании) и модулей цифровых фильтров, WS в одном варианте включает в себя сегментатор S.

Модуль S сегментатора допускает «разбиение» изображения 3DV на один или более участков изображения, которые представляют орган интереса HT. Другими словами, сегментатор S является инструментальным средством обработки изображений, которое работает с пикселями и вокселями (в настоящем случае, вокселями) изображения 3DV, чтобы устанавливать, принадлежит ли или нет данный воксель к участку интереса изображения. Затем сегментированное изображение может передаваться в инструментальные средства анализа изображений дальше по конвейеру обработки изображений. Например, при сегментации объемов 3DV 3-мерных изображений для сердца можно установить мгновенные объемы сердца по последовательности блоков 3-мерного объема. Можно убедиться, является ли нормальной деятельность сердца. Например, объемы сердца можно сравнивать по последовательности объемов 3-мерных изображений, чтобы идентифицировать разные фазы сердечного цикла. Сердечную недостаточность можно распознавать посредством данного сравнения последовательных объемов сердца. Следовательно, можно понять интерес, который может представлять точная сегментация.

В кратком изложении, и как предлагается в настоящей заявке, рабочая станция WS включает в себя предпроцессор PP, который в одном варианте осуществления служит инициализатором для сегментатора S. Например, в одном варианте осуществления сегментатор S является блоком сегментации на базе модели (MBS), который опирается на априорное знание местоположения и ориентации объекта, подлежащего сегментации. Предпроцессор или инициализатор PP сегментации, предлагаемый в настоящей заявке, считывает один или более 3-мерных объемов, оценивает расположения объекта и затем передает данную информацию, в одном варианте осуществления, в сегментатор, в котором соответствующий 3-мерный объем может быть точнее сегментирован, так как расположение объекта известно.

В частности, предпроцессор PP, предложенный в настоящей заявке, полностью автоматически анализирует данные изображения и выполняет функцию классификации текущего вида, то есть, вида, на котором получен текущий блок 3DV изображения. Другими словами, предпроцессор PP способен обнаруживать расположение органа, подлежащего сегментации, по отношению к опорному расположению. Обнаруженное расположение можно выразить «параметрами расположения». Параметры описывают преобразование, то есть, то, как требуется сдвинуть и повернуть геометрическую модель сердца HT, чтобы модель, преобразованная таким образом, соответствовала расположению, записанному в изображении. Тогда, на основании параметров упомянутого расположения, точки геометрической модели MOD для органа преобразуются в одном варианте осуществления в, так называемое, предполагаемое («текущее») расположение. В одном варианте осуществления геометрическая модель MOD сердца определяется как 3-мерная поверхностная сетка, образованная из треугольных элементов, при этом сетка приблизительно очерчивает стандартную форму сердца в данном опорном расположении. Затем модель, преобразованная таким образом (то есть, сдвинутая и повернутая), представляется как исходный пункт для MBS (сегментации на базе модели) объема 3DV изображения. В других вариантах осуществления, в сегментатор подается только информация о предполагаемом расположении, поэтому в данном варианте осуществления параметры расположения передаются прямо в сегментатор, без первоначального преобразования модели MOD. В еще одном варианте осуществления, преобразование, определяемое информацией о предполагаемом расположении, применяют к мгновенному объему 3DV изображения, и именно объем изображения, преобразованный таким образом, представляется в сегментатор для сегментации с использованием в настоящем случае оригинальной (то есть, не преобразованной) модели MOD в качестве инициализированной модели. Данный вариант осуществления допускает адаптацию модели MOD к изображению 3DV посредством преобразования изображения вместо модели MOD, с созданием, тем самым, такого же расположения, как в предыдущем варианте осуществления, в котором, напротив, модель MOD преобразуется относительно изображения.

Предпроцессор PP основан в одном варианте осуществления на обобщенном преобразовании Хафа (GHT) с множеством аккумуляторов (по одному на каждую ориентацию). В другом варианте осуществления, выделение ориентиров из данных изображения 3DV служит для определения из множества аффинных (или других) преобразований оптимального преобразования, которое наилучшим образом «объясняет» структуры в мгновенном изображении 3DV.

На фигурах 2 и 3 представлены блок-схемы соответствующих вариантов осуществления инициализатора PP сегментации.

В варианте осуществления, показанном на фигуре 2, предпроцессор PP включает в себя порт IN ввода для приема 3-мерного изображения 3DV и классификатор CLS. Присутствует также порт OUT вывода для вывода параметров расположения (β[=ориентация], x[= местоположение]) для расположения, найденной классификатором CSL. Затем данную информацию о расположении (β, x) можно применить, как упоминалось выше, к геометрической модели MOD. Модель, преобразованная таким образом, формирует «инициализированную модель». Затем, либо модель MOD, преобразованную таким образом, либо (без первоначального применения преобразования) тройку (β,x,ΜΟD) можно затем представлять через подходящий выходной интерфейс в сегментатор S. Тем самым, сегментатор инициализируется, то есть, сегментатор S «узнает» расположение объекта, который сегментатор должен сегментировать. В одном варианте осуществления работа сегментатора S основана на алгоритме, аналогичном алгоритму, описанному в работе O. Ecabert et al, «Automatic model-based segmentation of the heart in CT images», IEEE Transactions on Medical Imaging, 27(9), 2008. В данном варианте осуществления сегментатор, как только расположение объекта интереса в изображении, подлежащем сегментации, становится известным (то есть, инициализированная модель имеется в наличии), применяет этапы параметризованной и деформируемой адаптации к модели MOD. Тем самым, модель MOD адаптируется к мгновенному объему 3DV изображения. В частности, адаптации включают в себя одну или более стадий, на которых координаты модели MOD адаптируются к изображению 3DV посредством последовательного применения глобального строгого, глобального аффинного, многомерного строгого и деформируемого преобразования. После деформирования инициализированной модели оцениваются полутоновые интенсивности по нормалям граней MOD сетчатой модели (в одном варианте осуществления применяются треугольники), чтобы определить границы сегментации.

В соответствии с одним вариантом осуществления, классификатор CLS предпроцессора PP основан на обобщенном преобразовании Хафа GHT. Смотри, например, работу D. Ballard, «Generalizing the Hough transform to detect arbitrary shapes», Pattern Recognition, 13(2), pp 111-122, 1981. В соответствии с одним вариантом осуществления, преобразование Хафа включает в себя множество разных специализированных «аккумуляторов» AC₁-AC_n, по одному для каждой ориентации (расположению объекта HT), как подробно поясняется ниже. Функционирование предпроцессора PP для первого варианта осуществления будет описано со ссылкой на две фазы: фазу предварительного обучение или подготовительную и последующую рабочую фазу.

В кратком изложении, для решения задач с быстро изменяющимся расположением сердца в изображениях 3DV_t, часто возникающие ориентации расположений изучаются в фазе обучения по обучающим 3-мерным изображениям и, после кластеризации, по данным ориентациям вычисляется набор преобразований. Затем преобразования применяются в рабочей фазе в процессе голосования преобразования GHT, чтобы заполнить множество аккумуляторов Хафа. Затем множество аккумуляторов Хафа рассматривается для поиска максимального элемента данных голосования по всем аккумуляторам Хафа, чтобы найти расположение сердца. Упомянутый поиск может выполняться одновременно по всем аккумуляторам Хафа, или поиск может происходить последовательно.

В соответствии с одним вариантом осуществления используют некоторые инварианты/условия, которые налагаются схемой для визуализации сердца, а именно, можно предполагать, что местоположение левого предсердия будет около вершины ультразвукового конуса УЗ.

Ниже приведено более подробное описание соответствующего алгоритма 3-мерного преобразования GHT. Кроме того, описаны расширения для включения априорного знания геометрии визуализации.

Предпроцессор PP использует 3-мерное расширение преобразования GHT. В преобразовании GHT используется «шаблон» формы (и определяемый моделью MOD) объекта HT, подлежащего обнаружению. На фигуре 4, для удобства представления, приведено 2-мерное изображение релевантных величин для сбора данных о форме модели MOD. Для каждой точки p границы модели определяются углы ϕ и θ между осями координат и вектором нормали к контуру. Для каждого направления ϕ и θ, дискретизация («разбиение») на N × M интервалов выполняется так, что формируется набор (матрица) of N × M пар (ϕ, θ) угловых интервалов. «Разностный вектор» d между любой точкой p контура и точкой COG, которая представляет местонахождение модели, сохраняется в таблице, которая связывает пары угловых интервалов с соответствующим разностным вектором d. Местонахождение объекта можно измерить относительно центра тяжести COG формы шаблона или другой подходящей опорной точки. Предпочтительно, симметрию формы шаблона можно использовать для сохранения простоты описания формы. Другими словами, каждый элемент данных в таблице представляет одно возможное расположение. В формулировке преобразования GHT, форма, записанная таким образом, является, так называемой R-таблицей («справочной таблицей»). Неограничивающий пример R-таблицы приведен в следующей таблице:

В процессе генерации R-таблицы используется не только информация о контуре модели MOD, как на фигуре 2, но также учитывается обучающее изображение I. Другими словами, точки контура добавляются в R-таблицу только при условии, если градиент ∇I изображения в соответствующем местоположении p изображения больше, чем некоторый порог t, настраиваемый пользователем:

Аналогичный процесс обучения описан в работе Saalbach et al, «Optimizing GHT-Based Heart Localization in an Automatic Segmentation Chain», MICCAI, 6893, 463-470, 2011. Иначе говоря, R-таблица является представлением модели MOD с граничными точками, собранными в учтенном обучающем изображении.

В рабочей фазе, R-таблица используется на следующем этапе обнаружения формы нижеописанным образом: так называемый, аккумулятор H Хафа создается следующим образом. Сначала, в соответствии с одним вариантом осуществления, изображение 3DV (следует понимать, что настоящий и последующие этапы применимы к любому блоку объема в последовательности 3DV_t, так что, в дальнейшем, ссылка дается на изображение 3DV) фильтруется градиентным фильтром для обнаружения «граничных точек». Для каждого граничного элемента e с градиентом, имеющим абсолютное значение больше, чем t, определяются углы ϕ_j и θ_k по отношению к координатным осям. Просмотр в R-таблице дает набор разностных векторов из точки контура к ожидаемому центру тяжести объекта. Поэтому, для всех разностных векторов d в соответствующем элементе данных R-таблицы, аккумулятор Хафа увеличивается на единицу:

После обхода по граничным точкам изображения 3DV и применения записей согласно (2) в аккумуляторе Хафа (в общем, «гиперматрицы»), координаты (согласно R-таблице) элемента данных аккумулятора Хафа с наибольшим числом принимаются для представления, в соответствии с одним вариантом осуществления, наиболее вероятного местонахождения объекта для данной ориентации β расположения.

Однако, вышеупомянутый подход согласно (2), по существу, все же не позволяет обнаружить форму в ориентациях β, отличающихся от ориентации, на которой произведено обучение. Одна возможность будет состоять в увеличении степеней свободы вышеупомянутого преобразования GHT путем добавления или присоединения новых измерений в аккумулятор Хафа, при этом новые параметры квантуются по интервалу интереса для сбора различных ориентаций β. В противоположность и в отличие от упомянутого способа присоединения, в настоящей заявке предлагается использовать не интервал диапазонов параметров, а выраженную «связь» между некоторыми выбранными комбинациями β дискретных ориентаций параметров и дополнительными аккумуляторами Хафа. То есть, для каждой ориентации β используется отличающийся отдельный аккумулятор Хафа, который предназначен только для соответствующей одной из различных ориентаций. Данный подход допускает поиск разных ориентаций, при одновременном сохранении небольшого объема вычислений (то есть, сложность повышается просто линейно с числом ориентаций). Другими словами, можно считать, что все возможные ориентации β формы формируют «фазовое пространство». Затем, в настоящей заявке предлагается «вводить» в разных (несвязанных) точках в упомянутом «фазовом пространстве» соответствующие аккумуляторы из аккумуляторов, при этом каждый аккумулятор является «локализованным» дескриптором формы «прикрепленным» к соответствующей ориентации β.

Набор ориентаций β (который является, в общем, многомерной переменной величиной) выучивается по обучающему набору данных, как кратко упоминалось выше. Для формирования приблизительно правильной сегментации используют полуавтоматическую сегментацию. Каждая сегментация с ориентацией O_l жестко совмещается с опорной ориентацией, дающей матрицу преобразования. В одном варианте осуществления ориентации объединялись в кластер так, что, даже при запуске сегментации на базе модели из немного неправильной или отличающейся ориентации, успешная сегментация будет по-прежнему возможной для соответствующего набора данных. Посредством данного «огрубления», общее число ориентаций можно уменьшить до числа, более поддающегося обсчету. То есть, уравнение (2) принимает вид

и максимальное значение, взятое по всем аккумуляторам Хафа, дает теперь наиболее вероятные местонахождение и ориентацию сердца в изображении. В соответствии с одним вариантом осуществления, вместо поиска значения максимального элемента данных, производится поиск значения «максимизирующего» элемента данных. Максимизирующий элемент данных является элементом данных (из одного из аккумуляторов Хафа), который максимизирует некоторую нормирующую функцию, заданную на совокупности аккумуляторов AC_l Хафа. Нормирующая функция допускает нормирование по разным аккумуляторам Хафа, чтобы, тем самым, учесть зависимость элементов данных аккумуляторов Хафа от разных ориентаций β, представленных каждым из упомянутых аккумуляторов Хафа. Например, если производится поиск только «простого» максимального значения в вышеупомянутом более простом варианте осуществления, то может иметь место следующая ситуация: если случается, что некоторая ориентация дает вид только половины сердца HT, то элемент данных с максимальным значением в соответствующем аккумуляторе Хафа будет, обычно, меньше, чем элемент данных с максимальным значением другого аккумулятора Хафа, ориентация которого представляет вид полного сердца. Поэтому нормирующая функция будет допускать компенсацию данной ориентационной зависимости элементов данных аккумуляторов Хафа, чтобы получать более точное сравнение между аккумуляторами.

Чтобы дополнительно повысить ошибкоустойчивость, в одном варианте осуществления используют некоторые инварианты, которые сохраняются благодаря схеме визуализации. Например, при 3-мерной ТЭЭ, левое предсердие всегда находится на конце усеченного конуса. Для использования данной особенности, преобразование GHT модифицируется, чтобы выполнять голосование больше не для центра тяжести, а для центра предсердия, положение которого, как предполагается, изменяется немного. Кроме того, в одном варианте осуществления вводится весовой коэффициент w

который не влияет на аккумулятор Хафа вблизи известного местонахождения конца усеченного конуса (конуса УЗ).

В уравнении (4), a является центром предсердия (или любого другого анатомического или иначе известного местонахождения), и Δw является скоростью уменьшения весового коэффициента. Поэтому, выражение

дает предполагаемое расположение, то есть, наиболее «вероятные» предполагаемые местонахождение и ориентацию и учитывает априорное знание о схеме визуализации. Другими словами, каждый аккумулятор (для каждой огрубленной ориентации O_l) опрашивается на предмет его максимального элемента данных, но, в то же самое время, получает меньший вес или уменьшается, если местонахождение, выдаваемое при просмотре R-таблицы, представляется «удаленной» от места, где предполагается местонахождение усеченного конуса, и получает больший вес, если находится близко к a.

В соответствии с одним вариантом осуществления и до вышеупомянутых этапов преобразования GHT (то есть, в подготовительной фазе), к объему 3DV изображения применяются один или более этапов адаптации, чтобы нормировать полутоновые интенсивности, записанные вокселями изображения 3DV.

В качестве обучающих данных выбраны десять последовательностей полного объема от разных пациентов. В этих данных, все сердце находилось внутри усеченного конуса. Первый кадр каждой последовательности сегментировали вручную. Упомянутые десять объемов служили, чтобы обучаться признакам для выделения границы, используемой впоследствии (то есть, в рабочей фазе) в алгоритме MBS сегментатора S. Для остающихся кадров последовательности используются этапы деформируемой адаптации основной схемы сегментации MBS, чтобы создать автоматические сегментации (так называемые, псевдоконтрольные данные). Псевдоконтрольные данные проверялись и корректировались, при необходимости. Кроме того, все сетки жестко совмещались с одной опорной сеткой таким образом, что R-таблица содержит только одну ориентацию. В общем, для обучения преобразованию GHT, т.е. для формирования R-таблицы, использовали набор из 350 ультразвуковых объемов. Для дополнительных 251 последовательностей создали псевдоконтрольные данные. Из первого кадра упомянутых последовательностей выделяли преобразования , и данные преобразования сохраняли в памяти соответственно многоплоскостному углу набора данных. Для уменьшения числа преобразований выполнили объединение подобных преобразований в кластеры. В таком случае, достаточно рассматривать только типичный кластер, чтобы охватить другие остающиеся члены соответствующего кластера. Таким образом, число ориентаций β и, вследствие этого, число преобразований можно уменьшить до 1-7 на каждую многоплоскостную ориентацию.

В общем, работа предпроцессора PP в соответствии с фигурой 2 допускает надежное распознавание анатомии сердца в объемах ТЭЭ, независимо от значительной изменчивости расположения сердца. Работа основана на 3-мерном преобразовании GHT, которое модифицировали так, чтобы учитывались специальные свойства 3-мерной ТЭЭ. Ориентации выучивались и объединялись в кластеры для увеличения пространства Хафа только настолько, насколько необходимо. Кроме того, в одном варианте осуществления используется взвешивание аккумулятора Хафа, чтобы включить априорное знание о геометрии визуализации в классификацию расположения.

Алгоритм предпроцессора PP можно применять для автоматического формирования значимых видов в наборах данных объемов ТЭЭ. Например, можно формировать сечение объема, чтобы обеспечить четырехкамерный вид, или небольшой объем интереса можно вырезать из всего ультразвукового объема и затем можно отобразить в виде визуализации селективного объема.

Компоненты PP предусмотрены как резидентные на рабочей станции WS, выполняющей программы системного программного обеспечения. Компоненты могут программироваться на подходящей научной вычислительной платформе, например, Matlab® или Simulink® и затем транслироваться в подпрограммы в C++ или C, поддерживаемые в библиотеке и компонуемые, при вызове рабочей станцией WS. В альтернативных вариантах осуществления компоненты PP скомпонованы в виде отдельных модулей в распределенной архитектуре и связаны в подходящей коммуникационной сети.

Компоненты могут быть также скомпонованы в виде специализированных вентильных матриц с эксплуатационным программированием (FPGA) или в виде жестко смонтированных отдельных микросхем.

Ниже, со ссылкой на фигуру 3 описан дополнительный вариант осуществления предпроцессора PP сегментации. Общая архитектура аналогична варианту осуществления, показанному на фигуре 2, но теперь предпроцессор PP включает в себя идентификатор ID ориентиров.

Идентификатор ID ориентиров выполняет обнаружение/идентификацию одного или более анатомических ориентиров в изображении 3DV. Обнаружение ориентира в изображении может основываться в одном варианте осуществления на алгоритме RANSAC (согласованности случайных выборок), описанный в работе M. Fischler et al, «Random Sample Consensus ...», Communications of the ACM, Volume 24(6), 1981. Затем совокупность ориентиров, обнаруженных таким образом, можно брать для представления скелетной схемы базовой геометрической модели MOD сердца HT, когда предполагается его нахождение в некотором расположении. Предполагается, что модель MOD включает в себя заданные ориентирные точки, представляющие ориентиры в модели.

В данном варианте осуществления, работа классификатора CLS основана на совокупности аффинных преобразований T_i. Преобразования T_i применяются по одному к обнаруженным ориентирным точкам, чтобы осуществлять преобразование координат обнаруженных ориентиров.

Затем ориентиры, преобразованные таким образом, можно сравнивать с опорной геометрической моделью MOD. В частности, преобразованные ориентирные точки в изображении сравнивают с заданными ориентирными точками модели MOD. Предполагается, что модель MOD дана относительно опорной ориентации. Затем, для каждого преобразования, координаты преобразованных ориентиров сравниваются с координатами модели MOD. Затем идентифицируются координаты преобразованных ориентиров, которые оптимально соответствуют (например, являются ближайшими по подходящей норме) заданным точечным ориентирам опорной MOD. Затем принимается, что соответствующее преобразование, которое давало упомянутое оптимальное соответствие или оптимальное согласование между преобразованными ориентирными точками и заданными ориентирными точками, представляет расположение, записанное в базовом изображении 3DV.

Каждое из предварительно определенных аффинных преобразований можно рассматривать как кодирующее некоторое расположение. В частности, каждое аффинное преобразование включает в себя, кроме остальных составляющих (например, сдвига фрагмента изображения), составляющую смещения и поворота, которая описывает соответствующее одно из расположений. В одном варианте осуществления описание составляющих смещения и поворота идентифицированного оптимально соответствующего преобразования передается в сегментатор S для его инициализации. В качестве альтернативы, оптимально соответствующее преобразование сначала применяется непосредственно к модели, и тогда именно модель, преобразованная таким образом, передается для инициализации сегментатора.

В соответствии с отличающимся вариантом осуществления, показанным на фигуре 3, координаты идентифицированных ориентиров и координаты заданных ориентиров модели MOD используются для определения «предварительного» преобразования. То есть, предварительное преобразование отображает идентифицированные ориентиры в изображении в заданные ориентиры в модели MOD. Затем предварительное преобразование проверяется на подобие каждому из предварительно определенных аффинных преобразований. Затем аффинное преобразование, которое оптимально соответствует (то есть, является наиболее подобным) упомянутому предварительному преобразованию, считается кодирующим искомое расположение в изображении 3DV. Затем составляющие смещения и поворота, кодированные оптимально соответствующим аффинным преобразованием, могут передаваться как информация, описывающая расположение, в сегментатор, или упомянутое аффинное преобразование применяется к модели MOD, и тогда преобразованная модель используется для инициализации сегментатора, как в предыдущем варианте осуществления, показанном на фигуре 3.

В каждом из вышеприведенных вариантов осуществления, «оптимальное» соответствие устанавливается относительно показателя подобия. Кроме того, определение «оптимальное» означает включение в себя нахождение в пределах определяемого пользователем допуска, а не нахождение ближе всего в арифметическом смысле, хотя некоторые варианты осуществления действительно предусматривают, что определение «оптимальное» означает ближайшее в арифметическом смысле. Вычисление оптимального соответствия по отношению к предварительно установленному допуску позволяет экономить время ЦП, так как процессору не требуется проходить цикл по всем предварительно определенным преобразованиям, чтобы оценить показатель подобия. Как только значение подобия, которое находится в пределах допуска, установлено, блок вывода выдает соответствующее преобразование в качестве «оптимального соответствия». Подходящие показатели подобия включают в себя матричные нормы соответствующей матрицы разностей, например, нормы Фробениуса.

Кроме того, в вышеприведенных вариантах осуществления в соответствии с фигурой 3 можно использовать преобразования, отличающиеся от аффинных. Например, в некоторых вариантах осуществления можно использовать преобразование твердого тела (с изменением или без изменения масштаба) или линейное преобразование.

На фигуре 5 приведена блок-схема последовательности операций способа обработки изображений.

На этапе S501 принимают изображение (например, объем 3-мерного изображения, представляемый ультразвуковым формирователем 3-мерных изображений или другим средством). Изображение получено в некотором поле обзора средством визуализации. В результате соответствующего поля обзора на момент сбора данных, изображение записывает расположение органа интереса, поэтому расположение является функцией (мгновенного) поля обзора формирователя изображений. Предполагается, что само расположение априорно не известно.

На этапе S505 используют геометрическую модель объекта, подлежащего визуализации, чтобы определить из совокупности предварительно определенных расположений, предполагаемое расположение объекта, записанное в изображении.

На этапе S510 выдают параметры расположения, которые описывают найденное предполагаемое расположение. Параметр расположения включает в себя конкретные местоположение и ориентацию участка изображения, характеризующего объект в изображении. Другими словами, параметры расположения описывают, как требуется преобразовать (в частности, сдвинуть и повернуть) модель, чтобы преобразованная модель адаптировалась к расположению в изображении.

На этапе S515, параметры, описывающие расположение, используют для инициализации сегментации, чтобы сегментировать изображение для объекта в предполагаемом расположении. Другими словами, благодаря инициализации, теперь сегментатор «знает» i) в каком местоположении в изображении, и ii) в какую ориентацию требуется сегментировать изображение.

В соответствии с одним вариантом осуществления, этап S505 классификации или определения основан на обобщенном преобразовании Хафа.

В альтернативном варианте осуществления преобразование GHT не применяется. В данном альтернативном варианте осуществления этап S505 включает в себя этап идентификации множества ориентиров в изображении. Если объект является сердцем человека, то подходящие ориентиры включают в себя центр митрального клапана, центр аортального клапана или верхушку сердца. Затем координаты совокупности идентифицированных ориентиров преобразуются каждым из предварительно определенного набора преобразований, и преобразованные координаты ориентиров исследуются на предмет совместимости с координатами заданных ориентиров модели объекта.

В качестве альтернативы, координаты идентифицированных ориентиров и координаты заданного ориентира модели объекта используются для построения предварительного преобразования, которое отображает координаты идентифицированных ориентиров на координаты заданных ориентиров. Затем предварительное преобразование исследуется на подобие каждому из предварительно определенного набора преобразований.

Затем наиболее согласующееся из предварительно определенных преобразований или наиболее подобное из преобразований считается представляющим предполагаемое расположение. Затем наиболее согласующееся из предварительно определенных преобразований или наиболее подобное из преобразований используется для преобразования модели, и тогда преобразованную модель можно использовать на этапе S515 для инициализации сегментатора.

Геометрическая модель сохраняется в подходящей структуре данных в памяти для удобного доступа. Например, можно применить структуры переменных типа указателей списка, чтобы представлять вершины, края и грани. В соответствии с одним вариантом осуществления, для моделирования формы сердца человека или животного выбирается геометрическая модель в виде поверхностной сетки из треугольных элементов, но понятно, что для других объектов интереса следует выбирать подходящие геометрические модели другой формы.

Специалистам в данной области техники будет понятно, что, хотя описание приведено выше со ссылкой на ультразвуковой формирователь 3-мерных изображений, устройство и способ, описанные в настоящей заявке, можно также применять с другими средствами визуализации. Кроме того, информацию, описывающую расположение, вычисляемую в соответствии с настоящим изобретением, можно использовать в процессорах формирователей изображений, а не в сегментаторах.

Специалистам в данной области техники будет также понятно, что вышеописанные два варианта осуществления с обобщенным преобразованием Хафа или совокупностью преобразований в связи с ориентирами являются простыми вариантами осуществления устройства и способа визуализации, предложенными в настоящей заявке. В некоторых случаях можно также применить другие преобразования, в частности, классическое преобразование Хафа.

В другом примерном варианте осуществления настоящего изобретения предлагается компьютерная программа или элемент компьютерной программы, который отличается адаптацией к выполнению этапов способа для способа в соответствии с одним из предшествующих вариантов осуществления в соответствующей системе.

Следовательно, элемент компьютерной программы может храниться в вычислительном блоке, который может быть также частью варианта осуществления настоящего изобретения. Данный вычислительный блок может быть выполнен с возможностью выполнения или обеспечения выполнения этапов вышеописанного способа. Кроме того, данный блок может быть выполнен с возможностью приведения в действие компонентов вышеописанного устройства. Вычислительный блок может быть выполнен с возможностью автоматической работы и/или выполнения команд пользователя. Компьютерную программу можно загружать в рабочую память процессора данных. Следовательно, процессор данных может быть оборудован для выполнения способа в соответствии с изобретением.

Приведенный примерный вариант осуществления изобретения включает в себя как компьютерную программу, которая с самого начала применяет изобретение, так и компьютерную программу, которая за счет обновления превращает существующую программу в программу, которая применяет изобретение.

Далее, элемент компьютерной программы может быть способен обеспечивать все необходимые этапы для выполнения процедуры примерного варианта осуществления вышеописанного способа.

В соответствии с дополнительным примерным вариантом осуществления настоящего изобретения предлагается машиночитаемый носитель, например, компакт-диск только для чтения (CD-ROM), при этом машиночитаемый носитель содержит элемент компьютерной программы, записанный на нем, причем, упомянутый элемент компьютерной программы описан в предыдущем разделе.

Компьютерная программа может храниться и/или распространяться на подходящем носителе, например, оптическом носителе данных или полупроводниковом носителе, поставляемом совместно с другими аппаратным обеспечением или в его составе, но может также распространяться в других формах, например, по сети Интернет или в других проводных или беспроводных телекоммуникационных системах.

Однако, компьютерная программа может также представляться по сети типа Всемирной сети и может загружаться в рабочую память процессора данных из данной сети. В соответствии с дополнительным примерным вариантом осуществления настоящего изобретения предлагается носитель для обеспечения элемента компьютерной программы для загрузки, при этом элемент компьютерной программы предназначен для выполнения способа в соответствии с одним из вышеописанных вариантов осуществления изобретения.

Следует отметить, что варианты осуществления изобретения описаны в контексте разных предметов изобретения. В частности, некоторые варианты осуществления описаны в контексте пунктов формулы изобретения на способ, а другие варианты осуществления описаны в контексте пунктов формулы изобретения на устройство. Однако, специалисту в данной области техники будет понятно из вышеизложенного и последующего описания, что, если не заявлено иного, то дополнительно к любой комбинации признаков, принадлежащих к одному типу предмета изобретения, в настоящей заявке считается раскрытым любое сочетание признаков, относящихся к другим предметам изобретения. Однако, все признаки можно объединять с обеспечением синергических эффектов, которые представляют собой нечто большее, чем простая сумма признаков.

Хотя настоящее изобретение подробно представлено на чертежах и охарактеризовано в вышеприведенном описании, упомянутые чертежи и описание следует считать наглядными или примерными, а не ограничивающими. Изобретение не ограничено раскрытыми вариантами осуществления. Специалистами в данной области техники, в процессе практического применения заявленного изобретения, на основании изучения чертежей, описания и прилагаемой формулы изобретения, могут быть разработаны и реализованы другие варианты раскрытых вариантов осуществления.

В формуле изобретения, формулировка «содержащий» не исключает других элементов или этапов, и единственное число (в виде неопределенного артикля в оригинале) не исключает множественного числа. Единственный процессор или другой блок может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Очевидное обстоятельство, что некоторые признаки упомянуты во взаимно различающихся зависимых пунктах формулы изобретения, не означает невозможность применения комбинации упомянутых признаков в подходящем случае. Никакие позиционные обозначения в формуле изобретения нельзя считать ограничивающими объем изобретения.

Изобретение относится к области обработки изображений. Технический результат – повышение точности результатов сегментации за счет определения параметров расположения объекта, зафиксированного на изображении. Устройство обработки изображений содержит: порт (IN) ввода для приема изображения (3DV) объекта (HT), полученного в поле обзора (FoV) посредством формирователя изображений (USP), при этом изображение фиксирует расположение объекта, соответствующее полю обзора (FoV) формирователя изображений; классификатор, сконфигурированный с возможностью использования геометрической модели (MOD) объекта (HT) для определения, из совокупности предварительно определенных расположений, расположения объекта, зафиксированного на изображении; порт (OUT) вывода, сконфигурированный с возможностью вывода параметров расположения, описывающих найденное расположение, при этом классификатор использует обобщенное преобразование Хафа (GHT), для определения расположения объекта, причем каждое из предварительно определенных расположений ассоциировано с точкой в пространстве параметров Хафа преобразования GHT. 3 н. и 7 з.п. ф-лы, 5 ил., 1 табл.

1. Устройство обработки изображений, содержащее:

порт (IN) ввода для приема изображения (3DV) объекта (HT), полученного в поле обзора (FoV) посредством формирователя изображений (USP), при этом изображение фиксирует расположение объекта, соответствующее полю обзора (FoV) формирователя изображений;

классификатор, сконфигурированный с возможностью использования геометрической модели (MOD) объекта (HT) для определения, из совокупности предварительно определенных расположений, расположения объекта, зафиксированного на изображении;

порт (OUT) вывода, сконфигурированный с возможностью вывода параметров расположения, описывающих найденное расположение,

отличающееся тем, что

классификатор использует обобщенное преобразование Хафа, GHT, для определения расположения объекта, при этом каждое из предварительно определенных расположений ассоциировано с точкой в пространстве параметров Хафа преобразования GHT.

2. Устройство обработки изображений по п. 1, дополнительно содержащее:

сегментатор, сконфигурированный с возможностью использования параметров расположения в качестве инициализирующей информации для сегментации изображения для объекта в предполагаемом расположении.

3. Устройство обработки изображений по п. 1, в котором преобразование GHT основано на множестве отдельных аккумуляторов Хафа, предназначенных, каждый, для одного из разных предварительно определенных расположений.

4. Устройство обработки изображений по п. 1, содержащее идентификатор (ID), сконфигурированный с возможностью идентификации, по меньшей мере, одного ориентира в изображении (3DV), при этом каждое предварительно определенное расположение ассоциировано с преобразованием, причем классификатор (CLS) выполняет функции использования, по меньшей мере, одного из преобразований для преобразования координат идентифицированного ориентира и сравнения преобразованных координат ориентира с координатами, по меньшей мере, одного заданного ориентира модели, чтобы таким образом установить, на основании показателя подобия, из числа преобразований, преобразование оптимального соответствия, причем параметр расположения описывает расположение, ассоциированное с упомянутым преобразованием оптимального соответствия.

5. Устройство обработки изображений по п. 1, содержащее идентификатор (ID), сконфигурированный с возможностью идентификации ориентиров в изображении (3DV), при этом каждое предварительно определенное расположение ассоциировано с преобразованием, причем классификатор (CLS) выполняет функцию формирования предварительного преобразования из изображения в модель, причем предварительное преобразование основано на i) координатах идентифицированных ориентиров в изображении (3DV) и ii) координатах заданных ориентиров в модели (MOD), причем классификатор (CLS) сконфигурирован с возможностью сравнения, на основании показателя подобия, предварительного преобразования с, по меньшей мере, одним из предварительно определенных преобразований, чтобы таким образом установить преобразование оптимального соответствия, причем параметр расположения описывает расположение, ассоциированное с упомянутым преобразованием оптимального соответствия.

6. Устройство обработки изображений по пп. 1-5, в котором классификатор использует набор весовых коэффициентов, которые отражают предполагаемое пространственное отношение между позицией формирователя изображений и объектом, подлежащим визуализации, когда применяют формирователь изображений.

7. Устройство обработки изображений по п. 1, в котором в котором формирователь изображений является ультразвуковым датчиком для 3-мерной визуализации, и изображение является объемом 3-мерных данных, полученным упомянутым датчиком.

8. Способ обработки изображений, содержащий следующие этапы:

принимают (S501) изображение (3DV) объекта (H), полученное в поле обзора (FoV) посредством формирователя изображений (USP), при этом изображение фиксирует расположение объекта, соответствующего полю обзора (FoV) формирователя изображений;

с использованием геометрической модели объекта, определяют (S505), из совокупности предварительно определенных расположений, расположение объекта, зафиксированного в изображении;

выводят (S510) параметр расположения, описывающий найденное расположение,

отличающийся тем, что

определяют расположение объекта путем обобщенного преобразования Хафа, GHT, при этом каждое из предварительно определенных расположений ассоциировано с точкой в пространстве параметров Хафа преобразования GHT.

9. Способ по п. 8, дополнительно содержащий следующий этап:

с использованием параметров расположения в качестве информации инициализации, сегментируют (S515) изображение для объекта в предполагаемом расположении.

10. Машиночитаемый носитель, содержащий хранящийся на нем программный элемент для управления устройством по любому из пп. 1-7, который, при выполнении блоком обработки данных, выполнен с возможностью выполнения этапов способа по пп. 8-9.