УСТРОЙСТВО, СПОСОБ И ПРОГРАММА МАРКИРОВКИ ИЗОБРАЖЕНИЯ ОБЪЕКТА Российский патент 2017 года по МПК G06T7/00 

Область техники, к которой относится изобретение

Изобретение относится к устройству маркировки, способу маркировки и компьютерной программе маркировки для маркировки структур объекта, показанных на изображении объекта.

Уровень техники изобретения

Патентная заявка США 2011/0188715 А1 раскрывает устройство автоматической идентификации органов в медицинском изображении. Устройство содержит интерфейс связи для приема медицинского изображения, по меньшей мере один процессор и запоминающее устройство для хранения леса решений, содержащего множество различных готовых деревьев решений. По меньшей мере один процессор выбирает элемент изображения из медицинского изображения, применяет элемент изображения к каждому из готовых деревьев решений, чтобы получить множество вероятностей элемента изображения, представляющего один из множества заданных классов органа, агрегирует вероятности от каждого из деревьев готовых решений и, в зависимости от этого, назначает классификацию органа элементу изображения. Эта автоматическая идентификация органов в медицинском изображении, использующая лес решений, содержащий множество различных готовых деревьев решений, в вычислительном отношении относительно сложна.

Документ WO 2012/012768 А1 раскрывает систему и способ идентификации анатомического органа у пациента. Способ содержит этапы, на которых получают изображение пациента, причем изображение содержит множество элементов изображения; сегментируют изображение, чтобы идентифицировать интересующую область, определенную по меньшей мере одним анатомическим ориентиром; формируют карту вероятностей, основываясь по меньшей мере на одном вероятностном анатомическом атласе; и применяют карту вероятностей к вероятностной классификации, чтобы определить вероятность того, что орган располагается в интересующей области.

Документ W0 2011/093921 А1 описывает систему и способ, которые автоматически идентифицируют одну или более сосудистых областей как принадлежащую к левой сонной артерии, правой сонной артерии и/или к базилярным сосудистым областям в голове. Способ использует в качестве входных данных медицинские изображения и автоматически идентифицирует одну или более сосудистых областей. Способ может также автоматически формировать MIP-представления идентифицированной области или областей.

Документ US 2009/0226060 А1 раскрывает систему и способ идентификации анатомических структур в пациенте. Способ содержит этапы, на которых получают изображение пациента, причем изображение содержит набор элементов изображения; сегментируют изображение для назначения категории каждому из элементов изображения в соответствии с его сущностью; вычисляют вероятность того, что назначение категорий каждого из элементов изображения является правильным; повторно сегментируют изображение, начиная с элементов изображения, имеющих высокую вероятность, и переходят к элементам изображения с более низкими вероятностями; совмещают по меньшей мере один из элементов изображения с анатомическим атласом; и подгоняют анатомический атлас к сегментированному изображению.

Публикация "Probabilistic Refinement of Model-Based Segmentation: Application to Radiation Therapy Planning of the Head and Neck" авторов Arish A Qasi и др., Medical Imaging and Augmented Realty. Lecture Notes in Computer Science, Volume 6326, стр. 403-410 (2010), предлагает подход, направленный на вероятностное уточнение сегментаций, полученных, используя трехмерные деформируемые модели. Способ применяется в качестве последнего этапа полностью автоматизированной сегментации структуры, состоящей из автоматической инициализации моделей в изображении пациента и их адаптации к интересующим анатомическим структурам. Характеристики способа сравниваются с традиционной схемой на основе модели посредством сегментации трех важных органов, подверженных риску, в области головы и шеи: нижняя челюсть, мозговой ствол и околоушные железы. Результирующие сегментации подтверждаются на правильность, сравнивая их с ручными очерчиваниями опытным специалистом.

Сущность изобретения

Задача настоящего изобретения состоит в обеспечении устройства маркировки, способа маркировки и компьютерной программы маркировки для маркировки структур объекта, показанных на изображении, в которых маркировка может быть выполнена с меньшими вычислительными усилиями.

В первом варианте настоящего изобретения представляется устройство маркировки для маркировки структур объекта, показанных на изображении, при этом устройство маркировки содержит:

- блок обеспечения контура для обеспечения контура, представляющего структуру в изображении объекта,

- блок обеспечения карты вероятностей для обеспечения карты вероятностей, причем карта вероятностей показывает для различных меток, указывающих различные структуры объекта, и для различных положений на карте вероятностей вероятность того, что соответствующая структура, которая указывается соответствующей меткой, присутствует в соответствующем положении, причем вероятность зависит от положения на карте вероятностей,

- блок соотнесения для соотнесения карты вероятностей с изображением объекта таким образом, что положения на карте вероятностей назначаются положениям на изображении объекта, и

- блок назначения меток для назначения контуру метки, основываясь на соотнесенной карте вероятностей.

Поскольку метка назначается контуру, основываясь на карте вероятностей, которая соотнесена с изображением объекта, так что положения на карте вероятностей назначаются положениям на изображении объекта, структуры объекта могут маркироваться автоматически, основываясь на карте вероятностей, с относительно малыми вычислительными затратами.

Устройство маркировки предпочтительно дополнительно содержит блок отображения для отображения изображения объекта, контура и метки.

Предпочтительно, блок обеспечения контура выполнен с возможностью предоставления пользователю возможности добавлять контур к изображению объекта, чтобы обеспечить контур. Блок обеспечения контура предпочтительно является графическим интерфейсом пользователя, позволяющим пользователю отрисовывать контур в изображении объекта. Таким образом, пользователь может добавлять желаемый контур в изображение объекта, при этом устройство маркировки затем автоматически назначает соответствующую метку контуру. Блок обеспечения контура может также быть блоком запоминающего устройства, в котором контур уже хранится и из которого контур может быть получен для его предоставления, или блок предоставления контура может также быть приемным блоком для приема контура от другого блока, например, от устройства ввода, выполненного с возможностью обеспечения пользователю возможности вводить контур в изображение объекта и для обеспечения принятого контура.

Дополнительно, предпочтительно, что блок соотнесения выполнен с возможностью совмещения изображения объекта и карты вероятностей друг с другом для выполнения соотнесения. В частности, блок обеспечения карты вероятностей может быть выполнен с возможностью обеспечения карты вероятностей вместе с изображением совмещения, которое совмещено с картой вероятностей, при этом блок соотнесения может быть выполнен с возможностью совмещения изображения объекта относительно изображения совмещения, чтобы совместить изображение объекта и карту вероятностей друг с другом. Карта вероятностей может быть определена, основываясь на нескольких изображениях объекта, например, основываясь на нескольких изображениях объекта, полученных посредством компьютерной томографии, причем в этих изображениях объекта желаемые контуры уже указаны и маркированы. Эти изображения объекта могут рассматриваться как обучающие изображения для обучения блока обеспечения карты вероятностей.

Изображение совмещения может быть усредненным изображением, формируемым путем усреднения изображений объекта для определения карты вероятностей. Такое усредненное изображение, по существу, совмещается с картой вероятностей, так что путем совмещения реального изображения объекта со средним изображением, являющимся изображением совмещения, фактическое изображение объекта также совмещается с картой вероятностей.

В предпочтительном варианте осуществления блок обеспечения карты вероятностей выполнен с возможностью обеспечения карты вероятностей таким образом, что вероятность того, что соответствующая структура, которая указывается соответствующей меткой, присутствует в соответствующем положении, дополнительно зависит от характеризующего изображение значения (далее для краткости - значения изображения). Таким образом, вероятность может зависеть не только от положения соответствующего элемента изображения, но также от значения изображения соответствующего элемента изображения. В частности, после того, как карта вероятностей была соотнесена с фактическим изображением объекта, для каждой метки соответствующая вероятность может быть присвоена каждому элементу изображения фактического изображения объекта, которая зависит от положения соответствующего элемента изображения в пределах фактического изображения объекта и от значения изображения, например, от значения серого, соответствующего элемента изображения. Дополнительный учет значений изображения может повысить качество вероятностей, присваиваемых элементам изображения в изображении объекта, улучшая, таким образом, точность маркировки контура.

Блок назначения меток выполнен с возможностью а) задавать положения элементов изображения в соответствии с предоставленным контуром и заранее заданным правилом задания, причем этим заранее заданным правилом задания задаются положения элементов изображения в зависимости от контура, b) определять для каждой метки вероятность метки в зависимости от вероятностей, которые задаются соотнесенной картой вероятностей и заданными положениями элементов изображения, и с) назначать контуру метку, для которой была определена наибольшая вероятность метки. Заранее заданное правило задания задает элементы изображения, которые должны быть учтены для определения метки соответствующего контура, при наличии предоставленного контура. Например, заранее заданное правило задания может задавать положения элементов изображения в пределах контура, если контур замкнут, причем блок назначения меток может быть выполнен с возможностью определения для каждой метки интегральной вероятности в качестве вероятности метки путем интегрирования вероятностей, задаваемых соотнесенной картой вероятностей и заданными положениями элементов изображения внутри контура. Например, изображение объекта может быть трехмерным изображением, срезы которого показываются на блоке отображения. Пользователь может срез за срезом просматривать трехмерное изображение, где в каждом срезе пользователь может извлекать один или несколько контуров, которые затем автоматически маркируются блоком назначения меток. Для назначения метки контуру блок назначения метки может быть выполнен с возможностью вычисления для каждой метки интеграла вероятностей, присвоенных соответствующей метке, по области, очерченной контуром. Метка, для которой вычислена наибольшая интегральная вероятность, назначается соответствующему контуру.

В варианте осуществления блок обеспечения карты вероятностей выполнен с возможностью обеспечения карты вероятностей таким образом, что вероятность того, что соответствующая структура, которая указывается соответствующей меткой, присутствует в соответствующем положении, дополнительно зависит от значения изображения, причем блок назначения меток выполнен с возможностью определения для каждой метки вероятности метки в зависимости от вероятностей, которые задаются соотнесенной картой вероятностей, заданными положениями элементов изображения и значениями изображения для изображения объекта в этих заданных положениях. Также в этом варианте осуществления заранее заданное правило задания может задавать положения элементов изображения внутри контура, если контур замкнут, причем блок назначения меток может быть выполнен с возможностью определения для каждой метки интегральной вероятности в качестве вероятности метки путем интегрирования вероятностей, задаваемых соотнесенной картой вероятностей, заданными положениями элементов изображения внутри замкнутого контура и значениями изображения для изображения объекта в этих заданных положениях. Таким образом, в этом варианте осуществления интегральная вероятность зависит не только от положений элементов изображения внутри контура, но также и от значений изображения, в частности, от значений серого элемента изображения внутри контура. Для каждой метки вероятность присваивается каждому элементу изображения внутри контура, при этом соответствующая вероятность задается положением соответствующего элемента изображения внутри изображения объекта и соответствующим значением изображения соответствующего элемента изображения, при этом соответствующая вероятность обеспечивается соотнесенной картой вероятностей. Дополнительное рассмотрение значений изображения увеличивает точность маркировки соответствующего контура.

Заранее заданное правило задания может также задавать положения элементов изображения, пересекаемых контуром и расположенных вблизи контура. Поскольку карта вероятностей соотнесена с фактическим изображением объекта, каждому из этих заданных положений назначается вероятность, которая, как вариант, зависит не только от соответствующего положения, но также и от значения изображения элемента изображения в соответствующем положении. Область, охваченная контуром, может быть определена и может быть определена метка, имеющая наибольшее значение вероятности внутри этой области. Область может быть задана по заранее заданному расстоянию до линии, определяющей контур, при этом учитываются все положения изображения объекта, которые находятся в пределах данного расстояния. Заранее заданное расстояние может быть расстоянием, заранее заданным в единицах элементов изображения, то есть вокселов или пикселей. Блок назначения меток может также быть выполнен с возможностью определять метку, имеющую наибольшую интегральную вероятность относительно упомянутой области, и назначать эту метку контуру.

В варианте осуществления блок обеспечения карты вероятностей выполнен с возможностью определять карту вероятностей и предоставлять определенную карту вероятностей, причем блок обеспечения карты вероятностей выполнен с возможностью а) приема нескольких изображений объекта, где изображения содержат маркированные контуры, так что по меньшей мере некоторым положениям внутри соответствующего изображения назначается метка, и b) определения карты вероятностей, основываясь на принятых нескольких изображениях с маркированными контурами. В частности, блок обеспечения карты вероятностей выполнен с возможностью определения карты вероятностей, определяя для каждой метки и каждого положения в изображениях появление соответствующей метки в соответствующем положении в изображениях, и определяя для различных меток и различных положений вероятности того, что соответствующая структура, которая указывается соответствующей меткой, присутствует в соответствующем положении, основываясь на определенных появлениях. Принятые несколько изображений могут быть готовыми изображениями, которые обведены контуром и маркированы пользователем, таким как врач, и которые используются блоком обеспечения карты вероятностей, чтобы определить карту вероятностей. Вновь определенная карта вероятностей может также объединяться с уже существующей картой вероятностей, чтобы обновить существующую карту вероятностей.

В варианте осуществления блок обеспечения карты вероятностей выполнен с возможностью определять промежуточную карту вероятностей, основываясь на изображении объекта с предоставленным контуром, и обновлять предоставленную карту вероятностей, основываясь на промежуточной карте вероятностей. Таким образом, фактическое изображение объекта может использоваться для обновления карты вероятностей. Таким образом, пользователь может добавлять новую метку в карту вероятностей путем добавления соответствующего контура и соответствующей новой метки к фактическому изображению объекта, причем блок обеспечения карты вероятностей может определять промежуточную карту вероятностей, основываясь на фактическом изображении объекта, содержащем контур с новой меткой, и обновлять предоставленную карту вероятностей, основываясь на промежуточной карте вероятностей таким образом, что окончательная обновленная карта вероятностей также содержит новую метку.

Дополнительно, предпочтительно, чтобы блок обеспечения контура был выполнен с возможностью обеспечения нескольких контуров в изображение объекта, причем блок назначения меток выполнен с возможностью назначения каждому контуру метки, основываясь на соотнесенной карте вероятностей, и устройство маркировки может дополнительно содержать блок объединения для объединения контуров, имеющих одну и ту же метку. Другими словами, если в изображении объекта обеспечиваются несколько контуров, в частности, если пользователь нарисовал несколько контуров в изображении объекта, причем некоторым контурам назначена одна и та же метка, блок объединения может объединять такие контуры, имеющие одинаковую метку. Устройство маркировки может дополнительно содержать блок коррекции, позволяющий пользователю изменять метку, назначенную контуру.

В дополнительном варианте настоящего изобретения представлен способ маркировки для маркировки структур объекта, показанных в изображении объекта, содержащий этапы, на которых:

- обеспечивают контур, представляющий структуру в изображении объекта посредством блока обеспечения контура,

- обеспечивают карту вероятностей посредством блока обеспечения карты вероятностей, причем карта вероятностей показывает для различных меток, указывающих различные структуры объекта, и для различных положений на карте вероятностей вероятность того, что соответствующая структура, указываемая соответствующей меткой, присутствует в соответствующем положении, причем вероятность зависит от положения на карте вероятностей,

- соотносят карту вероятностей с изображением объекта посредством блока соотнесения, так что положения на карте вероятностей назначаются положениям на изображении объекта, и

- назначают контуру метку, основываясь на соотнесенной карте вероятностей, посредством блока назначения меток.

В дополнительном варианте настоящего изобретения представлена компьютерная программа маркировки для маркировки структур объекта, показанного на изображении объекта, при этом компьютерная программа маркировки содержит средства программного кода для предписания устройству маркировки выполнять этапы способа маркировки, когда компьютерная программа маркировки исполняется на компьютере, управляющем устройством маркировки.

Следует понимать, что устройство маркировки, способ маркировки и компьютерная программа маркировки имеют схожие и/или идентичные предпочтительные варианты осуществления.

Эти и другие варианты изобретения станут очевидны и будут подробно объяснены со ссылкой на варианты осуществления, описанные здесь дополнительно.

Краткое описание чертежей

На чертежах:

Фиг. 1 - пример варианта осуществления устройства маркировки для маркировки структур объекта, показанного на изображении объекта,

Фиг. 2 - примерный двумерный вид изображения объекта с маркированными структурами,

Фиг. 3 - другой примерный двумерный вид изображения объекта с маркированными структурами, и

Фиг. 4 - блок-схема последовательности выполнения операций примерного варианта осуществления способа маркировки для маркировки структур объекта, показанных на изображении объекта.

Подробное описание вариантов осуществления

На фиг. 1 схематично и в качестве примера показан вариант осуществления устройства маркировки для маркировки структур объекта, показанных на изображении объекта. В этом варианте осуществления объектом является человек и изображение объекта является трехмерным изображением объекта для человека, подобным трехмерному изображению компьютерной томографии, трехмерному изображению магнитно-резонансного изображения или трехмерному изображению, полученному другим способом получения изображений.

Устройство 1 маркировки содержит устройство 8 обработки, содержащее блок 2 обеспечения контура для обеспечения контура, представляющего структуру в изображении объекта. Блок 2 обеспечения контура является графическим интерфейсом пользователя, позволяющим пользователю через устройство 7 ввода, такое как мышь, клавиатура, сенсорная панель и так далее, рисовать один или несколько контуров на изображении объекта.

На фиг. 2 схематично и в качестве примера показан переформатированный двумерный вид 18 трехмерного изображения, причем на этом переформатированном двумерном виде двумерные контуры 9…13 были нарисованы пользователем с помощью блока 2 обеспечения контура. На фиг. 3 схематично и для примера показан другой переформатированный двумерный вид 19 трехмерного изображения, причем на этом виде пользователь дополнительно нарисовал контуры 14…17.

Устройство 8 обработки дополнительно содержит блок 3 обеспечения карты вероятностей для обеспечения трехмерной карты вероятностей. Карта вероятностей показывает для данного типа объекта различные метки, указывающие различные структуры объекта, и для различных положений на карте вероятностей вероятность того, что соответствующая структура, то есть часть соответствующей структуры, присутствует в соответствующем положении, причем вероятность зависит от положения на карте вероятностей. В этом варианте осуществления карта вероятностей содержит вероятности по меньшей мере для пяти структур, которыми являются мочевой пузырь, прямая кишка, простата, правая бедренная кость и левая бедренная кость. Таким образом, в этом варианте осуществления каждой точке внутри карты вероятностей назначаются по меньшей мере пять значений вероятности, причем соответствующее значение вероятности указывает вероятность того, что в соответствующем положении присутствует соответствующая структура.

Карта вероятностей предпочтительно имеет те же самые пространственные размеры, что и изображение объекта с контурами, которые должны маркироваться. Таким образом, например, блок обеспечения карты вероятностей может содержать несколько карт вероятностей, соответствующих различным областям и/или пространственным размерам объекта, который должен отображаться, причем для конкретного изображения объекта, показывающего определенную область объекта в определенных пространственных размерах, может быть обеспечена соответствующая карта вероятностей.

Устройство 8 обработки дополнительно содержит блок 4 соотнесения для соотнесения трехмерной карты вероятностей с трехмерным изображением объекта таким образом, что положения на трехмерной карте вероятностей назначаются положениям на трехмерном изображении объекта. Предпочтительно, блок 4 соотнесения выполнен с возможностью совмещения трехмерного изображения объекта и трехмерной карты вероятностей друг с другом для выполнения соотнесения. Совмещение может содержать параллельный перенос (трансляцию), поворот и/или деформацию изображения объекта и/или карты вероятностей так, чтобы изображение объекта и карта вероятностей соответствовали друг другу.

В этом варианте осуществления блок 3 обеспечения карты вероятностей выполнен с возможностью обеспечения карты вероятностей вместе с изображением совмещения, совмещенным с картой вероятностей, причем блок 4 соотнесения выполнен с возможностью совмещения изображения объекта с изображением совмещения, чтобы совместить изображение объекта и карту вероятностей друг с другом. Блок 4 соотнесения может выполнять, например, робастный метод совмещения изображений или метод ручного совмещения изображений, чтобы совместить изображение объекта с изображением совмещения. Карта вероятностей предпочтительно была определена на основе множества обучающих изображений, содержащих маркированные контуры. Изображение совмещения предпочтительно является усредненным изображением этих обучающих изображений, причем усредненное изображение было предпочтительно вычислено посредством усреднения значений изображения соответствующих элементов изображения различных обучающих изображений.

Блок 4 соотнесения может быть выполнен с возможностью преобразования изображения объекта таким образом, что отклонения между значениями изображения соответствующих элементов изображения преобразованного изображения объекта и изображения совмещения минимизируются. Например, для каждой пары соответствующих элементов изображения в изображении совмещения и в преобразованном изображении объекта может быть вычислена квадратичная разность значений изображения, причем изображение объекта может быть преобразовано таким образом, что сумма разностей, которые вычислены для каждой пары соответствующих элементов изображения в изображении совмещения и преобразованном изображении объекта, минимизируется.

После того, как блок соотнесения соотнес карту вероятностей с изображением объекта, каждому положению внутри трехмерного изображения объекта присваиваются значения вероятности, соответствующие различным меткам. Эти присваивания значений вероятности положениям внутри трехмерного изображения объекта используются блоком 5 назначения меток для назначения метки каждому контуру 9…17.

В этом варианте осуществления различные метки имеют различные цвета, причем каждый цвет указывает определенную структуру, то есть, например, красный цвет указывает мочевой пузырь, зеленый цвет указывает прямую кишку, желтый цвет указывает простату, голубой цвет указывает правую бедренную кость и светло-голубой цвет указывает левую бедренную кость.

Блок 3 обеспечения карты вероятностей предпочтительно выполнен с возможностью обеспечения карты вероятностей, так что вероятность того, что соответствующая структура, указанная соответствующей меткой, присутствует в соответствующем положении, дополнительно зависит от значения изображения элемента изображения в изображении объекта в соответствующем положении. Кроме того, блок 5 назначения меток предпочтительно выполнен с возможностью а) задавать положения элементов изображения в соответствии с предоставленным контуром и заранее заданным правилом задания, причем это заранее заданное правило задания задает положения элементов изображения в зависимости от контура, b) определять для каждой метки вероятность метки в зависимости от вероятностей, которые задаются соотнесенной картой вероятностей и заданными положениями элементов изображения, и с) назначать контуру метку, для которой была определена наибольшая вероятность метки. В этом варианте осуществления заранее заданным правилом задания задаются положения элементов изображения внутри соответствующего контура, причем блок 5 назначения меток выполнен с возможностью определения для каждой метки интегральной вероятности в качестве вероятности метки путем интегрирования вероятностей, задаваемых соотнесенной картой вероятностей, заданными положениями элементов изображения внутри замкнутого контура и значениями изображения для изображения объекта в этих заданных положениях внутри замкнутого контура. Таким образом, элементу изображения внутри соответствующего контура вероятность присваивается для соответствующей метки, которая зависит от положения соответствующего элемента изображения внутри изображения объекта и от значения изображения этого соответствующего элемента изображения, причем соответствующая вероятность задается в соотнесенной карте вероятностей.

Например, в этом варианте осуществления все вероятности для мочевого пузыря, которые присвоены элементам изображения внутри контура 9, суммируются, чтобы вычислить интегральную вероятность для контура 9 и для метки, указывающей мочевой пузырь.

Соответствующие интегральные вероятности также определяются для других меток, то есть для других структур в этом варианте осуществления, а именно прямой кишки, простаты, правой бедренной кости и левой бедренной кости. Таким образом, в этом примере для контура 9 вычисляются пять интегральных вероятностей, причем метка, для которой была вычислена наибольшая интегральная вероятность, назначается контуру 9. В этом примере голубой цвет был назначен контуру 9 как метка, указывающая правую бедренную кость. Также для других контуров 10…17 определяются интегральные вероятности, причем для каждого контура 10…17 наибольшая интегральная вероятность определяется для того, чтобы определить метку, которая будет назначена соответствующему контуру 10…17. В этом примере контуры 11, 15 окрашиваются красной меткой для обозначения мочевого пузыря, контур 17 окрашивается зеленой меткой для обозначения прямой кишки, контур 12 окрашивается желтой меткой для обозначения простаты, контуры 9, 10, 14 окрашиваются голубой меткой для обозначения правой бедренной кости и контуры 13, 16 окрашиваются светло-голубой меткой для обозначения левой бедренной кости.

Если в варианте осуществления контуры не замкнуты, заранее заданным правилом задания могут также задаваться положения элементов изображения, пересекаемые соответствующим контуром и расположенные вблизи соответствующего контура. Для каждой метки вероятность метки может затем быть определена относительно этих заданных положений элементов изображения и, как вариант, относительно значений изображения для элементов изображения в этих положениях. Заданные положения могут быть положениями внутри области, охваченной контуром, при этом может быть определена метка, имеющая наибольшую вероятность относительно этой области. Область может задаваться по заранее заданному расстоянию до линии, определяющей контур, при этом учитываются все положения изображения объекта, находящиеся в пределах этого заранее заданного расстояния. Заранее заданное расстояние может быть заранее заданным расстоянием, выраженным в элементах изображения, то есть вокселах или пикселях.

Устройство 8 обработки дополнительно содержит блок 20 объединения для объединения контуров, имеющих одну и ту же метку. Например, пользователь может ввести несколько двумерных контуров в различных двумерных видах трехмерного изображения объекта. Блок 20 объединения может быть далее выполнен с возможностью объединения двумерных контуров, для которых определена одна и та же метка, в трехмерную структуру, маркированную соответствующей меткой.

Кроме того, устройство 8 обработки содержит блок 21 коррекции, чтобы позволить пользователю изменять метку, назначенную контуру. Блок 21 коррекции предпочтительно является графическим интерфейсом пользователя, позволяющим пользователю через устройство 7 ввода изменять, в этом варианте осуществления, цвет, автоматически назначенный контуру блоком 5 назначения меток. Метка может также рассматриваться как название, назначенное цвету и, таким образом, контуру, при этом пользователь может изменить метку, назначенную определенному контуру, изменяя название, назначенное этому контуру. Например, если блок 5 назначения меток назначил определенному контуру метку "правая бедренная кость", но пользователь идентифицирует соответствующую структуру как мочевой пузырь, пользователь может исправить соответствующую метку на "мочевой пузырь".

Устройство 1 маркировки дополнительно содержит блок 6 отображения для отображения изображения объекта, то есть, например, двумерных видов 18, 19, контуров 9…17 и меток. В этом варианте осуществления метками являются цвета контуров 9…17, так что при показе отображения контуров 9…17 в цвете метки также показываются.

В варианте осуществления блок 3 обеспечения карты вероятностей выполнен с возможностью определения карты вероятностей и предоставления определенной карты вероятностей, причем блок обеспечения карты вероятностей выполнен с возможностью а) приема нескольких изображений объекта, где изображения содержат маркированные контуры, так что по меньшей мере некоторым положениям внутри соответствующего изображения назначена метка, и b) определения карты вероятностей, основываясь на принятых нескольких изображениях с маркированными контурами. В частности, блок 3 обеспечения карты вероятностей выполнен с возможностью определять карту вероятностей путем определения для каждой метки и каждого положения на изображениях появления соответствующей метки в соответствующем положении на изображениях и определения для различных меток и для различных положений вероятности того, что соответствующая структура, которая указывается соответствующей меткой, присутствует в соответствующем положении, основываясь на определенных появлениях. Принятые несколько изображений, которые предпочтительно совмещаются друг с другом, могут быть изображениями, в частности, обучающими изображениями, которые оконтурены и маркированы пользователем, таким как врач, и которые используются блоком обеспечения карты вероятностей для определения карты вероятностей. Вновь определенная карта вероятностей может также быть объединена с уже существующей картой вероятностей, чтобы обновить существующую карту вероятностей.

В частности, блок 3 обеспечения карты вероятностей может быть выполнен с возможностью определения для каждой метки гистограммы значений изображения, которые были назначены соответствующей метке в принятых нескольких изображениях. Вероятность того, что конкретное значение изображения присутствует, учитывая конкретную метку, может быть затем определена, основываясь на гистограмме, определенной для этой конкретной метки. Например, гистограмма, определенная для конкретной метки, может быть нормирована, и нормированная гистограмма может напрямую обеспечивать вероятность того, что значение изображения имеет соответствующую метку. Кроме того, для каждого положения внутри принятых изображений появление каждой метки может быть определено, и вероятность задания метки определенному положению в пределах изображения объекта может быть определена, основываясь на определенных появлениях. В частности, для каждого положения появления могут быть нормированы таким образом, что сумма нормированных появлений, которые были определены для одного и того же положения и для различных меток, равна единице. Нормированное появление, определенное для конкретной метки и конкретного положения, может рассматриваться как являющееся вероятностью некоторой метки, если задано некоторое положение. Блок 3 обеспечения карты вероятностей может быть выполнен с возможностью обеспечения карты вероятностей, выдавая произведение вероятности для конкретной метки, если задано конкретное положение, и вероятности для конкретного значения изображения, если задана конкретная метка. Карта вероятностей может поэтому храниться в блоке 3 обеспечения карты вероятностей, сохраняя эти две различные условные вероятности.

Блок 3 обеспечения карты вероятностей может также быть выполнен с возможностью введения новой метки, назначенной контуру в фактическом изображении объекта, в существующую карту вероятностей. В частности, блок 3 обеспечения карты вероятностей может быть выполнен с возможностью определять промежуточную карту вероятностей, основываясь на изображении объекта с нанесенным контуром, и обновлять предоставленную карту вероятностей, основываясь на промежуточной карте вероятностей. Например, если к фактическому изображению объекта был добавлен только контур с новой меткой, вероятность для метки, если задано конкретное положение, может быть определена, причем для положений за пределами контура эта вероятность равна нулю, а для положений внутри контура эта вероятность равна единице. Чтобы обновить существующую карту вероятностей в отношении этой вероятности, для каждого положения вероятность новой метки, обеспечиваемая промежуточной картой вероятностей, может быть взвешена с помощью первого весового коэффициента, и вероятности уже существующих меток, обеспечиваемые существующей картой вероятностей, могут быть взвешены с помощью второго весового коэффициента, причем взвешенные вероятности двух карт вероятностей могут быть нормированы таким образом, чтобы сумма взвешенных вероятностей была равна единице. Полученные в результате нормированные вероятности являются вероятностями обновленной карты вероятностей, причем эти вероятности определяют вероятность для конкретной метки, которая может теперь также быть новой меткой, если задано конкретное положение. Первый весовой коэффициент предпочтительно меньше, чем второй весовой коэффициент. Первый весовой коэффициент и второй весовой коэффициент могут быть определены заранее таким образом, что первый весовой коэффициент является заранее заданной долей второго весового коэффициента, или первый весовой коэффициент может быть равен самой малой вероятности, присвоенной метке в соответствующем положении существующей карты вероятностей, а второй весовой коэффициент может быть равен единице. Для обновления существующей карты вероятностей в отношении вероятности для значения изображения, если метка задана, нормированная гистограмма значений изображения для новой метки, определенная из фактического изображения объекта с контуром, содержащим новую метку, добавляется к существующей карте вероятностей. Обновленная существующая карта вероятности тогда затем предусматривает произведение вероятности для соответствующей метки, если задано положение, и вероятности для значения изображения, если задана метка, где теперь - также содержится новая метка.

Далее, вариант осуществления способа маркировки для маркировки структур объекта, показанных в изображении объекта, будет в качестве примера описан со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг. 4.

На этапе 101 блоком обеспечения контуров обеспечиваются контуры, представляющие структуры в изображении объекта. В частности, блок обеспечения контуров является графическим интерфейсом пользователя, позволяющим пользователю рисовать контуры в пределах изображения объекта с помощью устройства ввода, такого как клавиатура, мышь, сенсорная панель и так далее. Предпочтительно, изображение объекта является трехмерным изображением, при этом на устройстве отображения показывается переформатированный двумерный вид трехмерного изображения, причем пользователь может рисовать двумерные контуры в трехмерном изображении.

На этапе 102 карта вероятностей предоставляется блоком обеспечения карты вероятностей, причем карта вероятностей показывает для различных меток, указывающих различные структуры объекта, и для различных положений на карте вероятностей вероятность того, что соответствующая структура, которая указывается соответствующей меткой, присутствует в соответствующем положении. На этапе 103 карта вероятностей соотносится с изображением объекта блоком соотнесения таким образом, что положения на карте вероятностей назначаются положениям в изображении объекта, присваивая, таким образом, вероятности этим положениям в изображении объекта. На этапе 104 блоком назначения меток одному или нескольким контурам, обеспечиваемым на этапе 101, назначается метка, основываясь на соотнесенной карте вероятностей. На этапе 105 назначенные метки отображаются блоком 6 отображения вместе с изображением объекта и контурами.

Многие приложения основываются на точных схемах анатомических органов в каждом срезе трехмерных медицинских изображений. При планировании радиотерапии (RTP) схема блоков, подверженных риску, и опухолей в изображениях трехмерной компьютерной томографии и магнитно-резонансных изображениях используется для оптимизации воздействующих пучков. Схема является частью входных данных в систему планирования лечения и в идеале получается от автоматической системы. Однако автоматические системы могут давать сбой для некоторых органов или для некоторых пациентов из-за низкого контраста изображения, сильно меняющегося контраста изображения для разных пациентов, большой изменчивости форм, необычной анатомии, вызванной, например, отсутствующими органами, имплантантами и так далее, или другими причинами. Примерами таких органов/областей являются околоушные железы, узловые уровни шеи, семенные пузырьки и прочее. Некоторые пользователи могут даже предпочитать делать ручную схему или очерчивать дополнительные структуры, которые обычно не очерчиваются в других структурах.

В целом, в известных системах необходимо несколько взаимодействий с пользователем, чтобы вручную очертить анатомическую структуру, такую как орган или часть органа. Например, для каждой анатомической структуры пользователь может печатать на этапе маркировки название соответствующей анатомической структуры. Затем на этапе очерчивания пользователь может выбрать двумерный срез трехмерного изображения и желательный контраст, например, желательное окно и уровень, и нарисовать контур, используя инструменты для рисования. Этот этап очерчивания может повторяться несколько раз, пока желательная анатомическая структура не будет очерчена во всех двумерных срезах трехмерного изображения. Если пользователь хочет очертить несколько органов в одном срезе, пользователь обычно проводит прокрутку по всем срезам одного органа и очерчивает их, прежде чем начнет очерчивать следующий блок. Это может быть неудовлетворительным, поскольку часто несколько блоков видны в одном и том же срезе и предпочтительно могут очерчиваться одновременно. Иногда может быть полезным очертить часть некоторых других органов, прежде чем закончить блок с трудным контрастом, например, при поиске вершины простаты может быть очерчена часть прямой кишки. Кроме того, пользователь должен решить, какой орган очерчивать, подумать о маркировке и взаимодействии с меню, вместо того чтобы смотреть и думать об анатомии в изображении объекта. Кроме того, эти этапы маркировки и очерчивания в известных системах маркировки являются очень трудоемкими.

Напротив, устройство маркировки, описанное выше со ссылкой на фиг. 1-3, выполнено с возможностью автоматического назначения метки контурам, очерченным пользователем. Схема, например, анатомических областей или анатомических блоков, становится поэтому более легкой и более простой. Пользователь может начать рисование контуров, как только видит интересующие структуры. Метки могут быть конфигурированы и новые метки могут быть изучены устройством маркировки. Контуры с одной и той же меткой принадлежат одному и тому же органу и автоматически объединяются вместе. Устройство маркировки назначает контуру наиболее вероятную метку. Однако пользователь всегда может вносить исправления, используя блок коррекции.

Устройство маркировки может использовать приблизительную сегментацию рассматриваемого изображения объекта. Эта сегментация может быть получена путем соотнесения трехмерной картой вероятностей с изображением объекта. Соотнесение может вычисляться посредством робастного совмещения изображений, ручного совмещения, при котором ориентиры указываются в изображении объекта вручную и используются для совмещения с картой вероятностей или посредством совмещения уже очерченных контуров с атласом. Совмещение может быть только приблизительным. Карта вероятностей указывает вероятность метки в любом положении на изображении объекта и может быть результатом обучения в режиме офлайн от поставщика или быть получена в режиме онлайн, исходя из примеров, в частности, из новых структур, которые оконтуриваются и маркируются пользователем. Для каждого двумерного контура, созданного пользователем, контуру назначается метка с наивысшей вероятностью. Если контур замкнут, контуру назначается метка с наивысшей интегральной вероятностью внутри контура. Если контур не замкнут, может быть назначена метка с наивысшей интегральной вероятностью, близкой к контуру. Контур может быть создан в

любом переформатированном двумерном представлении трехмерного изображения, в частности, пока может быть создана двоичная маска. В частности, пользователь может выбрать осевое, венечное или сагиттальное представление на выбранном наборе данных, чтобы создать контур.

Устройство маркировки может быть интегрировано в рабочую станцию планирования радиотерапии, такую как Pinnacle3 компании Philips. Устройство маркировки может также быть интегрировано в или использоваться совместно с интервенционными системами, управляемыми по изображениям, которые нуждаются в ручных схемах, такими как системы планирования радиочастотной абляции, системы планирования биопсии, системы планирования хирургии и так далее.

Хотя в описанных выше вариантах осуществления были упомянуты некоторые анатомические структуры, такие как мочевой пузырь, прямая кишка, простата и так далее, устройство маркировки и способ маркировки могут также быть выполнены с возможностью маркировки других анатомических структур.

Хотя в описанных выше вариантах осуществления объектом является человек, в котором маркируются человеческие структуры, в других вариантах осуществления объектом может также быть животное или технический объект, к которому устройство маркировки и способ маркировки могут быть адаптированы, чтобы соответственно маркировать структуры животного или технического объекта.

Другие изменения в раскрытых вариантах осуществления могут быть понятны, и осуществлены специалистами в данной области техники при практической реализации заявленного изобретения,

исходя из изучения чертежей, раскрытия и приложенной формулы изобретения.

В формуле изобретения слово "содержащий" не исключает другие элементы или этапы и единственное число не исключает множественное число.

Одиночный блок или устройство может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Простой факт, что определенные критерии приводятся во взаимно различных зависимых пунктах формулы изобретения, не означает, что объединение этих критериев не может использоваться для достижения преимущества.

Этапы, подобные этапам обеспечения для обеспечения контура или карты вероятностей или подобные этапам вычислений для вычисления соотнесения карты вероятностей с изображением объекта или для назначения контуру метки, выполняемые одним или несколькими блоками или устройствами, могут быть выполнены любым другим количеством блоков или устройств. Например, этапы 101-104 могут быть выполнены одиночным блоком или любым другим количеством различных блоков. Этапы, в частности, этапы обеспечения и/или вычисления и/или управления устройством маркировки в соответствии со способом маркировки, могут быть реализованы как средства программного кода компьютерной программы и/или как специализированное аппаратурное обеспечение.

Компьютерная программа может храниться/распространяться на подходящем носителе данных, таком как оптический носитель данных или твердотельный носитель данных, поставляемый вместе с аппаратурным обеспечением, или как часть другого аппаратурного

обеспечения, но может также распространяться в других формах, таких как через Интернет или другие проводные или беспроводные системы связи.

Любые ссылочные позиции в формуле изобретения не должны рассматриваться как ограничение объема изобретения.

Изобретение относится к устройству маркировки для маркировки структур объекта, показанных на изображении объекта. Блок обеспечения карты вероятностей обеспечивает карту вероятностей, причем карта вероятностей показывает для различных меток, которые указывают различные структуры объекта, и для различных положений на карте вероятностей вероятность того, что соответствующая структура, указанная соответствующей меткой, присутствует в соответствующем положении, причем вероятность зависит от положения на карте вероятностей. Карта вероятностей соотносится с изображением объекта блоком соотнесения, причем блок назначения меток назначает предоставленному контуру, который представляет структуру в изображении объекта, метку, основываясь на соотнесенной карте вероятностей. Это позволяет автоматически маркировать структуры объекта, которые обозначены предоставленными контурами в изображении объекта, при относительно малых вычислительных усилиях.

Группа изобретений относится к области медицины. Для маркировки структур на медицинском изображении объекта используют устройство, содержащее блок обеспечения контура, выполненный с возможностью добавления контура к изображению объекта пользователем, блок обеспечения карты вероятностей, которая показывает вероятность того, что соответствующая структура, указываемая соответствующей меткой, присутствует в соответствующем положении при помощи блока соотнесения, и блок назначения меток, который автоматически назначает метку контуру структуры в изображении объекта, основываясь на соотнесенной карте вероятностей. Группа изобретений позволяет автоматически маркировать структуры объекта, которые указываются контурами в изображении объекта, при относительно низких вычислительных усилиях. 3 н. и 10 з.п. ф-лы, 4 ил.

1. Устройство маркировки для маркировки структур объекта, показываемых на изображении объекта, содержащее:

блок (2) обеспечения контура для обеспечения контура (9…17), представляющего структуру на изображении объекта,

блок (3) обеспечения карты вероятностей для обеспечения карты вероятностей, причем карта вероятностей показывает для каждой из множества меток, каждая из которых указывает отличающуюся от других структуру объекта, вероятность того, что соответственная структура присутствует в каждом из множества положений на карте вероятностей,

блок (4) соотнесения для соотнесения карты вероятностей с изображением объекта таким образом, что каждое положение на карте вероятностей назначается положению на изображении объекта, и

блок (5) назначения меток для назначения контуру (9…17) метки, основываясь на соотнесенной карте вероятностей, причем блок (5) назначения меток выполнен с возможностью:

задавать множество положений элементов изображения в соответствии с упомянутым обеспеченным контуром (9…17) и в соответствии с заранее заданным правилом задания, которым задаются положения элементов изображения в зависимости от контура,

определять для каждой метки вероятность метки в зависимости от вероятностей, которые задаются соотнесенной картой вероятностей и заданными положениями элементов изображения, и

назначать контуру (9…17) метку, для которой определена наибольшая вероятность метки,

при этом блок (2) обеспечения контура выполнен с возможностью предоставления пользователю возможности добавления контура (9…17) к изображению объекта, чтобы обеспечить контур (9…17), и при этом блок (5) назначения меток выполнен с возможностью автоматически назначать каждую метку в качестве реакции на каждый контур, очерчиваемый пользователем.

2. Устройство маркировки по п. 1, в котором блок (4) соотнесения выполнен с возможностью совмещения изображения объекта и карты вероятности друг с другом для выполнения соотнесения.

3. Устройство маркировки по п. 2, в котором блок (3) обеспечения карты вероятностей выполнен с возможностью обеспечения карты вероятностей вместе с изображением совмещения, которое совмещено с картой вероятностей, при этом блок (4) соотнесения выполнен с возможностью совмещения изображения объекта с изображением совмещения, чтобы совместить изображение объекта и карту вероятностей друг с другом.

4. Устройство маркировки по п. 1, в котором блок (3) обеспечения карты вероятностей выполнен с возможностью обеспечения карты вероятностей таким образом, что вероятность того, что соответственная структура, которая указывается соответственной меткой, присутствует в соответственном положении, дополнительно зависит от характеризующего изображение значения элемента изображения в этом соответственном положении.

5. Устройство маркировки по п. 1, в котором упомянутым заранее заданным правилом задания задаются положения элементов изображения внутри контура, если контур замкнут, при этом блок (5) назначения меток выполнен с возможностью определения для каждой метки интегральной вероятности в качестве вероятности метки путем интегрирования вероятностей, задаваемых соотнесенной картой вероятностей и заданными положениями элементов изображения внутри контура (9…17).

6. Устройство маркировки по п. 1, в котором блок (3) обеспечения карты вероятностей выполнен с возможностью обеспечения карты вероятностей, так что вероятность того, что соответственная структура, указываемая соответственной меткой, присутствует в соответственном положении, дополнительно зависит от характеризующего изображение значения элемента изображения в этом соответственном положении, при этом блок (5) назначения меток выполнен с возможностью определения для каждой метки вероятности метки в зависимости от вероятностей, задаваемых соотнесенной картой вероятностей, заданными положениями элементов изображения и характеризующими изображение значениями для изображения объекта в этих заданных положениях.

7. Устройство маркировки по п. 6, в котором упомянутым заранее заданным правилом задания задаются положения элементов изображения внутри контура, если контур замкнут, при этом блок (5) назначения меток выполнен с возможностью определения для каждой метки интегральной вероятности в качестве вероятности метки путем интегрирования вероятностей, задаваемых соотнесенной картой вероятностей, заданными положениями элементов изображения внутри замкнутого контура (9…17) и характеризующими изображение значениями для изображения объекта в этих заданных положениях.

8. Устройство маркировки по п. 1, в котором упомянутым заранее заданным правилом задания задаются положения элементов изображения, пересекаемых контуром (9…17) и находящихся около контура (9…17).

9. Устройство маркировки по п. 1, в котором блок (3) обеспечения карты вероятностей выполнен с возможностью определения карты вероятностей и обеспечения определенной карты вероятностей, при этом блок (3) обеспечения карты вероятностей выполнен с возможностью:

приема нескольких изображений объекта, причем эти изображения содержат маркированные контуры, так что, по меньшей мере, некоторым положениям внутри соответственного изображения назначена метка,

определения карты вероятностей, основываясь на принятых нескольких изображениях с маркированными контурами.

10. Устройство маркировки по п. 9, в котором блок обеспечения карты вероятностей выполнен с возможностью определения карты вероятностей посредством:

определения, для каждой метки и каждого положения в изображениях, появления соответственной метки в соответственном положении в изображениях, и

определения, для различных меток и для различных положений, вероятности того, что соответственная структура, указываемая соответственной меткой, присутствует в соответственном положении, основываясь на упомянутых определенных появлениях.

11. Устройство маркировки по п. 1, в котором блок (3)

обеспечения карты вероятностей выполнен с возможностью определять промежуточную карту вероятностей, основываясь на изображении объекта с упомянутым обеспеченным контуром (9…17), и обновлять упомянутую обеспеченную карту вероятностей, основываясь на промежуточной карте вероятностей.

12. Способ маркировки для маркировки структур объекта в изображении объекта, содержащий этапы, на которых:

обеспечивают контур (9…17), представляющий структуру в изображении объекта, посредством блока (2) обеспечения контура,

обеспечивают карту вероятностей посредством блока (3) обеспечения карты вероятностей, причем карта вероятностей показывает для каждой из множества меток, каждая из которых указывает отличающуюся от других структуру объекта, вероятность того, что соответственная структура присутствует в каждом из множества положений на карте вероятностей,

соотносят карту вероятностей с изображением объекта посредством блока (4) соотнесения таким образом, что каждое положение на карте вероятностей назначается положению на изображении объекта, и

назначают метку контуру (9…17) посредством блока (5) назначения меток, основываясь на соотнесенной карте вероятностей, причем при назначении метки:

задают множество положений элементов изображения в соответствии с упомянутым обеспеченным контуром (9…17) и в соответствии с заранее заданным правилом задания, которым задаются положения элементов изображения в зависимости от контура,

определяют для каждой метки вероятность метки в зависимости от вероятностей, которые задаются соотнесенной картой вероятностей и заданными положениями элементов изображения, и

назначают контуру (9…17) метку, для которой определена наибольшая вероятность метки,

при этом этап обеспечения контура (9…17) содержит этап, на котором предоставляют пользователю возможность добавления контура (9…17) к изображению объекта, чтобы обеспечить контур (9…17), и при этом этап назначения контуру (9…17) метки содержит этап, на котором автоматически назначают каждую метку в качестве реакции на каждый контур, очерчиваемый пользователем.

13. Машиночитаемый носитель, на котором записана компьютерная программа маркировки для маркировки структур объекта на изображении объекта, причем компьютерная программа маркировки содержит средства программного кода для предписания устройству маркировки по п. 1 выполнять этапы способа маркировки по п. 12, когда компьютерная программа маркировки исполняется на компьютере, управляющем устройством маркировки.