СПОСОБ УЛУЧШЕНИЯ ПОСЛЕДУЮЩЕЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ДЕФОРМИРУЕМЫХ СЕТОК Российский патент 2011 года по МПК G06T5/00 

Настоящее изобретение, в общем, относится к способам улучшения последующей обработки изображений с использованием деформируемых сеток и более конкретно к способам улучшения последующей обработки изображений анатомических структур, таких как органы, которые были сегментированы с использованием деформируемых сеток.

В приложениях для обработки медицинских изображений обычно выполняют различные задачи обработки изображений. Одна из специфичных задач обработки, которая представляет собой фундаментальную задачу во многих приложениях, связанных с обработкой изображения, представляет собой сегментирование специфичного органа. Для множества органов сегментирование может быть успешно выполнено с использованием ограниченных по форме деформируемых моделей. Они основаны на сетчатой структуре с топологией, которая остается без изменения во время адаптации изображения к сегментированию. Сегментирование на основе модели до настоящего время считали очень эффективным для широкого разнообразия простых и сложных органов (костей, печени, сердца с вложенными структурами). Действительно, полученные в последнее время результаты показывают, что эта технология обеспечивает возможность выполнения полностью автоматического сегментирования сложных анатомических структур, таких как сердце.

После сегментирования орган обычно подвергают одной или больше задачам дополнительной обработки изображения, то есть задачам последующей обработки с использованием модели сетки. Таким образом, изображение органа может быть отображено после применения задачи последующей обработки, которая была получена из исходного изображения, с различиями между исходным изображением и полученным изображением, связанными с применением модели сетки.

Большинство, если не все задачи последующей обработки, требуют взаимодействия с пользователем, например для выбора или определения начальной точки, затравочной точки или области, представляющей интерес для инициализации алгоритма. Например, для инициализации алгоритма, отслеживающего сосуды, необходимо разместить затравочную точку в пределах сосуда, который должен быть отслежен или сегментирован, и эту затравочную точку часто выбирают или определяют вручную.

Из-за того, что требуется взаимодействие с пользователем для инициирования задачи последующей обработки, приложение обработки медицинского изображения выполняется в неоптимальных условиях. Недостатки включают в себя недостаток эффективности отдельного лица, отвечающего за обработку изображения (как правило, радиолога), трудности или недостаток опыта в использовании устройства анализа изображения, в результате чего могут возникать ошибки при выборе вручную или при определении исходных состояний задачи последующей обработки, и ограничения по сложности задач последующей обработки, которые возникают из-за требования действия, выполняемого вручную.

В соответствии с этим автоматизация задачи последующей обработки могла бы способствовать повышению эффективности работы радиолога, могла бы улучшить простоту использования продукта анализа изображения, в результате чего получалось бы меньшее количество ошибок или ошибки не возникали бы в приложениях задач последующей обработки, и обеспечивалась бы возможность выполнения в данном приложении для обработки изображения более сложных задач последующей обработки.

Цель настоящего изобретения состоит в создании новых и улучшенных способов и систем, которые способствуют последующей обработке изображений, с использованием деформируемых сеток.

Еще одна цель настоящего изобретения состоит в создании новых и улучшенных способов и систем, способствующих последующей обработке изображений анатомических структур, таких как органы, которые были сегментированы с использованием деформируемых сеток.

Другая цель настоящего изобретения состоит в создании новых и улучшенных способов и систем, ускоряющих выполнение задач последующей обработки медицинских изображений, благодаря устранению необходимости взаимодействия с пользователем для инициирования алгоритмов обработки изображения. В частности, способ может быть эффективным для исключения для пользователя необходимости определять вручную начальную точку, затравочную точку или область, представляющую интерес, для использования в алгоритмах обработки изображения, и выполняет это, используя результаты предыдущей обработки сегментирования изображения, по которым получают требуемую информацию для задач последующей обработки.

В еще одной другой целью настоящего изобретения является получение новых и улучшенных способов и систем, которые передают знание, полученное в результате правильного сегментирования изображения, в последующие задачи обработки изображения для уменьшения и даже устранения взаимодействия с пользователем вручную, для инициирования последующих этапов обработки и таким образом получения высокоавтоматизированной цепи обработки изображения.

Для достижения этих и других целей способ в соответствии с изобретением распространяет модель деформируемой сетки объекта, такого как орган, путем прикрепления к ней информации для упрощения и/или для улучшения требуемой последующей задачи обработки таким образом, что задача последующей обработки, выполняемая когда сетку накладывают на один и тот же объект в дополнительном изображении, предпочтительно может использовать эту информацию. Информация может быть прикреплена к сетке после ее формирования, например после сегментирования того же объекта в некотором тренировочном изображении. Задача последующей обработки поэтому может выполняться автоматически, без взаимодействия с пользователем после сегментирования объекта в дополнительном изображении и применения той же модели сетки к этому объекту или изображению.

Воплощение такой концепции состоит в перечислении списка треугольников или вершин сетки, которые следует рассматривать в последующей задаче последующей обработки. Этот список или конкретные треугольники, или вершины сетки могут быть кодированы по сетке или по-другому дифференцированы в сетке. Кроме того, дополнительная информация такая как, например, значение расстояния или карта, или некоторые величины вероятности для каждого внесенного в список треугольника или для каждой вершины, могут быть кодированы по сетке. Поэтому информация, полученная на основе сегментирования тренировочного изображения, может представлять собой функцию вероятности, представляющую вероятность полезности каждого треугольника или вершины сетки для задачи последующей обработки.

Например, после сегментирования камер сердца с соединенной с ними аортой возможное местоположение отверстия, в котором коронарные артерии ответвляются от аорты, может быть автоматически ограничено, при этом пространство поиска коронарных сосудов может быть автоматически ограничено тонким слоем вокруг миокарда, поскольку известно, что они располагаются близко к стенке эпикарда, и применение тонкого сегментирования папиллярных мышц, которые возможно не были подробно обработаны при сегментирования исходной камеры, может быть автоматически ограничено только до удобных положений.

Более предпочтительно способ ускорения последующей обработки объекта в изображении, сегментированном с использованием деформируемой или адаптивной сетки, в соответствии с изобретением содержит этапы, на которых идентифицируют задачу последующей обработки, которая должна быть выполнена для объекта после сегментирования с использованием сетки, определяют информацию, требуемую для задачи последующей обработки, кодируют эту информацию на сетке, сегментируют объект в новом или дополнительном изображении, используя сетку с кодированной информацией, и выполняют задачу последующей обработки путем выделения кодированной информации из сетки. Задача последующей обработки поэтому обеспечивает отображение изображения с целью наблюдения после применения задачи последующей обработки, при этом отображаемое изображение получают из исходного изображения.

Определение информации, требуемой для задачи последующей обработки, может быть связано с получением, по меньшей мере, одного тренировочного изображения, включающего в себя объект, сегментацию объекта в тренировочном изображении (изображениях) с использованием сетки и получение информации на основе сегментирования тренировочного изображения (изображений). Также предусматривается возможность определения информации, требуемой для задачи последующей обработки, на основе знаний анатомии пользователя, например пользователь может назначать список треугольников или вершин предварительно существовавшей сетки, без необходимости использовании заранее сегментированного изображения.

Множество задач последующей обработки могут быть определены, для каждой из которых требуется разная информация для обеспечения ее рабочих характеристик. При этом различная информация может быть кодирована на сетке и/или в разных положениях на сетке. Например, разные типы данных, требуемых для задачи последующей обработки, могут быть кодированы в разных областях сетки таким образом, что разные задачи последующей обработки могут применяться к разным областям сетки после сегментирования нового изображения.

В примерных вариантах воплощения сегментируемый на изображении объект представляет собой сердце, и информация, требуемая для задачи последующей обработки, представляет собой положения отверстий такие, что задача последующей обработки состоит в установлении положения отверстий, наличие коронарного сосуда так, что задача последующей обработки представляет собой отслеживание или сегментацию сосуда, местоположение областей сердца, к которым требуется прикладывать утонченную сегментацию, и идентификацию области клапана в сердце, которая должна быть искусственно уплощена. Информация, требуемая для задачи последующей обработки, возможно, но не обязательно, может быть получена на основе сегментирования тренировочного изображения (изображений). В качестве альтернативы она может быть основана на знании анатомии пользователем и на основе его навыков при идентификации требуемой информации.

Для определения положения отверстий информация, кодированная на сетке, представляет собой идентификацию треугольников или вершин сетки в пределах заданного расстояния до фактического положения отверстия на тренировочном изображении (изображениях), причем сетку кодируют с идентифицированными треугольниками или вершинами, и расстоянием между каждым треугольником или вершинами, и положением отверстия. Задача последующей обработки может представлять собой выполнение алгоритма для анализа идентифицированных треугольников или вершин для определения вероятности того, что отверстие присутствуют здесь или там. Кроме того, дополнительная задача последующей обработки может представлять собой выполнение алгоритма коронарного дерева, который мог бы получать в качестве входных данных затравочные точки, полученные в результате определения положения отверстия. В этом случае можно отображать изображение, которое было получено из исходного изображения и на котором представлено положение отверстия, возможно разграниченное, очерченное или другим способом выделенное от остальной части изображения.

При отслеживании сосуда информация, кодированная на сетке, представляет собой вероятность каждого треугольника или вершины сетки, содержащей поверхность, близко к которой располагается коронарный сосуд, то есть в пределах заданного расстояния или порогового расстояния. Задача последующей обработки затем может представлять собой выполнение алгоритма, который анализирует только те части изображения, то есть наборы данных, которые с высокой вероятностью содержат поверхности, близко к которым располагается коронарный сосуд. Эта информация также может представлять собой значение расстояния между каждым треугольником или вершиной сетки и координатами коронарного сосуда. В таком случае задача последующей обработки представляет собой выполнение алгоритма для анализа только части изображения, то есть наборов данных в пределах заданного расстояния от координат коронарного сосуда, причем такое расстояние может быть увеличено в зависимости от результатов выполнения алгоритма. Изображение, представляющее положение одного или больше коронарных сосудов, возможно разграниченное, очерченное или другим образом выделенное на фоне остальных частей изображения, таким образом может быть сформировано и может быть представлено, будучи выведенным или полученным из исходного изображения сердца.

Для более тонкого сегментирования, которое является характерным для данных исследований и которое применятся после любой формы сегментирования изображения с использованием сетки, информация, кодированная на сетке, представляет собой идентификацию областей сетки, подвергаемых более тонкому сегментированию, при этом сетку кодируют с треугольниками или вершинами в каждой идентифицированной области. Задача последующей обработки может представлять собой выполнение алгоритма более тонкого сегментирования для дополнительного сегментирования части изображения, представленного кодированными треугольниками или вершинами.

Для уплощения области клапана информация, кодированная на сетке, представляет собой идентификацию треугольников или вершин в области района клапана, который должен быть уплощен с использованием задачи последующей обработки, которая представляет собой выполнение алгоритма уплощения для сдвига идентифицированных треугольников или вершин.

Система обработки изображений в соответствии с изобретением, которая позволяет выполнять описанные выше способы, включает в себя устройство получения изображений, предназначенное для получения изображений объектов, предназначенных для обработки, дисплей для отображения изображений, полученных устройством получения изображений, до и после обработки, модуль обработки, соединенный с устройством получения изображений, дисплеем и модулем обработки, и интерфейс пользователя, предназначенный для управления устройством получения изображений и модулем обработки. Модуль обработки позволяет через интерфейс пользователя инициировать получение изображений, инициировать сегментацию на основе модели сетки объекта изображения, идентифицировать задачу последующей обработки, которая должна быть выполнена после сегментирования объекта, используя сетку, и определять информацию, требуемую для задачи последующей обработки. Затем модуль обработки кодирует информацию, определенную по сетке, выполняет сегментацию объекта в новом изображении, полученном с помощью устройства получения изображений с использованием сетки, с кодированной информацией, автоматически выполняет задачи последующей обработки путем выделения кодированной информации из сетки и отображает изображение после последующей обработки на дисплее. Отображаемое изображение таким образом получают из исходного изображения и оно отражает выполнение задачи последующей обработки. Если одно или больше тренировочных изображений используют для определения информации, требуемой для задачи последующей обработки, модуль обработки также позволяет получать тренировочное изображение (изображения) с помощью устройства получения изображений, сегментирования объекта в тренировочном изображении (изображениях), полученном устройством получения изображений с использованием сетки, и извлекать информацию на основе сегментирования тренировочного изображения (изображений).

Изобретение также направлено на считываемый компьютером носитель информации, который воплощает программное средство, позволяющее выполнять этапы способа. С этой целью считываемый компьютером носитель информации выполняет обработку изображения в системе обработки изображений, включающей в себя устройство получения изображений, для получения изображения обрабатываемого объекта, отображения отображаемых изображений, полученных устройством получения изображений, до и после обработки, и формирует интерфейс пользователя для управления устройством получения изображений. Носитель выполнен с возможностью инициирования получения изображений через интерфейс пользователя, инициирования сегментирования на основе модели сетки объекта в изображении через интерфейс пользователя, идентификации задачи последующей обработки, выполняемой после сегментирования объекта с использованием сетки через интерфейс пользователя, определения информации, требуемой для задачи последующей обработки через интерфейс пользователя, кодирования полученной информации на сетке, сегментирования объекта в новом изображении, полученном устройством получения изображений, с использованием сетки с кодированной информацией, автоматического выполнения задачи последующей обработки путем выделения кодированной информации из сетки и отображения изображения после последующей обработки на дисплее. Отображаемое изображение получают из исходного изображения и оно отражает выполнение задачи последующей обработки. Одно или больше тренировочных изображений используют для определения информации, требуемой для задачи последующей обработки, причем носитель информации дополнительно выполнен с возможностью получения тренировочного изображения (изображений) с помощью устройства получения изображений, сегментирования объекта тренировочного изображении (изображений), полученных устройством получения изображений, с помощью сетки и получения информации на основе сегментирования учебного тренировочного изображения (изображений).

Изобретение вместе с другими его объектами и преимуществами лучше всего будет понятно из следующего описания, которое следует рассматривать совместно с приложенными чертежами, на которых одинаковыми номерами ссылочных позиций обозначены аналогичные элементы.

На фиг. 1 схематично показано представление компоновки для обработки изображения в соответствии с изобретением, которая позволяет выполнять способ в соответствии с изобретением.

На фиг. 2 показана блок-схема последовательности выполнения операций способа, способствующего последующей обработке изображений с использованием деформируемой сетки, в соответствии с изобретением.

Как показано на приложенных чертежах, на которых одинаковыми номерами ссылочных позиций обозначены одинаковые или аналогичные элементы, на фиг. 1 представлено упрощенное схематичное представление варианта воплощения системы 10 обработки изображений, которая выполнена с возможностью применения способов обработки изображения в соответствии с изобретением. Система 10 включает в себя устройство 12 получения изображений, которое получает изображение, подвергаемое обработке, для получения из него информации. Устройство 12 получения изображений может представлять собой ультразвуковое устройство формирования изображений, которое получает ультразвуковые изображения, включающие в себя орган, представляющий интерес, и информацию о котором ищут с помощью приложения обработки изображения. Дополнительные устройства получения изображений, применимые для использования с изобретением, включают в себя устройство СТ (КТ, компьютерная томография), устройство MRI (ОМР, отображение магнитного резонанса) и т.п.

Система 10 включает в себя модуль 14 обработки, соединенный с устройством 12 получения изображений и который получает из него изображения в электронной форме. Модуль 14 обработки может управлять устройством 12 получения изображений для получения изображений по команде. Модуль 14 обработки включает в себя типичные аппаратные компоненты, такие как компонент памяти и программное средство, которые позволяют с его помощью, помимо прочего, сегментировать изображение с помощью деформируемой сетки, сохранять сетку и применять эту сетку к другому изображению. Программное средство записано на носителе информации, считываемом компьютером, резидентно установлено в модуле 14 обработки, который обеспечивает для модуля 14 обработки возможность управления различными компонентами системы 10, для выполнения этапов способов в соответствии с описанным ниже изобретением.

Дисплей 16 также соединен с модулем 14 обработки и представляет изображение, получаемое устройством 12 получения изображений, или изображение, получаемое модулем 14 обработки, из изображения, загруженного устройством 12 получения изображений. Изображение, полученное модулем 14 обработки, может представлять собой производное исходного изображения, которое получают после применения приложения для решения задачи последующей обработки, таким образом, как описано ниже. Исходное изображение не обязательно изменяется, а скорее из него получают дополнительные изображения. Исходное изображение, полученное устройством 12 получения изображений, например, с помощью сканера, может представлять собой трехмерное изображение, в то время как дополнительные изображения, отображаемые на дисплее 16 и получаемые после применения процесса сегментирования и задачи последующей обработки, описанной ниже, могут представлять собой трехмерное представление визуализации или в качестве альтернативы срез через объем или изображения другого типа.

Интерфейс 18 пользователя соединен с модулем 14 обработки для управления модулем 14 обработки, например для управления изображениями, получаемыми модулем 14 обработки, из изображений, полученных устройством 12 получения изображений. Интерфейс 18 пользователя также может осуществлять управление устройством 12 получения изображений через модуль 14 обработки. Таким образом, интерфейс 18 пользователя используется для определения задач получения изображений, которые должны выполняться устройством 12 получения изображений, и задач обработки изображения, которые должны выполняться модулем 14 обработки.

Рассмотрим теперь фиг. 2, на которой при использовании системы 10 показан способ, способствующий последующей обработке изображений, с использованием деформируемых сеток в соответствии с изобретением, включающий в себя этап подготовки и этап операции. На этапе подготовки способ включает получение тренировочного изображения 20, которое содержит анализируемый объект, из устройства 12 получения изображений и идентифицирует специфичную задачу последующей обработки, которая должна быть выполнена в отношении объекта на изображении 22. После этого определяется 24 информация, требуемая для автоматического выполнения такой задачи последующей обработки. Различные элементы информации, необходимой для различных задач последующей обработки, описаны ниже.

Изображение полностью или только объект тренировочного изображения сегментируют с помощью деформируемой или адаптивной сетки 26. Способ, с помощью которого объект может быть определен и сегментирован с использованием деформируемой или адаптивной сетки, хорошо известен в области техники, на которую направлено изобретение.

После сегментирования объекта с помощью сетки информацию, необходимую для задачи последующей обработки, получают 28 и вставляют в сетку 30. Обычно информацию кодируют по сетке, то есть определенные части информации ассоциируют с каждым треугольником или вершиной сетки. Сетку также можно рассматривать, как помеченную той информацией, которая была прикреплена к ней, для ее идентификации. Информация может представлять собой значение, представляющее возможность или вероятность того, что треугольник или вершина содержит объект, представляющий интерес, и значение, представляющее расстояние между треугольником или вершиной и местоположением, представляющим интерес, на изображении. Либо одна часть информация может быть ассоциирована с каждым треугольником или вершиной, или множество частей информации могут быть ассоциированы с каждым треугольником или вершиной.

Основной вариант воплощения концепции кодирования состоит в том, чтобы перечислить список треугольников или вершин сетки, которые требуется рассмотреть в задаче последующей обработки. Такой список или конкретные треугольники или вершины сетки можно было бы кодировать по сетке или в противном случае отдельно от сетки. Кроме того, дополнительная информация, такая как, например, карта расстояния или некоторые значения вероятности для каждого перечисленного треугольника или вершины, может быть кодирована по сетке. Другие примеры дополнительной информации могут представлять собой радиус локально ожидаемого сосуда и/или его ориентацию.

После кодирования информации по сетке сетка с соответствующей информацией, в случае необходимости, сохраняется 32 в модуле 14 обработки.

Одно основное свойство деформируемых сеток, используемых в изобретении, состоит в том, что структура (топология) сетки является фиксированной во время адаптации к новому сегментируемому изображению. Такая инвариантность является важной для обеспечения информации, требуемой для задач последующей обработки изображения, кодируемой по сетке. Например, если задача последующей обработки подразумевает поиск определенного представляющего интерес объекта или структуры, треугольники деформируемой сетки могут быть кодированы информацией, находится ли каждый из них в пределах установленного расстояния от этой структуры. Как описано в примерах, представленных ниже, такие структуры могут представлять собой отверстия, в которых коронарные артерии ответвляются от аорты или типичного места расположения коронарных артерий на стенке эпикарда.

В качестве альтернативы использованию тренировочных изображений для получения информации, требуемой для задачи последующей обработки, возможно определить информацию, требуемую для задачи последующей обработки, на основе знаний пользователем анатомии. Пользователь может иметь достаточный уровень профессиональных знаний и может быть способен назначать соответствующий список треугольников или вершин ранее существовавшей сетки, необходимых для обеспечения выполнения задачи последующей обработки, без необходимости сегментирования тренировочного изображения. В этом случае этапы 20, 26 и 28 способа, показанные на фиг. 2, не нужны, и способ продолжится от определения информации, требуемой для задачи 24 последующей обработки, непосредственно до кодирования этой информации по сетке 30.

На этапе операций, когда новое изображение требуется подвергнуть той же задаче последующей обработки, для которой информация, обеспечивающая возможность автоматического ее применения, была кодирована по сетке, новое изображение получают 34, и изображение или только его объект сегментируют 36, используя ту же сетку, которая использовалась для сегментирования объекта в тренировочном изображении, то есть сетку применяют к объекту в каждом дополнительном изображении. Информацию для задачи последующей обработки выделяют 38 из сетки, и задачу последующей обработки автоматически выполняют 40, используя выделенную информацию. Перед адаптацией сетки к новому изображению может быть выполнено определение, следует ли подвергнуть новое изображение, полученное устройством 12 получения изображений, той же задаче последующей обработки, для которой информация, обеспечивающая автоматическое его применение, была кодирована по сетке. Если нет, идентифицируют другую задачу последующей обработки, и информацию, обеспечивающую эту новую задачу последующей обработки, идентифицируют и выполняют способ соответствующим образом.

После выполнения задачи 40 последующей обработки модифицированные изображения, полученные модулем 14 обработки, могут отображаться 42 на дисплее 18. Модифицированные изображения получают как из исходного изображения, полученного устройством 12 получения изображений, так и из информации, кодированной с помощью сетки. Используя оба эти источника для генерирования модифицированного изображения, получают улучшения при анализе органа на изображении, включающие в себя скорость, с которой можно анализировать орган, ясное представление органа и отображение частей органа, которые представляют интерес, с целью просмотра.

Выделенную информацию предназначают для помощи и ускоренного выполнения задачи последующей обработки благодаря предоставлению информации, необходимой для инициирования задачи последующей обработки. Поскольку такая информация доступна непосредственно после применения сетки к новому изображению и сегментирования его объектов, не требуется взаимодействие с пользователем для инициирования задачи последующей обработки. Устранение такого взаимодействия с пользователем автоматизирует задачу последующей обработки, в результате чего повышается эффективность работы персонала, обрабатывающего изображения, повышается простота использования устройства получения изображений и устройства обработки изображения, что приводит к меньшему количеству или отсутствию ошибок в приложении задачи последующей обработки, и позволяет работать приложению изображения с более сложными задачами последующей обработки.

Информация, кодированная по сетке, может представлять собой различные типы данных, необходимых для задачи последующей обработки, и эти различные типы данных могут быть кодированы в различных областях сетки, обеспечивая эффективность разных алгоритмов последующей обработки в разных областях сетки. Таким образом, один алгоритм последующей обработки может выполнять свою функцию в одной области сетки и для одного типа данных, что позволяет кодировать автоматическое выполнение этого алгоритма в соответствующей области сетки, в то время как другой алгоритм последующей обработки может выполнять свою функцию в другой области сетки и для другого типа данных, что позволяет кодировать автоматическое выполнение этого алгоритма в соответствующей области сетки. При этом не исключается, что области могут перекрываться, и два разных типа данных могут быть кодированы в одной и той же части сетки, то есть один или больше треугольников или вершин ассоциированы с двумя или больше разными типами данных.

Информация, кодированная по сетке, также может содержать регионально изменяющиеся параметры, которые управляют алгоритмом последующей обработки, то есть параметры, ассоциированные с треугольниками, и/или вершины сетки будут неодинаковыми во всех треугольниках и вершинах.

Информация кодирования по сетке позволяет предпочтительно использовать полученные ранее знания о типичном местоположении органов или анатомических структур, которые должны быть внедрены в сетку, таким образом, что после применения сетки к сегменту аналогичного органа или анатомической структуре требуется меньшее взаимодействие с пользователем, или не требуется вообще.

Первичное применение изобретения связано с сегментированием и интерпретацией сложных органов и соответствующих анатомических структур. Это включает в себя, но не ограничивается этим, применение для исследований сердца, при которых исходная сегментация камер миокарда и крупных сосудов (аорты, легочной артерии и т.д.) используется как начальная точка для задач последующей обработки.

Примеры использования способа для различных задач последующей обработки, относящихся к обработке изображения сердца, описаны ниже. В частности, представлены четыре примера задач последующей обработки, выполняемых в связи с сегментированием сердца, а именно установление положения коронарного отверстия, отслеживание коронарного сосуда, улучшенная сегментация и виртуальное закрытие открытых клапанов сердца.

Что касается установления положения отверстия, отверстия обычно определены как несколько утолщенные, разветвляющиеся области на стенке аорты, в которых две основные коронарные артерии, одна левая и одна правая, ответвляются или выходят из аорты. Возможные положения отверстия обычно ограничиваются областью, близкой к верхней стенке аорты, то есть несколько выше клапана аорты, где аорта соединяется с левым желудочком.

Установление положений отверстия является полезным, поскольку положения отверстия можно использовать как затравочные точки для последующего алгоритма выделения коронарного дерева. В этом случае выполняемая задача последующей обработки может представлять собой приложение алгоритма выделения коронарного дерева, для которого требуется информация о положении отверстий. В предшествующем уровне техники было необходимо, чтобы пользователь вручную определял положение затравочных точек для алгоритма выделения коронарного дерева, то есть выполнял манипуляции с устройством интерфейса пользователя для идентификации затравочных точек. В отличие от этого в изобретении положение затравочных точек получают из информации, кодированной по сетке, таким образом, что алгоритм выделения коронарного дерева может автоматически получать положение затравочных точек непосредственно после применения сетки к изображению сердца (сердце сегментируют, используя сетку). Поэтому после применения сетки к изображению, содержащему сердце, и после сегментирования камер сердца и соединенной с ним аорты становится возможным ограничить возможные места расположения отверстий и таким образом более просто идентифицировать затравочные точки для алгоритма выделения коронарного дерева.

Кодирование необходимой информации для определения мест расположения отверстий получают путем первоначальной идентификации треугольников сетки, которые расположены достаточно близко к фактическому положению отверстия в анализируемом изображении или изображениях, то есть на тренировочном изображении (изображениях). Один или больше наборов данных формируют по идентифицированным треугольникам сетки. Треугольники сетки, которые находятся на малом расстоянии от наблюдаемых положений отверстия, также включены в набор (наборы) данных для учета расплывчатых изображений. Идентифицированные треугольники перечисляют, например, в файле данных. Используя эти треугольники, информация расстояния между треугольником и положениями отверстия может быть включена, и действительно предпочтительно будет включена информация расстояния для тех треугольников, которые находятся в непосредственной близости к известным отверстиям анализируемых изображений. Информация расстояния будет использоваться при поиске отверстий в новых изображениях, содержащих сердце, и к которым применена сетка.

Сетка будет поэтому включать в себя не только способ, с помощью которого требуется сегментировать сердце, но также ассоциированный список треугольников на сетке, которые были определены как находящиеся в непосредственной близости к отверстиям на тренировочном изображении (изображениях). Под непосредственной близостью к отверстиям подразумевают заданное расстояние до отверстий и это расстояние может быть легко установлено специалистом в данной области техники.

После формирования списка разрешенных или приемлемых треугольников сетки и кодирования их на сетке кодированную информацию применяют следующим образом. Новое изображение, содержащее сердце, сегментируют, используя модель сетки, которая включает в себя те части аорты, где, как ожидается, расположены отверстия. Области, расположенные в непосредственной близости к перечисленным треугольникам, то есть области, которые обычно находятся за пределами аорты, автоматически обрабатывают с помощью соответствующего алгоритма, и делается попытка максимизации некоторых критериев, характеризующих коронарный сосуд, в частности коронарную артерию, на изображении. Например, можно использовать вероятность присутствия сосуда или некоторые другие критерии. Это критерии, то есть вероятность присутствия сосуда, могут быть скомбинированы с информацией о том, насколько вероятно треугольник расположен в непосредственной близости к соответствующему отверстию. Это ограничивает и фокусирует поиск в направлении идентификации сосудов, расположенных близко к наиболее вероятному треугольнику, имеющему наибольшее количество коронарных артерий, ответвляющихся от аорты, таким образом, что в результате улучшается выбор наилучшего отверстия-кандидата, то есть выбор треугольника или вершины, которая наиболее вероятно содержит отверстие.

В случае необходимости специально разработанные критерии вероятности присутствия сосуда могут быть кодированы для каждого отдельного треугольника, поиск которого осуществляется, то есть информация, кодированная по сетке, представляет собой не только расстояние или информацию о вероятности присутствия отверстий, но также и некоторые характеристики артерии для разных областей отверстия. Этот вариант предлагает номинальное преимущество, когда левая и правая коронарные артерии имеют аналогичные характеристики, но в других случаях применения, например, когда ищут положение двух объектов, таких как органы, и объекты не имеют аналогичные характеристики, этот вариант мог бы быть полезным.

В качестве альтернативы каждый треугольник или вершина могут быть кодированы с помощью индивидуально настроенного алгоритма. То есть когда сетку применяют к новому изображению, выполняют множество разных алгоритмов, один для каждого треугольника или вершины, с целью идентифицировать, который треугольник или вершина содержит или вероятно содержит один из коронарных сосудов, присутствие которого предоставляет информацию о положении отверстий или о самих отверстиях.

При применении задачи последующей обработки для определения положения отверстий автоматически формируется новое изображение, представляющее положение отверстия на основе исходного изображения, или полученное из исходного изображения. Предпочтительно отверстия разграничены или очерчены для отличия их от остальных частей нового изображения.

Второй вариант воплощения способа в соответствии с изобретением представляет собой сегментирование и отслеживание коронарных сосудов, то есть коронарных артерий и вен. При анализе изображения сердца, после сегментирования сердца и его камер обычно выполняют поиск коронарных артерий и/или вен и после определения их местоположения коронарные артерии сегментируют. Сегментирование коронарных артерий является трудной задачей, поскольку они имеют очень малые размеры, то есть размеры, как правило, близкие к разрешающей способности изображения, близкие к размерам паразитных изображений, стенозов, и множества дающих неправильную информацию структур на изображениях сердца.

Применяя способ в соответствии с изобретением для сегментирования и отслеживания коронарного сосуда, становится возможным ограничить пространство поиска коронарных артерий и вен тонким слоем вокруг миокарда, поскольку как известно, они располагаются рядом со стенкой эпикарда. Более конкретно пространство поиска для коронарных артерий и вен на изображении сердца и в окружающей его области ограничивается или фокусируется на отслеживании сосуда, используя ранее полученную информацию о взаимозависимости между сегментированной структурой (сердцем) и сосудом (сосудами), для которых был выполнен поиск в сегментированной структуре.

В случае коронарных артерий известно, что коронарные артерии располагаются близко к стенке эпикарда, и также может быть получено распределение вероятности на этой стенке, поскольку основные артерии обычно располагаются в хорошо ограниченных областях, например в канавках между предсердием и соответствующим желудочком.

Кодирование ранее полученной информации об ожидаемых местах расположения или областях расположения коронарных сосудов на сетке поэтому является важным для улучшения эффективности алгоритмов сегментирования, выполнение которых способствует задаче последующей обработки. Способ поэтому включает в себя анализ одного или больше тренировочных изображений, содержащих сердце, и генерирование вручную координат дерева коронарной артерии. Координаты дерева коронарной артерии представляют собой группу координат центральных линий артерий.

После того как координаты дерева коронарной артерии будут определены по анализируемому тренировочному изображению (изображениям), выполняют анализ взаимозависимости между координатами и каждым треугольником или вершиной сетки с целью расчета вероятности того, что каждый треугольник или вершина включает в себя поверхность эпикарда, на которой расположены коронарные артерии. В дополнение к или вместо расчета вероятности, что каждый треугольник или вершина включает в себя поверхность эпикарда, возможно рассчитать расстояние между каждым треугольником или вершиной сетки и координатами.

Информацию, представляющую вероятность того, что каждый треугольник или вершина содержит поверхность эпикарда и/или информацию о расстоянии между каждым треугольником или вершиной и координатами, кодируют на сетке. Таким образом, список треугольников или вершин генерируют и ассоциируют с полученной информацией.

После применения сетки к новому изображению, содержащему сердце и в котором выполняется поиск мест расположения коронарных артерий, информацию, кодированную по сетке, эксплуатируют для ограничения или фокусировки поиска коронарных артерий в новом изображении, до сегментирования дерева коронарной артерии. Алгоритм сегментирования выполняется автоматически на этих участках нового изображения, поиск в которых осуществляется с минимальным взаимодействием с пользователем или без взаимодействия с пользователем вообще для сегментирования коронарной артерии на основе информации о вероятности того, что каждый треугольник или вершина содержит поверхность эпикарда, и/или информации о расстоянии между каждым треугольником или верхушкой и координатами центральных линий артерий.

При применении задачи последующей обработки, связанной с сегментированием и отслеживанием, автоматически формируется новое изображение, представляющее один или больше коронарных сосудов, полученное на основе или из исходного изображения. Каждый коронарный сосуд может быть разграничен или очерчен для отличия его от остальных частей изображения.

Сегментация дерева коронарной артерии также предпочтительно может быть инициирована с использованием затравочных точек, полученных в результате применения способа поиска отверстий, как описано выше.

Другой вариант применения способа в соответствии с изобретением направлен на очистку сегментирования сердца, используя определенные алгоритмы, например для соответствующего учета папиллярных мышц. Его также можно назвать тонким сегментированием, поскольку его получают после исходного сегментирования сердца.

В некоторых приложениях требуется очень подробная сегментация определенных анатомических структур, например подробная сегментация структур сердца. Например, при планировании электрофизиологического лечения важно иметь очень точную информацию о геометрии левого предсердия и соединенных с ним сосудов. В других приложениях может потребоваться тонкое сегментирование папиллярных мышц в желудочках, которое часто не получается при использовании первоначального сегментирования камеры сердца.

Применяемый для тонкого сегментирования сердца, в качестве одного неограничительного типа анатомической структуры, способ в соответствии с изобретением позволяет идентифицировать области сердца, которые должны быть обработаны в последующем, применяя к ним улучшенную сегментацию, с последующим маркированием треугольников или вершин сетки в этой области соответствующим образом. Затем определяют задачу последующей обработки, выполняемую для каждой из маркированных частей сетки. Таким образом идентифицируют список треугольников или вершин сетки, как требующих применения алгоритма улучшенного сегментирования так, что когда сетку применяют к другому сердцу, каждый из алгоритмов сегментирования можно применять к этим треугольникам или вершинам, ассоциированным с ними.

Один пример улучшенного сегментирования, начинающегося с областей, определенных сегментированием на основе исходной модели сетки, состоит в том, что вначале определяют области, окруженные поверхностями сетки, например объем левого желудочка или миокарда, с последующим переназначением элементов объемного изображения на границах или рядом с границами области между первой областью и второй областью, если это повышает условие однородности, определенное по всем элементам объемного изображения для первой и второй областей. Условие однородности позволяет измерять распределение серых значений в пределах первой и второй областей, и последующее назначение из одной области в другую выполняют, когда распределение становится более однородным. Алгоритм сегментирования может быть разработан для выполнения такого переназначения объемных элементов изображения для таких треугольников или вершин, к которым он применяется.

После сегментирования нового изображения, используя сегментирование на основе модели сетки, каждый алгоритм улучшенного сегментирования автоматически выполняется в этих определенных областях, окруженных поверхностями сетки и/или отдельными треугольниками. Таким образом, выполнение алгоритмов улучшенного сегментирования не требует взаимодействия с пользователем, и в анализатор изображения может автоматически быть предоставлено изображение, в котором, например, геометрия левого предсердия и соединенных сосудов отображается на дисплее с лучшей ясностью представления по сравнению со случаем, в котором они могли бы быть отображены после сегментации только на основе модели сетки. Такую улучшенную ясность изображения получают в результате выполнения улучшенного алгоритма (алгоритмов) сегментирования.

Еще один вариант применения способа в соответствии с изобретением направлен на виртуальное закрытие клапанов сердца, которые открыты во время сжатия предсердия. Этот аспект является важным для получения, по существу, фиксированного объема желудочка для измерений фракции выброса.

Во время сердечного цикла клапаны между предсердием и желудочком, а именно митральный клапан между левыми камерами сердца и трехстворчатый клапан между правыми камерами сердца циклически открываются, обеспечивая возможность потока крови из предсердия в желудочек, и закрывается для предотвращения потока крови обратно в предсердие во время систолы. Измерения фракции выброса основаны на объеме желудочка во время сердечного цикла, и при этом важно иметь хорошо определенный контур желудочка. В соответствии с протоколами кардиологических измерений желудочек "виртуально закрывают" даже при открытых клапанах сердца на основе клапана, с использованием "уплощенного виртуального клапана", который соответствует положению покоя клапана, когда кровь не поступает из предсердия в желудочек. Однако хорошо настроенные модели часто позволяют получить сегментацию открытых клапанов, которые не соответствуют виртуально закрытым клапанам, используемым для измерений.

Поэтому в данном случае задача последующей обработки состоит в замене адаптированных частей поверхности модели, представляющих открытый клапан, поверхностью, имитирующей виртуально закрытый клапан, который является как можно более плоским. Применяя способ в соответствии с изобретением, идентифицируют треугольники и/или вершины области клапанов, которые требуется сделать "плоскими" во время последующей обработки, и формируют список этих треугольников или вершин. Уплощение участков сердца в этих треугольниках или вершинах представляет собой задачу последующей обработки для рассматриваемого клапана.

После сегментирования или адаптации модели сетки для сердца применяют уплощение, обеспечивая состояние покоя поверхности триангулированной модели, путем сдвига перечисленных вершин таким образом, чтобы сумма квадратов длин кромок всех треугольников клапана была минимизированной. Вершины, не включенные в этот список, остаются фиксированными так, что клапан моделируют как упругий лист, который стремится минимизировать свое поверхностное натяжение.

Применяя задачу последующей обработки, состоящей в виртуальном закрытии клапана, новое изображение, представляющее уплощенный клапан, может быть автоматически сформировано на основе исходного изображения или может быть получено из исходного изображения.

Как описано выше, изобретение направлено на интерфейс между исходным, успешно выполненным сегментированием анатомической структуры, такой как орган, для связанных задач обработки изображений аналогичных органов, причем связанные задачи обработки изображений могут быть выполнены или могут быть улучшены с использованием успешного исходного сегментирования и информации о связи, предоставляемой кодированной сеткой, применяемой при сегментирования аналогичных органов.

Система и способы, описанные выше, особенно пригодны для адаптации программных средств в виде пакетов CAD (САПР, система автоматизированного проектирования), таких как исследование сердца с помощью компьютерной томографии и пакеты планирования операций, таких как EP планирование.

Хотя представленные варианты воплощения и варианты выполнения настоящего изобретения были описаны здесь со ссылкой на приложенные чертежи, следует понимать, что изобретение не ограничивается этими точными вариантами воплощения и что различные другие изменения и модификации могут быть выполнены в нем специалистом в данной области техники, без выхода за пределы объема и сущности изобретения.

Изобретение относится к способам улучшения последующей обработки изображений с использованием деформируемых сеток. Техническим результатом является улучшение простоты использования продукта анализа изображения, уменьшение количества ошибок и расширение технических возможностей продукта анализа изображения. Способ ускорения последующей обработки объекта в виде изображения, сегментируемого с использованием сетки, содержит этапы, на которых идентифицируют задачу последующей обработки, которая должна быть выполнена в отношении объекта после сегментирования с использованием сетки (22), определяют информацию, требуемую для задачи (24) последующей обработки, кодируют информацию по сетке (30), сегментируют объект в новом изображении с использованием сетки с кодированной информацией (36) и выполняют задачу последующей обработки, выделяя кодированную информацию из сетки (40). Информация может быть прикреплена к сетке после ее создания, например после сегментирования того же объекта в некотором тренировочном изображении. Задача последующей обработки поэтому может выполняться автоматически, без взаимодействия с пользователем, после сегментирования объекта в дополнительном изображении. 4 н. и 17 з.п. ф-лы, 2 ил.

1. Способ ускорения последующей обработки объекта изображения, сегментируемого с использованием сетки, содержащий этапы, на которых:
идентифицируют задачу последующей обработки, которая должна быть выполнена в отношении объекта после сегментирования, с использованием сетки (22);
определяют информацию, требуемую для задачи (24) последующей обработки;
кодируют информацию по сетке (30);
сегментируют объект в новом изображении с использованием сетки с кодированной информацией (36); и
выполняют задачу последующей обработки, выделяя кодированную информацию из сетки (40).

2. Способ по п.1, в котором информация, требуемая для задачи последующей обработки, представляет собой список треугольников или вершин сетки, для которых может быть выполнена задача последующей обработки.

3. Способ по п.1, в котором информация, требуемая для задачи последующей обработки, представляет собой значение расстояния, представляющее расстояние между каждым треугольником или вершиной сетки и объектом, представляющим интерес для задачи последующей обработки.

4. Способ по п.1, в котором информация, требуемая для задачи последующей обработки, представляет собой функцию вероятности, представляющую вероятность полезности каждого треугольника или вершины сетки для задачи последующей обработки.

5. Способ по п.1, в котором этап определения информации, требуемой для задачи последующей обработки, содержит: получают, по меньшей мере, одно тренировочное изображение, включающее в себя объект (20), сегментируют объект, по меньшей мере, в одном тренировочном изображении с помощью сетки (26) и получают информацию на основе сегментирования, по меньшей мере, одного тренировочного изображения (28).

6. Способ по п.1, дополнительно содержащий этап, на котором определяют множество задач последующей обработки, каждая из которых имеет разную требуемую информацию для обеспечения ее выполнения.

7. Способ по п.1, в котором задачу последующей обработки выполняют автоматически, без взаимодействия с пользователем после сегментирования объекта в новом изображении.

8. Способ по п.1, в котором кодирование информации по сетке содержит кодирование различных типов данных, требуемых для задачи последующей обработки в разных областях сетки таким образом, что разные задачи последующей обработки применяют к разным областям сетки.

9. Способ по п.1, в котором задача последующей обработки включает в себя выполнение алгоритма последующей обработки, и кодирование информации по сетке содержит этап, на котором кодируют регионально изменяющийся параметр, который управляет алгоритмом последующей обработки.

10. Способ по п.1, в котором объект в изображении представляет собой сердце, информация, требуемая для задачи последующей обработки, представляет собой идентификацию треугольников или вершин сетки в пределах заданного расстояния до фактических положений отверстия, сетку кодируют с идентифицированными треугольниками или вершинами и расстоянием между каждым треугольником или вершинами и положением отверстия, выполнение задачи последующей обработки содержит: выполняют алгоритм для анализа идентифицированных треугольников или вершин для определения вероятности того, что отверстие присутствует в нем или на нем.

11. Способ по п.1, в котором объект изображения представляет собой сердце, информация, требуемая для задачи последующей обработки, представляет собой вероятность того, что каждый треугольник или вершина сетки содержит поверхность, близко на которой расположен коронарный сосуд, выполняют задачу последующей обработки, содержащую выполнение алгоритма для анализа только тех треугольников или вершин, которые с высокой вероятностью содержат поверхность, близко к которой расположен коронарный сосуд.

12. Способ по п.11, в котором информация, требуемая для задачи последующей обработки, представляет собой расстояние между каждым треугольником или вершиной сетки и координатами коронарного сосуда, причем выполнение задачи последующей обработки содержит этап, на котором выполняют алгоритм для анализа только тех треугольников или вершин, которые находятся в пределах заданного расстояния от координат коронарного сосуда.

13. Способ по п.1, в котором информация, требуемая для задачи последующей обработки, представляет собой идентификацию областей сетки, которые подвергают улучшенному сегментированию, при этом сетка кодируется треугольниками или вершинами в каждой идентифицированной области, выполняют задачу последующей обработки, содержащую выполнение улучшенного алгоритма сегментирования для дополнительного сегментирования части изображения, представленного кодированными треугольниками или вершинами.

14. Способ по п.1, в котором объект изображения представляет собой сердце, информация, требуемая для задачи последующей обработки, представляет собой идентификацию треугольников или вершин в области клапана, который будет искусственно уплощен, выполняют задачу последующей обработки, содержащую выполнение алгоритма уплощения, для сдвига идентифицированных треугольников или вершин.

15. Способ обработки изображения и отображения обработанного изображения, содержащий:
на подготовительном этапе
идентифицируют задачу обработки, которая должна быть выполнена в отношении объекта после сегментирования с использованием сетки (22), определяют информацию, требуемую для задачи (24) обработки, и
кодируют информацию по сетке (30); и
на операционном этапе
получают новое изображение, содержащее тот же объект (34),
сегментируют объект на новом изображении, используя сетку с кодированной информацией (36),
выполняют задачу обработки путем выделения кодированной информации из сетки (38, 40), и
отображают отклонение нового изображения, модифицированного при выполнении задачи (42) обработки.

16. Способ по п.15, в котором этап определения информации, требуемой для задачи обработки, содержит этапы, на которых: получают, по меньшей мере, одно тренировочное изображение, включающее с себя объект (20), сегментируют объект на, по меньшей мере, одном тренировочном изображении с помощью сетки (26) и получают информацию на основе сегментирования, по меньшей мере, одного тренировочного изображения (28).

17. Способ по п.15, в котором информация, требуемая для задачи обработки, представляет собой список треугольников или вершин сетки, для которых будет выполнена задача обработки.

18. Способ по п.15, в котором информация, требуемая для задачи обработки, представляет собой значение расстояния, представляющего расстояние между каждым треугольником или вершиной сетки и объектом, представляющим интерес для задачи обработки.

19. Способ по п.15, в котором информация, требуемая для задачи обработки, представляет собой функцию вероятности, представляющую вероятность полезности каждого треугольника или вершины сетки для задачи обработки.

20. Система обработки изображений (10), содержащая:
устройство (12) получения изображений, предназначенное для получения изображений объектов, предназначенных для обработки;
дисплей (16), предназначенный для отображения изображений, получаемых упомянутым устройством (12) получения изображений до и после обработки;
модуль (14) обработки, соединенный с упомянутым устройством (12) получения изображений и упомянутым дисплеем (16); и интерфейс (18) пользователя, предназначенный для управления упомянутым устройством (12) получения изображений и упомянутым модулем (14) обработки,
упомянутый модуль (14) обработки выполнен так, что обеспечивает возможность через упомянутый интерфейс (18) пользователя инициирования получения изображений, инициирования сегментации на основе модели сетки объектов изображения, идентификации задачи последующей обработки, которая должна быть выполнена после сегментирования объекта, используя сетку, и определения информации, требуемой для задачи последующей обработки,
упомянутый модуль (14) обработки дополнительно выполнен с возможностью кодировать информацию, требуемую для задачи последующей обработки, по сетке, сегментировать объект в новом изображении, полученном упомянутым устройством (12) получения изображений, с использованием сетки с кодированной информацией, автоматически выполнять задачу последующей обработки путем выделения кодированной информации из сетки и отображать изображение, полученное в результате последующей обработки нового изображения, на упомянутом дисплее (16).

21. Считываемый компьютером носитель информации для обеспечения обработки изображения в системе (10) обработки изображения, включающей в себя устройство (12) получения изображения, предназначенное для получения изображения объектов, предназначенных для обработки, дисплей (16) для отображения изображений, полученных устройством (12) получения изображений, перед и после обработки, и интерфейс (18) пользователя для управления устройством (12) получения изображения, причем носитель информации выполнен с возможностью инициировать получение изображений через интерфейс (18) пользователя;
инициировать сегментирование на основе модели сетки объекта в изображении через интерфейс (18) пользователя;
идентифицировать выполнение задачи последующей обработки в отношении объекта после сегментирования с использованием сетки через интерфейс (18) пользователя;
определять информацию, требуемую для задачи последующей обработки через интерфейс (18) пользователя;
кодировать информацию по сетке;
сегментировать объект в новом изображении, полученном устройством (12) получения изображений, используя сетку с кодированной информацией;
автоматически выполнять задачу последующей обработки путем выделения кодированной информации из сетки; и отображать изображение, полученное в результате последующей обработки нового изображения, на дисплее (16).