СРЕДСТВО ВЫДЕЛЕНИЯ СЕГМЕНТАЦИИ Российский патент 2017 года по МПК G06T7/11 G06T19/20 G06K9/50 

Изобретение, в целом, относится к сегментации представляющей интерес области (например, трубчатой структуры, такой как сосуд, ободочная кишка, бронхи и/или другая трубчатая структура и/или не трубчатая структура) в данных формирования изображения и более конкретно к выделению (например, окрашиванию) представляющей интерес области при визуальном представлении, когда представляющую интерес область сегментируют по данным формирования изображения при визуальном представлении.

Трехмерная визуализация данных формирования изображения делает возможным визуальное представление представляющей интерес структуры (например, одного или нескольких сосудистых повреждений), сегментированной по данным формирования изображения в ее анатомическом контексте (например, повреждение головного мозга в контексте черепа). Однако создание трехмерной визуализации с использованием сегментации может требовать значительного времени и усилий. Например, существующие способы сегментации часто обрабатывают весь массив данных, что может требовать большого объема вычислений.

Кроме того, алгоритмы автоматической сегментации часто встраивают в поток операций клинического прикладного программного обеспечения и обычно они служат конкретным целям, например сегментировать или выделять осевую линию из трубчатой структуры, представленной в данных формирования изображения. Кроме того, повторное использование таких сегментаций для того, чтобы создавать визуализацию, часто требует существенного редактирования и использования других инструментов (например, инструментов для представляющей интерес области и инструментов для слияния). Такое редактирование осуществляют посредством размещения дополнительных (исключение или включение) исходных точек и/или использования вырезающих или аэрозольных инструментов.

Подходы трехмерной визуализации для сосудов включают визуальное представление рендеринга массива данных трехмерного объема, где удалены кости, и сегментирование сосудистого дерева и затем рендеринг фона в полупрозрачном виде (например, рентгеновский или стеклообразный вид) и сосудов в виде рендеринга сплошных затененных объемов (SVR). Для фокусирования на определенной части анатомической структуры сосуда пользователь должен редактировать сегментацию или объединять результаты сегментации с инструментом для представляющей интерес области, чтобы маскировать видимую часть сегментации.

US 2005/110791 A1 относится к системе и способу обработки и отображения трехмерных данных формирования изображения. Представляющие интерес области (сегментированные данные) отображают наряду с данными, не относящимися к представляющей интерес области (несегментированные данные). Пользователь может влиять на то, данные какого типа будут указаны. Пример показывает отображение представляющей интерес области до сегментации и после сегментации.

Алгоритмы для костей имеют такой недостаток, что иногда также удаляют небольшие сосуды около костей. Кроме того, при удалении костей удаляют анатомический контекст. Кроме того, стратегии сегментации сосудов часто менее надежны и часто они не работают около интересующих местоположений, так что требуется значительное ручное взаимодействие для того, чтобы редактировать и продлевать сегментацию. Кроме того, получаемую визуализацию видят только после завершения сегментации, и таким образом, чтобы выполнять изменения в визуализации, снова нужно осуществлять сегментацию.

Аспекты, описанные в настоящем документе, направлены на указанные выше проблемы и другое.

В одном из аспектов способ включает сегментирование представляющей интерес области в данных формирования изображения в визуальном представлении данных формирования изображения и визуальное выделение, одновременно с сегментированием, представляющей интерес области, в то время как сегментируют представляющую интерес область. Визуальное выделение включает в себя окрашивание представляющей интерес области, в то время как сегментируют представляющую интерес область.

В другом аспекте считываемый компьютером носитель, на котором закодированы считываемые компьютером инструкции, которые при исполнении процессором побуждают процессор: сегментировать представляющую интерес область, в данных формирования изображения в визуальном представлении данных формирования изображения и визуально выделять, одновременно с сегментированием, представляющую интерес область, в то время как сегментируют представляющую интерес область, при этом визуальное выделение включает в себя окрашивание представляющей интерес области, в то время как сегментируют представляющую интерес область.

Считываемый компьютером носитель может содержать исполняемые компьютером инструкции для одновременного сегментирования и выделения представляющей интерес области в визуально представленных данных формирования изображения. Процессор исполняет исполняемые компьютером инструкции, где процессор, при исполнении исполняемых компьютером инструкций, сегментирует представляющую интерес область, в данных формирования изображения в визуальном представлении данных формирования изображения и визуально выделяет, одновременно с сегментированием, представляющую интерес область, в то время как сегментируют представляющую интерес область, при этом визуальное выделение включает в себя окрашивание представляющей интерес области, в то время как сегментируют представляющую интерес область.

Изобретение может принимать форму различных компонентов и компоновок компонентов и различных этапов и последовательностей этапов. Чертежи лишь служат цели иллюстрирования предпочтительных вариантов осуществления и их не следует толковать в качестве ограничения изобретения.

На фиг. 1 схематически проиллюстрировано примерное вычислительное устройство со средством сегментирования, средством выделения и средством удаления выделения.

На фиг. 2 проиллюстрирован примерный способ одновременного сегментирования и выделения представляющей интерес области.

На фиг. 3 проиллюстрирован примерный способ выделения представляющей интерес области.

На фиг. 4 проиллюстрирован примерный способ удаления выделения представляющей интерес области.

Далее описан подход, в котором представляющую интерес структуру, которую сегментируют в данных формирования изображения, визуально выделяют и визуально представляют наряду с другой структурой в данных формирования изображения во время сегментации представляющей интерес структуры из данных формирования изображения.

На фиг. 1 изображен сканер 102, такой как компьютерный томограф (CT), магнитно-резонансный (MR), рентгеновский или другой сканер визуализации.

Консоль 104 содержит вычислительную систему общего назначения с удобочитаемым устройством вывода, таким как монитор, и устройством ввода, таким как клавиатура, мышь и т.д. Программное обеспечение, расположенное на консоли 104, позволяет оператору взаимодействовать со сканером 102, включая инициацию сканирования и т.д.

Процессор 106 изображений обрабатывает выходные данные сканера 102 и генерирует данные формирования изображения (или изображения). Данные формирования изображения и/или выходные данные сканера можно дополнительно обрабатывать и/или визуально отображать.

Хранилище 108 данных можно использовать для того, чтобы хранить данные формирования изображения и/или выходные данные сканера. Хранилище 108 данных может представлять собой часть локальной памяти сканера 102 и/или одно или несколько из системы архивации и передачи изображений (PACS), радиологической информационной системы (RIS), больничной информационной системы (HIS) и/или другого устройства хранения данных.

Вычислительное устройство 110 обрабатывает данные формирования изображения и/или выходные данные сканера. Проиллюстрированное вычислительное устройство 110 содержит по меньшей мере один процессор 112, который исполняет по меньшей мере одну считываемую компьютером инструкцию 114, хранимую на считываемом компьютером носителе 116, таком как физическая память или другая энергонезависимая запоминающая среда. Дополнительно или альтернативно, процессор 112 исполняет одну или несколько считываемых компьютером инструкций, которые несет несущая волна, сигнал или другая временная среда.

Вычислительное устройство 110 дополнительно содержит средство ввода/вывода (I/O) 118, которое выполнено с возможностью принимать информацию (например, сигнал активации выделения сегментации/удаления особенности) от одного или нескольких устройств 120 ввода (например, клавиатура, мышь и т.д.) и/или передавать информацию (например, выделенную сегментацию и т.д.) на одно или несколько устройств 122 вывода (например, монитор, пленочный проектор, портативную память и т.д.). Проиллюстрированная по меньшей мере одна считываемая компьютером инструкция 114 по меньшей мере включает инструкции для реализации средства 124 сегментирования.

Средство 124 сегментирования можно реализовать посредством известных подходов к сегментированию. Пример подходящего средства сегментирования рассмотрен в патентной заявке США с серийным номером 12/602923, озаглавленной «INSPECTION OF TUBULAR-SHAPED STRUCTURES» и поданной 15 июля 2010 года, которая включена в настоящий документ по ссылке в полном объеме. Другой пример подходящего средства сегментирования рассмотрен в патентной заявке США с серийным номером 13/257682, озаглавленной «VISUALIZING A VIEW OF A SCENE» и поданной 12 января 2012 года, которая включена в настоящий документ по ссылке в полном объеме. В настоящем документе также предусмотрены другие подходы к сегментированию.

Проиллюстрированная по меньшей мере одна считываемая компьютером инструкция 114 также включает инструкции для реализации средства 126 выделения средства сегментирования и средства 128 удаления выделения средства сегментирования и правил 130 выделения. Как описано более подробно далее, средство 126 выделения, когда активируют, визуально выделяет часть сегментированной представляющей интерес области по мере сегментирования частей представляющей интерес области по данным формирования изображения, средство 128 удаления выделения, когда активируют, удаляет предыдущее выделение с частей сегментированной представляющей интерес области и правила 130 выделения определяют характеристики выделения, такие как цвет, тон, текстура и т.д.

В одном случае визуальное выделение осуществляют с использованием средства сегментирования по мере того, как средство сегментирования идентифицирует воксели, которые должны быть выделены. Несегментированные области можно показывать в виде полупрозрачного стекла или другого полупрозрачного представления, которое предоставляет анатомический контекст. Приведенное выше позволяет создавать визуализацию в качестве основной задачи, поскольку визуализацию создают одновременно с сегментированием, и это предоставляет пользователю прямое, интуитивное и быстрое взаимодействие для того, чтобы сегментировать и избирательно выделять и/или удалять выделение со структуры в нем. Выделение можно адаптировать к конкретной структуре (например, бляшка, стенка просвета, аневризма и т.д.), и его можно осуществлять применительно к измерениям и/или другим известным задачам сегментации.

На фиг. 2 проиллюстрирован примерный способ одновременного сегментирования и выделения представляющей интерес области.

Следует принимать во внимание, что порядок действий в способах, описанных в настоящем документе, не является ограничивающим. По существу, в настоящем документе предусмотрены другие порядки. Кроме того, можно пропустить одно или несколько действий и/или можно включить одно или несколько дополнительных действий.

На 202 активируют выделение сегментации и удаление выделения. Этого можно достичь через конфигурацию по умолчанию и/или определяемую пользователем конфигурацию, загруженную при запуске компьютерного приложения для сегментации, и/или выбор пользователя через устройство 120 ввода и графический пользовательский интерфейс (GUI), например, выбирая визуальную графику из меню в GUI.

На 204 инициируют сегментацию. Подходящая сегментация может включать автоматическую сегментацию на основе идентифицируемой пользователем исходной точки, значения вокселя и т.п., используя известные или другие подходы к сегментации, ручную сегментацию пользователем и т.д.

На 206 сегментируют подчасть представляющей интерес области.

На 208 одновременно с действием 206 выделяют поверхность сегментированной подчасти. В целях объяснения в этом примере поверхность выделяют цветом, который различим и отличается от других визуально представленных данных и исходного цвета (например, значение шкалы серого) подчасти. Пример выбора конкретного выделения рассмотрен ниже применительно к фиг. 3.

На 210 определяют, подлежит ли другая подчасть сегментированию. Это решение может быть на основе того, достигают ли предварительно определяемой конечной точки сегментации, пользователь выбирает другую конечную точку, которая уже не является частью подчасти, пользователь перемещает инструмент сегментации в визуальном представлении в другое местоположение вдоль представляющей интерес структуры и/или иным образом.

Последующая подчасть не должна начинаться в предыдущей конечной точке. Например, если подчасть находится вдоль длинной оси трубчатой структуры, такой как сосуд, следующая подчасть может продолжаться вдоль оси, ответвляться в сторону от трубчатой структуры через бифуркацию, идти от начала подчасти в противоположном направлении, идти в направлении подчасти от точки, которая не является частью сегментации, и т.д.

Если другая подчасть подлежит сегментированию, то повторяют действия 204-210. Другая подчасть может быть соединенной или независимой.

Если другая подчасть не подлежит сегментированию, на 212 определяют, подлежит ли какое-либо выделение удалению. Это может включать просто перемещение по уже выделенной области, кликание по области, использование инструмента геометрической границы для того, чтобы окружать и идентифицировать область, и т.д.

Если выделение подлежит удалению, на этапе 214 идентифицируют выделение для удаления и удаляют его из визуального представления, и повторяют действия 204-212. Идентификации можно достичь подобно выделению, но вместо выделения подчасти удаляют существующее выделение.

Если никакое выделение не подлежит удалению, повторяют этапы 204-212.

Следует принимать во внимание, что визуальное представление может включать рендеринг не сегментированных областей в стеклянном режиме с выделенными сегментированными областями, отображаемыми в виде рендеринга сплошных затененных объемов. В вариации, выделение сегментации можно осуществлять в стеклянном режиме. Следует принимать во внимание, что выполненную сегментацию можно продлевать и/или уменьшать и/или модифицировать иным образом.

Приведенное выше можно использовать для того, чтобы сегментировать трубчатую структуру, такую как сосуд, ободочная кишка, трахея, бронхи, и/или другая трубчатая структура, и/или одна или несколько не трубчатых структур. Когда сегментируют сосуд, данные формирования изображения, визуально представленные в стеклянном режиме, могут включать только кость или кость и другую структуру.

На фиг. 3 проиллюстрирован примерный способ выделения сегментированной представляющей интерес области применительно к действию 208.

Следует принимать во внимание, что порядок действий в способах, описанных в настоящем документе, не является ограничивающим. По существу, в настоящем документе предусмотрены другие порядки. Кроме того, можно пропустить одно или несколько действий и/или можно включать одно или несколько дополнительных действий.

На 302 характеристику ослабления рентгеновского излучения определяют для каждого вокселя сегментированной поверхности.

На 304 для каждого вокселя осуществляют доступ к правилам 130 выделения для того, чтобы получать цвет, соответствующий характеристике ослабления рентгеновского излучения.

В качестве примера, для сосуда, просвету сосуда можно присваивать один цвет, тогда как обызвествленной бляшке присваивают другой различимый цвет. В другом примере другой цвет можно присваивать другим толщинам стенок сосудов, ослаблению и т.д.

На 306 наложение цвета создают на основе получаемых цветов.

На 308 поверхность выделяют посредством наложения верхнего слоя поверх рендеринга.

На фиг. 4 проиллюстрирован примерный способ удаления выделения из сегментированной представляющей интерес области применительно к действию 214.

Следует принимать во внимание, что порядок действий в способах, описанных в настоящем документе, не является ограничивающим. По существу, в настоящем документе предусмотрены другие порядки. Кроме того, можно пропустить одно или несколько действий и/или можно включить одно или несколько дополнительных действий.

На 402 идентифицируют подобласть выделенной сегментации. Как рассмотрено в настоящем документе, этого можно достичь подобно выделению подчасти для выделения.

На 404 идентифицируют верхний слой для выделенной подчасти.

На 406 удаляют цвет верхнего слоя или верхний слой.

Указанное выше можно реализовать посредством считываемых компьютером инструкций, закодированных или встроенных в считываемом компьютером носителе, которые при исполнении компьютерным процессором(ами) управляют процессором(ами) для того, чтобы осуществлять описанные действия. Дополнительно или альтернативно, по меньшей мере одну из считываемых компьютером инструкций несет сигнал, несущая волна или другая временная среда.

В одной вариации взаимодействие в стиле измерения длины используют для того, чтобы создавать объект сегментации сосудов. Для этого идентифицируют начальную точку и идентифицируют конечную точку, и сегментацию и выделение автоматически осуществляют от начальной точки до конечной точки. При отслеживании сосудов сегментация может быть основана на отслеженном пути через сосуд. Это также можно использовать для того, чтобы уменьшать часть сегментации.

В другой вариации осуществляют и комбинируют несколько подсегментаций. Например, первую подсегментацию можно использовать для того, чтобы визуально выделять просвет. Вторую подсегментацию можно использовать для того, чтобы выделять внешнюю стенку сосуда в выбранных местоположениях. Третью подсегментацию можно использовать для того, чтобы выделять кальцификацию в выбранной области. Если доступны 4D данные о потоках, четвертую подсегментацию можно использовать для того, чтобы выделять информацию о потоке на (или в) просвете сосуда. Также, в этом случае обратную операцию можно использовать для того, чтобы стирать части сегментации.

В другой вариации выделение может быть специализированным для конкретной структуры, например аневризмы. Для этого выделенный контур просвета объединяют с выделенным контуром стенки сосуда. В одном случае обе поверхности видны в визуальном представлении. Необязательно, сегментацию можно использовать для того, чтобы инициализировать сетки для активных моделей геометрической формы аневризмы, что может вести к более точной сегментации, и также включать дополнительные измерения (или моделирование).

Как рассмотрено выше, средство 124 сегментирования может представлять собой средство сегментирования, рассмотренное в патентных заявках США с серийными номерами 12/602923 и/или 13/257682. В целом, кольцевое средство сегментирования, описанное в них, «следит» вдоль сосуда и определяет сечение сосуда, а затем сегментирует просвет (внутреннюю часть сосуда), внешнюю стенку, кальцификацию, толщину стенки, бляшку и/или другую информацию, например, на основе различных свойств тканей, таких как характеристики формирования изображения ткани, которые зависят от типа сканирования (например, CT, MR и т.д.). Например, в CT свойство визуализации может представлять собой характеристику ослабления рентгеновского излучения (например, CT значения Хаунсфилда) и/или другие критерии. Средство 126 выделения выделяет предварительно определяемую часть, выбранную пользователем часть или всю сегментированную информацию, как описано в настоящем документе.

В другой вариации сегментацию, созданную, как рассмотрено выше, можно превращать в измерение объема. Измерения могут быть более исчерпывающими, например можно измерять объем бляшки, при этом исключая объем кальцификации.

Изобретение описано со ссылкой на предпочтительные варианты осуществления. Модификации и изменения могут приходить на ум при прочтении и осмыслении предшествующего подробного описания. Подразумевают, что изобретение следует рассматривать как включающее все такие модификации и изменения в такой мере, в которой они входят в объем приложенной формулы изобретения или ее эквивалентов.

Изобретение относится к области сегментации и выделения представляющей интерес области данных изображения. Технический результат – обеспечение улучшенного взаимодействия для пользователя посредством одновременного сегментирования и визуального выделения представляющей интерес области данных изображения. Способ одновременного сегментирования и выделения представляющей интерес области в формирующих изображение данных содержит сегментирование представляющей интерес области в формирующих изображение данных в визуальном представлении этих формирующих изображение данных; и визуальное выделение, одновременно с сегментированием, представляющей интерес области, в то время как сегментируют представляющую интерес область, при этом визуальное выделение включает в себя окрашивание представляющей интерес области, в то время как сегментируют представляющую интерес область. 3 н. и 12 з.п. ф-лы, 4 ил.

1. Способ одновременного сегментирования и выделения представляющей интерес области в формирующих изображение данных, содержащий:

сегментирование представляющей интерес области в формирующих изображение данных в визуальном представлении этих формирующих изображение данных и

визуальное выделение, одновременно с сегментированием, представляющей интерес области, в то время как сегментируют представляющую интерес область,

при этом визуальное выделение включает в себя окрашивание представляющей интерес области, в то время как сегментируют представляющую интерес область.

2. Способ по п. 1, дополнительно содержащий

рендеринг выделенной части в виде рендеринга сплошного затененного объема.

3. Способ по п. 2, в котором представляющая интерес область представляет собой трубчатый сосуд сканируемого субъекта.

4. Способ по п. 1, дополнительно содержащий

рендеринг несегментированных частей формирующих изображение данных с полупрозрачным рендерингом, рендерингом стеклянного вида.

5. Способ по п. 4, в котором невыделенные части представляют собой кость.

6. Способ по п. 1, дополнительно содержащий

расширение сегментированной представляющей интерес области, тем самым расширяя выделение в визуальном представлении.

7. Способ по п. 1, дополнительно содержащий

удаление выделения с предварительно выделенной области визуального представления.

8. Способ по п. 7, в котором удаление выделения включает в себя идентификацию сегмента выделенной сегментации и удаление выделения с сегмента.

9. Способ по п. 1, дополнительно содержащий:

определение характеристики формирования изображения сегментированной подчасти, при этом по меньшей мере два вокселя сегментированной подчасти имеют различные характеристики формирования изображения;

идентификацию другого цвета для каждой из отличающихся характеристик формирования изображения и

выделение упомянутых по меньшей мере двух вокселей с помощью соответствующих различных цветов.

10. Способ по п. 1, в котором представляющая интерес область представляет собой сосуд, и сегментирование представляющей интерес области содержит:

слежение вдоль сосуда;

определение сечения сосуда и

сегментирование просвета сосуда на основе характеристики формирования изображения просвета.

11. Способ по п. 10, причем визуальное выделение содержит

визуальное выделение сегментированного просвета.

12. Способ по п. 10, дополнительно содержащий:

сегментирование одного или нескольких из внешней стенки, кальцификации, толщины стенки или бляшки сосуда, соответственно, на основе характеристики формирования изображения внешней стенки, кальцификации, толщины стенки или бляшки.

13. Способ по п. 12, причем визуальное выделение содержит

визуальное выделение одного или нескольких из сегментированной внешней стенки, кальцификации, толщины стенки или бляшки.

14. Считываемый компьютером носитель, на котором закодированы считываемые компьютером инструкции, которые при исполнении процессором побуждают процессор:

сегментировать представляющую интерес область в формирующих изображение данных в визуальном представлении этих формирующих изображение данных и

визуально выделять, одновременно с сегментированием, представляющую интерес область, в то время как представляющая интерес область сегментируется,

при этом визуальное выделение включает в себя окрашивание представляющей интерес области, в то время как представляющая интерес область сегментируется.

15. Вычислительное устройство для одновременного сегментирования и выделения представляющей интерес области в формирующих изображение данных, содержащее:

считываемый компьютером носитель, который включает в себя исполняемые компьютером инструкции для одновременного сегментирования и выделения представляющей интерес области в визуально представленных формирующих изображение данных, и

процессор, который исполняет исполняемые компьютером инструкции, при этом процессор, при исполнении исполняемых компьютером инструкций, сегментирует представляющую интерес область в формирующих изображение данных в визуальном представлении этих формирующих изображение данных и визуально выделяет, одновременно с сегментированием, представляющую интерес область, в то время как сегментируется представляющая интерес область, при этом визуальное выделение включает в себя окрашивание представляющей интерес области, в то время как сегментируется представляющая интерес область.