ПРОЦЕСС АВТОМАТИЧЕСКОЙ СЕГМЕНТАЦИИ ТРЕХМЕРНОГО МЕДИЦИНСКОГО ИЗОБРАЖЕНИЯ С ПОМОЩЬЮ ОДНОЙ ИЛИ НЕСКОЛЬКИХ НЕЙРОННЫХ СЕТЕЙ ПОСРЕДСТВОМ СТРУКТУРИРОВАННОЙ СВЕРТКИ В СООТВЕТСТВИИ С АНАТОМИЧЕСКОЙ ГЕОМЕТРИЕЙ ТРЕХМЕРНОГО МЕДИЦИНСКОГО ИЗОБРАЖЕНИЯ Российский патент 2022 года по МПК G06T7/11 G06T1/40 

Настоящее изобретение относится к области обработки данных, более конкретно, к обработке и анализу изображений, в частности, к сегментации медицинских изображений, и касается процесса автоматической сегментации трехмерного медицинского изображения с помощью одной или нескольких нейронных сетей посредством структурированной свертки в соответствии с анатомической геометрией трехмерного медицинского изображения.

Трехмерное изображение, полученное с помощью медицинского устройства формирования изображений, такое как изображение со сканера, магнитно-резонансного томографа, ультразвукового устройства, компьютерного томографа или изображения специального типа, состоит из набора вокселей, которые являются основными единицами трехмерного изображения. Воксель – это трехмерное расширение пикселя, который является базовой единицей двумерного изображения. Каждый воксель ассоциирован с уровнем или плотностью серого, что можно рассматривать как результат двумерной функции F(x, y) или трехмерной функции F(x, y, z), где x, y и z обозначают пространственные координаты (см. Фиг. 1).

Виды, показанные на Фиг. 2, иллюстрируют определение трехмерной медицинской сегментации изображения на примере поперечного среза.

Как правило, двумерное или трехмерное медицинское изображение содержит набор анатомических и патологических структур (органов, костей, тканей ...) или искусственных элементов (стентов, имплантатов, аппаратов ...), которые клиницисты должны выделять для оценки ситуации и определения и планирования своей терапевтической стратегии. В этой связи на изображении должны быть идентифицированы органы и патологии, что означает маркировку (например, окрашивание) каждого пикселя двумерного изображения или каждого вокселя трехмерного изображения. Этот процесс называется сегментацией.

В случае изображений с КТ и МРТ, получаемых в клинической практике, их можно рассматривать как серию из n прямоугольных или квадратных двумерных изображений (вдоль оси Z) размером а × b (вдоль оси X и Y). Как правило, они имеют стандартный размер по осям X и Y, равный 512x512 пикселей, что означает, что размеры поперечной плоскости обычно равны a = b = 512. Напротив, количество n срезов (размер вдоль оси Z), в свою очередь, сильно варьируется и зависит от размера наблюдаемой области.

Поэтому можно предусмотреть анализ поперечной плоскости в целом или разделить ее на более мелкие, например, четыре субизображения размером 256 × 256, которые можно быстрее анализировать по отдельности. Четыре созданных субизображения охватывают все воксели исходного изображения, и их размер равен a/2 × b/2 × n.

На Фиг. 3А показаны три основные плоскости, которые необходимо учитывать при съемке медицинских изображений человека, а на Фиг. 3В показано разбиение среза в поперечной плоскости медицинского изображения на четыре субизображения размером 256 × 256.

Существует много способов осуществления сегментации. Среди этих способов нейронные сети являются частью категории, посвященной алгоритмам искусственного интеллекта, и имеют преимущество, заключающееся в том, что они работают автоматически.

Существует множество вариаций таких алгоритмов, но они часто остаются ограниченными стандартной архитектурной основой, которая не специфична для медицинской визуализации и, в частности, не специфична для ее содержимого.

Содержимое изображений в медицинской визуализации при этом весьма повторяющееся, особенно на КТ и МРТ изображениях. В центре изображения мы систематически имеем пациента, окруженного воздухом, за исключением того, что под ним/ней находится операционный стол (на котором пациент обычно лежит во время процедуры визуализации).

Таким образом, в отличие от фотографического изображения, когда окружающая среда меняется от одной фотографии к другой, медицинское изображение структурировано и отформатировано по типу идентификационного изображение для паспорта: окружающая среда и положение всегда одинаковы, меняются только детали лица человека.

В случае медицинского изображения грудной клетки, ребра, например, всегда будут связаны с позвоночником сзади и с грудиной спереди, охватывая оба легких, между которыми лежит сердце. Конечно, могут быть изменения, такие как перевернутое положение легких или отсутствующее легкое, но эти случаи встречаются очень редко по сравнению с нормальными анатомическими изменениями. Что касается других областей (голова, живот, таз, верхние или нижние конечности), то можно наблюдать то же самое и применить тот же принцип.

Изображения на Фиг. 4 иллюстрируют на основе трех примеров, как различные анатомические области (грудная клетка, брюшная полость и таз) демонстрируют регулярное распределение относительной локализации органа.

Основываясь на этих выводах, изобретатели пришли к выводу, что в этом контексте вышеупомянутое разбиение субизображения приобретает другое значение, поскольку становится возможным использовать это разбиение для определения местоположения структур внутри субизображений, которые не обнаружены на других субизображениях. Как видно, например из Фиг. 5, субизображение (в данном случае субизображения размером 256x256 поперечного изображения живота размером 512x512) может содержать очень правильную анатомическую структуру, что может позволить создать более эффективную и более специализированную соответствующую сеть.

На Фиг. 5 показано, как различное разбиение и извлечение субизображения из одного и того же поперечного изображения живота позволяет систематически определять повторяющиеся анатомические структуры в одних и тех же областях.

Например, на первом изображении, показанном на Фиг. 5 желчный пузырь очень часто обнаруживается на верхнем левом субизображении, правая почка на нижнем левом субизображении, а левая почка на нижнем правом субизображении. Позвоночник будет систематически принадлежать субизображению, помеченному на изображении 2. Печень систематически будет частью левых субизображений изображений 1 или 3, тогда как селезенка будет на правых субизображениях. Наконец, аорта и полая вена будут вместе на субизображении изображения 4, но разделены на субизображении изображения 3: полая вена будет на левом субизображении, а аорта – на правом.

Таким образом, основная идея изобретения заключается в том, чтобы использовать несколько конкретных разбиений субизображений, позволяющих систематически помещать повторяющиеся анатомические структуры в одних и тех же областях, а также использовать и объединять информацию, полученную в результате отдельного анализа этих субизображений, чтобы разработать новую процедуру анализа медицинских изображений с использованием сверточных нейронных сетей (CNN), используя конкретную информацию о локализации органов.

Таким образом, настоящее изобретение имеет в качестве основной цели предложение способа автоматической сегментации медицинского изображения, использующего базу знаний и данных, содержащую информацию об анатомических и патологических структурах или аппаратах, которые можно видеть на трехмерном медицинском изображении размера a × b × n, т.е. на трехмерном изображении, состоящем из n различных двумерных изображений, каждое из которых имеет размер a × b,

причем способ отличается тем, что он в основном включает в себя следующие три этапа процесса, а именно:

первый этап, заключающийся в извлечении из упомянутого медицинского изображения девяти субизображений размером a/2 × b/2 × n, то есть девяти частично перекрывающихся субизображений размера a/2 × b/2 из каждого двумерного изображения;

второй этап, заключающийся в анализе и сегментации каждого из этих девяти субизображений каждого двумерного изображения девятью сверточными нейронными сетями;

третий этап, заключающийся в объединении результатов девяти анализов и сегментаций n различных двумерных изображений и, следовательно, девяти сегментированных субизображений размером а/2 × b/2 × n, в одно изображение размером a × b × n, соответствующее единой сегментации исходного медицинского изображения.

Точнее говоря, в изобретении предлагается процесс автоматический сегментации после того, как база знаний и данных усвоит анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении размером а × b × n, с помощью алгоритма, состоящего из трех этапов. Первый этап заключается в извлечении девяти субизображений размером а/2 × b/2 × n, второй этап заключается в анализе одного из этих девяти субизображений девятью сверточными нейронными сетями (CNN), а третий этап заключается в объединении результатов девяти анализов и, следовательно, девяти сегментированных субизображений размером а/2 × b/2 × n в единое изображение размером a ×b × n. Результатом является единая сегментация исходного изображения. Главная оригинальность заключается в этой общей архитектуре и в разбиении анализа исходного изображения, осуществляемого с помощью CNN, на девять анализов субизображения, осуществляемых с помощью CNN.

Изобретение будет более понятно из приведенного ниже описания, которое относится по меньшей мере к одному из предпочтительных вариантов осуществления, приведенному в качестве неограничивающего примера и рассмотренному со ссылкой на прилагаемые к описанию чертежи, на которых показано:

- на Фиг. 6 – схематическое представление, графически иллюстрирующее этапы обработки предлагаемого в настоящем изобретении способа, а именно: разбиение конкретного изображения, приводящее к извлечению девяти (пронумерованных от 1 до 9) субизображений из исходного медицинского изображения размером a × b; анализ и сегментация каждого субизображения с помощью выделенной CNN (ряд кружков на Фиг. 6); и многократное частичное перекрытие девяти субизображений, полученных в результате разбиения исходного изображения, и объединение результатов анализа сверточными нейронными сетями CNN с определением и группировкой шестнадцати дополнительных парциальных областей (обозначенных буквами от А до Р);

- на Фиг. 7 – пример подмножества из четырех разных изображений, сгенерированных из первого субизображения примера, показанного на Фиг. 6 (субизображения с номером 1 на Фиг. 6) посредством сдвига (сдвигов) на один пиксель (или один воксель) в трех возможных направлениях;

- на Фиг. 8 – пример подмножества из девяти различных изображений, сгенерированных из того же субизображения, что и на Фиг. 7, посредством сдвига (сдвигов) на один или два пикселя (или вокселя);

- на Фиг. 9 – схематическое представление, графически иллюстрирующее этапы, связанные с обработкой (сегментацией) одного двумерного изображения (одного среза трехмерного изображения) группой из девяти скоординированных CNN, каждая из которых выделена для сегментации одного из девяти субизображений (от 1 до 9), извлеченных из исходного изображения, при этом отдельные результаты сегментации всех субизображений объединены или слиты в единую сегментацию исходного изображения;

- на Фиг. 10 – схематическое представление, аналогичное показанному на Фиг. 9, графически иллюстрирующее этапы, связанные с обработкой (сегментацией) набора из n (здесь n = 5) двумерных изображений (набора из n срезов трехмерного изображения), приводящие к единой сегментации изображения.

Как схематично показано на Фиг. 6, 9 и 10, изобретение, в частности, относится к способу автоматической сегментации медицинского изображения с использованием базы знаний и данных, содержащей информацию об анатомических и патологических структурах или аппаратах, которые можно видеть на медицинском трехмерном изображении размером a ×b × n, то есть на изображении, состоящем из n различных двумерных изображений, каждое из которых имеет размер a ×b,

причем способ отличается тем, что он в основном включает в себя три этапа процесса, а именно:

первый этап, заключающийся в извлечении из упомянутого медицинского изображения девяти субизображений (1-9) размером a/2 × b/2 × n, то есть девяти частично перекрывающихся субизображений размером a/2 × b/2, полученных из каждого двумерного изображения;

второй этап, заключающийся в анализе и сегментации каждого из этих девяти субизображений (от 1 до 9) каждого двумерного изображения девятью сверточными нейронными сетями (CNN);

третий этап, заключающийся в объединении результатов девяти анализов и сегментаций n различных двумерных изображений и, следовательно, девяти сегментированных субизображений размером а/2 × b/2 × n в единое изображение размером a × b × n, соответствующее единой сегментации исходного медицинского изображения.

Обеспечивая конкретное разбиение подлежащего обработке медицинского изображения, в сочетании с параллельной обработкой с помощью адаптированной архитектуры выделенных CNN, используя конкретную информацию о локализации органов, тканей, объектов и возможных аналогичных внутренних признаков, настоящее изобретение позволяет быстрее, точнее и эффективнее сегментировать медицинское изображение.

Как правило, известный алгоритм CNN, который может использоваться в предлагаемых в настоящем изобретении способе и системе, представляет собой "U-Net" (см., например: "U-Net: сверточные сети для биомедицинской сегментации изображения" ("U-Net: Convolutional Networks for Biomedical Image Segmentation", О. Ronneberger et al; MICCAI 2015, Part III, LNCS 3951, рp. 234-241, Springer IPS").

"U-Net" может быть реализована в сочетании с другими известными архитектурами, такими как "ResNef" или "DenseNet".

Этап объединения или слияния результатов, предоставляемых CNN (в частности, двумя или тремя различными CNN в перекрывающихся областях субизображений), может выполняться (взвешенным) суммированием классификаторов, умножением (перемножением) или другими подобным адаптированными способами объединения расчетных данных, известными специалисту в данной области техники.

В соответствии с важным отличительным признаком настоящего изобретения, который четко и недвусмысленно представлен на Фиг. 6, 9 и 10, девять субизображений с 1 по 9 размером а/2 × b/2 каждое извлекаются из двумерного изображения размером а × b следующим образом:

- симметрично разбивают двумерное изображение на четыре субизображения 1-4 медиаторами двух пар противоположных сторон;

- формируют два субизображения 5, 6 и 7, 8, имеющие одну общую сторону между ними и отцентрированные относительно перпендикулярных сторон двумерного изображения в соответствии с каждым из двух направлений упомянутого изображения;

- формируют субизображение 9, которое отцентрировано относительно двумерного изображения и имеет стороны, параллельные сторонам упомянутого изображения.

Как также показано на вышеупомянутых Фиг. 6, 9 и 10, перекрытие девяти субизображений с 1 по 9 сконфигурировано таким образом, чтобы генерировать шестнадцать парциальных, дополняющих друг друга областей A-P размером а/4 × b/4 каждая, совместно покрывающих всю поверхность рассматриваемого исходного двумерного изображения.

Для увеличения скорости обучения базы знаний и данных, используя структурирование и содержание медицинских изображений, предлагаемый в настоящем изобретении способ также может предусматривать:

- создание базы знаний и данных из K сегментированных медицинских изображений размером a × b × N(i), где N(i) – количество срезов вдоль направления Z изображения i, варьирующегося от 1 до K,

- создание из каждого изображения базы знаний и данных девяти подмножеств изображений размером a/2 × b/2 × N(i),

- обеспечение сегментации девяти субизображений размером a/2 × b/2 × N(i) и создания изображения каждого подмножества из девяти субизображений, и затем смещение этого выбора на величину от 1 до T вокселей в направлениях X и Y, что обеспечивает девять подмножеств из 4 - (T + 1)² изображений, каждое из которых имеет одинаковые размеры.

В первом варианте осуществления изобретения, показанном на Фиг. 9, способ автоматической сегментации с помощью девяти двумерных CNN предусматривает:

- анализ каждого из девяти субизображений с 1 по 9 с помощью одной выделенной двумерной CNN и сегментации одного за другим n срезов размером а/2 × b/2, а затем

- объединение результатов, предоставленных всеми девятью CNN, чтобы получить с помощью упомянутых результатов слияния единую исходную сегментацию изображения.

Во втором варианте осуществления изобретения, показанном на Фиг. 10, способ автоматической сегментации с помощью девяти двумерных CNN предусматривает:

- анализ каждого из девяти субизображений с помощью одной выделенной трехмерной CNN и сегментирование одного за другим всех подмножеств L последовательных срезов размером а/2 × b/2, где L изменяется в диапазоне от 2 до n, при этом количество подмножеств трехмерных субизображений размером а/2 × b/2 варьируется от 1 до n - L + 1, и затем

- объединение результатов анализа, предоставленных всеми девятью CNN, с тем чтобы получить с помощью упомянутого слияния результатов единую исходную сегментацию изображения.

Изобретение также относится к системе для выполнения автоматической сегментации медицинского изображения путем реализации способа по любому из пунктов 1-6, отличающейся тем, что она содержит по меньшей мере одно компьютерное устройство, на котором размещены и обеспечивается согласованная работа девяти сверточных нейронных сетей (CNN), адаптированных для выполнения сегментации по меньшей мере части медицинского изображения с использованием информации из базы знаний и данных, причем по меньшей мере одно компьютерное устройство также содержит и выполняет программы, разбивающие медицинские изображения и объединяющие результаты парциальной сегментации, предоставляемые различными CNN.

Конечно, изобретение не ограничивается двумя вариантами осуществления, описанными и проиллюстрированными прилагаемыми чертежами. Возможны его модификации, в частности, с точки зрения состава различных элементов или замены на технические эквиваленты, не выходя при этом за рамки объема защиты изобретения.

Изобретение относится к устройствам и способам обработки изображений. Технический результат заключается в повышении точности сегментации медицинского изображения. Технический результат достигается за счет выполнения следующих этапов: извлечение из медицинского изображения девяти частично перекрывающихся субизображений; анализ и сегментация каждого из девяти субизображений с помощью девяти сверточных нейронных сетей; объединение результатов анализа и сегментации n различных двумерных изображений в единое изображение, соответствующее единой сегментации исходного медицинского изображения. 2 н. и 4 з.п. ф-лы, 10 ил.

1. Способ автоматической сегментации медицинского изображения с использованием базы знаний и данных, содержащей информацию об анатомических и патологических структурах или аппаратах, которые можно видеть на трехмерном медицинском изображении размером a × b × n, то есть состоящем из n различных двумерных изображений, каждое из которых имеет размер а × b,

способ, отличающийся тем, что он в основном включает в себя три этапа процесса, а именно:

первый этап, заключающийся в извлечении из упомянутого медицинского изображения девяти субизображений (1-9) размером а/2 × b/2 × n, то есть извлечения девяти частично перекрывающихся субизображений размером a/2 × b/2 из каждого двумерного изображения;

второй этап, заключающийся в анализе и сегментации каждого из этих девяти субизображений (от 1 до 9) каждого двумерного изображения с помощью девяти сверточных нейронных сетей (CNN);

третий этап, заключающийся в объединении результатов девяти анализов и сегментаций n различных двумерных изображений и, следовательно, девяти сегментированных субизображений размером а/2 × b/2 × n, в единое изображение размером a ×b × n, соответствующее единой сегментации исходного медицинского изображения,

в котором девять субизображений (от 1 до 9), каждое размером а/2 × b/2, извлекают из двумерного изображения размером а × b следующим образом:

- симметрично разбивают двумерное изображения на четыре субизображения (с 1 по 4) медиаторами двух пар противоположных сторон;

- формируют два субизображения (5, 6 и 7, 8), имеющих одну общую сторону между ними и отцентрированных относительно перпендикулярных сторон двумерного изображения в каждом из двух направлений упомянутого изображения;

- формируют субизображение (9), которое отцентрировано относительно двумерного изображения и имеет стороны, параллельные сторонам упомянутого изображения.

2. Способ автоматической сегментации по п. 1, отличающийся тем, что перекрытие девяти субизображений (с 1 по 9) сконфигурировано таким образом, чтобы генерировать шестнадцать парциальных дополняющих областей (от А до Р) размером а/4 × b/4 каждая, совместно покрывающих всю поверхность рассматриваемого исходного двумерного изображения.

3. Способ автоматической сегментации по любому из пп. 1, 2, отличающийся тем, что он включает в себя:

- создание базы знаний и данных из K сегментированных медицинских изображений размером a × b × N(i), где N(i) представляет собой количество срезов вдоль направления Z изображения i, варьирующегося от 1 до K,

- создание из каждого изображения базы знаний и данных девяти поднаборов изображений размером a/2 × b/2 × N(i),

- обеспечение сегментации девяти субизображений размером a/2 × b/2 × N(i) и создание изображения каждого подмножества из девяти субизображений и затем смещение этого выбора на величину от 1 до T вокселей в направлениях X и Y и, вследствие этого, предоставление девяти подмножеств в составе от 4 до (T + 1)2 изображений, каждое из которых имеет одинаковые размеры.

4. Способ автоматической сегментации по любому из пп.1-3, отличающийся тем, что он заключается в осуществлении с помощью девяти двумерных CNN:

- анализа каждого из девяти субизображений (с 1 по 9) с помощью одной выделенной двумерной CNN и сегментации одного за другим n срезов размером а/2 × b/2 и затем

- объединения результатов, предоставленных всеми девятью CNN, чтобы получить с помощью упомянутого слияния результатов единую исходную сегментацию изображения.

5. Способ автоматической сегментации по любому из пп. 1-4, отличающийся тем, что он предусматривает осуществление с помощью девяти трехмерных CNN:

- анализа каждого из девяти субизображений с помощью одной выделенной трехмерной CNN и сегментирования одного за другим всех подмножеств из L последовательных срезов размером а/2 × b/2, причем L лежит в диапазоне от 2 до n, при этом количество подмножеств трехмерных изображений размером а/2 × b/2 варьируется от 1 до n - L + 1, и затем

- объединения результатов, предоставленных всеми девятью CNN, чтобы получить с помощью упомянутого слияния результатов единую исходную сегментацию изображения.

6. Система для автоматической сегментации медицинского изображения путем реализации способа по любому из пп. 1-5, отличающаяся тем, что она содержит по меньшей мере одно компьютерное устройство для размещения и обеспечения согласованной работы девяти сверточных нейронных сетей (CNN), адаптированных для выполнения сегментаций по меньшей мере части медицинского изображения с использованием информации из базы знаний и данных, при этом по меньшей мере на одном компьютерном устройстве также размещаются и выполняются программы, осуществляющие разбиение медицинских изображений и слияние результатов частичной сегментации, предоставленных различными CNN.