Настоящее изобретение относится к области обработки данных, более конкретно к обработке и анализу изображений, в частности к сегментации медицинских изображений, и касается процесса автоматической сегментации трехмерного медицинского изображения с помощью одной или нескольких нейронных сетей посредством структурированной свертки в соответствии с геометрией или структурой трехмерного медицинского изображения.
Трехмерное изображение, полученное с помощью медицинского устройства формирования изображений, такое как изображение со сканера, магнитно-резонансного томографа, ультразвукового устройства, компьютерного томографа или изображения специального типа, состоит из набора вокселей, которые являются основными единицами трехмерного изображения. Воксель – это трехмерное расширение пикселя, который является базовой единицей двумерного изображения. Каждый воксель ассоциирован с уровнем или плотностью серого, что можно рассматривать как результат двумерной функции F(x, y) или трехмерной функции F(x, y, z), где x, y и z обозначают пространственные координаты (см. фиг. 1).
На трехмерных изображениях воксели можно видеть в двумерной проекции согласно различным осям или плоскостям. Три основные оси или плоскости на медицинских изображениях – это осевая, сагиттальная и фронтальная (фиг. 2). Однако можно создать неограниченное количество осей или плоскостей под различными углами.
Как правило, двумерное или трехмерное медицинское изображение содержит набор анатомических и патологических структур (органов, костей, тканей ...) или искусственных элементов (стентов, имплантатов, аппаратов ...), которые клиницисты должны выделять для оценки ситуации и определения и планирования своей терапевтической стратегии. В этом отношении, на изображении должны быть идентифицированы органы и патологии, что означает маркировку (например, окрашивание) каждого пикселя двумерного изображения или каждого вокселя трехмерного изображения. Этот процесс называется сегментацией.
На фиг. 3 в качестве примера показаны этапы сегментации трехмерного медицинского изображения на примере поперечного среза
Существует много известных способов осуществления сегментации, в частности, автоматических способов, использующих алгоритмы, в частности, алгоритмы искусственного интеллекта.
В этом контексте в известном уровне техники используются многочисленные варианты нейронных сетей, все из которых основаны на стандартных неспецифических архитектурах, что в целом приводит к пустой трате неадекватных ресурсов и недостаточной эффективности и точности.
Основной задачей настоящего изобретения является предложение нового способа и новой системы, способных преодолеть вышеупомянутые ограничения.
Поэтому настоящее изобретение относится к способу автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на трехмерном медицинском изображении объекта, состоящем из вокселей, при этом упомянутый способ отличается тем, что он предусматривает предоставление общего программного средства или устройства, объединяющего N разных сверточных нейронных сетей или CNN с количеством сетей N≥2, и имеющего структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения,
и анализ вокселей, формирующих упомянутый объем трехмерного изображения, в соответствии с N отличающимися осями или плоскостями реконструкции, причем каждая CNN выделяется для анализа вокселей, принадлежащих одной оси или плоскости.
Изобретение будет более понятно из приведенного ниже описания, которое относится к нескольким предпочтительным вариантам осуществления, приведенным в качестве неограничивающих примеров и рассмотренным со ссылкой на прилагаемые к описанию чертежи, на которых показано:
на фиг. 4 – схематическое и символическое представление уникального общего алгоритма CNN, объединяющего отличающиеся оси или плоскости анализа трехмерного изображения, в первом варианте осуществления изобретения, причем для каждой оси или плоскости выделяется конкретная CNN;
на фиг. 5 – схематическое и символическое представление другого варианта осуществления изобретения, демонстрирующее однопоточную или последовательную конфигурацию CNN;
на фиг. 6 – схематическое и символическое представление другого варианта осуществления изобретения, демонстрирующее параллельную конфигурацию CNN, и,
на фиг. 7 и 8 – схематические и символические представления других вариантов осуществления изобретения с параллельными конфигурациями CNN.
На прилагаемых фиг. 4-8 проиллюстрирован способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на трехмерном медицинском изображении объекта, состоящем из вокселей.
Согласно изобретению, упомянутый способ предусматривает предоставление общего программного средства или устройства, объединяющего N разных сверточных нейронных сетей или CNN с количеством сетей N≥2 и имеющего структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения, и анализ вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися осями или плоскостями реконструкции, причем каждая CNN выделяется для анализа вокселей, принадлежащих одной оси или плоскости.
Таким образом, изобретение обеспечивает структурированную организацию и скоординированную совместную работу множества CNN, учитывающую саму геометрию, структурирование и содержание медицинского изображения.
Такая конкретная составная вычислительная система (возможно, сгруппированная в единую структуру), которая объединяет N разных CNN (при количестве сетей N≥2, предпочтительно N≥3) в соответствии с N отличающимися осями или плоскостями реконструкции объема трехмерного изображения, позволяет распространить использование известных CNN, рассчитанных на анализ и сегментацию двумерных изображений, на анализ и сегментацию трехмерных изображений.
Как правило, известный алгоритм CNN, который может использоваться в предлагаемых в настоящем изобретении способе и системе, представляет собой "U-Net" (см., например: "U-Net: сверточные сети для биомедицинской сегментации изображения" ("U-Net: Convolutional Networks for Biomedical Image Segmentation", О. Ronneberger et al; MICCAI 2015, Part III, LNCS 3951, рp. 234-241, Springer IPS")).
"U-Net" может быть реализована в сочетании с другими известными архитектурами, такими как "ResNef" или "DenseNet".
Преимущественно, предлагаемый в настоящем изобретении способ может предусматривать, как также показано на фиг. 4-8, для каждой из N плоскостей реконструкции трехмерного изображения, анализ и сегментирование двумерного изображения, сформированного вокселями данной плоскости, с помощью выделенной CNNi. из N предоставленных CNN, причем упомянутые CNN структурированы аналогично объему трехмерного изображения, и объединение промежуточных или конечных результатов упомянутых N анализов, выполненных упомянутыми разными CNN.
Сегментируя объем трехмерного изображения для целей анализа, и объединяя (комбинируя) результаты этих парциальных анализов в единую сегментацию трехмерного изображения, изобретение позволяет реализовать сложные процедуры сегментации с задействованием ограниченных ресурсов и быстро получать точные и в некотором роде перекрестные результаты.
Комбинация или слияние результатов N анализов и сегментаций может осуществляться:
- путем объединения для каждого вокселя промежуточных активаций N сетей (см. фиг. 4 – так называемое "комбинирование признаков"). Полученная в результате объединенная информация затем принимается в качестве входных данных общей CNN, которая обеспечивает окончательную сегментацию изображения;
- путем объединения выходной информации из N разных CNN (см. фиг. 7 и 8 – позднее слияние или объединение), например, путем (взвешенного) суммирования классификаторов, умножения или другой адаптированной операции объединения расчетных данных, известной специалисту в данной области техники.
Согласно первому варианту осуществления изобретения, показанному на фиг. 4, способ может заключаться в предоставлении единой нейронной сети, объединяющей в своей структуре N разных CNN, преимущественно работающих параллельно, которые автоматически сегментируют анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, в которой каждая CNN анализирует все воксели, формирующие объем упомянутого трехмерного изображения в отличающейся плоскости или оси реконструкции, и в которой результаты различных двумерных анализов и сегментаций объединяются посредством свертки в последних структурах упомянутого нейронной сети со структурированной геометрией.
В таком случае сама внутренняя структура сформированной единой мета-CNN объединяет анализ трехмерных изображений по осям, а также объединение информации, полученной в результате различных двумерных анализов и сегментаций.
Конечно, такая множественная параллельная двумерная обработка с объединением результатов этих обработок может также осуществляться при параллельным расположении N независимых CNN, не интегрированных в единую структуру (фиг. 6).
Согласно второму альтернативному варианту осуществления изобретения, показанному на фиг. 5, способ также может заключаться в выполнении N последовательных операций или этапов обработки изображения, при этом каждый этап выполняется CNN, которая автоматически сегментирует анатомические и патологические структуры или аппараты, которые могут быть видны на трехмерном медицинском изображении, причем каждая CNNi из упомянутых CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N разных CNN, и использует результаты, предоставленные предшествующей сетью CNNi-1 в последовательности, если она имеется.
В этом случае двумерная схема последовательной обработки CNN интегрируется в общую архитектуру алгоритмического каркаса или в структурированную геометрию компоновки CNN, при этом окончательное объединение информации последовательности, таким образом, по существу, интегрируется в структуру упомянутого каркаса или компоновки.
В отношении предпочтительного варианта осуществления изобретения, показанного на фиг. 6-8, способ сегментации в основном состоит из комбинировании двух последовательных рабочих этапов, причем первый этап заключается в выполнении N сегментаций, при этом каждая сегментация выполняется в одной из N отличающихся осей или плоскостей реконструкции, а второй этап заключается в объединении результатов этих N сегментаций в одну сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении.
Преимущественно, первый рабочий этап выполняется N разными CNN, работающими параллельно или последовательно, причем каждая из этих CNN автоматически сегментирует, независимо от других, анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, при этом каждая CNN анализирует все воксели, формирующие объем трехмерного изображения в отличающейся плоскости реконструкции для каждой из N разных CNN.
Согласно первому альтернативному варианту осуществления изобретения, показанному на фиг. 7, второй рабочий этап, который посвящен объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или приборов, которые можно видеть на трехмерном медицинском изображении, выполняется путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации N меток, присвоенных этому же вокселю в процессе N сегментаций первого этапа.
Согласно второму варианту осуществления изобретения, показанному на фиг. 8, второй рабочий этап, посвященный объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, выполняется путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации N меток, присвоенных этому же вокселю и соседнему с ним вокселю (ям) во время N сегментаций первого этапа.
В объеме трехмерного изображения воксели, соседние с данным вокселем, могут относиться к трем различным группам вокселей, а именно (как показано на фиг. 8):
- к группе из 6 вокселей, которые находятся в контакте грань к грани с соответствующим вокселем;
- к группе из 18 вокселей, которые находятся в контакте грань к грани или ребро к ребру с соответствующим вокселем;
- к группе из 26 вокселей, которые включают в себя вышеупомянутую группу из 18 вокселей и 8 дополнительных вокселей, которые находятся в единственном точечном контакте с вершинами соответствующих вокселей.
Как показано на фиг. 4-8, N плоскостей реконструкции (используемых при реализации предлагаемого в настоящем изобретении способа) предпочтительно включают в себя сагиттальную плоскость 2 и фронтальную или корональную плоскость 3, а также по меньшей мере еще одну плоскость, перпендикулярную поперечной или осевой плоскости 1, включающей в себя линию пересечения сагиттальной и корональной плоскостей и имеющей угловое смещение вокруг упомянутой линии в направлении этих плоскостей.
В дополнение к вышеизложенному или в качестве альтернативы ему, N плоскостей реконструкции также могут включать в себя:
- плоскости, которые параллельны сагиттальной плоскости 2 или корональной плоскости 3, и/или,
- несколько взаимно параллельных осевых плоскостей 1.
Настоящее изобретение также относится, как символически показано на фиг. 4-8, к системе выполнения описанного выше способа автоматической сегментации.
Упомянутая система отличается тем, что содержит по меньшей мере одно компьютерное устройство, размещенное в структурированной компоновке и позволяющее согласованно работать в последовательной или параллельной организации N разным сверточным нейронным сетям (CNNi) с количеством сетей N≥2, причем каждая CNN адаптирована под и сконфигурирована для автоматического и независимого от других CNN выполнения сегментации анатомических и патологических структур или аппаратов, которые можно видеть на обрабатываемом трехмерном медицинском изображении, путем анализа вокселей, образующих упомянутый объем трехмерного изображения, в N отличающихся осях или плоскостях реконструкции, причем каждая CNN выделяется для анализа вокселей, принадлежащих одной оси или плоскости реконструкции.
В предпочтительном варианте осуществления, упомянутая система также содержит средство объединения и, возможно, отображения результатов анализов и сегментаций, выполненных упомянутыми N разными CNN.
Согласно первой альтернативе, N разных CNN могут располагаться в последовательной архитектуре таким образом, что каждая CNNi из упомянутых N разных CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N разных CNN, и использует результаты, предоставленные предшествующей сетью CNNi-1, если она имеется (фиг. 5).
В соответствии со вторым альтернативным вариантом осуществления, N разных CNN могут располагаться в параллельной архитектуре, возможно, в едином алгоритмическом каркасе, при этом результаты упомянутых N разных CNN объединяются на заключительном этапе (фиг. 4, 6 и 8).
Конечно, изобретение не ограничивается по меньшей мере одним упомянутым вариантом осуществления, описанным и проиллюстрированным прилагаемыми чертежами. Возможны модификации, особенно с точки зрения состава различных элементов или замены на технические эквиваленты, не выходящие за рамки объема защиты изобретения.
Настоящее техническое решение относится к области вычислительной техники. Технический результат заключается в повышении точности сегментации трехмерного медицинского изображения. Технический результат достигается за счёт автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на трехмерном медицинском изображении объекта, состоящего из вокселей. Упомянутый способ отличается тем, что он заключается в предоставлении общего программного средства или устройства, объединяющего N разных сверточных нейронных сетей или CNN при количестве сетей N≥2, и имеющего структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения, и в анализе вокселей, формирующих упомянутый объем трехмерного изображения в N отличающихся осях или плоскостях реконструкции, причем каждая CNN выделена для анализа вокселей, принадлежащих одной оси или плоскости. 6 н. и 10 з.п. ф-лы, 8 ил.
1. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении субъекта, полученном с помощью компьютерного томографа, магнитно-резонансного томографа или ультразвукового устройства,
при этом способ содержит следующие этапы:
предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей из множества сверточных нейронных сетей (CNN), при количестве сетей N≥3,
анализ вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися плоскостями реконструкции, причем указанное глобальное программное обеспечение показывает структурированную геометрию или архитектуры своих CNN, которые адаптированы и сопоставимы с объемом трехмерного изображения, и каждая из этих CNN выделяется для анализа вокселей, принадлежащих одной соответствующей плоскости реконструкции среди указанных N плоскостей реконструкции, и
дополнительно содержит комбинацию двух последовательных рабочих этапов:
выполнение N процедур сегментаций, причем каждая сегментация выполняется в одной из N отличающихся плоскостей реконструкции путем анализа и сегментирования двумерных медицинских изображений, сформированных всеми вокселями трехмерного изображения, принадлежащими соответственно одной из N плоскостей реконструкции и формирующих пиксели двумерных медицинских изображений, с помощью соответствующих выделенных CNNᵢ из N имеющихся CNN, чтобы достичь для всех N двумерных медицинских изображений сегментации анатомических и патологических структур или аппаратов, которые можно соответственно увидеть в каждом из указанных N двумерных медицинских изображений, и
объединение конечных результатов упомянутых N взаимно независимых двумерных сегментаций в единую трехмерную сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении.
2. Способ автоматической сегментации по п. 1, отличающийся тем, что он заключается в предоставлении единой нейронной сети, объединяющей в своей структуре N различных CNN, работающих параллельно, которые автоматически сегментируют анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, тем, что каждая CNN анализирует все воксели, формирующие объем упомянутого трехмерного изображения в отличающейся плоскости реконструкции, и тем, что результаты различных двумерных анализов и сегментаций объединяются посредством свертки в последних структурах упомянутой нейронной сети со структурированной геометрией.
3. Способ автоматической сегментации по п. 1, отличающийся тем, что он заключается в выполнения N последовательных рабочих этапов или этапов обработки изображения, при этом каждый этап выполняется посредством CNN, которая автоматически сегментирует анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, причем каждая CNNi из упомянутых CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N различных CNN, и с использованием результатов, предоставленных предшествующей сетью CNNi-1 последовательности, если она имеется.
4. Способ автоматической сегментации по п. 1, отличающийся тем, что первый рабочий этап выполняют N различных CNN, работающих параллельно или последовательно, причем каждая из этих CNN автоматически сегментирует, независимо от других сетей, анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, при этом каждая CNN анализирует все воксели, формирующие объем трехмерного изображения в отличающейся плоскости реконструкции для каждой из N различных CNN.
5. Способ автоматической сегментации по п. 1 или 4, отличающийся тем, что на втором рабочем этапе, который посвящен объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, каждому вокселю объема изображения присваивают метку, соответствующую комбинации из N меток, присвоенных этому же вокселю в процессе N сегментаций первого этапа.
6. Способ автоматической сегментации по п. 1 или 4, отличающийся тем, что второй рабочий этап, посвященный объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на медицинском трехмерном изображении, выполняют путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации из N меток, присвоенных этому же вокселю и соседнему с ним вокселю(ям) в ходе N сегментаций первого этапа.
7. Способ автоматической сегментации по любому из пп. 1-6, отличающийся тем, что N плоскостей включают в себя сагиттальную плоскость и фронтальную или корональную плоскость, а также по меньшей мере еще одну плоскость, перпендикулярную поперечной или осевой плоскости, содержащую линию пересечения сагиттальной и корональной плоскостей и смещенную по углу вокруг упомянутый линии в направлении этих плоскостей.
8. Способ автоматической сегментации по любому из пп. 1-6, отличающийся тем, что используемые N плоскостей реконструкции представляют собой плоскости, которые параллельны сагиттальной плоскости или корональной плоскости.
9. Способ автоматической сегментации по любому из пп. 1-6, отличающийся тем, что используемые N плоскостей реконструкции включают в себя несколько взаимно параллельных осевых плоскостей.
10. Система для выполнения способа автоматической сегментации по любому из пп. 1-9, отличающаяся тем, что она содержит по меньшей мере одно компьютерное устройство, обеспечивающее скоординированную работу в последовательной или параллельной организации N различных сверточных нейронных сетей (CNNi) с количеством сетей N≥3, причем каждая CNNi адаптирована под и сконфигурирована для автоматического и независимого от других CNN выполнения сегментации анатомических и патологических структур или аппаратов, которые можно видеть на обрабатываемом трехмерном медицинском изображении, путем анализа вокселей, формирующих упомянутый объем трехмерного изображения в N отличающихся плоскостях реконструкции, а именно, путем выполнения N сегментаций, причем каждая сегментация выполняется в одной из N отличающихся плоскостей реконструкции путем анализа и сегментирования двумерных медицинских изображений, сформированных всеми вокселями, принадлежащими каждой из упомянутых заданных плоскостей и формирующими пиксели упомянутых двумерных медицинских изображений, с помощью соответствующих выделенных CNNᵢ из имеющихся CNN, причем каждая CNNᵢ, таким образом, выделена для анализа вокселей, принадлежащих одной плоскости, и при этом упомянутая система также содержит средство объединения и, возможно, отображения результатов анализов и двумерных сегментаций, выполненных упомянутыми N различных CNNi.
11. Система по п. 10, отличающаяся тем, что N различных CNN расположены в последовательной архитектуре таким образом, что каждая CNNi из упомянутых N различных CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N различных CNN, и использует результаты, предоставленные предшествующей сетью CNNi-1, если она имеется.
12. Система по п. 10, отличающаяся тем, что N различных CNN расположены в параллельной архитектуре, возможно, в едином алгоритмической каркасе, причем результаты упомянутых N различных CNN объединяются на заключительном этапе.
13. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении субъекта, полученном с помощью компьютерного томографа, магнитно-резонансного томографа или ультразвукового устройства,
при этом способ содержит следующие этапы:
предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей (CNN), при количестве сетей N≥3,
анализ вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися плоскостями реконструкции, причем указанное глобальное программное обеспечение показывает структурированную геометрию или архитектуру своих CNN, которые адаптированы и сопоставимы с объемом трехмерного изображения, и каждая из этих CNN выделяется для анализа вокселей, принадлежащих одной соответствующей плоскости реконструкции среди указанных N плоскостей реконструкции, и
дополнительно содержит комбинацию двух последовательных рабочих этапов:
выполнение N процедур сегментаций, причем каждая сегментация выполняется в одной из N отличающихся плоскостей реконструкции путем анализа и сегментирования двумерных медицинских изображений, сформированных всеми вокселями трехмерного изображения, принадлежащими соответственно одной из N плоскостей реконструкции и формирующих пиксели двумерных медицинских изображений, с помощью соответствующих выделенных CNNᵢ из N имеющихся CNN, чтобы достичь для всех N двумерных медицинских изображений сегментации анатомических и патологических структур или аппаратов, которые можно соответственно увидеть в каждом из указанных N двумерных медицинских изображений, и
объединение конечных результатов упомянутых N взаимно независимых двумерных сегментаций в единую трехмерную сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, в котором
указанный способ включает предоставление единой нейронной сети, объединяющей в своей структуре N различных CNN с N>3, работающих параллельно, которые автоматически сегментируют анатомические и патологические структуры или аппараты, которые можно увидеть на трехмерном медицинском изображении, при этом каждая CNN анализирует все воксели, формирующие объем упомянутого трехмерного изображения в отличающейся плоскости реконструкции, и результаты различных двумерных анализов и сегментаций объединяются посредством свертки в последних структурах упомянутой нейронной сети со структурированной геометрией, и
в котором второй рабочий этап, заключающийся в объединении результатов N взаимно независимых двумерных сегментаций первого этапа в единую трехмерную сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, выполняется путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации из N меток, присвоенных этому же вокселю и соседнему с ним вокселю(ям) в ходе N сегментаций первого этапа.
14. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении субъекта, при этом способ содержит следующие этапы:
предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей или множества сверточных нейронных сетей (CNN), при количестве сетей N≥3, и имеющего структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения,
анализ вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися осями или плоскостями реконструкции, причем каждая CNN выделяется для анализа вокселей, принадлежащих одной оси или плоскости реконструкции,
в котором для каждой из указанных N плоскостей реконструкции трехмерного изображения он дополнительно состоит в анализе и сегментирования двумерных изображений, сформированных вокселями данной плоскости, с помощью выделенных CNNᵢ из N имеющихся CNN, при N≥3, при этом указанные CNN структурированы аналогично объему трехмерного изображения и объединяют промежуточные или конечные результаты указанных N анализов, выполненных указанными различными CNN, и
в котором указанный способ дополнительно включает выполнение N последовательных рабочих этапов или этапов обработки изображения, при этом каждый этап выполняется посредством CNN, которая автоматически сегментирует анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, причем каждая CNNi из упомянутых CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N различных CNN, и с использованием результатов, предоставленных предшествующей сетью CNNi-1 последовательности, если она имеется.
15. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении, полученном с помощью компьютерного томографа, магнитно-резонансного томографа или ультразвукового устройства, при этом способ заключается
в предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей или сверточных нейронных сетей (CNN), при количестве сетей N≥2,
в анализе вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися плоскостями реконструкции, при этом
способ состоит из комбинации двух последовательных рабочих этапов:
первого этапа, заключающегося в выполнении N сегментаций, причем каждая сегментация выполняется в одной из N отличающихся плоскостей реконструкции путем анализа и сегментирования двумерных медицинских изображений, сформированных всеми вокселями, принадлежащими каждой из заданных плоскостей и формирующих пиксели двумерных медицинских изображений, с помощью соответствующих выделенных CNNᵢ из N имеющихся CNN, и
второго этапа, заключающегося в объединении конечных результатов упомянутых N взаимно независимых двумерных сегментаций в единую трехмерную сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, отличающийся
тем, что N≥3, предпочтительно N>3,
тем, что указанное трехмерное медицинское изображение представляет собой изображение субъекта, на котором виден набор различных анатомических и патологических структур или аппаратов,
тем, что каждая CNN выделяется для анализа вокселей, принадлежащих одной из N плоскостей, так что указанное глобальное программное средство или устройство, которое объединяет указанные N различных CNN, имеет структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения,
тем, что заключается в использовании единой нейронной сети, объединяющей в своей структуре N различных CNN, работающих параллельно, которые автоматически сегментируют анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, тем, что результаты различных двумерных анализов и сегментаций объединяются посредством свертки в последних структурах упомянутой нейронной сети со структурированной геометрией, и
тем, что второй рабочий этап, посвященный объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на медицинском трехмерном изображении, выполняют путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации из N меток, присвоенных этому же вокселю и соседнему с ним вокселю(ям) в ходе N сегментаций первого этапа.
16. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении, полученном с помощью компьютерного томографа, магнитно-резонансного томографа или ультразвукового устройства, при этом способ заключается
в предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей или сверточных нейронных сетей (CNN), при количестве сетей N≥2,
в анализе вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися плоскостями реконструкции, при этом
способ отличается
тем, что N≥3, предпочтительно N>3,
тем, что указанное трехмерное медицинское изображение представляет собой изображение субъекта, на котором виден набор различных анатомических и патологических структур или аппаратов,
тем, что каждая CNN выделяется для анализа вокселей, принадлежащих одной из N плоскостей, так что указанное глобальное программное средство или устройство, которое объединяет указанные N различных CNN, имеет структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения,
тем, что заключается в выполнении N последовательных рабочих этапов или этапов обработки изображения, при этом каждый этап выполняется посредством CNN, которая автоматически сегментирует анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, причем каждая CNNi из упомянутых CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N различных CNN, и с использованием результатов, предоставленных предшествующей сетью CNNi-1 последовательности, если она имеется.
| Kensaku Mori et al | |||
| Многоступенчатая активно-реактивная турбина | 1924 |
|
SU2013A1 |
| Способ очистки нефти и нефтяных продуктов и уничтожения их флюоресценции | 1921 |
|
SU31A1 |
| US 8331637 B2, 11.12.2012 | |||
| Токарный резец | 1924 |
|
SU2016A1 |
| US 9730643 B2, 15.08.2017 | |||
| US | |||
