СИСТЕМА И СПОСОБ ОБНАРУЖЕНИЯ ПАТОЛОГИЙ ЛЕГКИХ ПО РЕНТГЕНОВСКИМ ИЗОБРАЖЕНИЯМ Российский патент 2025 года по МПК A61B5/91 G16H10/00 G06N3/02 G06T7/10 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области обработки изображений, и, более конкретно, к поддержке принятия врачебных решений на основе анализа медицинских изображений.

Уровень техники

Рентгенологические исследования органов грудной клетки занимают 24% или более 76 млн исследований в год в структуре всех лучевых исследований в Российской Федерации. В настоящее время основным методом активного выявления скрыто протекающих патологических процессов в легких являются флюорографические исследования.

Широко тестируются алгоритмы и программное обеспечение, позволяющие проводить автоматический анализ рентгенологических данных. Применение таких алгоритмов предполагает более эффективное обнаружение патологических изменений.

Использование искусственного интеллекта (ИИ) в различных областях медицины значительно выросло за последние годы. Это произошло главным образом благодаря прогрессу высокопроизводительных вычислений и развитию глубокого обучения (DL), подмножества алгоритмов искусственного интеллекта, которые используют нейронные сети для обучения решению конкретных задач из баз данных, помеченных экспертами.

Ранние методы диагностики заболеваний легких с применением ИИ использовали следующие методы: сочетание нейронной сети-классификатора с сетью-сегментатором патологии, сочетание нейронной сети-сегментатора патологий с мультиклассовым детектором, мультиклассовая сегментация с отсечением по порогу, мультиклассовая сегментация с двумя порогами. Все эти методы имеют ограниченную точность, увеличенные требования к количеству обучающих данных, повышенную сложность обработки и ограниченную скорость работы. Кроме того, в известном уровне техники не предложены эффективные решения для преодоления проблемы малого размера классов и классового дисбаланса.

Сущность изобретения

С целью устранения по меньшей мере некоторых из вышеупомянутых недостатков предшествующего уровня техники, настоящее изобретение направлено на повышение эффективности систем и способов диагностики патологий легких посредством искусственного интеллекта. В современном мире, где технологии играют ключевую роль в улучшении качества медицинского обслуживания, представленное изобретение позволяет улучшить параметры точности диагностики заболеваний легких, скорости обработки изображений системами автоматической диагностики легких и снизить требования к количеству обучающих данных для ИИ систем.

Согласно первому аспекту настоящего изобретения, предложена система обнаружения патологий легких по рентгеновским изображениям, содержащая:

блок получения изображений, выполненный с возможностью получать двумерное рентгеновское изображение области легких;

блок диагностики патологий, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, с помощью нейронной сети на основе сегментации выявлять на полученном изображении участки патологий легких;

блок сегментации анатомических структур, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, определять с помощью нейронной сети на основе сегментации область сердца, область правого легкого и область левого легкого по их внешним контурам, а также область от диафрагмы и ниже нее;

блок локализации патологий, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, определять локализацию выявленных участков патологии путем сопоставления выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур, удалять предполагаемые участки патологий, выходящие за пределы области, которой они соответствуют; и

блок передачи отчета, выполненный с возможностью формировать отчет, содержащий сведения о наличии или отсутствии патологий легких на полученном изображении на основе выходных данных по меньшей от одного из блока диагностики патологий, блока сегментации анатомических структур и блока локализации патологий,

причем каждая нейронная сеть предварительно обучена определять маску сегментации для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем далее маски сегментации подвергаются постобработке, в которой к маске сначала применяется порог сегментации на основании порога сегментации для генерации бинаризированной копии маски сегментации класса; затем с использованием бинарной копии изначальной маски происходит выделение изолированных участков изображения - кандидатов; для каждого участка изображения кандидата подсчитывается средняя вероятность пикселей маски, принадлежащих участку; полученные значения средних вероятностей сравниваются с порогом детекции, вычисленным по всей выборке для принятия решения об итоговой детекции участка как принадлежащего к соответствующему классу.

В одном из вариантов осуществления блок передачи отчета дополнительно выполнен с возможностью формировать копию входного изображения с нанесенными на него контурами, ограничивающими область патологии, а также указывать текстовую информацию о локализации патологии и числовые значения площади поражения легких.

В одном из вариантов осуществления блок локализации патологий дополнительно выполнен с возможностью делать вывод о наличии или отсутствии диссеминированного поражения в зависимости от локализации патологии в одном или двух легких, количества очагов поражения и площади поражения каждого легкого.

В одном из вариантов осуществления блок локализации патологий дополнительно выполнен с возможностью вычислять поперечный размер легких и сердца, вычислять на их основе кардиоторакальный индекс (КТИ) и обнулять определенную блоком диагностики патологий вероятность наличия кардиомегалии, если вычисленный КТИ меньше критического порога.

В одном из вариантов осуществления каждая нейронная сеть предварительно обучена определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используется фокусная функция потерь и веса пикселей, которые представляют собой веса для положительных пикселей истинной маски класса и отрицательных пикселей истинной маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке, причем фокусная функция потерь вычисляется для каждого пикселя маски после определения маски класса, и если соответствующий пиксель истинной маски класса является положительным, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя положительного примера данного класса, а если соответствующий пиксель истинной маски класса является отрицательным, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя отрицательного примера данного класса.

В одном из вариантов осуществления после каждой эпохи обучения вычисляется отношение между метриками средней точности и средней полноты, и если оно выходит за пределы от 0,9 до 1,1, то веса пикселей для фокусной функции потерь корректируются следующим образом: вес пикселя для положительного пикселя умножается на результат деления метрики среднего F1 на среднюю полноту, для отрицательного пикселя - на результат деления метрики среднего F1 на среднюю точность.

В одном из вариантов осуществления каждая нейронная сеть предварительно обучена определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используется функция потерь на основе коэффициента Жаккара и веса классов положительной и отрицательной метки класса, которые определяются на основе обратной частоты положительных и отрицательных меток класса для всех изображений в выборке по каждому классу, причем если для заданного изображения в истинной маске заданного класса присутствуют положительные элементы, то всему экземпляру присваивается положительная метка класса, если отсутствуют - отрицательная метка класса, причем функция потерь на основе коэффициента Жаккара вычисляется для каждой маски класса после определения маски класса для каждого класса, и если соответствующая изображению истинная метка класса является положительной, то ошибка соответствующего класса умножается на вес класса положительного экземпляра класса, а если отрицательной - на вес класса отрицательного экземпляра класса, соответственно.

Согласно второму аспекту настоящего изобретения, предложен способ обнаружения патологий легких по рентгеновским изображениям, содержащий этапы, на которых:

с использованием блока получения изображений получают двумерное рентгеновское изображение, содержащее область легких;

с использованием блока диагностики патологий, содержащего нейронную сеть для сегментации, определяют на полученном изображении участки патологий легких;

с использованием блока сегментации анатомических структур, содержащего нейронную сеть для сегментации, определяют на полученном изображении область сердца, область правого легкого и область левого легкого по их внешним контурам, а также область от диафрагмы и ниже нее;

с использованием блока локализации патологий, определяют локализацию выявленных участков патологии на основе сопоставления выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур и удаляют предполагаемые участки патологий, выходящие за пределы области, которой они соответствуют; и

с использованием блока передачи отчета формируют и передают отчет, содержащий сведения о наличии или отсутствии патологий легких на полученном изображении на основе выходных данных по меньшей от одного из блока диагностики патологий, блока сегментации анатомических структур и блока локализации патологий, на устройство, запрашивавшее диагностику,

причем каждая нейронная сеть предварительно обучена определять маску сегментации для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем далее маски сегментации подвергают постобработке, в которой к маске сначала применяют порог сегментации на основании порога сегментации для генерации бинаризированной копии маски сегментации класса; затем с использованием бинарной копии изначальной маски выполняют выделение изолированных участков изображения - кандидатов; для каждого участка изображения кандидата подсчитывают среднюю вероятность пикселей маски, принадлежащих участку; полученные значения средних вероятностей сравнивают с порогом детекции, вычисленным по всей выборке для принятия решения об итоговой детекции участка как принадлежащего к соответствующему классу.

Технический результат

Настоящее изобретение позволяет повысить эффективность систем и способов диагностики патологий легких с использованием двумерных рентгеновских изображений. При этом обеспечивается:

- повышение точности диагностики;

- повышение скорости обработки двумерных изображений;

- упрощение интерпретации и описания изображений;

- возможность выполнения диагностики заболеваний легких, в режиме скрининга;

- освобождение медицинского персонала от рутинных процессов анализа снимков пациентов;

- уменьшение влияния человеческого фактора (внимательность, утомляемость, ответственность);

- увеличение соотношения между количеством снимков, использованных для обучения, и полученными метриками классификации и детекции.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительный чертеж.

Краткое описание чертежей

Фиг. 1 показывает блок-схему системы диагностики патологий легких согласно настоящему изобретению.

Следует понимать, что фигура представлена схематично и не в масштабе и предназначена, главным образом, для улучшения понимания настоящего изобретения.

Подробное описание

Заболевания легких на практике обычно диагностируются врачами путем ручного анализа изображений. Настоящее изобретение предоставляет способ и систему, которые автоматизируют процесс диагностики, определяя наличие признаков патологий из списка, их размер и локализацию, размер сердца, кардиоторокальный индекс.

Авторами настоящего изобретения была собрана анонимная база данных пациентов с признаками патологий легких и без них. Каждый случай пациента состоит из снимка легких в прямой проекции. На каждом рентгеновском изображении квалифицированный рентгенолог вручную именованным контуром обводил область каждого легкого, область от куполов диафрагмы и ниже, область сердца и каждый из признаков патологий при наличии. Как будет показано далее, такая база данных будет использоваться для обучения моделей машинного обучения.

Из уровня техники известны системы, в которых для обнаружения патологий легких использовались сети типа детектор и классификатор, с последующей сегментацией на основе отдельной сети-сегментатора в мультиклассовом варианте или ансамбля сегментаторов в моноклассовом варианте или на основе карт внимания классификатора. Также известны примеры сетей, сочетающих сегментацию целевой области легких, с последующей передачей целевой области в классификатор с исключением областей, не относящихся к легким. Также из уровня техники известны системы, в которых осуществлялась сегментация патологии как единого класса с последующей классификацией выделенных областей. Также из уровня техники известны системы, в которых детекция и классификация производилась сетью-сегментатором по порогу сегментации или двум порогам, из которых первый служил для определения наличия или отсутствия патологии, а второй для определения оптимальной области сегментации.

Из представленных подходов системы автоматической диагностики патологий легких на основе классификаторов, классификаторов с предварительной сегментацией и выделением целевой области, сетей-детекторов требуют значительного количества изображений для обучения. Системы автоматической диагностики патологий легких на основе сетей сегментации склонны к ложноположительным срабатываниям за счет активации сети на отдельных небольших участках и требуют дополнительной фильтрации по размеру обнаруженных потенциальных участков патологии. В свою очередь, в процессе обучения сети-сегментаторы, обученные ранее, сталкиваются с проблемой как дисбаланса классов, так и дисбаланса представленности класса на изображении, что приводит к ухудшению результатов при обучении с использованием функции ошибок (функции потерь) на основе кросэнтропии, особенно для таких патологических признаков, как кальцинаты, очаговые тени, очаговый фиброз, переломы ребер.

Настоящее изобретение эффективно преодолевает это препятствие за счет использования детекции на основе сегментации с описанным в настоящем изобретении алгоритмом обучения и постобработки, исключения ложноположительных результатов на основании анализа пересечения масок нормальной анатомии и патологии, а также увеличения точности, в том числе за счет оценки кардиоторакального индекса.

Общее описание системы

Как изображено на блок-схеме на Фиг. 1, система 100 диагностики патологий легких согласно настоящему изобретению содержит блок 110 получения изображений, блок 120 сегментации анатомических структур, блок 130 диагностики патологий, блок 140 локализации патологий, блок 150 передачи отчета.

Блок получения изображений в одном варианте осуществления может представлять собой сетевую плату или иное средство приема данных. В другом варианте осуществления блок получения изображений может представлять собой непосредственно рентгеновский аппарат.

Блок диагностики патологий, блок локализации патологий и блок сегментации анатомических структур реализуются на базе устройства обработки, содержащего вычислительный модуль (например, центральный процессор), модуль памяти (например, оперативную память и постоянную память), а также при необходимости дополнительный вычислительный модуль (например, графический процессор или нейронный процессор). Таким образом, блок диагностики патологий, блок локализации патологий и блок сегментации анатомических структур могут быть реализованы на базе компьютера или сервера.

Блок передачи отчета может представлять собой сетевую плату, аппаратный интерфейс передачи данных/видеосигнала или иное средство обмена данными.

Способ диагностики патологий легких выполняется системой диагностики патологий и заключается в следующем.

Сначала с помощью блока получения изображений получают двумерное изображение легких.

Как указывалось выше, в одном варианте осуществления, если блок получения изображений является рентген-аппаратом, он может получать изображение самостоятельно (или под управлением оператора). В другом варианте осуществления блок получения изображений, будучи частью сервиса диагностики патологий, может получать извне (например, от медицинской организации, от врача, от региональной системы хранения медицинских данных и т.д.) запрос на диагностику или входные данные, содержащие одно или множество (например, пакет) изображений, и извлекать требуемое изображение из полученных входных данных или запроса.

При необходимости полученное изображение подвергается предварительной обработке в блоке предобработки (не показан на Фиг.1), чтобы оно было пригодно для обработки дальнейшими блоками. Например, если исходное изображение имеет в каком-либо направлении недостаточное или избыточное разрешение, то может выполняться преобразование или реконструкция изображения до требуемого разрешения. Также могут корректироваться яркость, контрастность и иные параметры изображения.

Затем изображение подается на блок сегментации анатомических структур и блок диагностики патологий.

В блоке сегментации анатомических структур с использованием предварительно обученной нейронной сети определяется вероятность наличия класса и бинарные маски сегментации по каждому из следующих классов: «Правое легкое», «Левое легкое», «Купола диафрагмы и нижележащая область», «Сердце» (как показано выше, в обучающем датасете имеется разметка по каждому такому классу). Выходом блока сегментации анатомических структур является бинарная маска правого легкого, левого легкого, сердца, куполов диафрагмы.

В блоке диагностики патологий с использованием предварительно обученной нейронной сети для каждого из классов патологии легких генерируются бинарные маски патологий и вероятности наличия классов патологии. Под классами патологии подразумеваются следующие классы: очаговая тень, инфильтрация, плевральный выпот, ателектаз, пневмоторакс, кальцинаты, фиброз, перелом ребра, консолидированный перелом ребра, отек легких и расширение сердца (как показано выше, в обучающем датасете имеется именованная разметка областей с патологией на тех изображениях, где патологии имеются). Выходом блока диагностики патологий являются бинарные маски патологий и набор значений от 0 до 1 для каждой патологии, интерпретируемый как вероятность ее наличия.

Выходные данные от блока сегментации анатомических структур и блока диагностики патологий поступают в блок локализации патологий. В блоке локализации патологий области изображения, помеченные как содержащие патологию, проверяются на пересечение с областями изображения, выделенными как соответствующие правому легкому, левому легкому или сердцу, для исключения ложноположительных результатов. Маски патологий вне области легких обнуляются, маски патологий сердца вне маски сердца обнуляются. После этого вычисляется поперечный размер легких (грудной клетки) и сердца (например, по числу пикселей, составляющих соответствующую поперечную линию) и подчитывается кардиоторакальный индекс (КТИ), который представляет собой отношение поперечника тени сердца, измеряемого в наиболее отдаленных точках правого и левого контуров сердца к внутреннему поперечнику грудной клетки, измеряемому над куполами диафрагмы при прямой рентгенографии.

В одной из реализаций для устранения ложноотрицательных результатов в классе «Кардиомегалия» вероятность наличия класса обнуляется, если подчитанный КТИ меньше критического порога 0,6.

В одной из реализаций производится подсчет площади патологии «Инфильтрация» и «Очаговая тень» по сравнению с площадью легких. Если инфильтрация или очаговые тени занимают более критического порога площади в каждом из легких, делается вывод о наличии диссеминации.

В одной из реализаций производится подсчет изолированных контуров класса «Очаговая тень». Если число теней превосходит порог, то делается вывод о наличии диссеминированного поражения легких.

Фактически, и в блоке сегментации анатомических структур, и в блоке диагностики патологий сначала выполняется сегментация, а затем на ее основе выполняется формирование бинарной маски и вычисление вероятностей. Различие состоит в том, что в блоке сегментации анатомических структур сегментация предназначена для классификации анатомических структур, а в блоке диагностики патологий сегментация предназначена для детекции патологий. Затем данные с этих блоков объединяются в блоке локализации патологий, чтобы повысить точность диагностики и отсечь ложные срабатывания, которые могли бы возникнуть, если бы использовался только один из указанных двух подходов с использованием сегментации, а не предложенное сочетание. Это выгодно отличается от известных решений из уровня техники, в которых либо вообще не используется сегментация, либо сегментация используется только для выявления анатомических структур.

Далее, вывод от блока локализации патологий передается в блок передачи отчета. В одном варианте осуществления отчет о состоянии легких может формироваться для каждого изображения. В другом варианте осуществления запрос на диагностику или настройки системы диагностики могут предусматривать необходимость формирования отчета только для случаев, в которых выявлена патология. Например, если в полученном пакете из 10 изображений система выявила один случай патологии, она может формировать отчет для соответствующего изображения (или пациента), содержащий вычисленные клинические показатели. Отчет также может содержать сформированную блоком передачи отчета копию входного изображения с нанесенными на него контурами патологии. Отчет также может содержать информацию в текстовом виде о локализации каждого признака в одном из двух легких, КТИ, площадь поражения каждого легкого.

Далее отчет о состоянии здоровья легких выводится на экран монитора, подключенного к серверу, или же передается с помощью блока передачи отчета на устройство, запрашивавшее диагностику - например, на расположенное удаленно автоматизированное рабочее место (АРМ) врача.

С помощью изображения с нанесенными на него контурами и других данных, содержащихся в отчете, врач принимает решение о состоянии здоровья пациента.

Детекция и классификация на основе масок сегментации

Далее процесс, выполняющийся в блоках сегментации анатомических структур и диагностики патологий, будет описан подробно.

Для каждой маски каждого класса выходом нейронной сети служит маска класса (соответственно, класса анатомической структуры или класса патологии) с вероятностями принадлежности пикселя к классу в диапазоне 0-1. Для каждой маски класса определяются участки изображения - кандидаты на принадлежность к классу. Под определением кандидатов подразумевается простая сегментация по порогу, вычисленному на основании максимизации попиксельного F1-score по всему обучающему датасету, далее называемому порогом сегментации. В другой реализации сегментация выполняется по порогу, определяемому в рамках одного изображения методом ADAPTIVE_THRESH_GAUSSIAN (адаптивный порог, равный взвешенной на основе гауссова окна сумме значений окрестностей). Результатом сегментации служит бинарная маска класса, в последующем называемая маской объектов. Далее (например, с использованием библиотеки opencv) производится поиск контуров для сегментов, содержащихся в маске объектов. Далее, для каждого контура на маске объектов из контура производится генерация маски области интереса, под этим подразумевается, что все элементы маски, лежащие внутри данного контура, считаются равными единице, а за пределами этого контура - равными нулю. Маска области интереса поэлементно умножается на изначальную маску класса. Далее, производится подсчет всех не нулевых пикселей маски области интереса (N) и суммы вероятностей по всем пикселям маски (M). Вероятность принадлежности рассматриваемого участка (области интереса) к классу определяется как P=M/N. P сравнивается с порогом детекции. Под порогом детекции подразумевается порог, рассчитанный на основании максимизации average F1 для маски объектов. Если P больше порога детекции, участок считается принадлежащим к искомому классу. Если P меньше порога детекции, то участок-кандидат считается участком с ложноположительным срабатыванием, и маска объектов в области соответствующего участка обнуляется. Для каждого изолированного участка маски объектов сохраняется полученная средняя вероятность по участку. Максимальная вероятность по всем изолированным участкам считается вероятностью наличия класса в целом.

Еще в одном варианте реализации в блоке диагностики патологий постобработка выходных данных содержащейся в нем нейронной сети может выполняться путем предварительной бинаризации маски каждого класса, выделения контуров, представления каждого контура как отдельного объекта детекции, вычисления средней вероятности пикселей изначальной маски внутри каждого контура с последующем сравнением этой вероятности с порогом детекции, вычисленным на основании AUROC кривой по всей обучающей выборке.

Указанные подходы позволяют повысить точность диагностики за счет повышения точности работы блоков, входящих в предложенную систему.

Нейронная сеть, производящая сегментацию, может быть основана на разных подходящих архитектурах, известных специалисту. В качестве неограничивающих примеров нейронная сеть может быть основана на архитектуре UNet или FPN.

UNet как источник базовой сегментации

Архитектура UNet была разработана для сегментации изображений и в настоящее время широко используется в медицинской визуализации благодаря своей универсальности и высокоточным результатам сегментации. Она состоит из пути энкодера с понижающей дискретизацией, который извлекает признаки изображения в разных масштабах и различной сложности, и пути декодера с повышающей дискретизацией, который генерирует результаты сегментации с использованием извлеченных признаков. Основная концепция UNet состоит в том, чтобы использовать замыкающие соединения (skip connections), которые проходят от энкодера к декодеру и идут от ранних уровней пути энкодера, где все еще сохраняются мелкие детали изображения, к поздним уровням пути декодера, которые содержат информацию от грубых признаков, необходимую для распознавания и сегментации объектов. Путь энкодера состоит из четырех блоков, каждый из которых состоит из двух сверточных слоев 3×3×3, за которым следует слой активации ReLU и слой объединения по максимальному значению (max-pooling) 2×2×2. Путь декодера состоит из четырех блоков, каждый из которых состоит из слоя повышающей дискретизации, слоя свертки транспонирования 2×2×2 и двух слоев свертки 3×3×3, за каждым из которых следует слой ReLU.

UNet может быть обучена с использованием оптимизатора Adam со скоростью обучения 0,0002 и снижением веса 0,0001.

FPN как источник базовой сегментации

Архитектура FPN с RPN основана на принципе эффективного извлечения многомасштабных признаков, что позволяет сочетать семантически устойчивые признаки с низким разрешением и семантически слабые признаки с высоким разрешением. Такой подход является эффективным для задачи обнаружения объектов. Компонент FPN извлекает признаки из входного изображения, и во время этого процесса, он имеет определенное сходство с UNet. Часть декодера создает карты объектов с более высоким разрешением путем повышения дискретизации результатов предыдущих слоев, и каждый блок пути декодера генерирует отдельный вывод для обучения сети. Замыкающие соединения состоят из слоев свертки 1×1, применяемых к блокам энкодера, которые затем добавляются к соответствующим блокам декодера. В результате FPN стремится генерировать признаки переменного разрешения, которые смогут описать целевой объект. В конкретном примере FPN может обучаться с использованием оптимизатора Adam со скоростью обучения 0,0002 и снижением веса 0,0001.

Обучение нейронных сетей

В обучении нейронной сети в качестве функции потерь предлагается использовать среднее значение фокусной функции потерь (focal loss) - это вариация кросэнтропии, предназначенная для решения проблемы дисбаланса классов, и функции потерь на основе коэффициента Жаккара (Jaccard loss), особенностью которой является независимость значения ошибки от размера объектов на изображении, причем для каждой ошибки использовались собственные веса каждого класса.

Метрики, используемые в процессе обучения

В процессе обучения предлагается использовать следующие метрики: IOU (пересечение относительно объединения), average recall (средняя полнота), precision (точность), F1 и попиксельные recall, precision, F1. Расчет показателей предлагается производить исходя из следующих правил. Для каждого класса нейронной сети выход маски сегментации больше 0,5 оценивается как 1, меньше 0,5 оценивается как 0. Для полученной бинарной маски сегментации и для истинной маски сегментации производится поиск контуров (например, с помощью библиотеки cvcontours). Каждый найденный контур расценивается как отдельный объект, аналогичный bb в задаче детекции. После этого производится расчет соответствующих метрик исходя из критического значения IOU = 0,5.

Pixel weight в сочетании Focal loss для увеличения точности сегментации

В одном из вариантов осуществления веса focal loss могут быть направлены на устранение систематического искажения, вызываемого различным числом пикселей, принадлежащих в среднем по выборке каждому классу и фону.

Для этого для focal loss могут быть использованы веса для положительных элементов истинной маски класса и отрицательных элементов маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке (далее pixel-weight, веса пикселей). После получения маски сегментации вычисляется focal loss для каждого элемента маски. В случае, если соответствующий элемент истинной маски сегментации является положительным, ошибка, полученная на этом элементе маски сегментации, умножается на pixel-weight положительного примера данного класса. В случае, если элемент маски сегментации является отрицательным, ошибка, полученная на этом элементе маски сегментации, умножается на pixel-weight отрицательного примера данного класса. После умножения на веса производится усреднение ошибки по всем элементам взвешенной ошибки. Таким образом, увеличивается точность сегментации.

Class-weight в сочетании с Jaccard loss для увеличения точности сегментации

В одном из вариантов осуществления веса Jaccard loss могут быть направлены на устранение систематического дисбаланса, вызванного тем, что не на всех изображениях присутствуют классы патологий, в отличии от классов нормальной анатомии.

Для этого для каждой ошибки в Jaccard loss предлагается использовать собственные веса каждого класса. Классы патологии в настоящем изобретении не противопоставляются друг другу. Классы нормальной анатомии в настоящем изобретении не противопоставляются друг другу.

Если для некоторого изображения в истинной маске некоторого класса присутствуют положительные элементы, то всему экземпляру присваивается положительная метка класса, если отсутствуют - отрицательная метка класса. На основе частоты положительных и отрицательных меток класса для всех изображений в выборке по каждому классу, на основании обратной частоты меток класса определяются веса классов (class-weight) положительной и отрицательной метки класса. После получения масок сегментации для каждого класса для каждой маски вычисляется Jaccard loss. Если соответствующая изображению истинная метка класса является положительной, то ошибка соответствующего класса умножается на class-weight для положительного экземпляра класса, если отрицательной - на class-weight для отрицательного экземпляра класса, соответственно. Итоговая ошибка усредняется. Таким образом, увеличивается точность сегментации.

Динамическая гиперплоскость оптимизации параметров сети

Выше в варианте реализации с pixel-weight для focal loss стартовое значение весов основывалось на частоте пикселей во всей выборке. Использование этого подхода даже для небольшой представленности класса на изображении обеспечивает высокое значение попиксельной полноты (recall) и средней полноты (average recall). Недостатком такого выбора весов является то, что в некоторых случаях нейронная сеть может быстро сходиться к состоянию выделения большого количества ложноположительных участков изображения. Для решения этой проблемы предлагается каждую эпоху видоизменять pixel-weight для достижения баланса между средней полнотой (average recall) и средней точностью (average precision) по следующему принципу: pixel-weight для положительного пикселя умножается на результат деления (average F1)/(average recall), для отрицательного пикселя - на результат деления (average F1)/(average precision), если отношение между average precision и average recall выходит за пределы от 0,9 до 1,1. Указанные соотношения можно представить в следующем виде:

Positive_PW_n+1 = Positive_PW_n * (average_F1/average_recall)

Negative_PW_n+1 = Negative_PW_n * (average_F1/average_precision)

где Positive_PW - это pixel-weight для положительного пикселя, Negative_PW - это pixel-weight для отрицательного пикселя, n - номер эпохи.

Тем самым, обеспечивается повышение точности работы нейронной сети за счет устранения ложноположительных результатов при сохранении высоких метрик, обеспечиваемых подходом pixel-weight для focal loss. Соответственно, повышается и точность диагностики (определения, обнаружения) патологий на изображениях.

Пример осуществления

Предложенная система была проверена на базе данных, содержащей 6139 рентгеновских изображений легких. Из этого набора 75% снимков использовались для обучения, а 25% для тестирования.

Возраст пациентов не учитывался. Наиболее частым диагнозами была кардиомегалия, пневмония, гидроторакс, соответствующие наличию признаков из списка: кардиомегалия, плевральный выпот, инфильтрация.

Параметры отдельных компонентов системы определялись следующим образом.

Сеть обучалась в режиме multilabel - segmentation, к выходу сети применялась активация sigmoid c использованием функции ошибки (потерь) Jaccard loss и focal loss с последующим вычислением их среднего, с предварительным применением pixel-weight и class-weight, с коррекцией pixel-weight каждую эпоху для оптимизации меток детекции.

Скорость обучения для моделей была выбрана равной 0,00001. Фреймворк был обучен на сервере, оснащенном графическим процессором (GPU) Tesla V100-SXM2-80 ГБ, 80-ядерным центральным процессором (CPU) Intel(R) Xeon(R) E5-2698 v4 @ 2,20 ГГц, оперативной памятью (RAM) 503 ГБ.

Эффективность системы оценивалась путем оценки точности показателя IOU для масок сегментации и вычисленным на основе сегментации меткам классов, по методике, описанной ранее, с использованием таких метрик классификации, как recall, precision, F1-score. Полученные результаты были сопоставлены с другими системами и с человеческими оценками и было выявлено, что предложенная система может успешно определять патологии легких, демонстрируя почти по всем показателям повышенную точность и скорость диагностики. При наличии механизма внешней коррекции удается дополнительно повысить точность диагностики, при этом помощь внешнего специалиста требуется только в случаях, когда существует вероятность неверной автоматической постановки диагноза.

Применение

Системы и способы согласно настоящему изобретению можно использовать для обработки диагностических медицинских изображений, содержащих область легких, с целью выявления в них признаков туберкулеза, новообразований, ателектаза, пневмоторакса, перелома ребер, отека легких, остаточных изменений после туберкулеза и иных заболеваний.

Дополнительные особенности реализации

Несмотря на то, что в данном документе может быть указано, что данные передаются/отправляются или принимаются/получаются человеком (например, медицинским специалистом, врачом, экспертом), специалист в данной области техники должен понимать, что такое указание используется исключительно в целях упрощения описания, тогда как на самом деле подразумевается, что данные передаются/отправляются или принимаются/получаются соответствующим устройством, которым пользуется и/или управляет этот человек.

Один или более описанных в настоящем документе блоков или устройств передачи (передатчиков) и один или более блоков или устройств приема (приемников) физически могут быть реализованы в одном и том же блоке или устройстве приемопередачи или в разных блоках или устройствах.

Устройством или блоком передачи в данном документе для упрощения описания может называться устройство или блок, имеющий функции не только передачи, но и приема данных, информации и/или сигналов. Аналогичным образом, устройство или блок приема может также заключать в себе функции передачи данных, информации и/или сигналов.

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Некоторые блоки по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.

При необходимости (например, в случае если велик объем данных и/или вычислений, которые необходимо выполнить в отношении этих данных), может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемые носители данных включают в себя как некратковременные компьютерные носители хранения данных, так и среду связи, включающую в себя любую передающую среду, которая упрощает перемещение компьютерной программы или ее части из одного места в другое. Некратковременный машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.

В качестве примера, а не ограничения, машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM), регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного, если это применимо к настоящему изобретению.

По меньшей мере один из этапов в способе или блоков в устройстве может использовать модель искусственного интеллекта (AI) для выполнения соответствующих операций. Функция, связанная с AI, может выполняться через процессор и энергонезависимую и/или энергозависимую память.

Процессор может включать в себя один или более процессоров. В то же время, один или более процессоров могут быть процессором общего назначения, например центральным процессором (CPU), прикладным процессором (AP) и т.п., блоком обработки только графики, таким как графический процессор (GPU), визуальный процессор (VPU), и/или специализированным процессором AI, таким как нейронный процессор (NPU).

Один или более процессоров управляют обработкой входных данных в соответствии с предварительно определенным правилом работы или моделью искусственного интеллекта (AI), хранящейся в энергонезависимой памяти и/или энергозависимой памяти. Предварительно определенное правило работы или модель искусственного интеллекта могут быть получены путем обучения. При этом процессор может выполнять операцию предварительной обработки данных для преобразования в форму, подходящую для использования в качестве входных данных для модели искусственного интеллекта.

«Получены путем обучения» означает, что посредством применения алгоритма обучения к обучаемой модели искусственного интеллекта с использованием множества обучающих данных создается предварительно определенное правило работы или модель AI с желаемой характеристикой. Обучение может выполняться на самом устройстве, в котором выполняется AI согласно варианту осуществления, и/или может быть реализовано через отдельный сервер/систему.

Модель искусственного интеллекта может включать в себя множество слоев нейронной сети. Каждый из множества слоев нейронной сети включает в себя множество весовых значений (коэффициентов) и выполняет рабочую операцию для данного слоя путем вычисления с применением множества весовых значений данного слоя в отношении входных данных или результата вычисления предыдущего слоя.

Примеры нейронных сетей включают, помимо прочего, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративно-состязательные сети (GAN) и глубокие Q-сети.

Алгоритм обучения - это метод обучения предварительно определенного целевого устройства (например, нейронной сети на базе GPU или NPU) с использованием множества обучающих данных, чтобы вызывать, разрешать или управлять целевым устройством для выполнения определения или прогнозирования. Примеры алгоритмов обучения включают, но не ограничиваются ими, обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя или обучение с подкреплением.

Следует понимать, что хотя в настоящем документе для описания различных блоков, модулей, сетей, элементов, компонентов, областей, слоев и/или секций, могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти блоки, модули, сети, элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один блок, модуль, сеть, элемент, компонент, область, слой или секцию от другого блока, модуля, сети, элемента, компонента, области, слоя или секции. Так, первый блок, модуль, сеть, элемент, компонент, область, слой или секция может быть назван вторым блоком, модулем, сетью, элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

В одном из вариантов осуществления некоторые или все элементы/блоки/модули предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате/кристалле и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются типовыми, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Несмотря на то что примерные варианты осуществления были подробно описаны и показаны на сопроводительном чертеже, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Группа изобретений относится к области обработки изображений и более конкретно к поддержке принятия врачебных решений на основе анализа медицинских изображений. Предложена система для реализации способа обнаружения патологий легких, которая содержит блок для получения рентгеновского изображения легких; блок диагностики патологий, который с помощью нейронной сети на основе сегментации выявляет на полученном изображении участки патологий легких; блок сегментации анатомических структур, который определяет с помощью нейронной сети на основе сегментации область сердца, область правого легкого и область левого легкого по их внешним контурам, а также область от диафрагмы и ниже нее; блок локализации патологий, который определяет локализацию выявленных участков патологии путем сопоставления выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур и удаляет предполагаемые участки патологий, выходящие за пределы области, которой они соответствуют; и блок для передачи отчета на устройство, запрашивавшее диагностику, причем выдаваемые нейросетями маски сегментации подвергаются постобработке для уточнения результатов сегментации. Группа изобретений обеспечивает повышение точности диагностики и повышение автоматизации обработки. 2 н. и 4 з.п. ф-лы, 1 ил.

1. Система обнаружения патологий легких по рентгеновским изображениям, содержащая:

блок получения изображений, выполненный с возможностью получать двумерное рентгеновское изображение органов грудной клетки;

блок диагностики патологий, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, с помощью нейронной сети на основе сегментации выявлять на полученном изображении органов грудной клетки участки патологий легких;

блок сегментации анатомических структур, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, с помощью нейронной сети, предварительно обученной по меньшей мере на одном наборе изображений органов грудной клетки, определять на полученном изображении органов грудной клетки на основе сегментации область сердца, область правого легкого и область левого легкого по их внешним контурам, а также область от диафрагмы и ниже нее в пределах полученного изображения органов грудной клетки;

блок локализации патологий, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, определять локализацию выявленных участков патологии путем сопоставления выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур, удалять предполагаемые участки патологий, выходящие за пределы области, которой они соответствуют; и

блок передачи отчета, выполненный с возможностью формировать отчет, содержащий сведения о наличии или отсутствии патологий легких на полученном изображении на основе выходных данных по меньшей от одного из блока диагностики патологий, блока сегментации анатомических структур и блока локализации патологий,

причем каждая нейронная сеть предварительно обучена определять маску сегментации для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем далее маски сегментации подвергаются постобработке, в которой к маске сначала применяется порог сегментации на основании порога сегментации для генерации бинаризированной копии маски сегментации класса; затем с использованием бинарной копии изначальной маски происходит выделение изолированных участков изображения - кандидатов; для каждого участка изображения кандидата подсчитывается средняя вероятность пикселей маски, принадлежащих участку; полученные значения средних вероятностей сравниваются с порогом детекции, вычисленным по всей выборке для принятия решения об итоговой детекции участка как принадлежащего к соответствующему классу, причем каждая нейронная сеть предварительно обучена определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используется фокусная функция потерь и веса пикселей, которые представляют собой веса для пикселей положительного примера истинной маски класса и пикселей отрицательного примера истинной маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке, причем фокусная функция потерь вычисляется для каждого пикселя маски после определения маски класса и, если соответствующий пиксель истинной маски класса относится к положительному примеру, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя положительного примера данного класса, а если соответствующий пиксель истинной маски класса относится к отрицательному примеру, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя отрицательного примера данного класса, при этом после каждой эпохи обучения вычисляется отношение между метриками средней точности и средней полноты и, если оно выходит за пределы от 0,9 до 1,1, веса пикселей для фокусной функции потерь корректируются следующим образом: вес пикселя для пикселя положительного примера данного класса умножается на результат деления метрики среднего F1 на среднюю полноту, для пикселя отрицательного примера данного класса – на результат деления метрики среднего F1 на среднюю точность.

2. Система по п. 1, в которой блок передачи отчета дополнительно выполнен с возможностью формировать копию входного изображения с нанесенными на него контурами, ограничивающими область патологии, а также указывать текстовую информацию о локализации патологии и числовые значения площади поражения легких.

3. Система по п. 1, в которой блок локализации патологий дополнительно выполнен с возможностью делать вывод о наличии или отсутствии диссеминированного поражения в зависимости от локализации патологии в одном или двух легких, количества очагов поражения и площади поражения каждого легкого.

4. Система по п. 1, в которой блок локализации патологий дополнительно выполнен с возможностью вычислять поперечный размер легких и сердца, вычислять на их основе кардиоторакальный индекс (КТИ) и обнулять определенную блоком диагностики патологий вероятность наличия кардиомегалии, если вычисленный КТИ меньше критического порога.

5. Система по п. 1, в которой каждая нейронная сеть предварительно обучена определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используется функция потерь на основе коэффициента Жаккара и веса классов положительной и отрицательной метки класса, которые определяются на основе обратной частоты положительных и отрицательных меток класса для всех изображений в выборке по каждому классу, причем, если для заданного изображения в истинной маске заданного класса присутствуют положительные элементы, всему экземпляру присваивается положительная метка класса, если отсутствуют, - отрицательная метка класса, причем функция потерь на основе коэффициента Жаккара вычисляется для каждой маски класса после определения маски класса для каждого класса и, если соответствующая изображению истинная метка класса является положительной, ошибка соответствующего класса умножается на вес класса положительного экземпляра класса, а если отрицательной, – на вес класса отрицательного экземпляра класса, соответственно.

6. Способ обнаружения патологий легких по рентгеновским изображениям, содержащий этапы, на которых:

с использованием блока получения изображений получают двумерное рентгеновское изображение органов грудной клетки;

с использованием блока диагностики патологий, содержащего нейронную сеть для сегментации, определяют на полученном изображении органов грудной клетки участки патологий легких;

с использованием блока сегментации анатомических структур, содержащего нейронную сеть для сегментации, предварительно обученную по меньшей мере на одном наборе изображений органов грудной клетки, определяют на полученном изображении органов грудной клетки область сердца, область правого легкого и область левого легкого по их внешним контурам, а также область от диафрагмы и ниже нее в пределах полученного изображения органов грудной клетки;

с использованием блока локализации патологий определяют локализацию выявленных участков патологии на основе сопоставления выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур и удаляют предполагаемые участки патологий, выходящие за пределы области, которой они соответствуют; и

с использованием блока передачи отчета формируют и передают отчет, содержащий сведения о наличии или отсутствии патологий легких на полученном изображении на основе выходных данных по меньшей от одного из блока диагностики патологий, блока сегментации анатомических структур и блока локализации патологий, на устройство, запрашивавшее диагностику,

причем каждая нейронная сеть предварительно обучена определять маску сегментации для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем далее маски сегментации подвергают постобработке, в которой к маске сначала применяют порог сегментации на основании порога сегментации для генерации бинаризированной копии маски сегментации класса; затем с использованием бинарной копии изначальной маски выполняют выделение изолированных участков изображения - кандидатов; для каждого участка изображения кандидата подсчитывают среднюю вероятность пикселей маски, принадлежащих участку; полученные значения средних вероятностей сравнивают с порогом детекции, вычисленным по всей выборке для принятия решения об итоговой детекции участка как принадлежащего к соответствующему классу, причем при обучении используется фокусная функция потерь и веса пикселей, которые представляют собой веса для пикселей положительного примера истинной маски класса и пикселей отрицательного примера истинной маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке, причем фокусная функция потерь вычисляется для каждого пикселя маски после определения маски класса и, если соответствующий пиксель истинной маски класса относится к положительному примеру, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя положительного примера данного класса, а если соответствующий пиксель истинной маски класса относится к отрицательному примеру, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя отрицательного примера данного класса, при этом после каждой эпохи обучения вычисляется отношение между метриками средней точности и средней полноты и, если оно выходит за пределы от 0,9 до 1,1, веса пикселей для фокусной функции потерь корректируются следующим образом: вес пикселя для пикселя положительного примера данного класса умножается на результат деления метрики среднего F1 на среднюю полноту, для пикселя отрицательного примера данного класса – на результат деления метрики среднего F1 на среднюю точность.