Система и способ определения патологий придаточных пазух носа по рентгеновским изображениям Российский патент 2024 года по МПК A61B8/12 G06T7/10 G06N3/02 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области обработки изображений, и, более конкретно, к поддержке принятия врачебных решений на основе анализа медицинских изображений.

Уровень техники

Синусит - это воспаление оболочек, выстилающих околоносовые пазухи. Синуситы являются одними из наиболее распространенных заболеваний в клинической практике, ежегодно поражая более 15% населения. Их диагностика обычно основывается на сочетании клинических и рентгенологических исследований. Хотя компьютерная томография (КТ) является предпочтительным методом визуализации при синусите, поскольку она обеспечивает максимальную общую анатомическую детализацию околоносовых пазух, использование рентгенографических изображений, таких как снимки Уотерса и Колдуэлла, является традиционным методом оценки придаточных пазух носа и по-прежнему широко используется в качестве метода визуализации при подозрении на синусит из-за доступности, простоты и сравнительно низкой стоимости исследования, а также низкой дозы радиации. Рентгенологические исследования направлены на качественную оценку состояния слизистой придаточных пазух носа и оценку количества жидкости в придаточной пазухе носа, что позволяет в сочетании с клиническими признаками поставить диагноз острого или хронического синусита.

В последние годы с широким развитием информационных технологий в медицине активно внедряются цифровые методы обработки данных, в том числе технологии искусственного интеллекта (ИИ) для поддержки принятия врачебных решений. Например, в известных способах современной ИИ-диагностики нейронная сеть, которая была предварительно обучена на размеченном наборе изображений, получает оцифрованное рентгеновское изображение исследуемой области, анализирует его и осуществляет предсказание того, имеется ли у данного пациента патология, помогая тем самым врачу принять оптимальное взвешенное решение.

Известные способы диагностики синуситов с применением ИИ основываются на сочетании нейронной сети - детектора с нейронной сетью - классификатором для двумерных изображений. Это ограничивает точность используемых систем и требует большого количества данных для их обучения.

Также известны примеры сетей, сочетающих сегментацию целевой области придаточных пазух носа как единого класса с последующей передачей целевой области и её классификацией на наличие патологии и регрессией, выявляющей уровень снижения пневматизации пазух. Подобные способы автоматической диагностики патологий придаточных пазух носа требуют значительного количества изображений для обучения нейронной сети классификатора и регрессора для достижения целевых метрик точности определения патологии и оценки количественных характеристик патологии.

Сущность изобретения

С целью устранения по меньшей мере некоторых из вышеупомянутых недостатков предшествующего уровня техники, настоящее изобретение направлено на повышение эффективности систем и способов диагностики синуситов посредством искусственного интеллекта.

В частности, настоящее изобретение эффективно преодолевает недостатки известных решений за счет использования классификации на базе сегментации и детекции на базе сегментации для таких патологических признаков, как снижение пневматизации придаточных пазух носа, в сочетании с сегментацией нормальных анатомических структур и анализом количественных характеристик каждой пазухи на основе масок сегментации, а также за счет исключения ложно-положительных результатов на основании анализа пересечения масок нормальной анатомии и патологии и исключения ложноотрицательных результатов за счёт использования вычисленных количественных характеристик снижения пневматизации придаточных пазух носа.

Согласно первому аспекту настоящего изобретения, предложена система определения патологий придаточных пазух носа по рентгеновским изображениям, содержащая:

блок получения изображений, выполненный с возможностью получать двумерное рентгеновское изображение области придаточных пазух носа;

блок диагностики патологий, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, с помощью нейронной сети на основе сегментации выявлять на полученном изображении участки снижения пневматизации и участки с жидкостью в придаточных пазухах носа;

блок сегментации анатомических структур, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, определять на полученном изображении области с высокой пневматизацией и внешние контуры каждой придаточной пазухи носа с помощью нейронной сети на основе сегментации;

блок локализации патологий, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, определять путем объединения выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур принадлежность патологий конкретной придаточной пазухе носа; и

блок передачи отчета, выполненный с возможностью формировать отчет, содержащий сведения о наличии или отсутствии патологий придаточных пазух носа на полученном изображении на основе выходных данных по меньшей от одного из блока диагностики патологий, блока сегментации анатомических структур и блока локализации патологий,

причем каждая нейронная сеть предварительно обучена определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используется фокусная функция потерь и веса пикселей, которые представляют собой веса для положительных пикселей истинной маски класса и отрицательных пикселей истинной маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке, причем фокусная функция потерь вычисляется для каждого пикселя маски после определения маски класса, и если соответствующий пиксель истинной маски класса является положительным, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя положительного примера данного класса, а если соответствующий пиксель истинной маски класса является отрицательным, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя отрицательного примера данного класса.

В одном из вариантов осуществления блок передачи отчета дополнительно выполнен с возможностью передавать копию входного изображения с нанесенными на него контурами, ограничивающими область патологии, текстовую информацию о локализации патологии и числовые значения, определяющие степень снижения пневматизации придаточных пазух носа.

В одном из вариантов осуществления блок локализации патологий дополнительно выполнен с возможностью проверять участки изображения, помеченные блоком диагностики патологий как содержащие патологию, на пересечение с областями изображения, выделенными блоком сегментации анатомических структур как соответствующие той или иной придаточной пазухе, и выполнять на основе этого локализацию патологий.

В одном из вариантов осуществления блок локализации патологий дополнительно выполнен с возможностью, для пазухи, в которой уровень снижения пневматизации, измеренный на основании анализа нормальных анатомических структур, выявленных блоком сегментации анатомических структур, превышает критический порог, указывать снижение пневматизации.

В одном из вариантов осуществления каждая нейронная сеть предварительно обучена определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используется функция потерь на основе коэффициента Жаккара и веса классов положительной и отрицательной метки класса, которые определяются на основе обратной частоты положительных и отрицательных меток класса для всех изображений в выборке по каждому классу, причем если для заданного изображения в истинной маске заданного класса присутствуют положительные элементы, то всему экземпляру присваивается положительная метка класса, если отсутствуют - отрицательная метка класса, причем функция потерь на основе коэффициента Жаккара вычисляется для каждой маски класса после определения маски класса для каждого класса, и если соответствующая изображению истинная метка класса является положительной, то ошибка соответствующего класса умножается на вес класса положительного экземпляра класса, а если отрицательной - на вес класса отрицательного экземпляра класса, соответственно.

Согласно второму аспекту настоящего изобретения, предложен способ определения патологий придаточных пазух носа по рентгеновским изображениям, содержащий этапы, на которых:

с использованием блока получения изображений получают двумерное рентгеновское изображение, содержащее область придаточных пазух носа;

с использованием блока диагностики патологий, содержащего нейронную сеть для сегментации, определяют на полученном изображении участки снижения пневматизации и участки с жидкостью в придаточных пазухах носа;

с использованием блока сегментации анатомических структур, содержащего нейронную сеть для сегментации, определяют на полученном изображении области с высокой пневматизацией и внешние контуры каждой придаточной пазухи носа;

с использованием блока локализации патологий, на основе выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур, путем определения пересечения между областями, на которых присутствует снижение пневматизации и которые соответствуют конкретной придаточной пазухе носа, определяют локализацию патологии; и

с использованием блока передачи отчета формируют и передают отчет, содержащий сведения о наличии или отсутствии патологий придаточных пазух носа на полученном изображении на основе выходных данных по меньшей от одного из блока диагностики патологий, блока сегментации анатомических структур и блока локализации патологий, на устройство, запрашивавшее диагностику,

причем каждую нейронную сеть предварительно обучают определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используют фокусную функцию потерь и веса пикселей, которые представляют собой веса для положительных пикселей истинной маски класса и отрицательных пикселей истинной маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке, причем фокусную функцию потерь вычисляют для каждого пикселя маски после определения маски класса, и если соответствующий пиксель истинной маски класса является положительным, ошибку, полученную на этом пикселе маски класса, умножают на вес пикселя положительного примера данного класса, а если соответствующий пиксель истинной маски класса является отрицательным, ошибку, полученную на этом пикселе маски класса, умножают на вес пикселя отрицательного примера данного класса.

Технический результат

Настоящее изобретение позволяет повысить эффективность систем и способов диагностики синуситов в придаточных пазухах носа с использованием двумерных рентгеновских изображений. При этом обеспечивается:

- повышение точности диагностики;

- повышение скорости обработки двумерных изображений;

- упрощение интерпретации и описания изображений;

- возможность выполнения ранней диагностики заболеваний придаточных пазух, в режиме скрининга;

- освобождение медицинского персонала от рутинных процессов анализа снимков пациентов, не имеющих симптомов и ранее выявленных патологий в области придаточных пазух носа;

- уменьшение влияния человеческого фактора (внимательность, утомляемость, ответственность).

- увеличение соотношения между количеством снимков, использованных для обучения, и полученными метриками классификации и детекции.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

Фиг. 1 показывает пример рентгеновских изображений придаточных пазух носа в прямой проекции с нанесенной разметкой.

Фиг. 2 показывает блок-схему системы определения патологий придаточных пазух носа согласно настоящему изобретению.

Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.

Подробное описание

Заболевания придаточных пазух носа на практике обычно диагностируются врачами путем ручного анализа изображений. Настоящее изобретение предоставляет способ и систему, которые автоматизируют процесс диагностики, предоставляя врачу такие полезные данные, как наличие утолщения стенок придаточных пазух носа, наличие уровня жидкости, степень снижения пневматизации и локализацию патологии.

Авторами настоящего изобретения была собрана анонимная база данных пациентов с синуситами и без них. Каждый случай пациента состоит из снимка в прямой проекции придаточных пазух носа. На каждом рентгеновском изображении опытный рентгенолог вручную выделил контуром внешний контур каждой пазухи, каждую пазуху, в которой определялось снижение пневматизации, а также жидкость, обнаруженную в пазухе. Пример рентгеновских изображений придаточных пазух носа в прямой проекции с нанесенной разметкой показан на Фиг. 1. Как будет показано далее, такая база данных будет использоваться для обучения моделей машинного обучения.

Общее описание системы

Как изображено на блок-схеме на Фиг. 2, система 100 определения патологий придаточных пазух носа согласно настоящему изобретению содержит блок 110 получения изображений, блок 120 сегментации анатомических структур, блок 130 диагностики патологий, блок 140 локализации патологий, блок 150 передачи отчета.

Блок получения изображений в одном варианте осуществления может представлять собой сетевую плату или иное средство приема данных. В другом варианте осуществления блок получения изображений может представлять собой непосредственно рентгеновский аппарат.

Блок диагностики патологий, блок локализации патологий и блок сегментации анатомических структур реализуются на базе устройства обработки, содержащего вычислительный модуль (например, центральный процессор), модуль памяти (например, оперативную память и постоянную память), а также при необходимости дополнительный вычислительный модуль (например, графический процессор или нейронный процессор). Таким образом, блок диагностики патологий, блок локализации патологий и блок сегментации анатомических структур могут быть реализованы на базе компьютера или сервера.

Блок передачи отчета может представлять собой сетевую плату, аппаратный интерфейс передачи данных/видеосигнала или иное средство обмена данными.

Способ определения патологий придаточных пазух носа выполняется системой определения патологий и заключается в следующем.

Сначала с помощью блока получения изображений получают двумерное изображение придаточных пазух носа.

Как указывалось выше, в одном варианте осуществления, если блок получения изображений является рентген-аппаратом, он может получать изображение самостоятельно (или под управлением оператора). В другом варианте осуществления блок получения изображений, будучи частью сервиса диагностики патологий, может получать извне (например, от медицинской организации, от врача, от региональной системы хранения медицинских данных и т.д.) запрос на диагностику или входные данные, содержащие одно или множество (например, пакет) изображений, и извлекать требуемое изображение из полученных входных данных или запроса.

При необходимости полученное изображение подвергается предварительной обработке в блоке предобработки (не показан на Фиг. 2), чтобы оно было пригодно для обработки дальнейшими блоками. Например, если исходное изображение имеет в каком-либо направлении недостаточное или избыточное разрешение, то может выполняться преобразование или реконструкция изображения до требуемого разрешения. Также могут корректироваться яркость, контрастность и иные параметры изображения.

Затем изображение подается на блок сегментации анатомических структур и блок диагностики патологий.

В блоке сегментации анатомических структур с использованием предварительно обученной нейронной сети определяется вероятность наличия класса и бинарные маски сегментации по каждому из следующих классов: “внешний контур - правая гайморова пазуха”, “внешний контур - левая гайморова пазуха”, “внешний контур - правая лобная пазуха”, ”внешний контур - левая лобная пазуха”, “область высокой пневматизации - правая гайморова пазуха”, “область высокой пневматизации - левая гайморова пазуха”, “область высокой пневматизации - правая лобная пазуха”, “область высокой пневматизации - левая лобная пазуха”. После этого, для каждой придаточной пазухи подсчитывается степень снижения пневматизации по следующей формуле:

X% = (S_пазухи - S_{внутренней пустоты}) / S_пазухи ,

где под S подразумевается число пикселей, относящихся к соответствующим классам. Выходом блока сегментации анатомических структур является бинарная маска сегментации и набор значений от 0 до 1, соответствующих степени снижения пневматизации каждой из придаточных пазух носа.

В блоке диагностики патологий с использованием предварительно обученной нейронной сети для каждого из классов патологии генерируются бинарные маски патологий и вероятности наличия классов патологии. Под классами патологии подразумеваются следующие классы: “снижение пневматизации придаточной пазухи носа”, “горизонтальный уровень жидкости в пазухе”. В случае класса “снижение пневматизации придаточной пазухи носа” при разметке данных вся пазуха со сниженной пневматизацией сопоставляется искомому классу. В случае класса “горизонтальный уровень жидкости в пазухе” искомому классу при разметке сопоставляется область, предполагаемо занятая жидкостью по мнению врача. Выходом блока диагностики патологий являются бинарные маски патологий и набор значений от 0 до 1 для каждой патологии, интерпретируемый как вероятность её наличия.

Выходные данные от блоков сегментации анатомических структур и блока диагностики патологий поступают в блок локализации патологий. В блоке локализации патологий области изображения, помеченные как содержащие патологию, проверяются на пересечение с областями изображения, выделенными как соответствующие той или иной гайморовой или лобной пазухе, за счёт чего производится локализация патологии и уменьшение или даже устранение ложноположительных результатов.

В одной из реализаций для пазухи, в которой уровень снижения пневматизации, измеренный на основании анализа масок нормальных анатомических структур, превышает критический порог, проставляется маска “снижение пневматизации”. Это обеспечивает уменьшение или даже устранение ложноотрицательных результатов.

Фактически, и в блоке сегментации анатомических структур, и в блоке диагностики патологий сначала выполняется сегментация, а затем на ее основе выполняется формирование бинарной маски и вычисление вероятностей. Различие состоит в том, что в блоке сегментации анатомических структур сегментация предназначена для классификации нормальных анатомических структур и анатомических структур с патологией, а в блоке диагностики патологий сегментация предназначена для детекции патологий в целом. То есть оба эти блока выполняют поиск патологий, но подходят к этому с разных точек зрения. Затем данные с этих блоков объединяются в блоке локализации патологий, чтобы повысить точность диагностики и отсечь ложные срабатывания, которые могли бы возникнуть, если бы использовался только один из указанных двух подходов с использованием сегментации, а не предложенное сочетание. Это выгодно отличается от известных решений из уровня техники, в которых либо вообще не используется сегментация, либо сегментация используется только для выявления анатомических структур.

Далее, вывод от блока локализации патологий передаётся в блок передачи отчета. В одном варианте осуществления отчет о состоянии придаточных пазух носа может формироваться для каждого изображения. В другом варианте осуществления запрос на диагностику или настройки системы диагностики могут предусматривать необходимость формирования отчета только для случаев, в которых выявлена патология. Например, если в полученном пакете из 10 изображений система выявила один случай патологии, она может формировать отчет для соответствующего изображения (или пациента), содержащий вычисленные клинические показатели. Отчет также может содержать сформированную блоком передачи отчёта копию входного изображения с нанесенными на него контурами патологии.

Далее отчет о состоянии здоровья придаточных пазух носа выводится на экран монитора, подключенного к серверу, или же передается с помощью блока передачи отчета на устройство, запрашивавшее диагностику - например, на расположенное удаленно автоматизированное рабочее место (АРМ) врача.

С помощью изображения с нанесенными на него контурами и других данных, содержащихся в отчете (степень снижения пневматизации каждой пазухи, указание на наличие/отсутствие патологии), врач принимает решение о состоянии здоровья пациента.

Детекция и классификация на основе масок сегментации

Далее процесс, выполняющийся в блоках сегментации анатомических структур и диагностики патологий, будет описан подробно.

Для каждой маски каждого класса выходом нейронной сети служит маска класса (соответственно, класса анатомической структуры или класса патологии) с вероятностями принадлежности пикселя к классу в диапазоне 0-1. Для каждой маски класса определяются участки изображения - кандидаты на принадлежность к классу. Под определением кандидатов подразумевается простая сегментация по порогу, вычисленному на основании максимизации попиксельного F1-score, далее называемому порогом сегментации. Результатом сегментации служит бинарная маска класса, в последующем называемая маской объектов. Далее, с использованием библиотеки opencv производится поиск контуров для сегментов, содержащихся в маске объектов. Далее, для каждого контура на маске объектов из контура производится генерация маски области интереса - под этим подразумевается, что все элементы маски, лежащие внутри данного контура, считаются равными единице, а за пределами этого контура - равными нулю. Маска области интереса поэлементно умножается на изначальную маску класса. Далее, производится подсчёт всех ненулевых пикселей маски области интереса (N) и суммы вероятностей по всем пикселям маски (M). Вероятность принадлежности рассматриваемого участка (области интереса) к классу определяется как P=M/N. P сравнивается с порогом детекции. Под порогом детекции подразумевается порог, рассчитанный на основании максимизации average F1 для маски объектов. Если P больше порога детекции, участок считается принадлежащим к искомому классу. Если P меньше порога детекции, то участок-кандидат считается участком с ложноположительным срабатыванием, и маска объектов в области соответствующего участка обнуляется. Для каждого изолированного участка маски объектов сохраняется полученная средняя вероятность по участку. Максимальная вероятность по всем изолированным участкам считается вероятностью наличия класса в целом.

Нейронная сеть, производящая сегментацию, может быть основана на разных подходящих архитектурах, известных специалисту. В качестве неограничивающих примеров нейронная сеть может быть основана на архитектуре UNet или FPN.

UNet как источник базовой сегментации

Архитектура UNet была разработана для сегментации изображений и в настоящее время широко используется в медицинской визуализации благодаря своей универсальности и высокоточным результатам сегментации. Она состоит из пути кодера с понижающей дискретизацией, который извлекает признаки изображения в разных масштабах и различной сложности, и пути декодера с повышающей дискретизацией, который генерирует результаты сегментации с использованием извлеченных признаков. Основная концепция UNet состоит в том, чтобы использовать замыкающие соединения (skip connections), которые проходят от кодера к декодеру и идут от ранних уровней пути кодера, где все еще сохраняются мелкие детали изображения, к поздним уровням пути декодера, которые содержат информацию от грубых признаков, необходимую для распознавания и сегментации объектов. Путь энкодера состоит из четырех блоков, каждый из которых состоит из двух сверточных слоев 3 × 3 × 3, за которым следует слой активации ReLU и слой объединения по максимальному значению (max-pooling) 2 × 2 × 2. Путь декодера состоит из четырех блоков, каждый из которых состоит из слоя повышающей дискретизации, слоя свертки транспонирования 2 × 2 × 2 и двух слоев свертки 3 × 3 × 3, за каждым из которых следует слой ReLU.

UNet может быть обучена с использованием оптимизатора Adam со скоростью обучения 0,0002 и снижением веса 0,0001.

FPN как источник базовой сегментации

Архитектура FPN с RPN основана на принципе эффективного извлечения многомасштабных признаков, что позволяет сочетать семантически устойчивые признаки с низким разрешением и семантически слабые признаки с высоким разрешением. Такой подход является эффективным для задачи обнаружения объектов. Компонент FPN извлекает признаки из входного изображения, и во время этого процесса, он имеет определенное сходство с UNet. Часть декодера создает карты объектов с более высоким разрешением путем повышения дискретизации результатов предыдущих слоев, и каждый блок пути декодера генерирует отдельный вывод для обучения сети. Замыкающие соединения состоят из слоев свертки 1 × 1, применяемых к блокам кодера, которые затем добавляются к соответствующим блокам декодера. В результате FPN стремится генерировать признаки переменного разрешения, которые смогут описать целевой объект. В конкретном примере FPN может обучаться с использованием оптимизатора Adam со скоростью обучения 0,0002 и снижением веса 0,0001.

Обучение нейронных сетей

В обучении нейронной сети в качестве функции потерь предлагается использовать среднее значение фокусной функции потерь (focal loss) - это вариация кросэнтропии, предназначенная для решения проблемы дисбаланса классов, и функции потерь на основе коэффициента Жаккара (Jaccard loss), особенностью которой является независимость значения ошибки от размера объектов на изображении.

Pixel-weight в сочетании с focal loss для увеличения точности сегментации

В одном из вариантов осуществления веса focal loss могут быть направлены на устранение систематического искажения, вызываемого различным числом пикселей, принадлежащих в среднем по выборке каждому классу и фону.

Для этого для focal loss могут быть использованы веса для положительных элементов истинной маски класса и отрицательных элементов маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке (далее pixel-weight, веса пикселей). После получения маски сегментации вычисляется focal loss для каждого элемента маски. В случае, если соответствующий элемент истинной маски сегментации является положительным, ошибка, полученная на этом элементе маски сегментации, умножается на pixel-weight положительного примера данного класса. В случае, если элемент маски сегментации является отрицательным, ошибка, полученная на этом элементе маски сегментации, умножается на pixel-weight отрицательного примера данного класса. После умножения на веса производится усреднение ошибки по всем элементам взвешенной ошибки. Таким образом, увеличивается точность сегментации.

Class-weight в сочетании с Jaccard loss для увеличения точности сегментации

В одном из вариантов осуществления веса Jaccard loss могут быть направлены на устранение систематического дисбаланса, вызванного тем, что не на всех изображениях присутствуют классы патологий, в отличии от классов нормальной анатомии.

Для этого для каждой ошибки в Jaccard loss предлагается использовать собственные веса каждого класса. Классы патологии в настоящем изобретении не противопоставляются друг другу. Классы нормальной анатомии в настоящем изобретении не противопоставляются друг другу

Если для некоторого изображения в истинной маске некоторого класса присутствуют положительные элементы, то всему экземпляру присваивается положительная метка класса, если отсутствуют - отрицательная метка класса. На основе частоты положительных и отрицательных меток класса для всех изображений в выборке по каждому классу, на основании обратной частоты меток класса определяются веса классов (class-weight) положительной и отрицательной метки класса. После получения масок сегментации для каждого класса для каждой маски вычисляется Jaccard loss. Если соответствующая изображению истинная метка класса является положительной, то ошибка соответствующего класса умножается на class-weight для положительного экземпляра класса, если отрицательной - на class-weight для отрицательного экземпляра класса, соответственно. Итоговая ошибка усредняется. Таким образом, увеличивается точность сегментации.

Пример осуществления

Предложенная система была проверена на базе данных, содержащей 1123 рентгеновских изображений придаточных пазух носа (в частности 523 без патологии и 600 с патологией) Из этого набора 75% снимков использовались для обучения, а 25% для тестирования.

Возраст пациентов не учитывался. Наиболее частым диагнозом был хронический верхнечелюстной синусит. Второй по распространённости патологией был острый верхнечелюстной синусит.

Параметры отдельных компонентов системы определялись следующим образом.

Сеть обучалась в режиме multilabel - segmentation, к выходу сети применялась активация sigmoid c использованием функции ошибки Jaccard loss и focal loss с последующим вычислением их среднего.

Скорость обучения для моделей была выбрана равной 0,00001. Фреймворк был обучен на сервере, оснащенном графическим процессором (GPU) Tesla V100-SXM2-80 ГБ, 80-ядерным центральным процессором (CPU) Intel(R) Xeon(R) E5-2698 v4 @ 2,20 ГГц, оперативной памятью (RAM) 503 ГБ.

Эффективность системы оценивалась путем оценки точности показателя IOU для масок сегментации и вычисленным на основе сегментации меткам классов, по методике, описанной ранее, с использованием таких метрик классификации, как recall, precision, F1-score. Полученные результаты были сопоставлены с другими системами и с человеческими оценками и было выявлено, что предложенная система может успешно количественно определять патологии придаточных пазух носа, демонстрируя почти по всем показателям повышенную точность и скорость диагностики. При наличии механизма внешней коррекции удается дополнительно повысить точность диагностики, при этом помощь внешнего специалиста требуется только в случаях, когда существует вероятность неверной автоматической постановки диагноза.

Применение

Системы и способы согласно настоящему изобретению, можно использовать для обработки диагностических медицинских изображений, содержащих область придаточных пазух носа, с целью выявления в них признаков синуситов.

Дополнительные особенности реализации

Несмотря на то, что в данном документе может быть указано, что данные передаются/отправляются или принимаются/получаются человеком (например, медицинским специалистом, врачом, экспертом), специалист в данной области техники должен понимать, что такое указание используется исключительно в целях упрощения описания, тогда как на самом деле подразумевается, что данные передаются/отправляются или принимаются/получаются соответствующим устройством, которым пользуется и/или управляет этот человек.

Один или более описанных в настоящем документе блоков или устройств передачи (передатчиков) и один или более блоков или устройств приема (приемников) физически могут быть реализованы в одном и том же блоке или устройстве приемопередачи или в разных блоках или устройствах.

Устройством или блоком передачи в данном документе для упрощения описания может называться устройство или блок, имеющий функции не только передачи, но и приема данных, информации и/или сигналов. Аналогичным образом, устройство или блок приема может также заключать в себе функции передачи данных, информации и/или сигналов.

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Некоторые блоки по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.

При необходимости (например, в случае если велик объем данных и/или вычислений, которые необходимо выполнить в отношении этих данных), может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемые носители данных включают в себя как некратковременные компьютерные носители хранения данных, так и среду связи, включающую в себя любую передающую среду, которая упрощает перемещение компьютерной программы или ее части из одного места в другое. Некратковременный машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.

В качестве примера, а не ограничения, машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM), регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного, если это применимо к настоящему изобретению.

По меньшей мере один из этапов в способе или блоков в устройстве может использовать модель искусственного интеллекта (AI) для выполнения соответствующих операций. Функция, связанная с AI, может выполняться через процессор и энергонезависимую и/или энергозависимую память.

Процессор может включать в себя один или более процессоров. В то же время, один или более процессоров могут быть процессором общего назначения, например центральным процессором (CPU), прикладным процессором (AP) и т.п., блоком обработки только графики, таким как графический процессор (GPU), визуальный процессор (VPU), и/или специализированным процессором AI, таким как нейронный процессор (NPU).

Один или более процессоров управляют обработкой входных данных в соответствии с предварительно определенным правилом работы или моделью искусственного интеллекта (AI), хранящейся в энергонезависимой памяти и/или энергозависимой памяти. Предварительно определенное правило работы или модель искусственного интеллекта могут быть получены путем обучения. При этом процессор может выполнять операцию предварительной обработки данных для преобразования в форму, подходящую для использования в качестве входных данных для модели искусственного интеллекта.

«Получены путем обучения» означает, что посредством применения алгоритма обучения к обучаемой модели искусственного интеллекта с использованием множества обучающих данных создается предварительно определенное правило работы или модель AI с желаемой характеристикой. Обучение может выполняться на самом устройстве, в котором выполняется AI согласно варианту осуществления, и/или может быть реализовано через отдельный сервер/систему.

Модель искусственного интеллекта может включать в себя множество слоев нейронной сети. Каждый из множества слоев нейронной сети включает в себя множество весовых значений (коэффициентов) и выполняет рабочую операцию для данного слоя путем вычисления с применением множества весовых значений данного слоя в отношении входных данных или результата вычисления предыдущего слоя.

Примеры нейронных сетей включают, помимо прочего, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративно-состязательные сети (GAN) и глубокие Q-сети.

Алгоритм обучения - это метод обучения предварительно определенного целевого устройства (например, нейронной сети на базе GPU или NPU) с использованием множества обучающих данных, чтобы вызывать, разрешать или управлять целевым устройством для выполнения определения или прогнозирования. Примеры алгоритмов обучения включают, но не ограничиваются ими, обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя или обучение с подкреплением.

Следует понимать, что хотя в настоящем документе для описания различных блоков, модулей, сетей, элементов, компонентов, областей, слоев и/или секций, могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти блоки, модули, сети, элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один блок, модуль, сеть, элемент, компонент, область, слой или секцию от другого блока, модуля, сети, элемента, компонента, области, слоя или секции. Так, первый блок, модуль, сеть, элемент, компонент, область, слой или секция может быть назван вторым блоком, модулем, сетью, элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

В одном из вариантов осуществления некоторые или все элементы/блоки/модули предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате/кристалле и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются типовыми, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Группа изобретений относится к области обработки изображений, и, более конкретно, к поддержке принятия врачебных решений на основе анализа медицинских изображений. Предложена система для реализации сопособа определения патологий придаточных пазух носа по рентгеновским изображениям, которая содержит блок для получения рентгеновских изображений придаточных пазух носа; блок диагностики патологий, который с помощью нейронной сети на основе сегментации выявляет на полученном изображении участки снижения пневматизации и участки с жидкостью в придаточных пазухах носа; блок сегментации анатомических структур, который определяет на полученном изображении области с высокой пневматизацией и внешние контуры каждой придаточной пазухи носа с помощью нейронной сети на основе сегментации; блок локализации патологий, который определяет путем объединения выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур принадлежность патологий конкретной придаточной пазухе носа; и блок для передачи отчета на устройство, запрашивавшее диагностику, причем при обучении нейронных сетей используется фокусная функция потерь и веса пикселей, которые представляют собой веса для положительных пикселей истинной маски класса и отрицательных пикселей истинной маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке. Группа изобретений обеспечивает повышение точности диагностики и повышение автоматизации обработки. 2 н. и 4 з.п. ф-лы, 2 ил.

1. Система определения патологий придаточных пазух носа по рентгеновским изображениям, содержащая:

блок получения изображений, выполненный с возможностью получать двумерное рентгеновское изображение области придаточных пазух носа;

блок диагностики патологий, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, с помощью нейронной сети на основе сегментации выявлять на полученном изображении участки снижения пневматизации и участки с жидкостью в придаточных пазухах носа,

причем в блоке диагностики патологий с использованием предварительно обученной нейронной сети для каждого из классов патологии генерируются бинарные маски патологий и вероятности наличия классов патологии, где под классами патологии подразумеваются следующие классы: “снижение пневматизации придаточной пазухи носа”, “горизонтальный уровень жидкости в пазухе”, причем выходом блока диагностики патологий являются бинарные маски патологий и набор значений от 0 до 1 для каждой патологии, интерпретируемый как вероятность её наличия;

блок сегментации анатомических структур, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, определять на полученном изображении области с высокой пневматизацией и внешние контуры каждой придаточной пазухи носа с помощью нейронной сети на основе сегментации,

причем в блоке сегментации анатомических структур с использованием предварительно обученной нейронной сети определяется вероятность наличия класса и бинарные маски сегментации по каждому из следующих классов: “внешний контур - правая гайморова пазуха”, “внешний контур - левая гайморова пазуха”, “внешний контур - правая лобная пазуха”, ”внешний контур - левая лобная пазуха”, “область высокой пневматизации - правая гайморова пазуха”, “область высокой пневматизации - левая гайморова пазуха”, “область высокой пневматизации - правая лобная пазуха”, “область высокой пневматизации - левая лобная пазуха”, для каждой придаточной пазухи подсчитывается степень снижения пневматизации по следующей формуле:

X% = (S_пазухи - S_{внутренней пустоты}) / S_пазухи ,

где под S подразумевается число пикселей, относящихся к соответствующим классам, причем выходом блока сегментации анатомических структур является бинарная маска сегментации и набор значений от 0 до 1, соответствующих степени снижения пневматизации каждой из придаточных пазух носа;

блок локализации патологий, выполненный с возможностью, с использованием по меньшей мере одного процессора и памяти, определять путем объединения выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур принадлежность патологий конкретной придаточной пазухе носа; и

блок передачи отчета, выполненный с возможностью формировать отчет, содержащий сведения о наличии или отсутствии патологий придаточных пазух носа на полученном изображении на основе выходных данных по меньшей от одного из блока диагностики патологий, блока сегментации анатомических структур и блока локализации патологий,

причем каждая нейронная сеть предварительно обучена определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используется фокусная функция потерь и веса пикселей, которые представляют собой веса для положительных пикселей истинной маски класса и отрицательных пикселей истинной маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке, причем фокусная функция потерь вычисляется для каждого пикселя маски после определения маски класса, и если соответствующий пиксель истинной маски класса является положительным, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя положительного примера данного класса, а если соответствующий пиксель истинной маски класса является отрицательным, ошибка, полученная на этом пикселе маски класса, умножается на вес пикселя отрицательного примера данного класса.

2. Система по п. 1, в которой блок передачи отчета дополнительно выполнен с возможностью передавать копию входного изображения с нанесенными на него контурами, ограничивающими область патологии, текстовую информацию о локализации патологии и числовые значения, определяющие степень снижения пневматизации придаточных пазух носа.

3. Система по п. 1, в которой блок локализации патологий дополнительно выполнен с возможностью проверять участки изображения, помеченные блоком диагностики патологий как содержащие патологию, на пересечение с областями изображения, выделенными блоком сегментации анатомических структур как соответствующие той или иной придаточной пазухе, и выполнять на основе этого локализацию патологий.

4. Система по п. 1, в которой блок локализации патологий дополнительно выполнен с возможностью, для пазухи, в которой уровень снижения пневматизации, измеренный на основании анализа нормальных анатомических структур, выявленных блоком сегментации анатомических структур, превышает критический порог, указывать снижение пневматизации.

5. Система по п. 1, в которой каждая нейронная сеть предварительно обучена определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используется функция потерь на основе коэффициента Жаккара и веса классов положительной и отрицательной метки класса, которые определяются на основе обратной частоты положительных и отрицательных меток класса для всех изображений в выборке по каждому классу, причем если для заданного изображения в истинной маске заданного класса присутствуют положительные элементы, то всему экземпляру присваивается положительная метка класса, если отсутствуют - отрицательная метка класса, причем функция потерь на основе коэффициента Жаккара вычисляется для каждой маски класса после определения маски класса для каждого класса, и если соответствующая изображению истинная метка класса является положительной, то ошибка соответствующего класса умножается на вес класса положительного экземпляра класса, а если отрицательной - на вес класса отрицательного экземпляра класса, соответственно.

6. Способ определения патологий придаточных пазух носа по рентгеновским изображениям, содержащий этапы, на которых:

с использованием блока получения изображений получают двумерное рентгеновское изображение, содержащее область придаточных пазух носа;

с использованием блока диагностики патологий, содержащего нейронную сеть для сегментации, определяют на полученном изображении участки снижения пневматизации и участки с жидкостью в придаточных пазухах носа,

причем в блоке диагностики патологий с использованием предварительно обученной нейронной сети для каждого из классов патологии генерируются бинарные маски патологий и вероятности наличия классов патологии, где под классами патологии подразумеваются следующие классы: “снижение пневматизации придаточной пазухи носа”, “горизонтальный уровень жидкости в пазухе”, причем выходом блока диагностики патологий являются бинарные маски патологий и набор значений от 0 до 1 для каждой патологии, интерпретируемый как вероятность её наличия;

с использованием блока сегментации анатомических структур, содержащего нейронную сеть для сегментации, определяют на полученном изображении области с высокой пневматизацией и внешние контуры каждой придаточной пазухи носа,

причем в блоке сегментации анатомических структур с использованием предварительно обученной нейронной сети определяется вероятность наличия класса и бинарные маски сегментации по каждому из следующих классов: “внешний контур - правая гайморова пазуха”, “внешний контур - левая гайморова пазуха”, “внешний контур - правая лобная пазуха”, ”внешний контур - левая лобная пазуха”, “область высокой пневматизации - правая гайморова пазуха”, “область высокой пневматизации - левая гайморова пазуха”, “область высокой пневматизации - правая лобная пазуха”, “область высокой пневматизации - левая лобная пазуха”, для каждой придаточной пазухи подсчитывается степень снижения пневматизации по следующей формуле:

X% = (S_пазухи - S_{внутренней пустоты}) / S_пазухи ,

где под S подразумевается число пикселей, относящихся к соответствующим классам, причем выходом блока сегментации анатомических структур является бинарная маска сегментации и набор значений от 0 до 1, соответствующих степени снижения пневматизации каждой из придаточных пазух носа;

с использованием блока локализации патологий, на основе выходных данных от блока диагностики патологий и выходных данных от блока сегментации анатомических структур, путем определения пересечения между областями, на которых присутствует снижение пневматизации и которые соответствуют конкретной придаточной пазухе носа, определяют локализацию патологии; и

с использованием блока передачи отчета формируют и передают отчет, содержащий сведения о наличии или отсутствии патологий придаточных пазух носа на полученном изображении на основе выходных данных по меньшей от одного из блока диагностики патологий, блока сегментации анатомических структур и блока локализации патологий, на устройство, запрашивавшее диагностику,

причем каждую нейронную сеть предварительно обучают определять маску для каждого соответствующего ей класса, которая содержит вероятности принадлежности каждого пикселя к данному классу, причем при обучении используют фокусную функцию потерь и веса пикселей, которые представляют собой веса для положительных пикселей истинной маски класса и отрицательных пикселей истинной маски класса, основанные на частоте пикселей, принадлежащих конкретному классу во всей выборке, причем фокусную функцию потерь вычисляют для каждого пикселя маски после определения маски класса, и если соответствующий пиксель истинной маски класса является положительным, ошибку, полученную на этом пикселе маски класса, умножают на вес пикселя положительного примера данного класса, а если соответствующий пиксель истинной маски класса является отрицательным, ошибку, полученную на этом пикселе маски класса, умножают на вес пикселя отрицательного примера данного класса.