СПОСОБ АВТОМАТИЗИРОВАННОГО АНАЛИЗА ЦИФРОВЫХ ФЛЮОРОГРАФИЧЕСКИХ СНИМКОВ Российский патент 2019 года по МПК A61B6/00 G03B42/02 G06T1/40 

ОБЛАСТЬ ТЕХНИКИ

[1] Заявленное техническое решение относится к области обработки цифровых изображений в медицине и предназначено для автоматизированного выполнения анализа флюорографических снимков грудной клетки пациентов на предмет наличия изменений или патологий в области легких. Заявленное решение может применяться в мобильных комплексах для ускорения обработки снимков, в поликлиниках для предобработки снимков, ранжирования по степени важности для чтения снимков врачом.

УРОВЕНЬ ТЕХНИКИ

[2] Известна автоматизированная система диагностики медицинских изображений с использованием глубоких сверточных нейронных сетей (патент США 9,589,374 B1, 07.03.2017). Данное изобретение раскрывает методы применения глубоких сверточных нейронных сетей (СНС) к анализу медицинских изображений для диагностики в режиме реального времени. В приведенном изобретении применяется анализ КТ и МРТ снимков, которые обрабатываются с применением двух сверточных нейронных сетей и других программных модулей, для получения отклика с вероятностью наличия областей интереса на снимках пациента, которые необходимы для дальнейшего анализа лечащим врачом.

[3] В статье «Automatic Liver and Tumor Segmentation of CT and MRI Volumes Using Cascaded Fully Convolutional Neural Networks» (Patrick Ferdinand Christ et al. Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI). 20.02.2017) рассматриваются подходы к автоматизированному анализу КТ и МРТ снимков для и выявления патологий печени, при этом используется сверточная нейронная сеть U-NET типа.

[4] Известно также применение ансамбля из трех СНС для анализа медицинских изображений на предмет наличия релевантной информации, в зависимости от типа обучения СНС. В совокупности использования ансамбля из трех СНС такой подход позволяет получать более точные данные с минимизацией ошибок распознавания (Костин К.А. Магистерская диссертация «Адаптивный классификатор патологий для компьютерной диагностики заболеваний с использованием сверточных нейронных сетей по медицинским изображениям и видеоданным». 30.05.2017).

[5] Данное решение является, по своей технической сути, наиболее близким аналогом. Основным недостатком данного решения является такая настройка СНС, которая не подразумевает разделения откликов по весомым коэффициентам с их последующим перевзешиванием в слоях каждой СНС и разделением обучающей выборке по типу патологий в процессе обучения ансамбля, что приводит к достаточно высокой степени появления ошибок в ходе распознавания изменений структур на флюорографических снимках. При этом данное решение, как таковое, не используется для анализа флюорографических снимков.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[6] Решаемой технической проблемой заявленного решения является минимизации ошибки ложных срабатываний ансамбля СНС и, соответственно, увеличение точности распознавания областей интереса при анализе графический информации, за счет нового принципа обучения ансамбля СНС и их последующей работы на основании выполненного обучения.

[7] Технический результат совпадает с решаемой технической проблемой.

[8] Благодаря автоматизированной системе время анализа флюорографических снимков значительно уменьшается, при этом точность обнаружения патологий устанавливается на высоком уровне и снижается влияние человеческого фактора.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

[9] Фиг. 1 иллюстрирует систему автоматизированного анализа флюорографических снимков.

[10] Фиг. 2 иллюстрирует пример входного изображения.

[11] Фиг. 3 иллюстрирует обработанное изображение с помощью заявленной системы.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[12] Ключевая особенность технического решения заключается в способе обучения и структуре сверточной нейронной сети. Для достижения технического результата применяется:

1. Размеченная специальным образом база флюорографических снимков для обучения с классификацией каждой области.

2. Использование ансамбля из трех сверточных нейронных сетей типа U-NET с разными настройками и организацией входных данных для обучения.

3. Перевзвешивание классов в соответствии с их важностью в выборке.

4. Комбинация выходных изображений для увеличения обучающей базы.

[13] Первая сеть настроена на работу только с опасными областями (патологии 1го рода), вторая и третья сети - со всеми областями, но с разными порогами и архитектурой.

[14] Области разбиты на две группы: опасные и неопасные. Все области в группах классифицированы по типам патологий. Использовалась следующая классификация:

Патологии 1го рода (опасные)

I. Инфильтрация (фокус) – свыше 1,5 см.

II. Полость

III. Пневмоторакс

IV. Гидроторакс

V. Очаг

VI. Патологические изменения корней лёгких

VII. Уровень жидкости

VIII. Очаги

Патологии 2го рода (неопасные)

I. Интерстициальные изменения в лёгочной паренхиме

II. Цирроз

III. Фиброторакс

IV. Изменения плевры

V. Кальцинаты / обызвествления

VI. Диафрагмальная грыжа

VII. Изменения в костях

VIII. Цепочки металлических швов

IX. Инородные тела

X. Участок повышенной прозрачности (не полость)

XI. Ателектаз

XII. Изменения в органах средостения

[15] На Фиг. 1 представлен вид системы по автоматизированному анализу флюорографических снимков.

поз. 1 – входное изображение (цифровой флюорографический снимок)

поз. 2 – клиентский модуль для удаленного анализа изображений (работа возможна и без него)

поз. 3 – модуль загрузки изображений

поз. 4 – сверточная нейронная сеть №1

поз. 5 – сверточная нейронная сеть №2

поз. 6 – сверточная нейронная сеть №3

поз. 7 – модуль анализа и объединения результатов работы сверточных сетей, вывод изображений

поз. 8 – обработанное изображение.

[16] Система автоматизированного анализа флюорографических снимков представляет собой программное обеспечение. Для реализации используются библиотеки для машинного обучения TensorFlow и Keras. ПО может работать на любом современном компьютере с графическим процессором от Nvidia или на мобильных платформах Jetson TX2.

[17] Автоматизированный анализ флюорографических снимков выполняется с помощью трех сверточных нейронных сетей типа U-NET. Для обучения подготовлена специальная база снимков. На снимках отмечены области с изменениями структуры легких, которые свидетельствуют о наличии туберкулеза или других патологиях, как опасных для здоровья человека, так и неопасных. Области разбиты на две группы: опасные и неопасные. Все области в группах классифицированы по типам патологий. Использовалась следующая классификация:

Патологии 1го рода (опасные)

I. Инфильтрация (фокус) – свыше 1,5 см.

II. Полость

III. Пневмоторакс

IV. Гидроторакс

V. Очаг

VI. Патологические изменения корней лёгких

VII. Уровень жидкости

VIII. Очаги

Патологии 2го рода (неопасные)

I. Интерстициальные изменения в лёгочной паренхиме

II. Цирроз

III. Фиброторакс

IV. Изменения плевры

V. Кальцинаты / обызвествления

VI. Диафрагмальная грыжа

VII. Изменения в костях

VIII. Цепочки металлических швов

IX. Инородные тела

X. Участок повышенной прозрачности (не полость)

XI. Ателектаз

XII. Изменения в органах средостения.

[18] На Фиг. 2 представлен пример входного изображения. Для увеличения базы применялись трансформации к входным изображениям. Из отмеченных областей формируются сегментационные карты и подаются на вход обучения вместе с исходными изображениями.

[19] На вход первой сети подаются карты только с опасными областями, на вход второй и третей, карты со всеми областями, но они имеют разные пороги и архитектуру. Архитектура: Unet (8 сфорачивающих слоёв, 8 разворачивающих слоёв, 32 стартовых фильтра, каждый слой x1.5 фильтров на свёртке, x1.5 фильтров на разворачивании. Вход - 1 канал, выход - 1 канал). Подбор пороговых значений осуществляется экспериментально по картине на выходе.

[20] В процессе обучения веса в слоях перевзвешиваются для лучшей сходимости, на основании достоверности того что отмечают врачи (данные от врачей/сравнение разных разметок). Происходит выбор более и менее достоверных классов. В обученную сеть на вход подается исходное изображение, а на выходе получается три сегментационных карты с весами в каждом пикселе всего изображения, но карты активны только в тех местах, где происходит выделение патологий.

[21] В остальных точках вероятность изменений близка к нулю. Данные карты обрабатываются, выделаются области с повышенным откликом, характеризующие в разных слоях, патологии разного типа, их площадь и вес, результаты сравниваются с порогами, которые экспериментально подобраны и установлены для каждой сети.

[22] Обработка отклика нейронной сети происходит без нейронной сети, «вручную». Ищется общая энергетика отклика, максимальный отклик и оценивается площадь превышения пороговых значений. Все пороги и алгоритмы подобранны эмпирически.

[23] Загрузка изображения (цифрового флюорографического снимка) на обработку происходить с помощью специального программного модуля 3. Изображение поочередно обрабатывается каждой сверточной нейронной сетью, каждая из которых на основании полученного в ходе обучения опыта выдает суждение, при наличие подозрительного участка, подсвечивает его. Следующий программный модуль 7 собирает результаты работы всех трех сетей, объединяет их и накладывает на исходное изображение. Модуль вывода изображения 8 выводит обработанный снимок с выделенным патологическим участком, в случае его наличия. Отклик от сетей отображается разным цветом и разной интенсивностью в зависимости от величины отклика.

[24] Фиг. 3 иллюстрирует пример работы системы по обработке изображений. Анализ изображений может выполняться как локально, так и дистанционно. Для дистанционного доступа используется клиентский модуль 2. В качестве модуля 2 может применяться любое пригодное компьютерное устройство (персональный компьютер, ноутбук, планшет и т.п.).

[25] Данный способ возможен только при доступе к сети Интернет. В этом случае клиентская часть программы 2 удаленно подключается к серверу, где развернута система автоматизированного анализа флюорографических снимков и реализует передачу изображения для анализа, а также прием и вывод результата обработки.

Изобретение относится к области обработки цифровых изображений в медицине и предназначено для автоматизированного выполнения флюорографических снимков грудной клетки пациента на предмет наличия изменений или патологий в области легких. Способ анализа цифровых флюорографических снимков для обнаружения патологий содержит этапы, на которых используют исходную базу флюорографических снимков с классификацией каждой области для обучения трех сверточных нейросетей. Загрузку осуществляют с помощью клиентского модуля, после которого выполняют с помощью нейросетей последовательную обработку загруженных снимков для выявления областей интереса в зависимости от отклика каждой нейросети. Полученную обработку передают в модуль анализа и объединения результатов работы сверточных сетей, которой осуществляет обработку и наложение результатов работы ансамбля нейросетей на исходный загруженный цифровой снимок для выявления патологий, причем одна из сверточных нейросетей обучена с возможностью обработки и выявления опасных патологий 1-го рода, а вторая и третья – опасных патологий 1-го рода и неопасных патологий 2-го рода. Каждая сеть обучается применением разных пороговых значений и сегментационных карт. Использование изобретения позволяет минимизировать ошибки ложных срабатываний ансамбля СНС. 3 ил.

Способ анализа цифровых флюорографических снимков для обнаружения патологий, содержащий этапы, на которых:

- используют исходную базу флюорографических снимков с классификацией каждой области для обучения трех сверточных нейросетей,

- осуществляют с помощью клиентского модуля загрузку по меньшей мере одного цифрового флюорографического снимка в сверточные нейросети;

- выполняют с помощью упомянутых нейросетей последовательную обработку загруженного одного или более цифровых флюорографических снимков для выявления областей интереса в зависимости от отклика каждой нейросети;

- полученную обработку в ходе отклика нейросетей передают в модуль анализа и объединения результатов работы сверточных сетей, который осуществляет обработку и наложение результатов работы ансамбля нейросетей на исходный загруженный цифровой снимок для выявления патологий при их наличии;

отличающийся тем, что одна из сверточных нейросетей обучена с возможностью обработки и выявления опасных патологий 1-го рода, а вторая и третья обучены с возможностью обработки опасных патологий 1-го рода и неопасных патологий 2-го рода, причем каждая сеть обучается с применением разных пороговых значений и сегментационных карт, сформированных из отмеченных областей по меньшей мере одного исходного флюорографического снимка для обучения.