СПОСОБ И СИСТЕМА ИДЕНТИФИКАЦИИ НОВООБРАЗОВАНИЙ НА РЕНТГЕНОВСКИХ ИЗОБРАЖЕНИЯХ Российский патент 2020 года по МПК G06K9/66 

Настоящее изобретение относится к области компьютерной техники применительно к сфере медицины, в частности к методу автоматизированного анализа рентгеновских изображений.

На сегодняшний момент с развитием технологий в области машинного обучения, такие решения все чаще применяются в медицинской сфере, в частности для помощи специалистам в анализе данных и принятии клинических решений.

В качестве примеров решений по анализу медицинских изображений с помощью искусственных нейронных сетей (ИНС) можно рассмотреть следующие технологии.

Облачная платформа для анализа медицинских изображений BOTKIN AI (https://botkin.ai). Платформа для распознавания медицинских изображений «Третье мнение» (https://3opinion.ai/ru). Сервис анализа флюорограмм ФтизисБиоМед (http://ftizisbiomed.ru/). QuantX (www.qlarityimaging.com) – система распознавания рака молочной железы. GOOGLE Lymph Node Assistant (LYNA) – система на основе ИИ для распознавания рака молочной железы.

Из патентной заявки US 20020186875 A1, 12.12.2002 известна система анализа медицинских изображений, в частности, радиологические снимки. Данное решение основывается на анализе областей изображения для определения типа ткани и возможном наличии той или иной патологии. Классификация ткани осуществляется с помощью анализа пикселей в исследуемом окне на изображении и сравнении изображения с заданным паттерном ткани.

Недостатком известных решений является недостаточная точность и скорость работы алгоритмов машинного обучения при классификации изображений, что обуславливается следующим:

• Пошаговый анализ изображения плавающим окном:

Если шаг слишком маленький то анализ изображения ИНС современной архитектуры с количеством параметров превышающим 20 млн занимает продолжительное время (десятки минут) даже с учётом использования современных тензорных вычислителей. Для оперативной работы требуется доступ к высокопроизводительному распределенному вычислителю.

Если шаг слишком большой, то повышается вероятность пропуска окна содержащего информацию достаточную для корректной классификации ИНС и как результат - пропуск злокачественного новообразования или иного вида патологии, критически важной для клинической картины пациента.

Обучения нейросети SSD/YOLO-типа. Нейросети такого типа являются надстройкой над существующей архитектурой (ResNet, Inception, VGG16). Требуют комплексной разметки и долгого обучения, но ввиду сложности поиска оптимального решения нейросетью для одновременной сегментации и классификации входного изображения, точность работы таких архитектур во многих случаях не превышает 70%, что недопустимо для задачи обнаружения симптомов опасного заболевания.

Настоящая разработка направлена на решение технической проблемы, присущей известным решениям из уровня техники, в частности, за счет создания нового эффективного метода идентификации новообразований на рентгеновских изображениях.

Технический результат заключается в повышении точности идентификации новообразований на рентгеновских изображениях за счет аугментации входных изображений и их последующей обработки с помощью обученных ИНС.

Технический результат достигается тем, что компьютерно-реализуемый способ идентификации новообразований на рентгеновских изображениях выполняется с помощью, по меньшей мере, одного процессора и содержащий этапы, на которых:

- получают по меньшей мере, одно рентгеновское изображение;

- осуществляют обработку упомянутого изображения, в ходе которой выполняется его первичная нормализация и очистка от шумов;

- выполняют распределение карты яркостей изображения по RGB каналам цветности, при этом

в красном канале осуществляется нормализация, повышение контраста и выделение наиболее контрастных контуров на изображении;

в синем канале осуществляется повышение контраста обрабатываемого изображения с помощью модификации его гистограммы;

в зеленом цветовом канале сохраняется его исходная информация;

- формируют изображение на основании обработки RGB каналов;

- выполняют обработку полученного изображения с помощью модели машинного обучения, в ходе которой выполняют классификацию участков изображения с помощью выделения опорных точек и последовательной обработки упомянутых точек с помощью плавающего окна заданной пиксельной размерности;

- вычисляют вектор для каждой упомянутой опорной точки, содержащий численные параметры для критериев, учитываемых при BI-RADS классификации.

В одном из частных примеров реализации способа модель машинного обучения представляет собой единичную сверточную искусственную нейронную сеть (ИНС).

В другом частном примере реализации способа дополнительно производится оценка точности работы ИНС с помощью 4-х канальной ИНС, обученной учитывать характерные вектора исследуемых участков изображения.

В другом частном примере реализации способа для каждой опорной точки рассчитывается фрактальная размерность с помощью алгоритма поиска границ и контрастных областей.

В другом частном примере реализации способа размерность плавающего окна меняется исходя из размерности проверяемого изображения, а его пропорции высоты к ширине подбираются по заданной таблице.

В другом частном примере реализации способа очистка от шумов осуществляется с помощью фильтрации с размытием по Гауссу или комбинирования исключения внешних пикселей с последующем замыканием контуров.

В другом частном примере реализации способа первичная нормализация осуществляется с помощью алгоритма MINMAX или центрирование по нулю.

Заявленное изобретение также осуществляется за счет системы для идентификации новообразований на рентгеновских изображениях, содержащей по меньше мере один процессор, по меньшей мере одно средство памяти, хранящее машиночитаемые инструкции, которые при их выполнении процессором выполняют вышеуказанный способ.

На Фиг. 1 представлен процесс выполнения заявленного способа.

На Фиг. 2 представлен пример аугментированного изображения.

На Фиг. 3 представлена схема алгоритма классификации изображений.

На Фиг. 4 представлен пример изображений для обучения ИНС.

На Фиг. 5 представлен пример изображений с разметкой ИНС.

На Фиг. 6 представлен общий вид вычислительной системы.

На Фиг. 1 представлена общая схема осуществления заявленного способа (100) идентификации новообразований на рентгеновских изображениях. Заявленный способ (100) реализуется с помощью программно-аппаратного комплекса (ПАК), который может представлять собой любой тип вычислительной системы, например, сервер. На вход ПАК поступают рентгеновские DICOM изображения (10), например, данные маммографии. На этапе (101) выполняется предобработка получаемых изображений, в частности, их нормализация, обработка антишумовым фильтром. Нормализация может осуществляться с помощью функции MINMAX (https://en.wikipedia.org/wiki/Minimax) или центрирования по нулю (zero centering) (https://www.quora.com/What-is-zero-centering-data-preprocessing-technique).

В качестве фильтрации изображения от шума может применяться фильтрация с размытием по Гауссу или комбинирования исключения внешних пикселей с последующем замыканием контуров. Под исключением(erosion) и замыканием(closing) подразумеваются общеизвестные морфологические алгоритмы (см. например, https://docs.opencv.org/trunk/d9/d61/tutorial_py_morphological_ops.html).

Далее на этапе (102) карта яркостей изображения (10) распределяется по трём каналам цветности (RGB-каналам) для последующей аугментации, в частности, последовательной аугментации рентгеновских изображений (10) представленных в цветовом режиме карты яркостей (карта оттенков серого или черно-белое изображение). Аугментация производится с целью акцентирования и визуализации содержащих полезную информацию компонентов черно-белого рентгеновского изображения (карты яркостей).

Обработка цветовых каналов осуществляется следующим образом. Для красного цветового канала выполняется нескольких этапов нормализации, повышения контраста и выделения наиболее контрастных контуров. При этом возможна автоматическая или ручная настройка чувствительности фильтров. Зеленый цветовой канал сохраняет исходную информацию изображения (трансформаций и обработки не происходит), что необходимо для предотвращения потери полезной информации в результате применения фильтров к другим каналам. В синем цветовом канале выполняется повышение контраста участков изображения путем модификации его гистограммы в несколько этапов, что позволяет создать градиентную "подсветку" самых ярких участков изображения независимо от их размера.

На этапе (103) полученные на этапе (102) карты яркостей каждого из цветовых каналов соединяются в итоговое цветное изображение (Фиг. 2).

Применение аугментации позволяет решить следующие задачи:

• Выделение относительно небольших или малоконтрастных на яркостной карте участков изображения для упрощения считывания информации оператором-человеком;

• Распределение дифференцированной графической описательной информации о контрастных границах по трём разным каналам цветности позволяет (как показал ряд произведенных испытаний), многократно ускорять процедуру обучения сверточных модулей искусственных нейронных сетей (ускоряет поиск решения алгоритмом-оптимизатором в сравнении с подачей одинаковых карт яркости на три входных канала).

На этапе (104) выполняется обработка полученного на этапе (103) изображения. На Фиг. 3 показан общий алгоритм обработки изображения (10) с помощью ИНС. Обработка осуществляется с помощь расположение опорных точек - "якорей" плавающего окна заданно пиксельной размерности. Размерность окна определяется выбором количества точек проверки по горизонтали и вертикали на изображении (10), например 8х8 или 16х16 пикселей. Используется настраиваемый набор окон, настройка которого является гибкой и подразумевает под собой набор размеров окон (длина и ширина) в единицах пропорциональных размеру изображения (например, процентах), последовательно применяемых и оцениваемых классификатором от каждого "якоря". Пропорции высоты к ширине плавающего окна могут также подбираться по заданной таблице.

На этапе (105) выполняется классификация участков изображения (10) для опорных точек. Классификация каждого такого участка изображения производится последовательно (распараллеливание алгоритма возможно при доступе к кластеру вычислителей). При этом, при обучении ИНС не обучается сегментировать изображение (10), что повышает итоговую точность работы классификатора (за счет применения комбинированной сверточной системы, например, YOLO (см. https://appsilon.com/object-detection-yolo-algorithm/)). Классификация выполняется в соответствии со шкалой BI-RADS(англ. Breast Imaging-Reporting and Data System, https://ru.wikipedia.org/wiki/BI-RADS). BI-RADS — это стандартизированная шкала оценки результатов маммографии, УЗИ и МРТ по степени риска наличия злокачественных образований молочной железы. Для каждого участка опорной точки (якоря) вычисляется вектор признаков, который позволяет классифицировать участок изображения на предмет принадлежности той или иной форме новообразования.

Вычисляемый вектор на этапе (105) представляет собой «вектор гармонии» участков изображения с сохранением информативности. После классификации выбранных участков основной моделью машинного обучения, дополнительно производится оценка точности работы комплекса 4-канальной ИНС, учитывающей характерные вектора исследуемых участков изображения.

Фрактальная размерность подсчитывается на участках изображения обработанных алгоритмом поиска и выделения границ и контрастных областей (пример такого алгоритма – преобразования Собеля/Лапласа) с условием сохранения содержащих информацию участков, пороги бинаризации определяются рекурсивно или циклически с учётом условия сохранения количества участков изображения содержащих информацию, участком содержащим информацию считаем любой участок неравномерной яркости для которого соблюдается условие сохранения заданной пропорции светлых пикселей к темным.

Эффективность заявленного способа (100) основывается на том, что физическое воздействие опухоли на окружающие ткани повышает сложность их структуры (нестандартное распределение плотности тканей) и подобные изменения выявляются при подсчёте фрактальной сложности

На Фиг. 4 представлен пример входных данных, который применялся для обучения ИНС, используемых в работе способа (100). Входными данными комплекса являются пиксельные массивы формата DICOM. Количество подаваемых на вход ИНС обучаемых параметров с плавающей точкой: ~59 млн., одинарная точность. Размерность входных данных в пикселях: 299 х 299 х 3. Архитектура модели: Сверточная ИНС с Inception модулями.

Чувствительность и специфичность модели для порога 0.5 (класс по софтмакс выходу) в клинических испытания составила соответственно 90% и 43%, для порога в 0.85 - 90% и 78%. Чувствительно и специфичность для лабораторных испытаний соответственно: 96% и 87%.

Точность классификации основной модели, применяемой в способе (100) на базе обучения с процедурной аугментацией составила ~ 99,8 -100%. На Фиг. 5 представлен пример итоговой классификации участков изображения. Время сходимости одного экземпляра модели для базы из 3000 изображений на конфигурации из двух GPU/TPU Tesla V100 - 5 часов.

На Фиг. 6 представлен общий вид вычислительной системы (200), пригодная для выполнения способа (100). В общем случае система (200) содержит такие компоненты, как: один или более процессоров (201), по меньшей мере одну оперативную память (202), средство постоянного хранения данных (203), интерфейсы ввода/вывода (204), средство В/В (205), средства сетевого взаимодействия (206).

Процессор (201) выполняет основные вычислительные операции, необходимые для функционирования системы (200) или функционала одного или более его компонентов. Процессор (201) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (202).

Память (202), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. Средство хранения данных (203) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (203) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки запросов (логов), идентификаторов пользователей, данные камер, изображения и т.п.

Интерфейсы (204) представляют собой стандартные средства для подключения и работы с системой (200) или иными вычислительными устройствами. Интерфейсы (204) могут представлять, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Выбор интерфейсов (204) зависит от конкретного исполнения системы (200), которая может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п., а также подключаемых сторонних устройств.

В качестве средств В/В данных (205) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (206) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средства (206) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты системы (200), как правило, сопряжены посредством общей шины передачи данных.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Использование: для автоматизированного анализа рентгеновских изображений. Сущность изобретения заключается в том, что получают по меньшей мере одно рентгеновское изображение; осуществляют обработку упомянутого изображения, в ходе которой выполняется его первичная нормализация и очистка от шумов; выполняют распределение карты яркостей изображения по RGB каналам цветности, при этом в красном канале осуществляется нормализация, повышение контраста и выделение наиболее контрастных контуров на изображении; в синем канале осуществляется повышение контраста обрабатываемого изображения с помощью модификации его гистограммы; в зеленом цветовом канале сохраняется его исходная информация; формируют изображение на основании обработки RGB каналов; выполняют обработку полученного изображения с помощью модели машинного обучения, в ходе которой выполняют классификацию участков изображения с помощью выделения опорных точек и последовательной обработки упомянутых точек с помощью плавающего окна заданной пиксельной размерности; вычисляют вектор для каждой упомянутой опорной точки, содержащий численные параметры для критериев, учитываемых при BI-RADS классификации. Технический результат: повышение точности идентификации новообразований на рентгеновских изображениях. 6 з.п. ф-лы, 6 ил.

1. Компьютерно-реализуемый способ идентификации новообразований на рентгеновских изображениях, характеризующийся тем, что выполняется с помощью по меньшей мере одного процессора, и содержащий этапы, на которых: получают по меньшей мере одно рентгеновское изображение; осуществляют обработку упомянутого изображения, в ходе которой выполняется его первичная нормализация и очистка от шумов; выполняют распределение карты яркостей изображения по RGB каналам цветности, при этом в красном канале осуществляется нормализация, повышение контраста и выделение наиболее контрастных контуров на изображении; в синем канале осуществляется повышение контраста обрабатываемого изображения с помощью модификации его гистограммы; в зеленом цветовом канале сохраняется его исходная информация; формируют изображение на основании обработки RGB каналов; выполняют обработку полученного изображения с помощью модели машинного обучения, в ходе которой выполняют классификацию участков изображения с помощью выделения опорных точек и последовательной обработки упомянутых точек с помощью плавающего окна заданной пиксельной размерности; вычисляют вектор для каждой упомянутой опорной точки, содержащий численные параметры для критериев, учитываемых при BI-RADS классификации.

2. Способ по п. 1, характеризующийся тем, что модель машинного обучения представляет собой искусственную нейронную сеть (ИНС).

3. Способ по п. 2, характеризующийся тем, что дополнительно производится оценка точности работы ИНС с помощью 4-канальной ИНС, обученной учитывать характерные вектора исследуемых участков изображения.

4. Способ по п. 1, характеризующийся тем, что для каждой опорной точки рассчитывается фрактальная размерность с помощью алгоритма поиска границ и контрастных областей.

5. Способ по п. 1, характеризующийся тем, что размерность плавающего окна меняется исходя из размерности проверяемого изображения, а его пропорции высоты к ширине подбираются по заданной таблице.

6. Способ по п. 1, характеризующийся тем, что очистка от шумов осуществляется с помощью фильтрации с размытием по Гауссу или комбинирования исключения внешних пикселей с последующим замыканием контуров.

7. Способ по п. 1, характеризующийся тем, что первичная нормализация осуществляется с помощью функции MINMAX или центрирования по нулю.

8. Система для идентификации новообразований на рентгеновских изображениях, характеризующаяся тем, что содержит по меньшей мере один процессор, по меньшей мере одно средство памяти, хранящее машиночитаемые инструкции, которые при их выполнении процессором выполняют способ по любому из пп. 1-7.