Способ автоматического обнаружения и визуализации признаков заболевания диабетической ретинопатией Российский патент 2022 года по МПК A61B5/00 

Изобретение относится к системам поддержки принятия врачебных решений и может применяться для получения вспомогательной информации, в частности, выявления признаков диабетической ретинопатии у пациентов с сахарным диабетом, определения стадии заболевания и оценки эффективности лечения, а также определения риска диабетического макулярного отека.

По данным Всемирной организации здравоохранения, 422 млн человек в мире страдают сахарным диабетом (СД) [1]. Прогнозируемое число больных к 2040 г. составляет 645 миллионов [2]. Диабетическая ретинопатия (ДР) и диабетический макулярный отек (ДМО) - офтальмологические осложнения СД, ведущие к слепоте и инвалидности по зрению. На сегодняшний день существуют эффективные методы лечения пролиферативной ДР и ДМО. Согласно исследованиям, до 98% случаев слепоты можно предотвратить при помощи своевременного выполнения панретинальной лазеркоагуляции и интравитреального введения ингибиторов ангиогенеза [3]. Несмотря на это ДР и ДМО являются ведущими причинами предотвратимой слепоты в Европе [4]. Причиной этого является недостаточный охват офтальмологической помощью населения с СД и, как следствие, несвоевременная диагностика. Потеря зрения вследствие ДР и ДМО может быть предотвращена при помощи целенаправленных программ скрининга всех пациентов с СД и выявления тяжелых стадий ДР и ДМО [3]. Цифровая фоторегистрация глазного дна при помощи фундус-камер является эффективным методом скрининга ДР [4]. На цветных фотографиях глазного дна можно выявить следующие признаки ДР: микроаневризмы, интраретинальные геморрагии, твердые экссудаты, ватообразные очаги, интраретинальные микрососудистые аномалии, ретинальные венозные аномалии, неоваскуляризацию сетчатки и диска зрительного нерва, эпиретинальный фиброз, преретинальные геморрагии. Согласно Международной классификации ДР, каждой стадии заболевания соответствуют определенные патологические изменения на сетчатке [3]. Дальнейшая тактика ведения пациента определяется стадией ДР, выявленной в процессе скринингового обследования. Признаки тяжелой непролиферативной ДР, пролиферативной ДР и ДМО свидетельствуют о высоком риске потери зрения и необходимости срочного углубленного офтальмологического обследования и лечения [3].

Известен способ автоматического обнаружения диабетической ретинопатии, приведенный в изобретении ["High-specificity diabetic retinopathy characteristic detection method and storage equipment", патент №110827258 Китай, МКП G06T 7/00, заявл. 31.10.2019; опубл. 21.02.2020], который заключается в обучении генеративно-состязательной нейронной сети, обучаемой генерации изображений сетчатки, затем в ходе работы системы из данной нейронной сети извлекаются две комбинации карт признаков, сформированные нейронной сетью и подаются на вход двум нейронным сетям классификаторам, которые формируют вектора вероятностей наличия степеней ретинопатии, затем вычисляется среднее арифметическое между выходами двух нейронных сетей классификаторов и выполняется постановка диагноза.

Недостатком данного способа является необходимость переразметки набора данных и повторного обучения двух нейронных сетей классификаторов в случае изменения критериев определения стадий диабетической ретинопатии. Также метод не подразумевает визуализации признаков диабетической ретинопатии, которые привели к диагнозу, поставленному системой.

Известен способ автоматического обнаружения диабетической ретинопатии, приведенный в изобретении ["High-specificity diabetic retinopathy characteristic detection method and storage equipment", патент №111507932 Китай, МКП G06T 7/00, заявл. 31.01.2019; опубл. 07.08.2020], который заключается в выделении сосудов путем отсечения по яркости с помощью метода Оцу, затем определяется положение оптического диска и макулы для визуализации, затем выполняется классификация стадий диабетической ретинопатии пятью нейронными сетями с архитектурами VGG16 и GoogLeNet, далее результаты классификации нейронных сетей подаются на вход SVM (Support Vector Machine) классификатору, который определяет финальный диагноз, для визуализации из карт признаков нейронной сети формируются карты активации классов для разных стадий заболевания.

Недостатком данного способа является необходимость переразметки набора данных и повторного обучения пяти нейронных сетей и SVM классификатора в случае изменения критериев определения степеней диабетической ретинопатии. Также способ визуализации признаков, предлагаемый в патенте, не подразумевает разбиение признаков на классы, что не позволяет получить полную информацию о типах признаков, которые привели к предполагаемому диагнозу, полученному в результате работы системы.

Известен способ автоматического обнаружения диабетической ретинопатии, приведенный в изобретении ["Automatic diabetic retinopathy detection and estimation from multispectral images using machine learning algorithms", патент №2020100868 Австралия, МКП G06T 11/00, заявл. 28.05.2020; опубл. 13.08.2020], который заключается в применении мультиспектральных снимков глазного дна для предварительной обработки с целью улучшения входного изображения, обнаруживается и удаляется оптический диск, выполняется сегментация кровоизлияний, микроаневризмов и эксудатов, затем выполняется классификация двумя сверточными нейронными сетями, одна нейронная сеть выполняет классификацию на два класса: есть диабетическая ретинопатия, нет диабетической ретинопатии, в случае, если первая нейронная сеть обнаружила диабетическую ретинопатию выполняется классификация второй нейронной сети, которая классифицирует стадию диабетической ретинопатии.

Недостатком приведенного способа является необходимость применения специализированной мультиспектральной фундус камеры. Также в патенте упоминается сегментация оптического диска, сосудов, кровоизлияний, микроаневризмов, эксудатов и глаукомы, т.о. производится сегментация не всех признаков диабетической ретинопатии, что снижает возможности визуализации обнаруженных признаков в процессе принятия решения врачом. Кроме того для определения наличия диабетической ретинопатии и определения ее стадии используются сверточные нейронные сети, т.о. в случае изменения критериев определения стадий диабетической ретинопатии, например, поправки в рекомендации ВОЗ, потребуется переразметка набора данных и повторное обучение нейронных сетей.

Наиболее близким по технической сущности является способ, приведенный в изобретении ["Method and Apparatus to Detect Lesions of Diabetic Retinopathy in Fundus Images", патент №2014314288 Соединенные Штаты Америки, МКП G06T 7/00, заявл. 17.04.2013; опубл. 23.10.2014], который заключается в поиске светлых участков фото глазного дна, классификации их на твердые и мягкие экссудаты и обнаружении и удалении оптического диска из найденных светлых участков, обнаружении красных участков на изображении и классификации их на кровоизлияния и микроаневризмы, затем выполняется подсчет найденных признаков и в соответствии с ETDRS или ICDRS выполняется постановка диагноза.

Недостатком приведенного способа является способность сегментировать только лишь 4 различных класса признаков диабетической ретинопатии. Также, система, описанная в патенте не способна обнаружить центр макулы на изображении, что не позволяет системе определять наличие диабетического макулярного отека. Кроме того, для определения степени заболевания в системе используется подсчет и жесткая система правил, что не позволяет системе отразить уверенность по различным степеням и может сформировать предвзятость в отношении конкретной стадии во время принятия решения врачом.

Настоящее техническое решение направлено на увеличение способности сегментировать по меньшей мере 6 различных классов признаков ДР и обеспечение врача более полной информацией, полученной в ходе работы системы, например, вероятности наличия каждой из степеней диабетической ретинопатии, наличия твердых экссудатов в макуле, ее размеров и количества кровоизлияний в каждой из четвертей глазного дна для увеличения качества постановки диагноза врачом.

Данный технический результат достигается тем, что с помощью глубоких сверточных нейронных сетей на цветном фото глазного дна, сделанным с помощью фундус камеры, и которое предварительно прошло предобработку, осуществляется детекция глазного дна, оптического диска и центра макулы, затем вырезание участка с глазным дном из исходного изображения, изменение его размеров и нарезка полученного изображения на прямоугольные участки сеткой 8 на 8 участков, после чего осуществляется сегментация визуальных признаков диабетической ретинопатии, а также определение параметров контуров найденных признаков, например, расположения, площади и количества признаков. При этом посредством системы нечеткого логического вывода обнаруживаются по меньшей мере 6 различных классов визуальных признаков диабетической ретинопатии и диабетического макулярного отека и один класс дефектов съемки, которые затем используются для визуализации, демонстрируемой врачу, и для оценки различных параметров обнаруженных признаков с последующей оценкой вероятностей наличия степеней диабетической ретинопатии и наличия твердых экссудатов в макуле.

Предлагаемое изобретение поясняется следующими чертежами:

На фиг. 1 представлена схема предлагаемой системы.

На фиг. 2 представлена блок-схема предварительной обработки изображения.

На фиг. 3 представлен пример фотографии глазного дна пациента с ДР.

На фиг. 4 представлен пример фото глазного дна после предварительной обработки, описанной в патенте.

На фиг. 5 представлен пример фото глазного дна после предварительной обработки с отмеченными признаками патологии.

Для обучения искусственных нейронных сетей, применяемых в системе, формируется набор данных, состоящий из фото глазного дна. На фото из набора данных охватывающими прямоугольниками размечаются макула, оптический диск и глазное дно, различные визуальные признаки диабетической ретинопатии (твердые экссудаты, микроаневризмы, интраретинальные кровоизлияния и т.д.) размечаются многоугольниками.

Размеченный набор данных в дальнейшем используется для обучения искусственной нейронной сети детектора для обнаружения глазного дна, центра макулы и оптического диска и искусственных нейронных сетей для семантической сегментации признаков заболевания.

Основываясь на рекомендациях ВОЗ и экспертном мнении врача офтальмолога формируется система нечетких логических правил для определения степени заболевания по различным параметрам признаков заболевания, обнаруженных с помощью нейронных сетей.

Изображение структуры системы приведено на фиг. 1. К анализируемому изображению применяется предобработка (фиг. 2), нацеленная на улучшение видимости признаков заболевания как для врача, так и для нейронных сетей (1 на фиг. 1). Предобработка заключается в разделении цветного изображения глазного дна на составляющие каналы (1 на фиг. 2), зеленый канал пересчитывается как минимум между красным и зеленым каналами (2 на фиг.2), далее зеленый канал масштабируется по яркости (3 на фиг. 2), затем красный канал масштабируется по яркости (4 на фиг. 2) для уменьшения вариативности между различными изображениями, затем увеличивается контрастность зеленого канала посредством применения к нему алгоритма CLAHE (Contrast Limited Adaptive Histogram Equalization) [5] (5 на фиг. 2), далее обработанные по отдельности каналы объединяются в цветное изображение (6 на фиг. 2) и производится увеличение резкости цветного изображения (7 на фиг.2), например, изображение с увеличенной резкостью может рассчитываться как линейная комбинация исходного изображения и изображения после применения двумерного фильтра Гаусса с коэффициентами 1,5 для исходного изображения и -0,5 для изображения после двумерного фильтра Гаусса. Затем выполняется детекция глазного дна, оптического диска и центра макулы с помощью нейронной сети детектора (2 на фиг. 1), архитектура которой основывается на архитектуре CenterNet [6]. Далее по координатам, полученным ранее, глазное дно вырезается из исходного изображения (3 на фиг. 1), размер вырезанного изображения изменяется для более удобной нарезки на участки, далее производится нарезка на участки сеткой 8×8 квадратов (4 на фиг. 1) и каждый из участков по одному подается в нейронную сеть для сегментации соответствующего признака патологии (5 на фиг. 1), в качестве основы для архитектуры нейронной сети для сегментации используется архитектура Unet [7]. По маскам, полученным в результате сегментации признаков, определяются координаты точек контуров найденных признаков и оцениваются параметры контуров (6 на фиг. 1), например, положение центра, площадь, количество признаков и т.д. Полученные параметры контуров используются в системе нечеткого логического вывода (7 на фиг. 1), которая выполняет определение вероятности наличия различных степеней диабетической ретинопатии. В то же время выполняется оценка диаметра макулы (8 на фиг. 1) по видимому расстоянию между центрами макулы и оптического диска и выполняется проверка наличия найденных контуров твердых экссудатов в пределах рассчитанного радиуса макулы (9 на фиг. 1).

Правила для определения вероятностей наличия у пациента стадий диабетической ретинопатии основываются на стандартах ведения ДР Международного совета по офтальмологии (ICO, The International Council of Ophthalmology) и Международной классификации ДР и ДМО [3]:

1. На фотографии обнаружены только микроаневризмы: изменения соответствуют легкой непролиферативной ДР.

2. На фотографии обнаружены микроаневризмы и твердые экссудаты: данные изменения соответствуют умеренной непролиферативной ДР. Для уточнения локализации твердых экссудатов относительно макулы производится детекция макулы. Наличие твердых экссудатов внутри радиуса макулы является признаком ДМО, пациенту необходимо срочное обследование и лечение.

3. На фотографии обнаружены микроаневризмы и мягкие экссудаты: данные изменения соответствуют умеренной непролиферативной ДР.

4. На фотографии обнаружены микроаневризмы и интраретинальные геморрагии. Производится автоматический подсчет количества геморрагий в каждом квадранте. Для этого производится детекция анатомического центра макулы, далее через полученную точку строятся оси абсцисс и ординат. Наличие в каждом квадранте ≥20 интраретинальных геморрагий является признаком тяжелой непролиферативной ДР, пациенту требуется срочное обследование и лечение. В случае, если количество интраретинальных геморрагий ≤20, отсутствуют интраретинальные микрососудистые аномалии и ретинальные венозные аномалии, состояние соответствует умеренной непролиферативной ДР.

5. На фотографии глазного дна обнаружена неоваскуляризация сетчатки и/или диска зрительного нерва: признак соответствует пролиферативной ДР, пациенту требуется срочное обследование и лечение.

6. На фотографии глазного дна обнаружены преретинальные геморрагии: признак соответствует пролиферативной ДР, пациенту требуется срочное обследование и лечение.

Список используемых источников.

1. https://www.who.int/diabetes/ru/ (дата обращения 05.05.2021 г.)

2. Ogurtsova K, da Rocha Fernandes JD, Huang, et.al. IDF Diabetes Atlas: global estimates for the prevalence of diabetes for 2015 and 2040. Diabetes Res Clin Pract. 2017 Jun; 128: 40-50.

3. Wong TY, Sun J, Kawasaki R, et.al. Guidelines on Diabetic Eye Care: The International Council of Ophthalmology Recommendations for Screening, Follow-up, Referral, and Treatment Based on Resource Settings. Ophthalmology. 2018 Oct; 125(10): 1608-1622. doi: 10.1016/j.ophtha.2018.04.007. Epub 2018 May 24. PMID: 29776671.

4. World Health Organisation Diabetic retinopathy screening: a short guide (2020).

5. Zuiderveld K. Contrast Limited Adaptive Histogram Equalization. / Zuiderveld K. // Graphics Gems IV. -1994. -P. 474-485.

6. Zhou X. Objects as Points. / Zhou X., Wang D., // arXiv: 1904.07850. - 2019.

7. Ronnenberger O. U-Net: Convolutional Networks for Biomedical Image Segmentation. / Ronneberger O., Fischer P., Brox T. // Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015. - 2015. - P. 234-241.

Изобретение относится к системам поддержки принятия врачебных решений и может применяться для получения вспомогательной информации, в частности, выявления признаков диабетической ретинопатии у пациентов с сахарным диабетом, определения стадии заболевания и оценки эффективности лечения, а также определения риска диабетического макулярного отека. Предложен способ, в котором с помощью глубоких сверточных нейронных сетей на цветном фото глазного дна, сделанным с помощью фундус камеры, и которое предварительно прошло предобработку, осуществляется детекция глазного дна, оптического диска и центра макулы, затем вырезание участка с глазным дном из исходного изображения, изменение его размеров и нарезка полученного изображения на прямоугольные участки сеткой 8 на 8 участков, после чего осуществляется сегментация визуальных признаков диабетической ретинопатии, а также определение параметров контуров найденных признаков, например, расположения, площади и количества признаков. При этом посредством системы нечеткого логического вывода обнаруживаются по меньшей мере 6 различных классов визуальных признаков диабетической ретинопатии и диабетического макулярного отека и один класс дефектов съемки, которые затем используются для визуализации, демонстрируемой врачу, и для оценки различных параметров обнаруженных признаков с последующей оценкой вероятностей наличия степеней диабетической ретинопатии и наличия твердых экссудатов в макуле. Изобретение обеспечивает увеличение способности сегментировать по меньшей мере 6 различных классов признаков ДР и обеспечение врача более полной информацией, полученной в ходе работы системы, например, вероятности наличия каждой из степеней диабетической ретинопатии, наличия твердых экссудатов в макуле, ее размеров и количества кровоизлияний в каждой из четвертей глазного дна для увеличения качества постановки диагноза врачом. 3 з.п. ф-лы, 5 ил.

1. Способ автоматического обнаружения и визуализации признаков заболевания диабетической ретинопатией, в котором:

- получают цветное фото глазного дна;

- осуществляют предварительную обработку изображения;

- детектируют глазное дно, оптический диск и центр макулы;

- вырезают участок с глазным дном из исходного изображения;

- изменяют размеры вырезанного участка;

- нарезают полученное изображение на прямоугольные участки сеткой 8 на 8 участков;

- сегментируют визуальные признаки диабетической ретинопатии;

- определяют параметры контуров найденных признаков;

- вычисляют вероятности наличия различных степеней диабетической ретинопатии с помощью системы нечеткого логического вывода по параметрам контуров обнаруженных признаков;

- оценивают размеры макулы на изображении по видимому расстоянию между центрами оптического диска и макулы;

- определяют наличие твердых экссудатов в области макулы; причем в процессе предварительной обработки изображения:

- разбивают цветное фото глазного дна на отдельные цветовые каналы;

- пересчитывают зеленый канал как минимальный между зеленым и красным каналами изображения;

- масштабируют красный канал по яркости:

где R - исходный массив со значениями яркости пикселей красного канала изображения, max(R) - максимальное значение яркости среди пикселей красного канала, R_масшт - результирующий массив с масштабированными значениями яркости красного канала изображения;

- масштабируют зеленый канал по яркости:

где G - массив со значениями яркости пикселей зеленого канала изображения, max(G) - максимальное значение яркости среди пикселей красного канала, G_масшт - результирующий массив с масштабированными значениями яркости зеленого канала изображения;

- применяют алгоритм CLAHE к зеленому каналу для увеличения его контрастности;

- объединяют масштабированные цветовые каналы в цветное изображение;

- увеличивают резкость изображения:

где I - цветное изображение с увеличенной резкостью, I_ориг - исходное цветное изображение, I_разм - цветное изображение после размытия двумерным фильтром Гаусса.

2. Способ по п. 1, в котором в качестве параметров признаков определяют их расположение, площади и (или) количество признаков.

3. Способ по п. 1, в котором глазное дно, оптический диск и центр макулы детектируют с помощью нейронной сети детектора.

4. Способ по п. 1, в котором при помощи алгоритмов искусственного интеллекта осуществляется сегментация следующих визуальных признаков диабетической ретинопатии: микроаневризмы, интраретинальные кровоизлияния, твердые экссудаты, мягкие экссудаты, интраретинальные микрососудистые аномалии, новообразованные сосуды, венозные аномалии, преретинальные кровоизлияния, эпиретинальный фиброз, лазерные коагуляты.