Способ автоматизированного определения патологических изменений макулярной области на основании анализа кросс-сканов оптической когерентной томографии с использованием искусственных нейронных сетей Российский патент 2025 года по МПК A61B3/12 

Изобретение относится к медицине, а именно к системам поддержки принятия врачебных решений в офтальмологии, и может применяться для автоматизированного определения наличия и дифференциации патологических изменений в макулярной области на основании анализа массива кросс-сканов оптической когерентной томографии (ОКТ) с использованием искусственных нейронных сетей (ИНС).

Использование возможностей искусственного интеллекта (ИИ) обладает огромным потенциалом в области здравоохранения благодаря его способности одновременно анализировать значительное число переменных. В частности, обработка и интерпретация баз данных и медицинских изображений с использованием ИИ является одним из перспективных направлений развития современной медицины. (Lakhani P., Prater А.В., Hutson R.K., Andriole К.Р., Dreyer K.J., Morey J., Preve- dello L.M., Clark T.J., Geis J.R., Itri J.N., Hawkins С.M. Machine Learning in Radiology: Applications Beyond Image Interpretation. Journal of the American College of Radiology. 2018; 15 (2): 350-359. DOI: 10.1016/j.jacr.2017.09.044).

В офтальмологии существенный интерес представляет определение наличия и дифференциации патологических изменений в сетчатке и макулярной области глаза, которые являются одной из причин потери наиболее важного для функциональной деятельности человека центрального зрения

В настоящее время наиболее информативными из существующих высокотехнологичных методов исследования патологических состояний сетчатки глаза являются ОКТ и цифровое фотографирование глазного дна.

Анализ полученных изображений - важнейший этап оценки наличия офтальмологической патологии сетчатки для дальнейшей качественной диагностики заболевания и выбора оптимальной тактики лечения пациента.

Существующий уровень техники включает в себя множество решений определения наличия наиболее распространенных витреоретинальных патологий с использованием ИИ, в частности:

- способ по патенту RU №2784950, позволяющий обнаружить по меньшей мере 6 различных классов визуальных признаков диабетической ретинопатии (ДР) и диабетического макулярного отека (ДМО) с помощью глубоких сверточных нейронных сетей после обработки цветных фото глазного дна, сделанным с помощью фундус камеры;

- выявление с помощью программ ИИ патологических структур, характерных для ДР (микроаневризмы, интраретинальные геморрагии, интраретинальные микрососудистые аномалии, твердые экссудаты, ватообразные очаги, венозные аномалии, неоваскуляризация сетчатки и диска зрительного нерва, преретинальные геморрагии), определение наличия и стадии ДР и выдача заключения по результатам проведенного анализа (Shah A., Clarida W., Amelon R. et al. Validation of Automated Screening for Referable Diabetic Retinopathy with an Autonomous Diagnostic Artificial Intelligence System in a Spanish Population. J Diabetes Sci. Technol. 2021; 15 (3): 655-663. DOI: 10.1177/1932296820906212; Wang Y., Shi D., Tan Z. et al. Screening Referable Diabetic Retinopathy Using a Semi-automated Deep Learning Algorithm Assisted Approach. Front Med (Lausanne). 2021;8:740987. DOI: 10.3389/fmed.2021.740987);

- распознавание с помощью анализа сканов ОКТ на основании алгоритмов ИИ морфологических признаков ДМО - интраретинальных кист, отслойки нейроэпителия, твердых экссудатов, аномалий витреомакулярного интерфейса (Chakroborty S., Gupta М., Devishamani C.S. et al. Narrative review of artificial intelligence in diabetic macular edema: Diagnosis and predicting treatment response using optical coherence tomography. Indian J Ophthalmol. 2021; 69 (U): 2999-3008. DOI: 10.4103/ijo.IJO_l482_21; Hwang D.K., Chou Y.B., Lin T.C. et al. Optical coherence tomography-based diabetic macula edema screening with artificial intelligence. J Chin Med Assoc. 2020; 83 (11): 1034-1038. DOI: 10.1097/JCMA.00000000000003 51);

- использование программ ИИ для диагностики возрастной макулярной дегенерации (ВМД), а именно: распознавание макулярных друз (Saha S., Nassisi М., Wang М. et al. Automated detection and classification of early AMD biomarkers using deep learning. Sci. Rep.2019; 9 (1): 10990. DOT. 10.1038/s41598-019-47390-3.), географической атрофии (Schmidt-Erfurth U., Bogunovic H., Grechenig C. et al. Role of Deep Learning-Quantified Hyperreflective Foci for the Prediction of Geographic Atrophy Progression. Am J Ophthalmol. 2020; 216: 257-270. DOI: 10.1016/j.ajo.2020.03.042), морфологических признаков хориоидальной неоваскуляризации (ХНВ) (Wilson М., Chopra R., Wilson M.Z. et al. Validation and Clinical Applicability of Whole-Volume Automated Segmentation of Optical Coherence Tomography in Retinal Disease Using Deep Learning. JAMA Ophthalmol. 2021; 139 (9): 964-973. DOI: 10.100 l/jamaophthalmol.2021.2273).

Наибольший интерес для дифференциации патологических изменений макулярной области представляет ОКТ, использование которой позволяет получить трехмерные множественные качественные изображения сетчатки (кросс-сканы), на которых распознаются мельчайшие и самые ранние изменения невидимые при офтальмоскопии, что позволяет достаточно точно оценить ее состояние. Итоговая картина сетчатки формируется из отдельных сканов, проведенных через исследуемую область. Однако для интерпретации результатов необходимо наличие персонала высокой квалификации и существенных временных затрат.

Известен способ выполнения оценки изображений ОКТ с помощью обученной сверточной нейронной сети (CNN) (патент US №11620749), который предусматривает получение первого множества изображений, каждое из которых соответствует данным, полученным ОКТ с использованием первого шаблона сканирования сетчатки, аннотирование множества пикселей от каждого из первого множества изображений для создания сегментированного изображения данных сетчатки, при этом аннотация идентифицирует одну или более структур сетчатки; обучение нейронной сети с использованием множества интерферограмм и аннотаций, ввод второго множества интерферограмм, соответствующих данным, полученным системой ОКТ с использованием второго шаблона сканирования, и получение выходных данных обученной нейронной сети, указывающих структуру ткани сетчатки, которая была отсканирована с использованием второго шаблона сканирования. Кроме этого, возможно вводить множество сканов и выводить сегментированное изображение, соответствующее множеству местоположений вдоль шаблона сканирования ОКТ. Таким образом, анализируемые изображения могут быть разных разрешений и шаблонов. Согласно способу, используют разрешение одного типа для сегментации патологий; далее для более детального анализа используют другое разрешение. Данный способ анализа изображений принят нами за прототип.

В качестве недостатков прототипа можно указать следующее. В способе используются многие, хорошо известные в области классификации изображений с применением CNN технологические приемы: перенос обучения, сегментация, автоматизированная разметка, регуляризация для устранения переобучения, автоматизированная разметка. Для классификации изображений в CNN обычно в качестве выходного нейрона используют передаточную функцию softmax, которая как бы выявляет "победителя" только по одному классу, который и объявляется результатом обследования. Однако данные технологические приемы не учитывают специфики офтальмологических изображений, полученных с использованием ОКТ, например, множественность патологий на одном изображении, что довольно часто встречается в медицинской практике. То есть способ не является достаточно информативным, он может не учитывать наличие нескольких патологий сетчатки и не обеспечить точной постановки диагноза и выбора наиболее адекватного варианта лечения для данного пациента. К тому же обучение CNN требует создания огромных датасеты размеченных изображений (порядка десятков и сотен тысяч изображений), и соответственно, использования большого объема оперативной памяти, а сам процесс обучения на высокопроизводительных вычислительных ресурсах занимает существенное время.

Предлагаемое изобретение решает задачу разработки нового высокоинформативного способа анализа кросс-сканов ОКТ для определения наличия патологий макулярной области с использованием ИНС.

Технический результат от реализации изобретения заключается в следующем:

- оптимизируется процесс принятия врачебных решений в офтальмологии за счет возможности обнаружения наличия не только макулярных патологий, но и их комбинаций, что способствует снижению врачебной нагрузки за счет точной постановки диагноза и отслеживания изменений в состоянии сетчатки для выбора оптимальной тактики лечения пациента;

- в процессе разметки с одного изображения можно получить значительно большее число записей для обучающей выборки по сравнению с прототипом, соответствующих какой-либо патологии, что существенно уменьшает необходимое для обучения сети количество снимков;

- использование динамичного шаблона позволяет учитывать все известные в настоящее время макулярные аномалии и их комбинации, координаты которых могут находиться на разной высоте снимка;

- отсутствие необходимости использования CNN, что позволяет существенно уменьшить объем оперативной памяти и сделать изобретение более экономичным в вычислительном плане, поскольку способ работает с тремя одномерными массивами, соответствующими RGB, a CNN работают с тремя двумерными массивами;

- возможность сформировать большее количество масок совмещенных патологий, поскольку при вертикальном сканировании набор масок, в том числе масок, включающих наложенные друг на друга патологии, представляет собой одномерные массивы с длиной, равной максимальному размеру патологии по координате Y. Учитывая, что число различных патологий (вместе с совмещенными) может быть оценено в несколько десятков, а длина маски не может превышать 400-600 пикселей, получаем, что объем данных, хранимых в оперативной памяти компьютера при использовании такого подхода, несравнимо меньший, чем при обучении CNN.

Указанный технический результат достигается тем, что формируют исходный набор кросс-сканов ОКТ, состоящий всего из нескольких тысяч снимков (в нашем случае 2004 снимка) ОКТ размером 1645 × 641 пикселей, распределенных равномерно по 11 классам, где первый класс представлен сканами нормы, на которых витреоретинальный интерфейс, профиль фовеа и слои сетчатки сохранены, изображение стекловидного тела не имеет вкраплений, видны все 12 слоев сетчатки, и 10 видов сканов по классам наиболее распространенных макулярных патологий, (на которых размечают визуальные признаки патологий - Кистозный макулярный отек (КМО), Отслойка нейроэпителия (ОНЭ), Отслойка пигментного эпителия (ОПЭ), Твердые экссудаты (ТЭ), Эпиретинальный фиброз (ЭРФ), Витреомакулярная адгезия (ВМА), Задняя отслойка стекловидного тела (ЗОСТ), Сквозной макулярный разрыв (СМР), Ламеллярный макулярный разрыв (ЛМР), эпиретинальный фиброз (ЭРФ) (таблица 1).

Далее из основной обучающей выборки формируют массив файлов для валидации ИНС-модели, составляющий 20% от датасета, и не участвующий в обучении. Затем проводят предобработку кросс-сканов, заключающуюся в вырезании из каждого изображения целевого информативного фрагмента размером 1440 × 600 пикселей.

Полученный с использованием библиотеки Pillow (PIL) Python набор из 11 классов целевых фрагментов кросс-сканов, состоящий из 11 классов целевых фрагментов цветных изображений размером 1440 × 600 пикселей, используют в качестве датасета для обучения ИНС-модели. Выполняют сканирование полученных информативных фрагментов кросс-сканов по вертикали, изменяя координату X от 1 до 1440, и выполняют обработку полученных файлов, а именно: разделение полученного фрагмента на составляющие цвета - красный (Red), зеленый (Green), голубой (Blue), после чего записывают в массив целые числа, соответствующие цветам RGB каждого пикселя. Таким образом, с одного кросс-скана получают 1400 × 3 одномерных массивов, состоящих из 600 строк (3 соответствует числу цветов), каждый из которых содержит информацию вертикального сканирования для одного значения X. Выполняют разметку полученной информации, при которой выбирают из полученных записей только те, которые соответствуют какому-либо варианту нормы или патологии, с указанием класса патологии и значения координаты X, соответствующей данной патологии. Затем выполняют усреднение информации по цветам RGB с использованием базы, за которую принимают значение, равное 6 пикселям - значение порядка размера минимальной патологии. Для каждого блока длиной в базу выбирают доминирующий цвет и кодируют цвета следующим образом:

1 - доминирующий цвет R;

2 - доминирующий цвет G;

3 - доминирующий цвет В.

Усреднение выполняют по следующей формуле:

где: - усредненное значение цвета k, на блоке n с базой b, годе = 6;

- значение цвета k на пикселе I;

соответствует красному (R) цвету;

соответствует зеленорму (G) цвету;

соответствует синему (В) цвету;

- размер изображения по вертикали.

Определение доминирующего цвета выполняют по формуле:

Таким образом, одну запись в обучающей выборке образуют: значение координаты X, таблица доминирующих цветов и класс патологии.

Далее формируют архитектуру ИНС-модели и проводят ее обучение. В нашем случае это многослойный полносвязный персептрон со 100 входами (координата X+99 входов доминирующих цветов) и одним выходом (класс патологии, полученный ранее в результате разметки со специалистом) Для построения ИНС-модели используют одну или несколько библиотек Python (например, keras и tensorflow), а также метод resize, который возвращает измененную копию изображения нужного размера. В качестве параметров метода задается необходимая высота и ширина выходного изображения в пикселях.

При решении задач классификации в качестве функции потерь используют кросс-энтропию, которая измеряет расхождение между двумя вероятностными распределениями. Если кросс-энтропия велика, это означает, что разница между двумя распределениями велика, а если кросс-энтропия мала, то распределения похожи друг на друга. Кросс-энтропия определяется как:

Р - распределение истинных ответов,

Q - распределение вероятностей прогнозов модели.

При обучении ИНС-модели применяют оптимизатор Adam - один из самых эффективных алгоритмов оптимизации в обучении нейронных сетей. Он использует среднее значение вторых моментов градиентов. В частности, алгоритм вычисляет экспоненециальное скользящее среднее значение градиента и квадратичный градиент, а параметры beta1 и beta2 управляют скоростью затухания этих скользящих средних.

После проверки валидации ИНС-модели получают таблицу чередований доминирующих цветов и их длительностей, которая представляет собой информацию о виде аномалии (либо комбинации аномалий), ее размерах и координатах. В результате использования валидной ИНС модели получают изображение нормы либо изображение с контурами макулярной патологии или комбинации патологий, в частности расположения, площади и количества признаков (фиг. 1-12).

Основные этапы осуществления изобретения представлены на фиг. 13.

Изобретение относится к системам поддержки принятия врачебных решений в офтальмологии и может применяться для автоматизированного определения наличия и дифференциации патологических изменений в макулярной области на основании анализа массива кросс-сканов оптической когерентной томографии (ОКТ) с использованием искусственных нейронных сетей (ИНС). По результатам обследования пациентов формируют исходный набор кросс-сканов ОКТ размером 1645 × 641 пикселей, распределенных равномерно по 11 классам, где первый класс представлен сканами нормы, и десяти видов сканов по классам наиболее распространенных макулярных патологий, на которых размечают визуальные признаки патологий. Затем формируют массив файлов для валидации ИНС-модели, составляющий 20% от датасета, не участвующий в обучении. Проводят предобработку кросс-сканов, заключающуюся в вырезании из каждого изображения целевого информативного фрагмента размером 1440 × 600 пикселей, и используют полученный набор из 11 классов целевых фрагментов цветных изображений в качестве датасета для обучения ИНС-модели. Выполняют сканирование полученных информативных фрагментов кросс-сканов по вертикали, изменяя координату X от 1 до 1440, и выполняют обработку полученных файлов, а именно: разделяют полученный фрагмент на составляющие цвета - красный (Red), зеленый (Green), голубой (Blue), и формируют массив целых чисел, соответствующих цветам RGB каждого пикселя. Выполняют разметку полученной информации, заключающуюся в выборе из полученных записей только соответствующих какому-либо варианту нормы или патологии, с указанием класса патологии и значения координаты X, соответствующей данной патологии; проводят усреднение информации по цветам RGB с использованием базы, за которую принимают значение, равное 6 пикселям. Далее выбирают для каждого блока длиной в базу доминирующий цвет, и кодируют цвета, и по формуле выполняют усреднение. Затем формируют архитектуру ИНС-модели и проводят ее обучение. При обучении ИНС-модели применяют оптимизатор Adam, использующий среднее значение вторых моментов градиентов, получают после валидации ИНС-модели таблицу чередований доминирующих цветов и их длительностей, которая представляет собой информацию о виде аномалии (либо комбинации аномалий), ее размерах и координатах, и получают изображения нормы либо изображение с контурами макулярной патологии или комбинации патологий, в частности расположения, площади и количества признаков. Способ позволяет оптимизировать процесс принятия врачебных решений в офтальмологии за счет возможности обнаружения наличия не только макулярных патологий, но и их комбинаций, что способствует снижению врачебной нагрузки за счет точной постановки диагноза и отслеживания изменений в состоянии сетчатки для выбора оптимальной тактики лечения пациента. Использование динамичного шаблона позволяет учитывать все известные в настоящее время макулярные аномалии и их комбинации, координаты которых могут находиться на разной высоте снимка, а отсутствие необходимости использования CNN, что позволяет существенно уменьшить объем оперативной памяти и сделать изобретение более экономичным в вычислительном плане. 13 ил., 1 табл.

Способ автоматизированного определения патологических изменений макулярной области на основании анализа кросс-сканов оптической когерентной томографии (ОКТ) с использованием искусственных нейронных сетей, отличающийся тем, что:

- по результатам обследования пациентов формируют исходный набор кросс-сканов ОКТ размером 1645 × 641 пикселей, распределенных равномерно по 11 классам, где первый класс представлен сканами нормы, и десяти видов сканов по классам наиболее распространенных макулярных патологий, на которых размечают визуальные признаки патологий;

- формируют массив файлов для валидации ИНС-модели, составляющий 20% от датасета, не участвующий в обучении;

- проводят предобработку кросс-сканов, заключающуюся в вырезании из каждого изображения целевого информативного фрагмента размером 1440 × 600 пикселей, и используют полученный набор из 11 классов целевых фрагментов цветных изображений в качестве датасета для обучения ИНС-модели;

- выполняют сканирование полученных информативных фрагментов кросс-сканов по вертикали, изменяя координату X от 1 до 1440, и выполняют обработку полученных файлов, а именно: разделяют полученный фрагмент на составляющие цвета - красный - Red, зеленый - Green, голубой - Blue, и формируют массив целых чисел, соответствующих цветам RGB каждого пикселя;

- выполняют разметку полученной информации, заключающуюся в выборе из полученных записей только соответствующих какому-либо варианту нормы или патологии, с указанием класса патологии и значения координаты X, соответствующей данной патологии;

- проводят усреднение информации по цветам RGB с использованием базы, за которую принимают значение, равное шести пикселям;

- выбирают для каждого блока длиной в базу доминирующий цвет и кодируют цвета следующим образом:

1 - доминирующий цвет R;

2 - доминирующий цвет G;

3 - доминирующий цвет В;

- выполняют усреднение по следующей формуле:

где: - усредненное значение цвета k, на блоке n с базой b, годе = 6;

- значение цвета k на пикселе I;

k = 1 соответствует красному цвету - R;

k = 2 соответствует зеленому цвету - G;

k = 3 соответствует синему цвету - В;

n = 1,1+b, 1+2b, …, -b-1, где L - размер изображения по вертикали;

- определение доминирующего цвета выполняют по формуле:

- формируют архитектуру ИНС-модели и проводят ее обучение;

- при обучении ИНС-модели применяют оптимизатор Adam, использующий среднее значение вторых моментов градиентов;

- получают после валидации ИНС-модели таблицу чередований доминирующих цветов и их длительностей, которая представляет собой информацию о виде аномалии либо комбинации аномалий, ее размерах и координатах; таким образом, получают изображения нормы либо изображение с контурами макулярной патологии или комбинации патологий, в частности расположения, площади и количества признаков.