Способ трехмерной визуализации, количественной оценки и мониторинга динамики изменения объемов патологических структур на сканах оптической когерентной томографии сетчатки глаза человека при помощи алгоритма искусственного интеллекта Российский патент 2025 года по МПК A61B8/10 A61B3/10 G06T7/10 G06N3/02 

Изобретение относится к системам поддержки принятия врачебных решений (СППВР) и может применяться для трехмерной визуализации, количественной оценки и мониторинга динамики изменения объемов патологических структур на сканах оптической когерентной томографии (ОКТ) сетчатки глаза человека. На основе автоматической сегментации патологических структур на серии сканов структурной ОКТ, составляющей макулярный куб, осуществляется трехмерная визуализация, количественная оценка и мониторинг динамики изменения объемов данных структур. Алгоритм количественной оценки и мониторинга динамики изменения объемов включает следующие патологические структуры: интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, ретинальные друзы, субретинальный гиперрефлективный материал. Алгоритм трехмерной визуализации включает следующие патологические структуры: интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, субретинальный гиперрефлективный материал, ретинальные друзы, эпиретинальная мембрана, витреомакулярная тракция (включает два подкласса - заднюю гиалоидную мембрану и зону витреомакулярного прикрепления), сквозной макулярный разрыв, ламеллярный макулярный разрыв.

Заболевания макулярной области сетчатки, такие как возрастная макулярная дегенерация (ВМД) и диабетический макулярный отек (ДМО) являются ведущими глобальными причинами необратимой слепоты и слабовидения во всем мире. В 2020 году в мире насчитывалось 196 миллионов пациентов с ВМД, ожидается, что к 2040 году данная цифра достигнет 288 миллионов человек [1]. Клинически ВМД подразделяется на сухую и экссудативную форму. При сухой форме ВМД происходит формирование ретинальных друз, которые на ранних стадиях незначительно влияют на остроту зрения, однако данное состояние требует регулярного офтальмологического контроля в связи с риском быстрого увеличения количества и объема друз и перехода процесса в экссудативную форму. Экссудативная (или неоваскулярная) форма ВМД характеризуется формированием в центральной зоне сетчатки неоваскулярной мембраны, провоцирующей скопление жидкости внутри и под сетчаткой, отслойку пигментного эпителия сетчатки, кровоизлияния и формирование фиброваскулярного рубца в исходе заболевания. При отсутствии лечения процесс ведет к необратимой потере центрального зрения.

Количество пациентов, страдающих сахарным диабетом, неуклонно растет. Вместе с этим наблюдается рост офтальмологических осложнений данного заболевания. Исследователи прогнозируют увеличение числа взрослых людей с ДР во всем мире с 103,12 млн. в 2020 г. до 160,50 млн. к 2045 г., а угрожающая зрению ДР, возрастет с 28,54 млн. в 2020 г. до 44,82 млн. к 2045 г. [2]. ДМО, встречающийся на различных стадиях ДР, проявляется скоплением интраретинальной и субретинальной жидкости в центральной области сетчатки, что ведет к разрушению фоторецепторов и необратимой потере центрального зрения. Зачастую ДР и ДМО сопровождаются формированием эпиретинальной мембраны, витреомакулярного тракционного синдрома, ведущего к макулярным разрывам и тракционной отслойке сетчатки. Данная категория пациентов относится к наиболее тяжелой, требующей хирургического лечения.

ОКТ сетчатки является наиболее информативным и широко используемым во всем мире методом диагностики макулярной патологии. Метод позволяет поставить диагноз, определить стадию и форму заболевания, активность патологического процесса, а также оценить динамику заболевания в процессе лечения. В ходе исследования производится сканирование центральной зоны сетчатки при помощи инфракрасного излучения, в результате исследования получается серия аксиальных срезов, на которых визуализируются все слои сетчатки с мельчайшими патологическими структурами. По серии аксиальных срезов восстанавливается пространственная структура макулярной области сетчатки.

Ретинальные друзы являются проявлением сухой формы ВМД, характеризуются отложением друзеноидного материала в центральной зоне сетчатки и в ряде случаев ассоциируются с высоким риском прогрессирования ВМД до поздних стадий с необратимой потерей центрального зрения. Тактика ведения пациента с сухой формой ВМД заключается в модификации образа жизни с устранением факторов риска прогрессирования заболевания, а также регулярном офтальмологическом контроле. Увеличение количества и размера ретинальных друз является признаком прогрессирования заболевания и риска перехода в более поздние стадии. Современные оптические томографы не обладают функцией автоматической сегментации и подсчета количества и размеров друз. Выполнение этой задачи лечащим врачом также является маловероятным в связи с большим количеством пациентов, высокой загруженностью системы здравоохранения и необходимостью отсматривать не один скан ОКТ, а всю серию срезов, составляющих макулярный куб и включающую до ста изображений. Таким образом, разработка инструмента автоматической сегментации и подсчета количества и объема ретинальных друз с возможностью динамической оценки этих показателей является актуальной задачей для системы здравоохранения.

На сегодняшний день золотым стандартом лечения ДМО и экссудативной формы ВМД является терапия ингибиторами ангиогенеза. Препараты данной группы блокируют эндотелиальный сосудистый фактор роста, подавляют рост субретинальной неоваскулярной мембраны и способствуют резорбции интраретинальной и субретинальной жидкости. Терапия ингибиторами ангиогенеза является длительной и включает регулярные повторные интравитреальные инъекции препарата в течение года и более. Потребность в очередной инъекции определяется врачом на основании данных оптической когерентной томографии. Основными количественными показателями, на которые ориентируется врач-офтальмолог в процессе антиангиогенной терапии, являются максимальная корригированная острота зрения и толщина центральной зоны сетчатки [3]. Однако данные критерии не всегда являются достаточными, поскольку, наряду с активностью патологического процесса, на них могут влиять и другие факторы. В частности, дезорганизация внутренних слоев сетчатки, повреждение наружной пограничной мембраны, эллипсоидной зоны, ретинального пигментного эпителия [4, 5, 6], помутнение оптических сред снижают остроту зрения, независимо от активности патологического процесса. Толщина центральной зоны сетчатки является интегративным показателем, на конечное значение которого влияет количество субретинальной и интраретинальной жидкости, а также наличие витреомакулярного тракционного синдрома. Исследования последних лет показали, что субретинальная жидкость при ВМД скапливается не только в центральной фовеолярной зоне сетчатки, но может распространяться далеко за ее пределы на всю макулярную область, что не отражается на значениях толщины центральной сетчатки, вычисляемых современными томографами [7]. Вместе с тем оптическая когерентная томография позволяет с высокой точностью визуализировать биомаркеры активности патологического процесса - интраретинальную и субретинальную жидкость, отслойку ретинального пигментного эпителия, субретинальный гиперрефлективный материал. При высоких возможностях визуализации, позволяющих получить изображение сетчатки, близкое к гистологическому, современные оптические когерентные томографы не обладают возможностью количественной оценки объемов патологических структур. Перечисленные факторы определяют актуальность задачи разработки метода автоматической сегментации, трехмерной визуализации, количественной оценки и мониторинга динамики изменения объемов интраретинальной и субретинальной жидкости, отслойки ретинального пигментного эпителия и субретинального гиперрефлективного материала на сканах структурной ОКТ. Данный метод представляет принципиально новый инструмент оценки эффективности антиангиогенной терапии.

Аномалии витреомакулярного интерфейса, такие как макулярный разрыв, эпиретинальная мембрана, витреомакулярный тракционный синдром, являются тяжелой патологией, требующей хирургического лечения. Данное состояние может развиться как на фоне диабетической ретинопатии и ДМО, так и как самостоятельное заболевание. Интраоперационная ОКТ предоставляет возможность визуализации в режиме реального времени патологических структур и их пространственного расположения относительно слоев сетчатки [8]. Сегментация с трехмерной визуализацией аномалий витреомакулярного интерфейса открывает возможности разработки дополнительного инструмента интраоперационного мониторинга, что может повлиять на принятие хирургических решений и итоговый зрительный результат пациента.

Известен способ количественной оценки объемов патологических структур на сканах ОКТ, приведенный в изобретении ["Computerized device and method for processing image data", патент №US 10679344 B2, США, заявл. 29.02.2016; опубл. 09.06.2020], который заключается в вычислении объема интраретинальной и/или субретинальной жидкостей на основе сегментации патологических признаков на каждом ОКТ скане из серии сканов структурной ОКТ, составляющей макулярный куб. Сегментация патологических структур осуществляется обученной искусственной сверточной нейронной сетью.

Недостатком данного способа является его применимость исключительно для вычисления объемов интраретинальной или субретинальной жидкостей на наборе изображений ОКТ. Количественная оценка объемов субретинальной и интраретинальной жидкости позволяют оценивать динамику течения патологического процесса только при ДМО/кистозном макулярном отеке (КМО). Этих патологических структур недостаточно для оценки динамики течения сухой и экссудативной форм ВМД. Кроме того, ДМО зачастую сопровождается развитием аномалий витреомакулярного интерфейса, таких как эпиретинальная мембрана и витреомакулярная тракция, которые оказывают непосредственное влияние на динамику отека и зрительные функции и могут быть причиной рефрактерности к антиангиогенной терапии, таким образом, трехмерная оценка макулярного куба при ДМО неполноценна без учета аномалий витреомакулярного интерфейса. Также, система, описанная в патенте, не способна визуализировать патологические структуры в трех измерениях и не способна предоставлять пользователю аналитическую информацию о наличии вероятных патологий и динамике течения патологического процесса, что снижает диагностическую ценность данного патента.

Известен способ количественной оценки объемов патологических структур на сканах ОКТ, приведенный в изобретении ["Method and system for evaluating progression of age-related macular degeneration", патент №US 9737205 B2, США, заявл. 30.07.2014; опубл. 22.08.2017], который заключается в вычислении объема ретинальных друз на основе сегментации патологической структуры на каждом ОКТ скане из серии сканов структурной ОКТ, составляющей макулярный куб. Технический результат достигается методом сегментации слоев сетчатки и последующим определением пространства между внутренней и внешней границами слоя пигментного эпителия сетчатки (ПЭС). Алгоритм сегментации слоев сетчатки основан на начальной оценке границ слоев с учетом статистики интенсивности и градиента, полученного из ОКТ исследования. Далее реализуется итеративный процесс, который обновляет сегментацию, чтобы более точно отслеживать фактическое местоположение каждой границы слоев, сохраняя при этом плавное поведение сегментации.

Недостатком данного способа является невозможность его применения для сегментации, вычисления объемов и визуализации таких патологических структур, как интраретинальная и субретинальная жидкости, отслойка ретинального пигментного эпителия, субретинальный гиперрефлективный материал. Оценка объемов ретинальных друз позволяет диагностировать и оценивать динамику патологического процесса только для сухой формы ВМД, не предоставляя пространственной и количественной информации о состоянии сетчатки при ДМО/КМО, экссудативной форме ВМД, витреомакулярном тракционном синдроме. В данном патенте так же отсутствует вывод для пользователя итоговой аналитической информации о наличии вероятных патологий и динамике течения патологического процесса пациента.

Известен способ количественной оценки объемов патологических структур на сканах ОКТ, приведенный в изобретении ["Systems and methods for automated segmentation of retinal fluid in optical coherence tomography", патент №US 10251550 B2, США, заявл. 14.03.2017; опубл. 09.04.2019], который заключается в вычислении объема интраретинальной и/или субретинальной жидкостей на основе сегментации патологической структуры на каждом ОКТ скане из серии сканов структурной ОКТ, составляющей макулярный куб. Сегментация патологических структур осуществляется методом нечетких уровней, а именно комбинацией метода нечеткой кластеризации С-средних (FCM) и метода уровней (Level-set method). Метод нечетких уровней применяется кадр за кадром на С-сканах (вдоль оси z) и В-сканах (вдоль осей х и у) для выявления областей, заполненных субретинальной и/или интраретинальной жидкостями. В результате этих операций получаются три отдельных результата объемной сегментации последовательности изображений. Затем эти результаты объединяются в одну объемную сегментацию.

Недостатком данного способа является его применимость только для гипорефлективных признаков ДМО, кистозного макулярного отека и ХНВ, таких как интраретинальные кисты и субретинальная жидкость. Количественная оценка объемов субретинальной жидкости и интраретинальной жидкости позволяют оценивать течение патологического процесса только при ДМО/КМО, этих патологических структур недостаточно для оценки течения сухой и экссудативной форм ВМД. Кроме того ДМО зачастую сопровождается развитием аномалий витреомакулярного интерфейса, таких как эпиретинальная мембрана и витреомакулярная тракция, которые оказывают непосредственное влияние на динамику отека и зрительные функции и могут быть причиной рефрактерности к антиангиогенной терапии, таким образом, трехмерная оценка макулярного куба при ДМО неполноценна без учета аномалий витреомакулярного интерфейса. Также данный способ не имеет выходной аналитической информации о вероятности наличия патологий сетчатки глаза, которая реализовывалась бы на основе найденных пространственных и количественных характеристиках патологических структур. Отсутствует оценка динамики течения патологического процесса.

Наиболее близким по технической сущности является способ, приведенный в изобретении ["Predicting clinical parameters from fluid volumes determined from oct imaging", патент №US 20200077883 A1, США, заявл. 12.09.2019, опубл. 18.10.2022], который заключается в сегментации и вычислении объемов интраретинальной и/или субретинальной жидкостей на основе сегментации патологической структуры на каждом ОКТ скане из серии сканов структурной ОКТ, составляющей макулярный куб. Сегментация патологических структур осуществляется с применением метода неориентированного графа с вершинами, представляющими пиксели изображения, и восьмисвязными ребрами, имеющими веса, представляющие стоимость, сгенерированную из показателей градиента изображения и подобия соседей. Это формирует задачу минимизации энергии на основе стоимости интенсивности изображения и признаков градиента/границы. Метод выполняет энергетическую минимизацию стоимости краев и выводит глобально оптимальное разбиение изображения на две части на один или несколько признаков, включая области объема жидкости и фон. Сегментация выполняется покадрово, при этом кадры обрабатываются последовательно в соответствии с их пространственным порядком. Граница сегментации в соседнем кадре используется для повторного взвешивания ребер в текущем кадре, чтобы получить линейно уменьшающуюся функцию стоимости по мере приближения ребер к соседней сегментации. Полученная количественная и пространственная информация о патологических структурах используется для формирования и демонстрации на дисплее как минимум одного клинического параметра, который характеризует текущее состояние пациента.

Недостатком приведенного способа является отсутствие количественной оценки объемов и трехмерной визуализации таких важных признаков, как ретинальные друзы, отслойка пигментного эпителия, субретинальный гиперрефлективный материал, эпиретинальная мембрана, макулярный разрыв, витреомакулярная тракция. Следовательно, метод неприменим для диагностики сухой и экссудативной формы ВМД, аномалий витреомакулярного интерфейса, а также ДМО, осложненного витреомакулярным тракицонным синдромом.

Настоящее техническое решение предлагает сегментацию и трехмерную визуализацию следующих патологических структур: интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, субретинальный гиперрефлективный материал, ретинальные друзы, эпиретинальная мембрана, витреомакулярная тракция (включает два подкласса - заднюю гиалоидную мембрану и зону витреомакулярного прикрепления), сквозной макулярный разрыв, ламеллярный макулярный разрыв.

Вторым преимуществом настоящего технического решения является применение искусственных сверточных нейронных сетей для задач сегментации признаков патологий на В-сканах. Для сегментации патологических структур в данном способе выбран метод неориентированного графа, который, в настоящий момент, является менее производительным, чем сверточные нейронные сети, которые показывают наилучшие результаты в задачах сегментации патологических признаков на медицинских снимках [9, 10],

Третьим преимуществом настоящего технического решения является оценка динамики течения патологического процесса, реализованного в виде графика, где отображены значения количественной оценки объемов патологических структур с привязкой ко времени проведения исследования сетчатки глаза. Такой график позволяет пользователю визуально оценить влияние лечения на течение патологического процесса (фиг. 13).

Принципиальным отличием настоящего технического решения от приведенного способа является наличие алгоритма дифференциально-диагностического поиска, позволяющего на основании наличия, количественной оценки и комбинации сегментированных патологических структур определить наиболее вероятный диагноз. Данный алгоритм реализован в виде экспертной системы, которая содержит логические правила, построенные на основе международных и клинических рекомендаций, в отличии от рассматриваемого патента, который формирует только рассчитываемые количественные параметры, например «индекс ретинальной жидкости», не содержащие информации о вероятности наличия патологий.

Данный технический результат достигается тем, что при помощи оптического когерентного томографа производится сканирование сетчатки глаза. В результате получается серия сканов структурной ОКТ, составляющей макулярный куб (В-сканы структурной оптической когерентной томографии сетчатки глаза) в формате DICOM, содержащий так же информацию об интервале между сканированиями в микрометрах и информацию об области сканирования в миллиметрах. Затем с помощью глубоких сверточных нейронных сетей на каждом скане ОКТ сетчатки глаза из данного набора обнаруживается по меньшей мере 9 различных классов патологических структур: интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, субретинальный гиперрефлективный материал, ретинальные друзы, эпиретинальная мембрана, витреомакулярная тракция (включает два подкласса - заднюю гиалоидную мембрану и зону витреомакулярного прикрепления), сквозной макулярный разрыв, ламеллярный макулярный разрыв. Полученные количественные и качественные данные используются для формирования алгоритма дифференциально-диагностического поиска. Алгоритм дифференциально-диагностического поиска заключается в логическом поиске наиболее вероятной патологии либо их сочетания на основе наличия и сочетания патологических структур на сканах ОКТ. Полученные сегментированные маски используются для формирования трехмерной визуализации найденных патологических структур с сохранением относительной пространственной ориентации посредством алгоритма построения поверхностей патологических структур. Трехмерная визуализация патологических структур позволяет управлять настройками отображения каждого типа патологических структур, что так же является важным функционалом инструмента представления пространственных характеристик патологических структур. Вычисление количественной оценки объемов патологических структур реализуется посредством алгоритма их количественной оценки. Далее реализуется алгоритм количественной оценки объемов следующих патологических структур: интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, ретинальные друзы, субретинальный гиперрефлективный материал. На основе вычисленной количественной оценки объемов патологических структур и информации об объемах этих структур на основе предыдущих сканирований сетчатки глаза реализуется алгоритм мониторинга динамики изменения объемов патологических структур.

Этапы обучения сверточной нейронной сети для задач сегментации включают в себя: подготовка и разметка обучающего и тестового датасетов, выбор и реализация подходящей архитектуры сверточной нейронной сети, выбор функции потерь для непосредственного обучения, подбор верхних порогов постобработки для получения бинарных масок и оценка метрик качества работы обученной модели. Подробнее процесс реализации сверточной нейронной сети для задач сегментации описан в заявке на изобретение № 2022119463.

На основе количественной и качественной информации о сегментированных патологических структурах формируется алгоритм дифференциально-диагностического поиска. Алгоритм дифференциально-диагностического поиска заключается в логическом поиске наиболее вероятного диагноза на основе наличия и сочетания патологических признаков на сканах ОКТ. В таблице 1 представлен фрагмент логической таблицы дифференциально диагностического поиска (алгоритм дифференциально-диагностического поиска подробно описан в заявке на изобретение № 2022119463).

Изображение структуры системы приведено на фиг. 1

Обрабатываемая серия сканов структурной ОКТ, составляющей макулярный куб (В-сканы сетчатки глаза структурной ОКТ) в формате DICOM загружается пользователем в систему. Полученный файл обрабатывается для получения последовательности изображений, информации о размерах В-сканов сетчатки глаза структурной ОКТ и информации о расстоянии между данными сканами. Затем последовательно каждый В-скан структурной ОКТ сетчатки глаза передается на обработку с помощью обученной нейронной сети. Для обработки каждого скана обученной нейронной сетью предварительно необходимо согласовать размер изображения и размерность входа нейронной сети. Для этого загружаемый скан масштабируется до размера 480×480 пикселей. Отмасштабированное изображение подается на вход нейронной сети, происходит обработка и получение результата работы нейронной сети в виде масок патологических структур. По маскам, полученным в результате сегментации объектов классов, определяются координаты точек контуров найденных признаков патологий. В результате обработки последовательности изображений для каждой патологической структуры формируется последовательность масок. Следующим этапом системы, является алгоритм дифференциально-диагностического поиска, позволяющего на основании наличия, количественной оценки и комбинации сегментированных патологических структур определить наиболее вероятный диагноз. Данный алгоритм реализован в виде экспертной системы, которая содержит логические правила, построенные на основе международных и национальных клинических рекомендаций. На основе данных наборов масок применяется алгоритм построения патологических структур, который формирует отображение каждой патологической структуры в трех измерениях. В пользовательском интерфейсе по запросу пользователя есть возможность скрыть или отобразить каждую патологическую структуру отдельно. Так же на основе наборов масок патологических структур (интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, ретинальные друзы, субретинальный гиперрефлективный материал) реализуется алгоритм количественной оценки объемов данных патологических структур (фиг. 3А). Другой способ количественной оценки объемов патологических структур заключается в получении трехмерной модели каждого из оцениваемых признаков патологических структур и вычислении их объемов на основе полученной поверхности каждой патологической структуры (фиг. 3Б). Результаты количественной оценки объемов патологических структур доступны пользователю в пользовательском интерфейсе (фиг. 4-13). На основе вычисленной количественной оценки объемов патологических структур и информации об объемах этих структур на основе предыдущих сканирований сетчатки глаза реализуется алгоритм мониторинга динамики изменения объемов патологических структур.

Алгоритм построения поверхностей патологических структур представлен на фиг. 2

Для каждой маски, полученной в результате сегментации патологических структур на каждом скане из серии сканов структурной ОКТ, составляющей макулярный куб (В-сканы сетчатки глаза структурной ОКТ), производится обработка фильтром Гаусса размером 5×5 пикселей. Далее для каждой патологической структуры из обработанных масок формируется трехмерный массив, который представляет собой облако точек, т.е. добавляется третья координата Z. Для полученного трехмерного массива производится получение срезов вдоль оси Y (сверху вниз) и обработка каждого полученного среза фильтром Гаусса размером 35×1 пикселей. Далее каждое значение вокселя из обработанного трехмерного массива нормализуется до значений в диапазоне от 0 до 1. После этого значение каждого вокселя в обработанном и нормализованной трехмерном массиве бинаризуется по пороговому значению для каждой патологической структуры. Итоговый обработанный и бинаризованный трехмерный массив используется для построения поверхностей патологических структур методом Marching Cubes [11]. Поверхности, получаемые методом Marching Cubes, имеют ступенчатую структуры, поэтому для сглаживания поверхностей используется метод усреднения координат.

Алгоритм количественной оценки объемов патологических структур представлен на фиг. 3

В результате обработки каждого скана из серии сканов структурной ОКТ, составляющей макулярный куб (В-сканы сетчатки глаза структурной ОКТ), получается набор масок для каждой патологической структуры. Далее для каждой маски из набора масок каждой патологической структуры вычисляется площадь. Затем производится вычисление объема каждой патологической структуры путем интегрирования полученных площадей данных структур. Результат количественной оценки объемов патологических структур выводится в интерфейс пользователя. (Фиг. 3А). Другой способ количественной оценки объемов патологических структур заключается в получении сегментированных масок патологических структур на серии сканов структурной ОКТ, составляющей макулярный куб (В-сканы сетчатки глаза структурной ОКТ). Далее на основе полученных масок выполняется построение трехмерного представления каждой патологической структуры с помощью алгоритма построения поверхностей патологических структур. Затем полученные поверхности используются для вычисления объемов патологических структур. Результат количественной оценки объемов патологических структур выводится в интерфейс пользователя. (Фиг. 3Б).

Примеры достижения технического результата представлены на фиг. 4-13.

На фиг. 4 представлен пример анализа результатов ОКТ сетчатки глаза пациента с сахарным диабетом. Врачом-офтальмологом зарегистрировано скопление интраретинальной жидкости с формированием кист в макулярной зоне сетчатки, поставлен диагноз: диабетический макулярный отек. На фиг. 4А представлена трехмерная модель макулярной зоны, восстановленная по серии последовательных сканов структурной ОКТ (макулярный куб). На фиг. 4Б представлена трехмерная модель макулярной зоны после сегментации алгоритмом искусственного интеллекта интраретинальной жидкости (голубые маски) на каждом из серии сканов, составляющих макулярный куб. Фиг. 4В демонстрирует поверхностную трехмерную модель сегментированной интраретинальной жидкости. На фиг. 4Г представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированной интраретинальной жидкости и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ. При этом в пользовательском интерфейсе отображается значение объема интраретинальной жидкости, составляющего 0,763 мм³.

На фиг. 5 представлен пример анализа результатов ОКТ сетчатки глаза пациента с сухой формой возрастной макулярной дегенерации. На сканах структурной ОКТ врачом-офтальмологом выявлены скопления друзеноидного материала под пигментным эпителием сетчатки, поставлен диагноз: ВМД, сухая форма, ретинальные друзы. На фиг. 5А представлена трехмерная модель макулярной зоны, восстановленная по серии последовательных сканов структурной ОКТ (макулярный куб). На фиг. 5Б представлена трехмерная модель макулярной зоны после сегментации алгоритмом искусственного интеллекта ретинальных друз (желтые маски) на каждом из серии сканов, составляющих макулярный куб. Фиг. 5В демонстрирует поверхностную трехмерную модель сегментированных друз. На фиг. 5Г представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированных друз и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ. При этом в пользовательском интерфейсе отображается значение общего объема ретинальных друз, составляющего 0,067 мм³.

На фиг. 6 представлен пример анализа результатов ОКТ сетчатки глаза пациента с экссудативной формой возрастной макулярной дегенерации. На сканах структурной ОКТ врачом-офтальмологом выявлена отслойка ретинального пигментного эпителия, скопление субретинального гиперрефлективного материала, интраретинальной жидкости в макулярной области сетчатки, поставлен диагноз: ВМД, экссудативная форма. На фиг. 6А представлена трехмерная модель макулярной зоны, восстановленная по серии последовательных сканов структурной ОКТ (макулярный куб). На фиг. 6Б представлена трехмерная модель макулярной зоны после сегментации алгоритмом искусственного интеллекта субретинального гиперрефлективного материала (желто-зеленая маска) на каждом из серии сканов, составляющих макулярный куб. Фиг. 6В демонстрирует поверхностную трехмерную модель сегментированного субретинального гиперрефлективного материала. На фиг. 6Г представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированного субретинального гиперрефлективного материала и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ. При этом в пользовательском интерфейсе отображается значение общего объема субретинального гиперрефлективного материала, составляющего 1,137 мм³.

На фиг. 7-8 представлен пример анализа результатов ОКТ сетчатки глаза пациента с макулярной неоваскуляризацией. На сканах структурной ОКТ врачом-офтальмологом выявлена отслойка ретинального пигментного эпителия, скопление субретинальной жидкости в макулярной зоне сетчатки, поставлен диагноз: макулярная неоваскуляризация. На фиг. 7А представлена трехмерная модель макулярной зоны, восстановленная по серии последовательных сканов структурной ОКТ (макулярный куб). На фиг. 7Б представлена трехмерная модель макулярной зоны после сегментации алгоритмом искусственного интеллекта отслойки ретинального пигментного эпителия (оранжевая маска) на каждом из серии сканов, составляющих макулярный куб. Фиг. 7В демонстрирует поверхностную трехмерную модель сегментированной отслойки ретинального пигментного эпителия. На фиг. 7Г представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированной отслойки ретинального пигментного эпителия и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ. При этом в пользовательском интерфейсе отображается значение объема отслойки ретинального пигментного эпителия, составляющего 2,821 мм³. На фиг. 8А представлена трехмерная модель макулярной зоны, восстановленная по серии последовательных сканов структурной ОКТ (макулярный куб). На фиг. 8Б представлена трехмерная модель макулярной зоны после сегментации алгоритмом искусственного интеллекта субретинальной жидкости (зеленые маски) на каждом из серии сканов, составляющих макулярный куб. Фиг. 8В демонстрирует поверхностную трехмерную модель сегментированной субретинальной жидкости. На фиг. 8Г представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированной субретинальной жидкости и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ. При этом в пользовательском интерфейсе отображается значение объема субретинальной жидкости, составляющего 0,155 мм³.

На фиг. 9 представлен пример анализа результатов ОКТ сетчатки глаза пациента с эпиретинальной мембраной. На сканах структурной ОКТ врачом-офтальмологом зарегистрировано формирование гиперрефлективной фиброзной ткани на поверхности сетчатки, поставлен диагноз: аномалия витреомакулярного интерфейса, эпиретинальная мембрана. На фиг. 9А представлена трехмерная модель макулярной зоны, восстановленная по серии последовательных сканов структурной ОКТ (макулярный куб). На фиг. 9Б представлена трехмерная модель макулярной зоны после сегментации алгоритмом искусственного интеллекта эпиретинальной мембраны (красные маски) на каждом из серии сканов, составляющих макулярный куб. Фиг. 9В демонстрирует поверхностную трехмерную модель сегментированной эпиретинальной мембраны. На фиг. 9Г представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированной эпиретинальной мембраны и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ.

На фиг. 10 представлен пример анализа результатов ОКТ сетчатки глаза пациента с ламеллярным макулярным разрывом. На сканах структурной ОКТ врачом-офтальмологом зарегистрирован разрыв сетчатки, доходящий до наружного ядерного слоя, поставлен диагноз: аномалия витреомакулярного интерфейса, ламеллярный макулярный разрыв. На фиг. 10А представлена трехмерная модель макулярной зоны, восстановленная по серии последовательных сканов структурной ОКТ (макулярный куб). На фиг. 10Б представлена трехмерная модель макулярной зоны после сегментации алгоритмом искусственного интеллекта ламеллярного макулярного разрыва (синяя маска) на каждом из серии сканов, составляющих макулярный куб. Фиг. 10В демонстрирует поверхностную трехмерную модель сегментированного ламеллярного макулярного разрыва. На фиг. 10Г представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированного ламеллярного макулярного разрыва и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ.

На фиг. 11 представлен пример анализа результатов ОКТ сетчатки глаза пациента со сквозным макулярным разрывом. На сканах структурной ОКТ врачом-офтальмологом зарегистрирован полнослойный разрыв сетчатки, доходящий до линии ретинального пигментного эпителия, поставлен диагноз: аномалия витреомакулярного интерфейса, сквозной макулярный разрыв. На фиг. 11А представлена трехмерная модель макулярной зоны, восстановленная по серии последовательных сканов структурной ОКТ (макулярный куб). На фиг. 11Б представлена трехмерная модель макулярной зоны после сегментации алгоритмом искусственного интеллекта сквозного макулярного разрыва (фиолетовая маска) на каждом из серии сканов, составляющих макулярный куб. Фиг. 11В демонстрирует поверхностную трехмерную модель сегментированного сквозного макулярного разрыва. На фиг. 11Г представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированного сквозного макулярного разрыва и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ.

На фиг. 12 представлен пример анализа результатов ОКТ сетчатки глаза пациента с витреомакулярным тракционным синдромом. На сканах структурной ОКТ врачом-офтальмологом зарегистрирована витреомакулярная тракция, поставлен диагноз: аномалия витреомакулярного интерфейса, витреомакулярный тракционный синдром. На фиг. 12А представлена трехмерная модель макулярной зоны, восстановленная по серии последовательных сканов структурной ОКТ (макулярный куб). На фиг. 12Б представлена трехмерная модель макулярной зоны после сегментации алгоритмом искусственного интеллекта витреомакулярной тракции на каждом из серии сканов, составляющих макулярный куб. Алгоритм автоматической сегментации витреомакулярной тракции включает сегментацию двух подклассов: задняя гиалоидная мембрана (голубая маска) и зона витреомакулярного прикрепления (розовая маска). Фиг. 12В демонстрирует поверхностную трехмерную модель сегментированной витреомакулярной тракции. На фиг. 12Г представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированной витреомакулярной тракции и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ.

На фиг. 13 представлен пример динамического мониторинга объемов субретинальной и интраретинальной жидкости у пациента с диабетическим макулярным отеком на фоне антиангиогенной терапии. Фиг. 13А демонстрирует интегративную модель макулярного куба, включающая трехмерную модель сегментированной интраретинальной и субретинальной жидкости и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ пациента до начала антиангиогенной терапии. Объем субретинальной жидкости составил 0,472 мм³, объем интраретинальной жидкости - 5,102 мм³. На фиг. 13Б представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированной интраретинальной и субретинальной жидкости и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ через 43 суток после первой интравитреальной инъекции ингибитора эндотелиального сосудистого фактора роста. Отмечается значительная резорбция интраретинальной жидкости (0,763 мм³) на фоне увеличения аккумуляции субретинальной жидкости (1,553 мм³). На фиг. 13В представлена интегративная модель макулярного куба, включающая трехмерную модель сегментированной интраретинальной и субретинальной жидкости и модель макулярной зоны, восстановленную по серии сканов структурной ОКТ через 28 суток после второй интравитреальной инъекции ингибитора эндотелиального сосудистого фактора роста. Регистрируется значительное уменьшение объема субретинальной жидкости (0,407 мм³) в сочетании с небольшим накоплением интраретинальной жидкости (1,095 мм³). Фиг. 13Г демонстрирует динамику патологического процесса в графическом формате. В сравнении с данными от даты первого обследования отмечается выраженная положительная динамика с резорбцией интраретинальной и субретинальной жидкости.

На фиг. 14 представлен пример отчета по итогам анализа ОКТ пациента с диабетическим макулярным отеком. В отчете представлены центральный и боковые срезы из серии сканов, составляющих макулярный куб, с подсвеченными патологическими структурами -интраретинальными кистами (голубые маски) и субретинальной жидкостью (зеленая маска), отчетная таблица о наличии и объемах сегментированных патологических структур, информация о вероятной патологии, вычисленной при помощи алгоритма дифференциально-диагностического поиска, а также поверхностные трехмерные модели сегментированных патологических структур - интраретинальных кист и субретинальной жидкости.

Таблица 1. Фрагмент логической таблицы дифференциально диагностического поиска на основе сегментированных патологических структур. Принятые сокращения:

МО - макулярный отек, РПЭ - ретинальный пигментный эпителий, ХНВ - хориоидальная неоваскуляризация, ВМД - возрастная макулярная дегенерация, ЭРМ - эпиретинальная, мембрана, ЦСХ - центральная серозная хориоретинопатия, ВМТ - витреомакулярная тракция

Список используемых источников

1. Samanta A., Aziz А.А., Jhingan М., Singh S.R., Khanani A.M., Chhablani J. Emerging Therapies in Neovascular Age-Related Macular Degeneration in 2020. Asia Рас J Ophthalmol (Phila). 2020 May-Jun;9(3):250-259. DOI: 10.1097 APO.0000000000000291.

2. Teo Z.L., Tham Y.C., Yu M. et al. Global Prevalence of Diabetic Retinopathy and Projection of Burden through 2045: Systematic Review and Meta-analysis. Ophthalmology 2021, 128(11): 1580-1591. doi: 10.1016/j.ophtha.2021.04.027.

3. Lanzetta P., Loewenstein A. Vision Academy Steering Committee. Fundamental principles of an anti-VEGF treatment regimen: optimal application of intravitreal anti-vascular endothelial growth factor therapy of macular diseases. Graefes Arch Clin Exp Ophthalmol. 2017 Jul;255(7):1259-1273. doi: 10.1007/s00417-017-3647-4. Epub 2017 May 19. PMID: 28527040; PMCID: PMC5486551.

4. Kessler L.J., Auffarth G.U., Bagautdinov D., Khoramnia R. Ellipsoid Zone Integrity and Visual Acuity Changes during Diabetic Macular Edema Therapy: A Longitudinal Study. J Diabetes Res. 2021 Oct 7;2021:8117650. doi: 10.1155/2021/8117650. PMID: 34660813; PMCID: PMC8516551.

5. Sun J.K., Lin M.M., Lammer J., Prager S., Sarangi R., Silva P.S., Aiello L.P. Disorganization of the retinal inner layers as a predictor of visual acuity in eyes with center-involved diabetic macular edema. JAMA Ophthalmol. 2014 Nov;132(11):1309-16. doi: 10.1001/jamaophthalmol.2014.2350. PMID: 25058813.

6. Phan L.T., Broadhead G.K., Hong T.H., Chang A.A. Predictors of Visual Acuity After Treatment of Neovascular Age-Related Macular Degeneration - Current Perspectives. Clin Ophthalmol. 2021 Aug 11;15:3351-3367. doi: 10.2147/OPTH.S205147. PMID: 34408393; PMCID: PMC8364912.

7. Klimscha, S., Waldstein, S.M., Schlegl, Т., Bogunovic, H., Sadeghipour, A., Philip, A.-M., Podkowinski, D., Pablik, E., Zhang, L., Abramoff, M.D., Sonka, M., Gerendas, B.S., Schmidt-Erfurth, U.M., 2017. Spatial correspondence between intraretinal fluid, subretinal fluid, and pigment epithelial detachment in neovascular age-related macular degeneration. Invest. Ophthalmol. Vis. Sci. 58, 4039-4048. https://doi.org/10.1167/iovs. 16-20201.

8. Ung C., Miller J.B. Intraoperative Optical Coherence Tomography in Vitreoretinal Surgery. Semin Ophthalmol. 2019;34(4):312-316. doi: 10.1080/08820538.2019.1620811. Epub 2019 Jun 26. PMID: 31240975.

9. Priyanka Malhotra, Sheifali Gupta, Deepika Koundal, Atef Zaguia, Wegayehu Enbeyle, "Deep Neural Networks for Medical Image Segmentation", Journal of Healthcare Engineering, vol. 2022, Article ID 9580991, 15 pages, 2022. https://doi.org/10.1155/2022/9580991.

10. Isaksson, L.J., Pepa, M., Summers, P. et al. Comparison of automated segmentation techniques for magnetic resonance images of the prostate. BMC Med Imaging 23, 32 (2023). https://doi.org/10.1186/s12880-023-00974-y.

11. Krone, Michael et al. "Fast Visualization of Gaussian Density Surfaces for Molecular Dynamics and Particle System Trajectories." Eurographics Conference on Visualization (2012).

Изобретение относится к системам поддержки принятия врачебных решений. Предложен способ, в котором при помощи оптического когерентного томографа производится сканирование сетчатки глаза. В результате получается серия сканов структурной ОКТ, составляющей макулярный куб в формате DICOM, содержащий также информацию об интервале между сканированиями в микрометрах и информацию об области сканирования в миллиметрах. Затем с помощью глубоких сверточных нейронных сетей на каждом скане ОКТ сетчатки глаза из данного набора обнаруживается по меньшей мере 9 различных классов патологических структур: интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, субретинальный гиперрефлективный материал, ретинальные друзы, эпиретинальная мембрана, витреомакулярная тракция (включает два подкласса - заднюю гиалоидную мембрану и зону витреомакулярного прикрепления), сквозной макулярный разрыв, ламеллярный макулярный разрыв. Полученные количественные и качественные данные используются для формирования алгоритма дифференциально-диагностического поиска. Алгоритм дифференциально-диагностического поиска заключается в логическом поиске наиболее вероятной патологии либо их сочетания на основе наличия и сочетания патологических структур на сканах ОКТ. Полученные сегментированные маски используются для формирования трехмерной визуализации найденных патологических структур с сохранением относительной пространственной ориентации посредством алгоритма построения поверхностей патологических структур. Трехмерная визуализация патологических структур позволяет управлять настройками отображения каждого типа патологических структур, что также является важным функционалом инструмента представления пространственных характеристик патологических структур. Вычисление количественной оценки объемов патологических структур реализуется посредством алгоритма их количественной оценки. Далее реализуется алгоритм количественной оценки объемов следующих патологических структур: интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, ретинальные друзы, субретинальный гиперрефлективный материал. На основе вычисленной количественной оценки объемов патологических структур и информации об объемах этих структур на основе предыдущих сканирований сетчатки глаза реализуется алгоритм мониторинга динамики изменения объемов патологических структур. Изобретение обеспечивает вспомогательную информацию, в частности выявление признаков диабетической ретинопатии у пациентов с сахарным диабетом, определение стадии заболевания и оценки эффективности лечения, а также определение риска диабетического макулярного отека. 6 з.п. ф-лы, 14 ил., 1 табл.

1. Способ трехмерной визуализации, количественной оценки и мониторинга динамики изменения объемов патологических структур на сканах оптической когерентной томографии сетчатки глаза человека при помощи алгоритма искусственного интеллекта, состоящий из следующих этапов:

- сканирование сетчатки глаза при помощи оптической когерентной томографии;

- получение набора цифровых В-сканов структурной оптической когерентной томографии сетчатки глаза в формате DICOM, содержащий также информацию об интервале между сканированиями в микрометрах и информацию об области сканирования в миллиметрах;

- преобразование серии сканов структурной ОКТ, составляющей макулярный куб, в формате DICOM в последовательность изображений;

- масштабирование каждого изображения из последовательности до размера 480 на 480 пикселей;

- сегментация патологических структур на каждом из последовательности изображений, при этом при помощи алгоритмов искусственного интеллекта осуществляется сегментация следующих патологических структур: ретинальные друзы, субретинальный гиперрефлективный материал, эпиретинальная мембрана, отслойка ретинального пигментного эпителия, интраретинальные кисты, субретинальная жидкость, витреомакулярная тракция, включающая два подкласса - задняя гиалоидная мембран и зона витреомакулярного прикрепления, сквозной макулярный разрыв, ламеллярный макулярный разрыв;

- вычисление вероятного диагноза при помощи алгоритма дифференциально- диагностического поиска, при этом на основании наличия и комбинации сегментированных патологических структур осуществляется алгоритм дифференциально-диагностического поиска с указанием вероятной патологии, либо сочетанных патологий, либо вероятных патологий для дальнейшего дообследования и дифференциальной диагностики, при этом алгоритм дифференциально-диагностического поиска включает следующие заболевания: диабетический макулярный отек, кистозный макулярный отек, возрастную макулярную дегенерацию, включая сухую форму и хориоидальную неоваскуляризацию, центральную серозную хориоретинопатию, аномалии витреомакулярного интерфейса, включая витреомакулярную тракцию, эпиретинальную мембрану, сквозной макулярный разрыв, ламеллярный макулярный разрыв;

- трехмерная визуализация патологических структур;

- количественная оценка объемов патологических структур;

- мониторинг динамики изменения объемов патологических структур;

- формирование отчетной информации о наличии патологических структур, вероятном диагнозе, количественных и пространственных характеристиках патологических структур, динамике изменения количественных характеристик патологических структур.

2. Способ по п.1, в котором сегментация патологических структур осуществляется с помощью архитектуры искусственной нейронной сети FPN, в которой оригинальный энкодер имеет архитектуру EfficientNetBO.

4. Способ по п.1, в котором построение трехмерной визуализации патологических структур осуществляется на основе предварительно подготовленной информации о сегментированных на каждом цифровом изображении из полученной последовательности признаках патологических структур при помощи алгоритма построения поверхностей Marching cubes.

5. Способ по п.1, в котором количественная оценка объемов патологических структур осуществляется на основе информации о сегментированных на каждом цифровом изображении из полученной последовательности признаках патологических структур путем интегрирования полученных площадей каждой из следующих патологических структур: интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, ретинальные друзы, субретинальный гиперрефлективный материал.

6. Способ по п.1, в котором количественная оценка объемов патологических структур осуществляется на основе полученного трехмерного представления патологических структур, при этом объем вычисляется для следующих патологических структур: интраретинальные кисты, субретинальная жидкость, отслойка ретинального пигментного эпителия, ретинальные друзы, субретинальный гиперрефлективный материал.

7. Способ по п.1, в котором реализуется мониторинг динамики изменения объемов патологических структур, представляющий собой график, на котором указаны значения объемов патологических структур с привязкой ко времени проведения сканирования сетчатки глаза при помощи оптической когерентной томографии.