Способ определения остаточной ткани коркового слоя надпочечника при органосохраняющих операциях по поводу феохромоцитомы на основе анализа КТ-изображений средствами сверточной нейронной сети U-net Российский патент 2024 года по МПК A61B6/03 

Изобретение относится к медицине, в частности к эндокринной хирургии, а именно способу определения остаточной ткани коркового слоя надпочечника при органосохраняющих операциях по поводу феохромоцитомы на основе анализа КТ-изображений средствами сверточной нейронной сети U-net.

Органосохраняющая операция является методом выбора в лечении новообразований надпочечника, которая по мнению Семенов Д.Ю. и соавт. 2016 (Семенов Д.Ю., Панкова П.А., Османов З.Х., Чаусова В.Г., Фарафонова У.В.Сравнительная оценка различных объемов операций при опухолевых заболеваниях надпочечников. Эндокринная хирургия, 2016. Т10, №2.С.34-43. doi: 10.14341/serg2016234 43) целесообразна у больных с доброкачественными новообразованиями железы. Для улучшения результатов резекции надпочечников применяется ряд технологий: роботизированные и автономные вмешательства, методика интраоперационной навигации, использование технологии ближнего инфракрасного света с внутривенным введением индоцианина зеленого, способ интраоперационного планирования на основе 3D- печати модели надпочечника с новообразованием. Однако данные технологии применимы в небольшом количестве наблюдений и нуждаются в дальнейших исследованиях. Для рассмотрения возможности проведения органосохраняющей операции необходимо исключение злокачественности выявленного образования надпочечника. Так, известен способ дифференциальной диагностики новообразований коры надпочечников (Способ дифференциальной диагностики новообразований коры надпочечников: патент RU 2583918, Российская Федерация, заявка RU 2015102373, заявлена 26.01.2015г, опубликовано 10.05.2016), заключающийся в проведении иммунохемилюминисцентного (ИХЛА), радиоммунологического (РИА), высокоэффективной жидкостной хроматографии (ВЭЖХ) и газовой хроматографии с масс-спектрометрическим детектированием (ГХ/МС), который дает возможность определять биохимические маркеры позволяющие судить о характере образования. Рассмотрение резекции надпочечника требует интраскопической оценки и последующего прогнозирования остаточного объема коркового слоя железы после оперативного вмешательства (особенно важно при двустороннем поражении и патологии единственного надпочечника), что является одним из определяющих факторов в принятии решения о целесообразности органосохраняющей операции. Сегодня можно встретить много работ по использованию искусственного интеллекта в визуализации надпочечников (Robinson-Weiss C., Patelhttps://pubs.rsna.org/doi/10.1148/radiol.220101 - fn1 J., Bizzo B.C., Glazer D.I., Bridge C.P., Andriole K.P., Dabiri B., Chin J.K., Dreyer K., Kalpathy-Cramer J., Mayo-Smith W.W. Machine Learning for Adrenal Gland Segmentation and Classification of Normal and Adrenal Masses at CT Radiology. 2022.Vol.306, No. 2. https://doi.org/10.1148/radiol.220101), прогнозировании клинических результатов хирургического лечения больных с первичным гиперальдостеронизмом (Kaneko, H., Umakoshi, H., Ogata, M., Wada N., Ichijo T., Sakamoto S., Watanabe T., Ishihara Y., Tagami T., Iwahashi N., Fukumoto T., Terada E., Katsuhara S., Yokomoto-Umakoshi M., Matsuda Y., Sakamoto R. & Ogawa Y. Machine learning-based models for predicting clinical outcomes after surgery in unilateral primary aldosteronism. Sci Rep 12, 5781 (2022). https://doi.org/10.1038/s41598-022-09706-8), диагностике (Eisenhofer G, Durán C, Cannistraci CV, et al. Use of Steroid Profiling Combined With Machine Learning for Identification and Subtype Classification in Primary Aldosteronism. JAMA Netw Open. 2020;3(9):e2016209. doi:10.1001/jamanetworkopen.2020.16209) и выборе метода лечения больных с альдостерон-продуцирующей аденомой (Sebek J, Cappiello G, Rahmani G, Zeinali N, Keating M, Fayemiwo M, Harkin J, McDaid L, Gardiner B, Sheppard D, Senanayake R, Gurnell M, O'Halloran M, Dennedy MC, Prakash P. Image-based computer modeling assessment of microwave ablation for treatment of adrenal tumors. Int J Hyperthermia. 2022;39(1):1264-1275. doi: 10.1080/02656736.2022.2125590). Однако на сегодняшний день не известны работы, связанные с применением искусственного интеллекта для оценки остаточной ткани надпочечника при органосохраняющих операциях.

Технической проблемой является необходимость разработки эффективного и простого в использовании способа дооперационного и послеоперационного расчета остаточного объема ткани надпочечника при органосохраняющих вмешательствах по поводу феохромоцитомы.

Технический результат состоит в дооперационном определении остаточного объема коркового слоя железы, последующего послеоперационного мониторинга остаточной ткани надпочечника на основе КТ - изображений средствами сверточной нейронной сети U-net и возможности прогнозирования развития надпочечниковой недостаточности у больных после органосберегающих операций на железе после обучения нейросети.

Технический результат достигается тем, что в способе определения расчета остаточной ткани железы с учетом хирургического края резекции надпочечника по поводу феохромоцитомы на основе анализа КТ - изображений средствами сверточной нейронной сети U-net, в ходе которого пациенту выполняют КТ брюшной полости и забрюшинного пространства, осуществляют загрузку изображений КТ в формате DICOM, а затем с помощью сверточной нейронной сети U-net проводят сегментацию изображений, визуализацию, создание маски, расчет объема надпочечника и новообразования, обработку изображения и последующий расчет объема надпочечника с учетом объема хирургического среза.

Предполагаемая методика обеспечивает возможность расчета остаточной ткани железы с учетом хирургического края резекции надпочечника по поводу феохромоцитомы на основе анализа КТ - изображений средствами сверточной нейронной сети U-net. Это позволяет стандартизировать обозначение остаточного объема резецированного надпочечника; предоперационно прогнозировать развитие надпочечниковой недостаточности по рассчитанному остаточному объему коркового слоя железы; обосновывать целесообразность рассмотрения органосохраняющей операции по поводу двусторонней феохромоцитомы; использовать программный комплекс для послеоперационного динамического контроля изменения объема остаточной ткани железы.

Заявленный способ осуществляют следующим образом.

Основные этапы способа:

1. Выполнение КТ брюшной полости и забрюшинного пространства с контрастированием

2. Загрузка и предварительная обработка изображений из DICOM- исследований.

3. Последовательная сегментация надпочечников и феохромоцитом на срезах КТ.

4. Визуализация нативного изображения, маски и сочетанных изображений.

5. Расчет объема надпочечника и новообразования железы.

6. Обработка изображения для расчета объема хирургического среза и остаточного объема надпочечника.

7. Расчет объема хирургического среза и остаточного объема надпочечника.

8. Визуализация полученных данных.

9. Принятие решения о проведении органосохраняющего вмешательства.

Пациенту выполняют КТ брюшной полости и забрюшинного пространства, а затем полученные изображения загружают в программный комплекс, который выполняет обработку данных с учетом проведенного обучения и тестирования модели нейронной сети.

Структурная схема алгоритма работы программного комплекса для принятия решения о проведении органосохраняющей операции по поводу двусторонней феохромоцитомы надпочечников приведена на фигуре 1, где показаны следующие этапы:

1 - загрузка КТ-исследования;

2 - модуль автоматизированной сегментации надпочечников и феохромоцитом;

3 - модуль расчета объема желез и новообразований;

4 - модуль расчета хирургического края резекции и остаточного объема железы

5 - графическое отображение полученных данных;

6 - оператор, принимающий решение о проведении органосохраняющей операции;

Расчет объема коркового слоя надпочечника и новообразования надпочечника проводят по формуле:

где количество пикселей искомой области на одном КТ срезе, расстояние между срезами, коэффициент, описывающий масштаб изображения КТ. (данная формула пригодна для вычисления объема, как ткани надпочечника, так и их новообразований)

Для вычисления хирургического среза и остаточного объема ткани надпочечника предварительно используют увеличение изображения при помощи программного кода таким образом, что изображение преобразовывается путем увеличения картины по контуру на 3 мм от исходного контура используя кубическую интерполяцию (данное значение использовалось в соответствии с тем, что хирургический край составляет 3мм), после чего изображение подгоняют под начальные размеры путем отрезания краев на величину, на которую произошло растяжение. Таким образом получают изображение равное по размерам исходному, однако с увеличенной опухолью по контуру в указанном диапазоне, что позволяет вычислить объем хирургического среза и остаточный объем ткани надпочечника.

После постобработки предсказанной маски с изображением новообразования и ткани надпочечника проводят подсчет объемов хирургического среза и остаточного объема надпочечников по формуле 1.

Далее для предсказания маски с сегментированными областями неизмененной ткани железы и новообразования надпочечника проводят оценку точности в задачах сегментации (использована метрика Intersection of Union, которая вычисляется по формуле 2):

где Strue - площадь искомого сегмента, Spred- площадь предсказанного сегмента

На фигуре 2 представлен Срез КТ изображения, где представлена размеченная маска коркового слоя (а) и новообразования надпочечника (б), а также предсказанная маска представлена (в).

Дополнительно проводят оценку точности объема сегментации. Поскольку оценка точности итогового алгоритма должна учитывать положение сегментированного участка в пространстве, то в качестве метрики оценки качества алгоритма используют значение, основанное на метрике Intersection of Union, которое применяется для оценки точности сегментации двумерных изображений. Оценка точности данного исследования является средним арифметическим по всем пациентам усредненной оценки IoU во всех срезах КТ изображения пациента, и вычисляется следующим образом:

где - среднее значение метрики Intersection of Union для одного пациента, n - количество срезов КТ изображения одного пациента, Strue_i - размеченная маска сегмента, Spred_i - предсказанная маска сегмента, - среднее значение усредненных значений метрики Intersection of Union по каждому пациенту.

- новообразование надпочечника - 77,94%

- коркового слоя надпочечника - 79,84%

Для визуализации результатов и использования данного алгоритма было написано приложение на программной платформе PyQT5 языке программирования Python3. Данный графический интерфейс наглядно демонстрирует предсказание маски и соответствующие срезы КТ изображений. Изображение графического интерфейса изображено на фигуре 3.

Таким образом, получают изображение, позволяющее производить оценку томографических результатов. Для корректной работы графического интерфейса предварительно необходимо выбрать директорию, в которой находятся срезы КТ изображения одного пациента. В дальнейшем требуется указать расстояние между срезами (в миллиметрах) и запустить расчет объемов и сегментацию новообразования надпочечника. После того, как КТ изображение обработается, появится возможность проводить оценку каждого изображения и соответствующую ему предсказанную маску с помощью ползунка, находящегося рядом с нижней границей графического интерфейса.

Заявляемое изобретение поясняется примерами.

Пример 1. Разработка нейронной сети

Для работы использовалась нейронная сеть с архитектурой U-net.

Данная сеть состоит из двух путей, которые придают ей U-образную архитектуру сужающего и расширяющего путей.

Сужающий путь имеет вид обыкновенной сверточной сети, каждый шаг которой состоит из двух сверточных слоев с ядром свертки 3 х 3 и функцией активации ReLU. После каждого шага применяется слой max pooling с шагом два для понижения разрешения. На каждом шаге max pooling число карт признаков удваивается.

Расширяющий путь состоит из слоя, повышающего разрешение в два раза, после которого идет сверточный слой с ядром свертки 2 х 2, который уменьшает в два раза число карт признаков. Затем происходит конкатенация с соответствующей обрезанной картой признаков, полученных при сужении, два сверточных слоя с ядром свертки 3 х 3 и функцией активации ReLU.

Обрезание карты признаков вводится для уменьшения влияния потери граничных пикселей на каждом этапе свертки. На последнем слое используется свертка с ядром 1 х 1 для отображения каждого вектора признаков на заданное количество классов

На выходе данная модель выводит изображение, где каждый из пикселей соответствует классу нормы, патологии или отсутствия объекта, по которому требуется принять решение о норме или патологии

При обучении модели сегментации произведена аугментация изображений со следующими параметрами: поворот на 30 градусов, отражение по вертикали, смещение изображения на 20°% по вертикали и горизонтали, растягивание на 10 градусов, уменьшение и увеличение на 20°%. Все операции были произведены случайным образом и только на обучающих выборках. Также для всех изображений было произведено их центрирование к нулю и перевод в цветовое пространство grayscale.

Обучение первой модели производилось в один этап: на первом этапе производилось дообучение сети Resnet34.

Обучение модели проводилось на протяжении 5 эпох с использованием оптимизатора Adam (адаптивная оценка момента) шагом обучения 0,001. Такое количество эпох обучения обусловлено тем, что была использована ранняя остановка обучения в случае, если функция потерь не уменьшается в течение 3 эпох.

Пример 2. Клинический случай

Пациент, мужчина, в возрасте 59 лет поступил с диагнозом «Двусторонняя феохромоцитома». По результатам диагностических мероприятий перед операцией было решено использовать заявляемый способ для определения расчета остаточной ткани железы с учетом хирургического края резекции надпочечника по поводу феохромоцитомы.

Пациенту проведено КТ брюшной полости и забрюшинного пространства с последующей загрузкой изображения КТ в формате DICOM и проведением с помощью сверточной нейронной сети U-net их сегментации, визуализации, создания маски, расчета объема надпочечника и новообразования, обработки изображений и последующего расчета объема надпочечника с учетом объема хирургического среза. Также провели визуализацию полученных данных с принятием решения о возможности проведения органосохраняющей операции.

В результате работы нейронной сети было получен расчет предполагаемого остаточного объема ткани надпочечника у пациента с двусторонней феохромоцитомой. В последующем с учетом отступа хирургического края 3мм была проведена двусторонняя резекция надпочечника с удалением новообразований, при которой расчетный остаточный объем составил: справа 3158 мм³ и слева 3573мм³.

В дальнейшем пациенту выполнялось этапное КТ органов брюшной полости и забрюшинного пространства для оценки объема остаточной ткани надпочечника. Так при использовании данной программы получено увеличение объема железы через 3года (справа-4911мм³, слева-4401мм³) и 5 лет (справа-5620мм³, слева-6176мм³) наблюдения (фигура 3).

Дополнительно пример поясняется фигурами:

Фиг. 4 - слева - аксиальная и фронтальная плоскость с контурами надпочечников, справа - трехмерная реконструкция с сегментированными надпочечниками. В таблице указаны объемы надпочечников после операции спустя 3 года.

Фиг. 5 - слева - аксиальная и фронтальная плоскость с контурами надпочечников, справа - трехмерная реконструкция с сегментированными надпочечниками. В таблице указаны объемы надпочечников после операции спустя 5 лет.

Изобретение относится к медицине, в частности к эндокринной хирургии, и может быть использовано для определения объема остаточной ткани надпочечников после резекции феохромоцитомы. Пациенту выполняют КТ брюшной полости и забрюшинного пространства, осуществляют загрузку изображений КТ в формате DICOM. Затем с помощью сверточной нейронной сети U-net проводят сегментацию изображений, визуализацию, создание маски, расчет объема надпочечника и новообразования, обработку изображения и последующий расчет объема остаточной ткани надпочечников с учетом отступа хирургического края 3 мм. При этом определение остаточного объема надпочечников осуществляют по формуле V=, где Psi - количество пикселей искомой области на одном КТ срезе, Ks - расстояние между срезами, Kp - коэффициент, описывающий масштаб изображения КТ. Способ обеспечивает возможность обоснования целесообразности органосохраняющего вмешательства по поводу феохромоцитомы и последующий послеоперационный мониторинг остаточной ткани надпочечника за счет определения остаточной ткани надпочечников. 5 ил., 2 пр.

Способ определения объема остаточной ткани надпочечников после резекции феохромоцитомы, заключающийся в том, что пациенту выполняют КТ брюшной полости и забрюшинного пространства, осуществляют загрузку изображений КТ в формате DICOM, затем с помощью сверточной нейронной сети U-net проводят сегментацию изображений, визуализацию, создание маски, расчет объема надпочечника и новообразования, обработку изображения и последующий расчет объема остаточной ткани надпочечников с учетом отступа хирургического края 3 мм, при этом определение остаточного объема надпочечников осуществляют по формуле где Psi - количество пикселей искомой области на одном КТ срезе, Ks - расстояние между срезами, Kp - коэффициент, описывающий масштаб изображения КТ.