СПОСОБ И СИСТЕМА ИЗМЕРЕНИЯ РАЗМЕРОВ НОВООБРАЗОВАНИЙ ВНУТРИ ОРГАНИЗМА ПРИ ПРОВЕДЕНИИ ЭНДОСКОПИЧЕСКИХ ПРОЦЕДУР НА ОСНОВЕ ОБРАБОТКИ СЕРИИ ЭНДОСКОПИЧЕСКИХ ИЗОБРАЖЕНИЙ В АВТОМАТИЧЕСКОМ РЕЖИМЕ Российский патент 2025 года по МПК A61B10/04 G16H50/00 G06N3/02 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области биоинформационных технологий и искусственного интеллекта, в частности к измерению размеров новообразований внутри организма во время проведения эндоскопических процедур на основе обработки серии эндоскопических изображений в автоматическом режиме с помощью нейронных сетей.

Настоящее изобретение может быть использовано по меньшей мере при проведении эндоскопических процедур человека (например, гастроскопии, гистероскопии, колоноскопии, ректоскопии, цистоскопии и т.д.), а также при проведении эндоскопических процедур в ветеринарии.

УРОВЕНЬ ТЕХНИКИ

Детекция новообразований с помощью эндоскопических методов активно используется во всем мире. Одним из важных критериев оценки в описании патологического очага является измерение размеров новообразования. Однако в большинстве случаев акцент ставится на дифференциальной диагностике детектированной патологии с целью постановки более точного диагноза. А точному измерению размера новообразования не уделяется должное внимание, что очень важно для ранней диагностики патологии и отслеживания точной динамики роста новообразования для успешного лечения.

Например, доктора нередко сталкиваются с проблемой, когда во время выполнения диагностического исследования кишечника обнаруживается множество патологий, включая полипы. Одной из основных характеристик, которые должен описать доктор, является размер новообразований, который является важным критерием оценки патологии при планировании эндоскопического лечения заболеваний толстого кишечника. Чаще всего, размеры новообразований измеряются «на глаз» или приблизительно, из-за того, что размеры новообразования напрямую зависят от расстояния от дистальной части эндоскопа до патологического очага. Например, если эндоскоп находится на расстоянии 4 см от новообразования, то размеры новообразования можно оценить приблизительно и совсем другая картина представляется, когда эндоскоп приближается к этому же патологическому очагу на расстояние 0,5 см. Особенно сложно оценить данный критерий молодым врачам. Не редки случаи, когда в протоколе исследования размеры новообразований указываются следующим образом, например, новообразование до 2,0 см в диаметре, без четкого цифрового обозначения. В случаях, когда новообразований множество, то размеры описываются абстрактно, от 0,5 см до 2,0 см в диаметре. Нередки случаи, когда размеры новообразований не совпадают при осмотре разными докторами. В случаях, когда первоначально размеры новообразований были указаны не корректно, возникают трудности идентификации новообразований на фоне другой патологии, и при повторном осмотре фактически приходится искать новообразование заново и гадать, эту ли патологию ранее имел ввиду доктор или нет. От этого напрямую зависит выбор объема оперативного вмешательства и дальнейшая судьба пациента. В случаях, когда новообразование несет предраковую патологию, его лечение сводится к эндоскопическому удалению. Данная манипуляция несложная и применяется повсеместно. В случаях, когда был верифицирован ранний рак толстой кишки, объем эндоскопического вмешательства резко увеличивается, как и стоимость процедуры, и доктор должен быть на 100% уверен, что при прошлом обследовании рак был верифицирован именно в этом новообразовании, или придется удалять все новообразования, находящиеся в этом отделе. Зачастую пациенты с полипозом кишечника уходят на открытую калечащую операцию с удалением части кишечника, где был верифицирован ранний рак, так как не были точно измерены размеры новообразований. Выход из сложившийся ситуации - это точное измерение размеров каждого новообразования кишечника.

Измерение размеров новообразований на основе математического анализа получаемых изображений является сложной задачей.

В патенте CN108292366B, дата публикации 18.03.2022, раскрыты система и способ для обнаружения подозрительных участков ткани во время эндоскопической операции. Система обработки изображений, которая подключена к эндоскопу и обрабатывает эндоскопические изображения в режиме реального времени для идентификации подозрительных тканей, таких как полип или рак. В системе с помощью предварительной обработки очищают полученное изображение, затем одновременно применяет несколько детекторов, два обычных детектора и модель детектора на основе контролируемого машинного обучения. Идентифицируют наиболее вероятный подозрительный участок в области, обнаруженной с помощью постобработки. Будучи идентифицированным как кадр дисплея, подозрительный участок может быть отмечен на видеодисплее. По желанию размер подозрительной ткани, тип и граница также могут быть идентифицированы и отмечены.

Наиболее близким аналогом заявленного изобретения является техническое решение, раскрытое в патенте US10957043B2, дата публикации 23.03.2021. В указанном патенте описаны платформа искусственного интеллекта (ИИ), способ и программный продукт для обнаружения и определения размера новообразования в реальном времени во время клинической процедуры. Платформа ИИ включает: обученный классификатор, включающий модель глубокого обучения, обученную обнаруживать новообразования и эталонные объекты в данных изображения; систему видеоанализа в реальном времени, которая получает видеопоток во время клинической процедуры, использует обученный классификатор для определения, есть ли в кадре видеопотока новообразование и эталонный объект (референс), рассчитывает фактический размер новообразования на основе размера пикселя как новообразования, так и эталонного объекта, и выводит признак того, что новообразование было обнаружено, и фактический размер новообразования. В типичной процедуре, связанной с полипами, во время клинической процедуры для вмешательства используются щипцы. Пинцет представляет собой тонкий гибкий инструмент с подвижными чашеобразными губками, используемый для получения образцов для биопсии. Фактический размер полипа определяется на основе измерения размера полипа в пикселях, измерения размера щипцов в пикселях и пересчета фактического размера полипа в единицу длины (например, миллиметры) на основе известного размера щипцов.

Однако, в данном решении для точного определения размера новообразования в процессе эндоскопии необходим эталонный объект (например, щипцы). Это усложняет точное определение размеров, особенно в тех случаях, когда во время эндоскопии не используется эталонный объект.

Технической задачей, на решение которой направлено заявленное решение, является точное измерение размеров новообразований, в том числе образований небольших размеров и множественных новообразований, во время проведения эндоскопических процедур в автоматическом режиме на основе анализа видеопотока с эндоскопа.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Техническим результатом заявляемого изобретения является обеспечение точного измерения размеров новообразований во время проведения эндоскопических процедур в автоматическом режиме на основе анализа видеопотока с эндоскопа, что позволяет диагностировать патологии на ранней стадии и отслеживать точную динамику изменения размеров новообразований.

Указанный технический результат достигается за счет того, что:

В способе измерения размеров новообразований внутри организма при проведении эндоскопической процедуры в автоматическом режиме с помощью обработки серии эндоскопических изображений с использованием нейронных сетей:

на вычислительное устройство получают видеопоток с эндоскопа, введенного в полость организма; и

посредством первой нейронной сети детектируют новообразование на каждом отдельном эндоскопическом изображении из видеопотока;

для каждого новообразования с помощью алгоритмов трекинга определяют, что детектированное новообразование на каждом отдельном эндоскопическом изображении из серии нескольких соседних эндоскопических изображений из видеопотока является одним и тем же новообразованием, и объединяют полученную серию нескольких соседних эндоскопических изображений в трек;

получают один или более треков, где каждый трек содержит серию эндоскопических изображений, содержащих детектированное новообразование, и подают полученные один или более треков на вход второй нейронной сети;

посредством второй нейронной сети обрабатывают полученные один или более треков следующим образом:

для каждого полученного трека:

- выделяют признаки из каждого эндоскопического изображения трека, содержащего детектированное новообразование;

- для каждого эндоскопического изображения трека выделяют интересующий регион в пространстве полученных признаков, и получают пространственные координаты выделенного интересующего региона;

- для каждого эндоскопического изображения трека получают временные координаты;

- агрегируют признаки по временной и пространственной координате;

- определяют размер детектированного новообразования внутри организма на основе признаков, агрегированных по временной и пространственной координате, с помощью регрессионного анализа.

В способе первая нейронная сеть может являться сегментационной нейронной сетью.

В способе регрессионный анализ может представлять собой нейросетевую регрессию.

В способе видеопоток могут получать с эндоскопа, введенного в кишечник человека, и определять с помощью нейросетевой регрессии размер детектированного новообразования внутри организма, равный 1 мм и более.

В способе дополнительно в автоматическом режиме могут осуществлять фотофиксацию детектированного новообразования.

Указанный технический результат достигается за счет того, что:

Система измерения размеров новообразований внутри организма в автоматическом режиме с помощью обработки серии эндоскопических изображений с использованием нейронных сетей содержит:

вычислительное устройство, причем на вычислительное устройство получают видеопоток с эндоскопа, введенного в полость организма; и

первую нейронную сеть, причем посредством первой нейронной сети детектируют новообразование на каждом отдельном эндоскопическом изображении из видеопотока;

модуль трекинга, причем для каждого новообразования с помощью модуля трекинга определяют, что детектированное новообразование на каждом отдельном эндоскопическом изображении из серии нескольких соседних эндоскопических изображений из видеопотока является одним и тем же новообразованием, объединяют полученную серию нескольких соседних эндоскопических изображений в трек; и получают один или более треков, где каждый трек содержит серию эндоскопических изображений, содержащих детектированное новообразование;

вторую нейронную сеть, содержащую модуль выделения признаков, модуль выделения интересующего региона, модуль агрегирования признаков и модуль регрессионного анализа, причем посредством второй нейронной сети обрабатывают полученные один или более треков следующим образом:

для каждого полученного трека:

- с помощью модуля выделения признаков выделяют признаки из каждого эндоскопического изображения трека, содержащего детектированное новообразование;

- с помощью модуля выделения интересующего региона выделяют для каждого эндоскопического изображения трека интересующий регион в пространстве полученных признаков, и получают пространственные координаты выделенного интересующего региона; и для каждого эндоскопического изображения трека получают временные координаты;

- с помощью модуля агрегирования признаков агрегируют признаки по временной и пространственной координате;

- с помощью модуля регрессионного анализа определяют размер детектированного новообразования внутри организма на основе признаков, агрегированных по временной и пространственной координате.

В системе первая нейронная сеть может являться сегментационной нейронной сетью.

В системе регрессионный анализ может представлять собой нейросетевую регрессию.

В системе видеопоток могут получать с эндоскопа, введенного в кишечник человека, и определять с помощью нейросетевой регрессии размер детектированного новообразования внутри организма, равный 1 мм и более.

В системе дополнительно в автоматическом режиме могут осуществлять фотофиксацию детектированного новообразования.

Достижение технического результата обеспечивается за счет того, что получают треки, где каждый трек содержит серию эндоскопических изображений, содержащих детектированное новообразование и с помощью нейронной сети анализируют именно треки - серии эндоскопических изображений; а также за счет архитектуры нейронной сети, которая анализирует треки, и позволяет выделять координаты новообразования на каждом изображении трека и сравнивать внешний вид новообразования в разные моменты времени и с разных ракурсов, что позволяет с большей точностью определять размер новообразования.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемым чертежом, который представлен для пояснения сути изобретения и никоим образом не ограничивает область изобретения.

Заявляемое изобретение проиллюстрировано фигурой 1, на которой изображен вариант архитектуры нейронной сети для измерения размеров новообразований на основе серии эндоскопических изображений.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

В основе настоящего изобретения заложен покадровый анализ видеопотока, получаемого от эндоскопа. Измерение размеров обнаруженных объектов происходит в автоматическом режиме. Предложенное решение позволяет акцентировать внимание на точном определении размеров новообразований на ранних стадиях, когда образования могут еще не детектироваться обычными методами, что прямо влияет на прогноз заболевания и, опосредованно, на дальнейшую судьбу пациента. Точное измерение размеров новообразований является одним из важнейших критериев оценки развития рака. Так, например, если размеры новообразования в кишечнике менее 10 мм, то риск наличия очагов рака в новообразовании минимален. В случаях, когда размеры новообразования от 10 до 20 мм, риск наличия фокусов рака уже составляет около 7% и данный показатель прогрессивно увеличивается и напрямую зависит от размеров новообразований.

Настоящее изобретение основано на компьютерном анализе получаемой информации при проведении эндоскопического обследования. На вычислительное устройство получают видеопоток с эндоскопа, введенного в полость организма; и посредством первой нейронной сети детектируют новообразование на каждом отдельном эндоскопическом изображении из видеопотока; для каждого новообразования с помощью алгоритмов трекинга определяют, что детектированное новообразование на каждом отдельном эндоскопическом изображении из серии нескольких соседних эндоскопических изображений из видеопотока является одним и тем же новообразованием, и объединяют полученную серию нескольких соседних эндоскопических изображений в трек. Сопоставление объектов, полученных в результате работы первой нейронной сети, и объектов, которые хранятся в треках, происходит путем сравнения их местоположений метрикой Intersection-over-Union (IoU) и путем вычисления сходства между числовыми векторами (embedding) объектов (реидентификация). Местоположение объектов из треков, которые не сопоставились с объектами на текущем изображении, корректируется с помощью алгоритма оптического потока (подсчитывается смещение текущего кадра относительно предыдущего). В результате получают один или более треков, где каждый трек содержит серию эндоскопических изображений, содержащих детектированное новообразование.

Для каждого новообразования с помощью алгоритмов трекинга определяют, что детектированное новообразование на каждом отдельном эндоскопическом изображении из серии нескольких соседних эндоскопических изображений из видеопотока является одним и тем же новообразованием, и объединяют полученную серию нескольких соседних эндоскопических изображений в трек.

Подают полученные один или более треков на вход второй нейронной сети; посредством второй нейронной сети обрабатывают полученные один или более треков следующим образом: для каждого полученного трека выделяют признаки из каждого эндоскопического изображения трека, содержащего детектированное новообразование; для каждого эндоскопического изображения трека выделяют интересующий регион в пространстве полученных признаков, и получают пространственные координаты выделенного интересующего региона; для каждого эндоскопического изображения трека получают временные координаты; агрегируют признаки по временной и пространственной координате; с помощью регрессионного анализа определяют размер детектированного новообразования внутри организма на основе признаков, агрегированных по временной и пространственной координате. Таким образом, для оценки размера новообразования используется несколько кадров, так как это позволяет получить больше информации о пространственном положении объекта.

Система может работать как в режиме реального времени, так и обрабатывать предварительно записанные видеоданные. В этом случае на вычислительное устройство для обработки с помощью нейронных сетей отправляют предварительно записанные видеоданные, которые содержат видеопоток с эндоскопа, введенного в полость организма.

Нейронная сеть, посредством которой измеряют размер новообразований, имеет следующую архитектуру (Фиг. 1):

- модуль, выделяющий признаки из каждого эндоскопического изображения по отдельности;

- модуль, производящий выделение интересующего региона (Region of Interest, RoI) в пространстве полученных признаков;

- модуль, агрегирующий признаки по временной и пространственной координате;

- модуль регрессионного анализа.

Такая архитектура позволяет выделять положение патологии на изображении за счет RoI и сравнивать внешний вид патологии в разные моменты времени и с разных ракурсов, что позволяет с большей точностью определять размер.

Приведен пример реализации изобретения для оценки размеров новообразований кишечника. Система искусственного интеллекта покадрово сканирует видеопоток, получаемый от эндоскопа, обозначает патологические новообразования в просвете кишечника и измеряет новообразования в миллиметрах. Система автоматически измеряет патологический объект в просвете кишечника и в зависимости от размеров может спрогнозировать риск наличия раннего рака кишечника. Помимо этого, в автоматическом режиме система выполняет фотофиксацию патологического новообразования. Таким образом, патологический очаг описывается максимально детально с сохранением фото, что позволяет облегчить процедуру идентификации новообразования для последующего обнаружения, прогнозирования и выбора способа лечения данной нозологии. Распознавание патологии толстой кишки, измерение размеров и фотофиксация - все эти манипуляции происходят в автоматическом режиме, без вмешательства человека, за счет анализа видеопотока.

Оценка размеров патологии производится на последовательности кадров с эндоскопа. С помощью сегментационной нейронной сети на каждом отдельном кадре определяется полип, а с помощью алгоритмов трекинга полипы на нескольких кадрах объединяются в треки (определяется то, что полип на нескольких соседних кадрах является одним и тем же полипом в реальности). Для оценки размера используется несколько кадров, так как это позволяет получить больше информации о пространственном положении объекта.

Затем, несколько кадров из полученных треков подаются на вход нейронной сети, которая имеет следующую архитектуру: модуль, выделяющий признаки из каждого изображения по отдельности; модуль, производящий выделение интересующего региона (Region of Interest, RoI) в пространстве полученных признаков; модуль, агрегирующий признаки по временной и пространственной координате и модуль регрессионного анализа для определения размеров детектированного новообразования внутри организма на основе признаков, агрегированных по временной и пространственной координате.

Обучение нейронной сети происходит итеративно на размеченном наборе данных алгоритмом оптимизации Adam на градиентах ошибок, получаемых методом обратного распространения ошибки, рассчитываемой из комбинированной функции потерь.

Таким образом, сеть выдает для каждого детектированного новообразования непрерывное значение в миллиметрах, характеризующее размер новообразования, равный 1 мм и более.

Опционально также осуществляют предварительную оценку размеров новообразования с помощью линейного классификатора на несколько классов в зависимости от размеров новообразования (диапазоны<5mm, 5-10mm, 10-20mm,>20mm).

Клинический пример.

Пациент Д. 1949 года рождения. Диагноз: тубулярные аденомы толстого кишечника. Колоноскопия выполнена по месту жительства: в сигмовидной кишке определяется несколько рядом расположенных полиповидных новообразований от 1,0 до 2,0 см в диаметре, на узких и широких основаниях, поверхность бугристая, тусклая, эластичность снижена. Биопсия с самого большого новообразования. Гистологическое заключение: очаги высокодифференцированной аденокарциномы толстого кишечника на фоне дисплазии тяжелой степени. При осмотре в профильном учреждении: В сигмовидной кишке определяется три рядом расположенных полиповидных новообразования IP типа, на узких и широких ножках, 1,3 см., 1,7 см, и 2,0 см в диаметре, поверхность бугристая, тусклая, эластичность снижена. Дополнительно осмотрено в режиме виртуальной компьютерной хромоскопии (CVC-NBI+ZOOM), сосудистый рисунок расширен, деформирован, соответствует IIIL - типу по классификации pit pattern Kudo-Fujii (2010). При осмотре новообразования размером 2,0 см в диаметре, поверхность новообразования бугристая, тусклая, эластичность снижена. Дополнительно осмотрено в режиме виртуальной компьютерной хромоскопии (CVC-NBI+ZOOM), сосудистый рисунок расширен, деформирован, соответствует IIIs - типу по классификации pit pattern Kudo-Fujii (2010). Заключение: Признаки раннего рака сигмовидной кишки. Тубулярные аденомы сигмовидной кишки. Рекомендовано: госпитализация в абдоминальное отделение онкологического круглосуточного стационара для выполнения эндоскопического удаления раннего рака в объеме субмукозальной эндодиссекции. Полипэктомия полипов. Данный пациент после дообследования госпитализирован в абдоминальное онкологическое отделение «Челябинского областного клинического центра онкологии и ядерной медицины», выполнена субмукозальная эндодиссекция раннего рака селезеночного угла толстой кишки. Гистологическое заключение: очаги высокодифференцированной аденокарциномы в тубулярной аденоме. Размеры новообразования по данным гистологического заключения составили 3,0 см. Как видно из примера при прошлом исследований размеры новообразования были оценены не корректно и погрешность составила до 1,0 см. Причин некорректной оценки размеров множество, они подробно описаны ранее. Но и доктор, который планировал эндоскопическое вмешательство так же неправильно оценил размеры и описал самое крупное новообразование до 2,0 см в диаметре. При гистологическом анализе макропрепаратов размеры составили 3,0 см, что в очередной раз доказывает, что адекватная оценка размеров - это сложный процесс.

С помощью настоящего изобретения на архивной видеозаписи был получен размер новообразования - 3,1 cм. Ошибка оценки составила 1 мм.

Вычислительное устройство, обеспечивающее обработку данных, необходимую для реализации заявленного решения, в общем случае содержат такие компоненты, как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство ввода, средства сетевого взаимодействия.

При исполнении машиночитаемых команд, содержащихся в оперативно памяти, конфигурируют процессор устройства для выполнения основных вычислительные операции, необходимых для функционирования устройства или функциональности одного, или более его компонентов.

Память, как правило, выполнена в виде ОЗУ, куда загружается необходимая программная логика, обеспечивающая требуемый функционал. При осуществлении работы предлагаемого решения выделяют объем памяти, необходимы для осуществления предлагаемого решения.

Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти и т.п.Средство позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых предварительно записанных видеоданных, которые содержат видеопоток с эндоскопа, введенного в полость организма и т.п.

Интерфейсы представляют собой стандартные средства для подключения и работы периферийных и прочих устройств, например, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning и т.п.

Выбор интерфейсов зависит от конкретного исполнения устройства, которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств ввода данных в любом воплощении системы, реализующей описываемый способ, может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств ввода данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п.С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM, 3G, 4G, 5G, 6G и т.д.

Компоненты устройства сопряжены посредством общей шины передачи данных.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Специалисту в данной области техники должно быть понятно, что различные вариации заявляемого способа и системы не изменяют сущность изобретения, а лишь определяют его конкретные воплощения и применения.

Группа изобретений относится к способу и системе измерения размеров новообразований внутри организма во время проведения эндоскопических процедур на основе обработки серии эндоскопических изображений в автоматическом режиме с помощью нейронных сетей. Предложен способ и система, в которых посредством первой нейронной сети детектируют новообразование на каждом отдельном эндоскопическом изображении из видеопотока; для каждого новообразования с помощью алгоритмов трекинга определяют, что детектированное новообразование на каждом отдельном эндоскопическом изображении из серии нескольких соседних эндоскопических изображений из видеопотока является одним и тем же новообразованием, и объединяют полученную серию нескольких соседних эндоскопических изображений в трек; получают один или более треков, где каждый трек содержит серию эндоскопических изображений, содержащих детектированное новообразование, и подают полученные один или более треков на вход второй нейронной сети; посредством второй нейронной сети обрабатывают полученные один или более треков следующим образом: для каждого полученного трека выделяют признаки из каждого эндоскопического изображения трека, содержащего детектированное новообразование; для каждого эндоскопического изображения трека выделяют интересующий регион в пространстве полученных признаков, и получают пространственные координаты выделенного интересующего региона; для каждого эндоскопического изображения трека получают временные координаты; агрегируют признаки по временной и пространственной координате; определяют размер детектированного новообразования внутри организма на основе признаков, агрегированных по временной и пространственной координате, с помощью регрессионного анализа. Группа изобретений обеспечивает точное измерение размеров новообразований при проведении эндоскопических процедур. 2 н. и 4 з.п. ф-лы, 1 ил.

1. Способ измерения размеров новообразований для диагностирования раннего рака кишечника человека при проведении эндоскопической процедуры в автоматическом режиме с помощью обработки серии эндоскопических изображений с использованием нейронных сетей:

на вычислительное устройство получают видеопоток с эндоскопа, введенного в кишечник человека; и

посредством первой нейронной сети детектируют новообразование на каждом отдельном эндоскопическом изображении из видеопотока;

для каждого новообразования с помощью алгоритмов трекинга определяют, что детектированное новообразование на каждом отдельном эндоскопическом изображении из серии нескольких соседних эндоскопических изображений из видеопотока является одним и тем же новообразованием, и объединяют полученную серию нескольких соседних эндоскопических изображений в трек;

получают один или более треков, где каждый трек содержит серию эндоскопических изображений, содержащих детектированное новообразование, и подают полученные один или более треков на вход второй нейронной сети;

посредством второй нейронной сети обрабатывают полученные один или более треков следующим образом

для каждого полученного трека:

выделяют признаки из каждого эндоскопического изображения трека, содержащего детектированное новообразование;

для каждого эндоскопического изображения трека выделяют интересующий регион в пространстве полученных признаков, и получают пространственные координаты выделенного интересующего региона;

для каждого эндоскопического изображения трека получают временные координаты;

агрегируют признаки по временной и пространственной координате;

определяют с помощью нейросетевой регрессии размер детектированного новообразования кишечника человека, равный 1 мм и более, на основе признаков, агрегированных по временной и пространственной координате.

2. Способ по п. 1, характеризующийся тем, что первая нейронная сеть является сегментационной нейронной сетью.

3. Способ по п. 1, характеризующийся тем, что дополнительно в автоматическом режиме осуществляют фотофиксацию детектированного новообразования.

4. Система измерения размеров новообразований для диагностирования раннего рака кишечника человека в автоматическом режиме с помощью обработки серии эндоскопических изображений с использованием нейронных сетей, содержащая:

вычислительное устройство, причем на вычислительное устройство получают видеопоток с эндоскопа, введенного в кишечник человека; и

первую нейронную сеть, причем посредством первой нейронной сети детектируют новообразование на каждом отдельном эндоскопическом изображении из видеопотока;

модуль трекинга, причем для каждого новообразования с помощью модуля трекинга определяют, что детектированное новообразование на каждом отдельном эндоскопическом изображении из серии нескольких соседних эндоскопических изображений из видеопотока является одним и тем же новообразованием, объединяют полученную серию нескольких соседних эндоскопических изображений в трек; и получают один или более треков, где каждый трек содержит серию эндоскопических изображений, содержащих детектированное новообразование;

вторую нейронную сеть, содержащую модуль выделения признаков, модуль выделения интересующего региона, модуль агрегирования признаков и модуль регрессионного анализа, причем посредством второй нейронной сети обрабатывают полученные один или более треков следующим образом

для каждого полученного трека:

с помощью модуля выделения признаков выделяют признаки из каждого эндоскопического изображения трека, содержащего детектированное новообразование;

с помощью модуля выделения интересующего региона выделяют для каждого эндоскопического изображения трека интересующий регион в пространстве полученных признаков, и получают пространственные координаты выделенного интересующего региона; и для каждого эндоскопического изображения трека получают временные координаты;

с помощью модуля агрегирования признаков агрегируют признаки по временной и пространственной координате;

с помощью модуля регрессионного анализа определяют с помощью нейросетевой регрессии размер детектированного новообразования кишечника человека, равный 1 мм и более, на основе признаков, агрегированных по временной и пространственной координате.

5. Система по п. 4, характеризующаяся тем, что первая нейронная сеть является сегментационной нейронной сетью.

6. Система по п. 4, характеризующаяся тем, что дополнительно в автоматическом режиме осуществляют фотофиксацию детектированного новообразования.