СПОСОБ ПРЕДВАРИТЕЛЬНОЙ ДИАГНОСТИКИ БОЛЕЗНЕЙ ВЕН НИЖНИХ КОНЕЧНОСТЕЙ НА ОСНОВЕ АЛГОРИТМОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА Российский патент 2023 года по МПК G16H50/00 G06T7/00 G06N3/02 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области медицины, а также к области информационных и коммуникационных технологий для обработки медицинских данных, в частности к способу определения болезней вен нижних конечностей. Настоящее техническое решение также может быть использовано пациентами для самостоятельной диагностики болезней вен нижних конечностей.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известен источник информации RU 2741260 C1, опубликованный 22.01.2022, раскрывающий способ и систему автоматизированной диагностики сосудистых патологий на основании изображения. Решение раскрытое в вышеуказанном источнике информации выполняется вычислительным устройством, в котором получают данные анамнеза пользователя и изображение предполагаемой патологии; осуществляют семантическую сегментацию изображения предполагаемой патологии посредством отделения фона от исследуемого объекта с предполагаемой патологией с помощью методов машинного обучения; определяют на изображении патологию посредством использования искусственной сверточной нейронной сети; осуществляют классификацию полученной патологии на изображении посредством использования методов машинного обучения; формируют рекомендации по здоровью для пользователя на основании по меньшей мере одной патологии и данных анамнеза пользователя.

Предлагаемое решение отличается от известного из уровня техники решения тем, что работает на основе каскада нейронных сетей, для повышения точности диагностирования болезней вен нижних конечностей. Кроме того, в предлагаемом решении осуществляется сравнение полученных результатов нескольких нейронных сетей для принятия решения о наличии или отсутствии болезни вен нижних конечностей.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической задачей, на решение которой направлено заявленное техническое решение, является создание способа для предварительной диагностики болезней вен нижних конечностей на основе алгоритмов искусственного интеллекта. Для решения поставленной задачи разработан способ определения болезней вен нижних конечностей, охарактеризованный в независимом пункте формулы. Частные варианты реализации предлагаемого решения охарактеризованы в зависимых пунктах формулы.

Техническим результатом, достигающимся при решении вышеуказанной технической задачи, является повышение точности диагностирования болезней вен нижних конечностей, за счет использования каскада нейронных сетей. Дополнительным техническим результатом является реализация назначения.

Заявленный результат достигается за счет осуществления компьютерно-реализуемого способа определения болезней вен нижних конечностей с использованием каскада нейронных сетей, выполняющийся на вычислительном устройстве, содержащем процессор и память, хранящую инструкции, исполняемые процессором и включающий этапы на которых:

на сервер получают изображение нижних конечностей пользователя от устройства пользователя;

посредством сегментационной нейронной сети осуществляют сегментацию кожных покровов на изображении нижних конечностей пользователя для отделения кожных покровов от фона на изображении и передают результаты в обнаруживающую нейронную сеть;

посредством обнаруживающей нейронной сети определяют сегменты пораженных участков кожи вен нижних конечностей с предварительным диагнозом;

для валидации результатов обнаруживающей нейронной сети, сегменты пораженных участков кожи вен нижних конечностей поступают на вход классификационной нейронной сети для определения наличия болезни вен нижних конечностей;

осуществляют сравнение результатов обнаруживающей нейронной сети и классификационной нейронной сети для определения наличия болезни вен нижних конечностей;

при совпадении диагнозов, полученных от обнаруживающей и классификационной нейронных сетей, осуществляют сравнение с пороговыми значениями, если значения результатов обнаруживающей и классификационной нейронных сетей выше пороговых значений, то выводят результат с определенным диагнозом;

на основе определенного диагноза формируют рекомендации для пользователя.

В частном варианте реализации предлагаемого способа, перед валидацией результатов обнаруживающей нейронной сетью, осуществляют определение того, что на исходных изображениях кожных покровов присутствует нижняя конечность пользователя посредством классификационной нейронной сети.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1 иллюстрирует блок-схему работы способа определения болезней вен нижних конечностей.

Фиг. 2 иллюстрирует пример работы обнаруживающей нейронной сети для определения диагноза варикоза вен.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Пользователь, посредством камеры устройства пользователя, создает изображение нижних конечностей. Пользователь может создать как изображение всей нижней конечности, так и интересующую его область для исследования (участок нижней конечности, который интересует пользователя для определения болезни). Полученные изображения передаются на сервер, посредством телекоммуникационной связи, для последующей обработки.

В качестве устройства пользователя может быть мобильный телефон, планшет и т.д.

На сервере получают изображение нижних конечностей. На сервере развернут каскад из нескольких разнотипных нейронных сетей, где каждая нейронная сеть, в определенной последовательности, выполняет свою специфическую задачу для получения общего результата, заключающегося в диагностировании болезней вен нижних конечностей. Каскад включает в себя следующие нейронные сети:

1) Сегментационная нейронная сеть. Сегментация изображения включает в себя разделение входного изображения на разные сегменты с сильной корреляцией с интересующей областью на данном изображении. В предлагаемом решении в качестве сегментационной нейронной сети используется сверточная нейронная сеть U-net. Кодер постепенно уменьшает пространственное измерение путем непрерывного слияния слоев для извлечения информации о признаках, а часть декодера постепенно восстанавливает целевые детали и измерение в соответствии с информацией о признаках. Шаг кодера, постепенно уменьшающий размер изображения, называется понижающей дискретизацией, а шаг декодера, постепенно уменьшающий детали и размер изображения, называется повышающей дискретизацией. Сегментационная нейронная сеть используется для поиска границ объектов исследования, а также для снижения излишней информации, ведущей к снижению точности работы классифицирующих и обнаруживающих сетей. Сегментационная нейронная сеть используется для сегментации изображения и отделения сегмента ноги от фона, с ее помощью возможно улучшение качества диагностики путем удаления с исходного изображения лишних предметов одежды и фона.

2) Обнаруживающая нейронная сеть. Обнаруживающая нейронная сеть распознает несколько объектов на одном изображении и предоставляет координаты, определяющие местоположение объектов, в частности, определяются зоны поражения заболеваний вен нижних конечностей. На вход нейронной сети подается изображение кожных покровов ног без фона, результатом работы такой сети будут являться координаты пораженной области и вероятный диагноз (класс диагноза по CEAP (классификация варикозной болезни) и вероятность данного диагноза). Для обнаружения и классификации пораженных участков на коже выбрана нейронная сеть FRCNN.

3) Классификационная нейронная сеть. Первая классификационная нейронная сеть направлена на определение того, что на исходном изображении присутствует нижняя конечность (нога).

4) Классификационная нейронная сеть. Вторая классификационная нейронная сеть направлена на определение диагноза болезней вен нижних конечностей на наборах сегментов, полученных от обнаруживающей нейронной сети. Данная нейронная сеть используется для валидации результата обнаруживающей нейронной сети, при помощи которой возможно подтверждение диагноза, либо отбраковка лишних областей, которые характеризуются найденными и проклассифицированными как болезнь сегментами обнаруживающей нейронной сетью, в случае, если данные сегменты не относятся к болезни или не относятся ни к одному из искомых классов по СЕАР. Для валидации результата обнаруживающей нейронной сети используется классификационная нейронная сеть с моделью VGG16. Результатом данной нейронной сети будет класс диагноза по CEAP (классификация варикозной болезни) и вероятность данного диагноза.

Использование каскада обнаруживающей и классификационной нейронных сетей позволяет увеличить точность определения диагноза, путем подачи полученных сегментов обнаруживающей нейронной сетью на вход классификационной нейронной сети и получения двойной оценки диагноза.

Полученные изображения нижних конечностей предобрабатываются для подачи их на вход нейронной сети. Предобработка включает сжатие изображения так как входной слой нейронной сети принимает фиксированный размер матрицы.

Изображение нижних конечностей пользователя поступает на вход сегментационной нейронной сети и классификационной нейронной сети, для определения, что на изображении присутствует нога, одновременно.

Посредством сегментационной нейронной сети осуществляют сегментацию кожных покровов на изображении нижних конечностей пользователя, т.е. отделение изображения нижних конечностей от фона. Сегментационная нейронная сеть возвращает массив белых и черных пикселей, где пиксель белого цвета соответствует кожному покрову на изображения, а черный - фону.

Полученное изображение от сегментационной нейронной сети подают на вход обнаруживающей нейронной сети для определения сегментов пораженных участков кожи вен нижних конечностей с вероятностным диагнозом. Результатом работы нейронной сети будут являться координаты пораженной области и вероятный диагноз (класс диагноза по CEAP (классификация варикозной болезни) и вероятность данного диагноза).

После получения координат пораженной области от обнаруживающей сети, при помощи поиска сегментов по определенному порогу, выделяются области на изображении, пригодные для дальнейшего исследования. Порог определяется следующим образом, если в результате работы нейронной сети вероятность диагноза превышает 18%, то такой сегмент передается на классификационную нейронную сеть, в случае, если вероятность менее 18%, то возвращают пользователю результат, что болезнь не определена и прекращают работу способа. Такие области вырезаются с исходного изображения и передаются на вход классификационной сети в виде небольших фрагментов (сегментов).

Обнаруживающая нейронная сеть работает таким образом, что при определении нескольких пораженных областей, не допускается пересечение или наложение областей с различными категориями по CEAP (классификация варикозной болезни), т.е. один сегмент должен относится к одному вероятностному диагнозу.

Прежде чем сегмент поступит в классификационную нейронную сеть для валидации, получают результат работы классификационной нейронной сети для определения присутствия на исходном изображении нижних конечностей ноги. Посредством классификационной нейронной сети для определения того, что на изображении присутствует нога, осуществляют определение того, что на изображении кожных покровов присутствует нижняя конечность пользователя (нога). Если в результате работы классификационной нейронной сети определено, что на изображении присутствует не нога, то работа прекращается. Если в результате работы классификационной сети определено, что на изображении присутствует нога, полученные сегменты от обнаруживающей нейронной сети поступают на вход классификационной нейронной сети для валидации результатов обнаруживающей нейронной сети.

Для валидации результатов, полученных от обнаруживающей нейронной сети, на вход классификационной нейронной сети поступают сегменты, которые были определены обнаруживающей нейронной сетью.

Классификационная сеть определяет наличие или отсутствие патологий в заданной области. Классификационная нейронная сеть так же возвращает класс диагноза по CEAP и его вероятность. Если вероятность превышает 62%, то данный сегмент будет использован для сравнения результатов, в случае, если вероятность менее 62%, то возвращают пользователю результат, что болезнь не определена и прекращают работу способа.

Осуществляют сравнение результатов, полученных от обнаруживающей и классификационной нейронных сетей.

При совпадении диагнозов, полученных от обнаруживающей и классификационной нейронных сетей, осуществляют сравнение результатов нейронных сетей с пороговыми значениями (18% - для обнаруживающей нейронной сети и 62% - для классификационной нейронной сети).

Если значения результатов обнаруживающей и классификационной нейронных сетей выше пороговых значений, то выводят результат с определенным диагнозом.

На основе определенного диагноза формируют рекомендации для пользователя. В рекомендациях отражено, что пользователю необходимо посетить врача.

Ниже будет указан пример, для определения варикозных вен (С2) и отека (С3) согласно классификации CEAP.

Пример определения варикоза вен (С2).

Пользователь посредством устройства пользователя формирует изображение своей нижней конечности (ноги). Полученное изображение поступает на сервер. На сервер осуществляют предобработку полученного изображения. Предобработанное изображение поступает на вход сегментационной нейронной сети для отделения нижней конечности от фона. Полученное изображение от сегментационной нейронной сети подают на вход обнаруживающей нейронной сети для определения сегментов пораженных участков кожи вен нижних конечностей с вероятностным диагнозом. В результате работы обнаруживающей нейронной сети получены координаты сегмента и данный сегмент классифицирован как варикоз вен (С2 - по классификатору CEAP) с вероятностью 20%. На фиг.2 проиллюстрировано, определение рамки сегмента с диагнозом варикоза вен. Данный сегмент с диагнозом варикоза вен вырезается и поступает на классификационную нейронную сеть для валидации полученного результат. Прежде чем сегмент поступит в классификационную нейронную сеть для валидации, получают результат работы классификационной нейронной сети для определения присутствия на исходном изображении нижних конечностей ноги. На исходном изображении нижних конечностей определена нога, посредством классификационной нейронной сетью и вышеуказанный фрагмент поступает на классификационную нейронную сеть для валидации полученного результата. Классификационная нейронная сеть определяет наличие или отсутствие патологий в направленном сегменте. Классификационная нейронная сеть выдает результат, что на представленном сегменте с вероятность 70% присутствует варикоз вен (С2). Полученные результаты от обнаруживающей нейронной сети и классификационной нейронной сети сравниваются. Так как обнаруживающая нейронная сеть и классификационная нейронная сеть определили, что на изображении отражен варикоз вен (С2), то осуществляют сравнение результатов нейронных сетей с пороговыми значениями. Так как пороговые значения у обнаруживающей и классификационной нейронных сетей выше заданных (18% для обнаруживающей и 62% для классификационной), то выводят результат о наличии на изображении варикоза вен (С2). А также направляют пользователю рекомендации по посещению врача.

Пример определения отека (С3).

Пользователь посредством устройства пользователя формирует изображение своей нижней конечности. Полученное изображение поступает на сервер. На сервер осуществляют предобработку полученного изображения. Предобработанное изображение поступает на вход сегментационной нейронной сети для отделения нижней конечности от фона. Полученное изображение от сегментационной нейронной сети подают на вход обнаруживающей нейронной сети для определения сегментов пораженных участков кожи вен нижних конечностей с вероятностным диагнозом. В результате работы обнаруживающей нейронной сети получены координаты сегмента и данный сегмент классифицирован как отек (С3 - по классификатору CEAP) с вероятностью 20%. Данный сегмент с диагнозом варикоза вен вырезается и поступает на классификационную нейронную сеть для валидации полученного результат. Прежде чем сегмент поступит в классификационную нейронную сеть для валидации, получают результат работы классификационной нейронной сети для определения присутствия на исходном изображении нижних конечностей ноги. На исходном изображении нижних конечностей определена нога, посредством классификационной нейронной сетью и вышеуказанный фрагмент поступает на классификационную нейронную сеть для валидации полученного результата. Классификационная нейронная сеть определяет наличие или отсутствие патологий в направленном сегменте. Классификационная нейронная сеть выдает результат, что на представленном сегменте с вероятность 20% присутствует отек (С3). Полученные результаты классификационной нейронной сети не будут направлены для сравнения, так как порог вероятности не пройден и, следовательно, на изображении отсутствует отек (С3). Так как пороговые значения у обнаруживающей нейронной сети пройден, а классификационной нейронной сети не пройден, то выводят результат об отсутствии болезней нижних конечностей у пользователя. Однако в рекомендациях указывают, чтобы пользователь обратился к врачу для уточнения диагноза.

В предлагаемом решении получен алгоритм из каскада нейронных сетей, позволяющий производить сегментацию изображения для удаления фона и лишних элементов на изображении, обнаружение объекта поражения в соответствии с диагнозом, а также классификацию полученной от обнаруживающей сети области для отбраковки и увеличения точности работы системы. Опытным путем получена максимальная возможная точность работы каскадов при помощи введения порогов распознавания и предварительной обработки снимков.

Вычислительное устройство, обеспечивающие обработку данных, необходимую для реализации заявленного решения, в общем случае содержит такие компоненты, как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство ввода, средства сетевого взаимодействия.

При исполнении машиночитаемых команд, содержащихся в оперативно памяти, конфигурируют процессор устройства для выполнения основных вычислительные операции, необходимых для функционирования устройства или функциональности одного, или более его компонентов.

Память, как правило, выполнена в виде ОЗУ, куда загружается необходимая программная логика, обеспечивающая требуемый функционал. При осуществлении работы предлагаемого решения выделяют объем памяти, необходимы для осуществления предлагаемого решения.

Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти и т.п. Средство позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.

Интерфейсы представляют собой стандартные средства для подключения и работы периферийных и прочих устройств, например, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning и т.п.

Выбор интерфейсов зависит от конкретного исполнения устройства, которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств ввода данных в любом воплощении системы, реализующей описываемый способ, может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств ввода данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства сопряжены посредством общей шины передачи данных.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к способу определения болезней вен нижних конечностей. Предложен способ определения болезней вен нижних конечностей, выполняющийся на вычислительном устройстве, содержащем процессор и память, хранящую инструкции, исполняемые процессором и включающий следующие этапы. На сервер получают изображение нижних конечностей пользователя от устройства пользователя. Посредством сегментационной нейронной сети осуществляют сегментацию кожных покровов на изображении нижних конечностей пользователя для отделения кожных покровов от фона на изображении и передают результаты в обнаруживающую нейронную сеть. Посредством обнаруживающей нейронной сети определяют сегменты пораженных участков кожи вен нижних конечностей с предварительным диагнозом. Для валидации результатов обнаруживающей нейронной сети сегменты пораженных участков кожи вен нижних конечностей поступают на вход классификационной нейронной сети для определения наличия болезни вен нижних конечностей. Осуществляют сравнение результатов обнаруживающей нейронной сети и классификационной нейронной сети для определения наличия болезни вен нижних конечностей, при совпадении диагнозов, полученных от обнаруживающей и классификационной нейронных сетей, осуществляют сравнение с пороговыми значениями, если значения результатов обнаруживающей и классификационной нейронных сетей выше пороговых значений, то выводят результат с определенным диагнозом. На основе определенного диагноза формируют рекомендации для пользователя. Изобретение обеспечивает повышение точности диагностирования болезней вен нижних конечностей. 1 з.п. ф-лы, 2 ил.

1. Компьютерно-реализуемый способ определения болезней вен нижних конечностей с использованием каскада нейронных сетей, выполняющийся на вычислительном устройстве, содержащем процессор и память, хранящую инструкции, исполняемые процессором и включающий этапы на которых:

на сервер получают изображение нижних конечностей пользователя от устройства пользователя;

посредством сегментационной нейронной сети осуществляют сегментацию кожных покровов на изображении нижних конечностей пользователя для отделения кожных покровов от фона на изображении и передают результаты в обнаруживающую нейронную сеть;

посредством обнаруживающей нейронной сети определяют сегменты пораженных участков кожи вен нижних конечностей с предварительным диагнозом;

для валидации результатов обнаруживающей нейронной сети сегменты пораженных участков кожи вен нижних конечностей поступают на вход классификационной нейронной сети для определения наличия болезни вен нижних конечностей;

осуществляют сравнение результатов обнаруживающей нейронной сети и классификационной нейронной сети для определения наличия болезни вен нижних конечностей;

при совпадении диагнозов, полученных от обнаруживающей и классификационной нейронных сетей, осуществляют сравнение с пороговыми значениями, если значения результатов обнаруживающей и классификационной нейронных сетей выше пороговых значений, то выводят результат с определенным диагнозом;

на основе определенного диагноза формируют рекомендации для пользователя.

2. Способ по п.1, отличающийся тем, что перед валидацией результатов обнаруживающей нейронной сетью осуществляют определение того, что на исходных изображениях кожных покровов присутствует нижняя конечность пользователя посредством классификационной нейронной сети.