Система диагностики злокачественных и доброкачественных новообразований кожи Российский патент 2024 года по МПК G16H50/00 G06T7/00 G06N3/02 

Техническое решение относится к области медицины, а именно, к системам диагностики злокачественных и доброкачественных новообразований кожи, и может быть использовано в медицинских учреждениях специалистами в области медицины или индивидуальными пользователями.

Из уровня техники известны системы определения диагнозов пациента посредством использования обученной нейронной сети.

Например, известна система скринингового определения патологий, зависящих от сердечной деятельности пациентов, включающая модуль диагностики, выполненный с возможностью построения и обучения нейронной сети для определения наличия заданной патологии, при помощи обученной нейронной сети, получения через управляющий процессор модуля диагностики данных от модуля хранения данных, модуля обработки ЭКГ-сигнала, модуля вычисления параметров ВСР, модуля вычисления параметров усредненного цикла и отправки данных в модуль хранения данных, выполненный с возможностью хранения обучающей и тестовой выборки искусственной нейронной сети, связей и весов обученной искусственной нейронной сети, записей о пациентах, ЭКГ-сигналов, получения через управляющий процессор данных из модуля ввода/вывода данных. Модуль ввода/вывода данных выполнен с возможностью получения ЭКГ-сигналов и информации о пациентах и вывода данных о наличии заданной патологии. Патент №2657384, опубл. 13.06.2018.

Также известна автоматическая система для обработки медицинских изображений органов организма пациента, включающая выполненные с возможностью обмена данными модуль получения медицинских изображений органов организма пациента, модуль обработки медицинских изображений органов организма пациента, выполненный с возможностью генерации облака точек на основании полученного медицинского изображения органов организма пациента и параметризации точек в полученном облаке точек, и интерфейс. Модуль обработки медицинских изображений органов организма пациента содержит средство автоматической идентификации патологий органов организма пациента, содержащее идентифицирующую модель машинного обучения и выполненное с возможностью получения параметризированных точек в облаке точек от модуля обработки медицинских изображений органов организма пациента, определения связанных точек в облаке точек и идентификации на основе связанных точек в облаке точек патологии органов организма пациента. Патент № 2771512, опубл. 05.05.2022.

Известен способ распознавания пигментных новообразований кожи для количественной оценки степени их злокачественности, выбранный в качестве ближайшего аналога, включающий получение цветного изображения с поверхности кожи и последующим выделением фрагментов структур, таких как линии, круги, комки, точки, сетчатость, посредствам анализа областей полученного изображения на основе сканирования строк, пороговых и бинарных операций. Проводят процедуру распознавания фрагментов структур путем сравнения с эталонами для установления типа фрагмента структуры, затем на основе пространственно-яркостного распределения во фрагменте структуры, проводится измерение характеристик, а также морфологических характеристик по фрагменту структуры. На основе полученных измерений формируют числовые векторы признаков и далее проводят классификацию фрагментов структур и устанавливают количественные оценки степени злокачественности новообразования кожи с последующим принятием клинических решений и адекватного подбора терапевтических схем лечения у пациентов с меланомой кожи. Патент РФ на изобретение № RU 2712919, опубл. 03.02.2020.

Известен способ ранней автоматизированной дистанционной диагностики меланомы кожи, заключающийся в выполнении цифровых фотографий, компьютерном картрировании кожных покровов пациента с созданием базы данных всех выявленных пигментных новообразований кожи, при этом выявляются очаги, подозрительные на меланому, при этом анализируют исходные изображения подозрительных участков кожи, производят уменьшение изображений до размера 512×512 пикселей, проводят автоматическую диагностику меланомы по исходным изображениям участков кожи с помощью трехслойной компьютерной программы типа «нейронные сети», предварительно обученной различать меланому кожи на основе эталонных изображений, включающей предобработчик, автоматически выделяющий на основе анализа спектра Фурье исходные изображения существенных признаков, позволяющих разделить эти изображения на два класса, соответствующие наличию диагноза меланомы кожи или его отсутствию; с помощью данной компьютерной программы каждому эталонному изображению обучающей выборки ставят в соответствие нейрон третьего слоя. В пространстве преобразованных изображений, нейроны третьего слоя оценивают эвклидово расстояние от каждого эталонного изображения обучающей выборки до тестируемого изображения, при этом полученным оценкам присваивают положительный или отрицательный знак в зависимости от класса - наличие или отсутствие меланомы, к которому отнесено эталонное изображение. Среди 70-ти нейронов первого слоя в каждом из двух классов выявляют «победителей» по минимуму эвклидова расстояния от эталонного изображения до тестируемого; с помощью 20-ти нейронов второго слоя суммируют обратные величины эвклидовых расстояний, взятых с соответствующим знаком, в группах «победителей» и на основе сравнения суммы с нулевой пороговой величиной определяют класс тестируемого изображения, соответствующий диагнозу меланомы кожи либо его отсутствию. Патент РФ на изобретение № RU 2685469, опубл. 18.04.2019.

Задачей заявленного решения является создание системы диагностики злокачественных и доброкачественных новообразований кожи, выполненной с возможностью определения диагноза на основании ряда критериев, характеризующих детектированное новообразование, а также с учетом комбинации этих критериев.

Технический результат заключается в возможности установления точного диагноза, а также в повышении качества диагностики.

Заявленный технический результат достигается за счет того, что система диагностики злокачественных и доброкачественных новообразований кожи включает связанные между собой блок ввода данных, содержащих изображение участка кожи с исследуемым новообразованием, блок обработки данных, включающий сервисный модуль, связанный с модулем детекции новообразования, основанным на сверточной нейронной детектирующей нейросети, модуль классификации, выполненный с возможностью выявления комбинаций показателей критериев, включающих симметричность, морфологию, количество цветов, структуру поверхности и ровность границ новообразования, их последующей оценки, и определения возможного диагноза, относящегося к новообразованию, выполненный с возможностью передачи информации о диагнозе в блок вывода информации, основанный на сверточной классифицирующей нейросети.

Модуль детекции новообразования необходим для идентификации участка, на котором сосредоточены границы новообразования и исключения остального фона для последующего анализа.

Важной особенностью заявленной системы является наличие модуля классификации, выполненного с возможностью выявления комбинаций показателей критериев, включающих симметричность, морфологию, количество цветов, структуру поверхности и ровность границ новообразования, их последующей оценки, и определения возможного диагноза, относящегося к новообразованию, выполненного с возможностью передачи информации о диагнозе в блок вывода информации. Указанный модуль необходим для выявления признаков, характеризующих наличие или отсутствие новообразования, определения их численных значений и описательных характеристик для последующего отнесения выявленного новообразования к конкретному диагнозу или к нескольким вероятным диагнозам, а также позволяет не только учитывать отдельные признаки новообразования, но и их совокупности, которые могут свидетельствовать о наличии или отсутствии патологии, которая могла быть не выявлена только лишь по оценке отдельных признаков. Данный модуль позволяет выявить более точный диагноз, определить вероятность наличия той или иной патологии. Оценка показателей критериев или комбинаций показателей критериев позволяет определить степень влияния выявленного признака на наличие или отсутствие патологии, что также необходимо для получения быстрого и точного диагноза. Возможность передачи модулем информации о диагнозе в блок вывода информации необходима для отражения данных о диагнозе, полученном в результате анализа показателей критериев в доступной для пользователя форме. Возможность передачи информации предпочтительно реализована через сервисный модуль.

Сервисный модуль блока обработки данных необходим для записи промежуточных операций остальных модулей блока, обслуживания и контроля их работы.

Под термином «связанный» следует понимать как непосредственную связь между двумя функциональными модулями или блоками, так и их связь через промежуточные модули или блоки.

Под термином «морфология» следует понимать первичный морфологический элемент. Мономорфным считается процесс, при котором на изображении присутствует один морфологический элемент (например, пятно), а полиморфным считается процесс, при котором на изображении присутствует более одного морфологического элемента (например, пятно и узел).

Заявляемое техническое решение далее поясняется с помощью фигур, на которых условно представлен один из возможных вариантов реализации системы диагностики злокачественных и доброкачественных новообразований кожи.

На фиг. 1 представлена функциональная схема, отражающая структуру диагностики злокачественных и доброкачественных новообразований кожи, цифрами отмечены следующие элементы:

- блок (1) ввода данных;

- блок (2) обработки данных;

- сервисный модуль (3);

- модуль (4) детекции новообразования;

- модуль (5) классификации;

- подмодуль (6) определения показателей критериев модуля (5) классификации;

- подмодуль (7) выявления комбинаций показателей критериев с их последующей оценкой модуля (5) классификации;

- подмодуль (8) определения возможного диагноза модуля (5) классификации;

- блок (9) вывода информации.

На фиг. 2-7 представлены примеры заключений системы, представленные в блоке вывода информации, - изображения с новообразованиями и их соответствующими диагнозами с показателем степени доверительности.

Далее со ссылками на фигуры описана структура системы диагностики злокачественных и доброкачественных новообразований кожи.

Система диагностики злокачественных и доброкачественных новообразований кожи включает связанные между собой блок (1) ввода данных, блок (2) обработки данных, включающий сервисный модуль (3), связанный с модулем (4) детекции новообразования, модулем (5) классификации, предпочтительно условно разделенным на подмодуль (6) определения показателей критериев, подмодуль (7) выявления комбинаций показателей критериев с их последующей оценкой, и подмодулем (8) определения возможного диагноза, относящегося к новообразованию, выполненному с возможностью передачи информации о диагнозе в блок (9) вывода информации.

Блок (1) ввода данных может представлять собой клиентский модуль для загрузки изображения, какой-либо элемент интерфейса для загрузки изображения или область для ввода изображения в программном продукте.

Данные включают изображение участка кожи с исследуемым новообразованием. Предпочтительно, в качестве изображения используют фотографию соответствующего участка кожи.

К критериям, используемым для дальнейшей диагностики кожи, относятся симметричность, морфология, количество цветов, структура поверхности и ровность границ новообразования.

Сверточная классифицирующая нейросеть обучена на эталонном наборе данных, представляющем собой, в частном случае, изображение новообразования, заключение о диагнозе новообразования квалифицированных специалистов в области медицины, подтверждение диагноза заключением патоморфологического анализа.

В предпочтительном варианте, для каждого эталонного изображения определены присущие показатели критериев и их комбинаций, при этом оценка выявленных для исследуемого изображения показателей критериев и их комбинаций реализуется посредством их соотнесения показателями критериев и их комбинаций, определенных для эталонного изображения, и определения степени доверительности. Иными словами, нейронная сеть, при оценке выявленной комбинации, оценивает степень соответствия анализируемого изображения к эталону.

Исследуемое изображение загружается в блок (1) ввода данных, откуда передается в блок (2) обработки данных, включающий сервисный модуль (3), связанный с модулем (4) детекции новообразования. Модуль (4) включает свёрточную детектирующую нейросеть, определяющую наличие новообразования на снимке. Полученное изображение далее передается на блок (2) обработки данных, где, посредством модуля (4) детекции новообразования выделяется сегмент изображения, содержащий предполагаемое новообразование, для его последующей диагностики. Сегмент изображения передается на сервисный блок (3) для подтверждения наличия в нем новообразования и затем в модуль (5) классификации. Далее изображение, прошедшее этап свертки до формата, принимаемого модулем (5) классификации, передается в подмодуль (6) определения показателей критериев, где сверточная классифицирующая нейросеть определяет и присваивает критерии на основании принятого эталонного набора критериев, после чего подмодуль (7) выявления комбинаций показателей критериев составляет комбинации присвоенного набора критериев на основании принятых комбинаций, и далее подмодуль (8) определения возможного диагноза формирует заключение о возможных диагнозах, определяя наибольшую степень доверительности в выбранном диагнозе.

Блок (2) обработки данных предпочтительно представляет собой программную часть программно-аппаратного комплекса, в основе которого лежат обученные сверточная детектирующая нейросеть для детекции новообразований и сверточная классифицирующая нейросеть для классификации кадрированных изображений.

Каждая из этих нейросетей построена на базе предварительно обученных универсальных моделей с открытым исходным кодом. Такой подход позволяет использовать проверенные и отлаженные модели по распознаванию деталей изображений, которые затем оптимизируются и тренируются под конкретные задачи детекции новообразований на коже и их классификацию.

Принципиально используемая архитектура сверточной нейросети представляет собой последовательное применение операций свертки и уменьшения размерности, завершающаяся шагом классификации изображения или детекции его границ. Каждая операция представляет собой один слой нейросети, а количество таких слоев и их конфигурация подбирается исходя из целевых показателей.

Операция свертки извлекает высокоуровневые признаки, например, края входного изображения. Каждый из слоев сети несёт ответственность за распознавание признаков разной детализации, таких как кромки, цвет, ориентация градиента и т. д. Таким образом, нейросетевая модель, переходя от слоя к слою позволяет сгенерировать значимые признаки изображения. Технически операция свертки реализуется в виде скользящего окна (фильтра), который двигается по входном набору данных. Значения, попадающие в фильтр, умножаются на ядро свертки в результате чего получается выходная карта признаков. За операцией свертки следует шаг уменьшения размерности: то есть, в результирующую выборку попадает только подмножество исходных данных. Это операция позволяет с одной стороны поддержать иерархичность выделения признаков, а с другой получить выигрыш в вычислительных ресурсах.

Пример определения показателей критериев (клинических признаков) и их отнесение к признакам злокачественной или доброкачественной природы новообразования представлен в таблице 1.

Таблица 1 Признак Доброкачественное новообразование Злокачественное новообразование Морфология (Морфологический элемент) Мономорфный
Комментарий: плоское или объемное Полиморфный
Комментарий: плоское и объемное Симметричность Симметричное
Комментарий: симметричное вдоль двух осей Асимметричное
Комментарий: асимметричное вдоль одной оси или асимметричное вдоль двух осей Количество цветов (темно-коричневый, светло-коричневый, черный, серый, голубой, розовый) Один цвет или два цвета Три и более цветов Ровность границ Ровные границы Неровные границы Структура поверхности Однородная поверхность
Комментарий: гладкая поверхность, папилломатозная поверхность, шелушение по всей поверхности Неоднородная поверхность
Комментарий: на поверхности визуализируются эрозии и/или язвы и/или телеангиоэктазии и/или корочки и/или отдельные чешуйки

Посредством модуля (5) выявляют комбинации показателей критериев с их последующей оценкой.

По каждому новообразованию, посредством модуля (5) классификации, нейросеть возвращает одну или несколько гипотез с оцененным уровнем доверительности, измеряемом в процентах (от 0 до 100%). Предпочтительно, в блоке (2) обработки данных может быть выявлены следующие диагнозы: меланома, базальноклеточный или плоскоклеточный рак кожи, невус, гемангиома или себорейная кератома.

Уровень доверительности - это показатель, основанный на соотношении чувствительности и специфичности. Основные технические характеристики нейронной сети, по которым оценивается качество, - это точность, специфичность и чувствительность.

Уровень доверительности - выходной параметр, который задается при обучении нейронной сети. Исходя из него, нейронная сеть получает уровни чувствительности и специфичности. Предпочтительно, использовать при обучении нейронной сети уровень доверительности не ниже 50 %, что означало бы запрет выдачи заключений по тем изображениям, в которых он не уверен ниже чем на 50 %.

Для каждого новообразования система выбирает новообразование с наибольшим уровнем доверительности. Если образований на изображении несколько, то в качестве окончательной гипотезы по изображению выбирается наиболее пессимистическая среди выбранных гипотез. По результирующей гипотезе формируется диагноз и передается в блок (9) вывода информации.

Практическая реализация заявленной системы подтверждена при диагностике злокачественных и доброкачественных новообразований кожи на тестировочном наборе изображений, содержащих новообразования, диагноз которых подтвержден гистологическим заключением.

Пример использования системы диагностики, дополненный данными оценки изображения квалифицированным специалистом и заключением гистологического исследования новообразования, фото которого анализировалось, представлен в таблице 2 (на примере каждого из определяемых диагнозов, обучение детектированию которых, прошла система).

Таблица 2 Изображение с диагностируемым новообразованием Заключение системы Заключение врача Заключение гистологического исследования Вывод См. фиг. 2 Гемангиома Гемангиома Гемангиома ИО См. фиг. 3 Меланома Меланома Поверхностно-распространяющаяся меланома (ICD-O code 8743/3) с инвазией на глубину 1,6 мм, 4 уровень по Кларку, рT2а. ИП См. фиг. 4 Невус Смешанный невус Смешанный (преимущественно внутридермальны) меланоцитарный папилломатозный невус. ИО См. фиг. 5 Базальноклеточный рак Базальноклеточный рак Базальноклеточный рак (солидный вариант) ИП См. фиг. 6 Себорейная кератома Себорейная кератома Себорейный кератоз, акантотический вариант. ICD-O code 8052/0. ИО См. фиг 7 Базальноклеточный рак Плоскоклеточная карцинома Плоскоклеточная карцинома, с ороговением (ICD-O code 8070/3), рТ2. ИП

В результате тестирования получены результаты, представленные в таблице 3:

Таблица 3 Категория изображения Общее количество БКРК 50 ПКРК 25 Гемангиома 41 Меланома 50 Невус 43 Себорейная кератома 41 Итог 250

Специфичность - 0.903;

Чувствительность - 0.888;

Точность - 0.902;

Истинно положительный - 111;

Истинно отрицательный - 112;

Ложно положительный - 12;

Ложно отрицательный - 14,

где «ложно положительный» - это случай, когда система установила диагноз, относящийся к злокачественным образованиям, а диагноз, подтвержденный гистологическим исследованием, относится к группе диагнозов с доброкачественным. «Ложно отрицательный» случай - это случай, когда диагноз, установленный с использованием системы, относится к доброкачественным диагнозам, а диагноз, подтвержденный данными гистологического исследования, относится к злокачественным.

«Истинно положительный» - это случай, при котором диагноз, установленный с использованием системы, относится к злокачественным диагнозам, и диагноз, подтвержденный данными гистологического исследования, относится к злокачественным.

«Истинно отрицательный» - это случай, при котором диагноз, установленный с использованием системы, относится к доброкачественным диагнозам, и диагноз, подтвержденный данными гистологического исследования, относится к доброкачественным.

Представленные фигуры, описание структуры системы и ее использования не исчерпывают возможные варианты исполнения и не ограничивают каким-либо образом объем заявляемого технического решения. Возможны иные варианты исполнения в объеме заявляемой формулы.

Изобретение относится к области медицины, а именно к системам диагностики злокачественных и доброкачественных новообразований кожи, и может быть использовано в медицинских учреждениях специалистами в области медицины или индивидуальными пользователями. Предложена система диагностики злокачественных и доброкачественных новообразований кожи, включающая связанные между собой блок ввода данных, содержащих изображение участка кожи с исследуемым новообразованием, блок обработки данных, включающий сервисный модуль, связанный с модулем детекции новообразования, основанным на сверточной детектирующей нейросети, модуль классификации, выполненный с возможностью выявления комбинаций показателей критериев, включающих симметричность, морфологию, количество цветов, структуру поверхности и ровность границ новообразования, их последующей оценки, и определения возможного диагноза, относящегося к новообразованию, выполненный с возможностью передачи информации о диагнозе в блок вывода информации, основанный на сверточной классифицирующей нейросети. Изобретение обеспечивает возможность установления точного диагноза, а также повышения качества диагностики. 7 ил., 3 табл.

Система диагностики злокачественных и доброкачественных новообразований кожи, включающая связанные между собой блок ввода данных, содержащих изображение участка кожи с исследуемым новообразованием, блок обработки данных, включающий сервисный модуль, выполненный с возможностью функции записи промежуточных операций остальных модулей блока обработки данных, обслуживания и контроля их работы, связанный с модулем детекции новообразования, основанным на сверточной детектирующей нейросети, и с модулем классификации, основанным на сверточной классифицирующей нейросети, включающим подмодуль определения показателей критериев: симметричность, морфологию, оцениваемую как полиморфный или моноформный, количество цветов, структуру поверхности и ровность границ новообразования, подмодуль выявления комбинаций показателей критериев с их последующей оценкой, подмодуль определения возможного диагноза, относящегося к новообразованию, выполненный с возможностью передачи информации о диагнозе в блок вывода информации.