Способ автоматизированной дистанционной диагностики новообразования кожи Российский патент 2024 года по МПК A61B8/08 G16H50/00 G06T7/00 G06N3/02 

Техническое решение относится к области медицины, а именно, к способу дистанционной диагностики новообразований кожи по фотографии, и может быть использовано для предварительной оценки вероятности наличия патологий кожи самим пользователем перед обращением за профессиональной медицинской помощью.

В настоящее время широкое распространение имеют приложения для смартфонов, направленных на идентификацию новообразований кожи, в частности, определение риска рака кожи. Разработка таких приложений и реализация их в массы является одной из актуальных задач в области дистанционной диагностики. Целью таких приложений является помощь людям с беспокоящими их новообразованиями кожи для принятия решения - следует ли им искать дальнейшую медицинскую помощь.

Приложения для самодиагностики могут обеспечить пользователя информационным ресурсом, помощью в самообследовании кожи, наблюдением за состоянием кожи, а также давать советы или руководство о том, следует ли обращаться за медицинской помощью.

По своей сути дистанционное предоставление изображений является теледерматологической консультацией. Все больший интерес вызывают приложения, в которых используются встроенные алгоритмы (или «искусственный интеллект»), способные каталогизировать и классифицировать изображения новообразований на группы с высоким или низким риском. Преимуществом таких приложений является немедленная оценка рисков и последующие рекомендации. Однако, ошибочные рекомендации, особенно при ложном заверении пользователя в низком риске реально злокачественного новообразования, приводят к задержкам медицинской помощи и тем самым несут вред.

В настоящее время при доступности большего количества подобных цифровых продуктов актуальным остается вопрос о степени достоверности доказательств эффективности этих приложений, работающих на основе встроенных алгоритмов.

В частности, известен способ ранней автоматизированной дистанционной диагностики меланомы кожи, заключающийся в выполнении цифровых фотографий, компьютерном картрировании кожных покровов пациента с созданием базы данных всех выявленных пигментных новообразований кожи, при котором выявляются очаги, подозрительные на меланому. Автоматическую диагностику меланомы по исходным изображениям участков кожи проводят с помощью трехслойной компьютерной программы типа «нейронные сети», предварительно обученной различать меланому кожи на основе эталонных изображений, включающей предобработчик, автоматически выделяющий исходные изображения существенных признаков, позволяющих разделить эти изображения на два класса, соответствующие наличию диагноза меланомы кожи или его отсутствию. Патент РФ на изобретение № 2685469; опубликован: 18.04.2019.

Известен способ автоматизированной диагностики видимых на коже патологических изменений сосудов на основании изображений посредством применения машинного обучения, выполняемый вычислительным устройством. Способ включает следующие этапы: получение данных анамнеза пользователя и изображения предполагаемой патологии; осуществление семантической сегментации изображения предполагаемой патологии, полученного на предыдущем шаге, посредством отделения фона от исследуемого объекта с предполагаемой патологией с помощью методов машинного обучения; определение на изображении патологии посредством использования искусственной сверточной нейронной сети; осуществление классификации патологии посредством использования методов машинного обучения; формирование рекомендаций по здоровью для пользователя на основании патологии и данных анамнеза пользователя. Патент РФ на изобретение № RU 2741260; опубликован: 22.01.2021.

Известен способ распознавания пигментных новообразований кожи для количественной оценки степени их злокачественности, включающий получение цветного изображения с поверхности кожи и последующим выделением фрагментов структур, таких как линии, круги, комки, точки, сетчатость, посредствам анализа областей полученного изображения на основе сканирования строк, пороговых и бинарных операций. Проводят процедуру распознавания фрагментов структур путем сравнения с эталонами для установления типа фрагмента структуры, затем на основе пространственно-яркостного распределения во фрагменте структуры, проводится измерение характеристик, а также морфологических характеристик по фрагменту структуры. На основе полученных измерений формируют числовые векторы признаков и далее проводят классификацию фрагментов структур и устанавливают количественные оценки степени злокачественности новообразования кожи с последующим принятием клинических решений и адекватного подбора терапевтических схем лечения у пациентов с меланомой кожи. Патент РФ на изобретение № RU 2712919, опубликован: 03.02.2020.

Недостатками известных решений является, в частности отсутствие надлежащего контроля качества, снижающего эффективность дистанционной диагностики, и точность полученных результатов.

Технический результат заявляемого технического решения проявляется в повышении точности определения вероятности диагноза или диагнозов, соответствующих исследуемому новообразованию кожи.

Технический результат также проявляется в упрощении классификации новообразования.

Технический результат достигается тем, что способ автоматизированной дистанционной диагностики новообразования кожи характеризуется тем, что получают изображение участка кожи с исследуемым новообразованием, осуществляют обработку изображения с осуществлением контроля качества, при котором определяют соответствие изображения требованиям освещенности и резкости, осуществляют детекцию новообразования на изображении, соответствующем требованиям, при которой производят выделение из изображения сегмента, включающего предполагаемое новообразование, определяют соответствие выделенного сегмента требованиям к размерам сегмента и наличию всех границ предполагаемого новообразования в сегменте, направляют в сервисный блок изображение с выделенным сегментом для подтверждения наличия новообразования в выделенном сегменте, после получения подтверждения осуществляют диагностику предполагаемого новообразования посредством предварительно обученной классифицирующей сверточной нейросети с последующим формированием перечня возможных диагнозов с определением показателей их вероятности или одного диагноза, предоставляют результат диагностики пользователю.

Наличие этапа, характеризующегося осуществлением контроля качества, при котором определяют соответствие изображения требованиям освещенности и резкости, позволяет исключить из дальнейшей обработки изображения, по которым может быть определен неверный или неточный диагноз, связанный с наличием, например, слишком светлых или слишком темных участков, которые могут быть приняты за патологический признак. Кроме того, данный этап позволяет исключить изображения с недостаточным уровнем резкости, которые могут послужить причиной неверного определения границ новообразования, и, как следствие, повлиять на дальнейшую классификацию новообразования и диагностику.

Этап определения соответствия выделенного сегмента требованиям к размерам сегмента и наличию всех границ предполагаемого новообразования в сегменте позволяет обеспечить правильное измерение границ новообразования и выявить их точные параметры, необходимы для его дальнейшей классификации, поскольку отсутствие всех границ предполагаемого новообразования в сегменте является показателем того, что реальное новообразование больше анализируемого.

Определение соответствия изображения требованиям освещенности и резкости, а также определение соответствия выделенного сегмента требованиям к размерам сегмента и наличию всех границ предполагаемого новообразования в сегменте, позволяют увеличить скорость получения результатов диагностики, повысить их точность с гарантией достоверности.

Важной особенностью заявленного способа является наличие этапа, при котором изображение с выделенным сегментом направляют в сервисный блок для подтверждения наличия новообразования в выделенном сегменте, а диагностику новообразования осуществляют только после получения подтверждения его наличия. Наличие указанных операций обеспечивает исключение выдачи ошибочных результатов классификации.

Обученная классифицирующая сверточная нейросеть обеспечивает повышение точности диагностики новообразования с мгновенной выдачей результатов. Использование сверточной нейросети позволяет исключить длительную и многоэтапную предварительную обработку изображения на этапе диагностики. Принципиально используемая архитектура сверточной нейросети представляет собой последовательное применение операций свертки и уменьшения размерности, завершающихся шагом классификации изображения или детекции его границ, что позволяет получить результат упрощения классификации.

Каждая операция представляет собой один слой нейросети. Операция свертки извлекает высокоуровневые признаки, например, края входного изображения. Каждый из слоев сети несет ответственность за распознавание признаков разной детализации, таких как кромки, цвет, ориентация градиента и т. д. Таким образом, нейросетевая модель, переходя от слоя к слою позволяет сгенерировать значимые признаки изображения. Технически операция свертки реализуется в виде скользящего окна (фильтра), который двигается по входному набору данных. За операцией свертки следует шаг уменьшения размерности: то есть, в результирующую выборку попадает только подмножество исходных данных. Эта операция позволяет поддержать иерархичность выделения признаков.

Реализация заявленного способа далее условно представлена посредством блок-схемы на фигуре 1, снимка с экрана веб-сервиса с выделенным сегментом на изображении нейросети, идентифицирующей невус со степенью уверенности 0,61 (фигура 2), схема работы классифицирующей нейросети (фигура 3).

На фиг. 1 цифрами отмечены:

- блок (1) ввода изображения;

- блок (2) обработки и контроля качества изображения;

- сервисный блок (3);

- блок (4) классификации и диагностики;

- блок (5) вывода результата диагностики.

Один из возможных примеров осуществления способа автоматизированной дистанционной диагностики новообразования кожи представлен далее.

На первоначальном этапе, предпочтительно, посредством мобильного приложения (блок (1) ввода изображения), получают изображение участка кожи с исследуемым новообразованием. Изображение может представлять собой фотографию, сделанную на мобильный телефон и загруженную в приложение.

Затем, предпочтительно в блоке (2) осуществляется обработка изображения с осуществлением контроля качества изображения. При этом определяют соответствие изображения требованиям освещенности и резкости. В частности, при определении соответствия изображения требованиям освещенности выявляют отсутствие участков, показатель освещенности которых выходит за допустимые пределы. Допустимые пределы могут быть заданы изначально, и соответствовать значениям максимально светлых и максимально темных участках на изображении, при которых возможна дальнейшая детекция новообразований. В частности, контролируется равномерное бестеневое освещение. Контроль равномерности освещения изображения осуществляется с помощью определения уровня локального контраста. Уровень контраста, определяемый по методу Root Mean Square (RMS), должен быть менее 63,13. Уровень контраста, определяемый по методу Mitchelson, должен быть менее 0,99.

Предпочтительно, для определения соответствия изображения требованиям резкости измеряют максимальное значение из фильтра Лапласа, примененного к матрице изображения. Значение результата должно быть не менее 16.

Далее осуществляют детекцию новообразования на изображении, соответствующем требованиям, при которой производят выделение из изображения сегмента, включающего предполагаемое новообразование. Здесь же определяют соответствие выделенного сегмента требованиям к размерам сегмента и наличию всех границ предполагаемого новообразования в сегменте. В частности, размер большей стороны прямоугольника, описанного вокруг обнаруженного новообразования, должен быть не меньше 100 пикселей. Стороны прямоугольника, описанного вокруг обнаруженного новообразования, должны находиться на расстоянии не менее 5 пикселей до ближайшей границы изображения. Пример осуществления контроля этих и других требований представлен в Таблице 1.

Таблица 1. Требование к изображению Контроль качества а. Формат изображения JPEG.
Источник входных данных: камера телефона, зеркальная камера и другие устройства, при условии соответствий требованиям, описанным в данном пункте и требований к параметрам телефонной камеры Контроль формата изображения. При передаче изображения неподходящего формата предоставление ответа - отказа в обработке с соответствующим сообщением б) Размер изображения не должен превышать 10 Мб Контроль размера изображения. При передаче изображения большего размера, предоставление ответа - отказа в обработке с соответствующим сообщением в) Размер большей стороны прямоугольника, построенного при определении границы обнаруженного новообразования должен быть не меньше 100 пикселей. Контроль размера обнаруженных новообразований. При выявлении несоответствия - сообщение Клиентскому модулю о том, что новообразование не может быть классифицировано г) Границы новообразования должны быть полностью включены в изображение.
Стороны прямоугольника, описанного вокруг обнаруженного новообразования, должны находиться на расстоянии не менее 5 пикселей до ближайшей границы изображения Контроль расположения границ новообразований. При выявлении несоответствия - сообщение Клиентскому модулю о том, что новообразование не может быть классифицировано д) Равномерное бестеневое освещение Контроль равномерности освещения изображения с помощью уровня локального контраста.
Уровень контраста, определяемый по методу Root Mean Square (RMS), предпочтительно должен быть менее 63,13
Уровень контраста, определяемый по методу Mitchelson предпочтительно должен быть менее 0,99
При выявлении несоответствия - сообщение Клиентскому модулю о том, что изображение не может быть классифицировано е) Уровень резкости (достаточной детализации при съемке) изображения Контроль резкости.
Оценка производится выбором максимального значения из фильтра Лапласа примененного к матрице изображения.
Значение результата предпочтительно не менее 16.
При выявлении несоответствия - сообщение Клиентскому модулю о том, что изображение не может быть классифицировано

Изображение, успешно прошедшее контроль качества, с выделенным сегментом, для подтверждения наличия новообразования в выделенном сегменте, направляют сервисный блок (3). После получения подтверждения от сервисного блока (3) осуществляют диагностику предполагаемого новообразования посредством предварительно обученной классифицирующей сверточной нейросети (блок (4) классификации и диагностики) с последующим формированием перечня возможных диагнозов с определением показателей их вероятности, где вероятность диагноза - это степень уверенности нейронной сети. Полученный результаты диагностики предоставляют пользователю, в том числе, в виде рекомендации по обращению за медицинской помощью.

В случае непрохождения контроля качества изображения или невозможности детекции новообразования пользователю направляют уведомление о невозможности выявления новообразования на изображении с указанием причины.

Способ автоматизированной дистанционной диагностики новообразования кожи может быть эффективно осуществлен с помощью мобильного приложения с доступом к сервису для самообследования пользователя-пациента, веб-сервиса, или посредством иных физических средств реализации. Практическая реализация заявленного способа показала высокую эффективность и точность диагностики меланомы, базальноклеточного рака кожи/плоскоклеточного рака кожи, невуса, гемангиомы, себорейной кератомы и т. д. у более 700 пациентов.

Пример реализации способа для диагностики новообразований реализованного в виде интерфейса программного обеспечения, отображающего результат оценки изображения, и предоставления заключения о вероятном диагнозе с указанием степени уверенности

Для оценки достоверности заявленного способа была определена степень уверенности автоматизированной дистанционной диагностики новообразования кожи.

Степень уверенности - это показатель, основанный на соотношении чувствительности и специфичности. Основные технические характеристики искусственного интеллекта, по которым оценивается качество - это точность, специфичность и чувствительность.

У полученного продукта, основанного на решении задачи по реализации заявленного способа: точность: не ниже 81.5%; специфичность: не ниже 80%; чувствительность: не ниже 85%.

Увеличение чувствительности необходимо для снижения количества ложно отрицательных результатов. Иными словами - чем выше чувствительность, тем избирательнее искусственный интеллект. Избирательность искусственного интеллекта выражается в том, что в случае, когда искусственный интеллект имеет низкую степень уверенности в каком-то изображении, он определит его как неизвестное и не выполнит классификацию, тем самым пропуская возможность постановки диагноза.

При снижении чувствительности, растет число ложно положительных результатов, падает специфичность, увеличивается вероятность упущения важных признаков.

Степень уверенности - выходной параметр порога избирательности. Этот параметр задается при обучении искусственного интеллекта. Исходя из него искусственный интеллект получает уровни чувствительности и специфичности. Чем ниже чувствительность, тем выше специфичность. Предпочтительно, использовать при разработке искусственного интеллекта порог избирательности 30 %, что означало бы запрет выдачи заключений по тем изображениям, в которых он не уверен ниже, чем на 30 %.

Представленный пример реализации способа не исчерпывает возможные варианты исполнения и не ограничивает каким-либо образом объем заявленных технических решений. Возможны иные варианты исполнения и использования в объеме заявляемой формулы.

Изобретение относится к области медицины, а именно к способу дистанционной диагностики новообразований кожи по фотографии. Предложен способ автоматизированной дистанционной диагностики новообразования кожи, при котором получают изображение участка кожи с исследуемым новообразованием, осуществляют обработку изображения с осуществлением контроля качества, при котором определяют соответствие изображения требованиям освещенности и резкости, осуществляют детекцию новообразования на изображении, соответствующем требованиям, при которой производят выделение из изображения сегмента, включающего предполагаемое новообразование, определяют соответствие выделенного сегмента требованиям к размерам сегмента и наличию всех границ предполагаемого новообразования в сегменте, направляют в сервисный блок изображение с выделенным сегментом для подтверждения наличия новообразования в выделенном сегменте, после получения подтверждения осуществляют диагностику предполагаемого новообразования посредством предварительно обученной классифицирующей сверточной нейросети с последующим формированием перечня возможных диагнозов с определением показателей их вероятности или одного диагноза, предоставляют результат диагностики пользователю. Предпочтительно при определении соответствия изображения требованиям освещенности контролируется равномерное бестеневое освещение, при этом контроль равномерности освещения изображения осуществляется с помощью определения уровня локального контраста. Предпочтительно для определения соответствия изображения требованиям резкости измеряют максимальное значение из фильтра Лапласа, примененного к матрице изображения. Изобретение обеспечивает повышение точности определения вероятности диагноза или диагнозов, соответствующих исследуемому новообразованию кожи, в упрощении классификации новообразования. 3 з.п. ф-лы, 3 ил.

1. Способ автоматизированной дистанционной диагностики новообразования кожи, характеризующийся тем, что получают изображение участка кожи с исследуемым новообразованием, осуществляют обработку изображения с осуществлением контроля качества, при котором определяют соответствие изображения требованиям освещенности и резкости, при этом при определении соответствия изображения требованиям освещенности выявляют отсутствие участков, показатель освещенности которых выходит за допустимые пределы, осуществляют детекцию новообразования на изображении, соответствующем требованиям, при которой производят выделение из изображения прямоугольного сегмента, включающего предполагаемое новообразование, определяют соответствие выделенного сегмента, описанного вокруг новообразования, требованиям к размерам сегмента и наличию всех границ предполагаемого новообразования в сегменте, направляют в сервисный блок изображение с выделенным сегментом для подтверждения наличия новообразования в выделенном сегменте, после получения подтверждения осуществляют диагностику предполагаемого новообразования посредством предварительно обученной классифицирующей сверточной нейросети с последующим формированием перечня возможных диагнозов с определением показателей их вероятности или одного диагноза, предоставляют результат диагностики пользователю.

2. Способ автоматизированной дистанционной диагностики новообразования кожи по п. 1, отличающийся тем, что в случае непрохождения контроля качества изображения или невозможности детекции новообразования пользователю направляют уведомление о невозможности выявления новообразования на изображении с указанием причины.

3. Способ автоматизированной дистанционной диагностики новообразования кожи по п. 1, отличающийся тем, что при определении соответствия изображения требованиям освещенности контролируется равномерное бестеневое освещение, при этом контроль равномерности освещения изображения осуществляется с помощью определения уровня локального контраста.

4. Способ автоматизированной дистанционной диагностики новообразования кожи по п. 1, отличающийся тем, что для определения соответствия изображения требованиям резкости измеряют максимальное значение из фильтра Лапласа, примененного к матрице изображения.