СПОСОБ ДИАГНОСТИКИ МЕЛАНОМЫ КОЖИ Российский патент 2022 года по МПК A61B5/00 G06T7/00 

Область техники

Изобретение относится к медицине, а именно к онкологии, и может быть использовано для диагностики меланомы кожи.

Меланома - злокачественное образование кожи, происходящее из пигментных клеток - меланоцитов, находящихся в эпидермисе (поверхностный слой кожи). Они определяют цвет кожи и отвечают за защиту от ультрафиолетового излучения.

Очевидно, что ранняя диагностика меланомы кожи повышает вероятность быстрого и полного излечения от этого заболевания. Поэтому в настоящее время ведутся во всем мире широкие исследования по разработке соответствующих диагностических методов и способов повышения достоверности диагностики.

Уровень техники:

Известен ряд решений для диагностики меланомы кожи:

- AU 2013237949 A1, 2012-03-28, 2014-11-13 (Университет Хьюстона) Системные методы и программное обеспечение для скрининга и диагностики поражений кожи и болезней растений;

- US 10531825 B2, 2016-10-14, 2020-01-14 (Stoecker & Associates, LLC) Пороговые методы сегментации поражения на дерматоскопических изображениях;

- US 10852902 B2, 2015-07-15, 2020-12-01 (Fyusion, Inc.) Автоматическое маркирование объектов на многовидовом интерактивном цифровом носителе представление динамического объекта;

- JP 6583316 B2, 2017-03-08, 2019-10-02 Идентификационное устройство, метод идентификации и программа;

- CN 111433861 A, 2017-08-18, 2020-07-17, Система и способ идентификации гиперпигментированных пятен;

- CN 107563123 A *2017-09-27, 2018-01-09, Метод и устройство маркировки медицинского изображения.

Способ комплексной диагностики меланомы кожи (патент RU 2322943 C2) включает цифровую видеосъемку кожных покровов пациента, обработку цифрового изображения, использованием базисных клинико-диагностических и дермоскопических алгоритмов, компьютерное картирование. Известный способ позволяет улучшить раннюю диагностику меланомы кожи и повысить результативность диспансерного наблюдения в группах риска; уточнить истинные границы меланомы кожи, выявить наличие мультицентричных очагов и транзитных внутрикожных метастазов.

Способ ранней автоматизированной дистанционной диагностики меланомы кожи (патент RU 2685469 C1) включает выполнение цифровых фотоснимков кожи и автоматическую диагностику меланомы по исходным изображениям участка кожи с помощью трехслойной компьютерной программы типа "нейронные сети" с предварительным ее обучением на основе эталонных изображений, автоматическое извлечение исходные изображения существенных признаков на основе Фурье-спектрального анализа и на основе этого разделение изображений на два класса, соответствующих диагнозу меланомы кожи или ее отсутствию. Изобретение обеспечивает повышение вероятности диагностики меланомы кожи, устранение зависимости ее качества от недостаточной квалификации специалиста, автоматический режим диагностики, выявление групп высокого риска меланомы кожи среди населения в целом.

Способ дифференциальной диагностики доброкачественных и злокачественных беспигментных новообразований кожи (патент RU 2518350 C2) заключается в следующем. Через 3 ч после перорального введения препарата «Аласенс» в дозе 15 мг/кг массы тела получают трехканальное RGB флуоресцентное изображение зоны интереса. Оценивают долю участия красного канала в изображении опухоли. Оценивают значение R_cut=(R/(R+G+B))⋅100%, где R_cut - доля участия красного канала в изображении здоровой кожи, R, G и В - яркости красного, зеленого и синего каналов изображения здоровой кожи. По полученной информации формируют диагностическое заключение.

Общий недостаток перечисленных способов заключается в отсутствии возможности обнаружения структурных элементов пигментных «линий» именно на новообразованиях кожи, особенно применительно к меланоме, что существенно снижает достоверность диагностики.

Статьи [1-3] демонстрируют актуальность и непрерывное развитие различных методов распознавания злокачественности новообразований кожи, например: метод неинвазивной эпидермальной геномной детекции, Конфокальная сканирующая лазерная микроскопия (КСЛМ): режим отражения, который в первую очередь применяется в клинической практике, и режим флуоресценции, используемый в основном в научных исследования. Также развиваются и учитываются при создании компьютерных программ критерии распознавания новообразований по структурным элементам.

Системы компьютерной диагностики, основанные на обработке изображений, обладают значительным потенциалом для скрининга и раннего обнаружения меланомы.

Для разработки компьютерных методов в помощь дерматологам используются различные инструменты. Так, в ряде работ [4, 5, 6] обсуждается производительность различных типов алгоритмов обучения, таких как сверхточные и искусственные нейронные сети, метод опорных векторов, k-ближайших соседей (k-NN). Пример системы поддержки принятия решений представлен в статье [7]. Авторы разработали приложение, которое графически отображает характеристики поражения кожи, соответствующие критериям ABCD (асимметрия, нерегулярность границ, цветовые узоры и диаметр), которые часто используются при диагностике меланомы.

В упомянутых работах анализируются характеристики поражения кожи в целом. Однако важными характеристиками поражения являются наличие таких структурных элементов, как глобулы, точки, ретикулярный рисунок, бело-голубая вуаль, полосы и их особенности, которым в данных работах не отводится достаточного внимания. Один из признаков злокачественности новообразования являются - линии. Линии не обязательно прямые, они могут быть ломанными, содержать узлы [8].

В статье [8] приведено медицинское описание линий. «Линия» - это не прерывающийся на определенном расстоянии двумерный объект, длина которого намного больше его ширины. Под толстыми линиями, согласно авторам, понимают линии, пересекающие друг друга под прямым (ретикулярные линии) или не под прямым углом (разветвленные линии), причем размер (ширина) этих линий больше, чем размер пространства, которые они образуют при взаимном пересечении. На рис. 1 представлено дерматоскопическое изображение меланомы кожи, демонстрирующей пример толстых коричневых ретикулярных.

Фиг. 1. Линии (местами разветвленные), причем линии определяются по периферии новообразования.

Если радиальные линии и/или псевдоподии, располагаясь по периферии, занимают весь край дерматоскопического изображения новообразования, такой узор считается патогномоничным для невуса Рида или шпицоидной меланомы. Эти две нозологические единицы дерматоскопически и тем более клинически часто невозможно отличить друг от друга, поэтому с диагностической и с лечебной целью такие новообразования кожи целесообразно удалять. В случае если расположенные радиально линии и/или псевдоподии занимают не всю площадь краевой зоны изображения, а только его часть, то этот признак учитывается в алгоритме как маркер злокачественности опухоли.

Статья [9] подтверждает значимость поиска структурных элементов линий, т.к. согласно исследованиям, приведенным в статье, наиболее часто встречающимися дерматоскопическими признаками при меланоме кожи были следующие: бело-голубая вуаль, белые блестящие полосы (линии), а также асимметрия пигментации (пигментация также может быть составлена из линий)

В статье [10] проводилась оценка по множеству признаков, относящихся к клиническим и дерматоскопическим образцам, цветам и подсказкам. Отмечена значимость выявления объектов-линий (присутствующих в изображениях линий и сосудов меланомы). Результаты записывались в электронные таблицы, которые также содержали коды пациентов и поражений, а также демографические данные. Затем три рецензента совещались, чтобы разрешить каждый случай. В отсутствие единодушного консенсуса и дихотомии всех переменных решение было принято большинством голосов. Дерматоскопическая оценка проводилась в соответствии с пересмотренным анализом паттернов (RPA) с оценкой паттернов и цветов, включая симметрию признаков, и, наконец, пигментированных и белых признаков, а также признаков сосудов. Согласно RPA, паттерны состоят из многократных повторений основных структур (линий, псевдоподов, кругов, комков и точек), и любая область, достаточно значительная для формирования паттерна, в котором нет преобладающей базовой структуры, называется бесструктурной. Бесструктурный узор может включать в себя несколько разбросанных структур, таких как линии, круги или точки, и в этом случае эти структуры получают статус подсказок.

В работах [11-13] описаны алгоритмы распознавания объектов линий в других различных областях исследований, не связанных с меланомой. Однако такие же модели компьютерных алгоритмов распознавания приемлемы и для меланомы.

Статья [11] с точки зрения математики описывает возможность указать параметры семейства кривых и обеспечить поиск на изображении множества кривых заданного семейства. В статье описан алгоритм, который может использоваться для обнаружения простых фигур, таких как прямые, окружности или эллипсы на изображениях. Идея заключается в проверке находятся ли точки с изображения на одной прямой в пространстве. Каждой точке с полярными координатами (r0, q0) пространства (r, q)можно поставить в соответствие счетчик, соответствующий количеству точек (х, у), лежащих на прямой х × cosq0 + у × sinq0 = r0. Таким образом, достаточно выбрать на изображении, построенном в полярных координатах, самые "жирные пятна", получив тем самым параметры соответствующей прямой.

Для проведения экспериментальных исследований нахождения контуров в работе [12], состоящих из прямых линий, на примере фасадов зданий и интерьера внутри помещений, было разработано программное обеспечение, позволяющее выполнять формирование контурных представлений на основе яркости изображения. В статье для формирования контуров рассматривается преобразование цветов моделей YUV, HLS; и методы Робертса, Собеля, Лапласа и Превита; бинаризация изображения осуществляется методом Отсу или путем задания минимального и максимального значения порога. Для анализа методов формирования контурных представлений был проведен ряд экспериментов, в которых на тестовых фотографиях отмечались важные линии (каркасные линии, имеющие значение при построении модели помещения). Оценки методов формирования контурных представлений осуществлялось для бинаризации методом Отсу и с использованием адаптивного порога на основе максимальных и минимальных значений гистограммы. Бинаризация со статическим порогом была исключена, поскольку она очень сильно зависит от величины отклика, полученного при формировании контурного представления, и условий освещения во время съемки. В качестве оценки использовались следующие критерии: процент точного определения искомых линий, процент дублирующих линий, процент ложно обнаруженных линий.

Одним из самых эффективных методов формирования контурного представления для поиска линий является метод Собела. По точности определения искомых линий он превышает остальные методы на 8-30%. Но его существенным недостатком является то, что на месте одной линии он находит несколько (с равным углом и сходным расстоянием). Количество этих линий лишь немногим меньше, чем в методе Превита. Характерной особенностью этих линий является достаточно большой разброс (2-6 пикселов), в отличие от метода Лапласа (0-3 пиксела). Метод Собеля также находит большое количество посторонних (не основных) линий, причем по их количеству он уступает лишь методу Робертса на 7-8%.

В итоге выбор метода формирования контурного представления в большей степени зависит от решаемых задач: если требуется найти как можно больше верных линий, то метод Собеля будет наилучшим выбором; если же требуется, чтобы среди найденных линий присутствовало как можно меньше ложно определенных линий и допускается небольшая потеря основных линий, то целесообразно использование метода Лапласа. Для компенсации дублирующихся линий предлагается ввести следующую модификацию: при нахождении линий с одинаковым углом и сходной длиной перпендикуляра (различия на 2-4 пиксела) следует объединять их в одну линию, при этом итоговая длина перпендикуляра будет вычисляться как среднее арифметическое значение. Данная модификация позволит улучшить показатели методов Лапласа и Робертса за счет малого разброса их дублирующихся линий. По предварительным оценкам в методах Собела и Превита количество дублирующихся линий с применением модификации сократится в среднем на 60-70%.

Однако метод поиска линий, описанные в статьях [11, 12] больше подходит для искусственно созданных объектов (линий домов и других объектов на карте). Линии меланомы имеют более изломанную, изрезанную форму, по факту расположения пикселей (они не находятся на одной прямой), структурные элементы линий новообразований кожи алгоритмически могут походить на поиск окружностей.

В работе [13] решается задача поиска линий кровеносных сосудов на биомедицинских изображениях. Метод заключается в представлении изображений в виде взвешенного графа, с весами ребер, определяемыми по исходному изображению с использованием нечеткого поля направлений. Далее, для пары опорных точек производится поиск кратчайшего пути по графу из начальной вершины в конечную, соответствующих начальной и конечной опорным точкам на изображении. Для оптимизации пути используется алгоритм Дийкстра. По словам авторов работы [13] - данный метод позволяет повысить качество и точность получаемого результата. Стоит отметить, что качество оценивалось визуально. Проведенный авторами вычислительный эксперимент показал устойчивость метода к различным характеристикам изображения (шум, сильное искривление сосудов и др.). Помимо приложения данного метода к анализу кровеносных сосудов на биомедицинских изображениях метод может быть успешно применен в ряде смежных областей анализа сетчатых и древовидных структур, таких как задачи анализа изображений интерферометрических полос, задачи анализа результатов каротажных измерений и др., например, линии на изображениях новообразований кожи.

Разработан анализ структурных элементов линий непосредственно на новообразованиях кожи.

Работы [14-15] описывают модель автоматической системы диагностики новообразований кожи, состоящую из 5 основных этапов: первый этап - подготовка изображений; второй этап - предобработка - фильтрация от шумов и устранение, учет особенностей освещенности; третий этап - количественная оценка геометрических и колориметрических свойств поражения, здесь используется процесс сегментации, который позволяет пометить каждый пиксель всего изображения как принадлежащий поражению или безопасной коже; четвертый этап - количественная оценка 5-классификация. Особое внимание в работах уделяется описанию возможных алгоритмов сегментации. Необходимой стадией перед обнаружением линий является обнаружение границ новообразования, которые могут быть найдены с использованием классических детекторов краев (Собеля, Канни и т.д.) Создают набор краев, оставляя выбор границы на усмотрение человека-наблюдателя. Некоторые из проблем, отмеченных при использовании этих методов, связаны с наличием острых краев, которые не являются частью границы опухоли. Применяется фильтрация низких частот для удаления пор кожи, волос и других острых краев, которые создают размытую границу поражения. Существуют исследования, обозреваемые в данных статьях, которые предполагают, что поражение кожи должно быть оценочно центрировано в поле зрения камеры на этапе получения изображения. В таком случае метод радиального поиска является одним из возможных подходов к обнаружению границ. Этот метод исходит изнутри рассматриваемого объекта по радиальным линиям в поисках границы объекта. Затем вычисления выполняются только в интересующей области. Этот метод гарантирует нахождение пересечения границы вдоль каждой радиальной линии. Несоответствующие точки удаляются, а подтвержденные точки соединяются.

В статьях [14-15] рассматриваются методы выделения границ новообразования, однако само новообразование могло бы быть в свою очередь также разбито на интересующие области, а в этих областях были бы найдены границы- которые уже соответствовали бы линиям, таким образом можно подчеркнуть значимость и приемлемость алгоритмов Отсу и радиального поиска в задаче поиска линий, например, складывающихся в пигментную сеть (линии могут образовывать сеть). Выделение области новообразования часть этой задачи, однако в данной статье поиск структурных элементов линий непосредственно внутри новообразования не представлен.

Стоит отметить, что для ранней диагностики меланомы очень важен удельный вес атипичной пигментной сети. Пигментная сеть- рисунок складывающийся из элементов линий.

Система [16] основана на выравнивании гистограммы изображения и применения некоторых морфологических операций для выделения структуры линий пигментной сети. В работе [17] для тех же целей автор использовал дифференциальную геометрию и гессиан функции. Также применение методов на основе гессиана представлено в системе [18]. В работе [19] предложен вариант использования энергетических масок и матрицы зависимости соседнего уровня среднего. В исследованиях [20, 21] применяется теория графов для выделения линий сеточной структуры.

Недостаток описанных способов и аппаратуры заключается в отсутствии возможности обнаружения структурных элементов пигментных «линий» именно на новообразованиях кожи, особенно применительно к меланоме, что существенно снижает достоверность диагностики.

Наиболее близким к представленному техническому решению является способ, раскрытый в опубликованной патентной заявке AU 2015307296 A1 под названием «Оценка кожных следов, например, родинки, невусы, опухоли, рубцы». Он основан на анализе изображения поражения на коже субъекта и включает:

- регистрацию дерматоскопического видеоизображения кожи;

- измерение и выделение пораженного участка на видеоизображении;

- измерение координат и сегментирование изображения пораженного участка;

- выбор диагностического признака изображения для формирования диагноза;

- измерение параметров признака и сравнение параметров выбранного признака с библиотекой заранее определенных параметров признака,

- формирование диагноза поражения на основе сравнения параметров любого признака, выбранного из группы признаков: цвет, граница, асимметрия и текстура изображения с параметрами диагностического признака изображения.

Недостатком известного способа, принятого в качестве прототипа, является невозможность обнаружения структурных элементов пигментных «линий» именно на новообразованиях кожи, особенно применительно к меланоме, что существенно снижает достоверность диагностики, в т.ч. и за счет недостаточно качественного видеоизображения диагностируемого участка кожи.

Таким образом, имеется потребность в создании способа, устраняющего указанные недостатки.

Сущность изобретения

Техническим результатом изобретения является повышение объективности, информативности и достоверности в постановке диагноза меланомы кожного покрова за счет нового способа повышения качества регистрируемого видеоизображения диагностируемого участка кожного покрова и нового способа выделения структурных элементов «линий» на дерматоскопических изображениях кожи и дополнительного врачебного заключения, проведенного в интерактивном режиме, с использованием эталонных изображений из базы знаний.

Определение линий. «Линия» - это не прерывающийся на определенном расстоянии двумерный объект (группа соседствующих пикселей), длина которого намного больше его ширины, могут быть выделены типы линии на изображения, на которых алгоритм работает хорошо, и группы изображений, где есть перспективы для улучшений.

Указанный технический результат достигается за счет того, что в известном способе диагностики меланомы кожи,

- регистрацию дерматоскопического видеоизображения кожи;

- измерение и выделение пораженного участка на видеоизображении;

- измерение координат и сегментировании изображения характерного участка (который представляет собой пораженный участок),

- выбор диагностического признака изображения для формирования диагноза;

- измерение параметров признака и сравнение параметров выбранного признака с библиотекой заранее определенных параметров признака,

- формирование диагноза поражения на основе сравнения параметров любого признака, выбранного из группы признаков: цвет, граница, асимметрия и текстура изображения с параметрами диагностического признака изображения,

дополнительно после регистрации дерматоскопического видеоизображения участка кожи и перед выбором диагностического признака изображения для формирования диагноза осуществляют:

а) задают критерий качества видеоизображения q кожи для обеспечения достоверного анализа видеоизображения и диагностики меланомы,

б) проводят повторную по меньшей мере одну регистрацию дерматоскопического видеоизображения того же участка кожи,

в) измеряют значения пикселей зарегистрированного видеоизображения где U - численное значение величины пикселей видеоизображения; i, j - целочисленные координаты (в декартовой системе) измеренного пикселя на поверхности кожи; i=1…I, j=1…J, здесь I, J - наибольшее значение координат i, j - соответственно; n - номер зарегистрированного видеоизображения,

г) накладывают зарегистрированные цифровые видеоизображения участков кожи друг на друга:

где k=1…N - количество наложенных видеоизображений; здесь N - наибольшее число зарегистрированных и наложенных видеоизображений,

д) измеряют значения пикселей наложенного видеоизображения,

е) измеряют среднее значение величины пикселей k наложенных видеоизображений:

ж) измеряют среднеквадратичное отклонение (СКО) σ_к величин пикселей k наложенных видеоизображений, характеризующее величину шума:

з) определяют отношение сигнал/шум (С/Ш) для k наложенных видеоизображений:

и) определяют необходимость продолжения регистрации видеоизображений кожи, сравнивая полученное отношение (С/Ш) с заданным критерием качества видеоизображения q = сигнал/шум следующим образом:

- при условии с/ш<q выполняют действия б)- и),

к) далее выбирают характерные участки (m ∈ М) всего зарегистрированного изображения кожи по признаку наличия интенсивности аномалий, где m - номер участка М - количество характерных участков,

л) определяют пороговое значение бинаризации (Р₀) по всей площади изображения М,

м) определяют адаптивное пороговое значения бинаризации (P_m), по характерным участкам изображения,

н) осуществляют бинаризацию и измеряют полученные результаты B_i,j,0 по всей площади зарегистрированного изображения путем сравнения значений пикселей с пороговым значением Р₀:

о) осуществляют бинаризацию и измеряют полученные результаты по характерным участкам площади изображения B_i,j,m путем сравнения значений пикселей m-го участка (U_i,j,m) с пороговым значением (P_m):

п) измеряют результаты комбинированной бинаризации , полученной путем наложения операцией «логическое И» измеренных результатов бинаризации изображения B_i,j,0 на результат бинаризации B_i,j,m адаптивного порога P_k для снижения уровня шумов фона и однородностей внутри площади изображения меланомы:

р) осуществляют дилатацию изображения комбинированной бинаризации - последовательное закрытие и открытие комбинированного бинаризованного изображения для построения скелета линий путем заливки разрывов линии малых размеров (мелких пикселей - менее 5) внутри линий и сглаживания границ,

с) осуществляют эрозию измеренного комбинированного бинаризованного изображения для сглаживание краев линий,

т) осуществляют скелетизацию измеренного комбинированного бинаризованного изображения со сглаженными краями линий, формирующих скелет линий, и

у) осуществляют фильтрацию скелетизации измеренного комбинированного бинаризованного изображения и измерение полученных результатов для устранения ложных отростков скелетных линий.

Критерий качества видеоизображения q для обеспечения достоверного анализа видеоизображения и диагностики меланомы принимают равным от 3 до 7. Обычно значение «q» принимают равное или больше 3: q ≥ 3. Это обосновывается методами статистики и теории вероятности. В соответствии с этими теориями, при нормальном распределении сигнала (распределении Гаусса, такое распределение имеет место в подавляющем большинстве случаев на практике) при отношении сигнал/шум q = 3 вероятность обнаружения сигнала на фоне шума равна 0,97. Для большинства практических задач значение этой вероятности достаточно. Если нужна большая вероятность обнаружения, то отношение сигнал/шум принимают больше 3.

Пороговое значение бинаризации (Р₀) определяют по всей площади изображения М гистограммным методом (см. например, Барынин В.А., Будадин О.Н., Кульков А.А. Современные технологии неразрушающего контроля конструкций из полимерных композиционных материалов. - М.: Издательский дом Спектр, 2013, 242 с.).

Адаптивное пороговое значения бинаризации (P_m) определяют по характерным участкам изображения гистограммным методом.

Скелетизацию измеренного комбинированного бинаризованного изображения со сглаженными краями линий осуществляют методом Зонга-Суня (см. например, О.Г. Шевчук, В.Ю. Цветков. Нормализация контурных линий по толщине на основании анализа локальных ориентаций их фрагментов. - Информатика, 2016, июль, с. 14-24.).

Описание графических материалов

Изобретение поясняется чертежами, где на

Фиг. 1 - приведена структурная схема аппаратно-программного комплекса.

Фиг. 2 - приведен Интерфейс системы, предназначенный для выполнения диагностики (изображение новообразования кожи, полученное с помощью дерматоскопа РДС-2, загружено и обработано).

Фиг. 3 - приведены примеры изображений из четырех групп после обработки (1) изображения с розовым фоном кожи, с присутствием линий сосудов, выделена область с розовым фоном, где выделяются ненужные линии фона 2) изображения, где область новообразования «смазанная», нет четкости, и элементы, границы и цвет кажутся размытыми, 3 Новообразования которые в центре имеют темно коричневый пигмент и цвет линий тоже темно-коричневый, слабо контрастирует с фоном, 4) группа стандартных новообразований, где окраска кожи бежевого оттенка).

Фиг. 4 - приведен пример изображения: А) группы 4) - обычное новообразование; Б) группы 2) - смазанное по краям, но с хорошим выделением границ; В) группы 3) - темное в центре; Г) с не очень качественным выделением линий новообразований на розовом фоне, группы 1).

Фиг. 5 - приведен пример успешного применения алгоритма на изображении А) с розовым, но менее контрастным для линий фоном; Б) с обычным фоном.

На приведенных фигурах приняты следующие обозначения.

1 - поверхность кожи,

2 - устройство видеорегистрации,

3 - угловое поле обзора устройства видеорегистрации,

4 - счетчик регистрации видеоизображений,

5 - второй блок памяти,

6 - третий блок памяти,

7 - первый сумматор,

8 - первый блок памяти констант,

9 - блок измерения СКО,

10 - делитель (определение с/ш),

11 - первый блок сравнения (с/ш≥<q),

12 - ключ,

13 - программный комплекс - блок обработки и выработки диагностического заключения,

14 - ключ,

15 - делитель,

16 - поле обзора в пространстве предмета,

17 - изображения с преобладанием розового цвета на новообразовании и вокруг него, зачастую краснота обусловлена присутствием линий сосудов, где выделяются ненужные линии фона,

18 - изображения, где область новообразования «смазанная», нет четкости, и элементы, границы и цвет кажутся размытыми,

19 - изображения, где новообразования, которые в центре имеют темно коричневый пигмент и цвет линий тоже темно-коричневый, слабо контрастирует с фоном,

20 - группа стандартных новообразований, где окраска кожи бежевого оттенка),

21 - изображение группы 20 - обычное новообразование,

22 - изображение группы 18 - смазанное по краям, но с хорошим выделением границ,

23 - изображение группы 19 - темное в центре,

24 - изображение новообразования на коже с большим количеством сосудов, придающих красный оттенок коже - группы 17,

25 - итоговое изображение для анализа,

26 - итоговое изображение для анализа увеличенное.

Осуществление изобретения

Заявленный способ реализуется с помощью программно-аппаратного комплекса (фиг.1) следующим образом.

Регистратор видеоизображения (2) (дерматоскоп РДС-2) осуществляет регистрацию видеоизображения - пиксели участка кожи (1) в области поля обзора (3) и измеряет эти величины.

Сигнал о начале регистрации видеоизображения поступает в первый блок памяти (8), который по данному сигналу выдает хранящиеся данные на соответствующие блоки программно-аппаратного комплекса для дальнейшей обработки информации: величину отношения сигнал/шум (q), максимальное значение поля обзора в плоскости изображения (на участке кожи)в пикселях - I, J.

Одновременно видеоизображение в виде пикселей с регистратора (2) поступает на счетчик регистрации видеоизображений (4) и по этому сигналу счетчик (4) начинает подсчет количества зарегистрированных видеоизображений (n).

С блока (4) видеоизображение в виде пикселей поступает во второй блок памяти (5).

Одновременно сигнал о номере зарегистрированного видеоизображения со счетчика (4) поступает в ключ (14).

Если зарегистрировано первое изображение (n=1), то видеоизображение через ключ (14) поступает в первый сумматор (7).

Когда зарегистрируется второе изображение (n=2) видеоизображение в виде пикселей с блока (4) поступает в третий блок памяти (6).

Одновременно второе видеоизображение из блока (6) поступает в первый сумматор (7), где суммируется с первым видеоизображение:

Одновременно в первом сумматоре (7) осуществляется измерение суммарного видеоизображения (k):

Далее видеоизображение из первого сумматора (7) передается в делитель (15). Одновременно, из первого блока памяти (8) в делитель (15) передаются значения поля обзора - I, J.

В делителе (8) осуществляется измерение среднего значения видеоизображения:

Среднее значение видеоизображения поступает в блок измерения среднеквадратичного значения видеоизображений (9). Одновременно в блок (9) поступает суммарное значение видеоизображение из первого сумматора (7). В блоке (9) осуществляется измерение среднеквадратичное значение видеоизображения:

Из блока (9) среднеквадратичное значение видеоизображения поступает в делитель (10). Одновременно в делитель (10) из блока (8) поступает среднее значение видеоизображения. В делителе (10) происходит измерение величины сигнал/шум:

Из блока (10) значение сигнал/шум передается в блок сравнения (11). Одновременно в блок (11) поступает заданное значение сигнал/шум (q) из первого блока памяти (8). В блоке сравнения (11) осуществляется сравнение измеренной величины с/ш с заданной величиной величины (q) и принимается решение о дальнейших действиях:

Если с/ш <q то в блок памяти (3) из блока (11) поступает соответствующий сигнал и происходит описанная выше обработка видеоизображения блоками (2-11). В противном случае видеоизображение поступает на дальнейшую обработку для выработки диагностического заключения в блок (13) - программный комплекс - блок обработки и выработки диагностического заключения.

Все используемые электронные блоки построены на основе стандартных микропроцессорных схем и микропроцессорных сборок с перепрограммируемыми запоминающими устройствами, а система управления выключением/включением системы нагружения построена на стандартных релейных системах (см. например, Угрюмов Е.П. Цифровая схемотехника: учебн. пособие для вузов. - 3-е изд. перераб. и доп. - СПб.: - БХВ-Петербург, 2010.).

Для выполнения диагностики и оценки степени злокачественности меланомы по заявляемому способу разработан программно-аппаратный комплекс (фиг.1), включающий регистратор видеоизображения, подключенный к компьютеру и специальное программное обеспечение.

Блок (13) программный комплекс обеспечивает выдачу диагностического заключения в соответствии с заявляемым способом на основе выделения структурных элементов «линий» - признаков меланомы на дерматоскопических изображениях кожи М:

Здесь I - входное изображение, В - бинаризация по яркости, D - дилатация, Е - эрозия, А - повторная дилатация, S - скелетизация, F - фильтрация ложных фрагментов линий, О - выходное изображение с наложенными на него остовами распознанных линий.

Данная структурная схема программного обеспечения позволяет для структурных элементов «линий» на изображениях новообразований кожи построить остов («скелет») для визуализации результатов распознавания линий на изображениях новообразований кожи. Операции бинаризации, дилатации и эрозии, а также скелетизации раскрыты в источниках 22-24.

Входное изображение I

На вход системы поступают изображения кожных новообразований, сделанные при помощи дерматоскопа I.

На фиг.2 приведен пример изображения новообразования кожи, полученный с помощью дерматоскопа РДС-2.

Бинаризация В

Прежде чем построить скелет линий необходимо выполнить выделение области новообразования на фоне кожи, на которой потенциально может находиться «линия». Задача решается в два этапа - сначала выделяется область на изображении, относящаяся к области новообразования. На втором этапе выполняется выделение локально темных областей, которые потенциально могут представлять линии. Эта процедура выполняется с помощью метода комбинированной бинаризации. Она состоит из последовательного применения обычной бинаризации с заданным порогом, а затем адаптивной бинаризации. При этом пороговое значение сравнивается с гауссово-взвешенной суммой значений пикселей окрестностей, а не ее средним арифметическим.

Дилатация D

Функции дилатация (закрытие) применяется для уменьшения черных мелких точек внутри белых линий (на черно-белом бинаризованном изображении, то есть закрашивает маленькие черные точки на бинаризованном (черно-белом) изображении в белый. Во время бинаризации предположительные линии окрашиваются в белый, а фон в черный. Операция закрытия принята для того, чтобы изобразить линии непрерывными, не пустыми внутри, как бы сделать заливку фигуры «линии», контур которой удалось обнаружить. В дальнейшем это будет важно для построения непрерывного скелета.

Эрозия Е

Функция эрозия (открытия) служит для сглаживания краев «линий». При разработке возникала проблема - «линии» у краев новообразования не выделялись, хотя и были видны невооруженным взглядом на изображение. Эта функция для устранения «изломанности» границ выделенных областей.

Повторная дилатация А

Дополнительно, не обязательно применяется функция закрытие еще раз. Стоит ее применить, если на изображении у краев новообразования есть «линия», сливающаяся с фоном. Или, например, сначала идет темная «линия», затем она сливается с фоном где-то в середине новообразования, затем «линия» снова четкая, темная. Эта функция нужна чтобы закрасить скелет такой «линии целиком».

Скелетизация S

В основе скелетизации лежит применение алгоритма Зонг-Суня со скользящей утончающей маской размером 3×3 пиксела. Осуществляется в две последовательные итерации [Zhang T.Y., Suen С.Y. A fast parallel algorithm for thinning digital patterns. // Comm. of ACM. - 1984. - Vol. 27, N 3. - P. 236-239]. Получаем выделенные линии.

Фильтрация F

Для устранения ложных ветвей отростков построенного «скелета» дополнительно выполняется операция фильтрации отростков. Алгоритм отсечения отростков, где величина порога рассчитывается по евклидовому пространству как корень из суммы квадратов разностей между значениями координат по х и по у точек, представляющих начало линии и конец ее ветвления, если это расстояние меньше заданного значения порога, то линия удаляется.

Представление данных О

Далее, для представления результатов выделения элементов линий можно сравнить одновременно обработанное изображение и исходное, также можно сохранять обработанное изображение в файл.

Результаты экспериментальных исследований.

Проведен эксперимент на 80 пациентах (80 изображений кожного покрова). Выделены типы изображений, на которых алгоритм работает хорошо, и группы изображений, где есть перспективы для улучшений.

Условно поделили изображения кожи на следующие типы:

17- изображения с розовым фоном кожи, с присутствием линий сосудов,

18- изображения, где область новообразования «смазанная», нет четкости, и элементы, границы и цвет кажутся размытыми,

19- новообразования которые в центре имеют темно коричневый пигмент и цвет линий тоже темно-коричневый, слабо контрастирует с фоном,

20- группа стандартных новообразований, где окраска кожи бежевого оттенка, не красноватая, а цвет линий хорошо контрастирует с цветом новообразования (фиг.3).

Для группы изображений (20) алгоритм отлично себя продемонстрировал фиг.3, фиг.4.

Предлагаемый способ решает проблему по выделению скелета линий у краев новообразований и построения цельного скелета линий даже на смазанных участках новообразований, что является актуальным для группы изображений группы (18), представленной на фиг.3. Результаты применения предложенного подхода представлены на фиг.4 (22-24) различных типов новообразований кожи.

Для изображений групп (17) и (19) предлагаемый способ «работает» хуже: на розовых изображениях (17) выделяются либо лишние участки, соответствующие сосудам или пигменту кожи, либо наоборот часть линий не выделяется, как принимаемая за фон - кожу; на изображениях (19) выделяются линии по периферии и там где есть достаточный контраст, но наличие черного и темно-коричневого цвета в центре в любом случае привлекает дополнительное внимание и будет исследовано специалистом в области дерматоскопии.

Однако даже для изображений группы (17) и (19) способ «работает» неплохо (21-24).

При этом в ходе эксперимента подобраны оптимальные параметры для предлагаемого способа, применимые для изображений всех групп, пример успешной обработки на фиг.5 (25-26).

Порог обычной бинаризации составляет 132 (среднеквадратичное отклонение (СКО) = 15). Размер окрестности для адаптивной бинаризации 139 (СКО = 13). Параметр смещения яркости для адаптивной бинаризации равен 8, Размер ядра при операции закрытия 5×5, при операции открытия 2×2. Порог фильтрации отростков в диапазоне 5-20 пкс.

В таблице 1 представлены результаты эксперимента по выделению линий с помощью разработанной программы. Методика эксперимента включала выделение линий в соответствии с заявляемым способом, измерение числа верно выделенных, пропущенных и избыточных линий.

Точность выделения оценивалась по формуле:

где TP - количество верно выделенных линий, FN-количество пропущенных при выделении линий, IN - количество избыточно выделенных линий (лишних линий).

Точность выделения линий по заявляемому способу:

Асс(СП) = 1618/(1618+268+18)×100% = 85%

Точность выделения линий по способу, принятому в качестве прототипа:

Асс(СП) = 765/(765+484+60)×100% = 58%.

Заключение

Представленный способ диагностики меланомы кожи повышает достоверность и объективность диагностики путем анализа изображения поверхности кожи на основе выделения структурных элементов новообразований кожи - «линий», а также за счет проведения повторной по меньшей мере одной регистрации дерматоскопического видеоизображения того же участка кожи, используемой для повышения точности и достоверности результата.

Отличительная особенность предлагаемого способа - применение бинаризации с единым порогом в сочетании с адаптивной бинаризацией, последующими морфологическими операциями «закрытие» и «открытие», построением скелета линий методом Зонга-Суня и реализации способа отсечения отростков.

Экспериментальные исследования показали, что достоверность выделения линий составила 85%, что в 1,5 раза выше, чем в известном способе, принятом в качестве прототипа.

Полученные результаты показывают, что есть перспектива получения более информативных изображений участка кожи, а, следовательно, более достоверной диагностики меланомы кожи.

Представленный способ не заменяет врача, а является средством поддержки принятия врачебного диагностического решения. Окончательное решение о диагнозе принимает врач.

Представленный способ позволяет врачу сосредоточиться на анализе пораженных участков кожи, не «тратя» зрение и время на подробный анализ «безопасных зон» при поиске «опасных зон».

Список литературных источников

1. Эберт М.А. и др. Современный взгляд на диагностику меланомы кожи. // Вопросы онкологии. 2019. Т. 65. №5. С. 638-644.

2. Zhuchkov M.V., Sharova N.M., Bol'shakova Е.Е., Sonin D.B. Dermatoscopic BRAAFF algorithm for diagnosis of acral melanoma. ConsiliumMedicum. 2020; 22 (7): 38-41.

3. Кудрин К.Г. и др. Ранняя диагностика меланомы кожи с применением нескольких изображающих систем. // Вопросы онкологии. 2020. Т. 128. №6. С. 820-831.

4. R. Oliveira, et. al. Computational Methods for Pigmented Skin Lesion Classification in Images: Review and Future Trends. Neural Computing and Applications (2016).

5. K. Munir, et. al. Cancer Diagnosis Using Deep Learning: A Bibliographic Review. Cancers 11 (2019).

6. A. Masood, et. al. Computer Aided Diagnostic Support System for Skin Cancer: A Review of Techniques and Algorithms. International Journal of Biomedical Imaging (2013).

7. R. Amelard, et. al. High-Level Intuitive Features (HLIFs) for Intuitive Skin Lesion Description. IEEE transactions on bio-medical engineering 62 (2014).

8. ЖучковМ.В., Булиньска A.K., Киттлер Г. Применениеалгоритма «ХаосиПризнаки» воценкедерматоскопическихизображенийпигментныхновообразованийкожи. Дерматология (Прил. к журн. ConsiliumMedicum). 2017; 2: 5-13.

9. Платонова А.В, Жуков А.С, ХайрутдиновВ.Р., Самцов А.В. Клинико-морфологическая характеристика псориатическойониходистрофии.// Известия российской военно-медицинской академии. Год: 2020. Том: 39.Номер: S3-3. Стр. 166-171.

10. Michael Inskip, Alan Cameron, BenguNisaAkay, MahdiehGorji, Simon P Clark, Nikita Rosendahl, MartelleCoetzer-Botha, Harald Kittler, Cliff Rosendahl/ (2020). Dermatoscopic features of pigmented intraepidermal carcinoma on the head and neck. JDDG: Journal Der DeutschenDermatologischenGesellschaft. doi: 10.1111/ddg. 14220.

11. M.A. Кудрина. Использование преобразования Хафа для обнаружения прямых линий и окружностей на изображении. // Известия Самарского научного центра Российской академии наук, т. 16, №4(2), 2014.

12. А.Г. Зотин, Ю.В. Борисов, А.С. Лисица. Сравнительный анализ методов формирования контурных представлений для поиска линий на основе метода Хафа. // Вестник СибГАУ. №1(47). 2013. С 24-30.

13. Н.Ю. Ильясова, А.О. Корепанов, П.М. Чикулаев. Метод выделения центральных линий кровеносных сосудов на диагностических изображениях // Компьютерная оптика №29. 2006 стр. 146-150.

14. K. Taouil and N. В. Romdhane, "Automatic Segmentation and classification of Skin Lesion Images," The 2nd International Conference on Distributed Frameworks for Multimedia Applications, Pulau Pinang, 2006, pp. 1-12, doi: 10.1109/DFMA.2006.296918.

15. K. Taouil, N. Ben Romdhane and M. S. Bouhlel, "A New Automatic Approach for Edge Detection of Skin Lesion Images," 2006 2nd International Conference on Information & Communication Technologies, Damascus, 2006, pp. 212-220, doi: 10.1109/ICTTA.2006.1684373.

16. Fischer S., Schmid P., Guillod J. Analysis of skin lesions with pigmented networks // IEEE International Conference on Image Processing. 1996. Vol. 1.

17. Fleming M.G. et al. Techniques for a structural analysis of dermatoscopic imagery // Comput. Med. Imaging Graph. 1998. Vol. 22, №5.

18. Grana C. et al. Line detection and texture characterization of network patterns // Proceedings - International Conference on Pattern Recognition. 2006. Vol.2.

19. Anantha M., Moss R.H., Stoecker W. V. Detection of pigment network in dermatoscopy images using texture analysis // Comput. Med. Imaging Graph. 2004. Vol.28, №5.

20. Sadeghi M. et al. Graph-based pigment network detection in skin images // Medical Imaging 2010: Image Processing. 2010. Vol.7623.

21. Sadeghi M. et al. A novel method for detection of pigment network in dermoscopic images using graphs // Comput. Med. ImagingGraph. 2011. Vol.35, №2.

22. Мохаммед З. X. M. H. Модификация алгоритма скелетизации зонга-суня для задачи распознавания рукописных символов // Моделирование, оптимизация информационные технологии. - 2018. - Т. 6. - №. 1. - С. 99-107.

23. Ломов Н.А., Местецкий Л.М. Методы вычисления морфологического спектра изображений на основе медиального представления //ББК 22 С23. - С. 156.

24. Патент РФ 2017660848. Кулькова Л.И., Фомин М.Б. Программа для ЭВМ. Система обработки цифровых изображений морфологическими методами эрозии и дилатации. - регистрация в фонде алгоритмов и программ 28.09.2017. Дата начала срока действия 02.08.2017. Номер заявки 2017617748.

Изобретение относится к медицине, а именно к онкологии, и может быть использовано для диагностики меланомы кожи. Способ включает регистрацию дерматоскопического видеоизображения кожи; измерение и выделение пораженного участка на видеоизображении; измерение координат и сегментировании изображения характерного участка; выбор диагностического признака изображения для формирования диагноза; измерение параметров признака и сравнение параметров выбранного признака с библиотекой заранее определенных параметров признака, формирование диагноза на основе сравнения параметров признака, выбранного из группы признаков: цвет, граница, асимметрия и текстура изображения с параметрами диагностического признака изображения. После регистрации дерматоскопического видеоизображения участка кожи и перед выбором диагностического признака изображения для формирования диагноза осуществляют следующие действия: задают критерий качества видеоизображения кожи для обеспечения достоверного анализа видеоизображения и диагностики меланомы, проводят повторную по меньшей мере одну регистрацию дерматоскопического видеоизображения того же участка кожи, измеряют значения пикселей зарегистрированного видеоизображения, накладывают зарегистрированные цифровые видеоизображения участков кожи друг на друга, измеряют значения пикселей наложенного видеоизображения, измеряют среднее значение величины пикселей наложенных видеоизображений, измеряют среднеквадратичное отклонение величин пикселей наложенных видеоизображений, характеризующее величину шума, определяют отношение сигнал/шум (С/Ш) для наложенных видеоизображений, определяют необходимость продолжения регистрации видеоизображений кожи, сравнивая полученное отношение (С/Ш) с заданным критерием качества видеоизображения. Далее выбирают характерные участки всего зарегистрированного изображения кожи по признаку наличия интенсивности аномалий, определяют пороговое значение бинаризации по всей площади изображения, определяют адаптивное пороговое значение бинаризации по характерным участкам изображения, осуществляют бинаризацию и измеряют полученные результаты по всей площади зарегистрированного изображения путем сравнения значений пикселей с пороговым значением. Осуществляют бинаризацию и измеряют полученные результаты по характерным участкам площади изображения. И измеряют результаты комбинированной бинаризации, полученной путем наложения операцией «логическое И» измеренных результатов бинаризации изображения на результат бинаризации адаптивного порога для снижения уровня шумов фона и однородностей внутри площади изображения меланомы. Осуществляют дилатацию изображения комбинированной бинаризации. Осуществляют эрозию измеренного комбинированного бинаризованного изображения для сглаживание краев линий, скелетизацию измеренного комбинированного бинаризованного изображения со сглаженными краями линий, формирующих скелет линий, фильтрацию скелетизации измеренного комбинированного бинаризованного изображения и измерение полученных результатов для устранения ложных отростков скелетных линий. Изобретение обеспечивает повышение объективности, информативности и достоверности при постановке диагноза меланомы кожного покрова. 4 з.п. ф-лы., 5 ил., 1 табл.

1. Способ определения границ новообразований на дерматоскопических изображениях кожи, включающий

- регистрацию дерматоскопического видеоизображения кожи;

- измерение и выделение характерного участка на видеоизображении;

- измерение координат и сегментирование изображения характерного участка;

- выбор диагностического признака изображения для формирования диагноза;

- измерение параметров признака и сравнение параметров выбранного признака с библиотекой заранее определенных параметров признака,

- формирование диагноза на основе сравнения параметров признака, выбранного из группы признаков: цвет, граница, асимметрия и текстура изображения с параметрами диагностического признака изображения,

отличающийся тем, что после регистрации дерматоскопического видеоизображения участка кожи и перед выбором диагностического признака изображения для формирования диагноза осуществляют следующие действия:

а) задают критерий качества видеоизображения q кожи для обеспечения достоверного анализа видеоизображения и диагностики меланомы,

б) проводят повторную по меньшей мере одну регистрацию дерматоскопического видеоизображения того же участка кожи,

в) измеряют значения пикселей зарегистрированного видеоизображения где U - численное значение величины пикселей видеоизображения; i, j - целочисленные координаты (в декартовой системе) измеренного пикселя на поверхности кожи; i=1…I, j=1…J, здесь I, J - наибольшее значение координат i, j - соответственно; n - номер зарегистрированного видеоизображения,

г) накладывают зарегистрированные цифровые видеоизображения участков кожи друг на друга:

где k=1…N - количество наложенных видеоизображений; здесь N - наибольшее число зарегистрированных и наложенных видеоизображений,

д) измеряют значения пикселей наложенного видеоизображения,

е) измеряют среднее значение величины пикселей k наложенных видеоизображений:

ж) измеряют среднеквадратичное отклонение (СКО) σ_k величин пикселей k наложенных видеоизображений, характеризующее величину шума:

з) определяют отношение сигнал/шум (С/Ш) для k наложенных видеоизображений:

и) определяют необходимость продолжения регистрации видеоизображений кожи, сравнивая полученное отношение (С/Ш) с заданным критерием качества видеоизображения q=сигнал/шум следующим образом:

- при условии с/ш<q выполняют действия б) - и),

к) далее выбирают характерные участки (m ∈ М) всего зарегистрированного изображения кожи по признаку наличия интенсивности аномалий, где m - номер участка, М - количество характерных участков,

л) определяют пороговое значение бинаризации (Р₀) по всей площади изображения М,

м) определяют адаптивное пороговое значения бинаризации (P_m), по характерным участкам изображения,

н) осуществляют бинаризацию и измеряют полученные результаты B_i,j,0 по всей площади зарегистрированного изображения путем сравнения значений пикселей с пороговым значением P₀:

о) осуществляют бинаризацию и измеряют полученные результаты по характерным участкам площади изображения B_i,j,m путем сравнения значений пикселей m-го участка (U_i,j,m) с пороговым значением (P_m):

п) измеряют результаты комбинированной бинаризации , полученной путем наложения операцией «логическое И» измеренных результатов бинаризации изображения B_i,j,0 на результат бинаризации B_i,j,m адаптивного порога P_k для снижения уровня шумов фона и однородностей внутри площади изображения меланомы:

р) осуществляют дилатацию изображения комбинированной бинаризации - последовательное закрытие и открытие комбинированного бинаризованного изображения для построения скелета линий путем заливки разрывов линии малых размеров (мелких пикселей - менее 5) внутри линий и сглаживания границ,

с) осуществляют эрозию измеренного комбинированного бинаризованного изображения для сглаживание краев линий,

т) осуществляют скелетизацию измеренного комбинированного бинаризованного изображения со сглаженными краями линий, формирующих скелет линий, и

у) осуществляют фильтрацию скелетизации измеренного комбинированного бинаризованного изображения и измерение полученных результатов для устранения ложных отростков скелетных линий.

2. Способ по п. 1, отличающийся тем, что критерий качества видеоизображения q для обеспечения достоверного анализа видеоизображения и диагностики меланомы принимают равным от 3 до 7.

3. Способ по п. 1, отличающийся тем, что пороговое значение бинаризации (P₀) определяют по всей площади изображения М гистограммным методом.

4. Способ по одному из пп. 1-3, отличающийся тем, что адаптивное пороговое значение бинаризации (P_m) определяют по характерным участкам изображения гистограммным методом.

5. Способ по п. 1, отличающийся тем, что скелетизацию измеренного комбинированного бинаризованного изображения со сглаженными краями линий осуществляют методом Зонга-Суня.