СПОСОБ АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ТОЛЩИНЫ СЛОЯ С НЕЧЕТКИМИ ГРАНИЦАМИ ПО ИЗОБРАЖЕНИЮ Российский патент 2015 года по МПК G06K9/34 G06K9/50 G06K9/52 

Предлагаемое изобретение относится к области цифровой обработки изображений, связанной с выделением и анализом сегментов. Сегментация, то есть выделение однородных областей на исходном цифровом изображении, является одной из наиболее важных задач в системах машинного зрения, которые применяются во многих научно-технических и производственных отраслях: медицине, металлографии, аэрофотосъемке, робототехнике, дефектоскопии, контрольно-измерительных системах и других.

Особый случай представляют задачи, в которых сегменты соответствуют слоям. В таких задачах, как определение качества покрытий, получаемых различными способами (наплавка, плакирование), анализ поверхностного слоя после механической или упрочняющей обработки, исследование структурного состава многокомпонентных покрытий, анализ изменений покрытий в процессе эксплуатации и восстановительного ремонта и т.п., необходимо определить толщину слоя и оценить границу между слоями. Нередко покрытие состоит из нескольких неоднородных зон, что затрудняет его анализ. Аналогичные проблемы возникают в медицине при исследовании структуры слоев органов и тканей, в аэрофотосъемке при мониторинге береговых линий, лесных полос, дорог и т.п.

Особенностью задачи является неоднородность слоя и нечеткость его границы. Неоднородность слоя определяется наличием отдельных структурных элементов, которые латерально размещаются вблизи границы слоя. Как правило, они расположены хаотично, не имеют четкой структуры и топологической организации, но при этом все располагаются до определенной максимальной глубины локализации в слое. Совокупность латеральных структурных элементов с максимальной глубиной расположения определяют нечеткую границу слоя. При этом существует базовая граница, которая является четко определенной и формируется либо относительно линии раздела слоев, либо внешней границы слоя. Латеральные структурные элементы образуют включения слоя и используются в качестве ключей для связывания и формирования нечеткой границы между слоями. Проблема определения нечеткой границы связана со сложностью разграничения слоев с учетом включений, расположенных на различной глубине, как следствие, это снижает точность расчета толщины и других параметров слоя.

Изображение слоя с включениями представляет собой неоднородную сегментную структуру. Оно определяется различными цветовыми и текстурными составляющими с изменяющимися частотными и яркостными характеристиками, что осложняет выделение сегментов в автоматическом режиме.

Известен классический подход к оценке и измерению толщины слоев, который заключается в ручном измерении при использовании микроскопа. Данный подход в настоящее время широко используется в исследовательских работах, например был применен при анализе диффузных слоев в работе [Гурьев А.М. Новый способ диффузионного термоциклического упрочнения поверхностей железоуглеродистых сплавов / Гурьев А.М., Лыгденов Б.Д., Иванов С.Г., Власова О.В., Кошелева Е.А., Гурьев М.А., Земляков С.А. // Ползуновский альманах. - 2008. - №3. - С. 10-16]. Толщина слоев измерялась на металлографическом микроскопе ручным способом. Погрешности ручного замера при точных измерениях связаны с ошибками, обусловленными человеческим фактором, который может быть связан с усталостью, невнимательностью, сложностью процесса измерения и многими другими факторами. Как правило, во многих исследованиях применяется ручной анализ, так как существует проблема автоматического определения границ слоев, имеющих неоднородную структуру.

Способы, которые решают данную проблему и выполняют автоматизированный анализ, используют предварительную сегментацию изображений, однако для определения толщины требуется указывать линии замеров. Для общей оценки толщины слоя выполняется усреднение замеров по заданным секущим. Критерии выборки таких секущих могут отличаться для различных типов материалов, однако применяется либо ручное определение местоположения данных секущих, либо автоматическое с разбивкой области интереса на заданное количество участков. Таким образом, все ключевые этапы требуют ручных операций.

Автоматизированное определение глубины покрытия слоя в реализации SIAMS 700 [Пресс-релиз SIAMS 700 №7 «Измерение глубины покрытия, слоя (полуавтомат)» [Электронный ресурс]. - Режим доступа: http://www.siams.com/releases/solutions/layer2.pdf. Дата доступа 19.06.2014] можно описать так:

- на исходном изображении пользователь указывает границы и направление слоя;

- задается шаг между секущими;

- производится выделение слоя, накладывается сетка секущих перпендикулярно направлению слоя и определяется толщина покрытия.

Недостатком данного способа является низкая степень автоматизации, выражающаяся: в необходимости ручного определения четкой границы слоя, фиксированном разделении области заданными секущими, отсутствии возможности анализа неоднородной структуры поверхностного слоя. Для корректной работы требуется однородное текстурное и яркостное представление слоя. При наличии нечеткой границы слоя, определяемой глубиной размещения отдельных включений, алгоритм будет давать сбой. Пример различия однородной и неоднородной области представлен на фиг. 1.

Другим способом, близким к предыдущему, является алгоритм [NEWAGE® МТ90 Series «Microhardness Traverse Testing System» [Электронный ресурс]. - Режим доступа: http://www.hardnesstesters.com/download/MT90-Series-Specification-Sheet.pdf. Дата доступа 19.06.2014]. Особенностью данного алгоритма является то, что его анализ основан на обработке изображения с целью распознавания меток, заранее нанесенных на микрошлифе металла. После распознавания и нахождения их координат анализ производится на основе методов конечных элементов, однако применение заранее проставленных меток не всегда представляется возможным, что делает данный подход очень узконаправленным.

Известен также способ ранней лесопатологической диагностики [Пат. 2189732 Рос. Федерация (C2), МПК A01G 23/00, G01V 8/00, G03B 42/08, G06F 19/00, 27.09.2002]. Способ ранней лесопатологической диагностики заключается в оценке характера лесопатологических участков на основе формы контуров областей по величине изрезанности. С математической точки зрения степень изрезанности контура является независимым топологическим признаком. В качестве числовой характеристики используется фрактальная размерность Хаусдорфа [P.A. Burrough. "Fractal dimensions of landscapes and other environmental data, Nature 294, 1981, p. 240]. Лесопатологические процессы изменяют структуру лесного ценоза и его различные морфологические признаки. Как результат - различные фрактальные размерности участков с различными признаками, по которым можно четко определить характер области. Применяя аналогичные рассуждения к анализу слоев при изучении материалов, можно установить однозначные зависимости между параметрами покрытий и фрактальной размерностью контура или площади слоев.

Наиболее близким к заявленному является способ сегментации [Пат. 2440609 Рос. Федерация (C1), МПК G06K 9/34, 20.01.2012]. Способ сегментации растровых изображений на основе выращивания и слияния областей описывающий способ, позволяющий выделять однородные области на заданном изображении. Сегментация производится методом выращивания и слияния областей. Во время сегментации используется вычисление вейвлет-статистики на многомасштабном градиентном изображении для получения текстурной информации, используемой как при выращивании, так и слиянии областей. На этапе выращивания кроме текстурного анализа может применяться и цветовой анализ.

Недостатком данного метода является то, что текстурные характеристики отделены от цветовых и не позволяют выполнять анализ неоднородных областей по всей совокупности признаков.

Технический результат предлагаемого способа выражается в:

- повышение точности выделения неоднородных областей на изображении слоя за счет совместного использования текстурной и цветовой информации как на этапе выращивания, так и слияния областей;

- выявление нечеткой границы слоя, образуемой латеральными неоднородными структурными элементами;

- определение толщины слоя с нечеткой границей, определяемой локализацией включений в прилегающих слоях;

- определение степени влияния включений на характеристики слоя, например микротвердость для покрытия.

Как следствие перечисленных результатов достигается повышение точности определения толщины слоя за счет автоматического выявления нечеткой границы.

Технический результат достигается тем, что способе автоматического определения толщины слоя с нечеткой границей по изображению, заключающемся в том, что производят сегментацию изображения, проводят границу раздела сегментов слоев, вычисляют фрактальную размерность линии границы, накладывают секущие перпендикулярно границе, проводят вычисления длины секущих и вычисляют среднее арифметическое значение толщины слоя, при этом сегментирование изображения производят автоматически методом выращивания и слияния областей с использованием минимизации многомерных функций гетерогенности как на этапе определяют центры тяжести неперекрывающихся сегментов включений с максимальной глубиной размещения в слое, по которым строят опорные секущие включений; выделяют опорные точки, в которых глубина размещения включения на секущих максимальна относительно базовой границы; по опорным точкам строят аппроксимирующую функцию, на основе которой вычисляют линию нечеткой границы методом скользящего окна вариативной ширины; рассчитывают фрактальную размерность линии нечеткой границы; при оценке толщины слоя и других параметров фрактальная размерность линии нечеткой границы учитывается в виде поправочного коэффициента.

Многомерные функции гетерогенности вычисляют как взвешенные расстояния в многомерных цветовом и текстурном пространствах.

Изобретение поясняется фигурами: фиг. 1 - различия между однородной областью с четкой границей (1) и неоднородной областью с нечеткой границей (2), фиг. 2 - схема предложенного алгоритма определения нечеткой границы, фиг. 3 - модель процесса определения границ сегмента, фиг. 4 - пример автоматической сегментации изображения и определение базовой границы (1), нечеткой границы включений (3), средней линии между базовой границей и нечеткой границей (2) в металлографии, фиг. 5 - пример автоматической сегментации изображения и определение базовой границы (1), нечеткой границы включений (3), средней линии между базовой границей и нечеткой границей (2) в медицине.

Способ осуществляют следующим образом.

Оригинальное изображение задается вектор-функцией, определенной на двумерном пространстве целых чисел как $$\overline{\text{f}}\text{(x}\text{,y)}\in {\overline{\text{p}}}_{\text{x}\text{,y}}$$ , где вектор $$\overline{\text{p}}\in {\text{[p}}^{\text{R}}{\text{,p}}^{\text{G}}{\text{,p}}^{\text{B}}\text{] }$$ определяет значение цвета пикселя в трехмерном цветовом пространстве RGB.

Сегментация выполняется методом выращивания и слияния областей. Информация о цвете и текстуре учитывается как на этапе выращивания, так и на этапе слияния областей, что позволяет выделять области с высокой точностью. Близость граничного пикселя, лежащего на внешней границе Gr исследуемой области, будут определять:

- расстояние α (цветовое) между значением цвета пиксела и средним цветовым значением области, $${\alpha }_{\text{õ}\text{, ó}}=\text{D(}{\overline{\text{g}}}_{\text{x}\text{,y}}\text{,}\overline{\text{M}}\text{(Reg))}$$ , где $${\overline{\text{g}}}_{\text{x }\text{,ó}}={\overline{\text{ð}}}_{\text{õ}\text{,y}}$$ , $${\overline{\text{g}}}_{\text{x}\text{,y}}\in \text{ Gr}$$ , $$\overline{M}$$ - оператор расчета средней точки в трехмерном RGB-пространстве области Reg;

- расстояние β (текстурное) в Z-мерном пространстве вейвлет-статистики $${\text{W}}_{\text{õ}\text{,ó}}^{\text{l}}$$ , l=1, 2, …, Z между вектором $${\overline{\text{w}}}_{{}_{\text{Gr}\text{,x}\text{,y}}}^{\text{Z}}$$ , описывающим вейвлет-статистику для анализируемого пикселя, принадлежащим граничному пикселю, и средним текстурным значением для соответствующей области.

Схема присоединения пикселей к сегментам проиллюстрирована на фиг. 3. На этапе выращивания для каждого пикселя P_b, еще не присоединенного к сегменту, производится расчет функции гетерогенности $$H_{b,i}^{\text{Growing}}$$ для соотношения пар «граничный пиксель-сегмент» L_b,i по следующей формуле

где w_l - весовой коэффициент значимости компоненты функции гетерогенности для l-го масштабного уровня сегмента, l∈[0…Z];

i - индекс сегмента S.

Определение того, какой пиксель должен быть присоединен на данном шаге, заключается в поиске оптимальной пары «граничный пиксель - сегмент» L^opt на всем пространстве сегментации. Критерий оптимального выбора пары L^opt представлен формулой

где N(P_b, S_i) - предикат смежности граничного пикселя P_b и сегмента S_i в пространстве изображения.

Аналогичные рассуждения применяются и на этапе слияния, только для соотношений «сегмент - граничный сегмент». Формула для расчета значения функции гетерогенности $$H_{i,j}^{\text{Merge}}$$ на этапе слияния имеет вид

где $$D\left({\overline{A}}_i^l,{\overline{A}}_j^l\right)$$ - евклидово расстояние в RGB-пространстве между сегментами S_i и S_j,

$$D\left({\overline{B}}_i^l,{\overline{B}}_j^l\right)$$ - евклидово расстояние в Z-мерном пространстве вейвлет-статистики между сегментами S_i и S_j для определения текстурной близости.

Характеристики сегментов уточняются в процессе сегментации, что ведет к адаптивности процесса сегментации.

Граница между указанными слоями является базовой, она представляет из себя четкое разделение сегментов по линии их соприкосновения. В сегменте, в котором располагается нечеткая граница, присутствуют включения, однако их концентрация низкая. Для определения опорных секущих включений $$C{r}_i^{ref}$$ производится проход вдоль линии раздела. Во время данного прохода производится поиск неперекрывающихся включений S_inc с максимальной глубиной расположения относительно базовой границы В. После нахождения неперекрывающихся включений производится вычисление опорных секущих включений. Они проходят через центры тяжестей сегментов включений.

где D(S_inc, B) - евклидово расстояние между максимальным отдалением сегмента включения и базовой границей в секущей, проходящем через центр тяжести сегмента включения.

Для нахождения аппроксимированной нечеткой границы применяется метод скользящего окна с вариативной шириной w′, что позволяет изменять характер исследований. Исследование толщины слоя проводится по произвольным секущим Cr_i, где i отражает условные координаты секущей. Условность координат обусловлена шагом исследования, который может варьироваться, задавая различную точность. Для каждой произвольной секущей глубина нечеткой границы относительно базовой определяется по формуле

где $${\text{f}}_{{\text{Сr}}^{\text{ref}}}{\text{ (d}}_{\text{i}}{\text{,Cr}}_{\text{j}}^{\text{ref}}\text{)}$$ - корреляционная зависимость нечеткой границы в области скользящего окна, определяемая относительно опорных секущих включений $${\text{Cr}}_{\text{j}}^{\text{ref}}$$ , j=0…n;

$${\text{k}}_{{\text{Сr}}^{\text{ref}}}$$ - весовой коэффициент значимости области включений для определения нечеткой границы.

Искомая нечеткая граница определяется характером включений и степенью влияния включений на данную границу. Пример нечеткой границы представлен на фиг. 4 - линия 3.

Характер полученной границы оценивается с помощью фрактальной размерности, являющейся показателем степени изрезанности (извилистости) линии. Расчет фрактальной размерности проводится по методике Хаусдорфа-Безиковича в соответствии с формулой

h(ρ)=γ(D)ρ^D,

где D - размерность Хаусдорфа-Безиковича для фигуры с мерой ρ.

По окончании необходимо определить среднюю толщину нечеткого слоя и произвести расчет микротвердости, адгезии и других параметров по выделенным границам слоя с учетом фрактальной размерности в виде поправочного коэффициента.

При исследовании нескольких слоев процесс определения толщины каждого слоя происходит последовательно, при этом порядок исследования определяется наличием базовой границы. Первым анализируется слой, у которого присутствует базовая граница. На следующих этапах в качестве базовой границы может выступать выделенная нечеткая граница уже проанализированного слоя. Таким образом, данный процесс обладает свойством масштабируемости.

Автоматизация процесса определения толщины обеспечивает повторяемость результата для схожих исходных данных.

Изобретение относится к области цифровой обработки изображений, связанной с выделением и анализом сегментов. Техническим результатом является повышение точности определения толщины слоя за счет автоматизированного выявления нечеткой границы. Предложен способ автоматического определения толщины слоя с нечеткой границей по изображению. Способ включает в себя этапы, на которых производят сегментацию изображения, проводят границу раздела сегментов слоев, вычисляют фрактальную размерность линии границы, накладывают секущие перпендикулярно границе, проводят вычисления длины секущих и вычисляют среднее арифметическое значение толщины слоя. При этом сегментирование изображения производят автоматически методом выращивания и слияния областей с использованием минимизации многомерных функций гетерогенности как на этапе выращивания, так и на этапе слияния. При проходе вдоль сегмента слоя определяют центры тяжести неперекрывающихся сегментов включений с максимальной глубиной размещения в слое, по которым строят опорные секущие включений. Выделяют опорные точки, в которых глубина размещения включения на секущих максимальна относительно базовой границы, и по опорным точкам строят аппроксимирующую функцию, на основе которой вычисляют линии нечеткой границы методом скользящего окна вариативной ширины. 1 з.п. ф-лы, 5 ил.

1. Способ автоматического определения толщины слоя с нечеткой границей по изображению, заключающийся в том, что производят сегментацию изображения, проводят границу раздела сегментов слоев, вычисляют фрактальную размерность линии границы, накладывают секущие перпендикулярно границе, проводят вычисления длины секущих и вычисляют среднее арифметическое значение толщины слоя, отличающийся тем, что сегментирование изображения производят автоматически методом выращивания и слияния областей с использованием минимизации многомерных функций гетерогенности как на этапе выращивания, так и на этапе слияния; при проходе вдоль сегмента слоя определяют центры тяжести неперекрывающихся сегментов включений с максимальной глубиной размещения в слое, по которым строят опорные секущие включений; выделяют опорные точки, в которых глубина размещения включения на секущих максимальна относительно базовой границы; по опорным точкам строят аппроксимирующую функцию, на основе которой вычисляют линию нечеткой границы методом скользящего окна вариативной ширины; рассчитывают фрактальную размерность линии нечеткой границы; при оценке толщины слоя и других параметров фрактальная размерность линии нечеткой границы учитывается в виде поправочного коэффициента.

2. Способ по п. 1, отличающийся тем, что многомерные функции гетерогенности вычисляют как взвешенные расстояния в многомерных цветовом и текстурном пространствах.