Способ детектирования малоразмерных дефектов на текстурированных материалах с неравномерной отражательной способностью Российский патент 2025 года по МПК G01N21/88 

Изобретение относится к области контроля технологических процессов, в частности обнаружению областей с малоразмерными дефектами на текстурированных поверхностях. К таким дефектам относятся, например, дефекты натуральной кожи крупного рогатого скота, вызванные перенесёнными бактериальными инфекциями.

Из уровня техники известен способ контроля качества поверхности изделий [1]. Способ включает освещение контролируемого объекта излучением оптического диапазона от точечного источника и анализ отраженного на специальный экран светотеневого изображения, заключающийся в последовательном измерении интенсивности элементов изображения заданного размера с последующим расчетом координат X, Y и Z контролируемой поверхности, что позволяет получить её количественные характеристики. При этом полученное изображение разделяют на равные дискретные элементы размером х × х с порядковыми номерами i и j вдоль двух взаимно перпендикулярных осей Х и Y соответственно, причем , где l - минимальный размер изображений дефектов контролируемой поверхности в одном из направлений Х или Y. Анализ светотеневого изображения проводят путем последовательного измерения его интенсивности J_ij в ряду элементов от i = 0 до i = n при j = const и/или в ряду от j = 0 до j = m при i = const вдоль соответствующих направлений Х или Y и далее выполняют расчет координат Х_n, Y_m и Z_n,m соответствующих им элементов контролируемой поверхности. При этом учитывают коэффициент k увеличения изображения на экране по сравнению с размером контролируемой поверхности и среднее значение интенсивности изображения J₀.

К недостатку способа следует отнести необходимость наличия экрана для формирования на нём светотеневого изображения, отражённого от анализируемой поверхности.

Известны способ и система для устранения слепой зоны обнаружения дефектов на поверхности кожи [2]. Согласно описанию способа, в нём получают изображение анализируемого участка кожи с помощью камеры с линейной матрицей и источника света с линейным сканированием, при этом оптическая ось объектива линейной камеры расположена вертикально к поверхности кожи, а источник света расположен по направлению транспортировки кожи либо против него. Далее выполняют обработку изображения участка кожи для получения информации об изменении области дефекта на изображении кожи. Указанная обработка включает фильтрацию полученного изображения для удаления текстуры (путем применения соответствующих фильтров текстуры) и разделения области дефекта с использованием сегментации по водоразделам [3] (Watershed-метод) для расчета изменения количества информации в области дефекта, а также выполнение преобразования Фурье, гауссовой фильтрации, улучшения изображения и медианной фильтрации полученного изображения кожи. Результат обнаружения дефекта также дополнительно может содержать признаки морфологии дефекта. Анализ дефектов предполагает вычисление характеристических функций, формируемых на основе функций плотности распределения яркости в окрестности дефекта.

В заявке на способ проверки кожи на основе искусственного интеллекта [4] получают данные о кожевенном сырье с помощью блока обнаружения и выполняют ввод данных о коже в модуль искусственного интеллекта для определения дефектных и бездефектных участков сырья кожи. При этом сначала получают локальные данные о коже при различных позициях кожевенного сырья, а затем объединяют все локальные данные о коже. Далее оценивают площадь кожевенного сырья для определения по меньшей мере одной зарезервированной зоны путем размещения зоны с дефектном. Модуль искусственного интеллекта включает в себя модель нейронной сети глубокого обучения и способ обнаружения кожи на основе искусственного интеллекта. При получении локальных данных о коже, как и в [2], используется внешняя подсветка кожи.

Детектирование дефектов кожи на основе обучаемых искусственных нейронных сетей применяется и в заявке на способ обнаружения кожи на основе классификации дефектов [5]. Заявляемый в [5] способ обнаружения включает следующие этапы: получение изображения кожи, ввод данного изображения в нейросетевую модель с заданной глубиной обучения для получения метки дефекта, на основе которой выполняется классификация дефектов, и отправку результата классификации дефектов на терминал обнаружения кожи. Процесс конфигурирования предварительно обученной искусственной нейронной сети глубокого обучения включает:

получение обучающих и верификационных изображений кожи для обучения и проверки работы искусственной нейронной сети, при этом данные изображения являются предварительно размеченными, т.е. для них заранее указаны координаты меток дефектов;

первичное обучение сети с заданной глубиной обучения путем использования обучающих изображений кожи в качестве входного параметра и меток обучающего дефекта в качестве выходного результата для получения начальной модели искусственной нейронной сети;

ввод верификационных изображений кожи в исходную нейросетевую модель для получения прогнозируемых меток дефектов, выдаваемых первично обученной нейросетевой моделью;

корректировку параметров начальной модели нейронной сети глубокого обучения на основе прогнозируемых и верификационных меток дефектов для получения заданной модели искусственной нейронной сети.

На этапе верификации искусственной нейронной сети выполняют:

получение множества исходных изображений кожи;

предварительную обработку исходных изображений кожи для получения множества первых промежуточных изображений;

разделение множества первых промежуточных изображений в соответствии с заданной пропорцией для получения первых обучающих изображений для обучения и первых верификационных изображений для проверки;

ставят метки обучающих дефектов на первых обучающих изображениях в соответствии с результатом классификации обучающего дефекта на них для получения обучающих изображений;

ставят метки проверочных дефектов на первых верификационных изображениях в соответствии с результатом классификации проверочного дефекта на них для получения верификационных изображений кожи.

Для повышения качества обучения нейронной сети глубокого обучения выполняют дообучение. При этом после того, как первое обучающее изображение подвергается операции геометрической деформации, получают второе обучающее изображение (при этом операция деформации включает следующие этапы: масштабирование, и/или вращение, и/или параллельный перенос) и принимают второе обучающее изображение и первое обучающее изображение в качестве нового первого обучающего изображения и выполняют последующие этапы на основе нового первого обучающего изображения.

Реализация нейросетевых алгоритмов обнаружения дефектов кожи согласно [4, 5] требует высокого качества предварительной разметки участков с дефектами на исходных изображениях, которые, как правило, имеют ширину и высоту не менее 4K пикселей, поскольку для детектирования малоразмерных - 1..2 мм - дефектов требуется высокое разрешение [6] регистрирующей камеры. По этой причине корректная разметка даже одного изображения требует высокой степени внимательности и ответственности разметчика.

В качестве прототипа по совокупности признаков выбрана заявка на систему обнаружения дефектов кожи [6]. Согласно описанию и формуле изобретения [6] в прототипе предлагается следующая последовательность действий для обнаружения дефектов кожи. Для получения изображения кожи применяют модуль, который состоит из камеры линейного сканирования разрешением 8K и двух линейных источников направленного света длиной 1,8 м. Поскольку кожа обычно имеет множество складок, то её разворачивают с помощью специального фиксирующего устройства, чтобы получить наиболее полную информацию о ней на формируемом изображении. Полученный одиночный кадр размером (m × 1024) × (n × 1024) пикселей далее передаётся в программное обеспечение, реализующее алгоритм детектирования дефектов. Полученный кадр далее разбивается на квадратные блоки размером unit₀ × unit₀ пикселей, где unit₀ = 128 или unit₀ = 256. В результате такого разбиения получают p блоков по горизонтали и q блоков по вертикали, причём

p = m × 1024 / unit₀, q = n × 1024 / unit₀.

Очередь из указанных блоков в программном обеспечении ставится в поток обработки, в котором для каждого блока unit^{i, j} с номером i, j, 0 ≤ i ≤ p, 0 ≤ j ≤ q, формируют векторы свойств его текстуры Texton^{i, j}_guiding. При этом каждый блок дополнительно делится на субблоки размером sizes₀ × patch₀ с величиной взаимного перекрытия over₀ и для него рассчитываются направляющие векторы свойств текстуры, на основе которых выполняется оценка функции плотности распределения вероятности дефектов в блоке defect_prior^{i, j}. По оценённой функции плотности распределения вероятности строится решающее правило для формирования решения о том, содержат ли пиксели блока unit^{i, j} изображение дефекта или нет. В случае обнаружения дефекта информация о нём записывается в базу данных для хранения.

К недостатку способа прототипа можно отнести тот факт, что различные участки кожи на практике имеют различную отражательную способность и, следовательно, различный локальный контраст. При этом в блоках с малым контрастом оценки функции плотности распределения вероятности яркости отражений от текстуры кожи не имеют характерных локальных экстремумов, что снижает вероятность правильного обнаружения на них дефектных участков.

Технической проблемой является создание способа для повышения вероятности правильного обнаружения малоразмерных дефектов на текстурированных материалах с неравномерной отражательной способностью, в том числе - в условиях слабого контраста.

Технический результат заключается в повышении вероятности правильного детектирования дефектов за счет локального адаптивного приведения закона распределения яркости на анализируемых участках материала к заданному и использования полутоновой морфологии, фильтра на основе порядковой статистики и квазисогласованной пространственной фильтрации.

Для достижения технического результата выполняется следующая последовательность действий. По аналогии со способом прототипа для получения изображения анализируемого текстурированного материала, например кожи, применяют модуль из камеры линейного сканирования высокого разрешения (не менее 4K) и как минимум одного линейного источника направленного света. В зависимости от того, дефекты какой яркости - тёмные или светлые - характерны для анализируемого материала, к изображению, прочитанному из памяти камеры, применяется модифицированная с помощью вычисления порядковой статистики операция полутоновой морфологии. Указанными морфологическими операциями являются модифицированная с помощью вычисления порядковой статистики полутоновая эрозия, которая применяется для обнаружения тёмных дефектов, и модифицированная с помощью вычисления порядковой статистики полутоновая дилатация, которая применяется для обнаружения светлых дефектов.

Например, для задачи обнаружения дефектов кожи крупного рогатого скота указанные дефекты на изображении, как правило, имеют низкую яркость (так, тёмные точки, различимые на фиг. 1, соответствуют пороку кожи типа «бактериальность»). Акцентировать данные дефекты позволяет операция полутоновой эрозии, которая заменяет [7] центральный элемент скользящего по изображению в ходе обработки морфологического структурирующего элемента размером s × s пикселей минимальным из накрытых им значений яркости. При этом непосредственное применение к изображению операции полутоновой эрозии приводит к тому, что одиночные пиксели с низкой яркостью, как правило, являющиеся выбросами шума, а не изображениями дефектов, после выполнения эрозии принимают размер s × s, что при дальнейшей обработке повышает уровень ложных тревог. Этот эффект иллюстрирует фиг. 2, где приведён результат обработки изображения фиг. 1 оператором полутоновой морфологической эрозии. Стрелками на фиг. 2 отмечены тёмные участки, появление которых обусловлено не дефектами кожи: последние, как правило, имеют минимальный размер в несколько пикселей.

Если минимальный размер дефекта в пикселях априори известен и равен n_{d_min}, то уменьшить эффект акцентирования одиночных пикселей позволяет ранговая фильтрация на основе порядковых статистик [7], при которой центральный элемент скользящего окна морфологического структурирующего элемента заменяется r-м элементом упорядоченного массива значений, накрытых окном. Для известного значения n_{d_min} рационально выбрать r = n_{d_min}.

Например, если априори известно, что минимальный размер дефекта составляет n_{d_min} = 4, то заполнение центрального пикселя морфологического структурирующего элемента не минимумом, а результатом ранговой фильтрации с r = n_{d_min} = 4 позволяет уменьшить эффект акцентирования точечных объектов изображения. При этом акцентирование дефектов с пиксельными размерами больше минимального значения n_{d_min} сохраняется (фиг. 3).

Далее к результату модифицированной полутоновой морфологии применяется адаптивное приведение закона распределения яркости материала к заданному закону распределения с нулевым средним. Для многих текстурированных изображений, в том числе - изображений кожи крупного рогатого скота, закон распределения яркости изображения после модифицированной полутоновой морфологической обработки хорошо описывается гауссовой кривой, а, следовательно, его целесообразно приводить к нормальному закону распределения с заданными математическим ожиданием и среднеквадратическим отклонением. Это утверждение иллюстрирует фиг. 4, где приведена функция распределения яркости изображения с фиг. 3

Для реализации адаптивного приведения яркости исходное изображение размером W × H пикселей, где W - ширина изображения, а H - высота, разбивается на локальные блоки block^{i, j} размером w × h пикселей, 0 ≤ i < p, 0 ≤ j < q, где p = ]W/w[, q = ]H/h[, а ] ⋅ [ - оператор округления до ближайшего меньшего целого, с пиксельными координатами центров блоков

c^{i , j} = [(i + 0,5)w, (j + 0,5)h].

Для каждого блока оцениваются среднее значение яркости его пикселей m^{i, j} и среднеквадратическое отклонение σ^{i, j}. На основании полученных оценок далее для каждого пикселя изображения с координатами (x, y), 0 ≤ x < W, 0 ≤ y < H, выполняются нормирование яркости и её приведение к нормальному закону. При этом в зависимости от того, в какой области изображения расположен пиксель, указанное приведение выполняется различным образом - по аналогии с алгоритмом адаптивной эквализации яркости CLAHE [8].

Для областей 1, расположенных во внешних четвертях угловых блоков (фиг. 5), нормирование выполняется следующим образом:

I _норм(x, y) = [I(x, y) - m^{i, j}] / σ^{i, j}. (1)

Для областей 2 (фиг. 5), расположенных во внешних половинах периферийных блоков и периферийных, но не являющихся внешними, четвертях угловых блоков, нормирование выполняется с помощью линейной интерполяции:

а) для крайних верхних и крайних нижних блоков -

I _норм(x, y) = I_норм1(x, y) + Δx[I_норм2(x, y) - I_норм1(x, y)], (2)

где

I _норм1(x, y) = [I(x, y) - m^{i, j}] / σ^{i, j},

I _норм2(x, y) = [I(x, y) - m^{i+1, j}] / σ^{i+1, j},

Δx = x - (i + 0,5)w;

б) для крайних левых и крайних правых блоков -

I _норм(x, y) = I_норм1(x, y) + Δy[I_норм2(x, y) - I_норм1(x, y)], (3)

где

I _норм1(x, y) = [I(x, y) - m^{i, j}] / σ^{i, j},

I _норм2(x, y) = [I(x, y) - m^{i, j+1}] / σ^{i, j+1},

Δy = y - (j + 0,5)h.

Для области 3 (фиг. 5), которая содержит все пиксели изображения, не относящиеся к периферийным областям 1 и 2, нормирование выполняется с помощью билинейной интерполяции:

I _норм(x, y) = I_норм12(x, y) + Δy[I_норм34(x, y) - I_норм12(x, y)], (4)

где

I _норм12(x, y) = I_норм1(x, y) + Δx[I_норм2(x, y) - I_норм1(x, y)],

I _норм34(x, y) = I_норм3(x, y) + Δx[I_норм4(x, y) - I_норм3(x, y)],

I _норм1(x, y) = [I(x, y) - m^{i, j}] / σ^{i, j},

I _норм2(x, y) = [I(x, y) - m^{i+1, j}] / σ^{i+1, j},

I _норм3(x, y) = [I(x, y) - m^{i, j+1}] / σ^{i, j+1},

I _норм4(x, y) = [I(x, y) - m^{i+1, j+1}] / σ^{i+1, j+1},

Δx = x - (i + 0,5)w, Δy = y - (j + 0,5)h.

После выполнения процедуры нормирования яркости пикселей согласно выражениям (1) - (4) изображения всех дефектов будут иметь ширину и высоту не менее s и яркость, отличную от яркости окружающего их фона. Данные априорные сведения позволяют выбрать маску для квазисогласованного пространственного фильтра с апертурой w размером 3n × 3n пикселей, элементы в каждом из девяти секторов n × n которой рассчитываются по аналогии с весовым окном лапласиана размером 3 × 3 пикселя [3]:

для выделения тёмных дефектов -

(5)

для выделения светлых дефектов -

(6)

Так, при n = s = 5 рассчитанная по (5) маска фильтра имеет вид:

Результаты обработки данной маской нормированного согласно формулам (1)-(4) изображения с фиг. 3 приведены на фиг. 6. Для визуализации нормированного изображения на фиг. 6 к нему добавлена постоянная составляющая 128, а нормированное среднеквадратическое отклонение усилено в 40 раз.

Из фиг. 6 видно, что для протяженных дефектов (см., например, крупный дефект в средней части правой трети изображения фиг. 1) фильтр с малой апертурой не является близким по своим свойствам к согласованному. По этой причине пространственная фильтрация последовательно выполняется несколькими, но не менее чем двумя, весовыми окнами (5) или (6) различной апертуры.

Обнаружитель дефектов на нормированном изображении с выхода квазисогласованного пространственного фильтра использует в качестве решающего правила сравнение с порогом С_пор, величина которого устанавливается из соображений фиксации уровня ложных обнаружений [9] на участках анализируемого материала без дефектов. Бинарные результаты обнаружения дефектов на изображениях, полученных в результате пространственной свёртки с фильтрами (5) или (6) различной апертуры, объединяются по правилу дизъюнкции - с помощью попиксельной операции «логическое ИЛИ».

Например, после объединения результатов обнаружения изображений с выходов двух квазисогласованных фильтров с апертурами w₅ и w₉, элементы которых рассчитаны по (5), бинарное изображение с результатами детектирования дефектов на фиг. 1 при С_пор = 1,1 имеет вид, представленный на фиг. 7.

Результат наложения на исходное изображение (фиг. 1) контуров светлых областей с фиг. 7, по которым принято решение о наличии дефекта, приведён на фиг. 8.

Таким образом, на примере изображений кожи крупного рогатого скота продемонстрировано, что заявляемый способ обеспечивает детектирование малоразмерных дефектов на текстурированной поверхности с различной отражательной способностью различных её участков.

Можно показать, что заявляемый способ также применим и к задачам обнаружения дефектов окрашивания на металлических поверхностях с неравномерной освещённостью, например, при наличии бликов. Исходное изображение металлической окрашенной поверхности и результат его обработки предлагаемым способом приведены на фиг. 9 и фиг. 10 соответственно.

Список источников

1. Патент RU 2333474; МПК G01N 21/88 (2006.01); дата публикации: 10.09.2008.

2. Патент CN 110987954 B; МПК G01N 21/89 (2006.01), G01N 21/01 (2006.01); дата публикации: 22.10.2021.

3. Гонсалес Р., Вудс Р. Цифровая обработка изображений / пер. Л.И. Рубанов, П.А. Чочиа; под ред. П.А. Чочиа. М.: Техносфера, 2012. 1104 c.

4. Заявка на изобретение KR 20200013217 A; МПК G01N 21/95 (2006.01) C14B 17/00 (2006.01), G01N 21/88 (2006.01), G01N 33/44 (2020.01), G06N 3/08 (2006.01); дата публикации: 06.02.2020.

5. Заявка на изобретение CN 112164053 A; МПК G06T 7/00 (2017.01), G06K 9/62 (2006.01), G06N 3/04 (2006.01), G06N 3/08 (2006.01), G01N 21/88 (2006.01), G01N 21/95 (2006.01); дата публикации: 01.01.2021.

6. Заявка на изобретение CN 110793973 A; МПК G01N 21/89 (2006.01), G01N 21/88 (2006.01), G06T 7/00 (2017.01); дата публикации: 14.02.2020.

7. Старовойтов В.В., Голуб Ю.И. Получение и обработка изображений на ЭВМ: учебно-методическое пособие. Минск: БНТУ, 2018. 204 с.

8. Pizer S.M., Amburn E.P., Austin J.D. Cromartie R., Geselowitz A., Greer T., Romeny B.T.H., Zimmerman J.B. Adaptive histogram equalization and its variations // Computer vision, graphics, and image processing. 1987. Vol. 39. P. 355-368.

9. Бакулев П.А. Радиолокационные системы: учебник для вузов; изд. 3-е, перераб. и доп. М.: Радиотехника, 2015. 440 с.

Изобретение относится к области контроля технологических процессов. Согласно способу обнаружения протяженных дефектов, применяют модуль, состоящий из камеры линейного сканирования и как минимум одного линейного источника направленного света, полученный кадр разбивают на блоки и получают p блоков по горизонтали и q блоков по вертикали, где каждого блока с номером i, j, 0 ≤ i < p, 0 ≤ j < q, формируют численные значения его свойств. К изображению применяют модифицированную операцию полутоновой морфологии, заменяют центральный пиксель морфологического структурирующего элемента r-м элементом порядковой статистики в области, накрытой структурирующим элементом, где r определяется минимальным количеством пикселей изображения детектируемого дефекта, и адаптивно приводят закон распределения яркости пикселей изображения после полутоновой морфологии к нормальному с нулевым средним. Для каждого блока с номером i, j оценивают математическое ожидание m^{i, j} и среднеквадратическое отклонение σ^{i, j} и при приведении яркости каждого пикселя применяют билинейную интерполяцию значений математических ожиданий и среднеквадратических отклонений в смежных с данным пикселем блоках, выполняют фильтрацию изображения с приведённым законом распределения яркости с помощью как минимум двух пространственных квазисогласованных фильтров с различными размерами апертуры, сравнивают для каждого пикселя результат фильтрации каждым квазисогласованным фильтром с порогом и, если данный порог превышен, принимают решение о наличии в данном пикселе дефекта текстуры материала, а результаты пороговой обработки объединяют по правилу дизъюнкции. Технический результат – повышение вероятности правильного детектирования малоразмерных дефектов. 10 ил.

Способ детектирования малоразмерных дефектов на текстурированных материалах с неравномерной отражательной способностью, в котором для получения изображения текстурированного материала применяют модуль, состоящий из камеры линейного сканирования высокого разрешения и как минимум одного линейного источника направленного света, полученный одиночный кадр разбивают на блоки и в результате такого разбиения получают p блоков по горизонтали и q блоков по вертикали, при этом для каждого блока с номером i, j, 0 ≤ i < p, 0 ≤ j < q, формируют численные значения его свойств, отличающийся тем, что к изображению применяют модифицированную операцию полутоновой морфологии, при этом заменяют центральный пиксель морфологического структурирующего элемента r-м элементом порядковой статистики в области, накрытой структурирующим элементом, причём r определяется минимальным количеством пикселей изображения детектируемого дефекта, адаптивно приводят закон распределения яркости пикселей изображения после полутоновой морфологии к нормальному с нулевым средним, причем для каждого блока с номером i, j оценивают математическое ожидание m^{i, j} и среднеквадратическое отклонение σ^{i, j} и при приведении яркости каждого пикселя применяют билинейную интерполяцию значений математических ожиданий и среднеквадратических отклонений в смежных с данным пикселем блоках, выполняют фильтрацию изображения с приведённым законом распределения яркости с помощью как минимум двух пространственных квазисогласованных фильтров с различными размерами апертуры, сравнивают для каждого пикселя результат фильтрации каждым квазисогласованным фильтром с порогом и, если данный порог превышен, принимают решение о наличии в данном пикселе дефекта текстуры материала, при этом результаты пороговой обработки объединяют по правилу дизъюнкции.