СПОСОБ ОПРЕДЕЛЕНИЯ ДЕФЕКТОВ НА ИЗОБРАЖЕНИИ КОМПОЗИЦИОННЫХ ИЗДЕЛИЙ Российский патент 2023 года по МПК G01N23/46 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области информационных технологий, в частности к способу определения дефектов на изображении композиционных изделий и может быть использовано на предприятиях, осуществляющих производство и неразрушающий контроль композиционных изделий.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известен источник информации, RU 2 775 348 C1, опубликованный 29.06.2022 г. и раскрывающий способ визуально-измерительного контроля стального каната. Задача, на решение которой направлено данное изобретение, состоит в повышении безопасности машин с канатной тягой за счет использования компьютерного зрения и искусственного интеллекта при выполнении визуально-измерительного контроля, по оценке технического состояния стального каната. Изобретения включает создание продукта интернета вещей для отыскания дефектов, определяемых с помощью компьютерного зрения и искусственного интеллекта на базе аналитики фото- и видеомоделей глубоким машинным обучением в нейронных сетях с последующей интегральной оценкой технического состояния каната методами риск-анализа в части пригодности его к дальнейшей безопасной эксплуатации, которая интерпретируется в цветовую гамму на мобильные устройства пользователей, обслуживающего персонала.

Из уровня техники известен источник информации, US 11024020 B2, опубликованный 01.06.2021г. и раскрывающий способ и систему автоматического контроля качества материалов и виртуальных поверхностей материалов. Решение заключается в том, что набор ламп с геометрическим рисунком направляется на анализируемый материал. В зависимости от проверяемого материала, свет может действовать как зеркало, и отраженное изображение захватывается устройством захвата, или свет проходит через проверяемый материал, и изображение захватывается устройством захвата. Дефекты в материале могут быть обнаружены по искажениям, вызванным изменением рисунка отраженного изображения или проходящим через. В решении используется программное обеспечение для идентификации и определения местоположения этих искажений – дефектов - в материале. Классификация дефектов осуществляется с помощью методов искусственного интеллекта.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической задачей, на решение которой направлено заявленное решение, является создание способа определения дефектов на изображении композиционных изделий, в частности обнаружения дефектов типа расслоения и пора. Для решения указанной технической задачи был разработан способ определения дефектов на изображении композиционных изделий, охарактеризованный в независимом пункте формулы изобретения. Частные формы реализации предлагаемого способа указаны в зависимых пунктах.

Технический результат заключается сокращении времени и повышении точности определения дефектов композиционных изделий, изготавливаемых на предприятии.

Заявленный технический результат достигается за счет работы способа определения дефектов на изображении композиционных изделий, содержащий этапы, на которых:

на вычислительное устройство загружают по меньшей мере одно изображение готового изделия и осуществляют предобработку, посредством модуля предварительной обработки, включающую выделение области для обнаружения дефекта;

предобработанные изображения поступают в модуль определения дефектов, где посредством обученной глубокой нейронной сети осуществляют определение принадлежности каждого пикселя к классу «дефект» или «дефект отсутствует» и получают сегментационную маску;

далее осуществляют постобработку, посредством модуля постобработки, где на вход модуля поступает сегментационная маска и изображение готового изделия и осуществляют фильтрацию отнесенных пикселей к классу «дефект» по признакам изображения готового изделия, а именно площади и линейных размеров связных областей пикселей дефектов, отклонения среднего значения пикселей дефекта от среднего значения пикселей в области обнаружения дефекта, а также осуществляют агрегацию отфильтрованных пикселей по глубине объекта и выделяют из них объемные дефекты;

осуществляют расчет характеристик выделенных объемных дефектов, с помощью измерения линейных размеров связных областей пикселей дефектов и классификацию дефектов на основании измеренных линейных размеров связных областей пикселей дефектов.

В частном варианте реализации предлагаемого способа, изображение получено с устройства неразрушающего контроля.

В другом частном варианте реализации предлагаемого способа, устройство неразрушающего контроля является томографом.

В другом частном варианте реализации предлагаемого способа, изображение представляет собой изображение формата .tiff.

В другом частном варианте реализации предлагаемого способа, изображение представляет собой изображение из видеопотока.

В другом частном варианте реализации предлагаемого способа, предобработка включает в себя представление изображения в виде массива или тензора пикселей.

В другом частном варианте реализации предлагаемого способа, дефекты определяются исходя из локальных характеристик изображения: средней интенсивности в окне, вариации интенсивности, а также сравнением с общей средней интенсивностью и её вариацией на срезе изделия и положением пикселя в отношении границы изделия.

В другом частном варианте реализации предлагаемого способа, классифицируют дефекты на два типа – пора и/или расслоение.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемым чертежом, который представлен для пояснения сути изобретения и никоим образом не ограничивает область изобретения. К заявке прилагается следующий чертеж:

Фиг. 1 иллюстрирует блок-схему процесса предварительной обработки данных.

Фиг. 2 иллюстрирует блок-схему анализа данных дефектоскопии моделью компьютерного зрения.

Фиг. 3 иллюстрирует блок-схему постобработки результатов работы модели компьютерного зрения.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

С устройства неразрушающего контроля, например, томографа (тепловой дефектоскоп-томограф, рентгеновский томограф, и т.д.) получают изображения готового изделия, которые необходимо проверить на дефекты. Изображения могут быть получены в виде серии изображений в формате tiff, dicom и других распространенных форматов томографических снимков.

Полученные изображения загружают на вычислительное устройство и осуществляют предобработку посредством модуля предварительной обработки, включающую выделение области для обнаружения дефекта. На данном этапе различные форматы данных приводятся к стандартному внутреннему представлению в виде массивов или тензоров пикселей. Строится гистограмма значений пикселей, за счет которой определяется мода распределения интенсивностей в области интереса (объект исследования) и выделяется область интереса со средним значением в окне, попадающим в 99-перцентильный интервал гауссианы с центром в моде. Таким образом, область интереса отделяется от фона и в данной области интереса предстоит обнаружить дефекты.

Дефекты определяются исходя из локальных характеристик изображения: средней интенсивности в окне, вариации интенсивности, а также сравнением с общей средней интенсивностью и её вариацией на срезе изделия и положением пикселя в отношении границы изделия. Критерием принадлежности пикселя дефекту служит отклонение от упомянутых характеристик, превышающее определённый порог. В зависимости от материала могут быть использованы разные значения допустимых порогов отклонения. К примеру, для углеволоконного полимерного композита, имеющего характерную радиоплотность 200 единиц Хаунсфилда (HU), допустимым порогом служит 40 HU. Пиксели, принимающие значение ниже среднего на 40 HU в некоторой пространственной окрестности, относятся к дефекту. Для стекловолоконного полимерного композита, имеющего характерную радиоплотность 1200 HU, за дефект принимаются области ниже 1100 HU, следовательно, для стекловолоконного полимерного композита порогом отклонения служит 100 HU.

Предобработанные изображения поступают в модуль определения дефектов, который содержит обученную глубокую нейронную сеть на базе архитектуры UNet. Глубокая нейронная сеть была обучена на датасете из снимков компьютерной томографии, собранном и размеченным для задачи семантической сегментации специалистом. Используемая модель глубокой нейронной сети относится к классу моделей семантической сегментации и обучается методом стохастического градиентного спуска на размеченных вручную парах "изображение готового изделия -маска сегментации". При разработке изделия использовался датасет из трёх различных изделий, всего получено 600 сегментационных масок. При обучении использовалась схема валидации модели глубокой нейронной сети с делением датасета в отношении 70/30 (обучение/валидация), в качестве функции потерь - комбинация попиксельной кросс-энтропии и коэффициента Dice. При валидации оцениваются метрики качества коэффициент Dice и IoU (Intersection-over-Union) для каждого класса. Определение пикселя к классу "дефект", "материал" или "фон" происходит за счёт выбора максимального значения на логитах пискеля на выходе нейронной сети (т.е. самого сильного отклика логистических нейронов).

Предобработанные изображения поступают на вход обученной глубокой нейронной сети, осуществляющую семантическую сегментацию принадлежности каждого пикселя к классу «дефект» или «дефект отсутствует».

На выходе нейронной сети получают результат отнесения каждого пикселя к классу «дефект» или «дефект отсутствует» (сегментационная маска) и далее осуществляют постобработку полученных данных посредством модуля постобработки.

Постобработка включает получение результатов работы нейронной сети и исходные данные (изображение готового изделия), фильтрацию отнесенных пикселей к классу «дефект» по локальным характеристикам исходных данных, а именно по признакам: площадь и линейные размеры связных областей пикселей дефектов, отклонения среднего значения пикселей дефекта от среднего значения пикселей в области обнаружения дефекта. Так на вход модуля постобработки поступает сегментационная маска и исходное изображение готового изделия. Сегментационная маска накладывается на исходное изображение для выделения области интереса, содержащего дефект, и далее осуществляют фильтрацию пикселей с классом «дефект» по локальным характеристикам исходных данных.

Например, для стекловолоконного полимерного композита и углеволоконного полимерного композита дефектами считаются связные области пикселей с линейными размерами более 0.5 мм. Отклонение от среднего значения пикселей — не менее 40 единиц Хаунсфилда для углеволоконного композита и 100 единиц для стелковолоконного. Участки дефектов, обнаруженные в непосредственной близости, объединяются в один кластер, а слишком малые участки игнорируются. Близкими считаются дефекты с расстоянием, равным линейным размерам дефекта. Например, два дефекта с размером 2 мм объединяются в один кластер, будучи расположенными на расстоянии 1.5 мм друг от друга по ближайшим пикселям. Фильтрация осуществляется за счет эвристических алгоритмов компьютерного зрения (среднее значение интенсивности пикселей в окрестности, фильтрация шумов и т.д.). Если среднее значение интенсивности пикселей в окрестности ниже среднего в области интереса на 80 единиц Хаунсфилда для углеволоконного композита и 200 единиц для стекловолоконного, то вся окрестность не рассматривается: предполагается, что эта зона не входит в область интереса. Это может быть вырезом в образце, либо другим менее плотным материалом. А слишком маленькие дефекты в окрестности большого дефекта (составляющие менее 10% площади большого дефекта) фильтруются как шумы.

Также на этапе постобработки осуществляют агрегацию отфильтрованных пикселей по глубине объекта и выделяют из них объемные дефекты.

Агрегация по глубине представляет собой алгоритм выделения объемных дефектов в КТ снимке на основе двумерных масок дефектов, полученных на предыдущих шагах, и осуществляется за счёт объединения соседних по глубине пикселей дефектов. Например, если на двух соседних слайсах КТ снимка имеются дефекты в пикселях с координатами (x, y,), соответствующие вокселям с координатами (x, y, z) и (x, y, z + 1), то такие пиксели (воксели) относятся к одному дефекту. В ходе агрегации может происходить слияние дефектов, если они имеют точки соприкосновения. Это делается, чтобы дефект представлял собой максимальную компоненту связности в объеме КТ снимка.

Далее осуществляют расчет характеристик выделенных объемных дефектов, с помощью измерения линейных размеров связных областей пикселей дефектов и классификацию дефектов на основании измеренных линейных размеров связных областей пикселей дефектов на один из двух типов: пора или расслоение. Измерение линейных размеров осуществляется аналогично выделению объемных дефектов на основе двумерных масок дефектов, с тем лишь изменением, что измеряются линейные размеры по всем трем осям. В качестве направлений измерений берутся три главных ортогональных направления дефекта, определяемые алгоритмом PCA (Principal Component Analysis). Например, один дефект может быть представлен эллипсоидом с главными осями равными 1, 3 и 0.1 мм.

Классификация по типу дефекта осуществляется на основании его линейных размеров. Если по всем трем осям дефект составляет меньше 0.3 мм, то такой дефект относится к поре. Если один из линейных размеров превышает 0.3 мм, то такой дефект относится к расслоению.

Выявленные дефекты отображаются, на устройстве отображения в графическом интерфейсе, на первоначально загруженном изображении готового изделия. Пользователь может в графическом интерфейсе просматривать обнаруженные дефекты на изображении и производить навигацию в графическом представлении изделия по его глубине для детального рассмотрения обнаруженных дефектов.

Также присутствует возможность формирования отчета по результатам исследования. Отчет содержит сортированный список обнаруженных дефектов.

Вычислительное устройство, обеспечивающее обработку данных, необходимую для реализации заявленного решения, в общем случае содержат такие компоненты, как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство ввода, средства сетевого взаимодействия.

При исполнении машиночитаемых команд, содержащихся в оперативно памяти, конфигурируют процессор устройства для выполнения основных вычислительные операции, необходимых для функционирования устройства или функциональности одного, или более его компонентов.

Память, как правило, выполнена в виде ОЗУ, куда загружается необходимая программная логика, обеспечивающая требуемый функционал. При осуществлении работы предлагаемого решения выделяют объем памяти, необходимы для осуществления предлагаемого решения.

Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти и т.п. Средство позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.

Интерфейсы представляют собой стандартные средства для подключения и работы периферийных и прочих устройств, например, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning и т.п.

Выбор интерфейсов зависит от конкретного исполнения устройства, которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств ввода данных в любом воплощении системы, реализующей описываемый способ, может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств ввода данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства сопряжены посредством общей шины передачи данных.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к способу определения дефектов на изображении композиционных изделий. Технический результат заключается в повышении точности определения дефектов композиционных изделий. Технический результат достигается тем, что загружают изображение готового изделия и выделяют области для обнаружения дефекта; посредством обученной глубокой нейронной сети осуществляют определение принадлежности каждого пикселя к классу «дефект» или «дефект отсутствует» и получают сегментационную маску; осуществляют постобработку, в которой на вход модуля поступает сегментационная маска и изображение готового изделия и осуществляют фильтрацию отнесенных пикселей к классу «дефект» по признакам изображения готового изделия, а именно площади и линейных размеров связных областей пикселей дефектов, отклонения среднего значения пикселей дефекта от среднего значения пикселей в области обнаружения дефекта, а также осуществляют агрегацию отфильтрованных пикселей по глубине объекта и выделяют из них объемные дефекты; осуществляют расчет характеристик выделенных объемных дефектов, с помощью измерения линейных размеров связных областей пикселей дефектов, и классификацию дефектов на основании измеренных линейных размеров связных областей пикселей дефектов. 7 з.п. ф-лы, 3 ил.

1. Способ определения дефектов на изображении композиционных изделий, содержащий этапы, на которых:

на вычислительное устройство загружают по меньшей мере одно изображение готового изделия и осуществляют предобработку, посредством модуля предварительной обработки, включающую выделение области для обнаружения дефекта;

предобработанные изображения поступают в модуль определения дефектов, где посредством обученной глубокой нейронной сети осуществляют определение принадлежности каждого пикселя к классу «дефект» или «дефект отсутствует» и получают сегментационную маску;

далее осуществляют постобработку, посредством модуля постобработки, где на вход модуля поступает сегментационная маска и изображение готового изделия и осуществляют фильтрацию отнесенных пикселей к классу «дефект» по признакам изображения готового изделия, а именно площади и линейных размеров связных областей пикселей дефектов, отклонения среднего значения пикселей дефекта от среднего значения пикселей в области обнаружения дефекта, а также осуществляют агрегацию отфильтрованных пикселей по глубине объекта и выделяют из них объемные дефекты;

осуществляют расчет характеристик выделенных объемных дефектов, с помощью измерения линейных размеров связных областей пикселей дефектов и классификацию дефектов на основании измеренных линейных размеров связных областей пикселей дефектов.

2. Способ по п.1, отличающийся тем, что изображение получено с устройства неразрушающего контроля.

3. Способ по п.2, отличающийся тем, что устройство неразрушающего контроля является томографом.

4. Способ по п.1, отличающийся тем, что изображение представляет собой изображение формата .tiff.

5. Способ по п.1, отличающийся тем, что изображение представляет собой изображение из видеопотока.

6. Способ по п.1, отличающийся тем, что предобработка включает в себя представление изображения в виде массива или тензора пикселей.

7. Способ по п.1, отличающийся тем, что дефекты определяются исходя из локальных характеристик изображения: средней интенсивности в окне, вариации интенсивности, а также сравнением с общей средней интенсивностью и её вариацией на срезе изделия и положением пикселя в отношении границы изделия.

8. Способ по п.1, отличающийся тем, что классифицируют дефекты на два типа – пора и/или расслоение.