Система видеоинспекции плоских протяженных объектов Российский патент 2023 года по МПК G01N21/892 

Настоящее изобретение относится к способу оптического обнаружения дефектов поверхности плоских протяженных объектов, таких как: стальные металлические материалы (полосы, листы), их сплавы, композитные полимерные материалы и т.д.

В последнее время в процессах производства изделий из различных материалов, в частности из стали, с учетом повышения производительности, требуется обнаруживать дефекты поверхности в технологическом потоке. В связи с этим, прогнозирование появления дефектов и минимизация вредных последствий от них остается актуальной задачей. Решение этой задачи позволяет получить маржинальные заказы, увеличить производительность оборудования, например станов холодной и горячей прокатки, и снизить затраты на ручные операции.

Для исследования дефектообразования и его влияния на последующую технологию используются различные методы: оптической металлографии, рентгеновской микротомографии, физического моделирования с последующими расчетами и применением численных методов, или специально разработанными конечно-разностными способами. Предлагаемый метод относится к оптическим методам и позволяет с высоким качеством производить детектирование и классификацию поверхностных дефектов.

Известен способ обнаружения дефектов поверхности и устройство для обнаружения дефектов поверхности. Способ оптического обнаружения дефекта поверхности стального материала содержит этап освещения заданного участка контроля осветительными световыми пучками с различными направлениями излучения с использованием двух или более различных источников света. Этап обнаружения, на котором получают изображения с помощью отраженных световых пучков, соответствующих указанным осветительным световым пучкам, и дефект поверхности на заданном участке контроля обнаруживают посредством выполнения процесса вычитания между полученными изображениями. Устройство обнаружения дефекта поверхности стального материала содержит узел освещения заданного участка контроля осветительными световыми пучками, узел обнаружения, выполненный с возможностью получения изображений с помощью отраженных световых пучков и обнаружения дефекта поверхности на заданном участке контроля посредством выполнения процесса вычитания между полученными изображениями [Патент RU № 2637723, МПК G01N21/892, 2017].

Недостатком данного способа является то, что его невозможно использования для движущихся объектов, а следовательно использовать в производственном потоке на линии прокатного стана. Также, использование направленных световых пучков не позволяет обнаруживать всю необходимую номенклатуру дефектов и однозначно выделять признаки дефектов для их классификации. К тому же, использование классических методов компьютерного зрения не позволяет получать высокое качество классификации дефектов.

Технический результат изобретения – повышение качества детектирования дефектов поверхности плоских протяженных объектов, в том числе стального холоднокатаного и горячекатаного проката.

Указанный технический результат достигается тем, что система видеоинспекции плоских протяженных объектов, содержащая видеокамеру, систему освещения, систему управления оборудованием, согласно изобретению, содержит ЭВМ со свёрточной нейронной сетью, при этом оптическая схема системы видеоинспекции содержит по меньшей мере одну RGB-камеру машинного зрения и комплексированную систему, состоящую из системы диффузионного освещения с по меньшей мере одним линейным осветителем и системы бокового освещения с по меньшей мере одним матричным осветителем.

Сущность изобретения.

Изобретение поясняется фигурой 1.

На фиг. 1 изображено:

1 – RGB-камера машинного зрения

2 – отражатель

3 – линейный осветитель

4 – матричный осветитель

5 – поверхность контролируемого объекта

6 – поле зрения камеры

7 – световой поток матричного осветителя

8 – световой поток линейного осветителя

Система видеоинспекции состоит из следующих элементов.

RGB-камера машинного зрения – матричная камера машинного зрения с цветным (RGB) КМОП-сенсором, позволяющая производить сьемку кадра со временем экспозиции от 30 мкс.

Отражатель – листовая конструкция параболической формы, покрытая изнутри матовым светоотражающим покрытием, позволяющее, при попадании направленного пучка света, получить равномерное диффузионное освещение в зоне съемки кадра.

Линейный осветитель - прибор для подсветки кадра позволяющий работать в импульсном режиме, то есть включать световой поток синхронно со временем экспозиции кадра. Конструктивно выполнен в линейной форме.

Матричный осветитель - прибор для подсветки кадра позволяющий работать в импульсном режиме, то есть включать световой поток синхронно со временем экспозиции кадра. Конструктивно выполнен в матричной форме.

ЭВМ со сверточной нейронной сетью – ЭВМ оборудованное графическим процессором GPU, и позволяющая эффективно реализовывать алгоритмы обработки изображений на основе нейронных сетей для детектирования дефектов. Обучение нейронных сетей происходит на заранее отобранной выборке изображений различных классов дефектов.

Система управления оборудованием (высокоскоростное синхронизационное устройство) включает в себя: прибор на базе микроконтроллера или программируемую логическую интегральную схему (ПЛИС) и энкодер.

Прибор на базе микроконтроллера или ПЛИС - предназначен для получения сигнала от высокочастотного энкодера, расчета расстояния между кадрами и выдачи управляющего сигнала на начало экспозиции камер и включения определенного импульса освещения в зависимости от текущей схемы освещения (диффузионного или углового) кадра.

Энкодер – измерительный преобразователь угла поворота вращающегося объекта в цифровые сигналы, которые позволяют определить угол его поворота, а зная диаметр вала, на котором он установлен и расстояние перемещения объекта дефектоскопии.

Система производит фотографирование всей движущейся поверхности объекта контроля с использованием двух типов освещения.

Управление импульсами освещения и экспозицией камер производится системой управления оборудования, рассчитывающей информацию о пройденной длине объекта.

Диффузионное освещение достигается проецированием пучка света линейных осветителей на белую матовую поверхность отражателя, что позволяет получить равномерное диффузионное освещение объекта контроля. Длительность импульса осветителей соответствует времени экспозиции камеры.

Получение изображения с угловым освещением происходит при смещении объекта на ½ размера кадра камеры, что достигается включением матричных осветителей.

При дальнейшем смещении объекта на расстояние равное полной высоте кадра камеры происходи очередное получение изображение с диффузионным освещением. Таким образом, при движении объекта достигается получение полного набора изображений по всей поверхности контроля, как с диффузионным, так и с угловым освещением.

Аналогично, система работает с обратной (нижней) стороной поверхности объекта контроля. За исключением того, что алгоритм управления импульсами осветителей и экспозицией камеры сдвинут по фазе, для исключения «засвета» противостоящими осветителями.

Использование различных типов освещения предполагает получение более информативных признаков, как для классических алгоритмов компьютерного зрения (CV), так и для современных нейросетевых алгоритмов, повышает качество классификации и детекции дефектов.

Диффузионное освещение применяется для контрастной фиксации поверхностных дефектов, низкоугловое освещение применяется для обнаружения дефектов имеющих рельефную структуру.

Пример реализации.

На агрегате поперечной резки листового металла АПР-2 в ЦОМ-3 производства плоского проката ПАО «Северсталь» осуществлялась инспекция холоднокатаного проката на предмет наличия поверхностных дефектов.

Система видеоинспекции была установлена в производственном потоке таким образом, что движущаяся полоса металла проходила в поле зрения RGB-камер. Энкодер осуществлял считывание перемещения полосы и передавал сигналы в прибор на базе микроконтроллера. Микроконтроллер пересчитывал количество импульсов в миллиметры пройдённого расстояния и через заданное расстояние подавал команду на камеры и осветители для начала экспозиции кадра. Получение изображения с угловым освещением происходило при смещении объекта на ½ размера кадра камеры, что достигалось включением матричных осветителей. При дальнейшем смещении объекта на рассеяние равное полной высоте кадра камеры происходило очередное получение изображение с диффузионным освещением. Таким образом, при движении объекта достигалось получение полного набора изображений по всей поверхности контроля, как с диффузионным, так и с угловым освещением. Полученное изображение передавалось на ЭВМ с предварительно обученной нейронной сетью для детектирования дефектов.

Аналогично, система работала с обратной (нижней) стороной поверхности объекта контроля. За исключением того, что алгоритм управления импульсами осветителей и экспозицией камеры был сдвинут по фазе, для исключения «засвета» противостоящими осветителями.

Таким образом, достигается 100% контроля по всей протяженности контролируемого объекта с двух сторон.

Заявленное техническое решение было реализовано на агрегате поперечной резки листового металла АПР-2 в ЦОМ-3 производства плоского проката ПАО «Северсталь». Использование данного изобретения позволило достичь перебраковки в 25% и недобраковки в 35%, вместо 40 – 50 и 50 – 60 % соответственно на системах isra vision.

Изобретение относится к системам оптического обнаружения дефектов поверхности плоских протяженных объектов, таких как стальные металлические материалы (полосы, листы), их сплавы, композитные полимерные материалы и т.д. Система видеоинспекции плоских протяженных объектов содержит видеокамеру, систему освещения, систему управления оборудованием, ЭВМ со свёрточной нейронной сетью. Оптическая схема системы видеоинспекции содержит по меньшей мере одну RGB-камеру машинного зрения и комплексированную систему, состоящую из системы диффузионного освещения с по меньшей мере одним линейным осветителем и системы бокового освещения с по меньшей мере одним матричным осветителем. Технический результат - повышение качества детектирования дефектов поверхности плоских протяженных объектов. 1 ил.

Система видеоинспекции плоских протяженных объектов, содержащая видеокамеру, систему освещения, систему управления оборудованием, отличающаяся тем, что содержит ЭВМ со свёрточной нейронной сетью, при этом оптическая схема системы видеоинспекции содержит по меньшей мере одну RGB-камеру машинного зрения и комплексированную систему, состоящую из системы диффузионного освещения с по меньшей мере одним линейным осветителем и системы бокового освещения с по меньшей мере одним матричным осветителем.