Область техники, к которой относится изобретение
Настоящее изобретение относится к способу формирования обучаемой модели, обучаемой модели, способу контроля поверхностных дефектов, способу производства стали, способу определения соответствия/несоответствия, способу определения сорта, программе определения поверхностных дефектов, программе определения соответствия/несоответствия, системе определения и оборудованию для производства стали.
Уровень техники
На линии по производству стального листа выполняется контроль поверхностных дефектов для обеспечения качества и контроля качества поверхности продукции. В последние годы продвинулось внедрение систем определения, и были разработаны автоматизированные системы контроля качества, обеспечивающие экономию трудовых ресурсов. Основными системами определения стали, которые были введены в последние годы, являются системы контроля, состоящие в основном из оптической системы с подсветкой, камеры и системы обработки изображений. Они обнаруживают дефект на основе разницы в количестве принимаемого света, вызванной рассеянием света на дефектном участке.
В случае прокатного стального листа налет или дефект на поверхности валка может передаваться на стальной лист, вызывая дефекты на поверхности стального листа. Эти дефекты называются периодическими дефектами на стальной полосе, представляющей собой длинный стальной лист, так как они возникают с периодичностью по всей длине. Периодические дефекты приводят к большому количеству случаев, когда они возникают по своей причине. Хотя периодические дефекты чрезвычайно опасны, их обнаружение не является простым, так как отдельные дефекты являются слишком маленькими. Кроме того, еще больше затрудняется обнаружение периодических дефектов на высокоскоростной линии, на которой скорость прохождения стальной полосы является высокой.
Кроме того, известно, что, так как положение периодических дефектов в направлении ширины (в направлении, ортогональном потоку стального листа) значительно смещается, когда стальной лист изгибается при прохождении, трудно обнаружить периодические дефекты как дефекты, имеющие периодичность по направлению потока.
Кроме того, из-за удобства производственного процесса может потребоваться контроль поверхностных дефектов на линии ниже по потоку относительно линии, где фактически возникают периодические дефекты. Например, применим случай, когда периодические дефекты в линии травления исследуются в CAL (линии непрерывного отжига) после холодной прокатки. Как только что описано, когда линия контроля и линия появления дефекта являются разными, дополнительно трудно определить влияние извилистости стального листа, которое произошло на линии появления дефекта, на основе информации о положении на дефектном участке, обнаруженном на линии контроля.
В качестве способа обнаружения периодических дефектов, даже когда стальной лист изгибается, известен способ установки допустимой ширины в направлении ширины. В частности, когда дефект обнаружен, путем установки постоянной допустимой ширины от дефекта в направлении ширины и определения дефектов, которые периодически возникают (например, три или более раз) в пределах этой допустимой ширины как периодические дефекты, при этом периодические дефекты могут быть обнаружены даже тогда, когда стальной лист изгибается.
В патентном документе 1 предложен способ обнаружения периодических дефектов путем вычисления коэффициента автокорреляции в направлении потока стального листа на основе принятого оптического сигнала в направлении ширины.
В патентном документе 2 для каждого типа дефекта заранее устанавливается значение оценки дефекта и то, является ли соответствующий тип дефекта дефектом периодического типа. В дополнение к этому, для дефекта периодического типа пороговое значение для общего значения оценочных значений устанавливается заранее. Затем уровень сигнала для обнаружения дефектов (пороговое значение для обнаружения дефектов) устанавливается близким к уровню шума и определяется тип обнаруженного дефекта, и если соответствующий тип дефекта определяется как дефект периодического типа, когда соответствующие дефекты непрерывно возникают определенное количество раз или более с одним и тем же шагом, и когда общее значение оценочных значений больше или равно пороговому значению для общего значения оценочных значений, установленных заранее, способ, предлагаемый в патентном документе 2, определяет соответствующие дефекты как периодические дефекты.
В патентном документе 3 предложен способ обнаружения периодических дефектов путем размещения, на основе двухмерной карты сигнала, измеренного способом рассеяния магнитного потока, который посредством намагничивания объекта обнаруживает утечку магнитного потока от объекта, множества небольших областей по существу одного и того же размера, что и дефекты, с равными интервалами, соответствующими шагу валков, и путем выполнения вычисления корреляции между областями.
Перечень цитируемых документов
Патентные документы
Патентный документ 1: выложенная заявка на патент Японии № S58-156842.
Патентный документ 2: выложенная заявка на патент Японии № H07-198627.
Патентный документ 3: выложенная заявка на патент Японии № 2009-265087.
Сущность изобретения
Техническая задача
Так как способ установки допустимой ширины и способ, описанный в патентном документе 2, сфокусированы на положении дефекта в направлении ширины и оценивается величина смещения дефекта в направлении ширины, на результат сильно влияет извилистость стального листа. Когда величина смещения позиции в направлении ширины велика из-за изгибания стального листа, определение периодических дефектов может оказаться невозможным. Между тем, когда допустимая ширина для смещения в направлении ширины увеличивается, обнаруживаются (обнаруживаются по всей поверхности) как периодические дефекты такие дефекты, которые не являются периодическими дефектами.
Способ, описанный в патентном документе 1, должен сохранять все сигналы в направлении ширины и вычислять автокорреляцию на всех шагах валков, для которых этот сигнал должен быть обнаружен, и, таким образом, требует весьма большой емкости запоминающего устройства и весьма большого времени вычислений. Кроме того, в способе, описанном в патентном документе 1, когда большое количество дефектов обнаруживается путем регулировки чувствительности, может происходить чрезмерное обнаружение дефектов, и среди них дефекты могут распознаваться как большое количество периодических дефектов путем вычисления автокорреляции, а истинные периодические дефекты могут не обнаруживаться.
Хотя способ, описанный в патентном документе 3, в отличие от патентных документов 1 и 2, является способом, относящимся к способу рассеяния магнитного потока, даже в этом способе, так как множество небольших областей расположены в одном и том же месте в направлении ширины с равными интервалами, периодические дефекты не могут быть обнаружены тогда, когда стальной лист сильно изгибается.
Настоящее изобретение было выполнено с учетом вышеописанных задач, и его задача состоит в том, чтобы предоставить способ формирования обучаемой модели, обучаемую модель, способ контроля поверхностных дефектов, способ производства стали, определение соответствия/несоответствия, способ определения сорта, программу определения поверхностных дефектов, программу определения соответствия/несоответствия, систему определения и оборудование для производства стали, которые способны обнаруживать периодические дефекты с высокой точностью даже тогда, когда стальной лист изгибается.
Решение задачи
Для того чтобы решить задачу и достичь цели, способ формирования обучаемой модели включает в себя: использование обучающего изображения, включающего в себя карту дефектов, которая представляет собой изображение, отображающее распределение дефектного участка на поверхности стали и имеющее единообразный размер изображения, и наличие/отсутствие периодических дефектов, заранее приписанное указанной карте дефектов; и формирование обучающей модели с помощью машинного обучения, для которой: входным параметром является карта дефектов, которая представляет собой изображение, отображающее распределение дефектного участка на поверхности стали и имеющее единообразный размер изображения; а выходным значением является значение, относящееся к наличию/отсутствию периодических дефектов в карте дефектов.
Кроме того, в способе формирования обучаемой модели согласно настоящему изобретению, когда размер изображения карты дефектов, используемый в качестве входного параметра, отличается от единообразного размера изображения, размер изображения карты дефектов преобразуют в единообразный размер изображения, чтобы использовать карту дефектов в качестве входного параметра.
Кроме того, в способе формирования обучающей модели согласно настоящему изобретению обучающая модель создается с использованием тестового изображения, включающего в себя карту дефектов, которая представляет собой изображение, отображающее распределение дефектного участка на поверхности стали и имеющее единообразный размер изображения, как у обучающего изображения, и заранее приписанное указанной карте дефектов наличие/отсутствие периодических дефектов, при этом способ включает в себя: ввод карты дефектов тестового изображения в обучаемую модель для вывода значения, относящегося к наличию/отсутствию периодических дефектов для тестового изображения; определение наличия/отсутствия периодических дефектов на тестовом изображении на основе полученного значения, относящегося к наличию/отсутствию периодических дефектов; вычисление доли правильных ответов путем сравнения определенного наличия/отсутствия периодических дефектов с приписанным заранее наличием/отсутствием периодических дефектов; и корректировку условия формирования обучаемой модели в соответствии с вычисленной долей правильных ответов.
Кроме того, в способе формирования обучаемой модели согласно настоящему изобретению корректировка условия формирования обучаемой модели состоит в замене единообразного размера изображения на другой единообразный размер изображения, другого размера.
Кроме того, способ формирования обучаемой модели согласно настоящему изобретению дополнительно включает в себя: установку множества типов единообразного размера изображения, отличающихся друг от друга по размеру, в качестве единообразного размера изображения; вычисление доли правильных ответов для каждого типа единообразного размера изображения с использованием пары, состоящей из обучающего изображения и тестового изображения, для каждого из установленных единообразных размеров изображения; и формирование обучаемой модели с использованием обучающего изображения и тестового изображения, которые имеют единообразный размер изображения и наивысшую вычисленную долю правильных ответов.
Кроме того, обучаемая модель согласно настоящему изобретению включает в себя: входной слой, выполненный с возможностью ввода, в качестве определяемого изображения, карты дефектов, которая представляет собой изображение, отображающее распределение дефектного участка на поверхности стали и имеющее единообразный размер изображения; выходной слой, выполненный с возможностью вывода значения, относящегося к наличию/отсутствию периодических дефектов для определяемого изображения; и промежуточный слой, для которого были обучены параметры с использованием обучающего изображения, для которого: входные данные представляют собой карту дефектов, имеющую единообразный размер изображения, как размер определяемого изображения; и выходное значение представляет собой значение, относящееся к наличию/отсутствию периодических дефектов для карты дефектов, при этом обучаемая модель предписывает компьютеру функционировать для: ввода определяемого изображения, имеющего единообразный размер изображения, во входной слой; выполнения вычислений в промежуточном слое; и вывода значения наличия/отсутствия периодических дефектов из выходного слоя.
Кроме того, способ контроля поверхностных дефектов согласно настоящему изобретению включает в себя: этап сбора данных изображения, для получения которых выполнена съемка поверхности стали; этап формирования карты дефектов, отображающей распределение дефектного участка, на основе данных изображения; этап формирования определяемого изображения для каждой карты дефектов путем преобразования размера изображения карты дефектов в единообразный размер изображения; и этап определения наличия/отсутствия периодических дефектов для определяемого изображения на основе значения, относящегося к наличию/отсутствию периодических дефектов, посредством ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов.
Кроме того, в способе контроля поверхностных дефектов согласно настоящему изобретению обучаемая модель подвергается машинному обучению с использованием обучающего изображения с единообразным размером изображения, как размер определяемого изображения, таким образом, чтобы при вводе определяемого изображения выводилось значение, относящееся к наличию/отсутствию периодических дефектов.
Кроме того, способ производства стали согласно настоящему изобретению включает в себя: обнаружение периодических дефектов на поверхности стали с использованием способа контроля поверхностных дефектов по настоящему изобретению; и производство стали, управляя условиями производства на основе результата обнаружения.
Кроме того, способ определения соответствия/несоответствия согласно настоящему изобретению включает в себя: этап сбора данных изображения, для получения которых выполнена съемка поверхности стали; этап формирования карты дефектов, отображающей распределение дефектного участка, на основе данных изображения; этап формирования определяемого изображения для каждой карты дефектов путем преобразования размера изображения карты дефектов в единообразный размер изображения; и этап определения соответствия/несоответствия стали на основе значения, относящегося к наличию/отсутствию периодических дефектов, путем ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов.
Кроме того, в способе определения соответствия/несоответствия согласно настоящему изобретению, обучаемая модель подвергается машинному обучению с использованием обучающего изображения, имеющего единообразный размер изображения, как размер определяемого изображения, таким образом, чтобы при вводе определяемого изображения выводилось значение, относящееся к наличию/отсутствию периодических дефектов.
Кроме того, способ производства стали согласно настоящему изобретению включает в себя: определение соответствия/несоответствия стали с использованием способа определения соответствия/несоответствия согласно настоящему изобретению; и производство стали, управляя условиями производства на основе результата определения.
Кроме того, способ определения сорта согласно настоящему изобретению включает в себя: этап сбора данных изображения, для получения которых выполнена съемка поверхности стали; этап формирования карты дефектов, отображающей распределение дефектного участка, на основе данных изображения; этап формирования определяемого изображения для каждой карты дефектов путем преобразования размера изображения карты дефектов в единообразный размер изображения; этап определения наличия/отсутствия периодических дефектов для определяемого изображения на основе значения, относящегося к наличию/отсутствию периодических дефектов, путем ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов; этап вычисления показателя смешенных дефектов в определяемом изображении на основе дефектного участка; и этап определения сорта стали, соответствующей определяемому изображению, на основе вычисленного показателя смешенных дефектов и результата определения наличия/отсутствия периодических дефектов для определяемого изображения.
Кроме того, способ определения сорта согласно настоящему изобретению включает в себя: этап сбора данных изображения, для получения которых выполнена съемка поверхности стали; этап формирования карты дефектов, указывающей распределение дефектного участка, на основе данных изображения; этап формирования определяемого изображения для каждой карты дефектов путем преобразования размера изображения карты дефектов в единообразный размер изображения; этап определения соответствия/несоответствия стали на основе значения, относящегося к наличию/отсутствию периодических дефектов, путем ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов; этап вычисления показателя смешенных дефектов в определяемом изображении на основе дефектного участка; и этап определения сорта стали, соответствующей определяемому изображению, на основе вычисленного показателя смешенных дефектов и результата определения соответствия/несоответствия стали.
Кроме того, способ производства стали согласно настоящему изобретению включает в себя этап сортировки стали для каждого сорта с использованием способа определения сорта согласно настоящему изобретению.
Кроме того, программа определения поверхностных дефектов согласно настоящему изобретению представляет собой программу, которая предписывает компьютеру выполнять обработку, включающую в себя: этап сбора данных изображения, для получения которых выполнена съемка поверхности стали; этап формирования карты дефектов, отображающей распределение дефектного участка, на основе данных изображения; этап формирования определяемого изображения для каждой карты дефектов путем преобразования размера изображения карты дефектов в единообразный размер изображения; и этап определения наличия/отсутствия периодических дефектов для определяемого изображения на основе значения, относящегося к наличию/отсутствию периодических дефектов, путем ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов.
Кроме того, программа определения соответствия/несоответствия согласно настоящему изобретению представляет собой программу, которая предписывает компьютеру выполнять обработку, включающую в себя: этап сбора данных изображения, для получения которых выполнена съемка поверхности стали; этап формирования карты дефектов, отображающей распределение дефектного участка, на основе данных изображения; этап формирования определяемого изображения для каждой карты дефектов путем преобразования размера изображения карты дефектов в единообразный размер изображения; и этап определения соответствия/несоответствия стали на основе значения, относящегося к наличию/отсутствию периодических дефектов, путем ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов.
Кроме того, система определения согласно настоящему изобретению включает в себя: блок формирования карты дефектов, выполненный с возможностью формирования карты дефектов, отображающей распределение дефектного участка на основе данных изображения, для получения которых выполнена съемка поверхности стали; блок преобразования размера, выполненный с возможностью преобразования размера изображения карты дефектов в единообразный размер изображения для формирования определяемого изображения для каждой карты дефектов; блок определения периодических дефектов, выполненный с возможностью ввода определяемого изображения в обучаемую модель машинного обучения и вывода значения, относящегося к наличию/отсутствию периодических дефектов; и блок определения, выполненный с возможностью определения наличия/отсутствия периодических дефектов для определяемого изображения и/или определения соответствия/несоответствия стали на основе значения, относящегося к наличию/отсутствию периодических дефектов, при этом обучаемая модель подвергается машинному обучению с использованием обучающего изображения с единообразным размером изображения, как размер определяемого изображения, таким образом, чтобы значение, относящееся к наличию/отсутствию периодических дефектов, выводилось при вводе определяемого изображения.
Кроме того, оборудование для производства стали согласно настоящему изобретению представляет собой оборудование, включающее в себя систему определения согласно настоящему изобретению.
Преимущественные эффекты изобретения
Согласно настоящему изобретению можно выполнить способ формирования обучаемой модели, обучаемую модель, способ контроля поверхностных дефектов, способ производства стали, способ определения соответствия/несоответствия, способ определения сорта, программу определения поверхностного дефекта, программу определения соответствия/несоответствия, систему определения и оборудование для производства стали, которые способны обнаруживать периодические дефекты с высокой точностью даже тогда, когда стальной лист изгибается.
Краткое описание чертежей
Фиг.1 – схематическое изображение, иллюстрирующее конфигурацию системы определения стали согласно первому варианту осуществления настоящего изобретения.
Фиг.2 – схематическое изображение, иллюстрирующее конфигурацию обучаемой модели.
Фиг.3 – блок-схема последовательности операций, иллюстрирующая процесс формирования обучаемой модели.
Фиг.4 – изображение, иллюстрирующее один пример карты дефектов.
Фиг.5 – изображение, иллюстрирующее один пример карты дефектов.
Фиг.6 – графики, иллюстрирующие один пример карты дефектов перед преобразованием размера изображения.
Фиг.7 – графики, иллюстрирующие один пример карты дефектов после преобразования размера изображения.
Фиг.8 – схема, поясняющая пример CNN, используемого в первом варианте осуществления изобретения.
Фиг.9 – таблица, иллюстрирующая пример количества карт дефектов для обучающих изображений и карт дефектов для подготовленных тестовых изображений.
Фиг.10 – таблица, иллюстрирующая пример результата определения теста.
Фиг.11 – таблица, иллюстрирующая другой пример результата определения теста.
Фиг.12 – таблица, иллюстрирующая пример результата определения теста согласно предшествующему уровню техники.
Фиг.13 – график, иллюстрирующий изменения доли правильных ответов для обучающего изображения и тестового изображения, когда единообразный размер изображения установлен равным 60×120 пикселей.
Фиг.14 – график, иллюстрирующий изменения доли правильных ответов для обучающего изображения и тестового изображения, когда единообразный размер изображения установлен равным 120×240 пикселей.
Фиг.15 – график, иллюстрирующий изменение доли правильных ответов для обучающего изображения и тестового изображения, когда единообразный размер изображения установлен равным 240×480 пикселей.
Фиг.16 – график зависимости, показанной на фиг.13-15, самой высокой доли правильных ответов для тестового изображения от единообразного размера изображения.
Фиг.17 – таблица, иллюстрирующая значение доли правильных ответов в точке графика, показанного на фиг.16, и количество моментов времени наивысшей доли правильных ответов.
Фиг.18 – блок-схема последовательности операций, иллюстрирующая последовательность операций определения наличия/отсутствия периодических дефектов стального материала.
Фиг.19 – блок-схема последовательности операций, иллюстрирующая процесс формирования определяемого изображения, показанный на фиг.18.
Фиг.20 – блок-схема последовательности операций, иллюстрирующая процесс определения, показанный на фиг.18.
Фиг.21 – изображения, иллюстрирующие пример карт дефектов, которые включают в себя периодические дефекты.
Фиг.22 – изображения, иллюстрирующие пример карт дефектов, которые не включают в себя периодические дефекты.
Фиг.23 – блок-схема последовательности операций, иллюстрирующая результат определения, показанный на фиг.18.
Фиг.24 – блок-схема, иллюстрирующая результат определения на фиг.18.
Фиг.25 – схематичное изображение, иллюстрирующее конфигурацию системы определения стали согласно второму варианту осуществления настоящего изобретения.
Фиг.26 – блок-схема, иллюстрирующая результат определения на фиг.18.
Фиг.27 – блок-схема, иллюстрирующая результат определения на фиг.18.
Подробное описание изобретения
Ниже со ссылкой на сопроводительные чертежи будут описаны способ формирования обучающей модели, обучающая модель, способ контроля поверхностных дефектов, способ производства стали, способ определения соответствия/несоответствия, способ определения сорта, программа определения поверхностных дефектов, программа определения соответствия/несоответствия, система определения и оборудование для производства стали, которые являются примерными вариантами осуществления настоящего изобретения. Сначала будет описана схема системы определения. Далее будет описана обучаемая модель, используемая в этой системе определения для обнаружения поверхностных дефектов. После этого будет описан способ формирования этой обучаемой модели. Затем будут описаны в указанном выше порядке способ контроля поверхностных дефектов с использованием обучаемой модели, способ производства стали с использованием способа контроля поверхностных дефектов, способ определения соответствия/несоответствия, способ производства стали с использованием способа определения соответствия/несоответствия, оборудование для производства стали и способ определения сорта.
В общем, настоящее изобретение применимо к стали, если сталь может иметь периодические дефекты, но ниже в качестве примера будет описан стальной лист P. Стальной лист P представляет собой стальной лист, изготовленный с помощью процессов, на которые может повлиять изгиб, например, холоднокатаный стальной лист, лист стальной с обработанной поверхностью, протравленный стальной лист, горячекатаный стальной лист, электромагнитный стальной лист и т.п. Кроме того, настоящее изобретение также применимо к стальной полосе, которая представляет собой длинный стальной лист. При применении к стальным полосам особенно заметен эффект предотвращения значительного ухудшения качества продукции из-за периодических дефектов, которые имеют тенденцию возникать на расширенном диапазоне.
Первый вариант осуществления изобретения
Система определения стали
На фиг.1 показано схематичное изображение, иллюстрирующее конфигурацию системы определения стали согласно первому варианту осуществления настоящего изобретения. Как показано на фиг.1, система 1 определения стали в первом варианте осуществления настоящего изобретения включает в себя устройство 2 подсветки, устройство 3 формирования изображения, блок 4 обработки изображения и блок 5 определения стали.
Система 1 определения стали представляет собой систему определения для стального листа P, которая определяет, с использованием обучаемой модели, которая будет описана позже, имеются ли периодические дефекты на поверхности стального листа P.
Устройство 2 подсветки освещает в качестве источника света поверхность стального листа P, который является объектом исследования системы определения стали 1. Устройство 2 подсветки должно быть источником света, используемым только в системе 1 определения стали, и представляет собой, например, светодиодный источник света, источник света с лампами накаливания, стробоскоп или металлогалогенный источник света.
Устройство 3 формирования изображения формирует изображение поверхности стального листа P, освещенного устройством 2 подсветки, и после этого передает электронные данные полученного изображения поверхности стального листа P в блок 4 обработки изображения. Устройство 3 формирования изображения может быть либо устройством, которое называется камерой c линейным сенсором, имеющей элемент для формирования одномерного изображения, либо устройством, которое называется зонной камерой, имеющей элемент для формирования двухмерного изображения, но в любом случае формирование изображения выполняется синхронно с транспортировкой стального листа P. Когда устройство 3 формирования изображения представляет собой камеру с линейным сенсором, в качестве устройства 2 подсветки используется непрерывная подсветка. Когда устройством 3 формирования изображения является зонная камера, в качестве устройства 2 подсветки используется импульсный источник света, который излучает импульсный свет каждый раз, когда стальной лист P перемещается на определенное расстояние. Элемент формирования изображения, используемый для устройства 3 формирования изображения, может быть ПЗС (прибором с зарядовой связью), но может быть КМОП (комплементарным металло-оксидным полупроводником). Устройство 3 формирования изображения может формировать изображение либо в условиях зеркального отражения, либо в условиях диффузного отражения подсветки. Хотя на фиг.1 показан один комплект из источника света и камеры, может быть предусмотрено несколько источников света и несколько камер. Например, можно использовать оптическую систему, состоящую из двух комплектов, в которой один комплект из источника света и камеры размещается в условиях зеркального отражения, и другой комплект из источника света и камеры размещается в условиях диффузного отражения. Более того, каждый из двух комплектов из источника света и камеры может быть размещен в условиях диффузного отражения, или три или более комплектов из источника света и камеры могут быть объединены. Кроме того, формирование изображения может быть выполнено посредством разделения направления ширины стального листа P на множество частей и выделения этих частей к множеству комплектов из источника света и камеры; в дальнейшем изображения могут быть объединены. Обычно между источником света и камерой размещаются различные оптические элементы, такие как цветной стеклянный фильтр, фильтр, отсекающий ИК-спектр, поляризационный фильтр и т.п., но на фиг.1 они не показаны.
Блок 4 обработки изображения анализирует данные изображения поверхности стального листа P, переданные из устройства 3 формирования изображения, и обнаруживает поверхностные дефекты на поверхности стального листа P, если таковые имеются, и определяет тип поверхностных дефектов и степень вреда от этих поверхностных дефектов, а затем выводит соответствующую информацию в блок определения стали 5.
Блок 4 обработки изображения включает в себя блок 41 сбора данных, блок 42 коррекции изображения, блок 43 обнаружения дефектов, блок 44 определения дефектов и блок 45 формирования карты дефектов. Блок 4 обработки изображений реализован с использованием различных арифметических схем, таких как центральный процессор (ЦП), и запоминающее устройство, такое как память и жесткий диск. Каждый модуль в блоке 4 обработки изображений реализован с помощью программы, исполняемой арифметической схемой. То есть блок 4 обработки изображения, посредством исполнения этой программы, функционирует как блок 41 сбора данных, блок 42 коррекции изображения, блок 43 обнаружения дефектов, блок 44 определения дефектов и блок 45 формирования карты дефектов.
Блок 5 определения стали включает в себя блок 51 преобразования размера, блок 52 определения периодических дефектов и блок 53 определения. Блок 5 определения стали реализован с использованием различных арифметических схем, таких как CPU и запоминающее устройство, такое как память и жесткий диск. Каждый модуль в блоке 5 определения стали реализован с помощью программы, исполняемой арифметической схемой. То есть блок 5 определения стали, посредством этой программы, функционирует как блок 51 преобразования размеров, блок 52 определения периодических дефектов и блок 53 определения. Кроме того, блок 5 определения стали снабжен блоком 55 отображения, имеющим дисплейную панель, выполненную из жидкокристаллического материала, органического электролюминесцентного материала (EL) или т.п.
Система 1 определения стали при необходимости может включать в себя блок 6 машинного обучения. Блок 6 машинного обучения включает в себя блок 61 преобразования размера, блок 62 формирования модели и блок 63 вычисления доли правильных ответов. Блок 6 машинного обучения реализован с использованием различных арифметических схем, таких как ЦП, и запоминающего устройства, такого как память и жесткий диск. Каждый модуль в блоке 6 машинного обучения реализуется программой, выполняемой арифметической схемой. То есть блок 6 машинного обучения, посредством этой программы, функционирует как блок 61 преобразования размера, блок 62 формирования модели и блок 63 вычисления доли правильных ответов. Кроме того, блок 6 машинного обучения снабжен блоком 65 отображения, имеющим панель отображения, выполненную из жидкокристаллического материала, органического электролюминесцентного материала или т.п.
Блок 4 обработки изображений, блок 5 определения стали и блок 6 машинного обучения могут быть выполнены таким образом, чтобы они включали в себя отдельные компьютеры. В этом случае блок 4 обработки изображения, блок 5 определения стали и блок 6 машинного обучения, каждый из этих блоков, содержит блок ввода, такой как мышь и клавиатура (не показаны), и блок отображения. На фиг.1 показаны блок 55 отображения блока 5 определения стали и блок 65 отображения блока 6 машинного обучения, но не показаны блоки ввода или блок отображения блока 4 обработки изображения.
Кроме того, как показано на фиг.1, блок 4 обработки изображения и блок 5 определения стали электрически подключены друг к другу. Таким образом, электронные данные, такие как карта дефектов, дефектный участок и т.п., которые будут описаны позже, сформированные в блоке 4 обработки изображений, могут быть переданы из блока 4 обработки изображений в блок 5 определения стали.
При необходимости блок 6 машинного обучения может быть электрически подключен к блоку 4 обработки изображений и блоку 5 определения стали. Например, когда необходимо повторное обучение обучаемой модели, резервные данные карты дефектов из блока 4 обработки изображений и электронные данные о наличии/отсутствии периодических дефектов, соответствующие карте дефектов из блока 5 определения стали, могут быть введены в блок 6 машинного обучения. Затем обучаемая модель после повторного обучения с помощью блока 6 машинного обучения может быть выведена в виде электронных данных из блока 6 машинного обучения в блок 5 определения стали.
Кроме того, блок 62 формирования модели из блока 6 машинного обучения может использовать облачные вычисления. В этом случае блок 62 формирования модели подключен к блоку 61 преобразования размера и блоку 63 вычисления доли правильных ответов через сеть (например, Интернет, локальную сеть и т.п.). Кроме того, в этом случае блок 61 преобразования размера и блок 63 вычисления доли правильных ответов также могут использовать такие же облачные вычисления или отдельные облачные вычисления. И, напротив, возможна ситуация, когда необязательно иметь блок 61 преобразования размера и блок 63 вычисления доли правильных ответов. Блок 62 формирования модели блока 6 машинного обучения может не предоставляться, когда обучаемая модель предоставляется продавцом (компанией, предоставляющей продукцию пользователям), производителем или другим подобным лицом, используя облачные вычисления и т.п. В этом случае, если блок 61 преобразования размера и блок 63 вычисления доли правильных ответов также не предусмотрены, система 1 определения стали является системой, которая не содержит блок 6 машинного обучения.
Кроме того, блок 4 обработки изображений, блок 5 определения стали и блок 6 машинного обучения могут быть выполнены таким образом, что они образованы одним компьютером, или любые два из трех блоков - блок 4 обработки изображений, блок 5 определения стали и блок 6 машинного обучения - могут быть выполнены таким образом, что они образованы одним компьютером. Когда блок 5 определения стали и блок 6 машинного обучения образованы одним компьютером, блок 51 преобразования размера и блок 61 преобразования размера могут быть одним и тем же блоком. Кроме того, блок 65 отображения и блок 55 отображения могут быть одним и тем же блоком.
И, напротив, каждый из блоков - блок 4 обработки изображений, блок 5 определения стали и блок 6 машинного обучения – может быть образован одним или несколькими компьютерами. При выполнении процесса, для которого нагрузка на арифметическую схему является высокой, желательно, чтобы она была выполнена одним или несколькими компьютерами. В частности, желательно, чтобы блок 6 машинного обучения, который генерирует обучаемую модель, которая будет описана позже, был выполнен с одним или несколькими компьютерами. Этот компьютер также включает в себя средства, использующие облачные вычисления.
Обучаемая модель
Далее будет описана обучаемая модель, используемая в первом варианте осуществления настоящего изобретения для обнаружения периодических дефектов. Предполагается, что обучаемая модель настоящего изобретения будет использоваться в качестве программного модуля, который является частью программного обеспечения искусственного интеллекта, и используется в компьютере, который включает в себя CPU и запоминающее устройство (в настоящем описании - блок 5 определения стали). Обучаемой моделью является обучаемая модель, для которой входным значением является карта дефектов, которая имеет единообразный размер изображения, как размер изображения карты дефектов обучающего изображения, и выходным значением является значение, относящееся к наличию/отсутствию периодических дефектов в соответствующей карте дефектов. Карта дефектов представляет собой изображение, отображающее двухмерное распределение дефектных участков, определенных как вредные дефекты. Другими словами, карта дефектов представляет собой изображение, на котором в виде графика нанесены точками дефектные участки.
На фиг.2 показано схематичное изображение, иллюстрирующее конфигурацию обучаемой модели. Обучаемая модель, показанная на фиг.2, включает в себя входной слой 71, промежуточный слой 72 и выходной слой 73. В этом случае во входном слое 71 в качестве определяемого изображения вводится карта дефектов, которая представляет собой изображение, отображающее распределение дефектных участков на поверхности стального листа P, и имеет единообразный размер изображения, как размер изображения у обучающего изображения. В промежуточном слое 72 обучаются параметры с использованием обучающего изображения, для которого карта дефектов с таким же размером, как у определяемого изображения, представляет собой входные данные, и значение, относящееся к наличию/отсутствию периодических дефектов для соответствующей карты дефектов, представляет собой выходные данные. Из выходного слоя 73 выводится значение, относящееся к наличию/отсутствию периодических дефектов в определяемом изображении.
Далее, обучаемая модель предписывает компьютеру функционировать таким образом, чтобы вводить определяемое изображение того же размера, что и обучающее изображение, во входной слой 71, выполнять вычисления в промежуточном слое 72 и выводить значение, относящееся к наличию/отсутствию периодических дефектов из выходного слоя 73. Определяемым изображением является изображение, которое является объектом определения наличия/отсутствия периодических дефектов, - это изображение, отображающее двухмерное распределение дефектных участков на поверхности стального листа P, и является картой дефектов того же размера, что и обучающее изображение. Обучающее изображение будет описано позже. В нижеследующем описании единообразный размер изображения представляет собой размер изображения, получаемый при унификации до единообразного размера размеров изображения карты дефектов определяемого изображения, обучающего изображения и тестового изображения, которые будут описаны позже. Вышеупомянутая обучаемая модель также может быть по-другому названа исходя из ее функции как классификатор.
Способ формирования обучаемой модели
Далее будет описан способ формирования этой обучаемой модели. Формирование обучаемой модели необходимо выполнять только один раз, и с помощью созданной обучаемой модели можно многократно обнаруживать периодические дефекты на поверхности стального листа P. Кроме того, обучаемая модель по настоящему изобретению генерируется в компьютере, который включает в себя CPU и запоминающее устройство (в настоящем описании - блок 6 машинного обучения). Этот компьютер также включает в себя то, что использует облачные вычисления.
На фиг.3 показана блок-схема последовательности операций, иллюстрирующая процесс формирования обучаемой модели. В первом процессе, показанном на фиг.3, имеются две стрелки, которые указывают на то, что процесс обработка на этапах S1-S3 и процесс обработки на этапах S4 и S5 могут выполняться параллельно. На последующих блок-схемах две стрелки означают такой же процесс обработки. Кроме того, разветвление стрелки также означает такой же процесс обработки. Процесс обработки на этапах S4 и S5 может выполняться после выполнения процесса обработки на этапах S1-S3. Кроме того, процесс обработки на этапах S1 и S4 и процесс обработки на этапах S2 и S5 могут выполняться совместно, а после этого может выполняться процесс обработки на этапе S3.
Как показано на фиг.3, сначала карты дефектов и наличие/отсутствие периодических дефектов, приписанных каждой из рассматриваемых карт дефектов, подготавливаются заранее в виде множество пар данных для обучающих изображений (этап S1). Заранее карты дефектов для обучающих изображений генерируют из данных изображений, для получения которых сформированы изображения поверхности стальных листов P разной длины и ширины.
На фиг.4 и фиг.5 показаны изображения, иллюстрирующие примеры карты дефектов. На фиг.4 и фиг.5 участок, отображаемый черным цветом, является дефектным. На фиг.4 показан пример карты дефектов, не содержащей периодических дефектов, а на фиг.5 показан пример карты дефектов, имеющей периодические дефекты D. В каждой заранее подготовленной карте дефектов заранее создается «наличие/отсутствие соответствующих периодических дефектов», и каждая карта дефектов и «наличие/отсутствие периодических дефектов» в рассматриваемой карте дефектов ассоциированы друг с другом.
Далее, блок 61 преобразования размера выполняет процесс преобразования размера для преобразования размера изображения каждой карты дефектов, включенной в пары данных для обучающих изображений, в единообразный размер изображения (этап S2). Выполняя этот процесс обработки, подготавливаются обучающие изображения, каждое из которых включает в себя карту дефектов и «наличие/отсутствие периодических дефектов», приписанное соответствующей карте дефектов.
Так как длина и ширина стального листа P изменяются в зависимости от условий производства, карта дефектов, соответствующая стальному листу P, также отличается по длине и ширине. На фиг.6 показан график, иллюстрирующий один пример карты дефектов до преобразования размера изображения. Как показано на фиг.6, предполагается, что имеется карта дефектов, созданная путем формирования изображения стального листа B1, имеющего длину 100 м и ширину 1500 мм, и карта дефектов, созданная путем формирования изображения стального листа B2, имеющего, например, длину 75 м и ширину 900 мм. Предполагается, что на стальном листе B1 и стальном листе B2 возникли периодические дефекты, имеющие периодический интервал и величину изгиба, аналогичные периодическому интервалу 8 м и величине изгиба 460 мм. Когда стальные листы производятся в один и тот же период времени с использованием одного и того же производственного оборудования, возникающие периодические дефекты, вероятно, будут иметь такую же степень периодичности и величину изгиба.
На фиг.7 показан график, иллюстрирующий один пример карты дефектов после преобразования размера изображения. Как показано на фиг.7, блок 61 преобразования размера преобразует каждую из карт дефектов, соответствующих стальному листу B1 и стальному листу B2, в изображение размером 120×240 пикселей (в единообразный размер изображения). Следовательно, на карте C1 дефектов после преобразования размера возникли периодические дефекты, имеющие периодический интервал 19 пикселей и величину изгиба 37 пикселей, а на карте C2 дефектов после преобразования размера возникли периодические дефекты, имеющие периодический интервал 26 пикселей и величину изгиба 61 пиксель. То есть, так как блок 61 преобразования размера преобразует карты дефектов в один и тот же размер, получается тот же эффект, что и при машинном обучении с использованием обучающих изображений, включающих периодические дефекты с разными периодами и величинами изгиба. Таким образом, так как блок 61 преобразования размера преобразует размер изображения карты дефектов для обучающих изображений в один и тот же размер для формирования обучающих изображений, получается тот же эффект, что и при машинном обучении с использованием обучающих изображений, включающих периодические дефекты с большим разбросом, тем самым позволяя эффективно выполнять машинное обучение.
Для единообразного размера изображения в первый раз можно использовать подходящий установленный размер изображения. Машинное обучение может выполняться до тех пор, пока не будут унифицированы размеры изображений карт дефектов для обучающих изображений, и подходящий размер изображения может быть определен на основе результата доли правильных ответов, что будет описана позже, и после этого карты дефектов для обучающих изображений могут быть преобразованы в единообразный размер изображения с помощью блока 61 преобразования размера. Кроме того, в качестве единообразного размера изображения, может быть установлено множество типов единообразных размеров изображений, имеющих размеры изображения, отличающиеся друг от друга, доля правильных ответов, что будет описано позже, может быть вычислена для каждого из единообразных размеров изображения, которые были установлены; может быть определен размер изображения, для которого вычисленная доля правильных ответов больше или равна пороговому значению, определенному заранее, или имеет самое высокое значение; и затем может быть генерирована обучаемая модель с единообразным размером изображения, который был определен.
В любом случае, без использования блока 61 преобразования размера, с использованием другого компьютера или т.п., могут быть подготовлены обучающие изображения, для которых размер изображения карт дефектов установлен заранее на единообразный размер изображения.
Между тем, на этапе S4, как и на этапе S1, карты дефектов, которые представляют собой изображения, отображающие двухмерное распределение дефектных участков на поверхности стального листа P и наличие/отсутствие периодических дефектов, приписанное каждой из рассматриваемых карт дефектов, подготавливаются в виде множества пар данных для тестовых изображений. Карты дефектов для тестовых изображений также создаются, как и в случае с описанными выше картами дефектов для обучающих изображений, из данных изображений, для получения которых заранее сформированы изображения поверхности стальных листов P различной длины и ширины.
Далее, на этапе S5, как и на этапе S2, блок 61 преобразования размера выполняет процесс преобразования размера для преобразования размера изображения каждой карты дефектов, включенной в пары данных для тестовых изображений, в единообразный размер изображения, как размер изображения у карты дефектов вышеописанных обучающих изображений. Выполняя эту обработку, подготавливаются тестовые изображения, каждое из которых включает в себя карту дефектов и наличие/отсутствие периодических дефектов, приписанное рассматриваемой карте дефектов.
После подготовки обучающих изображений блок 62 формирования модели выполняет процесс формирования модели для формирования обучающей модели посредством машинного обучения с использованием обучающих изображений, подготовленных на этапе S2 (этап S3). Другими словами, когда размер изображения карты дефектов, используемой в качестве входного значения блоком 62 формирования модели, отличается от единообразного размера изображения, за счет процесса обработки на этапе S2, блок 61 преобразования размера преобразует размер изображения карты дефектов в единообразный размер изображения, прежде чем использовать его в качестве входного значения.
Желательно, чтобы машинное обучение, используемое в первом варианте осуществления, было глубоким обучением, и в частности, более желательно использовать сверточные нейронные сети (далее сокращенно CNN). Когда используется это глубокое обучение, особенно когда используется CNN, необходимо только предоставить нейронную сеть из двух или более слоев. Когда используется CNN, модель обучения или классификатор можно по-другому назвать как сверточную нейросетевую систему.
Пример CNN, используемого в первом варианте осуществления, будет подробно описан со ссылкой на фиг.8. На фиг.8 показан пример реализации модели нейронной сети, которая посредством использования CNN ассоциирует карту дефектов, которая представляет собой двухмерное изображение распределения дефектных участков, со значением, относящимся к наличию/отсутствию периодических дефектов.
Сначала, во входной слой 71, в качестве входных данных, вводится карта дефектов размером 120×240 пикселей.
Затем, в качестве промежуточного слоя 72, обеспечиваются слои от первого сверточного слоя 7201 до слоя 7213 выпадения.
Сначала, в первом сверточном слое 7201 извлекается признак карты дефектов, и создаются данные размером 120×240×128 Чейн.
Далее, в первой функции 7202 активации применяется блок линейного выпрямителя (ReLU).
Кроме того, в первом объединяющем слое 7203, путем уменьшения размера при сохранении важной информации, создаются данные размером 120×240×256 Чейн.
После этого во втором сверточном слое 7204, второй функции 7205 активации и втором объединяющем слое 7206 выполняется та же обработка, что и в первом сверточном слое 7201, первой функции 7202 активации и первом объединяющем слое 7203, и создаются данные размером 60×120×256 Чейн.
Кроме того, такая же обработка выполняется в третьем сверточном слое 7207, третьей функции 7208 активации и третьем объединяющем слое 7209, и создаются данные размером 30×60×16 Чейн.
Затем, в первом слое 7210 полной связи взвешивается связь узлов, и создаются данные размером 15×30×16 Чейн.
Кроме того, в четвертой функции 7211 активации применяется ReLU.
После этого во втором слое 7212 полной связи взвешивается связь узлов, и создаются данные 16 Чейн. Затем, за счет слоя 7213 выпадения предотвращается переобучение.
Наконец, в качестве выходных данных из выходного слоя 73 для карты дефектов, которая была введена, выводится значение, относящееся к наличию/отсутствию периодических дефектов. Значение, относящееся к наличию/отсутствию периодических дефектов, включает в себя вероятность x% отсутствия периодических дефектов из входной карты дефектов и вероятность y% наличия периодических дефектов во входной карте дефектов.
После завершения машинного обучения с использованием множества обучающих изображений карты дефектов тестовых изображений вводятся в обучаемую модель, созданную на этапе S3 (этап S6). Затем обучаемая модель выводит значение, относящееся к наличию/отсутствию периодических дефектов во входном тестовом изображении. Кроме того, блок 63 вычисления доли правильных ответов определяет на основе значения, относящегося к наличию/отсутствию периодических дефектов, которое выводит обучаемая модель, наличие/отсутствие периодических дефектов в тестовом изображении. После этого блок 63 вычисления доли правильных ответов сравнивает, на каждом тестовом изображении, полученное наличие/отсутствие периодических дефектов, с наличием/отсутствием периодических дефектов, приписанных заранее на этапе S4, и вычисляет долю правильных ответов.
Теперь будет описан пример множества типов единообразных размеров изображений и доли полученных правильных ответов, с использованием карт суммарных дефектов, представленных на фиг.9. В соответствии с этим объяснением будет уточнена техническая важность формирования единообразного размера изображения карты дефектов обучающего изображения, карты дефектов тестового изображения и карты дефектов определяемого изображения, что будет описано позже.
На фиг.9 показана таблица, иллюстрирующая один пример количества подготовленных карт дефектов для обучающих изображений и карт дефектов для тестовых изображений. Как показано на фиг.9, сначала было заранее подготовлено 1544 карт дефектов (карты суммарных дефектов), созданных на основе данных изображений, полученных заранее путем формирования изображения поверхностей стальных листов P, имеющих разную длину и ширину. Эти карты дефектов были заранее изучены людьми на наличие/отсутствие периодических дефектов, и было определено, что количество карт дефектов с отсутствием периодических дефектов составляет 1102 штуки, а количество карт дефектов с наличием периодических дефектов составляет 442 шт.
Среди карт суммарных дефектов 80% (1230 штук) случайно выбранных карт дефектов использовались для карт дефектов для обучающих изображений. Пары данных карт дефектов для обучающих изображений и данные о наличии/отсутствии периодических дефектов, приписанные им, используются для формирования обучаемой модели с помощью машинного обучения. Из 1230 карт дефектов, используемых для карт дефектов для обучающих изображений, было определено 881 карт дефектов, в которых отсутствуют периодические дефекты, и 349 карт дефектов, в которых присутствуют периодические дефекты.
Между тем среди карт суммарных дефектов, оставшиеся 20% (314 штук) карт дефектов использовались для карт дефектов для тестовых изображений. Пары данных карт дефектов и данные о наличии/отсутствии периодических дефектов, приписанные им, используются тогда, когда выполняются тесты для подтверждения доли правильных ответов обучаемой модели, созданной с использованием вышеописанных обучающих изображений. Из 314 карт дефектов, используемых для карт дефектов для тестовых изображений, 221 карта дефектов, в которых было определено отсутствие периодических дефектов, и 93 карты дефектов, в которых было определено наличие периодических дефектов.
На фиг.10 и фиг.11 показаны таблицы, иллюстрирующие один пример результатов определения теста. На фиг.10 показан результат определения, когда в блоке 61 преобразования размера размеры изображений карт дефектов обучающих изображений и тестовых изображений сделаны единообразного размера, равного 240×480 пикселей. Доля правильных ответов может быть определена как (количество случаев, когда отсутствие периодических дефектов определено как отсутствие периодических дефектов + количество случаев, когда наличие периодических дефектов определено как наличие периодических дефектов) / (суммарное количество тестовых изображений), и можно вычислить следующим образом: доля правильных ответов = (209+80)/314=92,0%. Кроме того, доля чрезмерного обнаружения может быть определена как (количество случаев, когда отсутствие периодичности определено как наличие периодичности) / (суммарное количество тестовых изображений), и ее можно вычислить следующим образом: доля чрезмерного обнаружения = 12/314=3,8%.
На фиг.11 показан результат определения, когда в блоке 61 преобразования размера размеры изображений карт дефектов обучающих изображений и тестовых изображений приведены к единообразному размеру изображения 120×240 пикселей. Долю правильных ответов можно вычислить как (211+82)/314=93,3%. Кроме того, долю чрезмерного обнаружения можно вычислить как 10/314=3,2%.
Возвращаясь к фиг.3, когда вычисленная доля правильных ответов больше или равна пороговому значению ("Да" на этапе S7), блок 6 машинного обучения завершает формирование обучаемой модели. Например, когда пороговое значение доли правильных ответов составляет 90%, даже когда единообразный размер изображения, показанный на фиг.10, установлен равным 240×480 пикселей, или даже когда единообразный размер изображения, показанный на фиг.11, установлен равным 120×240 пикселей, удовлетворяется условие на этапе S7.
Между тем, когда вычисленная доля правильных ответов меньше, чем пороговое значение ("Нет" на этапе S7), процесс возвращается на этапы S2 и этап S5, и блок 61 преобразования размера изменяет размер изображения карт дефектов обучающих изображений и тестовых изображений, которые приведены к единообразному размеру изображения, на другой единообразный размер изображения, который отличается от текущего единообразного размера изображения. Способ изменения размера изображения не ограничивается особым образом. Например, после установки обоих размеров изображения больше и меньше текущего единообразного размера изображения в качестве нового единообразного размера изображения, вычисления доли правильных ответов для обоих размеров изображения и периодического изменения размера изображения в направлении увеличения доли правильных ответов, нужно только определить размер изображения, для которого доля правильных ответов больше или равна пороговому значению. Кроме того, на экране блока 65 отображения может отображаться вычисленная доля правильных ответов, информация об обучающих изображениях и тестовых изображениях, как показано на фиг.10 и фиг.11, и т.п., и исходя из этой информации пользователь может ввести размер изображения, который нужно изменить.
В примерах вычисления доли правильных ответов, показанных на фиг.10 и фиг.11, как доля правильных ответов, так и доля чрезмерного обнаружения в изображении размером 120×240 пикселей улучшается больше, чем в изображении размером 240×480 пикселей, имеющих больший размер изображения. В общем, в машинном обучении, когда размер изображения больше, разрешение по позиционной информации увеличивается, и определение становится более точным, но так как объем информации больше, увеличивается вычислительная нагрузка. Однако в вышеописанных результатах точность определения лучше в изображении размером 120×240 пикселей, имеющих меньший размер изображения. Считается, что это происходит потому, что, если размер изображения делается слишком большим, становится трудно рассматривать соседние периодические дефекты как последовательные. Однако, если размер изображения делается слишком маленьким, соседние периодические дефекты становятся неразличимыми и, следовательно, не являются предпочтительными. Связь между размером изображения и долей правильных ответов будет описана позже.
Кроме того, размер изображения не ограничивается размером 120×240 пикселей или 240×480 пикселей. После того, как авторы изобретения предприняли попытку сделать это, можно считать, что диапазон от 60 до 600 пикселей в направлении ширины и от 120 до 1200 пикселей в направлении длины стального листа P является диапазоном, подходящим размера изображения, исходя из баланса между объемом вычислений и разрешением по позиционной информации о дефекте, но можно считать, что, если направление ширины составляет от 60 до 180 пикселей, а направление длины составляет от 120 до 360 пикселей, время вычисления сокращается и является более предпочтительным.
В вышеописанном примере был описан пример, в котором единообразный размер изображения изменяется неоднократно, но вариант осуществления изобретения не ограничивается этим. Например, в качестве единообразного размера изображения может быть установлено множество типов единообразного размера изображения, имеющих размеры изображения, отличающиеся друг от друга, для каждого из единообразных размеров изображения, которые были установлены, может быть вычислена доля правильных ответов, и обучаемая модель может быть создана с размером изображения, для которого вычисленная доля правильных ответов больше или равна пороговому значению, определенному заранее, или самому высокому значению. Например, в качестве множества типов изображения единообразного размера, имеющих размеры изображения, отличающиеся друг от друга, если предположить, что было установлено 240×480 пикселей и 120×240 пикселей, которые описаны со ссылкой на фиг.10 и фиг.11, обучаемая модель создается размером 120×240 пикселей, для которых выше доля правильных ответов.
В целях сравнения с настоящим изобретением были вычислены доля правильных ответов и частота чрезмерного обнаружения в случае использования предшествующего уровня техники. В предшествующем уровне техники использовался способ определения, который устанавливает постоянную допустимую ширину в направлении ширины от дефекта при обнаружении дефекта, и определяет дефекты, которые периодически возникают в пределах этой допустимой ширины, как периодические дефекты. В следующем определении допустимая ширина была установлена на 5 мм. На фиг.12 показана таблица, иллюстрирующая один пример результата определения теста в соответствии с предшествующим уровнем техники. Как показано на фиг.12, доля правильных ответов равна (844+401)/1544=80,6%, и доля чрезмерного обнаружения равна 258/1544=16,7%. Когда этот результат сравнивается с результатом определения с помощью обучаемой модели, можно подтвердить, что с помощью обучаемой модели значительно улучшаются как доля правильных ответов, так и доля чрезмерного обнаружения.
Выводы о взаимосвязи между размером изображения и долей правильных ответов будут описаны со ссылкой на фиг.13-17. В этом исследовании в качестве единообразного размера изображения использовались пять типов изображений размером 30×60 пикселей, 60×120 пикселей, 120×240 пикселей, 240×480 пикселей и 480×960 пикселей. Для каждого из пяти типов единообразного размера изображения была создана обучаемая модель с помощью описанного выше способа формирования обучаемой модели, и была подтверждена доля правильных ответов для каждого из них. В результате было выяснено, что точность определения (то есть доля правильных ответов) не улучшается по мере увеличения единообразного размера изображения.
Способ подтверждения доли правильных ответов для каждого размера изображения представлен следующим образом. В данном исследовании для обучающих изображений (пар данных карт дефектов для обучающих изображений и данных о наличии/отсутствии периодических дефектов, приписанных им) и тестовых изображений (пар данных карт дефектов для тестовых изображений и данных о наличии/отсутствии периодических дефектов, приписанных им), были использованы общие карты дефектов, подготовленные на фиг.9. Количество частей и разбиений показано на фиг.9. То есть количество карт дефектов для обучающих изображений составляет 1230 штук, и количество карт дефектов для тестовых изображений составляет 314 штук. Более того, среди карт дефектов для обучающих изображений количество карт дефектов, в которых было определено отсутствие периодических дефектов, составляет 881 штуку, и количество карт дефектов, в которых было определено наличие периодических дефектов, составляет 349 штук. Между тем среди карт дефектов для тестовых изображений количество карт дефектов, в которых определено отсутствие периодических дефектов, составляет 221 штуку, и количество карт дефектов, в которых определено наличие периодических дефектов, составляет 93 штуки.
Далее, используя эти обучающего изображения, для каждого единообразного размера изображения была создана обучающая модель с помощью вышеописанного способа формирования обучающей модели. Затем для обучаемой модели, созданной для каждого единообразного размера изображения с использованием тестовых изображений единообразного размера изображения, оценивалось наличие/отсутствие периодических дефектов. В процессе обучения по обучающим изображениям и в процессе оценки тестовых изображений была также вычислена функция потерь и доля правильных ответов при изменении количества моментов времени до 100.
На фиг.13-15 показаны графики, иллюстрирующие примеры доли правильных ответов, когда единообразный размер изображения установлен равным 60×120 пикселей, 120×240 пикселей и 240×480 пикселей, соответственно. На фиг.13-15 по оси ординат отложена доля правильных ответов, и по оси абсцисс отложено количество моментов времени. На графике пунктирной линией обозначена доля правильных ответов для тестовых изображений. Для справки, сплошной линией на том же графике также указана доля правильных ответов для обучающих изображений.
Среди вычисленных значений доли правильных ответов для тестовых изображений максимальное значение для каждого единообразного размера изображения было определено как доля правильных ответов для соответствующего единообразного размера изображения. На фиг.16 показан график, на котором доли правильных ответов, полученные вышеописанным способом, нанесены с единообразным размером изображения по оси абсцисс. На фиг.17 показаны доли правильных ответов, полученных вышеописанным способом, с числовыми значениями. Количество моментов времени, указанных вместе на фиг.17, указывает количество моментов времени максимальной доли правильных ответов тестового изображения. Как показано на фиг.16 и фиг.17, среди пяти типов единообразных размеров изображения доля правильных ответов, когда единообразный размер изображения был установлен равным 120×240 пикселей, была самой высокой. То есть можно обнаружить, что точность определения (то есть доля правильных ответов) не становится лучше при увеличении единообразного размера изображения. Таким образом, при формировании обучаемой модели или при использовании обучаемой модели технически предпочтительнее, чтобы вместо простого увеличения размера изображения в качестве входного значения, размер изображения, для которого ожидается, что правильный ответ будет находиться в пределах допустимого диапазона, должен быть выбран и использован как единообразный размер изображения. Кроме того, весьма предпочтительно, чтобы среди размеров изображения, для которых ожидается, что доля правильных ответов будет находиться в пределах допустимого диапазона, выбирался и использовался размер изображения с более высокой долей правильных ответов.
Согласно вышеописанному способу формирования обучающей модели, так как обучающая модель, подвергнутая машинному обучению, создается после изменения размера изображения, так что карты дефектов для обучающих изображений и тестовых изображений имеют единообразный размер изображения, можно получить обучающую модель (или классификатор, или, если имеются дополнительные ограничения, систему сверточной нейронной сети) с высокой долей правильных ответов. Более того, так как обучаемая модель, подвергнутая машинному обучению, создается после настройки условий формирования обучаемой модели таким образом, чтобы доля правильных ответов была больше или равна пороговому значению, можно получить обучаемую модель с более высокой долей правильных ответов. В качестве конкретного способа настройки условий формирования обучаемой модели можно использовать известный способ, такой как увеличение количества промежуточных слоев нейронной сети (в первом варианте осуществления CNN), изменение комбинации промежуточных слоев, повторное обучение путем дальнейшего увеличения обучающего изображения и т.п. В качестве уникального способа настоящего изобретения может использоваться способ преобразования единообразного размера изображения карт дефектов для обучающих изображений и тестовых изображений в другой единообразный размер изображения. В дополнение к этому, используя эту обучаемую модель для определения карт дефектов, даже если периодические дефекты на поверхности стали имеют сильный изгиб, обнаружение может выполняться автоматически с высокой точностью независимо от возможностей человека.
Способ контроля поверхностных дефектов стали
Далее со ссылкой на фиг.18-22 будет подробно описан способ контроля поверхностных дефектов стали с использованием созданной обучаемой модели.
На фиг.18 показана блок-схема последовательности операций, иллюстрирующая последовательность операций определения наличия/отсутствия периодических дефектов стального материала. Как показано на фиг.18, сначала поверхность стального листа P освещается светом подсветки из устройства 2 подсветки, и устройство 3 формирования изображения формирует изображение поверхности стального листа P, которая освещается светом подсветки (этап S21). Данные изображения, которые представляют собой электронные данные, из которых формируется изображение с помощью устройства 3 формирования изображения, выводятся в блок 4 обработки изображения.
Далее, блок 4 обработки изображения выполняет процесс формирования изображения определения для формирования изображения определения (этап S22). Определяемое изображение представляет собой изображение, которое должно быть объектом определения наличия/отсутствия периодических дефектов обучаемой моделью.
На фиг.19 показана блок-схема последовательности операций, иллюстрирующая процесс формирования определяемого изображения, показанный на фиг.18. Как показано на фиг.19, блок 4 обработки изображения выполняет предварительную обработку данных изображения, которые выводит устройство 3 формирования изображения (этап S31). Блок 41 сбора данных подключен к устройству 3 формирования изображения таким образом, чтобы позволить блоку 4 обработки изображения принимать изображение, которое устройство 3 формирования изображения отобразило как электронные данные. Во-первых, в блоке 41 сбора данных имеется область временного хранения, и он последовательно буферизует данные изображения поверхности стального листа P, переданные из устройства 3 формирования изображения, во временную область хранения. Затем блок 41 сбора данных выводит, когда устройство 3 формирования изображения представляет собой матричный формирователь сигнала изображения или ПЗС, и данные изображения представляют собой двухмерное изображение определенного размера, данные двухмерного изображения в блок 42 коррекции изображения. Блок 41 сбора данных выводит в блок 42 коррекции изображения, когда устройство 3 формирования изображения является линейным датчиком, и данные изображения являются одномерными данными, данные двухмерного изображения, для которых объединены данные изображения заданной длины. Блок 42 коррекции изображения выполняет, над данными двухмерного изображения, которые выводит блок 41 сбора данных, коррекцию изображения, такую как обнаружение краев, коррекция неравномерной яркости (коррекция затенения), регулировка яркости и т.п.
Далее, блок 43 обнаружения дефектов выполняет процесс обнаружения дефектов для извлечения, с использованием порогового значения, заранее определенного на основе материала, типа и т.п. стального листа P, точки, для которой значение яркости больше или равно пороговому значению в данных каждого двухмерного изображения в качестве дефектного участка-кандидата, и вычисления количественных характеристик, таких как их ширина, длина и положение, максимальное значение и минимальное значение яркости, средняя яркость и т.п. (этап S32).
После этого блок 44 определения дефекта выполняет процесс определения дефекта для определения на основе количественных характеристик для каждого дефектного участка-кандидата, вычисленных на этапе S32, определения вредности/безвредности, размера, типа дефекта, серьезности и т.п. (этап S33). В нижеследующем описании среди дефектных участков-кандидатов дефектный участок-кандидат, который блок 44 определения дефектов определил как вредный, упоминается как дефектный участок. Данные дефектного участка включают в себя по меньшей мере тип дефекта, степень серьезности, размер и координаты.
Кроме того, блок 45 формирования карты дефектов создает из данных дефектного участка, которые определены блоком 44 определения дефектов, карту дефектов, указывающую двухмерное распределение дефектного участка (этап S34).
После этого одна или множество карт дефектов, которые являются объектами определения, передаются в блок 5 определения стали. Затем блок 51 преобразования размера блока 5 определения стали выполняет процесс преобразования размера для преобразования размера изображения каждой карты дефектов в единообразный размер изображения, как у обучающих изображений (этап S35). В частности, когда размер изображения карты дефектов, которая должна быть объектом определения, больше, чем единообразный размер изображения, установленный заранее, блок 51 преобразования размера делает размер изображения маленьким, чтобы он был таким же, как и у единообразного размера изображения. Напротив, когда размер изображения карты дефектов, которая должна быть объектом определения, меньше, чем единообразный размер изображения, установленный заранее, размер изображения делается большим, чтобы он был таким же, как и у единообразного размера изображения. Единообразный размер изображения, как у обучающего изображения, является размером изображения карты дефектов при формировании модели обучения и устанавливается заранее из размера изображения карты дефектов обучающего изображения. Другими словами, на этапе S35 единообразный размер изображения карт дефектов обучающего изображения и тестового изображения, который был выбран при формировании обучаемой модели, которая будет использоваться, также используется для карты дефектов определяемого изображения.
Посредством вышеописанной обработки создается определяемое изображение, которое является картой дефектов такого же размера, как у обучающего изображения и тестового изображения. Определяемое изображение представляет собой изображение, которое должно быть объектом определения наличия/отсутствия периодических дефектов, и, таким образом, в этот момент неизвестно (не определено) наличие/отсутствие результата периодичности. Затем, в ходе последующей обработки, обучаемая модель определяет наличие/отсутствие периодичности в определяемом изображении.
Блок 51 преобразования размера блока 5 определения стали выполняет ту же функцию, что и блок 61 преобразования размера на вышеописанных этапах S2 и S4, но имеет иное назначение. Блок 51 преобразования размера на этапе S35 играет роль в исправлении и объединении карт дефектов, имеющих разные размеры изображения, в единообразный размер изображения, установленный заранее. В случае вышеупомянутого блока 61 преобразования размера его назначение состоит в изменении для того, чтобы увеличить долю правильных ответов обучаемой модели, обучающего изображения и тестового изображения, которые зафиксированы в конкретном единообразном размере изображения в другом единообразном размере изображении.
Возвращаясь к фиг.18, блок 5 определения стали выполняет определение на определяемом изображении (этап S23). Определение представляет собой процесс, который выполняет блок 5 определения стали, и в данном случае это процесс определения наличия/отсутствия периодических дефектов и т.п. стального листа P.
На фиг.20 показана блок-схема последовательности операций, иллюстрирующая этап определения S23, показанный на фиг.18. Как показано на фиг.20, блок 52 определения периодического дефекта выполняет процесс определения периодического дефекта для определения того, является ли определяемое изображение изображением, имеющим периодические дефекты (этап S41). В частности, блок 52 определения периодических дефектов вводит определяемое изображение в обучаемую модель и выводит значение, относящееся к наличию/отсутствию периодических дефектов. Значение, относящееся к наличию/отсутствию периодических дефектов, включает в себя вероятность x% того, что определяемое изображение является изображением, в котором периодические дефекты отсутствуют, и вероятность y% того, что определяемое изображение является изображением, в котором периодические дефекты присутствуют.
Далее, блок 53 определения выполняет процесс определения для определения определяемого изображения (этап S42). Процесс определения представляет собой процесс, который выполняет блок 53 определения, и в этом случае он представляет собой процесс, в котором блок 53 определения определяет, является ли определяемое изображение изображением, имеющим периодические дефекты. В частности, блок 53 определения определяет на основе вероятности x, вычисленной блоком 52 определения периодических дефектов, является ли определяемое изображение изображением, не имеющим периодических дефектов (этап S421). Блок 53 определения определяет, что, когда вероятность x% отсутствия периодических дефектов, вычисленная блоком 52 определения периодических дефектов, больше или равна пороговому значению, определяемое изображение является изображением, в котором отсутствуют периодические дефекты, а когда вероятность x% меньше порогового значения, определяет, что определяемое изображение является изображением, в котором присутствуют периодические дефекты. Блок 53 определения может определить, является ли определяемое изображение изображением, в котором отсутствуют периодические дефекты, используя вероятность y, вычисленную блоком 52 определения периодических дефектов, или обе вероятности - вероятность x и вероятность y.
Возвращаясь к фиг.18, блок 5 определения стали выводит результат определения, отображая результат определения на экране блока 55 отображения или сохраняя результат определения в запоминающем устройстве (этап S24), например, и завершает последовательность процессов.
Согласно вышеописанному способу контроля поверхностных дефектов стали с использованием обучаемой модели (или классификатора, или, если еще более ограниченно, системы сверточной нейронной сети), даже когда стальной лист P изгибается, наличие/отсутствие периодических дефектов может быть автоматически обнаружено с высокой точностью независимо от визуального наблюдения человека.
Далее будет описан результат сравнения известного уровня техники и способа контроля поверхностных дефектов стали согласно настоящему изобретению. На фиг.21 показана диаграмма, иллюстрирующая один пример карт дефектов, которые включают в себя периодические дефекты. На фиг.21(а)-(c) показаны карты дефектов, которые включают в себя периодические дефекты и которые были определены как включающие периодические дефекты с помощью как способа контроля поверхностных дефектов стали, так и предшествующего уровня техники.
На фиг.22 показана диаграмма, иллюстрирующая один пример карт дефектов, которые не включают в себя периодические дефекты. На фиг.22(а) и (b) показаны обе карты дефектов, которые не включают в себя периодические дефекты и были определены как не включающие в себя периодические дефекты с помощью способа контроля поверхностных дефектов стали, и определены как включающие в себя периодические дефекты в соответствии с предшествующим уровнем техники. Таким образом, можно было продемонстрировать, что способ контроля поверхностных дефектов стали способен обнаруживать периодические дефекты, которых не было в предшествующем уровне техники.
Следует отметить, что обнаруживая периодические дефекты на поверхности стали с использованием вышеописанного способа контроля поверхностных дефектов стали, и управляя условиями производства в соответствии с результатом обнаружения, можно выполнить способ производства стали для производства стали. В качестве способов производства стали, которые отличаются от способа контроля поверхностных дефектов, можно использовать известный способ или существующий способ. Например, в рамках управления условиями производства может выполняться промывка или замена прокатных валков и транспортировочных валков, которые могут рассматриваться в качестве причины периодических дефектов. В результате можно оперативно обнаруживать периодические дефекты и предотвращать ухудшение качества производимой стали. При производстве стального листа из стали, особенно стальной полосы, которая представляет собой длинный стальной лист, существенным является эффект предотвращения значительной потери качества продукции из-за периодических дефектов, которые имеют тенденцию возникать в расширенном диапазоне.
Способ определения соответствия/несоответствия стали
Далее со ссылкой на фиг.23 будет подробно описан способ определения соответствия/несоответствия стали с использованием созданной обучаемой модели. В способе определения соответствия/несоответствия для стального листа P вместо этапа S42, показанного на фиг.20, выполняется этап S42, показанный на фиг.23. Процессы этапа S21, этапа S22 и этапа S24 являются теми же процессами, что и описанные выше процессы, и поэтому их описание будет опущено.
На фиг.23 показана блок-схема, иллюстрирующая этап S23 определения, показанный на фиг.18. Как показано на фиг.23, процессы этапа S41 и этапа S421 являются теми же процессами, что и описанные выше процессы, и поэтому их описание будет опущено. На этапе S42 блок 53 определения определяет то, соответствует ли техническим условиям стальной лист P, соответствующий определяемому изображению (этап S422). Блок 53 определения определяет, что, когда определяемое изображение определяется как изображение, на котором отсутствуют периодические дефекты, стальной лист P, соответствующий определяемому изображению, соответствует техническим условиям, и определяет, что, когда определяемое изображение определяется как изображение, на котором присутствуют периодические дефекты, стальной лист P, соответствующий определяемому изображению, не соответствует техническим условиям.
Следует отметить, что определяя соответствие/несоответствие стали с использованием описанного выше способа определения соответствия/несоответствия стали, и управляя условиями производства в соответствии с результатом определения, можно выполнить способ производства стали для производства стали. В качестве способов производства стали, которые отличаются от способа определения соответствия/несоответствия, можно использовать известный способ или существующий способ. Например, в рамках управления условиями производства может выполняться промывка или замена прокатных валков и транспортировочных валков, которые могут рассматриваться в качестве причины несоответствия. В результате можно быстро обнаружить сталь, для которой определение является несоответствующим из-за наличия периодических дефектов, и предотвратить ухудшение качества производимой стали. При производстве стального листа из стали, особенно стальной полосы, которая представляет собой длинный стальной лист, существенным является эффект предотвращения значительной потери качества продукции из-за периодических дефектов, которые имеют тенденцию возникать в расширенном диапазоне.
Первая модификация способа определения соответствия/несоответствия стали
На фиг.24 показана блок-схема, иллюстрирующая этап S23 определения, показанный на фиг.18. Как показано на фиг.24, процесс на этапе S41 является тем же процессом, что и описанный выше процесс, и поэтому его описание будет опущено. На этапе S42 блок 53 определения определяет на основе вероятности x и вероятности y, вычисленных блоком 52 определения периодического дефекта, соответствует ли техническим условиям стальной лист P, соответствующий определяемому изображению (этап S423). Блок 53 определения определяет, что стальной лист P, соответствующий рассматриваемому определяемому изображению, соответствует техническим условиям, когда вероятность x% отсутствия в определяемом изображении периодических дефектов, вычисленная блоком 52 определения периодических дефектов, больше или равна A% ("Да" на этапе S423), и когда вероятность x% меньше, чем A% ("Нет" на этапе S423), стальной лист P, соответствующий рассматриваемому определяемому изображению, не соответствует техническим условиям. Как описано, соответствие/несоответствие стального листа P может быть определено напрямую, без выполнения определения, является ли определяемое изображение изображением, на котором отсутствуют периодические дефекты.
Второй вариант осуществления изобретения
На фиг.25 показано схематичное изображение, иллюстрирующее конфигурацию системы определения стали согласно второму варианту осуществления настоящего изобретения. Как показано на фиг.25, в системе 1 определения стали во втором варианте блок 5 определения стали включает в себя блок 54 вычисления показателя смешенных дефектов. Устройство 2 подсветки, устройство 3 формирования изображения, блок 4 обработки изображения, блок 5 определения стали, блок 6 машинного обучения, блок 41 сбора данных, блок 42 коррекции изображения, блок 43 обнаружения дефектов, блок 44 определения дефектов, блок 45 формирования карты дефектов, блоки 51 и 61 преобразования размера, блок 52 определения периодических дефектов, блок 53 определения, блоки 55 и 65 отображения, блок 62 формирования модели и блок 63 вычисления доли правильных ответов те же, что описаны в первом варианте осуществления изобретения, и поэтому их описание будет опущено.
Вторая модификация способа определения соответствия/несоответствия стали
На фиг.26 показана блок-схема, иллюстрирующая этап определения S23, показанный на фиг.18. Как показано на фиг.26, процессы этапа S41 и этапа S421 являются теми же процессами, что и описанные выше процессы, и поэтому их описание будет опущено. Кроме того, в первом процессе на фиг.26 показаны две стрелки, которые указывают, что обработка на этапе S41 и обработка на этапе S43 могут выполняться параллельно.
На этапе S43 блок 54 вычисления показателя смешенных дефектов выполняет процесс определения показателя смешенных дефектов для вычисления показателя смешенных дефектов. Показатель смешенных дефектов является величиной, вычисляемой на основе количества дефектных участков на единицу площади в карте дефектов.
На этапе S424, когда блок 53 определения определил, что стальной лист P, соответствующий определяемому изображению, соответствует техническим условиям ("Да" на этапе S424), блок 53 определения определяет, является ли показатель смешенных дефектов карты дефектов, которая соответствует рассматриваемому определяемому изображению (этап S425), меньше или равен Z%. Когда блок 53 определения определил, что показатель смешенных дефектов меньше или равен Z% ("Да" на этапе S425), блок 53 определения определяет, что стальной лист P, соответствующий рассматриваемому определяемому изображению, соответствует техническим условиям. Между тем, когда блок 53 определения определил, что показатель смешенных дефектов больше Z% ("Нет" на этапе S425), блок 53 определения определяет, что стальной лист P, соответствующий рассматриваемому определяемому изображению, не соответствует техническим условиям.
Третья модификация способа определения соответствия/несоответствия стали
В качестве третьей модификации вместо этапов S421 и S424, показанных на фиг.26, можно использовать этап S423, показанный на фиг.24. То есть на этапе S423 блок 53 определения подает на этап S425 определяемое изображение, для которого было определено ("Да" на этапе S423), что вероятность x% отсутствия периодических дефектов больше или равна A%, и определяет стальной лист P, соответствующий определяемому изображению, для которого была определена вероятность x% меньше, чем A%, ("Нет" на этапе S423), как несоответствующий техническим условиям. В этом случае, так как обработка сокращается на один этап, можно ожидать, что обработка будет выполняться быстрее.
Следует отметить, что, определяя соответствие/несоответствие стали с помощью описанного выше способа определения соответствия/несоответствия стали и управляя условиями производства в соответствии с результатом определения, можно осуществить способ производства стали для производства стали. В качестве способов производства стали, которые отличаются от способа определения соответствия/несоответствия, можно использовать известный способ или существующий способ. Например, в рамках управления условиями производства может выполняться промывка или замена прокатных валков и транспортировочных валков, которые могут рассматриваться в качестве причины несоответствия. В результате, можно быстро обнаружить сталь, для которой указанное определение является несоответствующим из-за наличия периодических дефектов, и предотвратить ухудшение качества производимой стали. Кроме того, при использовании описанных выше модификаций, с первой по третью, можно определить, есть ли необходимость в немедленном выполнении промывки или замены прокатных валков и транспортировочных валков. В результате можно осуществлять эффективное управление, например, незамедлительное подавление возникновения недопустимых дефектов. При производстве стального листа из стали, особенно стальной полосы, которая представляет собой длинный стальной лист, эффект предотвращения значительной потери качества продукции из-за периодических дефектов, которые имеют тенденцию возникать в расширенном диапазоне, является значительным.
Согласно вышеописанному способу определения соответствия/несоответствия стали соответствие/несоответствие стального листа P можно определить на основе не только наличия/отсутствия периодических дефектов, но также на основе показателя смешенных дефектов.
Способ определения сорта стали
Далее со ссылкой на фиг.27 будет подробно описан способ определения сорта стали с использованием созданной обучаемой модели. В способе определения сорта стального листа P вместо этапа S42, показанного на фиг.26, выполняется процесс S42, показанный на фиг.27. Процессы этапа S21, этапа S22 и этапа S24 являются теми же процессами, что и описанные выше процессы, и поэтому их описание будет опущено.
На фиг.27 показана блок-схема последовательности операций, иллюстрирующая этап S23 определения, показанный на фиг.18. Как показано на фиг.27, процессы этапа S41, этапа S43 и этапа S421 являются теми же процессами, что и описанные выше процессы, и поэтому их описание будет опущено.
На этапе S424, когда блок 53 определения определяет, что стальной лист P, соответствующий определяемому изображению, соответствует техническим условиям ("Да" на этапе S424), блок 53 определения определяет, является ли показатель смешенных дефектов карты дефектов, которая соответствует рассматриваемому определяемому изображению, меньше или равен Z1% (этап S426). Когда блок 53 определения определяет, что показатель смешенных дефектов меньше или равен Z1% ("Да" на этапе S426), блок 53 определения определяет, является ли показатель смешенных дефектов карты дефектов, которая соответствует рассматриваемому определяемому изображению, меньше или равен Z2% (этап S427). Когда блок 53 определения определяет, что показатель смешенных дефектов меньше или равен Z2% ("Да" на этапе S427), блок 53 определения определяет, является ли показатель смешенных дефектов карты дефектов, которая соответствует рассматриваемому определяемому изображению, меньше или равен Z3% (этап S428). Когда блок 53 определения определил, что показатель смешенных дефектов меньше или равен Z3% ("Да" на этапе S428), блок 53 определения определяет, что сортом стального листа P, который соответствует рассматриваемому определяемому изображению, является первый сорт.
На этапе S428, когда блок 53 определения определил, что показатель смешенных дефектов больше Z3% ("Нет" на этапе S428), блок 53 определения определяет, что сортом стального листа P, который соответствует рассматриваемому определяемому изображению, является второй сорт.
На этапе S427, когда блок 53 определения определил, что показатель смешенных дефектов больше Z2% ("Нет" на этапе S427), блок 53 определения определяет, что сортом стального листа P, который соответствует рассматриваемому определяемому изображению, является третий сорт.
На этапе S426, когда блок 53 определения определил, что показатель смешенных дефектов больше Z1% ("Нет" на этапе S426), блок 53 определения определяет, что стальной лист P, соответствующий рассматриваемому определяемому изображению, не соответствует техническим условиям.
Согласно вышеописанному способу определения сорта стали стальной лист P, имеющий периодические дефекты, может быть несоответствующим, а также стальной лист P, не имеющий периодических дефектов, может быть классифицирован на основе показателя смешенных дефектов. Даже в этом случае можно определить сорт стального листа P путем определения с высокой точностью наличие/отсутствие периодических дефектов, так как обучаемая модель (или классификатор, или, в случае еще большего ограничения, система сверточной нейронной сети) используется даже тогда, когда стальной лист P изгибается.
В вышеописанном способе определения сорта стали соответствие/несоответствие стального листа P определялось на этапе S422 после этапа S421, но вариант осуществления изобретения не ограничивается этим. После этапа S421 блок 53 определения может определить наличие/отсутствие периодических дефектов для определяемого изображения на этапе S424, выполнить классификацию по сорту стального листа P на этапах S426-S428 вместе один раз, когда определяется отсутствие периодических дефектов, и определить, что стальной лист P не соответствует техническим условиям, когда определяется наличие периодических дефектов.
Кроме того, в вышеописанном способе определения сорта стали была описана обработка, в которой блок 53 определения выполняет последовательно процессы этапа S424, этапа S426, этапа S427 и этапа S428, но вариант осуществления изобретения не ограничивается этим. Блок 53 определения может иметь таблицу, которая выводит результат "соответствия/несоответствия" и сорт стального листа P после ввода наличия/отсутствия периодических дефектов и показателя смешенных дефектов. В этом случае, когда наличие/отсутствие периодических дефектов и показатель смешенных дефектов вводятся в блок 53 определения, блок 53 определения выводит определение первого сорта, когда стальной лист P соответствует техническим условиям, и показатель смешенных дефектов меньше или равен Z3, второго сорта, когда стальной лист P соответствует техническим условиям, и показатель смешенных дефектов больше Z3, но меньше или равен Z2, третьего сорта, когда стальной лист P соответствует техническим условиям, и показатель смешенных дефектов больше Z2, но меньше или равен Z1, и не соответствует техническим условиям, когда стальной лист P не соответствует техническим условиям, или показатель смешенных дефектов больше Z1.
В качестве модификации вместо этапа S421 и этапа S424, показанных на фиг.27, можно использовать этап S423, показанный на фиг.24. То есть на этапе S423 блок 53 определения переносит определяемое изображение, для которого определено, что вероятность x% того, что это есть изображение, в котором отсутствуют периодические дефекты, больше или равно A% ("Да" на этапе S423), на этап S426, и определяет стальной лист P, соответствующий определяемому изображению, для которого определено, что вероятность x% меньше, чем A% ("Нет" на этапе S423), как несоответствующий. В этом случае, так как обработка сокращается на один этап, можно ожидать, что обработка будет выполняться быстрее.
Способ производства стали может включать в себя этап сортировки для определения сорта стали с использованием вышеописанного определения сорта стали и, используя его результат определения, сортировку стали для каждого сорта. В качестве способов производства стали, которые отличаются от способа определения сорта, можно использовать известный способ или существующий способ. В этом случае сталь можно отсортировать по сорту. В результате сталь одного и того же типа, но разных сортов может быть отправлена в соответствующие пункты назначения. Даже в этом случае, если количество стали, не соответствующей техническим условиям, превышает желаемое количество, можно управлять условиями производства. Например, в рамках управления условиями производства может выполняться промывка или замена прокатных валков и транспортировочных валков, которые могут рассматриваться в качестве причины несоответствия. В результате сталь, для которой определение является несоответствующим из-за наличия периодических дефектов, можно незамедлительно обнаружить и предотвратить ухудшение качества производимой стали. При производстве стального листа из стали, особенно стальной полосы, которая представляет собой длинный стальной лист, существенным становится эффект предотвращения значительной потери качества продукции из-за периодических дефектов, которые имеют тенденцию возникать в расширенном диапазоне.
Оборудование для производства стали может включать в себя вышеописанную систему определения стали. В качестве оборудования для производства стали, за исключением указанной системы определения стали, можно использовать известное оборудование или существующее оборудование. В результате можно быстро обнаружить сталь, имеющую периодические дефекты, и можно предотвратить ухудшение качества производимой стали. Вышеописанная система определения стали более эффективна при установке на производственное оборудование, снабженное по меньшей мере одним валком. Это связано с тем, что, помимо описанного выше эффекта, также на основе количества стали, имеющей периодические дефекты, легче определить время промывки или замены прокатных валков и транспортировочных валков, которые можно рассматривать как причину периодических дефектов в стали. Особенно высокий эффект может быть получен на оборудовании для производства стали, в случае оборудования для производства стального листа, в частности, оборудования для производства стальной полосы, которая представляет собой длинный стальной лист. Это связано с тем, что, в дополнение к вышеописанному эффекту заметным становится эффект предотвращения значительной потери качества продукции из-за периодических дефектов, которые имеют тенденцию возникать в расширенном диапазоне.
Выше были описаны варианты осуществления изобретения, в которых было применено изобретение, предложенное авторами изобретения, но настоящее изобретение не ограничивается описанием и чертежами, составляющими часть раскрытия изобретения согласно указанным вариантам. То есть другие варианты осуществления изобретения, примеры, технологии выполнения операций и т.п., сделанные специалистами в данной области техники на основе настоящих вариантов осуществления изобретения, полностью включены в объем настоящего изобретения.
Перечень ссылочных позиций
1 – система определения стали
2 – осветительное устройство
3 – устройство формирования изображения
4 – блок обработки изображений
5 – блок определения стали
6 – блок машинного обучения
41 – блок сбора данных
42 – блок коррекции изображения
43 – блок обнаружения дефектов
44 – блок определения дефектов
45 – блок формирования карты дефектов
51, 61 – блок преобразования размера
52 – блок определения периодических дефектов
53 – блок определения
54 – блок вычисления показателя смешенных дефектов
55, 65 – блок отображения
62 – блок формирования модели
63 – блок вычисления доли правильных ответов
71 – входной слой
72 – промежуточный слой
73 – выходной слой
D – периодический дефект
P – стальной лист.
Настоящее техническое решение относится к области вычислительной техники для производства стали. Технический результат заключается в повышении точности обнаружения периодических дефектов при производстве стали. Технический результат достигается за счёт того, что обучаемую модель формируют с помощью машинного обучения, используя обучающее изображение, которое является изображением, отображающим распределение дефектного участка на поверхности стали; обучающее изображение включает в себя карту дефектов единообразного размера изображения и приписанное заранее соответствующей карте дефектов наличие/отсутствие периодических дефектов. Карта дефектов, представляющая собой изображение, отображающее распределение дефектного участка на поверхности стали и имеющее единообразный размер изображения, является входным параметром для обучаемой модели, а значение, относящееся к наличию/отсутствию периодических дефектов в рассматриваемой карте дефектов, является выходным значением. 13 н. и 7 з.п. ф-лы, 27 ил.
1. Способ определения наличия/отсутствия периодических дефектов, характеризующийся тем, что
используют обучающее изображение, которое включает в себя
карту дефектов, показывающую распределение дефектных участков на поверхности стали и имеющую заданный размер, и
указание на наличие/отсутствие периодических дефектов в указанной карте дефектов; и
формируют обучаемую модель с помощью машинного обучения, при этом для указанной обучаемой модели:
входным параметром является карта дефектов, показывающая распределение дефектных участков на поверхности стали и имеющая указанный заданный размер; а
выходным параметром является значение, относящееся к наличию/отсутствию периодических дефектов в указанной карте дефектов.
2. Способ определения наличия/отсутствия периодических дефектов по п.1, в котором указанные периодические дефекты образованы периодически по длине стали, и положения периодических дефектов смещаются по ширине стали.
3. Способ определения наличия/отсутствия периодических дефектов по п.1 или 2, в котором, когда размер изображения карты дефектов, используемой в качестве обучающего изображения, отличается от указанного заданного размера, преобразуют изображение карты дефектов в изображение карты дефектов, имеющее указанный заданный размер изображения, для использования карты дефектов в качестве входного параметра.
4. Способ определения наличия/отсутствия периодических дефектов по любому из пп.1-3, в котором обучаемую модель формируют с использованием тестового изображения, включающего в себя: карту дефектов, которая показывает распределение дефектных участков на поверхности стали и имеет такой же заданный размер, как у указанного обучающего изображения, и указание на наличие/отсутствие периодических дефектов в указанной карте дефектов, при этом
вводят карту дефектов тестового изображения в обучаемую модель для вывода значения, относящегося к наличию/отсутствию периодических дефектов в указанном тестовом изображении;
определяют наличие/отсутствие периодических дефектов в тестовом изображении на основе указанного значения, относящегося к наличию/отсутствию периодических дефектов;
вычисляют долю правильных ответов путем сравнения определенного наличия/отсутствия периодических дефектов с указанным указанием на наличие/отсутствие периодических дефектов в карте дефектов тестового изображения; и
корректируют условие формирования обучаемой модели в соответствии с вычисленной долей правильных ответов.
5. Способ определения наличия/отсутствия периодических дефектов по п.4, в котором корректировка условия формирования обучаемой модели состоит в замене указанного размера обучающего изображения на другой заданный размер.
6. Способ определения наличия/отсутствия периодических дефектов по п.4, в котором дополнительно:
устанавливают в качестве указанного заданного размера изображения множество типов размеров изображения, отличающихся друг от друга по размеру,
вычисляют долю правильных ответов для каждого типа из указанных размеров изображения с использованием пары, состоящей из обучающего изображения и тестового изображения для каждого из установленных размеров изображения; и
формируют обучаемую модель с использованием обучающего изображения и тестового изображения, при которых вычисленная доля правильных ответов является наиболее высокой.
7. Система определения наличия/отсутствия периодических дефектов, содержащая:
входной слой, выполненный с возможностью ввода в качестве определяемого изображения карты дефектов, показывающей распределение дефектных участков на поверхности стали и имеющей заданный размер;
выходной слой, выполненный с возможностью вывода значения, относящегося к наличию/отсутствию периодических дефектов для указанного определяемого изображения; и
промежуточный слой, для которого параметры были обучены с использованием обучающего изображения, для которого:
входные данные представляют собой карту дефектов, имеющую такой же размер как размер указанного определяемого изображения; и
выходные данные представляют собой значение, относящееся к наличию/отсутствию периодических дефектов для указанной карты дефектов,
при этом обучаемая модель предписывает компьютеру функционировать так, чтобы:
вводить во входной слой определяемое изображение, имеющее указанный заданный размер изображения;
выполнять вычисления для определяемого изображения на основе параметров в промежуточном слое; и
выводить из выходного слоя значение, относящееся к наличию/отсутствию периодических дефектов.
8. Способ контроля поверхностных дефектов, содержащий:
этап сбора данных изображения, для получения которых выполнена съемка поверхности стали;
этап формирования карты дефектов, которая представляет собой изображение, показывающее распределение дефектных участков, на основе указанных данных изображения;
этап формирования определяемого изображения для каждой карты дефектов путем преобразования изображения указанной карты дефектов в изображение карты дефектов, имеющее заданный размер изображения; и
этап определения наличия/отсутствия периодических дефектов для определяемого изображения на основе значения, относящегося к наличию/отсутствию периодических дефектов, посредством ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов.
9. Способ контроля поверхностных дефектов по п.8, в котором обучаемую модель подвергают машинному обучению с использованием обучающего изображения такого же размера, как размер указанного определяемого изображения, так чтобы при вводе указанного определяемого изображения на выходе получить значение, относящееся к наличию/отсутствию периодических дефектов.
10. Способ производства стали, характеризующийся тем, что
обнаруживают периодические дефекты на поверхности стали с использованием способа контроля поверхностных дефектов по п.8 или 9; и
производят сталь, управляя условиями производства на основе указанного результата обнаружения дефектов.
11. Способ определения соответствия/несоответствия, содержащий:
этап сбора данных изображения, для получения которых выполнена съемка поверхности стали;
этап формирования карты дефектов, которая представляет собой изображение, показывающее распределение дефектных участков, на основе указанных данных изображения;
этап формирования определяемого изображения для каждой карты дефектов путем преобразования изображения указанной карты дефектов в изображение карты дефектов, имеющее заданный размер изображения; и
этап определения соответствия/несоответствия стали на основе значения, относящегося к наличию/отсутствию периодических дефектов, путем ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов.
12. Способ определения соответствия/несоответствия по п.11, в котором обучаемую модель подвергают машинному обучению с использованием обучающего изображения, имеющего заданный размер изображения, который является размером указанного определяемого изображения, так чтобы при вводе определяемого изображения на выходе получить значение, относящееся к наличию/отсутствию периодических дефектов.
13. Способ производства стали, характеризующийся тем, что
определяют соответствие/несоответствие стали с использованием способа определения соответствия/несоответствия по п.11 или 12; и
производят сталь, управляя условиями производства на основе указанного результата определения.
14. Способ определения сорта, содержащий:
этап сбора данных изображения, для получения которых выполнена съемка поверхности стали;
этап формирования карты дефектов, которая представляет собой изображение, показывающее распределение дефектных участков, на основе указанных данных изображения;
этап формирования определяемого изображения для каждой карты дефектов путем преобразования изображения указанной карты дефектов в изображение указанной карты дефектов, имеющее заданный размер изображения;
этап определения наличия/отсутствия периодических дефектов для определяемого изображения на основе значения, относящегося к наличию/отсутствию периодических дефектов, путем ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов;
этап вычисления показателя смешанных дефектов в определяемом изображении на основе указанного дефектного участка; и
этап определения сорта стали, соответствующей определяемому изображению, на основе вычисленного показателя смешанных дефектов и результата определения наличия/отсутствия периодических дефектов для определяемого изображения.
15. Способ определения сорта, содержащий:
этап сбора данных изображения, для получения которых выполнена съемка поверхности стали;
этап формирования карты дефектов, которая представляет собой изображение, показывающее распределение дефектных участков, на основе данных изображения;
этап формирования определяемого изображения для каждой карты дефектов путем преобразования изображения указанной карты дефектов в изображение указанной карты дефектов, имеющее заданный размер изображения;
этап определения соответствия/несоответствия стали на основе значения, относящегося к наличию/отсутствию периодических дефектов, путем ввода определяемого изображения в обучаемую модель и вывода значения, относящегося к наличию/отсутствию периодических дефектов;
этап вычисления показателя смешанных дефектов в определяемом изображении на основе дефектного участка; и
этап определения сорта стали, соответствующей определяемому изображению, на основе вычисленного показателя смешанных дефектов и результата определения соответствия/несоответствия стали.
16. Способ производства стали, содержащий этап сортировки стали для каждого сорта с использованием способа определения сорта по п.14 или 15.
17. Запоминающее устройство с сохраненной программой для определения поверхностных дефектов, которая при исполнении компьютером вызывает выполнение компьютером этапов способа контроля поверхностных дефектов по п.8.
18. Запоминающее устройство с сохраненной программой для определения соответствия/несоответствия, которая при исполнении компьютером вызывает выполнение компьютером этапов способа определения соответствия/несоответствия по п.11.
19. Система определения, содержащая:
блок формирования карты дефектов, выполненный с возможностью формирования карты дефектов, которая представляет собой изображение, показывающее распределение дефектных участков, на основе данных полученных путем съемки поверхности стали;
блок преобразования размера, выполненный с возможностью преобразования изображения карты дефектов в изображение карты дефектов, имеющее заданный размер изображения, для формирования определяемого изображения для каждой карты дефектов;
блок определения периодических дефектов, выполненный с возможностью ввода определяемого изображения в обучаемую модель машинного обучения и вывода значения, относящегося к наличию/отсутствию периодических дефектов; и
блок определения, выполненный с возможностью определения наличия/отсутствия периодических дефектов для определяемого изображения и/или определения соответствия/несоответствия стали на основе значения, относящегося к наличию/отсутствию периодических дефектов,
при этом указанная обучаемая модель является обучаемой моделью, подвергаемой машинному обучению с использованием обучающего изображения, имеющего с указанный заданный размер изображения, такой же, как размер указанного определяемого изображения, так чтобы при вводе определяемого изображения выводилось значение, относящееся к наличию/отсутствию периодических дефектов.
20. Оборудование для производства стали, содержащее систему определения по п.19.
| Способ получения цианистых соединений | 1924 |
|
SU2018A1 |
| Yong-Ju Jeon et al | |||
| "Detection of Periodic Defects Using Dual-Light Switching Lighting Method on the Surface of Thick Plates", опубл | |||
| Способ очистки нефти и нефтяных продуктов и уничтожения их флюоресценции | 1921 |
|
SU31A1 |
| JP | |||
