Способ оптического контроля качества и определения размера плодоовощной продукции шарообразной формы при сортировке на конвейере Российский патент 2025 года по МПК G01B11/10 G01N33/02 G01N21/892 G01N21/95 B07C5/342 B07B13/04 B07C5/10 

Изобретение относится к способам контроля качества овощей и фруктов при их сортировке на конвейере.

Из уровня техники известен способ обнаружения посторонних веществ в потоке сельскохозяйственной продукции с использованием гиперспектральной визуализации (патент US 9886631 В2, МПК: G06K 9/0063, опубл. 06.02.2018), который включает в себя транспортировку потока продукта через контрольный участок; сканирование области потока сельскохозяйственной продукции, когда он проходит через контрольный участок, с использованием, по меньшей мере, одного источника света, работающего на одной или нескольких длинах волн. Далее выполняется формирование гиперспектральных изображений из отсканированной области, определение спектрального портрета потока сельскохозяйственной продукции по гиперспектральным изображениям, его сравнение полученного спектрального отпечатка с базой данных, содержащей множество таких портретов, чтобы определить, присутствует ли постороннее вещество, генерация управляющего сигнала, если решение о присутствии принято, и удаление части загрязненного потока транспортируемого продукта.

Основным недостатком этого способа является то, что он предусматривает удаление из продукции загрязнений или посторонних веществ, но не позволяет обнаружить дефекты на всей поверхности объектов контроля.

Известен способ сортировки картофеля, транспортируемого по рольганговому конвейеру (патент RU 2689854, МПК: В07С 1/00 (2006.01), опубл. 29.05.2019), состоящий в использовании средств проверки, разделенных натри последовательных пункта, расположенных по длине конвейера, каждый из проверочных пунктов оборудуют одной камерой, отличающийся тем, что первый пункт оборудуют камерой видимого диапазона, второй - инфракрасной камерой, имеющей чувствительность в диапазоне длин волн 8-14 мкм, а третий - инфракрасной камерой, имеющей чувствительность в диапазоне длин волн 0,9-1,7 мкм, при этом поле зрения каждой из камер имеет радиус 150 мм. На первом проверочном пункте фотографируют вращающиеся клубни с различных ракурсов камерой видимого излучения. Далее по полученным фотографиям определяют средний диаметр каждого клубня, по которому рассчитывают время съемки камер инфракрасных диапазонов излучения таким образом, чтобы была охвачена вся поверхность каждого клубня.

К недостатку способа можно отнести сравнительно малые (150 мм) линейные размеры областей зон анализа для каждой камеры.

Указанного недостатка лишен способ оптического контроля качества сельскохозяйственной продукции шарообразной формы при сортировке на конвейере (патент RU 2737607, МПК: G01N 21/892 (2006.01), В07С 5/342 (2006.01), A23N 15/06 (2006.01), опубл. 01.12.2020), по совокупности признаков выбранный в качестве прототипа. Указанный способ контроля качества заключается в оказании оптического воздействия на вращающийся объект, измерении отраженного от вращающегося объекта оптического излучения, сфокусированного при помощи зеркала на чувствительных элементах гиперспектральной камеры, сравнении полученного гиперспектрального изображения с базой данных, содержащей множество изображений. При этом изменение угла поворота зеркала, отражающего изображение объекта на гиперспектральную камеру, согласовано с координатами объекта, совершающего поступательное движение на конвейере, и с интервалом времени, за который объект совершит полный оборот. Таким образом, способ прототипа обеспечивает возможность оптического контроля на конвейере всей поверхности сельскохозяйственной продукции шарообразной формы, совершающей одновременно и поступательное, и вращательное движение.

К недостатку способа прототипа следует отнести необходимость применения помимо гиперспектральной камеры механического привода, выполняющего возвратно-вращательные движения зеркала в процессе сопровождения анализируемого объекта шарообразной формы, а также применение дополнительной камеры видимого диапазона для определения размеров анализируемой продукции.

Техническая проблема, решаемая заявляемым изобретением, заключается в наличии в известном способе механического привода, с помощью которого осуществляется направление светового потока, отраженного от анализируемой продукции, на фоточувствительный элемент гиперспектральной камеры, с целью сопровождения на конвейерной линии анализируемой продукции шарообразной формы, а также применение не одной, а двух камер -видимого диапазона и гиперспектральной - для выполнения оптического контроля качества продукции.

Технический результат изобретения заключается в отказе от вращающихся механизмов при оптическом анализе плодоовощной продукции шарообразной формы и применении единственной камеры - ближнего или коротковолнового инфракрасного диапазона - как для определения размеров плодоовощной продукции шарообразной формы, так и для выполнения оптического контроля ее качества.

Технический результат достигается тем, что для анализа плодоовощной продукции шарообразной формы применяется единственная камера инфракрасного диапазона длин волн. В качестве данной камеры может применяться (Hou J, Che Y, Fang Y, Bai H, Sun L. Early bruise detection in apple based on an improved faster RCNN model // Horticultural 2024. Vol. 10, No. 1. P. 100-1-100-17) камера ближнего (0,7…0,9 мкм) или коротковолнового (0,9…1,7 мкм) инфракрасного диапазона, не являющаяся гиперспетрометром.

Для увеличения полезной анализируемой площади конвейерной линии в поле зрения камеры последнюю располагают не перпендикулярно плоскости п конвейера 1, а под некоторым углом визирования θ≠0° относительно нормали к ней (см. геометрическую постановку задачи на фиг. 1). При этом угол θ выбирают таким образом, чтобы с учетом максимальной рабочей скорости V_max линейного движения анализируемой шарообразной продукции 2 по рабочей плоскости конвейера 1 в поле зрения инфракрасной камеры 3 успела попасть вся поверхность шарообразного объекта, совершающего одновременно и поступательное, и вращательное движение по конвейеру. Указанное требование необходимо для повышения вероятности правильного обнаружения дефектов 4 на поверхности продукции 2.

Если априори известны либо заданы максимальная радиальная скорость вращения продукции на конвейере Ω_max, максимальная скорость ее линейного перемещения по конвейеру V_max и максимальный радиус продукции R_max, то поле зрения камеры должно захватывать участок конвейера длиной L такой, что

По этой причине для камеры с шириной поля зрения Δϕ угол визирования θ при ее установке должен удовлетворять неравенству:

Решив неравенство (2) относительно переменной θ с учетом ограничения θ>0, обусловленного геометрической постановкой задачи, а также введя для компактности записи аналитического выражения параметр р=tg(0,5Δ(ϕ), получим условие для минимального значения угла визирования

При анализе продукции преимущественно шарообразной формы ее проекция на плоскость изображения камеры 3 будет представлять собой фигуру, близкую по своей форме к окружности независимо от ракурса съемки. Окружность в плоскости изображения будет получена в предельном случае, когда анализируемая продукция представляет собой геометрическое тело, являющееся шаром. Обнаруженная тем или иным известным из уровня техники способом (Метод и алгоритмы обнаружения и сопровождения подвижных объектов на видеопоследовательности: дисс. канд. техн. наук: специальность 2.3.8 / А.С. Тарасов. Рязань, 2023. 137 с) в видеопотоке с камеры 3 каждая единица шарообразной продукции 2 далее сопровождается и анализируется на наличие дефектов, например, с помощью алгоритмов обработки, основанных на применении искусственных сверточных нейронных сетей (Hou J, Che Y., Fang Y., Bai H., Sun L. Early bruise detection in apple based on an improved faster RCNN model // Horticulturae. 2024. Vol. 10, No. 1. P. 100-1-100-17).

Поскольку по сравнению с камерами видимого диапазона камеры ближнего и коротковолнового инфракрасных диапазонов имеют меньшее разрешение, то для повышения точности измерения с помощью фотограмметрических методов (Лобанов А.Н. Фотограмметрия: учебник для вузов. 2-е изд., перераб. и доп. М.: Недра, 1984. 552 с; Назаров А.С. Фотограмметрия: учеб. пособие. Мн.: ТетраСистемс, 2006. 368 с.) радиуса R продукции целесообразно выполнять указанное измерение на том участке конвейера, где изображение продукции в плоскости изображения имеет наибольшие размеры. Для геометрической постановки задачи, приведенной на фиг. 1, это область конвейера, располагающаяся ближе к камере: угловой размер δγ₂ продукции, располагающейся от камеры на расстоянии d₂, на данном участке конвейера больше, чем угловой размер δγ₁ продукции на дальнем от камеры участке конвейера с наклонной дальностью до продукции d₁, d₂<d₁.

При известных высоте установки камеры над рабочей плоскостью конвейера Н и ее угле визирования θ, а также при выполнении предварительной фотограмметрической калибровки камеры (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2^nd ed. Cambridge: Cambridge University Press, 2003. 656 p), радиальные размеры продукции могут быть измерены следующим образом:

1) известным из уровня техники способом (Шадрин М.В. Лазерный триангуляционный 3D метод и устройство для прототипирования и изготовления сложных изделий: дис. канд. техн. наук. Рязань, 2020) с субпиксельной точностью оцениваются пиксельные координаты (х_ц, у_ц) центра изображения продукции в плоскости изображения камеры и по ним вычисляются однородные нормированные пиксельные координаты где K - матрица внутренних параметров камеры; вычисление нормированных координат предполагает выполнение процедуры компенсации дисторсии;

2) с субпиксельной точностью, а также с учетом компенсации дисторсии, оцениваются однородные нормированные пиксельные координаты верхней и нижней точек изображения продукции в плоскости изображения соответственно, где (х_в, у_в) и (х_и,у_и) - пиксельные координаты верхней и нижней точек изображения продукции;

3) вычисляются углы визирования (см. фиг. 2) точки центра изображения продукции ϕ_ц, а также верхней ϕ_в и нижней ϕ_н точек:

4) вычисляется радиус R продукции по угловым направлениям на нижнюю и центральную точки:

а) из геометрических построений фиг. 2 следует равенство прямоугольных треугольников ΔОАВ и ΔОСВ по трем сторонам, поскольку

а, следовательно, АВ=СВ;

б) из равенства треугольников ΔОАВ=ΔОСВ следуют равенства углов

и

в) из равенства для отрезка KB,

KB=KA+АВ,

следует аналитическое выражение для радиуса

г) выполнение аналогичных пп. а)-в) рассуждений для треугольников ΔOCD=ΔOED приводит к значению угла и следующему аналитическому выражению для радиуса R из равенства для отрезка CD=СЕ+ED:

д) поскольку из-за погрешностей юстировки камеры, связанных с погрешностями измерения высоты Н камеры над плоскостью конвейера и ее угла визирования θ, а также погрешностей оценивания углов визирования нижней, центральной и верхней точек продукции ϕ_н, ϕ_ц и ϕ_в, вычисленные по (4) и (5) значения будут различаться, то за радиус продукции принимают их среднее арифметическое

Таким образом, предлагаемый способ оптического контроля качества плодоовощной продукции шарообразной формы при сортировке на конвейере, включающий измерение ее радиуса, реализуется с помощью единственной камеры инфракрасного диапазона длин волн без применения поворотного зеркала для сопровождения анализируемой продукции. При этом при заданной высоте Н установки камеры над плоскостью конвейера угол ее установки θ определяется с учетом ограничений (1)-(3), а радиус продукции шарообразной формы оценивается с помощью аналитических выражений (4)-(6).

Изобретение относится к способам контроля качества овощей и фруктов при их сортировке на конвейере. Способ оптического контроля качества и определения размера плодоовощной продукции заключается в оказании оптического воздействия на объект, регистрации отраженного излучения в течение времени, за которое объект совершит полный оборот, и сравнении полученного изображения с базой данных, содержащей множество изображений. При этом сопровождение каждой единицы плодоовощной продукции осуществляется в видеопотоке от камеры инфракрасного диапазона. Угол визирования θ камеры относительно нормали к плоскости π конвейера выбирают с учетом максимальной рабочей скорости движения продукции таким образом, чтобы в поле зрения камеры успела попасть вся поверхность объекта. Измерение радиуса продукции выполняют на ближнем к камере участке конвейера по угловым координатам линий визирования нижней, центральной и верхней точек изображения продукции. При этом анализ на наличие дефектов производится с помощью алгоритмов обработки, основанных на применении искусственных сверточных нейронных сетей. Технический результат: упрощение определения размеров плодоовощной продукции шарообразной формы и одновременное выполнение оптического контроля её качества. 2 ил.

Способ оптического контроля качества и определения размера плодоовощной продукции шарообразной формы при сортировке на конвейере, заключающийся в оказании оптического воздействия на вращающийся объект, совершающий поступательное движение на конвейере, регистрации отраженного от вращающегося объекта оптического излучения в течение времени, за которое объект совершит полный оборот, сравнении полученного изображения с базой данных, содержащей множество изображений, отличающийся тем, что сопровождение каждой единицы плодоовощной продукции осуществляется в видеопотоке от камеры инфракрасного диапазона и производится анализ на наличие дефектов с помощью алгоритмов обработки, основанных на применении искусственных сверточных нейронных сетей, при этом угол визирования θ указанной камеры относительно нормали к плоскости π конвейера выбирают с учетом максимальной рабочей скорости движения продукции по конвейеру таким образом, чтобы в поле зрения инфракрасной камеры успела попасть вся поверхность шарообразного объекта, а измерение радиуса продукции выполняют на ближнем к камере участке конвейера по угловым координатам линий визирования нижней, центральной и верхней точек изображения продукции.