Способ контроля качества и определения параметров дефектов у пищевых продуктов при их сортировке на конвейере Российский патент 2023 года по МПК A23N15/00 G06V10/44 B07C5/36 

Изобретение относится к способам контроля качества пищевых продуктов, таких как овощи и фрукты, а именно к применению анализа цветных изображений для определения видов и параметров дефектов, таких как площадь и глубина залегания у пищевых продуктов на основе метода опорных векторов и алгоритмов сверточной нейронной сети, и может быть использовано при их сортировке на конвейере.

Известен способ оценки и контроля качества пищевых продуктов на динамической производственной линии [патент RU№2613319]. Этот способ основан на оценке окраски пищевого продукта, перемещающегося в системе динамического производства. Каждый продукт получает множество индивидуальных оценок по интенсивностям цветов и окраскам по меньшей мере одного цвета, отвечающего за дефект. Затем происходит сравнение множества индивидуальных оценок продукта с желаемой характеристикой окраски продукта.

К недостаткам этого способа можно отнести жесткую зависимость показателя качества от процента окраски пищевого продукта определенным цветом, что может привести к ошибочной идентификации бездефектного продукта, поскольку продукт может не иметь дефекта, но будет отнесен к дефектным, если, например, в случае со фруктами, он является более зрелым, чем остальные.

Также известен способ оптического контроля качества сельскохозяйственной продукции шарообразной формы при сортировке на конвейере [патент RU №2737607]. Сортируемые объекты сельскохозяйственной продукции шарообразной формы совершают поступательное перемещение на рольганговом конвейере и одновременно вращаются. Для оптического воздействия на объекты используются источники оптического излучения. При помощи поворотного зеркала отраженный от поверхности объекта контроля свет фокусируется на чувствительных элементах гиперспектральной камеры с линейкой оптических сенсоров. Полученное гиперспектральное изображение объекта сравнивается с базой данных, содержащей множество изображений. Поворот зеркала согласован с координатами объекта на конвейере в течение времени, за которое объект совершит полный оборот.

К недостаткам известного способа можно отнести отсутствие возможности определения параметров и конкретного месторасположения дефектов у пищевых продуктов, а также возможность работы только с продуктами, имеющие шарообразную форму.

Наиболее близким способом того же назначения к заявленному изобретению по совокупности признаков является способ измерения качественных характеристик или дефектов на продуктах или в продуктах, таких как овощи и фрукты [RU №2738327], включающий: обеспечение системы камер на раме измерительного устройства, причем система камер снабжена по меньшей мере одним источником света и по меньшей мере одной камерой для записи изображения; перемещение продукта для измерения с помощью транспортерных средств; управление системой камер с помощью контроллера, включающее подачу первой команды на измерение и запись по меньшей мере одного изображения продукта при по меньшей мере двух частотах или частотных спектрах в первой точке измерения и/или на первом пути измерения; подачу с помощью контроллера по меньшей мере второй команды на измерение для записи по меньшей мере одного изображения продукта при по меньшей мере двух частотах или частотных спектрах во второй точке измерения и/или на втором пути измерения, причем вторая точка измерения и/или второй путь измерения по меньшей мере частично отличаются от первой точки измерения и/или первого пути измерения; составление обзорного изображения продукта для каждой частоты или каждого частотного спектра с помощью системы обработки данных; и анализ обзорного изображения продукта и обнаружение качественных характеристик или дефектов на или в продукте с помощью системы обнаружения. Данный способ принят за прототип.

К недостаткам известного способа, принятого за прототип, относят необходимость использования дорогостоящих элементов, таких как камеры с разным диапазоном длин волн и источники освещения, имеющие определенную частоту и определенный частотный спектр. Кроме того, эти элементы подвергаются агрессивному воздействию среды, в которой находятся, что приводит к преждевременному выходу из строя. Также это изобретение имеет ограниченный спектр выявления дефектов и не способно выявить конкретное месторасположение дефекта на пищевом продукте. Две точки измерения не охватывают весь продукт целиком, что может привести к пропуску дефекта.

Техническая задача изобретения состоит из устранения указанных недостатков, а именно в создании такого способа контроля качества пищевых продуктов, при котором определяется полное состояние поверхности, вид и глубина залегания дефектов для повышения качества сортировки и уменьшения доли потерь и брака при их последующей очистке.

Поставленная задача была решена за счет того, что в известном способе контроля качества и определения параметров дефектов у пищевых продуктов, таких как овощи или фрукты, при их сортировке на конвейере с использованием камер и контроллера, включающий подачу неотсортированных пищевых продуктов по конвейеру, управление с помощью контроллера, формирование изображений, получаемых с камер, и их анализ по средствам системы обработки данных, согласно изобретению конвейер для подачи неотсортированных пищевых продуктов закрепляют на раме, на которой устанавливают камеру, робот манипулятор, блок управления с системами слежения, управления и с программируемым логическим контроллером, конвейеры для бездефектных пищевых продуктов, для пищевых продуктов, у которых возможно удалить дефект без ущерба производственному процессу и для пищевых продуктов, подлежащих утилизации, на всех конвейерах устанавливают двигатели и отсеки для размещения пищевого продукта, при этом используют робот-манипулятор, снабженный захватным устройством, камерой и соединенный с блоком управления, а к блоку управления подсоединяют персональный компьютер, в который встроены алгоритмы, позволяющие классифицировать вид продукта и распознавать вид дефекта в рамках определенного вида классифицированного продукта, конкретную область местонахождения этого дефекта и прогнозировать глубину его залегания, при этом камеру робота-манипулятора располагают под прямым углом по отношению к отсекам конвейера и после того, как системой слежения, заложенной в блок управления, определяют наличие продукта в отсеке конвейера, останавливают конвейер путем подачи сигналов в блок управления, после остановки конвейера камерой робота-манипулятора еще раз производят фотофиксацию содержимого отсека, но уже в большем разрешении, чем при движении конвейера, и передают фотоизображение на персональный компьютер, алгоритмы которого классифицируют его на принадлежность к одному из видов пищевых продуктов и определяют наличие дефекта, а при обнаружении производят определение его границ, координат и глубины залегания, и, если площадь дефекта или глубина залегания не соответствуют тем параметрам, которые внесены в настройки программного обеспечения на персональном компьютере, то посылают сигнал в блок управления на перемещение пищевого продукта захватным устройством робота-манипулятора, на конвейер, предназначенный для утилизации продуктов, и робот-манипулятор выполняет эту команду, при этом если дефект не обнаруживается или обнаруживается, но его площадь и глубина залегания меньше предельных значений, установленных в настройках программного обеспечения на персональном компьютере, то производят расчет координат захвата пищевого продукта с учетом его классифицированного вида, конкретной формы и минимизации перекрывания его поверхности габаритами захватного устройства при удержании, и посылают сигнал на его захват, захватное устройство робота-манипулятора захватывает пищевой продукт и перемещает его до камеры, расположенной на раме, и проворачивает его с периодичностью и углом перемещения такими, которые заложены в настройках алгоритмов на персональном компьютере, при каждом моменте перемещения производят фотофиксацию пищевого продукта, при этом если пищевой продукт имеет круглую или овальную формы, то сначала проводят фотофиксацию его верхнего полушария, а затем, за еще один оборот, нижнего полушария, при этом камеру располагают перпендикулярно центру параллели 45 градусов, при грушевидной форме сначала проводят фотофиксацию верхней части пищевого продукта с расположением камеры перпендикулярно центру вытянутой вертикальной части, а затем, за еще один оборот, нижней части, с расположением камеры перпендикулярно центру выпуклой нижней части, при конусообразной форме пищевого продукта и отличных от круглой, овальной и грушевидной формах, фотофиксацию проводят сразу целиком всего продукта за один оборот, причем продукт проворачивают до тех пор, пока не будет достигнута начальная точка, после чего его проворачивают на 90 градусов стороной, открытой для камеры на раме и снова производят операцию фотофиксации, далее полученные фотоизображения пересылают на блок управления, а с него на персональный компьютер, в котором анализируют на предмет наличия дефектов и, в случае обнаружения, производят определение границ, координат и глубины залегания дефекта, причем, если дефект обнаруживают и его параметры не удовлетворяют критериям, заложенным в программное обеспечение персонального компьютера, то такой пищевой продукт перемещают на конвейер для утилизации продуктов, если дефект обнаруживают, но его параметры находятся в пределах допустимых, то такой продукт перемещают на конвейер, предназначенный для тех пищевых продуктов, у которых возможно удалить дефект без ущерба производственному процессу, а если дефекты не обнаруживают, то такой продукт перемещают на конвейер, предназначенный для тех пищевых продуктов, которые являются полностью бездефектными, причем перемещения до конвейеров производят путем выдачи сигналов персональным компьютером на блок управления, а с него на робот-манипулятор.

Кроме того, фотофиксацию пищевого продукта круглой, овальной и грушевидной форм проводят с перемещением на угол не более 20 градусов.

Кроме того, алгоритм, позволяющий определить наличие дефекта у конкретного вида продукта, его границы, координаты и глубину залегания, реализуют на основе сверточных нейронных сетей.

Кроме того, классификацию изображения на принадлежность пищевого продукта к одному из видов производят алгоритмом, реализующего метод опорных векторов.

Кроме того, окраска отсеков конвейера для подачи пищевых продуктов имеет отличный цвет от тех пищевых продуктов, которые планируют использовать при сортировке.

Кроме того, системой слежения, заложенной в блок управления, устанавливают наличие пищевого продукта в отсеке для размещения пищевых продуктов по средствам отличия двух цветов между окраской отсека конвейера и пищевым продуктом.

Предлагаемый способ поясняется чертежом, на котором изображена функциональная схема.

На схеме обозначены:

1 - Промышленный робот-манипулятор

2 - Захватное устройство робота-манипулятора

3 - Камера робота-манипулятора

4 - Конвейер (№1) для подачи неотсортированных пищевых продуктов

5 - Отсеки для размещения пищевых продуктов конвейера №1

6 - Двигатель конвейера №1

7 - Конвейер (№2) для бездефектных пищевых продуктов

8 - Отсеки для размещения пищевых продуктов конвейера №2

9 - Двигатель конвейера №2

10 - Конвейер (№3) для пищевых продуктов, у которых возможно удалить дефект без ущерба производственному процессу

11 - Отсеки для размещения пищевых продуктов конвейера №3

12 - Двигатель конвейера №3

13 - Конвейер (№4) для пищевых продуктов, подлежащих утилизации

14 - Отсеки для размещения пищевых продуктов конвейера №4

15 - Двигатель конвейера №4

16 - Блок управления с контроллером

17 - Персональный компьютер

18 - Рама

19 - Камера на раме

Предлагаемый способ осуществляется в следующей последовательности. Пищевые продукты поступают по конвейеру (4), который удерживается на раме (18). На раме (18) устанавливают камеру (19), робот манипулятор (1), конвейер для подачи неотсортированных пищевых продуктов (4) и, по меньшей мере три конвейера (7, 10, 13), предназначенные для дальнейшего перемещения продукта в зависимости от наличия и характера выявленных дефектов. Все конвейеры выполнены с отсеками (5, 8, 11, 14) для размещения в них пищевых продуктов. Причем окраска этих отсеков имеет отличный цвет от тех пищевых продуктов, которые планируется использовать. К роботу-манипулятору (1) подсоединен блок управления (16,) в который встроен программируемый логический контроллер, посылающий управляющие сигналы на робот-манипулятор (1). В блок управления (16) заложены системы слежения и управления.

Робот-манипулятор (1) снабжен захватным устройством (2) и камерой (3). К блоку управления (16) подсоединен персональный компьютер (17), который выдает сигналы на блок управления (16). На персональном компьютере (17) устанавливают программное обеспечение, в которое встроены алгоритмы, позволяющие классифицировать вид продукта и распознавать вид дефекта в рамках определенного вида классифицированного продукта, конкретную область местонахождения этого дефекта и прогнозировать глубину его залегания.

После того, как в отсеке (5) для размещения пищевых продуктов на конвейере (4) появятся пищевые продукты, то система слежения, заложенная в блок управления с контроллером (16) установит это по средствам отличия двух цветов между окраской отсека конвейера и пищевым продуктом. Если такое отличие будет установлено, то система слежения выдаст сигналы на остановку конвейера (4). Причем камеру робота-манипулятора (3) располагают в момент движения конвейера с неотсортированными пищевыми продуктами таким образом, чтобы не препятствовать движению конвейера (4) и под прямым углом просматривать содержимое в отсеках (5).

После остановки конвейера (4), камераой робота-манипулятора (3) еще раз производят фотофиксацию содержимого ячейки, но уже в большем разрешении, чем при движении конвейера (4). После чего изображение передают на персональный компьютер (17), где алгоритм, например, реализующий метод опорных векторов, классифицирует это изображение на принадлежность к одному из видов продукта.

После того, как вид продукта определен, определяют наличие дефекта у конкретного вида продукта с помощью алгоритма, встроенного в персональный компьютер (17). Данный алгоритм, например, может быть реализован на основе сверточных нейронных сетей. При обнаружении дефекта производят определение границ и координат этого дефекта, а также глубину залегания. Если площадь дефекта или глубина залегания не соответствуют тем параметрам, которые были внесены в настройки программного обеспечения на персональном компьютере (17), то данный пищевой продукт захватывается захватным устройством (2) и перемещается на конвейер, предназначенный для утилизации продуктов.

Если дефект не обнаруживается или обнаруживается, но его площадь и глубина залегания меньше предельных значений, установленных в настройках программного обеспечения на персональном компьютере (17), то проводят расчет координат захвата пищевого продукта с учетом его классифицированного вида, конкретной формы и минимизации перекрывания его поверхности габаритами захватного устройства (2) при удержании. Затем данный пищевой продукт захватывается захватным устройством (2) и перемещается до камеры на раме (19). Затем пищевой продукт проворачивают на определенный угол в зависимости от классифицированного вида и снова проводят операцию фотофиксации. Если пищевой продукт имеет круглую или овальную формы, то сначала проводят фотофиксацию его верхнего полушария, а затем, за еще один оборот, нижнего полушария, при этом камера (19) располагают перпендикулярно центру параллели 45 градусов. При грушевидной форме сначала проводят фотофиксацию верхней части пищевого продукта с расположением относительно камеры (19) перпендикулярно центру вытянутой вертикальной части, а затем, за еще один оборот, нижней части, с расположением относительно камеры (19) перпендикулярно центру выпуклой нижней части. При конусообразной форме пищевого продукта и других формах фотофиксацию проводят сразу целиком всего продукта за один оборот. Причем продукт проворачивают до тех пор, пока не будет достигнута начальная точка. Затем пищевой продукт проворачивают на 90 градусов стороной, открытой для камеры (19) на раме (18), и снова проводят операцию фотофиксации.

Полученные фотоизображения пересылают на блок управления (16), а с него на персональный компьютер (17), в котором анализируют на предмет наличия дефектов и, в случае обнаружения, производят определение границ и координат этого дефекта, а также глубину залегания. Причем, если дефекты обнаруживаются и их параметры не удовлетворяют критериям, заложенным в программное обеспечение персонального компьютера (17), то такой продукт перемещают на конвейер для утилизации продуктов. Если дефекты обнаруживаются, но их параметры находятся в пределах допустимых, то такой продукт перемещают на конвейер, предназначенный для тех пищевых продуктов, у которых возможно удалить дефект без ущерба производственному процессу. Если дефекты не обнаруживаются, то такой продукт перемещают на конвейер, предназначенный для тех пищевых продуктов, которые являются полностью бездефектными.

Таким образом, заявленный способ обеспечивает возможность определения состояния поверхности, вида и глубины залегания дефектов у пищевых продуктов. Способ может применяться на производствах, где требуется предварительная обработка пищевых продуктов, таких как овощи и фрукты для их последующей переработки.

Изобретение относится к способам контроля качества пищевых продуктов, таких как овощи и фрукты, а именно к применению анализа цветных изображений для определения видов и параметров дефектов. Техническим результатом заявленного решения является определение полного состояния поверхности продукта, вида и глубины залегания дефектов для повышения качества сортировки и уменьшения доли потерь и брака при их последующей очистке. Для реализации технического результата в заявленном способе предусмотрены конвейер с неотсортированными пищевыми продуктами, конвейер для бездефектных продуктов, конвейер с продуктами, пригодными для удаления дефектов, конвейер для продуктов на утилизацию, камера, способная распознавать вид дефекта в рамках определённого вида классифицированного продукта, конкретную область местонахождения этого дефекта и прогнозировать глубину его залегания, робот-манипулятор, блок управления с системами слежения. 5 з.п. ф-лы, 1 ил.

1. Способ контроля качества и определения параметров дефектов у пищевых продуктов, таких как овощи или фрукты, при их сортировке на конвейере, включающий подачу неотсортированных пищевых продуктов по конвейеру, управление с помощью контроллера, формирование изображений, получаемых с камер, и их анализ по средствам системы обработки данных, отличающийся тем, что конвейер для подачи неотсортированных пищевых продуктов закрепляют на раме, на которой устанавливают камеру, робот манипулятор, блок управления с системами слежения, управления и с программируемым логическим контроллером, конвейеры для бездефектных пищевых продуктов, для пищевых продуктов, у которых возможно удалить дефект без ущерба производственному процессу и для пищевых продуктов, подлежащих утилизации, на всех конвейерах устанавливают двигатели и отсеки для размещения пищевого продукта, при этом используют робот-манипулятор, снабженный захватным устройством, камерой и соединенный с блоком управления, а к блоку управления подсоединяют персональный компьютер, в который встроены алгоритмы, позволяющие классифицировать вид продукта и распознавать вид дефекта в рамках определённого вида классифицированного продукта, конкретную область местонахождения этого дефекта и прогнозировать глубину его залегания, при этом камеру робота-манипулятора располагают в момент движения конвейера с неотсортированными пищевыми продуктами под прямым углом по отношению к отсекам этого конвейера и после того, как системой слежения определяют наличие продукта в отсеке конвейера, останавливают конвейер путем подачи сигналов в блок управления, после остановки конвейера камерой робота-манипулятора ещё раз производят фотофиксацию содержимого отсека, но уже в большем разрешении, чем при движении конвейера, и передают фотоизображение на персональный компьютер, алгоритмы которого классифицируют его на принадлежность к одному из видов пищевых продуктов и определяют наличие дефекта, а при обнаружении производят определение его границ, координат и глубины залегания, и, если площадь дефекта или глубина залегания не соответствуют тем параметрам, которые внесены в настройки программного обеспечения на персональном компьютере, то посылают сигнал в блок управления на перемещение пищевого продукта захватным устройством робота-манипулятора, на конвейер, предназначенный для утилизации продуктов, и робот-манипулятор выполняет эту команду, при этом если дефект не обнаруживается или обнаруживается, но его площадь и глубина залегания меньше предельных значений, установленных в настройках программного обеспечения на персональном компьютере, то производят расчёт координат захвата пищевого продукта с учётом его классифицированного вида, конкретной формы и минимизации перекрывания его поверхности габаритами захватного устройства при удержании, и посылают сигнал на его захват, захватное устройство робота-манипулятора захватывает пищевой продукт и перемещает его до камеры, расположенной на раме, и проворачивает его с периодичностью и углом перемещения такими, которые заложены в настройках алгоритмов на персональном компьютере, при каждом моменте перемещения проводят фотофиксацию пищевого продукта, при этом если пищевой продукт имеет круглую или овальную форму, то сначала проводят фотофиксацию его верхнего полушария, а затем, за ещё один оборот, нижнего полушария, при этом камеру располагают перпендикулярно центру параллели 45°, при грушевидной форме сначала проводят фотофиксацию верхней части пищевого продукта с расположением камеры перпендикулярно центру вытянутой вертикальной части, а затем, за ещё один оборот, нижней части, с расположением камеры перпендикулярно центру выпуклой нижней части, при конусообразной форме пищевого продукта и отличных от круглой, овальной и грушевидной формах, фотофиксацию проводят сразу целиком всего продукта за один оборот, причём продукт проворачивают до тех пор, пока не будет достигнута начальная точка, после чего его проворачивают на 90° стороной, открытой для камеры на раме, и снова производят операцию фотофиксации, далее полученные фотоизображения пересылают на блок управления, а с него на персональный компьютер, в котором анализируют на предмет наличия дефектов и, в случае обнаружения, производят определение границ, координат и глубины залегания дефекта, причём, если дефект обнаруживают и его параметры не удовлетворяют критериям, заложенным в программное обеспечение персонального компьютера, то такой пищевой продукт перемещают на конвейер для утилизации продуктов, если дефект обнаруживают, но его параметры находятся в пределах допустимых, то такой продукт перемещают на конвейер, предназначенный для тех пищевых продуктов, у которых возможно удалить дефект без ущерба производственному процессу, а если дефекты не обнаруживают, то такой продукт перемещают на конвейер, предназначенный для тех пищевых продуктов, которые являются полностью бездефектными, причём перемещения до конвейеров производят путём выдачи сигналов персональным компьютером на блок управления, а с него на робот-манипулятор.

2. Способ по п.1, отличающийся тем, что фотофиксацию пищевого продукта круглой, овальной и грушевидной форм проводят с перемещением на угол не более 20°.

3. Способ по п.1, отличающийся тем, что алгоритм, позволяющий определить наличие дефекта у конкретного вида продукта, его границы, координаты и глубину залегания, реализуют на основе свёрточных нейронных сетей.

4. Способ по п.1, отличающийся тем, что классификацию изображения на принадлежность пищевого продукта к одному из видов производят алгоритмом, реализующим метод опорных векторов.

5. Способ по п.1, отличающийся тем, что окраска отсеков конвейера для подачи пищевых продуктов имеет отличный цвет от тех пищевых продуктов, которые планируют использовать при сортировке.

6. Способ по п.1, отличающийся тем, что системой слежения, заложенной в блок управления, устанавливают наличие пищевого продукта в отсеке для размещения пищевых продуктов по средствам отличия двух цветов между окраской отсека конвейера и пищевым продуктом.