СПОСОБ ОЦЕНКИ И КОНТРОЛЯ КАЧЕСТВА ПИЩЕВЫХ ПРОДУКТОВ НА ДИНАМИЧЕСКОЙ ПРОИЗВОДСТВЕННОЙ ЛИНИИ Российский патент 2017 года по МПК G01N33/02 

Предпосылки создания изобретения

Область техники, к которой относится изобретение

Настоящее изобретение относится к способам контроля качества, более точно к применению анализа изображений для контроля общего качества на динамической производственной линии.

Описание уровня техники

Существует ряд способов анализа качества и сортировки пищевых продуктов, транспортируемых по ленточному конвейеру. Такие способы обычно сосредоточены на сортировке изделий с целью отбраковки изделий с недостатками или дефектами и удаления любых инородных веществ, включая несъедобные части пищевого продукта. Например, в одном из способов сортировки или осмотра пищевых продуктов с целью контроля их качества персонал, находящийся вдоль производственных линий, вручную сортирует пищевые продукты путем визуального контроля по мере их перемещения по ленточному конвейеру. Тем не менее, ручная сортировка является дорогостоящей и ненадежной в силу противоречивой характера оценки, даваемой различными людьми.

Одним из альтернативных и все более популярных способов автоматизированного и рентабельного обеспечения стандартов высокого и однородного качества является машинное зрение и анализ изображений. Системы машинного зрения все больше применяются в пищевой промышленности (в том числе, например, для классификации или сортировки мяса, зерна, рыбы, пиццы, сыра или хлеба) в целях обеспечения качества. Большая часть литературы по анализу изображений касается способов изменения видимого изображения таким образом, чтобы сделать изображение более привлекательным зрительно или получить информацию о форме или границах различных видимых признаков. В этом смысле традиционные способы формирования изображений служат автоматизированными системами машинного зрения, выполняющими операции во много раз быстрее и значительно точнее, чем контролеры или операторы. Соответственно, такие системы обеспечивают автоматизированную классификацию, которая позволяет стандартизировать методы и исключить трудоемкий и непоследовательный контроль качества человеком.

Среди показателей качества большое значение имеет окраска пищевого продукта, поскольку потребители часто используют ее как основу для выбора продукта или отказа от него. Цвет является одним наиболее значимых критериев контроля в пищевой промышленности, поскольку окраска поверхности пищевого продукта может указывать на присутствие дефектов или пороков в пищевом продукте. Такие дефекты влияют на готовность потребителя употребить продукт, а также на его продажную стоимость.

В системах машинного или автоматизированного зрения для анализа изображений или машинного контроля качества пищевых продуктов часто применяются цветные камеры. Однако способы анализа изображений и сортировки в пищевой промышленности в целом остаются сосредоточенными на сортировке изделий с целью отбраковки каждого продукта, имеющего какого рода дефект, недостаток или иную зрительно непривлекательную характеристику. Например, существующие способы сортировки пищевых продуктов путем анализа изображений позволяют отбраковывать дефектные пищевые продукты на основании степени потемнения и размера видимого дефекта пищевого продукта. Иначе говоря, в большей части существующих способов любые дефекты рассматриваются как одинаковые вне зависимости от относительной площади или интенсивности дефекта или размера самого пищевого продукта. Такие методы сортировки увеличивают количество отбракованных пищевых продуктов, которые могли бы быть приемлемыми для потребителей без ущерба для общего воспринимаемого качества пищевого продукта. Предпринимались попытки сортировки продуктов на основании размера дефекта относительно общей площади поверхности продукта. Тем не менее, даже в этих способах порог обнаружения дефекта/отбраковки является статичным и не корректируется с учетом факторов приемлемости или предпочтения при прохождении продуктами контроля качества. При этом не учитывается порог приемлемости для каждого экземпляра продукта в увязке с порогом приемлемости для каждой партии, пакета или контейнера.

Соответственно, остается желательным создание способов сортировки, которые позволяют не только выявлять пищевые продукты с потенциальными дефектами, но также оценивать дефекты пищевых продуктов с целью уменьшения количества необязательно отбраковываемых или теряемых пищевых продуктов. В таких способах должен выгодно использоваться анализ изображений с целью обеспечения надежных, объективных и рентабельных способов производства пищевых продуктов с возможностью почти мгновенного контроля и регулирования с обратной связью качества пищевых продуктов, в особенности, при переходе от одной фазы формирования или изготовления к другой. Наконец, такие способы должны обеспечивать контроль качества пищевых продуктов для окончательного упаковывания и употребления.

Краткое изложение сущности изобретения

В настоящем изобретении предложены способы оценки и контроля качества пищевых продуктов, перемещающихся по производственной линии. В одном из вариантов осуществления способ включает: (а) захват изображения множества перемещающихся пищевых продуктов; (б) анализ изображения с целью определения переменной интенсивности по меньшей мере одного цвета; (в) оценку множества перемещающихся пищевых продуктов как группы на основании процента окраски и тем самым определение оценки общего внешнего вида; и (г) оценку каждого пищевого продукта в отдельности на основании анализа изображений применительно к отдельному пищевому продукту и тем самым получение множества индивидуальных оценок качества. В некоторых вариантах осуществления способ включает ранжирование каждой из индивидуальных оценок качества от наименее приемлемой до наиболее приемлемой и отбраковку одного или нескольких отдельных пищевых продуктов на основании порога качества с целью повышения групповой оценки внешнего вида. В одном из вариантов осуществления стадия отбраковки включает стадию передачи находящемуся ниже по потоку сортировочному оборудованию сигнала отбраковки индивидуально оцененного пищевого продукта. В некоторых вариантах осуществления изменяют порог качества отчасти на основании групповой оценки внешнего вида. Кроме того, для ранжирования отдельного пищевого продукта от наихудшего (или наименее желательного) до наилучшего (или наиболее желательного) может использоваться индивидуальная оценка качества, в результате чего продукт, оцененный как наихудший, может отбраковываться первым, и тем самым улучшается оценка общего внешнего вида множества пищевых продуктов.

В одном из вариантов осуществления описанные способы включают захват множества изображений перемещающихся пищевых продуктов и объединение изображений друг с другом с целью анализа изображений. В одном из вариантов осуществления захватывают изображения в видимой области спектра, а в других вариантах осуществления захватывают изображения в инфракрасной или ультрафиолетовой областях спектра. Кроме того, в других вариантах осуществления для захвата изображения используют флуоресценцию между ультрафиолетовой областью и видимой областью спектра или между видимой областью и ближней инфракрасной областью спектра.

В некоторых вариантах осуществления разбивают изображение на множество элементов (пикселов). В некоторых вариантах осуществления распределяют пикселы по цвету по меньшей мере на два классов для последующей оценки. В одном из вариантов осуществления дополнительно распределяет пикселы на два или более подкласса, отображающих различные уровни интенсивности каждого цвета. По меньшей мере в одном из вариантов осуществления пикселы отображают различные интенсивности красного, зеленого и синего цветов. В некоторых вариантах осуществления стадия классификации включает определение фоновых пикселов.

Согласно другой особенности изобретения предложено устройство для контроля дефектов в динамической системе производства пищевых продуктов. По меньшей мере в одном из вариантов осуществления устройство содержит устройство захвата изображений и вычислительное устройство, в котором может храниться алгоритм, основой которого является порог предпочтений, количественно определенный на основании зрительного восприятия окрашенных дефектов пищевых продуктов. В одном из вариантов осуществления основой алгоритма дополнительно служит соотношение между площадью дефекта и площадью пищевого продукта. В другом варианте осуществления основой алгоритма дополнительно служит определение величины интенсивности цвета для каждого пиксела. По меньшей мере в одном из вариантов осуществления устройством захвата изображений является система технического зрения, способная захватывать цветное цифровое изображение. В одном из вариантов осуществления вычислительное устройство дополнительно способно разбивать на элементы изображение, захваченное устройством захвата изображений. В одном из вариантов осуществления устройство содержит сортировочное устройство, которое поддерживает связь с вычислительным устройством.

Описанные в изобретении способы предусматривают оценку и сортировку пищевых продуктов на основании не только наличия или размера дефекта, но также на основании интенсивности и относительной площади дефекта определенного типа в сравнении с размером пищевого продукта. В некоторых вариантах осуществления способы позволяют различать уровни дефектов отчасти на основании предпочтений потребителей или восприятия дефектов с учетом площади и типа выявленного нежелательного дефекта. В настоящем изобретении предусмотрено более объективное и последовательное основание для оценки пищевых продуктов с уменьшением числа отбраковываемых пищевых продуктов. В описанных способах также предусмотрено определение качества пищевых продуктов и контроль качества пищевых продуктов, которые в итоге достигают потребителя. Наконец, в способах предусмотрено сравнение характеристик продуктов с желаемыми стандартными характеристиками продукта на динамической или движущейся производственной линии в реальном или почти реальном времени.

Другие особенности, варианты осуществления и признаки изобретения станут ясны из следующего далее подробного описания изобретения при его рассмотрении в сочетании с сопровождающими чертежами. Сопровождающие чертежи являются схематическими и представлены не в масштабе. Идентичные или преимущественно сходные элементы, проиллюстрированные на различных фигурах, обозначены одинаковыми цифровыми позициями. Для ясности на каждой фигуре обозначен не каждый элемент, а также не каждый элемент каждого варианта осуществления, если это не требуется для обеспечения понимания изобретения специалистами в данной области техники.

Краткое описание чертежей

В прилагаемой формуле изобретения содержатся элементы новизны, считающиеся отличительными признаками изобретения. Вместе с тем, само изобретение, а также предпочтительный вариант его осуществления, его дополнительные задачи и преимущества будут лучше всего поняты из следующего далее подробного описания пояснительных вариантов осуществления в сочетании с сопровождающими чертежами, на которых:

на фиг. 1А и 1Б проиллюстрированы примеры известных способов отбраковки готовых картофельных чипсов,

на фиг. 2 проиллюстрирована система оценки и контроля качества пищевых продуктов на динамической производственной линии согласно одному из вариантов осуществления,

на фиг. 3 проиллюстрирована общая блок-схема способа согласно одному из вариантов осуществления,

на фиг. 4 проиллюстрировано накопление цифровых изображений согласно одному из вариантов осуществления,

на фиг. 5 проиллюстрирована теоретическая кривая потерь для определения и контроля оценки общего внешнего вида множества жареных картофельных чипсов одному из вариантов осуществления.

Подробное описание

Из техники известны традиционные способы анализа изображений, имеющие разнообразные применения в пищевой промышленности, такие как сортировка плодов и овощей, автоматическое распределение, контроль на инородные вещества, и применения при упаковывании в целом. Тем не менее, еще не существует способов формирования цифровых изображений с целью контроля качества путем усовершенствованной оценки общего внешнего вида множества пищевых продуктов как группы.

Описанный в изобретении способ предусматривает оценку и контроль качества множества упаковываемых пищевых продуктов. Оценка включает стадии индивидуальной оценки качества каждого отдельного изготовленного пищевого продукта методами анализа изображений с использованием захваченного изображения. Используемым термином "качество" обозначается первое впечатление от визуальной оценки пищевого продукта. Оценка качества продукта дается на основании его внешнего вида (включая цвет(-а), воспринимаемый дефект и его относительный размер) с целью определения зрительной привлекательности готового пищевого продукта.

Описанные способы предусматривают минимальные потери за счет того, что пищевой продукт с небольшим дефектом необязательно отбраковывается лишь по причине наличия у него дефекта. Вместо этого, способы позволяют учитывать относительный размер дефекта помимо типа дефекта и при этом предусматривают контроль качества продукта, в итоге доставляемого потребителям. На фиг. 1А и 1Б проиллюстрированы ранее применявшиеся способы оценки с использованием машинного зрения и анализа изображений, например, два образца картофельных чипсов оцениваются одинаково, хотя на глаз видно, что один образец является более приемлемым, чем другой. На фиг. 1А показаны чипсы 100 преимущественно такого же размера, как и чипсы 106. Однако чипсы 100 содержат ряд выцветших участков 102, которые выглядят в целом неприглядно для потребителей. Иначе говоря, более приемлемая окраска чипсов 100 (желтая), обозначенная позицией 104, едва заметна по сравнению с чипсами 106 справа, которые являются преимущественно желтыми и содержат всего несколько дефектов 108. Согласно ранее применявшимся методам анализа изображений обоим продуктам была бы дана одинаковая оценка качества, хотя с точки зрения относительного размера дефекта продукт 100 является более приемлемым, чем продукт 106. Иначе говоря, в известных системах анализа изображений большинство дефектов оцениваются на основании их размера/площади независимо от общего размера продукта, что приводит к чрезмерно агрессивной отбраковке крупных чипсов с дефектами какого-либо типа. Аналогичным образом, на фиг. 1Б показано, что два образца чипсов 110, 112 имеют различные размеры, но имеют дефект 114 приблизительно одинакового размера. Хотя чипсы большего размера получили бы более высокую оценку качества, чем чипсы меньшего размера на основании общей площади продукта относительно площади дефектов, оба образца были бы отбракованы известными способами также по причине чрезмерно агрессивной системы сортировки. Соответственно, известные способы не позволяют различать тип дефекта или относительную площадь дефекта.

В способе согласно настоящему изобретению не только дается оценка качества множества пищевых продуктов с учетом конкретных и относительных уровней дефектов, но также усовершенствована и контролируется общая групповая оценка внешнего вида продуктов, предназначенных для дальнейшей обработки и окончательного упаковывания в один пакет или контейнер для реализации потребителям. Кроме того, способ обеспечивает установление приоритетов дефектов на основании зрительного восприятия.

На фиг. 2 проиллюстрирован один из вариантов осуществления системы, в которой может выполняться описанный способ. Система 200 содержит устройство 202 захвата изображений. В некоторых вариантах осуществления устройство 202 захвата изображений расположено над конвейером 204 для транспортировки сортируемых пищевых продуктов 206. По меньшей мере в некоторых вариантах осуществления конвейер 204 связан с вычислительной системой 208. В вычислительную систему 208 входит микропроцессор 210 и память 212. Вычислительная система 208 также связана с сортировочным оборудованием 214, способным отбраковывать пищевые продукты, которые не отвечают определенному стандарту качества. По меньшей мере в одном из вариантов осуществления типичная структура для применения технологии визуализации в условиях производства пищевых продуктов включает камеру или другое устройство захвата изображений, освещение, плату захвата изображения (устройство захвата кадра или цифровой преобразователь) и вычислительное устройство 208. В одном из вариантов осуществления микропроцессор 210 сопряжен с памятью 212, в которой хранится одна или несколько компьютерных программ или программное обеспечение для обработки данных изображений. В одном из вариантов осуществления вычислительное устройство 208 принимает данные от устройства 202 захвата изображений посредством устройства проводной или беспроводной передачи. В некоторых вариантах осуществления вычислительное устройство 208 дополнительно содержит центральный процессор (ЦП) и сопряжено с устройством вывода данных, таким как экран или принтер, которому оно передает результаты обработки данных. Результаты обработки данных также могут записываться в файл в устройстве хранения программ. Вычислительное устройство 208 включает не только стандартные настольные вычислительные устройства, но также может представлять собой любую систему, способную хранить информацию и выполнять программные команды.

В одном из вариантов осуществления сортировочное оборудование 214 находится после устройства 202 захвата изображений и содержит набор подвижных воздушных сопел, которые способны отбрасывать или отбраковывать наименее приемлемые чипсы продукты с низшей оценкой качества до их упаковывания. Затем сортировочное оборудование 214 может отбрасывать следующие наименее приемлемые пищевые продукты или отдельный пищевой продукт со следующей низшей оценкой качества, чтобы продолжить повышение оценки общего внешнего вида множества пищевых продуктов, перемещающихся по конвейеру 204. Следует отметить, что система 200, показанная на фиг. 2, служит лишь иллюстрацией идеи изобретения, и не отображает ограничений в отношении размера, пропорций, местоположения или размещения каких-либо компонентов.

Рассмотрим фиг. 3, на которой в целом проиллюстрирован способ 300 оценки и контроля качества или внешнего вида. С целью контроля и сбора данных продуктов на шаге 302 сначала захватывают изображение пищевых продуктов с помощью устройства 202 захвата изображений. По меньшей мере в некоторых вариантах осуществления захватывают изображение перемещающихся пищевых продуктов по мере их следования по линии динамической обработки. В одном из вариантов осуществления движущийся конвейер 204 перемещает пищевые продукты до места выполнения последующих операций, таких как приправление или упаковывание. В одном из вариантов осуществления пищевые продукты окончательно обжаривают в процессе перемещения по конвейеру 204 со стадии обжарки на последующие стадии обработки. В одном из вариантов осуществления придают пищевым продуктам однослойную конфигурацию любыми известными из техники средствами. Например, уложенным в несколько слоев пищевым продуктам может быть придана однослойная конфигурация путем их перемещения с первого ленточного конвейера на значительно более быстродвижущийся второй ленточный конвейер. В одном из вариантов осуществления формируют изображение по всей ширине конвейера 204, по которому перемещаются продукты, и тем самым обеспечивают максимальный контроль и анализ поверхности множества пищевых продуктов. Скорость конвейера обычно составляет около 600 футов в минуту. В одном из вариантов осуществления захватывают последовательность изображений, который затем могут быть объединены друг с другом с целью анализа всей группы, серии или партии продукта, проходящего через устройство захвата изображений или под ним. Объединяют результаты анализа каждого отдельного изображения, чтобы получить результаты анализа всей группы изображений, как если бы все были получены с использованием одного образца, как показано на фиг. 4. Объединяют данные каждого из изображений, как если они являлись одним большим изображением, хорошо известными из техники способами.

В некоторых вариантах осуществления устройство 202 захвата изображений содержит систему анализа изображений. Системой анализа изображений может являться известная специалистам в данной области техники система визуализации любого типа, включая без ограничения систему технического зрения, формирователь изображений в ультрафиолетовой/видимой ближней инфракрасной областях (или любое его сочетание), формирователь рентгеновских изображений, формирователь тепловых изображений, формирователь акустических/ультразвуковых изображений, формирователь сверхвысокочастотных изображений или любую другую технологию визуализации, которая действует в спектре электромагнитных волн от сверхнизких частот (ниже спектра слышимых частот) до субнанометровых волн. В одном из вариантов осуществления захватывают изображение в видимой области спектра, в которую входят волны длиной от около 400 нм до около 700 нм, с помощью работающего в реальном времени видеооборудования, состоящего из камеры. Например, для захвата изображений в видимой области спектра может использоваться стационарная цветная камера с однострочной разверткой на приборе с зарядовой связью (ПЗС), установленная над конвейером 204. Такая камера формирует последовательность однострочных разверток с целью формирования двухмерного массива пикселов, отображающих двухмерное изображение с измерением уровня интенсивности каждого пиксела в строке. Источник электромагнитного излучения также может быть сконфигурирован на испускание излучения в различных полосах спектра электромагнитных волн, включая без ограничения инфракрасную область спектра и ультрафиолетовую область спектра, но также может быть сконфигурирован на испускание электромагнитного излучения в желаемой области спектра на одной или множестве волн. Соответственно, в другом варианте осуществления захватывают изображение в ближней инфракрасной области спектра (от около 800 нм до около 2500 нм). Анализ изображений вне видимой области спектра может быть выгоден, например, при обнаружении дефектов, не видимых на поверхности, или при определении содержания влаги или питательных веществ. В другом варианте осуществления захватывают изображение в ультрафиолетовой области спектра (от около 10 нм до около 400 нм). Соответственно, подразумевается, что изображение может захватываться в диапазоне волн заданной длины, не ограниченном видимой областью спектра. Для удобства описанный в изобретении способ оперирования с готовыми закусочными пищевыми продуктами легче всего осуществляется в видимой области спектра с использованием трех цветовых каналов, а именно, красного, зеленого и синего. Однако подразумевается, что видимая область может быть неприемлема в других применениях. В некоторых вариантах осуществления освещают закусочный продукт видимым светом, чтобы получить изображение результата процесса. В других вариантах осуществления освещают продукт излучением на волне одной длины, чтобы наблюдать реакцию в другой области. Например, освещение с использованием ультрафиолетового излучения может вызывать реакции в видимой области (например, флуоресценцию), основанную на конкретных характеристиках интересующего объекта (или дефекта).

Как показано на фиг. 3, после захвата изображения устройством 202 захвата изображений на шаге 302 оно преимущественно в режиме реального времени передается вычислительному устройству 208 с целью анализа. Такая передача может осуществляться по проводам или беспроводным способом или любым другим способом, позволяющим передавать данные. Захватывают изображение в форме, значащей для компьютера или процессора данных. В одном из вариантов осуществления такой формой является изображение, представленное последовательностью или массивом чисел. Это обычно делается путем разбиения изображения на элементы на шаге 304. Используемый термин разбиение изображения на элементы означает деление изображение на двухмерную сетку из определенного числа дискретных элементов изображения или пикселов. В некоторых вариантах осуществления шаг 304 разбиения на элементы выполняет устройство захвата кадра или цифровой преобразователь. Соответственно, после захвата изображения на шаге 302 его разбивают на элементы, сегментируют или оцифровывают на шаге 304, чтобы компьютер или процессор данных мог получить информацию или данные изображения. Каждому пикселу соответствует определенный код цвета, отображающий оттенок и интенсивность той части изображения, которая соответствует пикселу.

В одном из вариантов осуществления в способе 300 используются системы цветных камер для регистрации интенсивности по меньшей мере двух различных цветов. В одном из вариантов осуществления каждое изображение состоит из массива элементов изображения с измеренными значениями интенсивности по меньшей мере в трех диапазонах волн, определяющих размеры для массива элементов изображения. Хотя в качестве одного из подходов может применяться многоспектральное изображение (в этом случае RGB), в других вариантах осуществления способ также применим к моноспектральным изображениям (например, черно-белым, рентгеновским, ультразвуковым и т.д.). Обычно используются три различных цветовых диапазона: красный, зеленый и синий. Соответственно, один код цвета в системе цветных камер может являться тремя или более дискретными переменными или значениями интенсивности r, g и b, соответствующими интенсивности красного, зеленого и синего цветов. Цвет каждого пиксела имеет переменные интенсивности красного, зеленого и синего цветов и характеризуется численными величинами (например, целыми числами от 0 до 255) его красного, зеленого и синего каналов. Следует отметить, что камера должна быть калибрована до захвата изображений и через регулярные интервалы после этого.

После шага 304 разбиения на элементы пикселы делят на два или более классов на шаге 306. В одном из вариантов осуществления классификация пикселов происходит на нескольких шагах, например, путем выделения переднего плана с последующим анализом приемлемости. Во-первых, поскольку продукты перемещаются по преимущественно монохромному ленточному конвейеру, делят пикселы на пикселы фона или пикселы пищевого продукта, и тем самым отличают фон (например, открытые поверхности ленточного конвейера), на котором получают изображение продукта, от продукта. Из техники известно несколько подходов к выделению переднего плана из фона. Например, если фон является высококонтрастным по сравнению с анализируемыми объектами, может применяться простой выбор порога. В целом, в описанном способе может применяться любой известный из техники способ, позволяющий отличать фон от пищевых продуктов. Например, в одном из вариантов осуществления, чтобы отличить фон от изображения применяется многомерный анализ изображений, известный как анализ главных компонент (РСА) (как описано в патенте US 7068817 на имя Bourg и др.). В другом варианте осуществления применяют простое интерактивное выделение объекта (SIOX), чтобы выделить передний план или интересующий объект из фона.

После того, как определено, что пикселы относятся к цвету, идентифицируемому как пищевой продукт, делят пикселы на пикселы приемлемого пищевого продукта или потенциально неприемлемого пищевого продукта. Классификацию пикселов часто используют для контроля качества в пищевой промышленности, чтобы различать приемлемые и дефектные продукты. Приемлемые пищевые продукты, например, имеют цвет, близкий к одному или нескольким заданным приемлемым цветам. Подразумевается, что используемый термин "потенциально неприемлемый пищевой продукт" означает пищевой продукт с одним или несколькими дефектами на поверхности, при этом дефект отображен цветом, отличающимся от заданного приемлемого цвета. Такие дефекты могут отображаться одним или несколькими заданными неприемлемыми цветами в видимой области спектра. Например, в патенте US 5335293 на имя Vannelli, правопреемником которого является компания Key Technology, Inc., описан способ классификации пикселов и цветовых кодов пикселов в зависимости от типа компоненты на основании площади продукта согласно единой классификации качества, такой как "приемлемый" продукт, продукт "с белым дефектом", продукт "с коричневым дефектом", или другой классификации в зависимости от характера продукта. Например, такой продукт, как стручковая фасоль делят на два типа (тип I и тип II) согласно различиям в кодах цвета каждого отдельного пиксела. Также могут существовать типы компонентов для "фона" и "не идентифицированных" областей. В системе Vannelli применяется способ обучения цветам с целью идентификации дефектов, т.е. отдельный оператор обучает систему тому, что считать дефектным цветом относительно приемлемого цвета в потоке продуктов. Затем осуществляется сортировка на основании сравнительной оценки наблюдаемых цветов и цветов, которым обучена система и которые распознаются путем взаимодействия отдельного оператора с системой. В такой системе сортировка зависит от динамического взаимодействия с отдельным оператором как функция входного потока продукта. Напротив, в некоторых вариантах осуществления дефект вычисляют порог на основании процентной доли площади дефекта с дополнительными весовыми коэффициентами предпочтения.

Помимо конкретных цветов, которые выделяют на основании RGB-содержимого отдельных пикселов, другие признаки, такие как градиенты цвета, изменяются в направлениях X или Y или одновременно в направлениях X и Y. Кроме того, чтобы отличать окраску помимо приемлемой в видимом цветовом спектре, могут использоваться конкретные отличительные признаки дефектов отдельных типов, такие как конкретные последовательности цветов в направлениях X или Y или одновременно в направлениях X и Y. Признаки этих типов важны, поскольку они расширяют область применения и делают ненужной стадию калибровки цвета, часто необходимую в случае применения видеотехнологии в метрологии.

После того, как на основании изображения пищевого продукта он классифицирован как потенциально неприемлемый пищевой продукт, в некоторых вариантах осуществления пикселы дополнительно делят на две или более групп, отображающих тип дефектов на поверхности пищевого продукта. В одном из вариантов осуществления группы соответствуют дефектам окраски одного или нескольких общих типов, обнаруженных на поверхности пищевых продуктов. В одном из вариантов осуществления пикселы потенциально неприемлемых пищевых продуктов дополнительно делят на два или более подуровней интенсивности для каждого обнаруженного дефекта окраски.

Например, в случае готовых картофельных чипсов приемлемые картофельные чипсы могут иметь один или несколько оттенков желтого цвета, а потенциально неприемлемые картофельные чипсы могут иметь один или несколько оттенков зеленого, коричневого или черного цвета. Соответственно, код каждого возможного цвета классифицируют как один из множества типов компонентов, определяемых площадью продукта, согласно единой классификации качества, такой как приемлемость цвета или конкретный уровень дефектного цвета. В одном из вариантов осуществления для определения приемлемых цветов относительно дефектных цветов применяются Стандарты на сорта картофеля для изготовления чипсов (далее - Стандарты), изданные министерством сельского хозяйства США (USDA). Например, установлено, что, если не указано иное, индекс цвета композиционного образца жареных чипсов должен составлять не менее 25 при измерении одобренным USDA фотоэлектрическим колориметром (Agtron М-30А или М-300 А) или может определяться на основании одного или нескольких цветовых обозначений с соответствующими индексами по колориметру (Agtron М-30А или М-300А), указанными далее в Таблице 1.

После классификации на шаге 306 пикселов по принципу продукт/фон и на основании наличия дефектного цвета на шаге 308 классифицируют каждый пиксел с одним или несколькими обнаруженными дефектными цветами на основании их значений или уровней интенсивности. При определении значений интенсивности на шаге 308 сначала подсчитывают пикселы, чтобы определить число классифицированных пикселов в качестве одной из заданных или установленных категорий или уровней.

Затем на шаге 310 определяют процентные величины каждого обнаруженного оттенка, чтобы на шаге 312 дать индивидуальную оценку пищевым продуктам на изображении. В некоторых вариантах осуществления индивидуальная оценка продукта вычисляется путем умножения каждой из процентных величин на заданный коэффициент. В одном из вариантов осуществления в коэффициенте учитывается вероятность того, что потребитель не будет против дефектной окраски. Например, для оценки с использованием оценок, данных потребителями дефекту каждого типа, могут использоваться дефекты наиболее часто встречающихся типов. В большинстве вариантов осуществления оценивают с целью ранжирования дефектов по меньшей мере одного типа. В другом варианте осуществления для оценки могут использоваться три или более дефектов. Например, в случае готовых картофельных чипсов потребители могут оценивать свою готовность употреблять чипсы с одним или несколькими дефектными оттенками на их поверхностях (например, зеленым, черным или коричневым). Напротив, потребители также могут оценивать свою неготовность употреблять чипсы с такими дефектами. Затем каждому дефекту может присваиваться конкретный коэффициент, ранжирующий нежелательность (или желательность) для употребления чипсов с цветовым дефектом. Затем такие коэффициенты могут вводиться в алгоритм, программируемый в процессоре для вычислений или оценки в реальном времени. По существу, такое вычисление позволяет прогнозировать неудовлетворенность потребителей на основании процента или числа пикселов с дефектами, которые соответствуют дефектной окраске на поверхности пищевых продуктов. Кроме того, в некоторых вариантах осуществления может применяться такой же алгоритм к отдельным чипсам, и может вычисляться общая оценка путем суммирования оценок с учетом взвешенного размера чипсов. В других вариантах осуществления определяют коэффициенты предпочтения с учетом соображений обеспечения качества независимо от предпочтений потребителей.

Использование величин интенсивности цвета, процентных величин оттенков и показателей или коэффициентов предпочтения в алгоритме может быть легче понято в матричной математической форме. Например, в варианте осуществления, в котором пиксел классифицируют на основании красного, зеленого и синего цветов и дополнительно классифицируют на основании категорий значений низкой, средней и высокой интенсивности, такие данные могут быть компактно представлены как матрица 3×3:

в которой в столбцах представлены цвета (RGB), а в рядах представлены значения интенсивности. Матрицей можно дополнительно манипулировать путем умножения на коэффициент или другую матрицу, которая представляет показатели предпочтения, с целью получения взвешенных данных пикселов. Одним из преимуществ использования матриц является эффективность вычисления и возможность присваивать единый номер (такое как детерминанта матрицы) для представления пиксела. Этот единый номер может легко складываться с целью получения индивидуальной оценки продукта или групповой оценки внешнего вида.

В альтернативных вариантах осуществления столбцами или рядами матриц представлены другие показатели качества помимо цвета. Например, в вариантах осуществления, в которых на шагах 302 и 304 предусмотрен анализ в невидимой области спектра, столбцами матрица может быть представлен уровень содержания влаги, плотность или пористость. В других вариантах осуществления другие показатели качества включают количество определенных химических элементов или соединений. В объем настоящего изобретения входит объединение устройств захвата изображений, охватывающих различные области спектра электромагнитных волн с целью получения множества матриц для одного пиксела.

Как показано на фиг. 3, после того, как на шаге 312 определены индивидуальные оценки продуктов, на шаге 314 система 200 накапливает эти оценки в памяти 212. В других вариантах осуществления на шаге 314 накапливают как данные матриц, так и вычисленные оценки. По меньшей мере в некоторых вариантах осуществления способ 300 начинается с установки типового порога сортировки независимо от потока сортируемого пищевого продукта. На шаге 316 система 200 определяет, следует ли обновить порог сортировки. Если система 200 решает не обновлять порог на шаге 316, выполнение следующих шагов способа 300 продолжается с использованием установленного порога. Если система 200 решает обновить порог, выполнение способа 300 возвращается к шагу 314, и продолжается накопление индивидуальных оценок продуктов. Решение обновить порог сортировки отчасти основано на последующих расчетах внешнего вида группы или оценки "пакета" (на шаге 324) и зависит от того, желательно ли повысить групповую оценку внешнего вида пакета или партии.

Период, в течение которого система 200 накапливает данные, может корректироваться по мере необходимости. В одном из вариантов осуществления предусмотрен заданный временной интервал (например, 3 минуты). В других вариантах осуществления корректируют период накапливания на основании совокупной оценки качества или количества изменений или отклонений, обнаруженных в потоке пищевых продуктов. После того, как определены оценки качества начальных серий отдельных пищевых продуктов, в таких вариантах осуществления система 200 динамически корректирует порог сортировки на шаге 316 по меньшей мере отчасти на основании сортируемой партии. Это называется контекстуальной сортировкой, которая может отличаться от предыдущих способов сортировки, имеющих целью исключительно отбраковку всех продуктов, изображения которых содержат пикселы, отображающие дефекты. Эта контекстуальная сортировка может быть выгодна для уменьшения чрезмерной отбраковки и излишних потерь пищевых продуктов. Кроме того, автоматизированная цифровая система с контуром обратной связи способна автономно сортировать большой объем продуктов без необходимости участия оператора.

На шаге 318 вычислительное устройство 208 сравнивает порог сортировки с индивидуальными оценками продуктов. Во время начального цикла способа 300 сравнивают индивидуальные оценки продуктов с установленным типовым порогом сортировки, который предварительно задан независимо от потока сортируемых пищевых продуктов. Во время последующих циклов после обновления порога сортировки на шаге 316 система 200 на шаге 318 сравнивает индивидуальные оценки продуктов с обновленным порогом сортировки.

Исходя из сравнения на шаге 318, система 200 на шаге 320 решает, следует ли отбраковывать отдельный пищевой продукт в зависимости от того, желательно ли улучшить внешний вид группы или оценку пакета. Если на шаге 320 принято отрицательное решение, отдельный пищевой продукт объединяют в группу с продуктами для расфасовывания в пакеты или упаковывания на шаге 326, и объединяют его индивидуальную оценку с оценками других не отбракованных продуктов, чтобы определить оценку пакета на шаге 324. Если на шаге 320 принято положительное решение, передают сигнал находящемуся далее сортировочному оборудованию 214, и на шаге 322 отдельно оцененные пищевые продукты будут отбраковываться, начиная с наименее желательного продукта (или продукта с низшей оценкой качества).

В одном из вариантов осуществления отбракованные или получившие низшую оценку пищевые продукты удаляют с конвейера, который перемещает продукты, с помощью воздушного потока из воздушного сопла до стадии упаковывания. В другом варианте осуществления отбракованные пищевые продукты отводят на другой участок ленточного конвейера, чтобы они прошли через камеру с целью их дополнительного контроля до окончательной отбраковки. В одном из вариантов осуществления система 200 отбраковывает и отбрасывает без дальнейшего контроля пищевые продукты с оценкой ниже "бесспорного" порога. На фиг. 5 проиллюстрирован пример того, как определяют бесспорный порог на основании теоретической кривой потерь. В таком примере на шаге 322 отбраковывается любой отдельный продукт с оценкой ниже бесспорного порога (обозначенной двойной линией).

После отбраковки пищевых продуктов на шагах 320 и 322 система 200 на шаге 324 определяет внешний вид группы или оценку пакета отсортированных продуктов 216. Оценка пакета может означать суммарную оценку продуктов в емкости или пакете, которая может рассчитываться для каждой партии желаемого размера. Если групповая оценка внешнего вида находится ниже приемлемого уровня, порог сортировки обновляют (т.е. выполнение способа 300 возвращается к шагу 316 с целью обновления порога сортировки) с целью более агрессивной сортировки (например, отбраковки отдельных продуктов с низшей оценкой) и тем самым повышения общей оценки. Одним из преимуществ использования совокупной оценки для каждого пакета является гарантия постоянного качества продукта в каждом пакете. На шаге 326 отсортированные продукты 216 необязательно направляют в систему упаковывания для расфасовки в пакеты. На шаге 328 система 200 определяет, следует ли продолжать процесс сортировки. Если это так, выполнение способа 300 возвращается к шагу 302, на котором продолжается захват изображений. Если это не так, выполнение способа 300 завершается.

Настоящее изобретение лучше всего иллюстрирует линия по производству картофельных чипсов, у которых могут возникать определенные дефекты окраски при обжарке до содержания влаги менее около 3%. Такие дефекты окраски могут создавать проблемы, поскольку они отрицательно сказываются на готовности потребителя приобрести или употребить пищевой продукт, что снижает удовлетворенность потребителей.

Ломтики картофеля готовят в обжарочном аппарате непрерывного действия при температуре, например, от около 340°F до около 360°F в течение приблизительно трех минут. Готовые картофельные чипсы выходят из обжарочного аппарата и перемещаются по конвейеру со скоростью приблизительно 480-600 футов в минуту. Над ленточным конвейером установлена система освещения светом в видимой области спектра и система RGB-камер. Цифровая камера захватывает цветное изображение множества чипсов по мере их перемещения по конвейеру, и изображения продуктов передаются компьютеру с целью анализа описанными в изобретении способами. Может использоваться камера с однострочной разверткой на ПЗС, например, RGB-камера с однострочной разверткой на трех ПЗС производства компании Key Technology с питанием от постоянного тока (например, аккумуляторной батареи) или переменного тока, отбираемого из электрической розетки. Сигнал RGB, генерируемый камерой, подается в изображение плату-цифратор ЦП, которым может являться предлагаемый на рынке компьютер серверного класса, в котором выполняется программное обеспечение под управлением операционных систем Microsoft Windows, UNIX, LINUX или Macintosh. Плата-цифратор захватывает изображение движущихся пищевых продуктов и сохраняет его с целью анализа. По меньшей мере в некоторых вариантах осуществления изображения поступают из компьютера с устройством первоначального захвата кадра посредством сетевого протокола и технологии на основе дисков коллективного пользования. Изображение передается вычислительному устройству, которое запрограммировано на определение значений пикселов и сравнение цветов пикселов с заданными приемлемыми и дефектными значениями.

Во время тестовых прогонов после идентификации фоновых пикселов были определены оттенки желтого цвета, считающиеся приемлемыми для пищевых продуктов, с тем, чтобы отличать их от потенциально неприемлемых пищевых продуктов. Затем преобразовывали значения интенсивности красных, зеленых и синих пикселов в один из девяти возможных оттенков, т.е., каждый в три подуровня (высокий, средний и низкий) черного, коричневого и зеленого цветов. Следует отметить, что, хотя в тестовых прогонах оценивали три цвета, анализ может осуществляться с использованием всего одного цвета, если предпочтительной целью является лишь один дефект. Затем подсчитали пикселы для каждого из возможных оттенков, и рассчитали процент площади каждого из них относительно размера чипсов. Затем с использованием алгоритма, созданного, как описано выше, и запрограммированного в вычислительном устройстве, определили групповую оценку внешнего вида множества чипсов на изображении, а также оценки каждого отдельного продукта на изображении. Например, далее в Таблице 2 проиллюстрировано простой выборочный расчет процента площади каждого цветового дефекта с целью прогнозирования групповой оценки внешнего вида.

В целом, больший процент площади конкретного цветового дефекта служит признаком большей неприязни со стороны потребителей. Затем может быть рассчитана групповая оценка путем умножения заданных потребительских коэффициентов a, b и с на вычисленные процентные доли площади окрашенных пикселов из таблицы, например, следующим образом:

групповая оценка внешнего вида = (0,3)а+(0,63)b+(0,8)с

Данные однострочной развертки и расчетов могут накапливаться с целью определения индивидуальных оценок качества каждого продукта. Один такой пример проиллюстрирован далее в Таблице 3.

Затем процессор формирует теоретическую кривую потерь, в качестве примере показанную на фиг. 4. Кривая потерь отображает оценки общего внешнего вида чипсов, начиная с уровня около 77 (смотри точку 77,3512). Поскольку каждому продукту была дана индивидуальная оценка, чтобы улучшить общий внешний вид или оценку пакета, сначала отбрасывают продукт с низшей оценкой. Как показано на фиг. 4, после того, как отброшен продукт с первой низшей оценкой оценка внешнего вида повысилась примерно до 86. Соответственно, пунктирной линией показано прохождение кривой вправо от уровня около 77 до около 86. Если желательно продолжить повышение оценки внешнего вида, может быть отброшен продукт со второй низшей оценкой. Как показано третьей кривой, проходящей вправо от пунктирной теоретической кривой потерь, при этом еще раз повышается оценка внешнего вида, на этот раз до уровня почти 90. После того, как отброшен продукт с третьей низшей оценкой, происходит еще один сдвиг оценки вправо вдоль теоретической кривой потерь до уровня около 92. Аналогичным образом, когда отброшены продукты с оценками с четвертой по девятую, дополнительно показано, что кривая приближается к оценке внешнего вида, равной 100. Тем не менее, с повышением групповой оценки внешнего вида, увеличиваются теоретические потери. Соответственно, чтобы свести к минимуму потери, более желательным может являться уравновешивание групповой оценки внешнего вида и теоретических потерь с целью достижения желаемого результата.

После того, как определено, что продукт должен быть отброшен с целью повышения оценки общего внешнего вида множества упаковываемых чипсов, система анализа изображений передает сортировочному устройству, состоящему из набора воздушных сопел, сигнал о нахождении дефектного продукта на определенном расстоянии или его приближении через определенное время. Затем сортировочное оборудование отбраковывает дефектный продукт, ударяя его струей воздуха и сбрасывая с конвейера. Этим способом сортировочное устройство удаляет из динамического потока продукты с наиболее вопиющими дефектами на основании заданных или запрограммированных критериев.

В одном из вариантов осуществления сортировочное оборудование находится на небольшом расстоянии (например, менее около 10 футов ниже по потоку от видеооборудования). Соответственно, если пищевой продукт перемещается по конвейеру со скоростью более 600 футов в минуту, в таком варианте осуществления анализ изображений и определение того, следует ли отбраковывать продукт, чтобы повысить общее качество множества чипсов, должны происходить очень быстро. Для этого в кремниевом кристалле, который соединен с видеооборудованием и сортировочном оборудованием запрограммирован алгоритм. В одном из альтернативных вариантов осуществления алгоритм запрограммирован в сортировочном компьютере. Поскольку время вычисления является довольно малым (например, в пределах от нескольких микро- до миллисекунд), способ может применяться в устройстве для измерений в реальном времени и может быть встроен в систему управления, которая позволяет измерять пикселы с переменной окраской и оценивать пищевые продукты в течение менее около 1 секунды.

Хотя настоящее изобретение описано со ссылкой на цветовые дефекты при поточном изготовлении картофельных чипсов, подразумевается, что изобретение применимо к другим дефектам (таким как вздутия, дефекты формы, отверстия, ожоги или пятна) и к другим подвергнутым тепловой обработке пищевым продуктам (таким как чипсы тортилья, экструдированные закусочные продукты, воздушные закусочные продукты, взорванные зерна, блюда из зерновых продуктов для завтрака, орехи или мясные закусочные продукты). Подразумевается, что приведенные примеры и пояснения не ограничивают настоящее изобретение.

Описанные способы сортировки могут применяться для непрерывного оперативного контроля в условиях полной скорости производственного процесса от около 0 до около 1000 футов в минуту или в режиме изготовления отдельными партиями. Как описано ранее, для захвата изображений с целью последующего анализа могут использоваться камеры для осуществления контроля в видимой (например, красной, зеленой и синей) или инфракрасной (ИК) или ультрафиолетовой (УФ) областях спектра или их сочетания.

Хотя выше описаны различные особенности по меньшей мере одного из вариантов осуществления изобретения, следует учесть, что специалисты в данной области техники могут легко внести в него различные изменения, модификации и усовершенствования. Подразумевается, что такие изменения, модификации и усовершенствования являются частью раскрытия и входят в пределы существа и объема изобретения. Соответственно, рассмотренное описание и чертежи приведены лишь в качестве примера и иллюстрации.

Группа изобретений относится к области контроля качества, а именно к применению анализа изображений для контроля общего качества при динамическом производстве. Способ мониторинга качества множества перемещающихся пищевых продуктов в системе динамического производства, основан на оценке окраски пищевого продукта. При этом способ включает стадии: захвата изображения множества перемещающихся пищевых продуктов; анализа данного изображения для определения переменной интенсивности по меньшей мере одного цвета, отвечающего за дефект; оценки множества перемещающихся пищевых продуктов как группы на основании процента окраски по меньшей мере одного цвета, отвечающего за дефект, и тем самым определение оценки общего внешнего вида группы; оценки каждого пищевого продукта на основании анализа изображения, и тем самым получение множества индивидуальных оценок продукта; сравнения множества индивидуальных оценок продукта с желаемой характеристикой окраски продукта. Кроме того, раскрывается устройство мониторинга качества множества перемещающихся пищевых продуктов. Группа изобретений позволяет проводить мониторинг качества общей группы и каждого продукта в отдельности более быстро и точно, согласно критерию привлекательности для потребителей. 2 н. и 18 з.п. ф-лы, 5 ил., 3 табл.

1. Способ мониторинга качества множества перемещающихся пищевых продуктов в системе динамического производства пищевых продуктов, основанный на оценке окраски пищевого продукта, отличающийся тем, что включает стадию захвата изображения множества перемещающихся пищевых продуктов, стадию анализа данного изображения для определения переменной интенсивности по меньшей мере одного цвета, отвечающего за дефект, стадию оценки множества перемещающихся пищевых продуктов как группы на основании процента окраски по меньшей мере одного цвета, отвечающего за дефект, и тем самым определение оценки общего внешнего вида группы, стадию оценки каждого пищевого продукта в отдельности на основании анализа изображения применительно к отдельному пищевому продукту и тем самым получение множества индивидуальных оценок продукта, таких как процент окраски по меньшей мере одним цветом, отвечающим за дефект, стадию сравнения множества индивидуальных оценок продукта с желаемой характеристикой окраски продукта, при этом оценку качества делают по внешнему виду пищевого продукта на основании его окраски применительно к проценту окраски по меньшей мере одним цветом, отвечающим за дефект.

2. Способ по п. 1, дополнительно включающий стадию ранжирования каждого отдельного пищевого продукта на основании индивидуальной оценки качества, и стадию отбраковки одного или нескольких отдельных пищевых продуктов на основании порога качества для повышения групповой оценки внешнего вида, при этом отдельный пищевой продукт, имеющий наихудшую оценку, отбраковывают первым.

3. Способ по п. 2, в котором стадия отбраковки включает передачу находящемуся ниже по потоку сортировочному оборудованию сигнала отбраковки индивидуально оцененного пищевого продукта.

4. Способ по п. 2, в котором изменяют порог качества отчасти на основании групповой оценки внешнего вида.

5. Способ по п. 1, в котором стадия захвата изображения включает последовательный захват множества изображений множества перемещающихся пищевых продуктов и объединение друг с другом множества изображений до стадии анализа изображения.

6. Способ по п. 1, в котором захватывают изображение в видимой области спектра.

7. Способ по п. 1, в котором захватывают изображение в ближней инфракрасной области спектра.

8. Способ по п. 1, в котором захватывают изображение в ультрафиолетовой области спектра.

9. Способ по п. 1, в котором захватывают изображение с использованием флуоресценции между ультрафиолетовой областью и видимой областью спектра.

10. Способ по п. 1, в котором захватывают изображение с использованием флуоресценции между видимой областью и ближней инфракрасной областью спектра.

11. Способ по п. 1, в котором анализ изображения включает разбиение изображения на множество элементов изображения (пикселов) и классификацию каждого пиксела по цвету по меньшей мере на два класса для последующей оценки.

12. Способ по п. 11, дополнительно включающий классификацию каждого пиксела на два или более подклассов, отображающих различные уровни интенсивности каждого цвета.

13. Способ по п. 11, в котором пикселы отображают различные интенсивности красного, зеленого и синего цветов.

14. Способ по п. 11, в котором классификация пикселов дополнительно включает определение множества фоновых пикселов.

15. Устройство мониторинга качества множества перемещающихся пищевых продуктов в системе динамического производства пищевых продуктов посредством оценки окраски пищевого продукта по меньшей мере одним цветом, отвечающим за дефект, отличающееся тем, что содержит устройство захвата изображения и вычислительное устройство с запрограммированным алгоритмом, основой которого является порог предпочтений, количественно определенный на основании зрительного восприятия окрашенных дефектов пищевых продуктов и общей оценки внешнего вида группы пищевых продуктов, при этом дефект характеризуется по меньшей мере одним цветом и указанные окрашенные дефекты имеют определенные интенсивности окраски в видимой области спектра.

16. Устройство по п. 15, в котором основой алгоритма дополнительно служит соотношение между площадью дефекта и площадью пищевого продукта.

17. Устройство по п. 15, в котором основой алгоритма дополнительно служит определение величины интенсивности цвета для каждого пиксела изображения.

18. Устройство по п. 15, в котором устройством захвата изображения является цифровая камера, способная получать изображение.

19. Устройство по п. 15, в котором вычислительное устройство дополнительно способно разбивать на пикселы изображение, захваченное устройством захвата изображений.

20. Устройство по п. 15, дополнительно содержащее сортировочное устройство, которое связано с вычислительным устройством.