Идентификация или определение груза на основе текстуры Российский патент 2020 года по МПК G06K9/00 G06T7/40 

Область техники

Настоящее изобретение относится к способам и системам контроля путем пропускания излучения и в частности к контролю для идентификации и/или определения груза в контейнере.

Предпосылки создания изобретения

Известные способы и системы контроля используют пропускание излучения сквозь контейнер, чтобы определить характер груза в нем. Иногда трудно определить характер груза, так как некоторые различные виды товаров и/или различные составы представляются одинаковыми на изображениях при контроле, создаваемых известными способами и системами контроля.

Описание чертежей

Варианты осуществления изобретения будут теперь описаны только в качестве примера со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 представляет схематический вид, который иллюстрирует пример анализатора в соответствии с настоящим изобретением, выполненный с возможностью соединения с системой контроля в соответствии с настоящим изобретением;

Фиг. 2 представляет вид сзади, иллюстрирующий пример мобильной системы контроля в соответствии с настоящим изобретением, в режиме контроля;

Фиг. 3 представляет вид сзади, иллюстрирующий пример статической системы контроля в соответствии с настоящим изобретением, в режиме контроля;

Фиг. 4 представляет блок-схему, которая иллюстрирует пример способа в соответствии с настоящим изобретением;

Фиг. 5 иллюстрирует пример изображения при контроле в соответствии с настоящим изобретением, охватывающий примеры фрагментов с сигаретами;

Фиг. 6 представляет блок-схему, иллюстрирующую деталь примера способа в соответствии с настоящим изобретением;

Фиг. 7 представляет примеры зон изображений при контроле в соответствии с настоящим изобретением, охватывающих примеры фрагментов с сигаретами;

Фиг. 8 представляет примеры эталонных фрагментов с сигаретами в соответствии с настоящим изобретением;

Фиг. 9 схематически представляет пример устройства выделения текстурных признаков, использующего квадратурные зеркальные фильтры (Quadrature Mirror Filters, QMF);

Фиг. 10A схематически представляет пример разложения изображения на три масштаба разложения с использованием квадратурных зеркальных фильтров, QMF;

Фиг. 10В представляет пример разложения изображения на два масштаба разложения с использованием квадратурных зеркальных фильтров, QMF;

Фиг. 11А схематически представляет пример эталонного класса, включающего в себя множество текстурных дескрипторов Vr, именуемого базой данных «сигареты», или классом 1;

Фиг. 11В схематически представляет пример эталонного класса, включающего в себя множество текстурных дескрипторов Wr, именуемого базой данных «не сигареты», или классом 2;

Фиг. 11С схематически представляет пример текстурного дескриптора V, включающего в себя множество текстурных признаков, при этом текстурный дескриптор V описывает фрагмент, который подлежит классификации;

Фиг. 12А схематически представляет примеры воздействия диффузии на множество фрагментов (левая сторона) и примеры соответствующих специально выделенных текстурных дескрипторов множества фрагментов (правая сторона);

Фиг. 12В схематически представляет примеры воздействия шума на множество фрагментов (левая сторона) и примеры соответствующего специально выделенного текстурного дескриптора для множества фрагментов (правая сторона);

Фиг. 13А схематически представляет пример классификатора с использованием техники машины опорных векторов (Support Vector Machine) (SVM);

Фиг. 13В схематически представляет другой пример классификатора с использованием техники машины опорных векторов (Support Vector Machine) (SVM);

Фиг. 14 схематически представляет пример классификатора с использованием техники к ближайших соседей (k-NN, k-nearest neighbors algorithm);

Фиг. 15А схематически представляет пример фрагмента, подлежащего классификации, с примером соответствующего специально выделенного текстурного дескриптора;

Фиг. 15В схематически представляет пример банка фильтров и соответствующих порогов принятия решения;

Фиг. 15С схематически представляет отклик фрагмента на фиг. 15А на банк на фиг. 15В с соответствующим ему значением достоверности;

Фиг. 16А и 16В схематически представляет примеры уравненных изображений, показывающие ложноположительные срабатывания; и фиг. 17А схематически представляет изображение, показывающее вероятность в каждом фрагменте изображения при контроле;

Фиг. 17В схематически представляет пример сгенерированного двоичного изображения; и

Фиг. 18 схематически представляет конечное изображение, как оно представляется пользователю.

На чертежах одинаковые номера используются для обозначения одинаковых элементов.

Описание примеров осуществления изобретения

Краткое описание

Варианты осуществления настоящего изобретения относятся к способу контроля груза в контейнере путем извлечения одного или более текстурных дескрипторов из фрагментов оцифрованного изображения при контроле груза и путем классификации соответствующих фрагментов на эталонные классы видов товаров, используя извлеченные один или более текстурных дескрипторов. Классификация может включать в себя сравнение извлеченных одного или более текстурных дескрипторов с одним или более эталонными текстурными дескрипторами, соответствующими эталонным классам. Классификация может сделать возможным, например, обнаружение и/или идентификацию груза или может сделать возможным идентификацию состава по меньшей мере части груза. Извлечение текстурных дескрипторов может сделать возможным обнаружение и/или идентификацию, когда простой анализ без использования текстуры по меньшей мере зоны интереса на изображении не позволяет устанавливать различие между разными видами товаров или составами на изображении при контроле. Обнаружение и/или идентификация могут особенно быть полезными в случаях, когда груз и/или состав, подлежащие обнаружению и/или идентификации, включают в себя ценные и/или контрабандные виды товаров и/или составы, такие как сигареты, банкноты, наркотики (такие как каннабис или кокаин), лекарства, таблетки, зерна (например, кофе) и т.д.

Варианты осуществления изобретения используют текстурные дескрипторы, текстурные экстракторы и/или текстурные классификаторы, которые могут сделать возможным обнаружение и/или идентификацию груза и/или его состава, даже с относительно небольшим количеством эталонных текстурных дескрипторов в эталонных классах (например, количеством величиной порядка 1000). Альтернативно или дополнительно, варианты осуществления изобретения могут сделать возможным обнаружение и/или идентификацию груза и/или его состава даже с относительно высоким уровнем шума и/или диффузии на изображениях при контроле, и/или с относительно низким разрешением этих изображений. Альтернативно или дополнительно, варианты осуществления могут сделать возможным идентификацию и/или обнаружение в относительно короткий период времени, т.е. величиной порядка секунды.

Варианты осуществления изобретения используют классификацию одной или более зон изображения при контроле, и таким образом могут сделать возможным идентификацию и/или обнаружение, даже когда по меньшей мере часть груза перекрывает экран, блокируя передачу излучения.

Подробное описание примеров осуществления

Как показано на фиг. 7, текстура на изображении 10 является квазипериодическим или случайным повторением основных элементов 14, имеющих идентичные макроскопические визуальные свойства. Основные элементы 14 иногда называют «текселами» (сокращение от «текстурные элементы»). Текстура изображения 10 вида товара является одним из параметров, которые могут быть использованы для идентификации этого вида товара и/или его состава. В качестве неограничивающего примера текстура может быть идентифицирована в изображении сигарет, так как:

сигареты размещаются в пачках, содержащих конкретное, регулярное количество сигарет (обычно сигарет в пачке),

пачки размещаются в картонных коробках, содержащих конкретное, регулярное количество пачек (обычно пачек в картонной коробке),

картонные коробки размещаются в ящиках, содержащих конкретное, регулярное количество картонных коробок (например, 10 картонных коробок в ящике), и

ящики размещаются на паллетах, содержащих конкретное, регулярное количество ящиков, чтобы получить определенный объем (например, ориентировочно 1 м³ в Европе и ориентировочно 25 м³ в США).

Текстура изображения 10 может быть описана с помощью по меньшей мере одного текстурного дескриптора, содержащего текстурные признаки. Как описано более подробно ниже, текстурный дескриптор может быть извлечен из значений пикселей 12 изображения 10 и/или из пространственных взаимоотношений между пикселями 12 изображения 10, соответствующими структуре изображения 10.

На фиг. 1 представлен анализатор 5, выполненный с возможностью классифицировать один или более фрагментов 11 одного или более оцифрованных изображений 10 при контроле груза 101 в контейнере 100.

Каждое из изображений 10 может быть сформировано с помощью системы 1 контроля.

Как будет очевидно более подробно ниже, анализатор 5 может быть выполнен с возможностью принимать одно или более изображений 10 из системы 1, например, через сеть 6 связи, которая может быть проводной и/или может быть беспроводной. Анализатор 5 обычно содержит по меньшей мере процессор и память для того, чтобы осуществить примерный способ в соответствии с изобретением.

Как описано более подробно ниже в отношении фиг. 2 и 3, система 1 контроля выполнена с возможностью проверять контейнер 100 путем пропускания излучения 3 от источника 31 излучения к детектору 32 излучения через контейнер 100.

Фиг. 2 и 3 показывают, что контейнером 100 может быть трейлер и/или багажник транспортного средства, такого как грузовик, автофургон и/или автомобиль, и/или может быть транспортировочный контейнер. Следует понимать, что контейнером 100 может быть любой тип контейнера и, таким образом, чемодан в некоторых примерах. Источник 31 излучения выполнен с возможностью производить контроль груза 101 через материал (обычно сталь) стенок контейнера 100, для обнаружения и/или идентификации дорогих и/или контрабандных видов товаров и/или составов, таких как сигареты, банкноты, наркотики, таблетки, лекарства, зерна (например, кофейные зерна) и т.п.

Система 1 выполнена с возможностью, в режиме контроля, производить контроль контейнера 100 в совокупности (т.е. проверяется весь контейнер 100) или частично (т.е. проверяется только выбранная часть контейнера, например, как правило, при проверке транспортного средства кабина транспортного средства может и не проверяться, в то время как проверяется задняя часть транспортного средства).

В примере, представленном на фиг. 2, система 1 контроля может быть мобильной и может транспортироваться с одного места в другое место (система 1 может содержать автомобильное транспортное средство), а в примере, представленном на фиг. 3, система 1 контроля может быть статической по отношению к земле и не может быть перемещена.

Тип системы 1 контроля может быть охарактеризован энергией и/или дозой излучения 3.

В примерах, показанных на фигурах, источник 31 излучения содержит генератор рентгеновского излучения. Энергия радиационного излучения может находиться в диапазоне от 1 МэВ до 15 МэВ, а доза может находиться в диапазоне от 2 мГр до 20 Гр (Грей). В примере, показанном на фиг. 2, мощность источника 31 рентгеновского излучения может быть, например, от 500 кэВ до 9,0 МэВ, как правило, например, 2 МэВ, 3,5 МэВ, 4 МэВ или 6 МэВ, для проникающей способности стали, например, от 150 мм до 350 мм, как правило, например, 200 мм (7,9 дюйма). В примере, показанном на фиг. 2, дозой может быть, например, доза от 20 мГр до 50 мГр. В примере, показанном на фиг. 3, мощность источника 31 рентгеновского излучения может быть, например, от 4 МэВ до 10 МэВ, как правило, например, 9 МэВ, для проникающей способности стали, например, от 300 мм до 450 мм, как правило, например, 410 мм (16,1 дюйма). В примере, показанном на фиг. 3, доза может составить 17 Гр.

В примерах, показанных на фигурах, приемник 32 излучения содержит, наряду с другими традиционными электрическими элементами, линии 321 обнаружения излучения, такие как линии обнаружения рентгеновского излучения. Приемник 32 излучения может дополнительно содержать другие типы приемников излучения, таких как опциональные приемники гамма-излучения и/или нейтронов, например, специально выделенные для обнаружения присутствия радиоактивных материалов, испускающих гамма-лучи и/или нейтроны, внутри контейнера 100, например, одновременно с контролем рентгеновским излучением. В примере, представленном на фиг. 2, приемник 32 излучения может также содержать электрогидравлическую стрелу 7, которая может работать во втянутом положении в транспортном режиме (не показано на фигурах) и положении контроля (фиг. 2). Стрела 7 может работать с помощью гидравлических активаторов (таких как гидравлические цилиндры). В примере, показанном на фиг. 3, приемник 32 радиоактивного излучения может также содержать поддерживающую конструкцию и/или опорную раму 7. Линии 321 обнаружения могут быть установлены на стреле 7 (фиг. 2), или поддерживающей конструкции, и/или опорной раме 7 (фиг. 3), обращенных к источнику 31 на другой стороне контейнера 100.

Для того чтобы проверить контейнер 100, в примере, показанном на фиг. 2, система 1 может содержать устройство генерации движения таким образом, что система 1 может быть перемещена, при этом контейнер 100 является статичным (этот режим иногда называют режимом «сканирования»). Альтернативно или дополнительно, устройство генерации движения может вызвать перемещение контейнера 100, при этом система 1 является статичной по отношению к земле (фиг. 3). Альтернативно или дополнительно, в режиме «транзита» система 1 не содержит устройства генерации движения, и контейнер движется относительно системы 1, при этом система 1 остается статичной по отношению к земле.

В некоторых примерах излучение 3 может быть пропущено через контейнер 100 (материал контейнера 100 при этом является прозрачным для излучения), в то время как излучение может, по меньшей мере частично, отражаться грузом 101, размещенном в контейнере 100 (материал и/или состав груза, размещенного в контейнере 100, являются при этом частично прозрачными для излучения 3 и частично отражающими для излучения 3 - в таком случае детекторы могут быть расположены для приема излучения, отраженного грузом 101).

Пример способа, представленный на фиг. 4, может включать в себя получение, на S1, одного или более оцифрованных изображений 10 от системы 1 контроля. Как показано на фиг. 5, каждое оцифрованное изображение 10 состоит из множества пикселей 12. По меньшей мере значение Ng, характерное для прохождения излучения 3 через контейнер 100, ассоциируется с каждым пикселем 12. Каждый пиксель 12 ассоциируется с участком пространства и может быть ассоциирован с 102 груза 101.

На S2, анализатор 5 классифицирует один или более фрагментов 11 оцифрованного изображения 10 при контроле. Каждый из фрагментов 11 является частью изображения 10, например, изображение 10 может быть разделено на последовательные фрагменты 11. В некоторых примерах анализатор 5 может разделить изображение 10 на фрагменты 11. Альтернативно или дополнительно, анализатор 5 может принять изображение 10 из системы 1 контроля, уже разделенное на фрагменты 11. Фрагменты могут быть частью выбора 15 фрагментов 11, чтобы сократить время обработки за счет классификации только представляющих интерес фрагментов, как разъяснено более подробно ниже. В некоторых примерах последовательные фрагменты 11 могут перекрывать друг друга. Перекрытие между двумя последовательными фрагментами 11 может иметь любую степень, так, например, перекрытие может составлять от 10% до 90%. Следует понимать, что перекрытие в 10% в общем уменьшает количество фрагментов 11 для обработки в изображении 10, и, таким образом, сокращает время обработки, за счет возможно менее точного результата, в то время как перекрытие в 90% в общем увеличивает количество фрагментов 11 для обработки в изображении 10 и, таким образом, увеличивает время обработки, но дает более точный результат. В качестве предпочтительного компромисса перекрытие может быть равным 50%.

Каждый из фрагментов 11 может быть любого размера или формы. Однако, как будет очевидно из описания ниже, каждый фрагмент 11 может образовывать квадрат с одинаковым числом пикселей с каждой стороны фрагмента 11. Это может составлять преимущество в некоторых примерах описания, когда некоторые алгоритмы требуют использования квадратных фрагментов. В одном примере количество пикселей с каждой стороны фрагмента 11 может быть 64, и тогда размер каждого фрагмента может составлять 64×64 пикселей.

В некоторых примерах способ может дополнительно включать в себя выделение для дальнейшей обработки только фрагментов 11, имеющих среднее значение Mg (Mg является средним значением из значений пикселей 12 фрагмента), таким образом, что:

Т1<Mg<Т2,

где: Т1 является минимальным пороговым значением для видов товаров, представляющих интерес, проверяемых системой 1 контроля; и

Т2 является максимальным пороговым значением для видов товаров, представляющих интерес, проверяемых системой 1 контроля.

Пиксели 12 со значениями Ng выше Т2, как правило, соответствуют пикселям, ассоциированным с фоном 160 на изображении 10, а пиксели 12 со значениями Ng ниже Т1 обычно являются зонами 17, слишком темными для любого обнаружения. Выбор фрагментов 11 уменьшает количество фрагментов 11 для обработки и тем самым экономит некоторое время обработки. Например, для значений Ng, кодированных 16 битами (от 0 до 65535), Т1 может быть, например, равным 2000, а Т2 может быть, например, равным 55000.

Как описано более подробно ниже, способ, представленный на фиг. 4, может включать в себя, на S3, опциональное оценивание размера части 103 груза 101, соответствующей множеству отобранных фрагментов 11, классифицированных в одном классе, и только виды товаров с частями 103, имеющими размер выше порогового значения, могут быть обработаны. Это может уменьшить количество ложноположительных срабатываний. Следует понимать, что размер может зависеть от вида товара. Например, может так быть, что части 103 сигарет ниже порога, соответствующего половине размера паллеты (т.е. ориентировочно 1/2 м³ в Европе), возможно, не будут обработаны. Пороговый размер может быть меньше в случае наркотиков или банкнотов, например.

На S4, способ содержит запуск действия на основе результата классификации, выполненной на S2.

Как показано более подробно ниже, действием может быть:

определение состава части 103 груза 101 в соответствии с выбранным фрагментом 11 изображения 10 при контроле,

отображение оцифрованного изображения с одним или более установленными составами для одной или более частей 103 груза 101,

выдача сигнала тревоги, и/или

отправка одного или более выбранных фрагментов 11 на контроллер 4.

В примере, представленном на фиг. 6, классификация, выполняемая на S2, может включать в себя, для одного или более фрагментов 11, например, в выборе 15 одного или более фрагментов 11, как описано более подробно ниже:

извлечение, на S21, одного или более текстурных дескрипторов V или Р, например, на основе значения пикселей 12, расположенных в выбранном фрагменте 11, как описано более подробно ниже, и

классификацию, на S22, выбранного фрагмента 11 путем сравнения одного или более извлеченных текстурных дескрипторов выбранного фрагмента 11 с одним или более эталонными текстурными дескрипторами Vr, Wr или Pr, соответствующими одному или более классам 202 эталонных видов 201 товаров.

Как уже говорилось, эталонными видами 201 товаров могут быть, в качестве неограничивающих примеров, сигареты, банкноты, наркотики (такие как каннабис или кокаин), лекарственные препараты (такие как пилюли или таблетки), пилюли, зерна (например, кофейные зерна) и т.п. Таким образом, может быть класс 202 для сигарет, класс 202 для банкнот, класс 202 для каннабиса и т.п.

Как более подробно описывается ниже, эталонные текстурные дескрипторы каждого класса 202 эталонного вида 201 товара могут быть извлечены из одного или более эталонных изображений 20 одного или более эталонных видов 201 товаров, например, проверенных системой 1 контроля.

В примере, показанном на фиг. 1, эталонные текстурные дескрипторы Vr, Wr или Pr, например, образующие классы 202, могут быть сохранены в базе 202 данных. В некоторых примерах база 200 данных может содержать соответствующие текстурные дескрипторы Vr, Wr или Pr (и, таким образом, соответствующие классы 202) для каждого типа системы 1 контроля.

В примере, показанном на фиг. 8, эталонные текстурные дескрипторы класса сигарет 202 могут быть извлечены из фрагментов 16 эталонных изображений 20 сигарет, как проверено системой 1 контроля.

Следует принять во внимание, что в примерах способа в соответствии с изобретением, анализатор 5 может быть выполнен с возможностью извлекать эталонные текстурные дескрипторы Vr, Wr или Pr из базы 200 данных через сеть 7 связи, благодаря серверу 8 связи, выполненному с возможностью создавать систему удаленного управления данных. Альтернативно или дополнительно, база 200 данных может быть по меньшей мере частично располагаться в анализаторе 5.

В примере, показанном на фиг. 1, сервер 8 может также предоставить доступ к базе 200 данных для множества географически распределенных анализаторов 5 по сети 7.

Как уже было сказано, в некоторых примерах база 200 данных может быть заполнена на основании эталонных видов 201 товаров, проверенных системой 1 контроля.

В примере, показанном на фиг. 1, система 1 контроля может, таким образом, посылать эталонные изображения 20 на контроллер 4, который может быть дополнительно выполнен с возможностью извлекать соответствующие эталонные текстурные дескрипторы и тем самым заполнять базу 200 данных, например, во время фазы установки.

В примере, показанном на фиг. 1, одна или более систем 1 контроля (такого же или других типов) могут также посылать эталонные изображения 20 эталонных видов 201 товаров на контроллер 4 с целью дальнейшего заполнения базы 200 данных.

Альтернативно или дополнительно, анализатор 5 может также посылать один или более выбранных фрагментов 11 на контроллер 4, как только они были классифицированы в классе 202 с целью дальнейшего заполнения базы 200 данных (один или более выбранных фрагментов 11 могут тогда рассматриваться в качестве эталонных фрагментов). Это позволяет обогатить и/или модифицировать базу 200 данных.

Следует принять во внимание, что изобретение может быть применено к обнаружению и/или идентификации любого типа товара и/или состава. Тем не менее, теперь будет описан неограничивающий пример для обнаружения и/или идентификации сигарет.

Вначале строятся эталонные классы 202, и они могут называться классом 1 для «сигарет» и классом 2 для «не сигарет».

Для того чтобы построить класс 1, набор эталонных изображений 20, содержащих только изображения сигарет, может быть разделен на фрагменты 16, которые имеют размеры 64×64 пикселей. Этот размер фрагмента является предпочтительным, по меньшей мере поскольку паллета с сигаретами обычно занимает около 70 пикселей на линиях 321 детектирования системы 1 контроля. Текстурный дескриптор (например, вектор, имеющий текстурные признаки в качестве своих размеров) будет описан более подробно ниже. Набор всех этих текстурных дескрипторов (например, векторов) является эталонным классом 1.

Аналогичным образом, набор эталонных изображений 20, содержащих только изображения не сигаретных видах товаров, может быть разделен на фрагменты 16 с размерами 64×64 пикселей. Текстурный дескриптор может затем быть извлечен для каждого эталонного не сигаретного фрагмента 16. Набор всех этих дескрипторов является эталонным классом 2.

В некоторых вариантах осуществления способ может включать в себя этап проверки эталонных классов и/или способа при помощи перекрестной проверки. Перекрестная проверка может включать в себя этап классификации поднабора из одного или более фрагментов 16 эталонных изображений 20 с использованием других фрагментов 16 эталонных изображений 20.

Затем, когда кто-то хочет определить, содержит ли изображение 10 при проверке сигареты или не содержит, изображение 10 разделяется на фрагменты 11 одного и того же размера, как и фрагменты 16, образующие два эталонных класса 202 (т.е. 64×64 пикселей). Каждый фрагмент 10 рассматривается как объект, подлежащий классификации.

Анализатор 5 может извлечь текстурный дескриптор, как в случае эталонных дескрипторов. Далее способ классификации может быть применен для того, чтобы классифицировать фрагменты 11. Примеры способов классификации будут описаны более подробно ниже.

Как уже указывалось, способ может включать в себя классификацию одного или более перекрывающихся последовательных фрагментов 11. Перекрытие между двумя последовательными фрагментами может составлять от 10% до 90% и может быть предпочтительно равным 50%.

Как только фрагменты 11 классифицированы, изображение может быть выровнено и действие может быть запущено. Действие может включать в себя определение состава части 103 груза 101 в соответствии с выбранным фрагментом 11 изображения 10 при контроле, таких как сигареты или наркотики. Действием может также быть отображение оцифрованного изображения с одной или более составами для одной или более частей 103 груза 101, как показано на фиг. 18. Дисплей может использовать код цветов для различных видов товаров и/или составов для облечения контроля пользователем. Сигнал тревоги (визуальный и/или звуковой) может быть результатом в качестве ответа на идентификацию и/или обнаружение вида товара и/или состава.

Каждый текстурный дескриптор может быть общим дескриптором и/или дескриптором, специально выделенным для груза 101 и/или эталонного вида 201 товара.

Как описано более подробно ниже, общий дескриптор может быть извлечен при помощи одного или более экстракторов из следующего: отклик на банк фильтров; способ Харалика (Haralick), реализующий матрицу совместной встречаемости; и/или квадратурный зеркальный фильтр, QMF.

В некоторых примерах отклик на банк фильтров может реализовать, например, фильтры Габора (Gabor), т.е. фильтры, полученные из функции Габора по множеству масштабов и направлений. Фильтры Габора могут сделать возможным извлечение текстур, контуров, линий и точек с различными ориентациями на фрагментах 11 и/или 16.

В некоторых примерах каждый фрагмент 11 и/или 16 может быть отфильтрован с помощью множества двунаправленных фильтров Габора, которые соответствуют свертке с ядром косинуса, взвешенным окном Гаусса. Двунаправленные фильтры Габора могут быть эквивалентны локальному преобразованию Фурье с использованием окна Гаусса. Отклик на банк фильтров может, таким образом, фильтровать локально ширину полосы частот.

Например, пусть

ра представляет фрагмент 11 и/или 16, и

Df его диапазон частот.

Тогда текстурный дескриптор V может быть рассчитан путем свертки pa по g, причем g является фильтром Габора, таким образом, что:

при этом g является фильтром Габора в 2D (т.е. на частотах (i, j)) таким образом, что:

при этом:

х=icosϑ+jsinϑ

y=-isinϑ+jcosϑ

∅=0.5

и θ и λ являются выбранными параметрами фильтра.

В некоторых примерах два банка фильтров g могут использоваться с теми же параметрами θ и λ, как параметры θ и λ, установленные в статье «Сравнение текстурных признаков на основе фильтров Габора» («Comparison of texture features based on Gabor filters»), Grigorescu и др., IEEE Transactions on Image Processing, 2002, том 11, №20, стр. 1160-1167. В одном из двух банков ядро Габора может быть симметричным (Ф=0), а во втором из двух банков ядро Габора может быть антисимметричным (Ф=-π/2). Каждый банк содержит 24 фильтра Габора частотой 1/λ (с 1/λ, последовательно равной 23, 31 и 47) и ориентацией θ=k π/8 (с k, последовательно равным 0, 1, 2, 3, 4, 5, 6 и 7).

Следовательно, в некоторых примерах, в качестве отклика на каждый из двух банков из 24 фильтров, как описано выше, может быть извлечен дескриптор в виде вектора V с 24 размерами, для каждого пикселя 12 в фрагменте 11 и/или 16 изображения 10 или 20. Полученный общий дескриптор V может, таким образом, иметь 24 текстурных признака.

Два вектора V, полученные из симметричного и антисимметричного банков могут также быть объединены в единый текстурный дескриптор, который может быть назван «энергией Габора» Ve (энергия Габора может быть связана с моделированием зрительной коры головного мозга человека и способностью нейронов человека воспринимать 35 ориентаций контуров). Энергия Габора Ve может быть таким образом:

Матрицы совместной встречаемости (сокращенно для «матриц совместной встречаемости уровней серого») могут быть реализованы в способе Харалика (Haralick), как описано в статье «Текстурные признаки для классификации изображений» («Textural features for image classification»), Haralick и др., IEEE Transactions on Systems, Man and Cybernetics, ноябрь 1973, том SMC-3, #6, стр. 610-621. Матрицы могут бы основаны на статистическом анализе распределения значения Ng пикселей 12 (связанной с интенсивностью) во фрагменте 11 и/или 16. Вместо того чтобы использовать статистические данные, основанные на отдельных пикселях 12, матрицы совместной встречаемости используют статистические данные второго порядка, полученные при рассмотрении пар пикселей 12. Матрица совместной встречаемости P(i, j / d, Θ) (которая может быть аналогична двунаправленной гистограмме) представляет вероятность (или количество случаев) того, что два пикселя 12, отдаленные друг от друга расстоянием d в направлении, имеющем угол Θ, имеют интенсивности i и j.

Общий дескриптор V, полученный с помощью матрицы совместной встречаемости, может содержать множество текстурных признаков, таких как контрастность, средние и стандартные отклонения, уже упомянутые, и:

энергию f1 (или угловой момент второго порядка):

энтропию f2:

корреляцию f3:

инерцию f4:

и гомогенность f5:

где p(i, j) является элементом матрицы Р,

m является средним p(i, j), и

σ является стандартным отклонением p(i, j).

Таблица 1 ниже представляет пример начального фрагмента 11 и/или 16 с пикселями 12, имеющими значения Ng, например, в интервале между 0 и 5.

Таблица 2 показывает матрицу совместной встречаемости, полученную для (d, Θ)=(1,0°).

Таблица 3 представляет матрицу совместной встречаемости, полученную для (d,0)=(1,90°).

Следовательно, для шести углов Θ (таких как: 0°, 45°, 90°, 135°, 225°, 315°) каждый текстурный дескриптор V может, таким образом, быть вектором, имеющим 78 размеров (6×13=78).

В некоторых примерах дескриптор может представлять собой дескриптор, полученный с помощью QMF (квадратурный зеркальный фильтр). Способ QMF может сделать возможным текстурный анализ как в пространственной области, так и в частотной области. Альтернативно или дополнительно, способ QMF может сделать возможным согласованность результатов между различными видами системы 1. Альтернативно или дополнительно, способ QMF может сделать возможным более точный анализ для сигнала, имеющего разрывы и локальные странности (например, нечеткие контуры).

В примерах, использующих QMF в качестве экстрактора, каждый фрагмент 11 или 16 образует квадрат с одинаковым количеством пикселей по каждой стороне фрагмента 11 или 16.

Вейвлет-преобразование, использованное с помощью QMF, разлагает фрагмент 11 или 16 на субизображения с более низким разрешением. Каждое из субизображений называется вейвлет-коэффициентом и может выделить информацию о текстурах, а также о контуре, местоположении и ориентации на фрагменте 11 или 16.

В примере, схематично показанном на фиг. 9, коэффициенты могут быть получены при использовании квадратурных зеркальных фильтров. Пара, содержащая цифровой фильтр нижних частот (Н0) и фильтр верхних частот (Н1), может быть применена на каждом уровне разложения на выходе предыдущего выхода нижних частот. В случае фрагмента 11 или 16 каждый уровень вейвлет-преобразования с помощью QMF может быть рассчитан путем применения, последовательно на линиях и столбцах пикселей 12 фрагментов 11 или 16, пары фильтров нижних частот Н0 и верхних частот Н1, упомянутых выше, другими словами, на каждом уровне вейвлет-преобразования рекурсивное разложение имеет, в качестве выхода, субизображение, проистекающее из фильтра нижних частот Н0 в двух пространственных направлениях (горизонтальном, например линий, и вертикальном, например столбцов).

Математически вейвлет-трансформация, используемая в QMF, может разложить сигнал, используя набор элементарных функций, порожденных единым вейвлетом (называемым «материнским вейвлетом»), путем сдвига и масштабирования, т.е. путем аффинного преобразования «материнского вейвлета». Каждый из вейвлетов имеет среднее, равное 0, и определяется на компактном интервале (в отличие от преобразования Фурье, которое использует периодические синусоидальные функции, определенные из [-∞; +∞]).

Пусть семейство вейвлетов Ψ_s,u определяется материнским вейвлетом Ψ таким образом, что

где s (s>0) является параметром для масштабирования; и

u является параметром для сдвига.

Вейвлет-преобразование преобразует функцию ра в коэффициенты c_s,u таким образом, что:

Общий дескриптор может содержать, таким образом, один или более текстурных признаков. Один или более текстурных признаков может представлять собой среднее m и стандартное отклонение σ коэффициентов c_s,u.

В некоторых примерах вейвлет-преобразование может быть эффективно реализовано в пирамидально-структурированном вейвлет-преобразовании (pyramid-structured wavelet transform) (PSWT) или в пакетном вейвлет-преобразовании (packet wavelet transform) (PWT). В примере, показанном на фиг. 10А и 10В, на каждом уровне разложения фрагмент 11 или 16 может быть разложен на четыре частотные области LL, LH, HL и НН. PWT разлагает сигнал только в области нижних частот LL, в то время как PSWT разлагает сигнал в областях как низких, так и высоких частот. Как упоминалось выше, полученный общий дескриптор содержит текстурные признаки, такие как среднее m для каждой области частот и стандартное отклонение σ для каждой области частот.

Начальный фрагмент 11 или 16 может быть разложен на любом числе масштабов разложения, определенно выше или равном 2. Следует понимать, что чем больше уровней, тем более точным является текстурный дескриптор, так как полученный текстурный дескриптор будет содержать больше текстурных признаков (например, среднее и стандартное отклонение) за счет более длительного времени обработки.

В примере, показанном на фиг. 10А, начальный фрагмент 11 или 16 может быть разложен на трех масштабах разложения, что является хорошим компромиссом между временем обработки и количеством текстурных признаков (т.е. 20 признаков, таких как среднее m и стандартное отклонение о для LH1, НН1, HL1, LH2, НН2, HL2, LH3, НН3, HL3 и LL3). Фиг. 10В показывает промежуточное состояние только с двумя уровнями разложения начального фрагмента 11 или 16.

В примерах, показанных на фиг. 11А и 11В, каждый из текстурного дескриптора каждого фрагмента 11 или 16 может определять вектор Vr или Wr, причем каждый из текстурных признаков дескриптора Vr или Wr определяет размер вектора. Для разложения на трех уровнях следует понимать, что каждый из текстурного дескриптора Vr или Wr имеет 20 размеров (обозначенных m1, σ1, m2, σ2, … на фиг. 11А и 11В).

В примере, показанном на фиг. 11А, n текстурных дескрипторов Vr1, Vr2, …, Vr16, …, Vrn сопоставлены соответствующим эталонным текстурным дескрипторам Vri (с i=1… n в примере на фиг. 11А). Эталонные текстурные дескрипторы Vri соответствуют классу 22 для ссылки на сигареты 201. Эталонные текстурные дескрипторы Vri класса ссылки на сигареты 201 могут быть извлечены из одного или более эталонных изображений 20 сигарет 201, проверенных системой 1 контроля, как показана для примера на фиг. 8.

В примере, показанном на фиг. 11В, n текстурных дескрипторов Wr1, Wr2, …, Wr16, …, Wrn сопоставлены соответствующим эталонным текстурным дескрипторам (с i=1… n в примере на фиг. 11В). Эталонные текстурные дескрипторы Wri соответствуют классу 202 для ссылки, соответствующему любому виду 201 товара, кроме сигарет. Эталонные текстурные дескрипторы Wri класса 202 для ссылки на любой вид 201 товаров, кроме сигарет, могут быть извлечены из одного или более эталонных изображений 20 любого вида 201 товаров, не содержащего сигареты, проверенного системой 1 контроля.

Примеры, представленные на фиг. 11А и 11В, показывают, что текстурные дескрипторы Vr1, Vr2, …, Vr16, Vrn и Wr1, Wr2, …, Wr16, …, Wrn могут быть сохранены в базе 200 данных.

Эталонные классы 202 могут содержать любое число n эталонных дескрипторов Vri или Wri. Следует понимать, что чем больше эталонных дескрипторов, тем точнее классификация.

Классы 202 не должны содержать одно и то же число дескрипторов между ними.

Каждый из фрагментов 11 или 16 может иметь любое количество пикселей 12, например, 32×32 пикселей или 128×128 пикселей. Следует понимать, что чем больше пикселей 12, тем точнее полученный дескриптор, так как дескриптор может содержать больше пикселей 12 в каждой из областей с целью расчета среднего m и стандартного отклонения σ, даже в областях LH3, НН3, HL3 и LL3, за счет более длительного времени обработки. В примере, показанном на фиг. 10А и 10В, начальный фрагмент имеет 64×64 пикселей, что является хорошим компромиссом между временем обработки и количеством пикселей в областях LH3, НН3, HL3 и LL3 (т.е. 8×8 пикселей в областях LH3, НН3, HL3 и LL3 на фиг. 10А) для расчета среднего m и стандартного отклонения σ в соответствующих областях.

В некоторых вариантах осуществления могут быть созданы текстурные дескрипторы, специально выделенные для груза 101 и/или эталонного вида 201 товаров (такого как сигареты, в качестве неограничивающего примера).

В некоторых примерах специально выделенный дескриптор может представлять собой один или более дескрипторов, таких как:

средний уровень серого для фрагмента 11 и/или 16;

интенсивность вертикального градиента во фрагменте 11 (также называемая «диффузией»),

профиль Р, соответствующий проекции значений Ng пикселей 12 фрагмента 11 или 16 на ось, и/или

кластеризация множества текстурных дескрипторов.

В качестве неограничивающего примера вышеупомянутые специально выделенные дескрипторы могут описывать предпочтительно фрагменты 11 или 16, соответствующие сигаретам, как объяснено выше.

Как показано в примере, представленном на фиг. 12А (на левой стороне), на вертикальной полоске фрагментов 11 или 16, уровень серого либо равномерный, либо уменьшается постепенно. Это происходит потому, что, как видно на примере, представленном на фиг. 3, излучение 3, как правило, проходит через меньшее количество материала в верхней части контейнера 100, что показано на фрагментах 11 или 16. Правая сторона фиг. 12А показывает, что созданный специально выделенный дескриптор Pr, такой как профиль Р, соответствующий проекции значений Ng пикселей 12 специально выделенного фрагмента 11 на оси (например, горизонтальной оси), может быть устойчивым к диффузии.

Кроме того, как показано в примере, представленном на фиг. 12В (на левой стороне), фрагменты 11/16 могут испытать воздействие шума. Правая сторона фиг. 12В показывает, что созданный дескриптор Р, такой как профиль Р, соответствующий проекции значений Ng пикселей 12 фрагментов 11 или 16 на оси (например, горизонтальной оси), может быть устойчивым к шуму.

Кластеризация может быть предпочтительно использована с выделенными текстурными дескрипторами, например, профилями Р, описанными выше.

Нахождение кластеров С может иметь целью извлечение профилей, которые являются наиболее характерными для эталонных видов 201 товаров (таких как сигареты в качестве неограничивающего примера), и, таким образом, может иметь целью получение шаблонов М для эталонных видов 201 товаров.

В некоторых примерах при кластеризации может использоваться метод K-средних. Как показано на фиг. 12А и 12В, профили Р являются по существу периодическими, и только фаза изменяется между ними. Соответственно, мера с корреляции шаблонов, которая является инвариантной к сдвигу шаблонов, может быть использована:

где Р1 и Р2 являются профилями двух фрагментов, например двух фрагментов 16. Центр кластеров С может затем быть определен как среднее соответствующих профилей Р после сдвига, максимизирующего корреляцию с. Идея шаблонов М, извлекаемых кластеризацией, проиллюстрирована на фиг. 15В.

Преимущества кластеризации могут включать в себя:

шум может быть уменьшен;

можно избежать генерализации избыточного обучения; и

полученные шаблоны М могут служить в качестве банка фильтров f. Следует понимать, что фильтры, специально выделенные для распознания определенной формы, демонстрируют лучшую различимость по сравнению с общими фильтрами (например, Габора, MR8…).

В примере, показанном на фиг. 6, классификация фрагментов S22 может включать в себя использование любого из следующих классификаторов:

машины опорных векторов, SVM (support vector machine),

k ближайших соседей, k-NN, и/или

байесовского вывода.

В примере, показанном на фиг. 13А и 13В, S22 может включать в себя классификатор, использующий SVM-классификатор, как, например, описано в статье «Сети на основе машины опорных векторов» («Support-Vector Networks»), V. Vapnick и др., Machine Learning, 1995, 20 (3), стр. 273-297, и/или в статье «Обучение с ядрами» («Learning with Kernels»), В. Scoelkopf и др., 2002, MIT Press. SVM может иметь целью предсказать класс, к которому принадлежит текстурный дескриптор, такой как вектор. SVM может использовать:

во-первых, шаг обучения, в течение которого модель классов 202 может быть определена из векторов при обучении (т.е. набор примеров дескрипторов, т.е. извлеченных эталонных дескрипторов Vri и/или Wri), и

во-вторых, шаг классификации.

Во время шага обучения SVM может иметь целью найти оптимальный разделитель SP (например, гиперплоскость) между классами 202 (например, разделение SP между классом 202 для сигарет и класса 202 для не сигарет) на основе векторов для обучения. SVM может иметь целью найти оптимальный разделитель SP, в то время как расстояние (также называемое зазором) между гиперплоскостью SPb и ближайшим примером поддерживается на максимуме. Поиск гиперплоскости SP с максимальным зазором соответствует проблеме оптимизации, в которой выбираются опорные векторы (т.е. в примерах на фиг. 13А и 13В, ближайшие векторы для обучения к гиперплоскости SP), как описано ниже.

SVM может быть использована в качестве неограничивающего примера для бинарной классификации, например сигареты/не сигареты, как описано ниже.

Пусть D является обучающим множеством векторов, таких, что:

D={(Vi, yi)}

где Vi является дескриптором (вектором) фрагмента 16 в пространстве Rⁿ текстурных признаков, генерированных из S21; и

yi∈{1, -1} является эталонным классом 202 для Vi, т.е. (1) для сигарет и (-1) для не сигарет.

SVM-процесс может начаться при введении Vi в гильбертовом пространстве F, при этом F имеет большую размерность, при помощи нелинейного приложения Ф таким образом, что:

Ф:Rⁿ→F

Во-первых, будем считать, что данные линейно разделимы в F. Тогда существует вектор ω

ω∈F

и скаляр b

b∈R

так, что:

Таким образом, SVM может построить разделитель-гиперплоскость SP, определенную уравнением:

и который максимизирует предел погрешности, как показано на фиг. 13В.

Можно показать, что вектор w, определяющий оптимальную гиперплоскость SP, определяется по формуле:

Векторы Vi, для которых ai≠0, называются опорными векторами.

Скалярное произведение в F можно заменить на функцию К ядра в Rⁿ таким образом, что:

В примере, показанном на фиг. 13А и 13В, разделитель SP, изображенный на фиг. 13В, таким образом, лучше, чем разделитель SP, изображенный на фиг. 13А.

Однако, данные могут и не быть линейно разделимы в любом из пространств характеристик, генерированных в S21, и в некоторых примерах может использоваться гауссово или полиномиальное ядро.

SVM может использовать функции, как указано в библиотеке libsvm С.С. Чангом (С.С. Chang) и C.J. Лином (C.J. Lin), доступной в Интернете по адресу:

http://www.csie.ntu.edu.tw/~cjlin/libsvm/.

В некоторых примерах гауссово ядро может быть таким, что:

где т может быть получено с помощью k-кратной перекрестной проверки.

В некоторых других примерах функция полиномиального ядра может быть:

(γ⋅u'⋅v+Со)ⁿ

где (γ, v)) являются выбранными параметрами;

Со является выбранным коэффициентом, обычно 0; и

n является степенью полиномиальной функции ядра, обычно 3.

Определение параметров (γ, v) может быть выполнено с помощью перекрестной проверки. Перекрестная проверка может представлять собой деление доступных данных на множество поднаборов (например, 5), и оценку SVM по каждому поднабору, используя оставшиеся данные в качестве обучающего набора. Оценка может быть произведена несколько раз путем изменения (γ, v), затем сохраняя наилучшую пару (γ, v).

Как только классификатор (такой как разделитель SP) определен, для того, чтобы классифицировать текстурный дескриптор (вектор) фрагмента 11, обучающие векторы, используемые в поиске гиперплоскости SP, больше не являются полезными, используются только обнаруженные опорные векторы. Метод SVM может быть, таким образом, эффективным с точки зрения сложности и времени обработки.

В некоторых примерах классификатор может использовать k-NN (метод k ближайших соседей), что может иметь целью закрепить текстуру фрагмента 11, представленного вектором V, за наиболее представительным классом 202 Vri в его непосредственной близости, как показано на фиг. 14. Метод k ближайших соседей может быть формально определен по формуле:

V∈Vri

if∀ j≠i, Si(x)>Sj(x)

где Si(x) является числом соседей V, принадлежащих классу Vri, из их k ближайших соседей.

Метод k-NN (k ближайших соседей) может, таким образом, выбрать k ближайших обучающих векторов Vri или Wri для вектора V, подлежащего классификации. Техника классификации с помощью k-NN может, таким образом, быть методом классификации, основанной на расстояниях. Классификатор k-NN может использовать любой тип расстояния, например расстояние L1 (Манхеттенское),

расстояние L2 (Эвклидово):

и/или расстояние L3 (Минковского)

с р=3

Следует понимать, что могут быть использованы и другие значения р.

Фрагмент 11 будет затем классифицироваться в классе 202 большинства k ближайших соседей. Выбор k может зависеть от изображений, так как большое значение k может сократить шум, но может также сделать границы решения менее отличительными, k является нечетным целым числом. Оптимальное k может быть оценено с помощью перекрестной проверки, и k может быть предпочтительно равно 5.

В примере, показанном на фиг. 11А, 11В и 11С, может быть, таким образом, определено, имеет ли вектор V фрагмента 11 на фиг. 11С, подлежащий классификации, среди 5 ближайших соседей (используя, например, L3):

больше соседей в классе 1 (сигареты), и в этом случае фрагмент 11 классифицируется как сигареты, или

больше соседей в классе 2 (не сигареты), и в этом случае фрагмент 11 классифицируется как не сигареты.

В некоторых примерах классификатор может использовать байесовский вывод. В примере, показанном на фиг. 15А, 15В и 15С, для каждого фрагмента 11, подлежащего классификации, определяется корреляция с каждым шаблоном М банка фильтров, и выбирается лучший отклик Br. Если выбранный лучший отклик Br переходит порог Т, тогда он будет классифицирован в соответствующем классе 202, например, как сигареты, т.е. класс 1. Если выбранный лучший отклик Br не переходит порог Т, он будет классифицирован как не сигареты, т.е. класс 2.

Классификатор, использующий байесовский вывод, может основываться на принципе классификаторов, использующих зазоры, как показано на фиг. 15С. Другими словами, расстояние от выбранного лучшего отклика Br до порога Т определяет величину доверия Vc классификации, т.е. чем дальше выбранный лучший отклик от порога Т, тем меньше классификатор уверен в своем решении.

В некоторых примерах пороги Т могут быть определены с помощью байесовского вывода для каждого шаблона М, как описано ниже.

Пусть Mi есть i-й шаблон, a pa_i^k - k-й фрагмент из всех фрагментов 16 обучающего набора, для которого Mi получил лучшие отклики Br_i^k.

Порогом Ti принятия решения является порог, который минимизирует долю неправильной классификации.

или

где G1 и G2 соответствуют всем фрагментам 16 сигарет и не сигарет, соответственно.

Фиг. 15А иллюстрирует фрагмент 11, подлежащий классификации, и его профиль Р. Как уже говорилось, на фиг. 15В показан пример полученного банка фильтров f, шаблонов Mi, извлеченных кластеризацией, и порогов Ti принятия решения. Фиг. 15С показывает классификацию фрагмента 11 и определение величины доверия VC.

Классификация фрагментов 11, как выполнено в S21 и S22, выполняется локально, т.е. так, что любой выбранный фрагмент 11 классифицируют с использованием только его собственного текстурного дескриптора. Другими словами, в конце классификации S22 могут присутствовать изолированные фрагменты 11, неправильно выявленные как сигареты (иногда называемые «ложноположительными срабатываниями» 18, как показано в примере на фиг. 16А и 16В), но также фрагменты «сигареты», не распознанные таковыми в крупных зонах сигарет.

В примере, показанном на фиг. 6, классификация может, таким образом, дополнительно включать в себя классификацию, на S23, одной или более зон 13 фрагментов 11, при этом каждая зона 13 содержит множество отобранных фрагментов 11 с использованием алгоритма униформизации. Униформизация может принять во внимание зоны 13 фрагментов 11, чтобы определить их класс.

В некоторых примерах алгоритмом униформизации может быть по меньшей мере одно из следующего:

замыкание в бинарной морфологии,

сегментация, и/или

регуляризация.

При замыкании в бинарной морфологии элементы, которые связаны как с классифицированными фрагментами, например фрагментами сигарет, так и ниже определенного размера, могут быть классифицированы в одном и том же связанном классе.

В процессе сегментации изображение сначала сегментируют на зоны 13, и каждая зона 13 классифицируется на основе соотношения ra, таком, что ra = (количество фрагментов «сигарета»/количество фрагментов «не сигареты») в зоне 13.

Процесс типа регуляризации может быть основан на предположении, что фрагмент 11, окруженный фрагментами «сигареты», весьма вероятно также является фрагментом «сигареты».

В некоторых примерах регуляризация может быть основана на по меньшей мере одном из следующего:

поля Маркова, и/или

поля Гиббса.

В некоторых примерах изображение 10 на фиг. 16А и 16В, содержащее классифицированные фрагменты 11, может быть модифицировано в промежуточное модифицированное изображение таким образом, что это промежуточное модифицированное изображение может показать величину доверия (например, расстояние до ближайшего соседа в случае k-NN или расстояние до гиперплоскости SP в случае SVM), указывающую, насколько классификатор уверен в своем решении. В некоторых примерах величинами доверия могут быть вероятности того, что фрагмент 11 является, например, сигаретами или не сигаретами.

После того как исходное изображение 10 было модифицировано в вероятностном пространстве в промежуточном модифицированном изображении, поля Маркова могут быть применены для измерения вероятности общего конечного результирующего изображения 104, как показано на фиг. 17А, например, с помощью локальной вероятности каждого фрагмента 11, использую только информацию о соседях каждого фрагмента.

Пусть

X является полем Маркова,

I - конечное результирующее изображение 104, показанное на фиг. 17А,

D_i - область I,

ра - фрагмент 11 промежуточного модифицированного изображения, и

N(pa) - соседи фрагмента ра.

Вероятность I будет, таким образом:

Это показывает маловероятность того, что фрагмент «сигареты» находится в середине фрагментов «не сигареты» и наоборот.

Как показано в примере на фиг. 17А, конечным результирующим изображением 104 может быть наиболее вероятное изображение 104.

Альтернативно или дополнительно, изображения 10 и/или 104 могут быть обработаны с использованием полей Гиббса.

Альтернативно или дополнительно, как только исходное изображение 10 было модифицировано в вероятностном пространстве в промежуточном модифицированном изображении, поля Гиббса могут быть применены для измерения вероятности общего конечного результирующего изображения 104, как показано на фиг. 17А. В некоторых примерах поля Гиббса могут иметь меньшую стоимость вычислений по сравнению с полями Маркова. Процесс типа регуляризации может минимизировать функцию энергии. Функция энергии Гиббса может быть такой, что

Максимизация правдоподобия изображения может означать минимизацию глобальной энергии U. Может быть несколько способов минимизации глобальной энергии.

В некоторых примерах минимизация глобальной энергии может быть выполнено с помощью модели Изинга (Ising model).

Пусть

B:Е→{1 -1}

бинарное изображение В генерировано из классификации, как показано на фиг. 17В, и

I:Е→[0…I]

изображение I (именуемое изображением 104 на фиг. 17А) вероятности, указывающее на доверие в классификации фрагмента 11 (именуемого «ра»). Учитывая 4 связи в качестве соседей, имеются только потенциалы первого порядка (т.е. фрагмент 11 «ра» сам по себе) и потенциалы второго порядка (т.е. фрагмент 11 «ра» и его сосед N(pa)). Потенциалы U определяются следующим образом:

U_pa(X_pa)=0 еСЛИ х_ра=В_ра

U_pa(X_pa)=-log(1-Р(ра)) иначе

U_(pa,_N(pa))(x_pa, xра)⁼+1 если х_pa≠X_N(pa)

U_(pa,N(Pa))(x_рa, х_ра)=-1 если хpa=X_N(pa)

и глобальная энергия для минимизации составляет:

где α является параметром прикрепления данных;

β является параметром связывания между соседними фрагментами; и

δ является внешним магнитным полем.

Когда β является положительным, наиболее вероятными конфигурациями (т.е. с самыми низкими энергиями) являются такие, для которых соседние фрагменты являются фрагментами одного и того же класса 202. Абсолютное значение β определяет силу регуляризации модели.

α показывает, что результирующее изображение 105 не должно фундаментально отличаться от изображения 104 перед регуляризацией. Таким образом, α может использоваться, чтобы инвертировать классы фрагментов 11 только тогда, когда классификатор менее всего уверен в своей классификации.

δ делает возможным содействие, априори, классу или иначе, является ли предпочтительным расширять зоны 13 «сигареты» или зоны 13 «не сигареты».

В некоторых примерах минимизация глобальной энергии может быть выполнена с помощью функции энергии.

В некоторых примерах может использоваться моделируемый «отжиг», например, для поля Гиббса.

В некоторых примерах распределение Гиббса может быть введено с температурой ТО таким образом, что:

Алгоритм может построить последовательность изображений благодаря схеме генерации выборки (например, «схеме генерации выборки Метрополиса» («sampler of Metropolis»)), которые могут сходиться к распределению Р_то. Последующее понижение температуры ТО в алгоритме может гарантировать, что последнее изображение, созданное схемой генерации выборки, может быть глобальным минимумом изображения.

Альтернативно или дополнительно, другие алгоритмы, например итерационные условные методы, могут также использоваться в процессе регуляризации.

Действие может быть запущено использованием результирующего изображения 105. Регуляризация может дать возможность отменить ложноположительные срабатывания и/или ложноотрицательные срабатывания 18 в конечном изображении, как показано на фиг. 18.

Регуляризация может также сделать возможным идентификацию и/или обнаружение видов товаров и/или составов, даже когда по меньшей мере часть груза перекрывается экраном, блокирующим прохождение излучения при проверке.

Варианты и модификации

Другие варианты и модификации системы или анализатора будут очевидны специалисту в данной области техники в контексте настоящего изобретения, и различные признаки, описанные выше, могут иметь преимущества при использовании или неиспользовании других признаков, описанных выше.

Например, анализатор 5 может, по меньшей мере частично, образовывать часть системы 1 контроля.

Понятно, что источник излучения может включать в себя источники других излучений, например гамма-лучей или нейтронов. Источник излучения может также включать в себя источники, которые не предназначены для активации от источника электропитания, например радиоактивные источники, например использующие Со60 или Cs137.

В качестве одной из возможностей предлагается компьютерная программа, компьютерный программный продукт или машиночитаемый носитель, содержащий команды компьютерной программы, чтобы побудить программируемый компьютер выполнять один или более способов, описанных в настоящем документе. В примерах осуществления по меньшей мере некоторые части операций, относящихся к анализатору 5 и/или сетям 6 и/или 7 связи в настоящем документе, могут быть выполнены с помощью программного обеспечения. Следует понимать, что программные компоненты по настоящему изобретению могут, по желанию, быть реализованы в форме ПЗУ (постоянное запоминающее устройство) (ROM, read only memory). Программные компоненты могут, как правило, быть реализованы аппаратными средствами, по желанию, используя известные методы. В некоторых примерах компоненты анализатора 5 и/или сетей 6 и/или 7 связи могут использовать специализированные приложения и аппаратные средства.

Как будет понятно специалисту в данной области техники, сервер 8 не следует понимать как единое целое, скорее он относится к физическому и/или виртуальному устройству, содержащему по меньшей мере процессор и память, эта память может состоять из одного или нескольких серверов, которые могут быть расположены в одном месте или могут быть удалены друг от друга и образовывать распределенную сеть (например, «серверные фермы», например, с использованием проводной или беспроводной технологии).

В некоторых примерах один или более элементов памяти (например, база 200 данных и/или память процессора) могут сохранять данные, используемые для описанных в настоящем документе операций. Сюда включается элемент памяти, способный хранить команды программного обеспечения, логические команды, машинные команды или команды процессора, которые исполняются для осуществления действий, описанных в изобретении.

Процессор может выполнять любой тип команд, связанных с данными для успешного выполнения операций, подробно описанных в настоящем документе в описании. В одном примере процессор может преобразовать элемент или изделие (например, данные) из одного состояния или предмета в другое состояние или предмет. В другом примере действия, описанные в данном документе, могут быть реализованы с фиксированной логикой или программируемой логикой (например, командами программного обеспечения/компьютера, исполняемыми процессором), и элементы, идентифицированные в настоящем документе, могут представлять собой некоторый тип программируемого процессора, программируемой цифровой логики (например, программируемой пользователем вентильной матрицы (field programmable gate array (FPGA)), стираемого программируемого постоянного запоминающего устройства (an erasable programmable read only memory (EPROM)), электрически стираемого постоянного запоминающего устройства (electrically erasable programmable read only memory (EEPROM)), специализированной интегральной схемы (ASIC) (Application Specific Integrated Circuit), который содержит цифровую логику, программное обеспечение, код, электронные команды, флэш-память, оптические диски, CD-ROMs (постоянные запоминающие устройства на компакт-дисках), DVD ROMs (постоянные запоминающие устройства на видеодисках), магнитные или оптические карты, другие виды машиночитаемых носителей, пригодные для хранения электронных команд, или любую подходящую комбинацию из них.

Сеть 6 связи и сеть 7 связи могут образовывать одну сеть.

Данные, полученные анализатором 5, могут быть, как правило, получены через ряд возможных сетей 6 и/или 7 связи, по меньшей мере таких, как: сеть на основе спутниковой связи; сеть на основе кабельной связи; сеть на основе телефонной связи; сеть на основе мобильной телефонной связи; сеть связи на основе Интернет-протокола (IP, Internet Protocol); и сеть связи на основе компьютера.

В некоторых примерах сети 6 и/или 7 связи и/или анализатор 5 могут включать в себя одну или более сетей. Сети могут быть предусмотрены в любой форме, включая, но не ограничиваясь этим, локальные вычислительные сети (local area networks (LAN)), беспроводные локальные вычислительные сети (wireless local area networks (WLAN)), виртуальные локальные вычислительные сети (virtual local area networks (VLAN)), городские вычислительные сети (metropolitan area networks (MAN)), глобальные вычислительные сети (wide area networks (WAN)), виртуальные частные сети (virtual private networks (VPN)), интранет, экстранет, любую другую подходящую архитектуру или систему или любую их комбинацию, которая содействует коммуникации в сети.

Вышеупомянутые варианты осуществления следует понимать только как иллюстративные примеры, и предусматриваются другие варианты осуществления. Следует понимать, что любой признак, описанный в отношении любого варианта осуществления, может быть использован в отдельности или в комбинации с другими описанными признаками, и может также быть использован в комбинации с одним или более признаками любого другого варианта осуществления, или любой комбинации любого другого из вариантов осуществления. Кроме того, эквиваленты и модификации, не описанные выше, могут также быть применены в объеме изобретения, которое определяется прилагаемой формулой изобретения.

Изобретение относится к способу и устройствам для контроля груза в контейнере. Техническим результатом является повышение точности классификации груза в контейнере. Способ контроля груза в контейнере включает: классификацию одного или более фрагментов оцифрованного изображения, при этом оцифрованное изображение создают системой контроля, выполненной с возможностью контролировать контейнер путем пропускания излучения из источника излучения к детектору излучения через контейнер, где классификация содержит: извлечение одного или более текстурных дескрипторов (V, Р) фрагмента и классификацию фрагмента путем сравнения одного или более извлеченных текстурных дескрипторов (V, Р) фрагмента с соответствующими одним или более эталонными текстурными дескрипторами (Vr, Wr, Рг), относящимися к соответствующим одному или более классам эталонных видов товаров, причем один или более эталонных текстурных дескрипторов (Vr, Wr, Рг) извлекают из одного или более эталонных изображений одного или более эталонных видов товаров. 4 н. и 21 з.п. ф-лы, 18 ил., 3 табл.

1. Способ контроля груза (101) в контейнере (100), содержащий:

классификацию (S2) одного или более фрагментов (11) оцифрованного изображения (10), причем оцифрованное изображение (10) создается системой (1) контроля, выполненной с возможностью контролировать контейнер (100) путем пропускания излучения (3) из источника (31) излучения к детектору (32) излучения через контейнер (100),

где классификация (S2) содержит:

извлечение (S21) одного или более текстурных дескрипторов (V, P) фрагмента (11), и

классификацию (S22) фрагмента (11) путем сравнения одного или более извлеченных текстурных дескрипторов (V, P) фрагмента (11) с одним или более эталонными текстурными дескрипторами (Vr, Wr, Pr), соответствующими одному или более классам (202) эталонных видов (201) товаров, при этом один или более эталонных текстурных дескрипторов (Vr, Wr, Pr) каждого класса эталонных видов (201) товаров извлекают из одного или более эталонных изображений (20) одного или более эталонных видов (201) товаров.

2. Способ по п. 1, дополнительно содержащий запуск действия на основе классификации (S2), в котором действие выбирают из группы, состоящей из:

определения (S41) состава части (103) груза (101) в соответствии с фрагментом (11) изображения (10),

отображения (S42) оцифрованного изображения (10) с одним или более определенными составами для одной или более частей (103) груза (101),

выдачи (S43) сигнала тревоги,

отправки (S44) одного или более классифицированных фрагментов (11) контроллеру (4),

любой комбинации вышеперечисленного.

3. Способ по п. 1 или 2, в котором один или более текстурных дескрипторов (V, P, Vr, Wr, Pr) выбирают из группы, состоящей из: общего дескриптора, дескриптора, специально выделенного для груза, дескриптора, специально выделенного для эталонного вида товара, любой комбинации вышеперечисленного,

при этом, опционально, общий дескриптор извлекают с использованием одного или более экстракторов, выбранных из группы, состоящей из:

отклика на банк фильтров;

способа Харалика, реализующего матрицу совместной встречаемости;

квадратурного зеркального фильтра, QMF;

любой комбинации вышеперечисленного,

при этом, опционально, общий дескриптор содержит один или более текстурных признаков,

при этом, опционально, один или более текстурных признаков содержит среднее и стандартное отклонение,

при этом, опционально, каждый фрагмент разлагают на три масштаба разложения, когда экстрактором является один или более QMF,

при этом, опционально, изображение (10) содержит множество пикселей (12), причем по меньшей мере значение (Ng), характерное для пропускания излучения (3) через контейнер (100), ассоциируется с каждым пикселем (12) и специально выделенный дескриптор содержит один или более дескрипторов, выбранных из группы, состоящей из:

среднего уровня серого для выбранного фрагмента (11),

интенсивности вертикального градиента в выбранном фрагменте (11),

профиля, соответствующего проекции значений (Ng) пикселей (12) фрагмента (11) на оси,

кластеризации множества текстурных дескрипторов,

любой комбинации вышеперечисленного.

4. Способ по любому из пп. 1-3, в котором каждый фрагмент (11) образует квадрат с одинаковым числом пикселей (12) по каждой стороне фрагмента (11),

при этом, опционально, число пикселей по каждой стороне фрагмента (11) составляет от 32 до 128 и предпочтительно равно 64.

5. Способ по любому из пп. 1-4, содержащий классификацию (S2) одного или более перекрывающихся последовательных фрагментов (11),

при этом, опционально, перекрытие между двумя последовательными фрагментами (11) составляет от 10% до 90%, предпочтительно равно 50%, или

классификация (S22) содержит использование одного или более классификаторов, выбираемых из группы, состоящей из:

машины опорных векторов, SVM,

k ближайших соседей, k-NN,

байесовского вывода,

любой комбинации вышеперечисленного,

при этом, опционально, классификатор k-NN использует любое одно из расстояния L1, расстояния L2 или расстояния L3,

при этом, опционально, k является нечетным целым числом, опционально k равно 5, или

классификация (S2) дополнительно содержит классификацию (S23) одной или более зон (13) фрагментов (11) с использованием алгоритма униформизации, при этом каждая зона (13) содержит множество выбранных фрагментов (11),

при этом, опционально, алгоритм униформизации выбирают из группы, состоящей из:

замыкания в бинарной морфологии,

сегментации,

регуляризации,

любой комбинации вышеперечисленного,

при этом, опционально, регуляризация основана на группе, состоящей из:

полей Маркова,

полей Гиббса,

любой комбинации вышеперечисленного.

6. Способ по любому из пп. 1-5, дополнительно содержащий после классификации (S2) и перед запуском (S4):

оценки (S3) размера части (103) груза (101), соответствующей множеству фрагментов (11), классифицированных в одном и том же классе.

7. Способ по любому из пп. 1-6, в котором изображение (10) содержит множество пикселей (12), причем значение (Ng), характерное для пропускания излучения (3) через контейнер (100), ассоциируют с каждым пикселем (12), при этом способ дополнительно содержит выбор только фрагментов (11), имеющих средние значения Mg, таким образом, что:

Т1<Mg<T2,

где: Mg является средним значением величин Ng пикселей (12) фрагмента (11);

Т1 является минимальным пороговым значением для видов товаров, представляющих интерес, контролируемых системой (1) контроля;

и

Т2 является максимальным пороговым значением для видов товаров, представляющих интерес, контролируемых системой (1) контроля.

8. Способ по любому из пп. 1-7, в котором один или более эталонных текстурных дескрипторов (Vr, Wr, Pr), соответствующих одному или более классам эталонных видов (201) товаров, хранят в эталонной базе (200) данных,

при этом, опционально, способ дополнительно содержит извлечение одного или более эталонных текстурных дескрипторов (Vr, Wr, Pr) из базы (200) данных по сети (7) связи,

при этом, опционально, база (200) данных по меньшей мере частично расположена в анализаторе (5), выполненном с возможностью осуществлять способ в соответствии с любым из предшествующих пунктов.

9. Способ по любому из пп. 1-8, в котором тип системы (1) контроля характеризуется энергией и дозой излучения (3),

при этом, опционально, излучение (3) представляет собой рентгеновское излучение,

при этом, опционально, энергия составляет от 1 МэВ до 15 МэВ и доза составляет от 2 мГр до 20 Гр,

при этом, опционально, для одного типа системы (1) контроля энергия составляет 9 МэВ, а доза составляет 17 Гр, и

для другого типа системы (1) контроля энергия составляет 4 МэВ, а доза составляет 20 мГр.

10. Способ по п. 9, когда он зависит от п. 8, в котором база (200) данных содержит один или более эталонных текстурных дескрипторов (Vr, Wr, Pr) для каждого типа системы (1) контроля.

11. Способ по любому из пп. 1-10, содержащий этап проверки, осуществляемый с помощью перекрестной проверки путем классификации одного или более фрагментов одного или более эталонных изображений (20) с использованием одного или более других фрагментов одного или более эталонных изображений (20).

12. Способ по любому из пп. 1-11, в котором эталонный вид (201) товара выбирают из группы, состоящей из сигарет, банкнот, наркотиков, лекарств, таблеток, зерен, любой комбинации вышеперечисленного.

13. Анализатор (5), выполненный с возможностью контролировать груз (101) в контейнере (100) и выполненный с возможностью:

классифицировать (S2) один или более фрагментов (11) оцифрованного изображения (10), причем оцифрованное изображение (10) создают системой (1) контроля, выполненной с возможностью контролировать контейнер (100) путем пропускания излучения (3) от источника (31) излучения к детектору (32) излучения через контейнер (100),

при этом анализатор выполнен с возможностью классифицировать (S2) один или более фрагментов (11) путем:

извлечения (S21) одного или более текстурных дескрипторов (V, P) фрагмента (11), и

классификации (S22) фрагмента (11) путем сравнения одного или более извлеченных текстурных дескрипторов (V, P) фрагмента (11) с одним или более эталонными текстурными дескрипторами (Vr, Wr, Pr), соответствующими одному или более классам (202) эталонных видов (201) товаров, при этом один или более эталонных текстурных дескрипторов (Vr, Wr, Pr) каждого класса эталонных видов (201) товаров извлекают из одного или более эталонных изображений (20) одного или более эталонных видов (201) товаров.

14. Анализатор по п. 13, дополнительно выполненный с возможностью запускать действие на основе классификации (S2), где действие выбирают из группы, состоящей из:

определения (S41) состава части (103) груза (101) в соответствии с фрагментом (11) изображения (10),

отображения (S42) оцифрованного изображения (10) с одним или более определенными составами для одной или более частей (103) груза (101),

выдачи (S43) сигнала тревоги,

отправки (S44) одного или более классифицированных фрагментов (11) контроллеру (4),

любой комбинации вышеперечисленного.

15. Анализатор по п. 13 или 14, выполненный с возможностью извлекать один или более текстурных дескрипторов (V, P, Vr, Wr, Pr) таким образом, что они выбираются из группы, состоящей из: общего дескриптора, дескриптора, специально выделенного для груза, дескриптора, специально выделенного для эталонного вида товара, любой комбинации вышеперечисленного,

при этом, опционально, общий дескриптор извлекают с использованием одного или более экстракторов, выбранных из группы, состоящей из:

отклика на банк фильтров;

способа Харалика, реализующего матрицу совместной встречаемости;

квадратурного зеркального фильтра, QMF;

любой комбинации вышеперечисленного,

при этом, опционально, общий дескриптор содержит один или более текстурных признаков,

при этом, опционально, один или более текстурных признаков содержат среднее и стандартное отклонение,

при этом, опционально, анализатор выполнен с возможностью разлагать каждый фрагмент на три масштаба разложения, когда экстрактором является один или более QMF (квадратурных зеркальных фильтра).

16. Анализатор по п. 15, в котором изображение (10) содержит множество пикселей (12), причем по меньшей мере значение (Ng), характерное для пропускания излучения (3) через контейнер (100), ассоциируется с каждым пикселем (12) и специально выделенный дескриптор содержит один или более дескрипторов, выбранных из группы, состоящей из:

среднего уровня серого для выбранного фрагмента (11),

интенсивности вертикального градиента в выбранном фрагменте (11),

профиля, соответствующего проекции значений (Ng) пикселей (12) фрагмента (11) на ось,

кластеризации множества текстурных дескрипторов,

любой комбинации вышеперечисленного.

17. Анализатор по любому из пп. 13-16, в котором каждый фрагмент (11) образует квадрат с одинаковым числом пикселей по каждой стороне фрагмента (11),

при этом, опционально, число пикселей по каждой стороне фрагмента (11) составляет от 32 до 128 и предпочтительно равно 64.

18. Анализатор по любому из пп. 13-17, выполненный с возможностью классифицировать (S2) один или более перекрывающихся последовательных фрагментов (11),

при этом, опционально, перекрытие между двумя последовательными фрагментами (11) составляет от 10% до 90%, предпочтительно равно 50%.

19. Анализатор по любому из пп. 13-18, в котором классификация (S22) содержит использование одного или более классификаторов, выбранных из группы, состоящей из:

машины опорных векторов, SVM,

k ближайших соседей, k-NN,

байесовского вывода,

любой комбинации вышеперечисленного,

при этом, опционально, классификатор k-NN использует любое одно из расстояния L1, расстояния L2 или расстояния L3,

при этом, опционально, k является нечетным целым числом.

20. Анализатор по любому из пп. 13-19, в котором классификация (S2) дополнительно содержит классификацию (S23) одной или более зон (13) фрагментов (11) с использованием алгоритма униформизации, причем каждая зона (13) содержит множество выбранных фрагментов (11),

при этом, опционально, алгоритм униформизации выбирают из группы, состоящей из:

замыкания в бинарной морфологии,

сегментации,

регуляризации,

любой комбинации вышеперечисленного,

при этом, опционально, регуляризация основана на группе, состоящей из:

полей Маркова,

полей Гиббса,

любой комбинации вышеперечисленного.

21. Анализатор по любому из пп. 13-20, выполненный с возможностью после классификации (S2) и перед запуском (S4):

оценивать (S3) размер части (103) груза (101), соответствующей множеству фрагментов, классифицированных в одном и том же классе.

22. Анализатор по любому из пп. 13-21, в котором изображение (10) содержит множество пикселей (12), причем по меньшей мере значение (Ng), характерное для пропускания излучения (3) через контейнер (100), ассоциируется с каждым пикселем (12), при этом анализатор дополнительно выполнен с возможностью выбирать только фрагменты (11), имеющие средние значения Mg, таким образом, что:

Т1<Mg<T2,

где: Mg является средним значением величин Ng пикселей (12) фрагмента (11);

Т1 является минимальным пороговым значением для товаров, представляющих интерес, контролируемых системой (1) контроля;

и

Т2 является максимальным пороговым значением для товаров, представляющих интерес, контролируемых системой (1) контроля.

23. Анализатор по любому из пп. 13-22, в котором один или более эталонных текстурных дескрипторов (Vr, Wr, Pr), соответствующих одному или более классам эталонных видов (201) товаров, хранят в эталонной базе (200) данных,

при этом, опционально, анализатор дополнительно выполнен с возможностью извлекать один или более эталонных текстурных дескрипторов (Vr, Wr, Pr) из базы (200) данных по сети (7) связи,

при этом, опционально, анализатор дополнительно содержит по меньшей мере частично базу (200) данных, или

эталонный вид (201) товара выбирают из группы, состоящей из сигарет, банкнот, наркотиков, лекарств, таблеток, зерен, любой комбинации вышеперечисленного.

24. Устройство для контроля груза (101) в контейнере (100), содержащее:

сервер (8);

систему (1) контроля, выполненную с возможностью контролировать контейнер (100) путем пропускания излучения (3) от источника (31) излучения к детектору (32) излучения через контейнер (100),

анализатор (5), соединенный с сервером (8) и системой (1) контроля посредством одной или более сетей (6, 7) связи и выполненный с возможностью:

принимать от системы (1) контроля оцифрованное изображение (10), созданное системой (1) контроля,

принимать от сервера (8) один или более эталонных текстурных дескрипторов (Vr, Wr, Pr), соответствующих одному или более классам (202) эталонных видов (201) товаров, при этом один или более эталонных текстурных дескрипторов (Vr, Wr, Pr) каждого класса эталонных видов (201) товаров извлекают из одного или более эталонных изображений (2) одного или более эталонных видов (201) товаров, и

классифицировать (S2) один или более фрагментов (11) оцифрованного изображения (10) путем извлечения (S21) одного или более текстурных дескрипторов (V, P) фрагмента (11) и путем классификации (S22) этого фрагмента (11) при сравнении одного или более извлеченных текстурных дескрипторов (V, P) фрагмента (11) с одним или более эталонными текстурными дескрипторами (Vr, Wr, Pr).

25. Машиночитаемый носитель, содержащий программные команды для программирования процессора, чтобы осуществлять обработку данных согласно способу по любому из пп. 1-12, или для программирования процессора, чтобы создать анализатор по любому из пп. 13-23, или для создания устройства по п. 24.