Обучающее устройство, устройство идентификации листа бумаги и способ идентификации листа бумаги Российский патент 2020 года по МПК G07D7/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТОНОСИТСЯ ИЗОБРЕТЕНИЕ

Варианты осуществления, описанные в данном документе, относятся, в целом, к обучающему устройству, устройству идентификации листа бумаги и способу идентификации листа бумаги.

УРОВЕНЬ ТЕХНИКИ

Традиционное оборудование обработки листа бумаги считывает изображение листа бумаги и обнаруживает характерный рисунок на листе бумаги в считанном изображении для идентификации типа листа такого листа бумаги. Однако, существуют некоторые случаи, при которых традиционное оборудование обработки листа бумаги затрачивает некоторое время на выполнение процесса идентификации типа листа, так как большое количество вычислений должно быть выполнено для точного указания положения, в котором присутствует характерный рисунок листа бумаги.

Методика глубокого обучения, которую называют сверточной нейронной сетью (convolutional neural network, CNN), привлекает внимание в области техники обработки распознавания изображения. Несмотря на то, что CNN имеет преимущество наличия более высокой точности распознавания изображения, она, как правило, увеличивает объем вычислений и время обработки. В частности, когда CNN применяется ко множеству изображений, время вычислений увеличивается пропорционально количеству изображений. Поэтому, не легко применять CNN к оборудованиям обработки листа бумаги, в которых требуется высокоскоростная обработка.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задача настоящего изобретения заключается в предоставлении обучающего устройства, устройства идентификации листа бумаги и способа идентификации листа бумаги, которые обеспечивают возможность очень точной идентификации типа листа отдельного листа бумаги за короткое время.

Обучающее устройство согласно одному варианту осуществления включает в себя блок получения, блок извлечения, множество процессоров и блок идентификации. Блок получения выполнен с возможностью получения изображения листа бумаги, которое является захваченным изображением листа бумаги. Блок извлечения выполнен с возможностью извлечения множества изображений первичных признаков, имеющих различные объекты, подлежащие распознаванию, из изображения листа бумаги, полученного блоком получения. Множество процессоров выполнены с возможностью выполнения соответственных процессов свертки и подвыборки над множеством изображений первичных признаков, извлеченных блоком извлечения, для формирования множества изображений вторичных признаков, имеющих различные подлежащие распознаванию объекты. Блок идентификации выполнен с возможностью последовательного обновления и обучения набору параметров для идентификации типа листа упомянутого листа бумаги на основе результата процесса объединения над каждым из множества изображений вторичных признаков, сформированных множеством процессоров.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На Фиг.1 показан вид поперечного сечения оборудования обработки листа бумаги согласно одному варианту осуществления.

На Фиг.2 показана блок-схема, изображающая конфигурацию управления проверяющего устройства согласно упомянутому варианту осуществления.

На Фиг.3 показана схема, изображающая изображения с первого по третий признак в изображении купюры согласно упомянутому варианту осуществления.

На Фиг.4 показана блок-схема последовательности операций, изображающая пример процедуры на стадии обучения в проверяющем устройстве согласно упомянутому варианту осуществления.

На Фиг.5 показана схема, изображающая процесс свертки первого сверточного процессора согласно упомянутому варианту осуществления.

На Фиг.6 показана схема, изображающая процесс подвыборки в первом процессоре подвыборки согласно упомянутому варианту осуществления.

На Фиг.7 показана схема, изображающая процесс идентификации типа листа на основе изображений с первого по третий признак в блоке идентификации типа листа согласно упомянутому варианту осуществления.

На Фиг.8 показана блок-схема последовательности операций, изображающая пример процедуры на стадии эксплуатации в проверяющем устройстве согласно упомянутому варианту осуществления.

ПОДРОБНОЕ ОПИСАНИЕ

В дальнейшем со ссылкой на чертежи будут описаны обучающее устройство, устройство идентификации листа бумаги и способ идентификации листа бумаги согласно одному варианту осуществления.

На Фиг.1 показан вид поперечного сечения оборудования 1 обработки листа бумаги согласно настоящему варианту осуществления. Оборудование 1 обработки листа бумаги выполняет процедуру сортировки листов P бумаги. В дальнейшем, описание будет приведено со ссылкой на купюру в качестве примера листа P бумаги.

Как показано на Фиг.1, оборудование 1 обработки листа бумаги включает в себя, например, лоток 11, ролики 12, сборщика 13 инородных предметов, транспортерный тракт 14, транспортера 15, проверяющее устройство 16 (то есть обучающее устройство или устройство идентификации листа бумаги), линейный датчик 17, считыватель 18 штрих-кода, отбраковывателей 19 и 20, и контейнеры 21-23. Множество купюр P помещается в лоток 11. Ролики 12 доставляют купюры P одну за другой из лотка 11 на транспортерный тракт 14. Купюры P, доставленные роликами 12, транспортируются вдоль транспортерного тракта 14. Множество пар бесконечных транспортерных лент (не изображены) выполнены вдоль транспортерного тракта 14 для того, чтобы помещать транспортерный тракт 14 между ними. Купюры P, доставляемые роликами 12, зажимаются и транспортируются транспортерными лентами.

Транспортерный тракт 14 продолжается наклонным образом к проверяющему устройству 16 от положения, в котором купюры P выходят из роликов 12. Это делает возможным инородному предмету, такому как скрепка, монета, стержень или чему-либо им подобному, падать в самую нижнюю часть транспортерного тракта 14 под собственной тяжестью, когда инородный предмет доставляется из лотка 11 вместе с купюрами P на транспортерный тракт 14. В результате возможно предотвращение попадания инородного предмета в проверяющее устройство 16 и предотвращение повреждения проверяющего устройства 16 инородными предметами.

Сборщик 13 инородных предметов размещен в самой нижней части транспортерного тракта 14. Сборщик 13 инородных предметов включает в себя, например, ящик сбора, который может извлекаться из тела оборудования. Инородный предмет, падающий по транспортерному тракту 14, падает в сборщик 13 инородных предметов и остается в нем.

Транспортер 15 регулирует скорость транспортировки купюр P так, чтобы купюры P располагались на предварительно определенных интервалах, и транспортирует купюры P к проверяющему устройству 16. Проверяющее устройство 16 считывает изображение каждой купюры P для обнаружения типа листа купюр P, ориентации передней и задней части купюр P, и недостатков (таких как разрывы, сгибы или грязь) купюры P. Проверяющее устройство 16 включают в себя линейный датчик 17, включающий в себя светоизлучающий элемент, такой как светодиод (light emitting diode, LED), и элемент фотоэлектрического преобразования, такой как устройство (charge coupled device, CCD) с зарядовой связью или комплементарный металлооксидный полупроводник (complementary metal oxide semiconductor, CMOS). Терминал для наблюдения (не изображен), который предоставляет возможность оператору просматривать изображение, захваченное линейным датчиком 17, и вводить различную информацию, может быть соединен с линейным датчиком 17.

При обнаружении недостатка купюры P оборудование 1 обработки листа бумаги транспортирует купюру P вдоль транспортерного тракта 14 и сортирует купюру P, и складывает ее в стопку в отбраковывателе 19 или 20 согласно типу недостатка. С другой стороны, если никаких недостатков купюры P не обнаружено, то оборудование 1 обработки листа бумаги пропускает купюру P через считыватель 18 штрих-кода, и затем сортирует купюру P и складывает ее в стопку в контейнерах 21-23 согласно типу листа купюры P. Вышеописанное является процедурой сортировки купюр.

На Фиг.2 показана блок-схема, изображающая конфигурацию управления проверяющего устройства 16 согласно настоящему варианту осуществления. На Фиг.2 показана конфигурация управления проверяющего устройства 16 для идентификации типа листа купюры P. Проверяющее устройство 16 включает в себя, например, блок 30 получения изображения (блок получения), блок 31 извлечения изображений признаков (блок извлечения), процессор 32 обработки изображения первого признака (процессор), процессор 33 обработки изображения второго признака (процессор), процессор 34 обработки изображения третьего признака (процессор) и блок 35 идентификации типа листа (блок идентификации).

Блок 30 получения изображения захватывает изображение купюры P, проходящей через проверяющее устройство 16, и получает захваченное изображение купюры P. Блок 30 получения изображения вводит полученное захваченное изображение в блок 31 извлечения изображений признаков. Блок 30 получения изображения включает в себя, например, линейный датчик 17.

Блок 31 извлечения изображений признаков извлекает множество изображений мелкомасштабных характеристик (изображений первичных признаков), имеющих различные подлежащие распознаванию объекты, подходящие для классификации типа листа купюры P, из захваченного введенного изображения из блока 30 получения изображения. Например, блок 31 извлечения изображений признаков извлекает множество изображений мелкомасштабных характеристик из изображения купюры, которое было получено посредством удаления изображения фона или чего-либо ему подобного из захваченного изображения, на основе предварительно заданной координатной информации.

На Фиг.3 показана схема, изображающая изображение F1 первого признака, изображение F2 второго признака и изображение F3 третьего признака в изображении 50 купюры, согласно настоящему варианту осуществления. Как показано на Фиг.3, изображение 50 купюры включает в себя, в качестве множества изображений мелкомасштабных характеристик, подходящих для классификации типа листа купюры P, изображение F1 первого признака, которое является изображением области, в которой напечатано номинальное достоинство, изображение F2 второго признака, которое является изображением области, в которой напечатан символ, и изображение F3 третьего признака, которое является изображением области, в которой напечатано портретное изображение. Изображения в областях, отличающихся от изображения F1 первого признака, изображения F2 второго признака и изображения F3 третьего признака, могут также использоваться в качестве изображений признаков. Последующее описание будет приведено со ссылкой на пример, в котором блок 31 извлечения изображений признаков выполнен с возможностью извлечения изображения F1 первого признака, изображения F2 второго признака и изображение F3 третьего признака.

Блок 31 извлечения изображений признаков водит изображение F1 первого признака, изображение F2 второго признака и изображение F3 третьего признака, извлеченные из изображения 50 купюры, в процессор 32 обработки изображения первого признака, процессор 33 обработки изображения второго признака и процессор 34 обработки изображения третьего признака, соответственно. В случае, при котором блок 31 извлечения изображений признаков извлекает изображения других областей в качестве изображений признаков в дополнение к изображению F1 первого признака, изображению F2 второго признака и изображению F3 третьего признака, то блок 31 извлечения изображений признаков может ввести изображения других областей в процессоры обработки изображений дополнительных признаков (такие как процессор обработки изображения четвертого признака и процессор обработки изображения пятого признака).

Процессор 32 обработки изображения первого признака включает в себя, например, первый сверточный процессор 40 и первый процессор 41 подвыборки. Первый сверточный процессор 40 выполняет процесс свертки над изображением F1 первого признака. Первый процессор 41 подвыборки выполняет процесс подвыборки над подвергнутым свертке изображением, полученным посредством обработки первого сверточного процессора 40. В процессоре 32 обработки изображения первого признака процесс свертки и процесс подвыборки повторяются предварительно определенное количество раз. Процессор 32 обработки изображения первого признака вводит подвергнутое подвыборке изображение (изображение вторичного признака) в блок 35 идентификации типа листа.

Процессор 33 обработки изображения второго признака включает в себя, например, второй сверточный процессор 42 и второй процессор 43 подвыборки. Второй сверточный процессор 42 выполняет процесс свертки над изображением F2 второго признака. Второй процессор 43 подвыборки выполняет процесс подвыборки над подвергнутым свертке изображением, полученным посредством обработки второго сверточного процессора 42. В процессоре 33 обработки изображения второго признака процесс свертки и процесс подвыборки повторяются предварительно определенное количество раз. Процессор 33 обработки изображения второго признака вводит подвергнутое подвыборке изображение (изображение вторичного признака) в блок 35 идентификации типа листа.

Процессор 34 обработки изображения третьего признака включает в себя, например, третий сверточный процессор 44 и третий процессор 45 подвыборки. Третий сверточный процессор 44 выполняет процесс свертки над изображением F3 третьего признака. Третий процессор 45 подвыборки выполняет процесс подвыборки над подвергнутым свертке изображением, полученным посредством обработки третьего сверточного процессора 44. В процессоре 34 обработки изображения третьего признака процесс свертки и процесс подвыборки повторяются предварительно определенное количество раз. Процессор 34 обработки изображения третьего признака вводит подвергнутое подвыборке изображение (изображение вторичного признака) в блок 35 идентификации типа листа.

То есть множество процессоров обработки изображений (то есть процессор 32 обработки изображения первого признака, процессор 33 обработки изображения второго признака и процессор 34 обработки изображения третьего признака) формируют подвергнутые подвыборке изображения, имеющие различные подлежащие распознаванию объекты, посредством выполнения соответственных процессов свертки и подвыборки над множеством изображений признаков, извлеченных блоком 31 извлечения изображений признаков.

Блок 35 идентификации типа листа выполняет процесс полного объединения (процесс объединения) над каждым из подвергнутого подвыборке изображения, введенного из процессора 32 обработки изображения первого признака, подвергнутого подвыборке изображения, введенного из процессора 33 обработки изображения второго признака, и подвергнутого подвыборке изображения, введенного из процессора 34 обработки изображения третьего признака, и последовательно обновляет и обучается набору параметров для идентификации типа листа купюры P или идентифицирует тип листа купюры P на основе результата процесса полного объединения. Блок 35 идентификации типа листа изменяет подвергнутые подвыборке изображения, которым необходимо обучиться или которые должны быть подвергнуты процессу полного объединения, согласно времени. Например, сеть, в которой функции активации, такие как сигмовидная функция и функция ReLu, объединены во множестве слоев, выполнена в блоке 35 идентификации типа листа.

Часть или все функциональные блоки, которые являются блоком 31 извлечения изображений признаков, процессором 32 обработки изображения первого признака, процессором 33 обработки изображения второго признака, процессором 34 обработки изображения третьего признака и блоком 35 идентификации типа листа, реализуются процессором, таким как CPU, исполняющим программы, сохраненные в программном запоминающем устройстве. Часть или все из этих функциональных блоков могут также быть реализованы посредством аппаратного обеспечения, такого как большая интегральная схема (БИС (large scale integration, LSI)) и специализированная интегральная схема (application specific integrated circuit, ASIC), которая обладает той же самой функциональностью, что и процессор, исполняющий программы.

Теперь будет описано функционирование проверяющего устройства 16 настоящего варианта осуществления. Функционирование проверяющего устройства 16 примерно разделяется на стадию обучения, в которой выполняется усовершенствованная подготовка для идентификации типа листа купюр, и стадию эксплуатации, в которой выполняется идентификация типа листа купюр. Сначала будет описана процедура на стадии обучения. На Фиг.4 показана блок-схема последовательности операций, изображающая пример последовательности процедуры на стадии обучения проверяющего устройства 16 согласно настоящему варианту осуществления. Проверяющее устройство 16 на стадии обучения упоминается в качестве «обучающего устройства», а проверяющее устройство 16 на стадии эксплуатации упоминается в качестве «устройства идентификации листа бумаги».

Сначала блок 30 получения изображения захватывает изображение купюры P, проходящей через проверяющее устройство 16 (обучающее устройство), и получает захваченное изображение (изображение листа бумаги) (этап S101). Блок 30 получения изображения вводит полученное захваченное изображение в блок 31 извлечения изображений признаков.

Затем блок 31 извлечения изображений признаков извлекает область, в которой было захвачено изображение купюры P (то есть изображение купюры), из всего захваченного изображения, введенного из блока 30 получения изображения, и регулирует ориентацию изображения купюры в предварительно определенном направлении (Этап S103). Например, пусть цвет фона, захваченного в вышеупомянутом процессе захвата изображения, является одиночным цветом из черного или белого, тогда блок 31 извлечения изображений признаков может извлечь область, яркость которой отличается от цвета фона, в качестве области, в которой было захвачено изображение купюры P. Блок 31 извлечения изображений признаков может обнаружить края купюры P из захваченного изображения и извлечь область, в которой было захвачено изображение купюры P. Для процесса удаления фона настоящего варианта осуществления может использоваться произвольный способ.

Дополнительно, например, блок 31 извлечения изображений признаков может выполнять аффинное преобразование или что-либо ему подобное над вершинами изображения купюры, полученного посредством вышеупомянутого процесса удаления фона, и может затем отрегулировать ориентацию изображения купюры в предварительно определенном направлении посредством регулировки положений вершин по желанию (например, устанавливая координаты вершин на обоих концах каждой более длинной стороны купюры P одними и теми же в направлении более коротких сторон при горизонтальном выравнивании более длинных сторон купюры P). Для регулировки ориентации в настоящем варианте осуществления может использоваться произвольный способ.

Затем блок 31 извлечения изображений признаков извлекает, из купюры, чья ориентация была отрегулирована в предварительно определенном направлении, множество изображений мелкомасштабных характеристик, подходящих для классификации типа листа купюры P, на основе предварительно заданной координатной информации (этап S105). Например, как показано на Фиг.3, блок 31 извлечения изображений признаков извлекает, из изображения 50 купюры, изображение F1 первого признака, которое является изображением области, в которой напечатано номинальное достоинство, изображение F2 второго признака, которое является изображением области, в которой напечатан символ, и изображение F3 третьего признака, которое является изображением области, в которой напечатано портретное изображение. Блок 31 извлечения изображений признаков вводит изображение F1 первого признака, изображение F2 второго признака и изображение F3 третьего признака в процессор 32 обработки изображения первого признака, процессор 33 обработки изображения второго признака и процессор 34 обработки изображения третьего признака, соответственно.

Затем первый сверточный процессор 40 процессора 32 обработки изображения первого признака выполняет процесс свертки над изображением F1 первого признака, введенным из блока 31 извлечения изображений признаков, второй сверточный процессор 42 процессора 33 обработки изображения второго признака выполняет процесс свертки над изображением F2 второго признака, и третий сверточный процессор 44 процессора 34 обработки изображения третьего признака выполняют процесс свертки над изображением F3 третьего признака (Этап S107). Процесс свертки первого сверточного процессора 40, второго сверточного процессора 42 и третьего сверточного процессора 44 являются одними и теми же за исключением того, что отличаются подлежащие обработке изображения. Далее в качестве примера будет описан процесс свертки первого сверточного процессора 40.

Первый сверточный процессор 40 выполняет вычисление свертки с использованием для свертки матрицы коэффициентов произвольного размера. Например, первый сверточный процессор 40 извлекает маленькое изображение, имеющее один и тот же размер, что и матрица коэффициентов, из изображения F1 первого признака и получает один пиксель посредством выполнения вычисления свертки с использованием этого маленького изображения и упомянутой матрицы коэффициентов. Первый сверточный процессор 40 получает множество изображений посредством многократного выполнения вычисления свертки с изменением (передвижением) маленького изображения, извлеченного из изображения F1 первого признака. Набор из множества полученных изображений составляет подвергнутое свертке изображение.

На Фиг.5 показана схема, изображающая процесс свертки первого сверточного процессора 40 согласно настоящему варианту осуществления. Как показано на Фиг.5, например, первый сверточный процессор 40 извлекает первое маленькое изображение G1 в 3×3 пикселей, расположенное в точке 0 (в левом верхнем углу изображения F1 первого признака), из изображения F1 первого признака и выполняет вычисление свертки (2×5+4×2+5×1+1×4+5×2+1×3+3×3+5×4+2×1=71) с использованием первого маленького изображения G1 и матрицы J1 коэффициентов 3×3 для получения первого вычисленного значения K1. Это первое вычисленное значение K1 составляет изображение одного пикселя (в первой строке и первом столбце) подвергнутого свертке изображения L1.

Затем первый сверточный процессор 40 передвигает положение извлечения маленького изображения из изображения F1 первого признака на один пиксель в направлении X и выполняет подобный процесс свертки. После завершения извлечения маленьких изображений в направлении X первый сверточный процессор 40 передвигает положение извлечения маленького изображения на один пиксель в направлении Y и выполняет подобный процесс свертки. Таким образом с перемещением положения извлечения маленького изображения в направлении X и направлении Y, первый сверточный процессор 40 повторяет процесс свертки, пока не будет достигнуто конечное положение в изображении F1 первого признака (например, правый нижний угол изображения F1 первого признака). Несмотря на то, что положение извлечения перемещается из левого верхнего угла к правому нижнему углу изображения F1 первого признака в настоящем варианте осуществления, порядок перемещения не ограничивается этим при условии, что оно может перемещаться через всю область изображения F1 первого признака. Подвергнутое свертке изображение L1 получается посредством данного процесса свертки.

Затем первый процессор 41 подвыборки выполняет процесс подвыборки над подвергнутым свертке изображением, введенным из первого сверточного процессора 40, второй процессор 43 подвыборки выполняет процесс подвыборки над подвергнутым свертке изображением, введенным из второго сверточного процессора 42, и третий процессор 45 подвыборки выполняет процесс подвыборки над подвергнутым свертке изображением, введенным из третьего сверточного процессора 44 (этап S109). Процессы подвыборки первого процессора 41 подвыборки, второго процессора 43 подвыборки и третьего процессора 45 подвыборки являются одними и теми же за исключением того, что отличаются подлежащие обработке изображения. Далее в качестве примера будет описан процесс подвыборки первого процессора 41 подвыборки.

На Фиг.6 показана схема, изображающая процесс подвыборки первого процессора 41 подвыборки согласно настоящему варианту осуществления. Например, первый процессор 41 подвыборки извлекает изображение в 3×3 пикселей из подвергнутого свертке изображения L1 и вычисляет максимальную яркость и среднюю яркость изображения. На Фиг.6 показан пример вычисления максимальной яркости. Например, первый процессор 41 подвыборки извлекает изображение M1 в 3×3 пикселей (с первой по третью строк × с первый по третий столбцов) из подвергнутого свертке изображения L1 и получает одиночный пиксель N1, имеющий максимальную яркость «210» из пикселей. Данный пиксель N1 составляет изображение одного пикселя подвергнутого подвыборке изображения P1 (то есть изображение первой строки и первого столбца).

Затем первый процессор 41 подвыборки передвигает положение извлечения из подвергнутого свертке изображения L1 на три пикселя в направлении строк (то есть в горизонтальном направлении) и выполняет подобный процесс подвыборки. После завершения процесса подвыборки относительно направления строк первый процессор 41 подвыборки передвигает положение извлечения на 3 пикселя в направлении столбцов (то есть в вертикальном направлении) и выполняет подобный процесс подвыборки. Таким образом с перемещением положения извлечения маленького изображения в направлении X и направлении Y первый процессор 41 подвыборки повторяет процесс подвыборки, пока не будет достигнуто конечное положение в подвергнутом свертке изображении L1 (например, правый нижний угол подвергнутого свертке изображения L1). Несмотря на то, что положение извлечения перемещается из левого верхнего угла в правый нижний угол подвергнутого свертке изображения L1 в настоящем варианте осуществления, порядок передвижения не ограничивается этим при условии, что оно может перемещаться по всей области подвергнутого свертке изображения L1. Подвергнутое подвыборке изображение P1 получается через данный процесс подвыборки.

Процессор 32 обработки изображения первого признака формирует множество подвергнутых подвыборке изображений посредством выполнения процесса свертки и процесса подвыборки над одиночным изображением F1 первого признака с использованием различных параметров (например, параметров, полученных посредством изменения размера матрицы коэффициентов, значений коэффициентов, интервала передвижения или чего-либо им подобного) и вводит подвергнутые подвыборке изображения в блок 35 идентификации типа листа. В данном случае также могут быть отрегулированы различные параметры процесса подвыборки.

Процессы свертки и процессы подвыборки процессора 32 обработки изображения первого признака, процессора 33 обработки изображения второго признака и процессора 34 обработки изображения третьего признака выполняются параллельно. То есть процессор 32 обработки изображения первого признака, процессор 33 обработки изображения второго признака и процессор 34 обработки изображения третьего признака выполняют, асинхронно друг от друга, соответственные процессы свертки и подвыборки над множеством изображений признаков, извлеченных блоком 31 извлечения изображений признаков (то есть выполняют процессы над изображениями признаков параллельно).

Затем блок 35 идентификации типа листа выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, введенными из одного из процессора 32 обработки изображения первого признака, процессора 33 обработки изображения второго признака и процессора 34 обработки изображения третьего признака (то есть выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, полученными из одиночного изображения признака), и выполняет процесс обучения для идентификации типа листа (этап S111). Например, блок 35 идентификации типа листа сначала выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, полученными из изображения F1 первого признака, введенными из процессора 32 обработки изображения первого признака.

Затем блок 35 идентификации типа листа определяет, были ли завершены процессы полного объединения для всех изображений признаков (этап S113). Например, после определения, что процессы полного объединения для изображения F2 второго признака и изображения F3 третьего признака не были завершены, то блок 35 идентификации типа листа выполняет процесс полного объединения над изображением F2 второго признака и выполняет процесс обучения для идентификации типа листа. С другой стороны, после определения того, что процессы полного объединения для всех изображений признаков были завершены, блок 35 идентификации типа листа заканчивает процедуру данной блок-схемы последовательности операций.

То есть блок 35 идентификации типа листа последовательно выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, выведенными из процессора 32 обработки изображения первого признака, процессора 33 обработки изображения второго признака и процессора 34 обработки изображения третьего признака (в разные моменты времени). Например, блок 35 идентификации типа листа выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, введенными из процессора 32 обработки изображения первого признака в конкретное время t, выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, введенными из процессора 33 обработки изображения второго признака во время t+1, и выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, введенными из процессора 34 обработки изображения третьего признака во время t+2. Блок 35 идентификации типа листа может многократно выполнять процесс полного объединения над подвергнутыми подвыборке изображениями, выведенными из каждого из процессора 32 обработки изображения первого признака, процессора 33 обработки изображения второго признака и процессора 34 обработки изображения третьего признака.

На Фиг.7 показана схема, изображающая процесс идентификации типа листа на основе изображения F1 первого признака, изображения F2 второго признака и изображения F3 третьего признака в блоке 35 идентификации типа листа согласно настоящему варианту осуществления. Как показано на Фиг.7, множество подвергнутых подвыборке изображений, выведенных из каждого из процессора 32 обработки изображения первого признака, процессора 33 обработки изображения второго признака и процессора 34 обработки изображения третьего признака собирается блоком 35 идентификации типа листа и затем подвергается вышеописанному процессу полного объединения. В результате выполняется процесс обучения различным параметрам (весовым параметрам), используемым в процессе полного объединения. Набор параметров, полученный в результате обучения, применим (то есть является общим) ко всем изображениям F1, F2 и F3 с первого по третий признак.

Теперь будет описана процедура на стадии эксплуатации. На Фиг.8 показана блок-схема последовательности операций, изображающая пример последовательности процедуры на стадии эксплуатации проверяющего устройства 16 согласно настоящему варианту осуществления.

Сначала блок 30 получения изображения захватывает изображение купюры P, проходящей через проверяющее устройство 16 (устройство идентификации листа бумаги), и получает захваченное изображение (этап S201). Блок 30 получения изображения вводит полученное захваченное изображение в блок 31 извлечения изображений признаков.

Затем блок 31 извлечения изображений признаков извлекает область, в которой было захвачено изображение купюры P (то есть изображение купюры), из всего захваченного изображения, введенного из блока 30 получения изображения, и регулирует ориентацию изображения купюры в предварительно определенном направлении (Этап S203).

Затем, блок 31 извлечения изображений признаков извлекает, из изображения купюры, чья ориентация была отрегулирована в предварительно определенном направлении, множество изображений мелкомасштабных характеристик, подходящих для классификации типа листа купюры P на основе предварительно заданной координатной информации (этап S205). Например, блок 31 извлечения изображений признаков извлекает, из изображения 50 купюры, как показано на Фиг.3, изображение F1 первого признака, которое является изображением области, в которой напечатано номинальное достоинство, изображение F2 второго признака, которое является изображением области, в которой напечатан символ, и изображение F3 третьего признака, которое является изображением области, в которой напечатано портретное изображение. Блок 31 извлечения изображений признаков вводит изображение F1 первого признака, изображение F2 второго признака и изображение F3 третьего признака в процессор 32 обработки изображения первого признака, процессор 33 обработки изображения второго признака и процессор 34 обработки изображения третьего признака, соответственно.

Затем первый сверточный процессор 40 процессора 32 обработки изображения первого признака выполняет процесс свертки над изображением F1 первого признака, введенным из блока 31 извлечения изображений признаков, второй сверточный процессор 42 процессора 33 обработки изображения второго признака выполняет процесс свертки над изображением F2 второго признака, и третий сверточный процессор 44 процессора 34 обработки изображения третьего признака выполняет процесс свертки над изображением F3 третьего признака (Этап S207).

Затем первый процессор 41 подвыборки выполняет процесс подвыборки над подвергнутым свертке изображением, введенным из первого сверточного процессора 40, второй процессор 43 подвыборки выполняет процесс подвыборки над подвергнутым свертке изображением, введенным из второго сверточного процессора 42, и третий процессор 45 подвыборки выполняет процесс подвыборки над подвергнутым свертке изображением, введенным из третьего сверточного процессора 44 (этап S209).

Каждый из процессора 32 обработки изображения первого признака, процессора 33 обработки изображения второго признака и процессора 34 обработки изображения третьего признака формирует множество подвергнутых подвыборке изображений посредством выполнения процесса свертки и процесса подвыборки над одиночным изображением F1 первого признака с использованием различных параметров (например, параметров, полученных посредством изменения размера матрицы коэффициентов, значений коэффициентов, интервала передвижения или чего-либо им подобного) и вводит подвергнутые подвыборке изображения в блок 35 идентификации типа листа. Процессы свертки и процессы подвыборки процессора 32 обработки изображения первого признака, процессора 33 обработки изображения второго признака и процессора 34 обработки изображения третьего признака выполняются параллельно.

Затем блок 35 идентификации типа листа выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, введенными из одного из процессора 32 обработки изображения первого признака, процессора 33 обработки изображения второго признака и процессора 34 обработки изображения третьего признака (то есть выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, полученными из одиночного изображения признака) (этап S211). Например, блок 35 идентификации типа листа сначала выполняет процесс полного объединения над подвергнутыми подвыборке изображениями, полученными из изображения F1 первого признака, введенными из процессора 32 обработки изображения первого признака.

Затем блок 35 идентификации типа листа определяет, были ли завершены процессы полного объединения для всех изображений признаков (этап S213). Например, после определения того, что процессы полного объединения для изображения F2 второго признака и изображения F3 третьего признака не были завершены, блок 35 идентификации типа листа выполняет процесс полного объединения над изображением F2 второго признака. Блок 35 идентификации типа листа может многократно выполнять процесс полного объединения над подвергнутыми подвыборке изображениями, выведенными из каждого из процессора 32 обработки изображения первого признака, процессора 33 обработки изображения второго признака и процессора 34 обработки изображения третьего признака.

С другой стороны, после определения того, что процессы полного объединения для всех изображений признаков были завершены, блок 35 идентификации типа листа выполняет процесс идентификации типа листа для купюры P на основе результата процесса полного объединения над подвергнутыми подвыборке изображениями, введенными из процессора 32 обработки изображения первого признака, результата процесса полного объединения над подвергнутыми подвыборке изображениями, введенными из процессора 33 обработки изображения второго признака, и результата процесса полного объединения над подвергнутыми подвыборке изображениями, введенными из процессора 34 обработки изображения третьего признака (этап S215), и отображает результат идентификации на устройстве отображения (не изображено) или чем-либо ему подобном. Процедура данной блок-схемы последовательности операций затем заканчивается.

Согласно настоящему варианту осуществления, описанному выше, возможно обеспечить обучающее устройство, устройство идентификации листа бумаги и способ идентификации листа бумаги, которые предоставляют возможность очень точной идентификации типа листа отдельного листа бумаги за короткое время. Дополнительно в настоящем варианте осуществления, возможно улучшить точность идентификации типа листа посредством извлечения множества изображений признаков, демонстрирующие различия в дизайне в листе бумаги, и выполнения идентификации типа листа на основе множества изображений признаков.

Дополнительно, в настоящем варианте осуществления, блок 35 идентификации типа листа изменяет подвергнутые подвыборке изображения, которые должны быть подвергнуты процессу полного объединения согласно времени. Поэтому возможно применять CNN, которая является методикой глубокого обучения, ко множеству изображений без увеличения времени обработки. Кроме того, так как для множества изображений признаков выполняется общий процесс полного объединения по сравнению со случаем, при котором множество изображений признаков по отдельности обнаруживается через CNN, и затем осуществляется всеобъемлющее определение, то такое всеобъемлющее определение оказывается ненужным, и количество процессов полного объединения не увеличивается, и поэтому возможно устранить увеличение времени вычислений. Дополнительно, возможно выполнять очень точную идентификацию типа листа посредством применения, через способ обучения, такой как способ обратного распространения ошибки, формул преобразования, которые делают возможным наиболее точное обнаружение характерных изображений типа листа посредством процесса свертки и процесса подвыборки.

В настоящем варианте осуществления лист P бумаги не ограничен купюрой и может быть листом бумаги, имеющим напечатанный на нем рисунок. Например, лист P бумаги может быть почтовой маркой, квитанцией, различными формами или чем-либо им подобным. Характерные изображения листа P бумаги не ограничены номинальными достоинствами, символами, портретами и могут быть, например, штампом, рисунком на обратной стороне купюры или чем-либо подобным.

Согласно по меньшей мере одному из упомянутых вариантов осуществления, описанных высший, обучающее устройство 16 имеет блок 30 получения изображения, блок 31 извлечения изображений признаков, множество процессоров 32-34 обработки изображений и блок 35 идентификации типа листа. Блок 30 получения изображения получает изображение листа бумаги, которое является захваченным изображением листа бумаги. Блок 31 извлечения изображений признаков извлекает множество изображений первичных признаков, имеющих различные объекты, подлежащие распознаванию, из изображения листа бумаги, полученного блоком 30 получения изображения. Множество процессоров 32-34 обработки изображений выполняют соответственные процессы свертки и подвыборки над множеством изображений первичных признаков, извлеченных блоком 31 извлечения изображений признаков, для формирования множества изображений вторичных признаков, имеющих различные подлежащие распознаванию объекты. На основе результата процесса объединения над каждым из множества изображений вторичных признаков, сформированных множеством процессоров 32-34 обработки изображений, блок 35 идентификации типа листа последовательно обновляет и обучается набору параметров для идентификации типа листа упомянутого листа бумаги. Это предоставляет обучающему устройству согласно вариантам осуществления возможность идентификации типа листа купюры P с высокой точностью за короткое время.

Несмотря на то, что были описаны некоторые варианты осуществления, эти варианты осуществления были представлены только в качестве примера и не предназначены ограничивать объем изобретений. Действительно, новые варианты осуществления, описанные в данном документе, могут быть воплощены во множестве других форм; кроме того, различные опускания, замены и изменения в форме вариантов осуществления, описанных в данном документе, могут быть осуществлены без отступления от сущности изобретений. Подразумевается, что сопроводительная формула изобретения и эквиваленты ее пунктов охватывают такие формы или модификации так что они попадают в пределы объема и сущности изобретений.

Обучающее устройство согласно одному варианту осуществления включает в себя блок получения, блок извлечения, множество процессоров и блок идентификации. Блок получения выполнен с возможностью получения изображения листа бумаги, которое является захваченным изображением листа бумаги. Блок извлечения выполнен с возможностью извлечения множества изображений первичных признаков, имеющих разные объекты, подлежащие распознаванию, из изображения листа бумаги, полученного блоком получения. Множество процессоров выполнены с возможностью выполнения соответственных процессов свертки и подвыборки над множеством изображений первичных признаков, извлеченных блоком извлечения, для формирования множества изображений вторичных признаков, имеющих разные подлежащие распознаванию объекты. Блок идентификации выполнен с возможностью последовательного обновления и обучения набору параметров для идентификации типа листа упомянутого листа бумаги на основе результата процесса объединения над каждым из множества изображений вторичных признаков, сформированных множеством процессоров. 3 н. и 12 з.п. ф-лы, 8 ил.

1. Обучающее устройство, содержащее:

блок получения, выполненный с возможностью получения изображения банкноты, которое является захваченным изображением банкноты;

блок извлечения, выполненный с возможностью извлечения множества изображений первичных признаков, имеющих разные объекты, подлежащие распознаванию, из изображения банкноты, полученного блоком получения;

множество процессоров, выполненных с возможностью выполнения соответственных процессов свертки и подвыборки над множеством изображений первичных признаков, извлеченных блоком извлечения, для формирования множества изображений вторичных признаков, имеющих разные подлежащие распознаванию объекты; и

блок идентификации, выполненный с возможностью последовательного обновления и обучения набору параметров для идентификации типа листа упомянутой банкноты на основе результата процесса объединения над каждым из множества изображений вторичных признаков, сформированных множеством процессоров,

при этом

блок извлечения выполнен с возможностью извлечения из изображения банкноты по меньшей мере изображения первого первичного признака, которое является изображением области, в которой напечатано номинальное достоинство, и изображения второго первичного признака, которое является изображением области, в которой напечатан символ, и

множество процессоров содержит первый процессор, выполненный с возможностью выполнения процессов свертки и подвыборки над изображением первого первичного признака для формирования изображения первого вторичного признака, и второй процессор, выполненный с возможностью выполнения процессов свертки и подвыборки над изображением второго первичного признака для формирования изображения второго вторичного признака.

2. Обучающее устройство по п.1, в котором блок идентификации выполнен с возможностью изменения изображений вторичных признаков, которым необходимо обучиться согласно времени.

3. Обучающее устройство по п.1 или 2, в котором множество процессоров выполнены с возможностью выполнения, асинхронно друг от друга, соответственных процессов свертки и подвыборки над множеством изображений первичных признаков, извлеченных блоком извлечения.

4. Обучающее устройство по любому из пп.1-3, в котором множество процессоров выполнены с возможностью выполнения соответственных процессов свертки над множеством изображений первичных признаков для формирования множества подвергнутых свертке изображений и выполнения соответственных процессов подвыборки над множеством подвергнутых свертке изображений.

5. Обучающее устройство по любому из пп.1-4, в котором блок идентификации выполнен с возможностью последовательного выполнения процессов объединения над множеством изображений вторичных признаков, сформированных множеством процессоров.

6. Устройство идентификации банкноты, содержащее:

блок получения, выполненный с возможностью получения изображения банкноты, которое является захваченным изображением банкноты;

блок извлечения, выполненный с возможностью извлечения множества изображений первичных признаков, имеющих разные объекты, подлежащие распознаванию, из изображения банкноты, полученного блоком получения;

множество процессоров, выполненных с возможностью выполнения соответственных процессов свертки и подвыборки над множеством изображений первичных признаков, извлеченных блоком извлечения, для формирования множества изображений вторичных признаков, имеющих разные подлежащие распознаванию объекты; и

блок идентификации, выполненный с возможностью идентификации типа листа упомянутой банкноты на основе результата процесса объединения, выполненного над каждым из множества изображений вторичных признаков, сформированных множеством процессоров, с использованием общего набора параметров для множества изображений вторичных признаков,

при этом

блок извлечения выполнен с возможностью извлечения из изображения банкноты по меньшей мере изображения первого первичного признака, которое является изображением области, в которой напечатано номинальное достоинство, и изображения второго первичного признака, которое является изображением области, в которой напечатан символ, и

множество процессоров содержит первый процессор, выполненный с возможностью выполнения процессов свертки и подвыборки над изображением первого первичного признака для формирования изображения первого вторичного признака, и второй процессор, выполненный с возможностью выполнения процессов свертки и подвыборки над изображением второго первичного признака для формирования изображения второго вторичного признака.

7. Устройство идентификации банкноты по п.6, в котором блок идентификации выполнен с возможностью изменения изображений вторичных признаков, которые должны быть подвергнуты процессу объединения согласно времени.

8. Устройство идентификации банкноты по п.6 или 7, в котором множество процессоров выполнены с возможностью выполнения, асинхронно друг от друга, соответственных процессов свертки и подвыборки над множеством изображений первичных признаков, извлеченных блоком извлечения.

9. Устройство идентификации банкноты по любому из пп.6-8, в котором множество процессоров выполнены с возможностью выполнения соответственных процессов свертки над множеством изображений первичных признаков для формирования множества подвергнутых свертке изображений и выполнения соответственных процессов подвыборки над множеством подвергнутых свертке изображений.

10. Устройство идентификации банкноты по любому из пп.6-9, в котором блок идентификации выполнен с возможностью последовательного выполнения процессов объединения над множеством изображений вторичных признаков, сформированных множеством процессоров.

11. Способ идентификации типа листа, содержащий этапы, на которых:

получают изображение банкноты, которое является захваченным изображением банкноты;

извлекают множество изображений первичных признаков, имеющих разные объекты, подлежащие распознаванию, из изображения банкноты;

выполняют соответственные процессы свертки и подвыборки над множеством изображений первичных признаков для формирования множества изображений вторичных признаков, имеющих разные подлежащие распознаванию объекты; и

идентифицируют тип листа упомянутой банкноты на основе результата процесса объединения, выполненного над каждым из множества изображений вторичных признаков, с использованием общего набора параметров для множества изображений вторичных признаков,

при этом

этап извлечения множества изображений первичных признаков содержит этап, на котором извлекают из изображения банкноты по меньшей мере изображение первого первичного признака, которое является изображением области, в которой напечатано номинальное достоинство, и изображение второго первичного признака, которое является изображением области, в которой напечатан символ, и

этап выполнения соответственных процессов свертки и подвыборки содержит этапы, на которых выполняют процессы свертки и подвыборки над изображением первого первичного признака для формирования изображения первого вторичного признака, и выполняют процессы свертки и подвыборки над изображением второго первичного признака для формирования изображения второго вторичного признака.

12. Способ идентификации типа листа по п.11, в котором изображения вторичных признаков, которые должны быть подвергнуты процессу объединения, изменяют друг на друга согласно времени.

13. Способ идентификации типа листа по п.11 или 12, в котором процессы свертки и подвыборки над множеством извлеченных изображений первичных признаков выполняют асинхронно друг от друга.

14. Способ идентификации типа листа по любому из пп.11-13, в котором этап выполнения соответственных процессов свертки и подвыборки включает в себя этапы, на которых выполняют соответственные процессы свертки над множеством изображений первичных признаков для формирования множества подвергнутых свертке изображений и выполняют соответственные процессы подвыборки над множеством подвергнутых свертке изображений.

15. Способ идентификации типа листа по любому из пп.11-14, в котором процессы объединения над множеством изображений вторичных признаков выполняют последовательно.