СИСТЕМА СОПОСТАВЛЕНИЯ ИЗОБРАЖЕНИЙ И СПОСОБ СОПОСТАВЛЕНИЯ ИЗОБРАЖЕНИЙ Российский патент 2019 года по МПК G06K9/80 G06K9/00 

Перекрестная ссылка на родственные заявки

Данная заявка основана на японской патентной заявке № 2016-183231, поданной 20 сентября 2016 года, содержимое которой полностью включено в данный документ посредством ссылки, и испрашивает ее приоритет.

Область техники, к которой относится изобретение

Варианты осуществления настоящего изобретения относятся к системе сопоставления изображений и способу сопоставления изображений.

Уровень техники

Имеется методика сопоставления множества кадров, составляющих динамическое изображение, которое получается посредством формирования изображений заданного местоположения, такого как вход в помещение, используя блок формирования изображений, с изображениями объектов, таких как люди, которые были предварительно зарегистрированы, и определения, является ли объект, присутствующий в заданном местоположении, предварительно зарегистрированным объектом.

Также имеется методика выбора изображения, которое удовлетворяет заданным условиям, таким как глаза не являются закрытыми, на изображении не показано рукопожатие, яркость является достаточной и т.п., из множества изображений, получаемых посредством последовательного формирования изображений заданного местоположения с высокой скоростью, используя блок формирования изображений, и сопоставления выбранного изображения с изображениями предварительно зарегистрированных объектов.

Однако в методике сопоставления множества кадров с изображениями предварительно зарегистрированных объектов требуется время для процесса вычисления уровней сходства множества кадров с изображениями предварительно зарегистрированных объектов.

В методике сопоставления изображения, удовлетворяющего заданным условиям, из множества изображений с изображениями предварительно зарегистрированных объектов изображение, удовлетворяющее заданным условиям, может не годиться для сопоставления с изображениями предварительно зарегистрированных объектов.

Краткое описание чертежей

Фиг. 1 представляет собой схему, иллюстрирующую пример конфигурации системы сопоставления людей согласно первому варианту осуществления;

Фиг. 2 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса сопоставления, который выполняется системой сопоставления людей согласно первому варианту осуществления;

Фиг. 3 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса составления выражения оценки наилучшего кадра в системе сопоставления людей согласно первому варианту осуществления;

Фиг. 4 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса выбора изображения наилучшего кадра в системе сопоставления людей согласно первому варианту осуществления;

Фиг. 5 представляет собой схему, иллюстрирующую пример отображения результата процесса сопоставления в системе сопоставления людей согласно первому варианту осуществления;

Фиг. 6 представляет собой схему, иллюстрирующую пример конфигурации системы сопоставления людей согласно второму варианту осуществления;

Фиг. 7 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса сопоставления, который выполняется системой сопоставления людей согласно второму варианту осуществления;

Фиг. 8 представляет собой схему, иллюстрирующую пример конфигурации системы сопоставления людей согласно третьему варианту осуществления; и

Фиг. 9 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса сопоставления, который выполняется системой сопоставления людей согласно третьему варианту осуществления.

Осуществление изобретения

Ниже будет описан пример системы сопоставления людей, к которой применимы система сопоставления изображений и способ сопоставления изображений согласно вариантам осуществления.

(Первый вариант осуществления)

Фиг. 1 представляет собой схему, иллюстрирующую пример конфигурации системы сопоставления людей согласно первому варианту осуществления. Как проиллюстрировано на Фиг. 1, система сопоставления людей согласно этому варианту осуществления включает в себя блок 101 ввода изображений, блок 102 обнаружения, блок 103 слежения, блок 104 выбора наилучшего кадра, базу 105 данных зарегистрированных изображений, блок 106 сопоставления, блок 107 отображения, базу 108 инструктирующих данных, блок 109 регистрации, блок 110 составления и блок 111 ввода идентификационной информации.

Блок 101 ввода изображений (устройство ввода изображений) представляет собой блок формирования изображений (устройство формирования изображений), который установлен с возможностью формирования изображения заданного местоположения, такого как вход в здание или помещение. Блок 102 обнаружения обнаруживает изображение (далее упоминаемое как изображение человека, которое является примером изображения объекта) человека (пример объекта) из каждого из множества кадров, составляющих динамическое изображение, получаемое посредством формирования изображений заданного местоположения с использованием блока 101 ввода изображений. Блок 103 слежения отслеживает (следует за) изображение (изображением) одного и того же человека в множестве кадров, составляющих динамическое изображение. Блок 104 выбора наилучшего кадра вычисляет оценочное значение, указывающее степень пригодности изображения человека для сопоставления с зарегистрированными изображениями предварительно зарегистрированных людей (далее упоминаемое как оценочное значение наилучшего кадра), используя заданное выражение оценки (далее упоминаемое как выражение оценки наилучшего кадра) для каждого из изображений одного и того же человека, который отслеживается блоком 103 слежения. Далее в качестве изображения или изображений наилучшего кадра блок 104 выбора наилучшего кадра выбирает изображение человека, для которого оценочное значение наилучшего кадра равно или больше заданного значения, среди изображений одного и того же человека, отслеживаемого блоком 103 слежения. База 105 данных зарегистрированных изображений представляет собой блок хранения (средство хранения) (память), который хранит зарегистрированное изображение, которое является изображением предварительно зарегистрированного человека.

Блок 106 сопоставления выполняет процесс сопоставления для сопоставления изображения наилучшего кадра, выбираемого блоком 104 выбора наилучшего кадра, с зарегистрированным изображением, хранимым в базе 105 данных зарегистрированных изображений, и определения, является ли человек, проходящий через заданное местоположение, предварительно зарегистрированным человеком. Блок 107 отображения (дисплей) отображает результат процесса сопоставления, который выполняется блоком 106 сопоставления. В качестве инструктирующих данных база 108 инструктирующих данных хранит изображение человека, которое используется для составления (формирования) или обновления выражения оценки наилучшего кадра. В качестве инструктирующих данных блок 109 регистрации хранит изображение наилучшего кадра человека, которое определено как зарегистрированное изображение среди изображений наилучшего кадра в базе 108 инструктирующих данных. Блок 110 составления (пример блока подготовки) обновляет или реконструирует (повторно готовит) выражение оценки наилучшего кадра таким образом, что оценочное значение наилучшего кадра изображения человека, которое подходит для сопоставления с зарегистрированным изображением, увеличивается, на основе инструктирующих данных, хранимых в базе 108 инструктирующих данных. Блок 111 ввода идентификационной информации представляет собой блок считывания, который считывает идентификационную информацию для идентификации человека, проходящего через заданное местоположение, из карты ID или т.п. для человека.

Блоки системы сопоставления изображений согласно этому варианту осуществления будут подробно описаны ниже со ссылкой на Фиг. 1. Блок 101 ввода изображений представляет собой камеру, которая установлена в местоположении, в котором можно формировать изображение человека, проходящего через заданное местоположение, с передней стороны, чтобы получать изображение человека, которое используется для процесса сопоставления. Блок 102 обнаружения обнаруживает изображение человека из кадров, составляющих динамическое изображение, которое получается посредством формирования изображений с помощью блока 101 ввода изображений. Например, блок 102 обнаружения заранее подготавливает шаблон (далее упоминаемый как лицевой шаблон), который представляет собой усредненное изображение множества лиц и который имеет прямоугольную форму. Блок 102 обнаружения сканирует каждый кадр, при этом перемещая, вращая, увеличения или уменьшения шаблон лица, и обнаруживает область, в которой разница в значении яркости в сравнении с лицевым шаблоном является наименьшей, в качестве изображения человека (например, изображения лица).

Блок 103 слежения отслеживает изображение одного и того же человека в множестве кадров. Например, когда область, в которой множество изображений человека, обнаруженных из множества непрерывных кадров, перекрываются друг с другом, равна или больше заданной области, блок 103 слежения определяет, что множество изображений человека являются изображениями одного и того же человека. С другой стороны, когда область, в которой множество изображений человека, обнаруженных из множества непрерывных кадров, перекрываются друг с другом, меньше заданной области, блок 103 слежения определяет, что множество изображений человека являются изображениями разных людей, и отслеживает изображения другого человека. Когда положения лица не изменяется сильно на множестве изображений человека, имеется вероятность того, что блок 103 слежения будет продолжать отслеживать изображения человека в качестве изображений одного и того человека несмотря на то, что это изображения разных людей. Соответственно, когда изображения одного и того человека определяются как изображение одного и того человека заданное количество раз, блок 103 слежения заканчивает отслеживать изображение этого человека.

Блок 104 выбора наилучшего кадра вычисляет оценочное значение наилучшего кадра, используя выражение оценки наилучшего кадра для каждого из изображений человека, которые определены как изображения одного и того человека с помощью блока 103 слежения. В этом варианте осуществления блок 104 выбора наилучшего кадра выбирает одно или два, или более изображений человека, для которых вычисленное оценочное значение наилучшего кадра равно или более заданного значения, среди изображений человека, которые определены как изображения одного и того же человека. База 105 данных зарегистрированных изображений хранит зарегистрированное изображение, которое является изображением человека, которому разрешено проходить через заданное местоположение, в соотношении с идентификационной информацией этого человека.

Блок 106 сопоставления выполняет процесс сопоставления изображения наилучшего кадра, выбранного блоком 104 выбора наилучшего кадра, с зарегистрированным изображением (далее упоминаемым как целевое изображение человека), которое хранится в соотношении с идентификационной информацией, считываемой блоком 111 ввода идентификационной информации, среди зарегистрированных изображений, хранимых в базе 105 данных зарегистрированных изображений. Блок 107 отображения реализован посредством жидкокристаллического дисплея или т.п. и отображает результат процесса сопоставления, который выполняется блоком 106 сопоставления. В этом варианте осуществления блок 107 отображения отображает целевое изображение человека, изображение наилучшего кадра, выбранное блоком 104 выбора наилучшего кадра, и результат сопоставления целевого изображения человека с изображением наилучшего кадра блоком 106 сопоставления.

База 108 инструктирующих данных (пример блока хранения) (средства хранения) (памяти) хранит изображение наилучшего кадра в качестве инструктирующих данных в соотношении с оценочным значением наилучшего кадра, вычисленным для изображения наилучшего кадра. Вместо изображения наилучшего кадра база 108 инструктирующих данных может хранить вектор характеристик изображения наилучшего кадра в соотношении с оценочным значением наилучшего кадра. База 108 инструктирующих данных последовательно сохраняет изображения наилучшего кадра в порядке убывания оценочных значений наилучшего кадра, вычисленных для изображений наилучшего кадра.

Блок 109 регистрации сохраняет в базе 108 инструктирующих данных изображение наилучшего кадра, которое обеспечивает успех в процессе сопоставления с целевым изображением человека, из изображений наилучшего кадра, выбранных блоком 104 выбора наилучшего кадра в качестве инструктирующих данных в соотношении с оценочным значением наилучшего кадра, вычисленным для изображения наилучшего кадра, и результатом процесса сопоставления.

Блок 110 составления (пример блока подготовки) обновляет или реконструирует выражение оценки наилучшего кадра с использованием заданного алгоритма механического обучения на основе инструктирующих данных, хранимых в базе 108 инструктирующих данных. Соответственно, поскольку необязательно сопоставлять зарегистрированное изображение с изображениями человека, входящими в состав всех кадров, составляющих динамическое изображение, получаемое посредством формирования изображений заданного местоположения с помощью блока 101 ввода изображений, имеется возможность сократить время, требуемое для процесса сопоставления. Кроме того, поскольку вполне вероятно, что изображение человека, подходящее для сопоставления с зарегистрированным изображением, будет выбрано в качестве изображения наилучшего кадра, имеется возможность улучшить точность сопоставления с зарегистрированным изображением.

Блок 111 ввода идентификационной информации получает информацию, требуемую для выбора целевого изображения человека. В этом варианте осуществления блок 111 ввода идентификационной информации реализован посредством блока считывания (датчика), который установлен на расстоянии, которое является досягаемым посредством руки из стоячего положения человека, проходящего через заданное местоположение, и считывает идентификационную информацию для идентификации человека, проходящего через заданного местоположение из карты ID или т.п. для этого человека. В данном случае карта ID может быть паспортом, водительским удостоверением или картой с национальным идентификационным номером, или носителем записи, на котором записана идентификационная информация. Блок 111 ввода идентификационной информации может быть устройством ввода, которое вводит идентификационную информацию, или устройство считывания биометрической информации, которое считывает биометрическую информацию, такую как отпечаток пальца или данные о вене человека, проходящего через заданное местоположение, вместо блока считывания.

Пример последовательности этапов процесса сопоставления, который выполняется системой сопоставления людей согласно этому варианту осуществления, будет описан ниже со ссылкой на Фиг. 2-5. Фиг. 2 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса сопоставления, который выполняется системой сопоставления людей согласно первому варианту осуществления. Фиг. 3 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса составления выражения оценки наилучшего кадра в системе сопоставления людей согласно первому варианту осуществления. Фиг. 4 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса выбора изображения наилучшего кадра в системе сопоставления людей согласно первому варианту осуществления. Фиг. 5 представляет собой схему, иллюстрирующую пример отображения результата процесса сопоставления в системе сопоставления людей согласно первому варианту осуществления.

В этом варианте осуществления система сопоставления людей сохраняет инструктирующие данные в базе 108 инструктирующих данных перед выполнением процесса сопоставления. Если процесс сопоставления еще не выполнен и инструктирующие данные не сохранены в базе 108 инструктирующих данных, блок 109 регистрации сохраняет в качестве инструктирующих данных в базе 108 инструктирующих данных изображения человека, которые опубликованы в сети, такой как Интернет, или захваченные изображения, которые указаны внешним устройством, среди захваченных изображений, полученных посредством формирования изображений блоком 101 ввода изображений.

Впоследствии блок 110 составления составляет выражение оценки наилучшего кадра на основе инструктирующих данных, хранимых в базе 108 инструктирующих данных (этап S201). В данном случае, когда выражение оценки наилучшего кадра задано заранее, блок 110 составления может не составлять выражение оценки наилучшего кадра.

Процесс составления выражения оценки наилучшего кадра будет описан ниже подробно со ссылкой на Фиг. 3. Когда инструктирующие данные вводятся из базы 108 инструктирующих данных, блок 110 составления извлекает векторы характеристик из всех введенных инструктирующих данных (этап S301). Впоследствии блок 110 составления составляет (подготавливает) выражение оценки наилучшего кадра в соответствии с заданным алгоритмом механического обучения, используя извлеченные векторы характеристик в качестве параметров (далее упоминаемых как параметры составления выражения оценки), которые используются для составления выражения оценки наилучшего кадра (этап S302). В дальнейшем блок 110 составления выводит составленное выражение оценки наилучшего кадра в блок 104 выбора наилучшего кадра.

Например, блок 110 составления увеличивает или уменьшает инструктирующие данные, введенные из базы 108 инструктирующих данных, до прямоугольного изображения с размерами m пикселей × n пикселей и извлекает значение яркости прямоугольного изображения в качестве вектора характеристик. Впоследствии блок 110 составления составляет выражение оценки наилучшего кадра для оценивания регрессии вектора характеристик до оценочного значения наилучшего кадра, используя линейную регрессию или т.п.

Возвращаясь вновь к Фиг. 2, блок 111 ввода идентификационной информации считывает идентификационную информацию из карты ID, переносимой человеком, проходящим через заданное местоположение (этап S202). Когда идентификационная информация считывается блоком 111 ввода идентификационной информации, блок 101 ввода изображений начинает формирование изображений человека, проходящего через заданное местоположение. Блок 102 обнаружения получает кадры, составляющие динамическое изображение, которое получается посредством формирования изображений блоком 101 ввода изображений (этап S203). Блок 102 обнаружения обнаруживает изображения человека из полученных кадров (этап S204). На полученных кадрах блок 103 слежения отслеживает изображение одного и того же человека в качестве изображения человека, обнаруженного из предыдущего кадра (этап S204). Блок 103 слежения определяет, надо ли завершать отслеживание изображений человека, в зависимости от того, является ли обнаруженное в конце изображение человека изображением одного и того же человека, в качестве изображения человека, обнаруженного из предыдущего кадра (этап S205). Когда обнаруженное в конце изображение человека является изображением одного и того же человека в качестве изображения человека, обнаруженного из предыдущего кадра, блок 103 слежения определяет, что не надо завершать отслеживание изображений человека (этап S205: Нет). Затем блок 102 обнаружения получает новый кадр (этап S203).

С другой стороны, когда обнаруженное в конце изображение человека является изображением другого человека, отличным от изображения человека, обнаруженного из предыдущего кадра, блок слежения определяет, что надо завершить отслеживание изображений человека (этап S205: Да). Затем блок 104 выбора наилучшего кадра выбирает изображение наилучшего кадра из изображений человека, которые определены как изображения одного и того же человека блоком 103 слежения, используя выражение оценки наилучшего кадра (этап S206).

Процесс выбора изображения наилучшего кадра, который выполняется системой сопоставления людей согласно этому варианту осуществления, будет описан ниже подробно со ссылкой на Фиг. 4. Фиг. 4 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса выбора изображения наилучшего кадра, который выполняется системой сопоставления людей согласно первому варианту осуществления.

Блок 104 выбора наилучшего кадра получает отслеженное изображение одного и того же человека всякий раз, когда завершается отслеживание изображения человека. Впоследствии блок 104 выбора наилучшего кадра извлекает вектор характеристик каждого полученного изображения человека (этап S401). Затем блок 104 выбора наилучшего кадра вычисляет оценочное значение наилучшего кадра на основе вектора характеристик, извлеченного из каждого изображения человека, используя выражение оценки наилучшего кадра (этап S402). Блок 104 выбора наилучшего кадра повторно выполняет процессы этапов S401 и S402 в отношении отслеженных изображений одного и того же человека.

Когда оценочные значения наилучшего кадра для всех отслеженных изображений одного и того же человека вычислены, блок 104 выбора наилучшего кадра компонует отслеженные изображения одного и того же человека последовательно, начиная с наибольшего оценочного значения наилучшего кадра (этап S403). Впоследствии блок 104 выбора наилучшего кадра последовательно выбирает N изображений человека из изображения человека, имеющего наивысшее оценочное значение наилучшего кадра среди отслеженных изображений одного и того же человека, в качестве изображения наилучшего кадра (этап S404). В качестве альтернативы, как описано выше, блок 104 выбора наилучшего кадра может выбирать изображение или изображения человека, для которых оценочное значение наилучшего кадра равно или выше заданного значения среди изображений человека, которые определены как изображения одного и того же человека. Затем блок 104 выбора наилучшего кадра выводит выбранные изображения наилучшего кадра в блок 106 сопоставления.

Возвращаясь вновь к Фиг. 2, блок 106 сопоставления выполняет процесс сопоставления для сопоставления изображения наилучшего кадра, выбранного блоком 104 выбора наилучшего кадра, с целевым изображением человека, хранимым в соотношении с идентификационной информацией, считанной блоком 111 ввода идентификационной информации, среди зарегистрированных изображений, хранимых в базе 105 данных зарегистрированных изображений (этап S207). Например, блок 106 сопоставления извлекает векторы характеристик из целевого изображения человека и изображение наилучшего кадра. В это же время блок 106 сопоставления увеличивает или уменьшает целевое изображение человека и изображение наилучшего кадра до прямоугольных изображений с размерами m пикселей × n пикселей. Затем блок 106 сопоставления извлекает в качестве векторов характеристик значения яркости целевого изображения человека или изображения наилучшего кадра, которые увеличены или уменьшены до прямоугольных изображений.

Когда векторы характеристик извлечены из целевого изображения человека и изображения наилучшего кадра, блок 106 сопоставления вычисляет уровень сходства вектора характеристик, извлеченного из целевого изображения человека, и вектора характеристик, извлеченного из изображения наилучшего кадра. Когда имеется множество целевых изображения человека и множество изображений наилучшего кадра, блок 106 сопоставления вычисляет уровень сходства для всех комбинаций целевых изображений человека и изображений наилучшего кадра. Когда вычисленный уровень сходства больше заданного порогового значения, блок 106 сопоставления определяет, что человек, проходящий через заданное местоположение, является человеком, который идентифицирован с помощью идентификационной информации, считанной блоком 111 ввода идентификационной информации. В данном случае заданное пороговое значение является пороговым значением для уровня сходства, при котором человек, проходящий через заданное местоположение, является человеком, который идентифицирован с помощью считанной идентификационной информации. С другой стороны, когда вычисленный уровень сходства равен или меньше заданного порогового значения, блок 106 сопоставления определяет, что человек, проходящий через заданное местоположение, отличается от человека, который идентифицирован с помощью идентификационной информации, считанной блоком 111 ввода идентификационной информации. Когда имеется множество целевых изображений человека и множество изображений наилучшего кадра, блок 106 сопоставления может определять, является ли человек, проходящий через заданное местоположение, человеком, который идентифицирован с помощью идентификационной информации, считанной блоком 111 ввода идентификационной информации, в зависимости от того, больше ли среднее значение уровней сходства, вычисленных для всех комбинаций целевых изображений человека и изображений наилучшего кадра, заданного порогового значения.

Впоследствии блок 107 отображения отображает результат процесса сопоставления, который выполняется блоком 106 сопоставления (этап S208). В этом варианте осуществления блок 107 отображения отображает информацию, релевантную процессу сопоставления, такую как изображение наилучшего кадра, целевое изображение человека, уровень сходства изображения наилучшего кадра и целевого изображения человека и заданное пороговое значение. Например, как проиллюстрировано на Фиг. 5, блок 107 отображения отображает пять изображений BG1-BG5 наилучшего кадра, обладающих наивысшим оценочным значением наилучшего кадра, вместе с уровнем 501 сходства с целевым изображением человека, вычисленным для каждого из изображений наилучшего кадра. Как проиллюстрировано на Фиг. 5, блок 107 отображения отображает целевое изображение G человека, результат 502 процесса сопоставления и заданное пороговое значение 503. Когда имеется множество изображений BG1-BG5 наилучшего кадра, блок 107 отображения отображает средний уровень 504 сходства, который является средним значением уровней сходства изображений наилучшего кадра с целевым изображением G человека, как проиллюстрировано на Фиг. 5.

Возвращаясь вновь к Фиг. 2, блок 109 регистрации сохраняет изображение наилучшего кадра, сопоставление которого с целевым изображением человека является успешным, среди изображений наилучшего кадра в качестве инструктирующих данных в базе 108 инструктирующих данных в соотношении с результатом процесса сопоставления соответствующего изображения наилучшего кадра с целевым изображением человека (например, уровень сходства изображения наилучшего кадра с целевым изображением человека) (этап S209). Впоследствии блок 110 составления определяет, надо ли обновлять выражение оценки наилучшего кадра, на основе инструктирующих данных, хранимых в базе 108 инструктирующих данных (этап S210). Когда количество изображений наилучшего кадра, хранимых в качестве инструктирующих данных в базе 108 инструктирующих данных, больше заданного количества после окончательного обновления или реконструкции выражения оценки наилучшего кадра, блок 110 составления определяет, что надо обновить выражение оценки наилучшего кадра (этап S210: Да). С другой стороны, когда количество изображений наилучшего кадра, хранимых в качестве инструктирующих данных в базе 108 инструктирующих данных, равно или меньше заданного количества после окончательного обновления или реконструкции выражения оценки наилучшего кадра, блок 110 составления определяет, что не надо обновлять выражение оценки наилучшего кадра (этап S210: Нет).

Когда определено, что надо обновить выражение оценки наилучшего кадра, блок 110 составления обновляет или реконструирует выражение оценки наилучшего кадра, на основе изображений наилучшего кадра, хранимых в качестве инструктирующих данных в базе 108 инструктирующих данных, после окончательного обновления или реконструкции выражения оценки наилучшего кадра (этап S211). В это же время блок 110 составления составляет выражение оценки наилучшего кадра таким же способом, как и в процессе составления выражения оценки наилучшего кадра, проиллюстрированном на Фиг. 3. Когда выражение оценки наилучшего кадра обновлено, блок 110 составления составляет выражение оценки наилучшего кадра, например, используя окончательно составленное или обновленное выражение оценки наилучшего кадра в качестве исходного значения. Блок 110 составления сохраняет окончательно составленное или обновленное выражение оценки наилучшего кадра и выражение оценки наилучшего кадра, составленное на основе изображений наилучшего кадра, хранимых в качестве инструктирующих данных в базе 108 инструктирующих данных. Блок 104 выбора наилучшего кадра может использовать среднее значение (или взвешенное среднее значение) оценочных значений наилучшего кадра, вычисленных с использованием упомянутых двух выражений оценки наилучшего кадра, в качестве оценочного значения наилучшего кадра для каждого изображения человека. При условия формирования изображений блоком 101 ввода изображений (например, частота кадров, разрешение, угол просмотра или условия освещения) изменяются после окончательного обновления или реконструкции выражения оценки наилучшего кадра, или если количество раз, когда процесс сопоставления заканчивается неудачно, больше заданного количества раз после окончательного обновления или реконструкции выражения оценки наилучшего кадра, блок 110 составления может обновлять или реконструировать выражение оценки наилучшего кадра на основе изображений наилучшего кадра, хранимых в качестве инструктирующих данных в базе 108 инструктирующих данных. Соответственно, поскольку выражение оценки наилучшего кадра может быть обновлено или реконструировано так, чтобы изображение человека, подходящее для сопоставления с зарегистрированными изображениями, было, вполне вероятно, выбрано в качестве изображения наилучшего кадра, в зависимости от ситуации сопоставления изображений человека, имеется возможность улучшить точность сопоставления изображения человека с зарегистрированным изображением.

Поскольку в системе сопоставления людей согласно первому варианту осуществления необязательно сопоставлять зарегистрированное изображение с изображениями человека, входящими в состав всех кадров, составляющих динамическое изображение, получаемое посредством формирования изображений заданного местоположения с помощью блока 101 ввода изображений, и поскольку имеется возможность уменьшить вычислительную нагрузку процесса сопоставления, то возможно сократить время, требуемое для процесса сопоставления. Также возможно уменьшить емкость памяти, требуемую для процесса сопоставления. Поскольку вполне вероятно, что изображение человека, подходящее для сопоставления с зарегистрированным изображением, будет выбрано в качестве изображения наилучшего кадра, имеется возможность улучшить точность сопоставления изображения человека с зарегистрированным изображением.

В этом варианте осуществления блок 104 выбора наилучшего кадра может изменять выражение оценки наилучшего кадра, которое используется для вычисления оценочного значения наилучшего кадра, в зависимости от человека, который идентифицируется с помощью идентификационной информации, считываемой блоком 111 ввода идентификационной информации, или от дня, в который выполняется процесс сопоставления. В частности, блок 110 составления составляет выражение оценки наилучшего кадра для каждого предварительно зарегистрированного человека или для каждого дня. Блок 104 выбора наилучшего кадра вычисляет оценочное значение наилучшего кадра на основе выражения оценки наилучшего кадра для человека, который идентифицируется посредством идентификационной информации, считываемой блоком 111 ввода идентификационной информации, или выражения оценки наилучшего кадра для дня, в который выполняется процесс сопоставления.

В этом варианте осуществления блок 106 сопоставления сохраняет изображение человека в базе 108 инструктирующих данных, которое отличается от изображения наилучшего кадра и которое имеет наивысшее оценочное значение наилучшего кадра среди изображений одного и того же человека, отслеживаемого блоком 103 слежения. Когда количество изображений человека, которые отличны от изображений наилучшего кадра и которые сохранены в базе 108 инструктирующих данных, равно или больше заданного количества, блок 110 составления может обновлять или реконструировать выражение оценки наилучшего кадра на основе изображения человека, отличного от изображений наилучшего кадра. В качестве альтернативы блок 110 составления может обновлять или реконструировать выражение оценки наилучшего кадра на основе изображений человека, который отличны от изображений наилучшего кадра и которые сохранены в базе 108 инструктирующих данных, когда яркость динамического изображения, полученного посредством формирования изображений блоком 101 ввода изображений изменяется, или в соответствии с инструкцией для обновления, введенной из внешнего устройства. Соответственно, когда точность сопоставления изображения человека с зарегистрированным изображением уменьшается, изображение человека, подходящее для сопоставления с зарегистрированным изображением, можно без труда выбрать в качестве изображения наилучшего кадра, и, таким образом, имеется возможность улучшить точность сопоставления изображения человека с зарегистрированным изображением.

(Второй вариант осуществления)

В этом варианте осуществления система сопоставления людей сопоставляет изображение человека, проходящего через проход или т.п., с зарегистрированным изображением. В следующем далее описании те же элементы, что и в первом варианте осуществления, не будут описаны.

Фиг. 6 представляет собой схему, иллюстрирующую пример конфигурации системы сопоставления людей согласно второму варианту осуществления. Как проиллюстрировано на Фиг. 6, система сопоставления людей согласно этому варианту осуществления отличается от системы сопоставления людей согласно первому варианту осуществления тем, что в ней не предусмотрен блок 111 ввода идентификационной информации. В этом варианте осуществления блок 101 ввода изображений установлен с возможностью формирования изображений человека, проходящего через проход или т.п. (пример заданного местоположения), подлежащий мониторингу на дороге или в здании. Например, блок 101 ввода изображений установлен на потолке в положении, удаленном на несколько десятков метров от прохода, подлежащего мониторингу, чтобы формировать изображения окрестности центра пола прохода, подлежащего мониторингу.

В этом варианте осуществления база 105 данных зарегистрированных изображений хранит изображение человека, подлежащего обнаружению, такое как изображение разыскиваемого человека, изображение пропавшего человека или изображение пропавшего ребенка, в качестве зарегистрированного изображения. Блок 601 сопоставления выполняет процесс сопоставления для сопоставления всех зарегистрированных изображений, хранимых в базе 105 данных зарегистрированных изображений в качестве целевых изображений человека, с изображением или изображениями наилучшего кадра, выбранными блоком 104 выбора наилучшего кадра. Блок 601 сопоставления извлекает (осуществляет поиск) зарегистрированного изображения, сопоставление которого с изображением наилучшего кадра является успешным, из зарегистрированных изображений, хранимых в базе 105 данных зарегистрированных изображений. Блок 602 отображения отображает результат извлечения зарегистрированного изображения блоком 601 сопоставления.

Фиг. 7 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса сопоставления, который выполняется системой сопоставления людей согласно второму варианту осуществления. В этом варианте осуществления блок 601 сопоставления выполняет процесс сопоставления для сопоставления изображения наилучшего кадра, выбранного блоком 104 выбора наилучшего кадра, со всеми зарегистрированными изображениями, хранимыми в базе 105 данных зарегистрированных изображений в качестве целевых изображений человека, как описано выше. Блок 601 сопоставления извлекает зарегистрированное изображение, сопоставление которого с изображением наилучшего кадра является успешным, из зарегистрированных изображений, хранимых в базе 105 данных зарегистрированных изображений (этап S701). В этом варианте осуществления блок 601 сопоставления извлекает зарегистрированное изображение, уровень сходства которого с изображением наилучшего кадра больше заданного порогового значения, из зарегистрированных изображений, хранимых в базе 105 данных зарегистрированных изображений.

Блок 602 отображения отображает результат извлечения зарегистрированного изображения блоком 601 сопоставления (этап S702). В этом варианте осуществления блок 602 отображения отображает изображение наилучшего кадра и извлеченное зарегистрированное изображение. Когда зарегистрированное изображение, сопоставление которого с изображением наилучшего кадра является успешным, не извлечено (этап S703: Нет), блок 109 регистрации не сохраняет изображение наилучшего кадра в базе 108 инструктирующих данных. С другой стороны, когда зарегистрированное изображение, сопоставление которого с изображением наилучшего кадра является успешным, извлечено (этап S703: Да), блок 109 регистрации сохраняет изображение наилучшего кадра в базе 108 инструктирующих данных в качестве инструктирующих данных в соотношении с результатом процесса сопоставления изображения наилучшего кадра и зарегистрированного изображения (этап S209).

В системе сопоставления людей согласно второму варианту осуществления, даже когда изображение человека, проходящего через проход, подлежащий мониторингу, сопоставлено с зарегистрированными изображениями, можно получить те же самые функциональные преимущества, что в первом варианте осуществления.

(Третий вариант осуществления)

В этом варианте осуществления, когда сопоставление изображения наилучшего кадра с зарегистрированными изображениями является неуспешным, изображение наилучшего кадра сохраняется в качестве зарегистрированного изображения в базе данных зарегистрированных изображений. В следующем далее описании те же элементы, что и во втором варианте осуществления, не будут описаны.

Фиг. 8 представляет собой схему, иллюстрирующую пример конфигурации системы сопоставления людей согласно третьему варианту осуществления. Как проиллюстрировано на Фиг. 8, в этом варианте осуществления, когда сопоставление изображения наилучшего кадра с зарегистрированными изображениями является неуспешным, блок 801 выбора наилучшего кадра сохраняет изображение наилучшего кадра в качестве зарегистрированного изображения в базе 105 данных зарегистрированных изображений. Соответственно, когда человек, изображения которого формируются блоком 101 ввода изображений, проходит заданное местоположение снова, имеется возможность извлечь зарегистрированное изображение, сопоставление которого с изображением человека (изображением наилучшего кадра), полученного посредством формирования изображений человека, будет успешным.

Фиг. 9 представляет собой блок-схему, иллюстрирующую пример последовательности этапов процесса сопоставления, который выполняется системой сопоставления людей согласно третьему варианту осуществления. В этом варианте осуществления, когда на этапе S703 определено, что зарегистрированное изображение, сопоставление которого с изображением наилучшего кадра является успешным, не извлечено (этап S703: Нет), т.е. когда сопоставление изображения наилучшего кадра с зарегистрированными изображениями является неудачным, блок 801 выбора наилучшего кадра сохраняет изображение наилучшего кадра в базе 105 данных зарегистрированных изображений в качестве зарегистрированного изображения (этап S901).

В системе сопоставления людей согласно третьему варианту осуществления, когда человек, изображения которого формируются блоком 101 ввода изображений, проходит через заданное местоположение снова, имеется возможность извлечь зарегистрированное изображение, сопоставление которого с изображением человека (изображением наилучшего кадра), полученным посредством формирования изображений человека, является успешным.

В этом варианте осуществления база 108 инструктирующих данных и база 105 данных зарегистрированных изображений используются только в системе, но изобретение не ограничено этим, и они могут быть использованы в другой системе сопоставления людей. Блок 109 регистрации может задавать верхний предел количества элементов инструктирующих данных, которые могут быть сохранены в базе 108 инструктирующих данных, и может последовательно удалять инструктирующие данные, имеющие самую позднюю дату и время, в которые эти инструктирующие данные были сохранены в базе 108 инструктирующих данных, когда количество элементов данных, хранимых в базе 108 инструктирующих данных, превышает верхний предел.

В системе сопоставления людей согласно вариантам осуществления с первого по третий был описан пример, в котором изображение человека сопоставляется с зарегистрированным изображением, но изобретение не ограничено этим. Например, изобретение может быть применено в случае, в котором кузова транспортных средств или номерные знаки автомобилей, или элементы с фирменными знаками используются в качестве объектов, и изображение объекта, входящего в состав кадров, составляющих динамическое изображение, получаемое посредством формирования изображений этого объекта, сопоставляется с зарегистрированным изображением.

Как описано выше, согласно вариантам осуществления с первого по третий, поскольку необязательно сопоставлять зарегистрированное изображение с изображениями человека, входящими с состав всех кадров, составляющих динамическое изображение, получаемое посредством формирования изображения заданного местоположения с использованием блока 101 ввода изображений, и поскольку имеется возможность уменьшить вычислительную нагрузку процесса сопоставления, то возможно сократить время, требуемое для процесса сопоставления.

Программа, которая исполняется в системе сопоставления людей согласно этому варианту осуществления, представлена в состоянии, в котором эта программа содержится на постоянном запоминающем устройстве (ПЗУ). Программа, которая исполняется системой сопоставления людей согласно этому варианту осуществления, может быть представлена в состоянии, в котором она записана в виде файла устанавливаемого формата или исполняемого формата на машиночитаемом носителе записи, таком как CD-ROM, гибкий диск (FD), CD-R или цифровой универсальный диск (DVD).

Программа, которая исполняется системой сопоставления людей согласно этому варианту осуществления, может быть представлена за счет сохранения этой программы в компьютере, соединенном с сетью, такой как Интернет, и загрузки этой программы через сеть. Программа, которая исполняется системой сопоставления людей согласно этому варианту осуществления, может быть представлена или распространена через сеть, такую как Интернет.

Программа, которая исполняется системой сопоставления людей согласно этому варианту осуществления, сконфигурирована в виде модуля, включающего в себя вышеупомянутые блоки (блок 102 обнаружения, блок 103 слежения, блок 104 или 801 выбора наилучшего кадра, блок 106 или 601 сопоставления, блок 109 регистрации и блок 110 составления) и фактическое аппаратное обеспечение, причем блоки загружены на основное устройство памяти для реализации блока 102 обнаружения, блока 103 слежения, блока 104 или 801 выбора наилучшего кадра, блока 106 или 601 сопоставления, блока 109 регистрации и блока 110 составления в основном устройстве памяти за счет обеспечения считывания и исполнения программы из ПЗУ центральным процессором (ЦПУ).

Хотя некоторые варианты осуществления изобретения были описаны выше, эти варианты осуществления представлены в качестве примера и не предназначены для ограничения объема изобретения. Варианты осуществления могут быть изменены множеством способов и могут быть подвержены различным упущениям, заменам и вариациям без отступления от сущности изобретения. Такие варианты осуществления или изменения подпадают под объем или соответствуют сущности изобретения и также подпадают под объем, эквивалентный изобретению, описанному в приложенной формуле изобретения.

Изобретение относится к системе и способу сопоставления изображений. Технический результат заключается в повышении быстродействия и улучшении точности сопоставления изображений. Система содержит блок обнаружения, обнаруживающий объект из изображения, блок слежения, отслеживающий изображение одного и того же объекта, блок выбора, вычисляющий оценочное значение, указывающее степень пригодности изображения человека для сопоставления с зарегистрированными изображениями, и выбирает изображение объекта, оценочное значение которого равно или больше заданного значения, в качестве изображения наилучшего кадра, блок сопоставления, выполняющий процесс сопоставления изображения наилучшего кадра с зарегистрированным изображением и определения, является ли объект предварительно зарегистрированным объектом, блок отображения, отображающий результат выполнения процесса сопоставления, блок хранения, сохраняющий изображение наилучшего кадра, блок подготовки, обновляющий или повторно подготавливающий выражение оценки наилучшего кадра с использованием заданного алгоритма механического обучения на основе инструктирующих данных так, чтобы изображение, подходящее для сопоставления, было выбрано в качестве изображения наилучшего кадра, и вычисляющее оценочное значение. 2 н. и 17 з.п. ф-лы, 9 ил.

1. Система сопоставления изображений, содержащая:

блок обнаружения, который обнаруживает объект из изображения, получаемого посредством формирования изображений заданного местоположения с использованием блока формирования изображений;

блок слежения, который отслеживает изображение одного и того же объекта;

блок выбора, который вычисляет оценочное значение, указывающее степень пригодности изображения человека для сопоставления с зарегистрированными изображениями, для каждого из изображений одного и того же объекта и выбирает изображение объекта, оценочное значение которого равно или больше заданного значения, в качестве изображения наилучшего кадра;

блок сопоставления, который выполняет процесс сопоставления для сопоставления изображения наилучшего кадра с зарегистрированным изображением и определения, является ли объект, присутствующий в заданном местоположении, предварительно зарегистрированным объектом; и

блок отображения, который отображает результат выполнения процесса сопоставления;

причем система сопоставления изображений включает в себя:

блок хранения, который сохраняет изображение наилучшего кадра; и

блок подготовки, который обновляет или повторно подготавливает выражение оценки наилучшего кадра с использованием заданного алгоритма механического обучения на основе инструктирующих данных, хранимых в базе инструктирующих данных, так, чтобы изображение, подходящее для сопоставления с зарегистрированными изображениями, было выбрано в качестве изображения наилучшего кадра, и которое вычисляет оценочное значение.

2. Система сопоставления изображений по п. 1, в которой

блок обнаружения обнаруживает изображение объекта из множества кадров, составляющих динамическое изображение, которое получено посредством формирования изображений заданного местоположения с использованием блока формирования изображений.

3. Система сопоставления изображений по п. 1, в которой

блок слежения отслеживает изображение одного и того же объекта в множестве кадров.

4. Система сопоставления изображений по п. 1, в которой

блок выбора вычисляет оценочное значение, которое указывает степень пригодности изображения объекта для сопоставления с зарегистрированным изображением предварительно зарегистрированного объекта, используя заданное выражение оценки для каждого из изображений одного и того же объекта, и выбирает изображение объекта, оценочное значение которого равно или больше заданного значения, среди обнаруженных изображений объекта в качестве изображения наилучшего кадра.

5. Система сопоставления изображений по п. 1, в которой

блок хранения сохраняет изображение наилучшего кадра объекта, который определен как предварительно зарегистрированный объект, среди изображений наилучшего кадра.

6. Система сопоставления изображений по п. 1, в которой

блок подготовки обновляет или повторно подготавливает выражение оценки таким образом, что оценочное значение изображения объекта, которое подходит для сопоставления с зарегистрированным изображением, увеличивается, на основе изображения наилучшего кадра, сохраненного в блоке хранения.

7. Система сопоставления изображений по п. 1, в которой

блок сопоставления сохраняет изображение объекта, которое отличается от изображения наилучшего кадра и которое имеет наивысшее оценочное значение среди изображений одного и того же объекта, в блоке хранения; и

блок подготовки обновляет или повторно подготавливает выражение оценки на основе изображения объекта, отличного от изображения наилучшего кадра, когда количество изображений объекта, отличных от изображения наилучшего кадра, сохраненного в блоке хранения, равно или больше заданного количества.

8. Система сопоставления изображений по п. 1, в которой

блок подготовки обновляет или повторно подготавливает выражение оценки на основе изображения наилучшего кадра, сохраненного в блоке хранения, когда количество изображений наилучшего кадра, сохраненных в блоке хранения после окончательного обновления или повторной подготовки выражения оценки выше заданного количества, когда условия формирования изображений блоком формирования изображений изменяются после окончательного обновления или повторной подготовки выражения оценки, или когда количество раз, когда сопоставление изображения наилучшего кадра с зарегистрированным изображением является неудачным, больше заданного количества раз после окончательного обновления или повторной подготовки выражения оценки.

9. Система сопоставления изображений по п. 1, в которой

блок выбора регистрирует изображение наилучшего кадра в качестве зарегистрированного изображения, когда сопоставление изображения наилучшего кадра с зарегистрированным изображением является неудачным.

10. Система сопоставления изображений по п. 1, дополнительно содержащая:

базу данных зарегистрированных изображений, которая предварительно регистрирует зарегистрированное изображение.

11. Система сопоставления изображений по п. 1, дополнительно содержащая:

блок ввода идентификационной информации для ввода идентификационной информации объекта.

12. Система сопоставления изображений по п. 1, в которой

блок ввода изображений осуществляет мониторинг прохода объекта, подлежащего обнаружению.

13. Система сопоставления изображений по п. 1, в которой

изображение наилучшего кадра сохраняется в базе данных зарегистрированных изображений, когда сопоставление изображения наилучшего кадра с зарегистрированным изображением является неудачным.

14. Способ сопоставления изображений, содержащий:

этап обнаружения объекта из изображения, получаемого посредством формирования изображений заданного местоположения с использованием блока формирования изображений;

этап отслеживания изображения одного и того же объекта с использованием блока слежения;

этап вычисления с использованием блока выбора оценочного значения, указывающего степень пригодности изображения человека для сопоставления с зарегистрированными изображениями, для каждого из изображений одного и того же объекта и выбора изображения объекта, оценочное значение которого равно или больше заданного значения, в качестве изображения наилучшего кадра;

этап выполнения процесса сопоставления для сопоставления изображения наилучшего кадра с зарегистрированным изображением и определения, является ли объект, присутствующий в заданном местоположении, предварительно зарегистрированным объектом с использованием блока сопоставления; и

этап отображения результата выполнения процесса сопоставления с помощью блока отображения;

причем способ сопоставления изображений включает в себя:

этап сохранения изображения наилучшего кадра с использованием блока хранения; и

этап обновления или повторной подготовки выражения оценки наилучшего кадра с помощью блока подготовки с использованием заданного алгоритма механического обучения на основе инструктирующих данных, хранимых в базе инструктирующих данных, так, чтобы изображение, подходящее для сопоставления с зарегистрированными изображениями, было выбрано в качестве изображения наилучшего кадра, и которое вычисляет оценочное значение.

15. Способ сопоставления изображений по п. 14, содержащий

этап обнаружения изображения объекта из множества кадров, составляющих динамическое изображение, которое получено посредством формирования изображений заданного местоположения с использованием блока формирования изображений.

16. Способ сопоставления изображений по п. 14, содержащий

этап отслеживания изображения одного и того же объекта в множестве кадров.

17. Способ сопоставления изображений по п. 14, содержащий

этап вычисления оценочного значения, которое указывает степень пригодности изображения объекта для сопоставления с зарегистрированным изображением предварительно зарегистрированного объекта, используя заданное выражение оценки для каждого из изображений одного и того же объекта, и выбора изображения объекта, оценочное значение которого равно или больше заданного значения, среди обнаруженных изображений объекта в качестве изображения наилучшего кадра.

18. Способ сопоставления изображений по п. 14, содержащий

этап сохранения изображения наилучшего кадра объекта, который определен как предварительно зарегистрированный объект, среди изображений наилучшего кадра.

19. Способ сопоставления изображений по п. 14, содержащий

этап обновления или повторной подготовки выражения оценки таким образом, чтобы оценочное значение изображения объекта, которое подходит для сопоставления с зарегистрированным изображением, увеличивалось, на основе изображения наилучшего кадра, сохраненного в блоке хранения.