УСТРОЙСТВО СОДЕЙСТВИЯ В ОТСЛЕЖИВАНИИ, СИСТЕМА СОДЕЙСТВИЯ В ОТСЛЕЖИВАНИИ И СПОСОБ СОДЕЙСТВИЯ В ОТСЛЕЖИВАНИИ Российский патент 2015 года по МПК H04N7/18 G06T7/20 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству содействия в отслеживании, системе содействия в отслеживании и способу содействия в отслеживании для содействия контролирующему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, путем отображения на устройстве отображения экрана мониторинга, на котором несколько секций отображения расположены с возможностью отображения в реальном времени захваченных изображений, сделанных соответствующими камерами.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Некоторые из широко используемых систем мониторинга включают в себя несколько камер, установленных в контролируемой зоне, и монитор, выполненный с возможностью отображения экрана мониторинга, на котором несколько секций отображения расположены с возможностью отображения в реальном времени захваченных изображений, сделанных соответствующими камерами, так что контролирующий человек может контролировать контролируемую зону. В такой системе мониторинга, если контролирующий человек находит подозрительного человека на экране мониторинга, контролирующий человек будет следить за подозрительным человеком, при этом наблюдая за несколькими секциями отображения на экране мониторинга, чтобы увидеть, как человек ведет себя впоследствии.

В случае когда контролирующий человек следит за человеком, при этом наблюдая за несколькими секциями отображения на экране мониторинга, как упомянуто выше, от контролирующего человека требуется, чтобы он определил секцию отображения, на которой человек появится (или будет отображен) далее, из направления движения контролируемого человека, но если определение следующей секции отображения занимает много времени, контролирующий человек может потерять из вида человека, за которым должен осуществляться контроль. Следовательно, требуется конфигурация для уменьшения нагрузки контролирующего человека и предоставления возможности осуществления отслеживания человека без сбоев.

Относительно такого требования, традиционно известна технология, в которой на основе информации, такой как направление движения контролируемого человека, предсказывается камера, которая впоследствии захватит изображение человека, и секция отображения, отображающая захваченное изображение, сделанное этой камерой, отображается рядом с секцией отображения, на которой контролируемый человек в настоящее время появляется (см. JP2005-012415A). Также известна технология, в которой экран мониторинга отображается так, что экран мониторинга включает в себя изображение карты, представляющее контролируемую зону, на котором расположены изображения, представляющие камеры (отметки камер) и секции отображения для отображения захваченных изображений, сделанных камерами (см. JP2010-268186A).

В случае когда камера, которая затем захватит изображение контролируемого человека, предсказывается, как в технологии, раскрытой в JP2005-012415A, если происходит сбой в обнаружении направления движения контролируемого человека или тому подобное, может быть предсказана неправильная камера, и это может привести к тому, что контролирующий человек потеряет из вида контролируемого человека. Таким образом, требуется конфигурация, которая при возникновении сбоя в обнаружении направления движения или тому подобном делает подходящее исправление в соответствии с вводом контролирующим человеком инструкции коррекции.

Относительно такого требования известна технология, в которой следящее устройство выполнено с возможностью выполнения процесса слежения с использованием точки интереса, установленной на движущемся объекте, и если отслеживание точки интереса становится трудным, меняют точку интереса в соответствии с вводом пользователем (контролирующим человеком) инструкции коррекции, чтобы таким образом продолжить процесс слежения (см. JP2007-272732A).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В методе, раскрытом в JP2005-012415A, поскольку камера, которая далее захватит изображение контролируемого человека (следующая камера), предсказывается, и захваченное изображение, сделанное этой камерой, отображается, нагрузка контролирующего человека может быть уменьшена. Однако, если есть другой человек в дополнение к контролируемому человеку в захваченном изображении, сделанном камерой, которая в настоящее время захватывает изображение контролируемого человека, предсказание следующей камеры может быть выполнено на основе направления движения другого человека. В таком случае предсказание следующей камеры делается некорректно, и это может привести к тому, что контролирующий человек потеряет из вида контролируемого человека.

С другой стороны, в технологии, раскрытой в JP2010-268186A, взаимное расположение между камерами на изображении карты дает возможность контролирующему человеку предсказать в известной мере секцию отображения, в которой контролируемый человек появится в следующий раз, и таким образом, нагрузка контролирующего человека может быть до некоторой степени уменьшена. Однако, в случае когда множество секций отображения расположено на экране в соответствии с количеством установленных камер, трудно определить следующую секцию отображения быстро и точно из множества секций отображения, и таким образом, нагрузка контролирующего человека все еще может быть высокой, и остается большой шанс, что контролируемый человек может уйти от слежения.

Кроме того, в технологии, раскрытой в JP2007-272732A, даже в условиях, в которых трудно для следящего устройства выполнять процесс слежения, с помощью контролирующего человека процесс слежения может быть продолжен без прерывания. Однако эта технология предшествующего уровня техники относится только к внутрикамерному процессу слежения, выполняемому на основе захваченных изображений, сделанных единственной камерой. С другой стороны, ошибка может возникнуть в междукамерном процессе слежения, который связывает информацию слежения, полученную внутрикамерным процессом слежения для одной камеры, с информацией слежения, полученной внутрикамерным процессом слежения для другой, и если ошибка фактически возникает в междукамерном процессе слежения, может непреднамеренно произойти изменение человека, который должен отслеживаться. Предшествующий уровень техники не предоставляет какой-либо эффективной меры для борьбы с ошибкой, которая может произойти в междукамерном процессе слежения.

Настоящее изобретение сделано, чтобы решить такие проблемы предшествующего уровня техники, и основная задача настоящего изобретения заключается в том, чтобы предоставить устройство содействия в отслеживании, систему содействия в отслеживании и способ содействия в отслеживании, выполненные с возможностью должным образом выполнять процесс содействия, чтобы уменьшить нагрузку контролирующего человека в отслеживании контролируемого человека, при этом наблюдая захваченные изображения, сделанные множеством камер и отображаемые на экране мониторинга, так что контролирующий человек может продолжить отслеживание без потери из вида контролируемого человека. Дополнительная цель настоящего изобретения заключается в том, чтобы позволить, чтобы отслеживание выполнялось непрерывно, даже когда прерывание или ошибка возникает в процессе слежения, выполняемом устройством слежения.

Для решения упомянутой выше задачи первый аспект настоящего изобретения предоставляет устройство содействия в отслеживании для содействия контролирующему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, путем отображения на устройстве отображения экрана мониторинга, на котором множество видов отображения для отображения в реальном времени захваченных изображений, сделанных соответствующими камерами, расположено на изображении карты, представляющем контролируемую зону в соответствии с фактическим расположением камер, включая: блок установки цели, которая должна отслеживаться, который в ответ на операцию ввода, выполняемую контролирующим человеком на одном из видов отображения, чтобы обозначить движущийся объект, который должен отслеживаться, устанавливает обозначенный движущийся объект в качестве цели, которая должна отслеживаться; блок указания цели, которая должна отслеживаться, который на основе информации слежения, полученной путем обработки захваченных изображений, указывает движущийся объект, установленный в качестве цели, которая должна отслеживаться, на каждом из видов отображения, на которых появляется движущийся объект, установленный в качестве цели, которая должна отслеживаться; блок предсказания, который предсказывает следующий вид отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, на основе информации слежения; и блок указания вида отображения, который указывает следующий вид отображения, предсказанный блоком предсказания, на экране мониторинга, где блок указания цели, которая должна отслеживаться, предоставляет первое выделение, чтобы выделить рамку движущегося объекта, связанную с движущимся объектом, установленным в качестве цели, которая должна отслеживаться, а блок указания вида отображения предоставляет второе выделение, чтобы выделить рамку отображения, связанную со следующим видом отображения, предсказанным блоком предсказания.

В соответствии с этой структурой, когда контролирующий человек отслеживает в реальном времени контролируемый движущийся объект, при этом наблюдая за захваченными изображениями, сделанными множеством камер и отображаемыми на экране мониторинга, контролирующий человек может иметь меньшую сложность в нахождении следующего вида отображения из множества видов отображения, и таким образом, нагрузка контролирующего человека, выполняющего задачу отслеживания, может быть существенно уменьшена, и отслеживание может быть продолжено без потери из вида движущегося объекта, обозначенного в качестве цели, которая должна отслеживаться. Дополнительно, даже когда несколько движущихся объектов появляются на виде отображения, цель, которая должна отслеживаться, может быть определена однозначно, и таким образом, возможно избежать ошибочного указания следующего вида отображения.

В этом случае камера, которая будет следующей делать изображение движущегося объекта, установленного в качестве цели, которая должна отслеживаться, а именно вид отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, может быть предсказан из направления движения движущегося объекта и относительного расположения между движущимся объектом и областью формирования изображения каждой камеры.

Во втором аспекте настоящего изобретения устройство содействия в отслеживании дополнительно включает в себя блок управления, который в состоянии, в котором движущийся объект установлен в качестве цели, которая должна отслеживаться, когда контролирующий человек, замечающий, что указание цели, которая должна отслеживаться блоком указания цели, которая должна отслеживаться, некорректно, выполняет операцию ввода, приводит к тому, что блок установки цели, которая должна отслеживаться, выполняет процесс изменения движущегося объекта, установленного в качестве цели, которая должна отслеживаться.

В соответствии с этой структурой движущийся объект, установленный в качестве цели, которая должна отслеживаться, указывается на экране мониторинга, и контролирующий человек может заметить ошибку, относящуюся к движущемуся объекту, установленному в качестве цели, которая должна отслеживаться, и выполнить операцию для обозначения корректного движущегося объекта в качестве цели, которая должна отслеживаться, чтобы таким образом изменить движущийся объект, установленный в качестве цели, которая должна отслеживаться, так что на экране мониторинга, отображенном после этого, движущийся объект, обозначенный в качестве цели, которая должна отслеживаться, появится на предсказанном следующем виде отображения без сбоя, и отслеживание может быть продолжено без потери вида движущегося объекта, обозначенного в качестве цели, которая должна отслеживаться. Кроме того, когда движущийся объект, установленный в качестве цели, которая должна отслеживаться, отображается на предсказанном следующем виде отображения, контролирующий человек может быстро проверить отображаемый движущийся объект, и, следовательно, контролирующий человек может быстро заметить некорректную установку цели, которая должна отслеживаться, если такая есть, и скорректировать установку цели, которая должна отслеживаться, без сбоя.

В этом случае, когда блок установки цели, которая должна отслеживаться, выполняет процесс изменения движущегося объекта, установленного в качестве цели, которая должна отслеживаться, выполняется процесс отражения изменения цели, которая должна отслеживаться, на информацию слежения, а именно процесс коррекции информации слежения.

В третьем аспекте настоящего изобретения, когда движущийся объект установлен заново блоком установки цели, которая должна отслеживаться, в качестве цели, которая должна отслеживаться, блок указания вида отображения предоставляет третье выделение виду отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, в настоящее время появляется, так что вид отображения отличается от других видов отображения.

В соответствии с этой структурой контролирующий человек может легко найти вид отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, в настоящее время появляется, и таким образом, нагрузка контролирующего человека, выполняющего задачу отслеживания, может быть уменьшена.

В четвертом аспекте настоящего изобретения предоставлена система содействия в отслеживании для содействия контролирующему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, путем отображения на устройстве отображения экрана мониторинга, на котором множество видов отображения для отображения в реальном времени захваченных изображений, сделанных соответствующими камерами, расположено на изображении карты, представляющем контролируемую зону в соответствии с фактическим расположением камер, включающая в себя: камеры, захватывающие изображения контролируемой зоны; устройство отображения, которое отображает экран мониторинга; и множество устройств обработки информации, где множество устройств обработки информации совокупно включают в себя: блок обработки слежения, который отслеживает движущийся объект(ы), обнаруженные из захваченных изображений, и генерирует информацию слежения каждого движущегося объекта; блок установки цели, которая должна отслеживаться, который в ответ на операцию ввода, выполняемую контролирующим человеком на одном из видов отображения, чтобы обозначить движущийся объект, который должен отслеживаться, устанавливает обозначенный движущийся объект в качестве цели, которая должна отслеживаться; блок указания цели, которая должна отслеживаться, который на основе информации слежения, полученной из блока обработки слежения, указывает движущийся объект, установленный в качестве цели, которая должна отслеживаться, на каждом из видов отображения, на которых появляется движущийся объект, установленный в качестве цели, которая должна отслеживаться; блок предсказания, который предсказывает следующий вид отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, на основе информации слежения; и блок указания вида отображения, который указывает следующий вид отображения, предсказанный блоком предсказания, на экране мониторинга, причем блок указания цели, которая должна отслеживаться, предоставляет первое выделение, чтобы выделить рамку движущегося объекта, связанную с движущимся объектом, установленным в качестве цели, которая должна отслеживаться, а блок указания вида отображения предоставляет второе выделение, чтобы выделить рамку отображения, связанную со следующим видом отображения, предсказанным блоком предсказания.

В соответствии с этой структурой, подобно структуре в первом аспекте изобретения, описанной выше, когда контролирующий человек отслеживает в реальном времени контролируемый движущийся объект, при этом наблюдая за захваченными изображениями, сделанными множеством камер и отображаемыми на экране мониторинга, нагрузка контролирующего человека, выполняющего задачу отслеживания, может быть существенно уменьшена, и отслеживание может быть продолжено без потери из вида движущегося объекта, обозначенного в качестве цели, которая должна отслеживаться.

В пятом аспекте настоящего изобретения предоставлен способ содействия в отслеживании для содействия контролирующему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, путем отображения на устройстве отображения экрана мониторинга, на котором множество видов отображения для отображения в реальном времени захваченных изображений, сделанных соответствующими камерами, расположено на изображении карты, представляющем контролируемую зону в соответствии с фактическим расположением камер, включающий в себя: этап установки, в ответ на операцию ввода, выполняемую контролирующим человеком на одном из видов отображения для обозначения движущегося объекта, который должен отслеживаться, обозначенного движущегося объекта в качестве цели, которая должна отслеживаться; этап указания на основе информации слежения, полученной путем обработки захваченных изображений, движущегося объекта, установленного в качестве цели, которая должна отслеживаться, на каждом из видов отображения, на котором появляется движущийся объект, установленный в качестве цели, которая должна отслеживаться; этап предсказания следующего вида отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз на основе информации слежения; и этап указания следующего вида отображения, предсказанного этапом предсказания, на экране мониторинга, причем этап указания движущегося объекта, установленного в качестве цели, которая должна отслеживаться, предоставляет первое выделение, чтобы выделить рамку движущегося объекта, связанную с движущимся объектом, установленным в качестве цели, которая должна отслеживаться, а этап указания следующего вида отображения предоставляет второе выделение, чтобы выделить рамку отображения, связанную со следующим видом отображения, предсказанным этапом предсказания.

В соответствии с этой структурой, подобно структуре в первом аспекте изобретения, описанной выше, когда контролирующий человек отслеживает в реальном времени контролируемый движущийся объект, при этом наблюдая за захваченными изображениями, сделанными множеством камер и отображаемыми на экране мониторинга, нагрузка контролирующего человека, выполняющего задачу отслеживания, может быть существенно уменьшена, и отслеживание может быть продолжено без потери из вида движущегося объекта, обозначенного в качестве цели, которая должна отслеживаться.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Далее настоящее изобретение будет описано ниже в терминах предпочтительных вариантов его осуществления со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 представляет собой схему, показывающую общую конфигурацию системы содействия в отслеживании в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 2 представляет собой общий вид, показывающий расположение камер 1a-1d в магазине;

Фиг. 3 представляет собой функциональную структурную схему, схематически показывающую конфигурацию PC 3:

Фиг. 4 представляет собой поясняющую схему, показывающую экран мониторинга, где человек, который должен отслеживаться, не был установлен;

Фиг. 5 представляет собой поясняющую схему, показывающую экран мониторинга, где человек, который должен отслеживаться, был установлен;

Фиг. 6 представляет собой поясняющую схему, показывающую экран мониторинга, когда человек, который был установлен в качестве цели, которая должна отслеживаться, переместился, чтобы появиться на следующем виде отображения;

Фиг. 7 представляет собой поясняющую схему, показывающую экран мониторинга, когда человек, который был установлен в качестве цели, которая должна отслеживаться, изменился.

Фиг. 8 представляет собой поясняющую схему, показывающую экран мониторинга, когда человек, который был установлен в качестве цели, которая должна отслеживаться, переместился, чтобы появиться на следующем виде отображения;

Фиг. 9 представляет собой блок-схему, показывающую процедуру процессов, выполняемых различными блоками PC 3, и операции, выполняемые контролирующим человеком на экране мониторинга;

Фиг. 10 представляет собой поясняющую схему, показывающую временной переход состояний изображений 45, 46 рамок, отображаемых на видах 43a-43d отображения экрана мониторинга;

Фиг. 11A-11C представляют собой поясняющие схемы для объяснения перехода состояний видов 43a-43d отображения экрана мониторинга; и

Фиг. 12A-12D представляют собой поясняющие схемы для объяснения перехода состояний видов 43a-43d отображения экрана мониторинга.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

В дальнейшем варианты осуществления настоящего изобретения будут описаны со ссылкой на чертежи. В последующем описании термины "отслеживание" и "слежение", имея по существу один смысл, сосуществуют. Это только ради удобства объяснения. Термин "отслеживание" в основном используется в описании конфигурации, тесно связанной с контролирующим человеком, тогда как термин "слежение" в основном используется в описании конфигурации, тесно связанной с внутренней функцией/процессом устройства.

Фиг. 1 представляет собой схему, показывающую общую конфигурацию системы содействия в отслеживании в соответствии с настоящим вариантом осуществления. Система содействия в отслеживании выполнена с возможностью использования в розничном магазине, например супермаркете или подобном, и включает в себя камеры 1a-1d, записывающее устройство (записывающее изображения устройство) 2, PC (Персональный Компьютер) (устройство содействия в отслеживании) 3 и устройства обработки внутрикамерного слежения.

Камеры 1a-1d установлены в подходящих местоположениях в магазине, чтобы захватывать изображения контролируемой зоны в магазине, и графическая информация, полученная таким образом, записывается в записывающее устройство 2.

PC 3 соединен с устройством 6 ввода, таким как мышь, для того, чтобы контролирующий человек выполнял различные операции ввода, и монитором (устройством отображения) 7, на котором отображается экран мониторинга. Следует отметить, что устройство ввода 6 и монитор 7 могут быть воплощены как сенсорный дисплей.

PC 3 установлен в пункте безопасности или тому подобном магазина, так что контролирующий человек (например, охранник) может видеть изображения в реальном времени интерьера магазина, сделанные камерами 1a-1d, показанные на экране мониторинга, отображенном на мониторе 7, или прошлые изображения интерьера магазина, записанные в записывающем устройстве 2.

PC 11, установленный в офисе управления, также соединен с монитором, не показанным на чертежах, так что пользователь в офисе управления может проверить ситуацию в магазине путем просмотра изображений реального времени интерьера магазина, сделанных камерами 1a-1d, или прошлые изображения интерьера магазина, записанные в записывающем устройстве 2.

Устройства 4 обработки внутрикамерного слежения выполняют процесс слежения за человеком (людьми), обнаруженным из захваченных изображений, сделанных соответствующими камерами 1a-1d, и генерирования информации слежения (внутрикамерной информации слежения) для каждого человека. Внутрикамерный процесс слежения может быть выполнен путем использования известной технологии распознавания изображений (технология обнаружения человека, технология отслеживания за человеком и т.д.).

PC 3 дополнительно включает в себя блок 5 обработки междукамерного слежения. Блок 5 обработки междукамерного слежения выполняет процесс получения внутрикамерной информации слежения из устройств 4 обработки внутрикамерного слежения и связывания людей, обнаруженных из захваченных изображений, сделанных камерами 1a-1d внутрикамерным процессом слежения, друг с другом, так что становится возможным непрерывно следить за человеком через захваченные изображения, сделанные различными из нескольких камер 1a-1d.

В настоящем варианте осуществления каждое устройство 4 обработки внутрикамерного слежения выполнено с возможностью выполнения внутрикамерного процесса слежения в любом случае независимо от PC 3. Однако процесс слежения может быть выполнен в ответ на инструкцию от PC 3. Кроме того, хотя предпочтительно, чтобы каждое устройство 4 обработки внутрикамерного слежения выполняло процесс слежения для всех людей, обнаруженных из захваченных изображений, сделанных соответствующей камерой, процесс слежения может быть выполнен только по отношению к человеку, обозначенному в качестве цели, которая должна отслеживаться, и человеку (людям), кто тесно связан с этим человеком.

Фиг. 2 представляет собой общий вид, показывающий расположение камер 1a-1d в магазине. В проиллюстрированной контролируемой зоне в магазине проходы расположены между пространствами отображения предметов, и камеры 1a-1d с первой по четвертую установлены, чтобы в основном захватывать изображения этих проходов.

Когда человек перемещается по проходу, изображение человека захватывается одной или более из камер 1a-1d с первой по четвертую, и камера(ы), захватывающая изображения человека, меняется вместе с перемещением человека. В настоящем варианте осуществления будет сделано описание примера, в котором человек перемещается так, что изображение человека захватывается камерами 1a-1c с первой по третью в порядке первая камера 1a, вторая камера 1b и третья камера 1c, хотя путь перемещения человека не ограничен этим примером.

Затем будет дано описание процесса содействия в отслеживании, выполняемого PC 3, показанным на Фиг. 1. Фиг. 3 представляет собой функциональную структурную схему, схематически показывающую конфигурацию PC 3. Фиг. 4-8 представляют собой поясняющие схемы, каждая показывающая экран мониторинга, отображаемый на мониторе 7. Сначала будет объяснен план экрана мониторинга, показанного на Фиг. 4-8.

На экранах мониторинга, показанных на Фиг. 4-8, отметки 42 камер (изображения, иллюстрирующие камеры) для соответствующих камер 1a-1d расположены на изображении 41 карты, представляющем контролируемую зону, в местоположениях в соответствии с фактическим расположением камер 1a-1d. Кроме того, несколько видов 43a-43d отображения (секций отображения), отображающих в реальном времени захваченные изображения, сделанные соответствующими камерами 1a-1d, расположены вблизи соответствующих отметок 42 камер.

Отметки 42 камер показаны под углами, чтобы указать направление формирования изображения соответствующих камер 1a-1d, посредством чего контролирующий человек может примерно знать области формирования изображения камер 1a-1d. Виды 43a-43d отображения расположены в местоположениях, по существу соответствующих областям формирования изображения соответствующих камер 1a-1d, посредством чего контролирующий человек может примерно знать, какая часть контролируемой зоны, представленной изображением 41 карты, отображена на каждом из видов 43a-43d отображения.

Кроме того, на экране мониторинга предоставлено выделение одного из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, в настоящее время появляется, и другого из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, чтобы отличить их от других видов 43a-43d отображения. В частности, в настоящем варианте осуществления, в качестве выделения, изображения 45, 46 рамок, которые раскрашены в предопределенные цвета, отображаются, так что каждая расположена на внешней периферии одного из видов 43a-43d отображения, которые должны быть выделены. Кроме того, чтобы отличить один из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появляется в настоящий момент, от одного из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, изображения 45, 46 рамки раскрашиваются разными цветами; например, изображение 45 рамки в голубом цвете отображается в связи с одним из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появляется в настоящий момент, тогда как изображение 46 рамки в красном цвете отображается в связи с одним из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз. Следует отметить, что если человек, установленный в качестве цели, которая должна отслеживаться, в настоящий момент появляется на нескольких из видов 43a-43d отображения, несколько изображений 45 рамки могут быть отображены одновременно, так что каждое из нескольких видов 43a-43d отображения отображается с изображением 45 рамки.

Кроме того, на экране мониторинга каждый человек, обнаруженный на захваченных изображениях, отображенных на видах 43a-43d отображения, показан вместе с рамкой 47 обнаружения человека. Дополнительно, человек, установленный в качестве цели, которая должна отслеживаться, отображается вместе с рамкой 48 обнаружения человека, указывающей, что человек представляет собой цель, которая должна отслеживаться. Эта рамка 48 обнаружения человека выделена цветом (например, зеленым), чтобы отличить рамку 48 обнаружения человека от рамок 47 обнаружения человека, показанных в связи с другими обнаруженными людьми.

Таким образом, на видах 43a-43d отображения экрана мониторинга захваченные изображения, сделанные соответствующими камерами 1a-1d, отображаются в реальном времени. Контролирующий человек выполняет задачу отслеживания человека, который должен отслеживаться, при этом наблюдая виды 43a-43d отображения, а PC 3 выполняет процесс, чтобы содействовать контролирующему человеку в выполнении задачи отслеживания.

Далее будет дано описание каждого блока PC 3, показанного на Фиг. 3. PC 3 включает в себя, в дополнение к блоку 5 обработки междукамерного слежения, блок 21 обработки информации слежения, блок 22 хранения информации слежения, блок 23 установки цели, которая должна отслеживаться, блок 24 предсказания, блок 25 управления и блок 26 генерирования экрана.

Блок 21 обработки информации слежения выполняет процесс получения информации слежения из устройств 4 обработки внутрикамерного слежения и блока 5 обработки междукамерного слежения и хранения полученной информации слежения в блоке 22 хранения информации слежения. Кроме того, когда блок 23 установки цели, которая должна отслеживаться, выполняет процесс изменения человека, установленного в качестве цели, которая должна отслеживаться, блок 21 обработки информации слежения выполняет процесс коррекции информации слежения, относящейся к людям, имеющим отношение к изменению. Информация слежения, скорректированная таким образом, сохраняется в блоке 22 хранения информации слежения.

Блок 23 установки цели, которая должна отслеживаться, выполняет процесс установки назначенного человека в качестве цели, которая должна отслеживаться, в ответ на операцию ввода, выполняемую контролирующим человеком на одном из видов 43a-43d отображения на экране мониторинга, чтобы обозначить человека, который должен отслеживаться. Эта операция ввода контролирующего человека выполняется с использованием устройства 6 ввода, такого как мышь.

Блок 24 предсказания выполняет процесс получения информации отслеживания, относящейся к человеку, установленному в качестве цели, которая должна отслеживаться, из устройства 4 обработки внутрикамерного слежения и блока 5 обработки междукамерного слежения через блок 21 обработки информации слежения, и на основе информации слежения, предсказания одного из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, а именно одной из камер 1a-1d, которая в следующий раз захватит изображение человека, установленного в качестве цели, которая должна отслеживаться. В этом процессе предсказания направление движения человека, установленного в качестве цели, которая должна отслеживаться, и взаимное расположение между человеком, установленным в качестве цели, которая должна отслеживаться, и областью формирования изображения каждой из камер 1a-1d, получаются из информации слежения, и на основе полученной информации предсказывается одна из камер 1a-1d, которая в следующий раз захватит изображение человека, установленного в качестве цели, которая должна отслеживаться.

Блок 25 управления проводит управление так, что, будучи в состоянии, в котором человек, который должен отслеживаться, не был установлен (а именно нет человека, установленного в качестве цели, которая должна отслеживаться), операция ввода выполняется контролирующим человеком, блок 25 управления предписывает блоку 23 установки человека, который должен отслеживаться, выполнять процесс новой установки человека в качестве цели, которая должна отслеживаться, и будучи в состоянии, в котором человек, который должен отслеживаться, был установлен (а именно человек установлен в качестве цели, которая должна отслеживаться), контролирующий человек, заметив, что указание цели, которая должна отслеживаться, блоком 33 указания цели, которая должна отслеживаться (описано далее) блока 26 генерирования экрана, некорректно, выполняет операцию ввода, предписывает блоку 23 установки цели, которая должна отслеживаться, выполнять процесс изменения человека, установленного в качестве цели, которая должна отслеживаться.

В частности, будучи в состоянии, в котором нет людей, установленных в качестве цели, которая должна отслеживаться, контролирующий человек выполняет операцию ввода, чтобы обозначить человека, который должен отслеживаться, на одном из видов 43a-43d отображения на экране мониторинга, блок 23 установки цели, которая должна отслеживаться, выполняет процесс новой установки обозначенного человека в качестве цели, которая должна отслеживаться. Кроме того, будучи в состоянии, в котором человек был установлен в качестве цели, которая должна отслеживаться, контролирующий человек выполняет операцию ввода, чтобы обозначить человека, который должен отслеживаться, на одном из видов 43a-43d отображения на экране мониторинга, блок 23 установки цели, которая должна отслеживаться, выполняет процесс изменения человека, установленного в качестве цели, которая должна отслеживаться, на обозначенного человека.

Блок 26 генерирования экрана генерирует экран мониторинга (см. Фиг. 4-8), который должен отображаться на мониторе 7, и включает в себя блок 31 генерирования базового экрана, блок 32 указания вида отображения, блок 33 указания цели, которая должна отслеживаться, и блок 34 обработки захваченного изображения.

Блок 31 генерирования базового экрана выполняет процесс генерирования базового экрана (фонового экрана), на котором отметки 42 камер для соответствующих камер 1a-1d и пустые рамки (не включающие в себя захваченные изображения) нескольких видов 43a-43d отображения, на которых захваченные изображения, сделанные соответствующими камерами 1a-1d, должны быть отображены, расположены на изображении карты, представляющем контролируемую зону.

Блок 32 указания вида отображения выполняет процесс указания на экране мониторинга одного из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз (это вид отображения может называться следующим видом отображения), где следующий вид отображения предсказывается блоком 24 предсказания. В частности, в настоящем варианте осуществления один из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, снабжен выделением, чтобы отличить его от других из видов 43a-43d отображения. Кроме того, когда блок 23 установки цели, которая должна отслеживаться, заново устанавливает человека в качестве цели, которая должна отслеживаться, блок 32 указания вида отображения выполняет процесс предоставления выделения одному из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, в настоящее время появляется, чтобы отличить его от других из видов 43a-43d отображения.

В частности, в качестве выделения, изображения 45, 46 рамки, которые раскрашены в предопределенные цвета, отображаются так, что каждое расположено на внешней периферии одного из видов 43a-43d отображения, которое должно быть выделено. Кроме того, чтобы предоставить возможность контролирующему человеку быстро отличить один из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появляется в настоящий момент, от одного из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, изображения 45, 46 рамки раскрашиваются разными цветами; например, изображение 45 рамки в голубом цвете отображается в связи с одним из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появляется в настоящий момент, тогда как изображение 46 рамки в красном цвете отображается в связи с одним из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз.

Блок 33 указания цели, которая должна отслеживаться, выполняет процесс получения информации слежения из устройств 4 обработки внутрикамерного слежения и блока 5 обработки междукамерного слежения, и на основе информации слежения, указания человека, установленного в качестве цели, которая должна отслеживаться, на каждом из видов 43a-43d отображения, на котором появляется человек, установленный в качестве цели, которая должна отслеживаться. В частности, в настоящем варианте осуществления изображение человека, установленного в качестве цели, которая должна отслеживаться, которое отображается на видах 43a-43d отображения, снабжено выделением, чтобы отличить человека от других людей. Более конкретно, в качестве выделения, человек, установленный в качестве цели, которая должна отслеживаться, показан вместе с рамкой 48 обнаружения человека, которая указывает, что человек представляет собой цель, которая должна отслеживаться. Эта рамка 48 обнаружения человека выделена цветом (например, зеленым), который может отличить рамку 48 обнаружения человека от рамок 47 обнаружения человека, показанных в связи с каждым человеком, обнаруженным на захваченных изображениях.

Блок 34 обработки захваченного изображения выполняет процесс встраивания захваченных изображений, полученных из камер 1a-1d, в соответствующие виды 43a-43d отображения на базовом экране, сгенерированном блоком 31 генерирования базового экрана.

Следует отметить, что различные блоки PC 3, показанные на Фиг. 3, реализуются путем выполнения программ для содействия в отслеживании посредством CPU PC 3. Эти программы могут быть предустановлены в PC 3, служащем в качестве устройства обработки информации, чтобы воплотить устройство, предназначенное для содействия в отслеживании, или могут быть предоставлены пользователю в форме, хранимой на соответствующем носителе записи программ, в качестве прикладной программы, которая может быть запущена на ОС общего назначения.

Далее будет дано подробное описание экрана мониторинга, показанного на Фиг. 4-8, и операций, выполняемых контролирующим человеком на экране мониторинга. Фиг. 9 представляет собой блок-схему, показывающую процедуру процессов, выполняемых различными блоками PC 3, показанного на Фиг.3, и операции, выполняемые контролирующим человеком на экране мониторинга.

Сначала, когда выполняется операция для начала контроля в реальном времени (ST101 на Фиг. 9), процесс контроля в реальном времени начинается и, как показано на Фиг. 4, отображается экран мониторинга в состоянии, в котором человек, который должен отслеживаться, не был установлен. На этом экране мониторинга контролирующий человек выполняет операцию для обозначения человека, который должен отслеживаться (ST102 на Фиг. 9). В частности, контролирующий человек использует устройство 6 ввода, такое как мышь, чтобы переместить указатель 51 на изображение человека, которого желательно отслеживать, который появляется на захваченном изображении, отображаемом на одном из видов 43a-43d отображения (первый вид 43a отображения в примере, показанном на Фиг. 4), и выполняет операцию для выбора человека (операция нажатия кнопки в случае мыши).

В ответ на то, что контролирующий человек выполняет операцию на экране мониторинга по обозначению человека, который должен отслеживаться, как описано выше, блок 23 установки цели, которая должна отслеживаться, выполняет процесс новой установки обозначенного человека в качестве цели, которая должна отслеживаться. Впоследствии блок 24 предсказания выполняет процесс предсказания одного из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз (ST103 на Фиг. 9).

Затем блок 26 генерирования экрана выполняет процесс генерирования экрана мониторинга в состоянии, когда человек, который должен отслеживаться, был установлен, как показано на Фиг. 5. В это время блок 32 указания вида отображения выполняет процесс отображения изображения 46 рамки на одном из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз (второй вид 43b отображения в примере, показанном на Фиг. 5) в качестве выделения (ST104 на Фиг. 9). Кроме того, блок 32 указания вида отображения выполняет процесс отображения изображения 45 рамки на одном из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появляется в настоящий момент (первый вид 43a отображения в примере, показанном на Фиг. 5) в качестве выделения.

Затем блок 25 управления выполняет определение того, была ли выполнена операция по коррекции цели, которая должна отслеживаться, на экране мониторинга контролирующим человеком. Если операция по коррекции цели, которая должна отслеживаться, не была выполнена (НЕТ на ST105 на Фиг. 9) и человек, установленный в качестве цели, которая должна отслеживаться, покидает область формирования изображения одной из камер 1a-1d, которые захватывали изображение человека, установленного в качестве цели, которая должна отслеживаться, так что внутрикамерный процесс слежения, относящийся к человеку, установленному в качестве цели, которая должна отслеживаться, прекращается (ST107 на Фиг. 9), блок 5 обработки междукамерного слежения получает информацию внутрикамерного слежения из устройства 4 обработки внутрикамерного слежения одной из камер 1a-1d, соответствующей следующему виду отображения (одному из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз), предсказанному блоком 24 предсказания, и на основе внутрикамерной информации слежения выполняет процесс поиска человека, обозначенного в качестве цели, которая должна отслеживаться, на захваченных изображениях, сделанных "следующей камерой", которая представляет собой одну из камер 1a-1d, соответствующих следующему виду отображения (ST108 на Фиг. 9).

Если человек, обозначенный в качестве цели, которая должна отслеживаться, найден на захваченных изображениях, сделанных следующей камерой (ДА на ST109 на Фиг. 9), поток управления переходит назад к этапу, где блок 24 предсказания предсказывает один из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз (ST103 на Фиг. 9), и описанные выше процессы и операции повторяются.

Таким образом, когда человек, установленный в качестве цели, которая должна отслеживаться, перемещается, как показано на Фиг. 6, отображается экран мониторинга, на котором человек, установленный в качестве цели, которая должна отслеживаться, появляется на одном из видов 43a-43d отображения, который был предсказан в качестве следующего вида отображения (второй вид 43b отображения в примере, показанном на Фиг. 6). На этом экране мониторинга контролирующий человек проверяет, корректен ли человек, установленный в качестве цели, которая должна отслеживаться.

Если обнаружено, что человек, установленный в качестве цели, которая должна отслеживаться, некорректен, то есть человек, отображенный вместе с рамкой 48 обнаружения человека, указывающей цель, которая должна отслеживаться, отличается от человека, обозначенного в качестве цели, которая должна отслеживаться на экране мониторинга, показанном на Фиг. 5, контролирующий человек выполняет операцию по исправлению человека, установленного в качестве цели, которая должна отслеживаться, как показано на Фиг. 7. В этой операции для коррекции цели, которая должна отслеживаться, подобно операции по назначению человека в качестве цели, которая должна отслеживаться, показанной на Фиг. 4, устройство 6 ввода, такое как мышь, управляется для перемещения указателя на изображение человека, который должен быть установлен в качестве цели, которая должна отслеживаться, и затем выполняется операция для выбора человека (операция нажатия кнопки в случае мыши).

Когда контролирующий человек выполнил операцию по исправлению цели, которая должна отслеживаться на экране мониторинга, как описано выше (ДА на ST105 на Фиг. 9), выполняется процесс отражения операции коррекции. В частности, блок 23 установки цели, которая должна отслеживаться, выполняет процесс изменения цели, которая должна отслеживаться, на человека, обозначенного операцией по изменению цели, которая должна отслеживаться (ST106 на Фиг. 9). Впоследствии блок 33 указания цели, которая должна отслеживаться, выполняет процесс отображения рамки 48 обнаружения человека, указывая цель, которая должна отслеживаться, так что рамка 48 обнаружения человека связывается с человеком, установленным в качестве цели, которая должна отслеживаться. Кроме того, блок 21 обработки информации слежения выполняет процесс коррекции информации слежения, относящейся к человеку, установленному в качестве корректной цели, которая должна отслеживаться, и человеку, ошибочно распознанному в качестве цели, которая должна отслеживаться.

После завершения процесса отражения операции коррекции поток управления переходит назад к этапу, где блок 24 предсказания предсказывает один из видов 43a-43d отображения, на которых человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз (ST103 на Фиг. 9), и описанные выше процессы и операции повторяются.

После этого, когда человек, установленный в качестве цели, которая должна отслеживаться, дополнительно перемещается, как показано на Фиг. 8, отображается экран мониторинга, на котором человек, установленный в качестве цели, которая должна отслеживаться, появляется на одном из видов 43a-43d отображения, который был предсказан в качестве следующего вида отображения (третий вид 43c отображения в примере, показанном на Фиг. 8). На этом экране мониторинга также контролирующий человек проверяет, корректен ли человек, установленный в качестве цели, которая должна отслеживаться. На экране мониторинга, показанном на Фиг. 8, рамка 48 обнаружения человека, указывающая цель, которая должна отслеживаться, отображается на человеке, установленном снова в качестве корректной цели, которая должна отслеживаться на экране мониторинга на Фиг. 7, и таким образом, может быть подтверждено, что цель, которая должна отслеживаться, была изменена обратно на корректного человека.

Как описано выше, в настоящем варианте осуществления следующий вид отображения (одно из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз) предсказывается блоком 24 предсказания, и предсказанный следующий вид отображения указывается блоком 32 указания вида отображения контролирующему человеку, и, таким образом, контролирующий человек может иметь меньше трудностей в нахождении следующего вида отображения из числа множества видов 43a-43d отображения, посредством чего нагрузка контролирующего человека может быть существенно сокращена. Кроме того, возможно избежать потери из вида человека, который должен отслеживаться, что может случиться, если требуется много времени, чтобы найти следующий вид отображения. Кроме того, даже когда несколько человек появляются на одном из видов 43a-43d отображения, представляющих интерес, человек, который должен отслеживаться, может быть определен однозначно, и, таким образом, возможно избежать ошибочного указания одного из видов 43a-43d отображения, на котором человек, отличный от человека, который должен отслеживаться, появится в следующий раз.

Кроме того, в настоящем варианте осуществления изображение 46 рамки отображается на экране мониторинга в связи с одним из видов 43a-43d отображения, предсказанным в качестве следующего вида отображения, так что изображение 46 рамки служит в качестве выделения, чтобы отличить следующий вид отображения от других из видов 43a-43d отображения, и, следовательно, контролирующий человек может легко найти следующий вид отображения, посредством чего нагрузка контролирующего человека, выполняющего задачу отслеживания, может быть уменьшена.

Еще дополнительно, в настоящем варианте осуществления когда человек, который должен отслеживаться, заново установлен, один из видов 43a-43d отображения, на котором человек, который должен отслеживаться (более конкретно, человек, установленный в качестве цели, которая должна отслеживаться), появляется в настоящей момент, отображается вместе с изображением рамки, служащим в качестве выделения, чтобы отличить вид отображения от других из видов 43a-43d отображения, и, следовательно, контролирующий человек может легко найти один из видов 43a-43d отображения, на котором человек, который должен отслеживаться, появляется в настоящий момент, посредством чего нагрузка контролирующего человека, выполняющего задачу отслеживания, может быть уменьшена.

Следует отметить, что в приведенном выше варианте осуществления человек, который должен отслеживаться, был обозначен на первом виде 43a отображения, но обозначение человека (объекта), который должен отслеживаться, может быть выполнено на любом из множества видов 43a-43d отображения, и отслеживание человека, который должен отслеживаться контролирующим человеком, инициируется с одного из видов 43a-43d отображения, на котором человек, который должен отслеживаться, обозначен.

Следует также отметить, что человек, установленный в качестве цели, которая должна отслеживаться, может быть некорректным в результате ошибки слежения, которая может произойти во внутрикамерном процессе слежения, выполняемом устройством 4 обработки внутрикамерного слежения, и/или междукамерном процессе слежения, выполняемом блоком 5 обработки междукамерного слежения, и эта ошибка слежения с большей вероятностью произойдет в междукамерном процессе слежения, чем во внутрикамерном процессе слежения; а именно, ошибка слежения более вероятна в процессе связывания человека (людей), обнаруженного из внутрикамерного процесса слежения для одного вида отображения (или камеры), с человеком (людьми), обнаруженным из междукамерного процесса слежения для другого вида отображения (или камеры). Следовательно, операция коррекции для коррекции человека, установленного в качестве цели, которая должна отслеживаться, особенно требуется, когда вид отображения, отображающий человека, установленного в качестве цели, которая должна отслеживаться, переключается с одного из видов 43a-43d отображения на другой, как показано на Фиг. 6.

Далее будут описаны временные изменения изображений 45, 46 рамок, показанные на видах 43a-43d отображения экрана мониторинга. Фиг. 10 представляет собой поясняющую схему, показывающую временной переход состояний изображений 45, 46 рамок, показанных на видах 43a-43d отображения экрана мониторинга.

Когда человек (люди) обнаруживается из захваченных изображений устройством 4 обработки внутрикамерного слежения и процесс слежения начинается, рамка(и) 47 обнаружения человека отображается на видах 43a-43d отображения экрана мониторинга. Если в этом состоянии контролирующий человек выполняет операцию по обозначению человека, который должен отслеживаться, изображение голубой рамки отображается в связи с видом отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появляется в настоящий момент, так что изображение голубой рамки служит в качестве выделения.

Затем, когда выполняется процесс предсказания следующего вида отображения, т.е. одного из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, изображение красной рамки отображается в связи с предсказанным следующим видом отображения в качестве выделения.

После этого, когда человек, установленный в качестве цели, которая должна отслеживаться, перемещается, и устройство 4 обработки внутрикамерного слежения следующей камеры, а именно одной из камер 1a-1d, соответствующей следующему виду отображения, обнаруживает человека в захваченном изображении, люди, соответственно обнаруженные устройствами 4 обработки внутрикамерного слежения двух из камер 1a-1d, относящихся к перемещению человека, установленного в качестве цели, которая должна отслеживаться, связываются друг с другом с помощью блока 5 обработки междукамерного слежения, и если эта связь успешна, то есть если человек, обозначенный в качестве цели, которая должна отслеживаться, обнаружен устройством 4 обработки внутрикамерного слежения следующей камеры, выделение одного из видов 43a-43d отображения, который был предсказан в качестве следующего вида отображения, меняется с изображения красной рамки на изображение голубой рамки (а именно один из видов 43a-43d отображения, который был предсказан в качестве следующего вида отображения, теперь стал "текущим" видом отображения, на котором человек, который должен быть обнаружен, отображается в настоящее время).

Также, когда процесс слежения в устройстве 4 обработки внутрикамерного слежения одной из камер 1a-1d, которая ранее захватывала изображение человека, установленного в качестве цели, которая должна отслеживаться (эта камера может называться как более ранняя камера), прекращается, изображение голубой рамки, служащее в качестве выделения, исчезает с одного из видов 43a-43d отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, отображался. Следовательно, если срок завершения процесса слежения устройства 4 обработки внутрикамерного слежения более ранней камеры раньше, чем срок обнаружения человека, установленного в качестве цели, которая должна отслеживаться устройством 4 обработки внутрикамерного слежения следующей камеры, только следующий вид отображения будет отображаться вместе с изображением красной рамки в качестве выделения.

Далее будет дано описание эффекта коррекции человека, установленного в качестве цели, которая должна отслеживаться, когда человек, установленный в качестве цели, которая должна отслеживаться, становится некорректным. Фиг. 11A-11C и Фиг. 12A-12C представляют собой поясняющие схемы для объяснения перехода состояний видов 43a-43d отображения экрана мониторинга. Фиг. 11A-11C показывают случай, когда коррекция цели, которая должна отслеживаться, не выполняется, тогда как Фиг. 12A-12D показывают случай, когда коррекция цели, которая должна отслеживаться, выполняется.

Сначала будет дано описание случая, в котором коррекция цели, которая должна отслеживаться, не выполняется, со ссылкой на Фиг. 11A-11C. Фиг. 11A показывает ситуацию, в которой человек A, обозначенный в качестве цели, которая должна отслеживаться, и другой человек B, оба появляющиеся на первом виде 43a отображения, перемещаются в одном и том же направлении. В такой ситуации, если возникает ошибка в процессе слежения, так что люди A и B заменяются друг другом, и человек B ошибочно устанавливается в качестве цели, которая должна отслеживаться, человек A, обозначенный в качестве цели, которая должна отслеживаться, все еще появляется на следующем виде отображения (второй вид 43b отображения), как показано на Фиг. 11B, и, таким образом, человек A, обозначенный в качестве цели, которая должна отслеживаться, не теряется из отслеживания.

Однако, если люди A и B перемещаются в различных направлениях, как показано стрелками на Фиг. 11B из этой ситуации, изображение 46 красной рамки, указывающее вид отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, отображается на первом виде 43a отображения, и только человек B, который не является целью, которая должна отслеживаться, отображается на первом виде 43a отображения, как показано на Фиг. 11C, и в результате человек A, обозначенный в качестве цели, которая должна отслеживаться, может потеряться из отслеживания.

Как описано выше, в случае, когда несколько людей появляются на одном из видов 43a-43d отображения в одно и то же время, человек, обозначенный в качестве цели, которая должна отслеживаться, может отображаться на предсказанном следующем виде отображения (или одном из видов 43a-43d отображения, который, как было предсказано, будет следующим отображать человека, установленного в качестве цели, которая должна отслеживаться). Однако, если ошибка в информации слежения остается неисправленной, когда несколько человек перемещаются в различных направлениях, человек, обозначенный в качестве цели, которая должна отслеживаться, может не быть отображен на предсказанном следующем виде отображения, и, таким образом, человек, обозначенный в качестве цели, которая должна отслеживаться, может потеряться из отслеживания.

Далее будет дано описание случая настоящего варианта осуществления, в котором выполняется коррекция цели, которая должна отслеживаться, со ссылкой на Фиг. 12A-12D. Фиг. 12A и 12B являются такими же, как и Фиг. 11A и 11B соответственно, приведенного выше примера. Как показано на Фиг. 12B, на втором виде 43b отображения рамка 48 обнаружения человека, указывающая цель, которая должна отслеживаться, отображается на человеке B, который не является целью, которая должна отслеживаться, и, следовательно, контролирующий человек может заметить, что человек, установленный в качестве цели, которая должна отслеживаться, некорректен, а именно цель, которая должна отслеживаться, установлена на человека B, который отличается от человека A, обозначенного в качестве цели, которая должна отслеживаться.

Затем, как показано на Фиг. 12C, контролирующий человек выполняет, на втором виде 43b отображения, операцию коррекции цели, которая должна отслеживаться; а именно, изменение цели, которая должна отслеживаться, которая установлена на человека B вследствие ошибки в процессе слежения, на человека A. Посредством этого, даже если люди A и B перемещаются в различных направлениях, как показано стрелками на Фиг. 12C, изображение 46 красной рамки, указывающее вид отображения, на котором человек, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, отображается на третьем виде 43c отображения, на котором, как показано на Фиг. 12D, человек A, обозначенный в качестве цели, которая должна отслеживаться, появляется, и, следовательно, человек A, обозначенный в качестве цели, которая должна отслеживаться, не будет потерян из отслеживания.

Как описано выше, в настоящем варианте осуществления человек, установленный в качестве цели, которая должна отслеживаться, указан рамкой 48 обнаружения человека на видах 43a-43d отображения, и, таким образом, контролирующий человек может заметить, если человек, установленный в качестве цели, которая должна отслеживаться, будет некорректным, а именно человек, отличающийся от человека, обозначенного в качестве цели, которая должна отслеживаться, установлен в качестве цели, которая должна отслеживаться, вследствие ошибки в информации слежения. Затем, при обнаружении некорректной установки цели, которая должна отслеживаться, контролирующий человек может исправить установку цели, которая должна отслеживаться, так что на экране мониторинга, отображенном после этого, человек, обозначенный в качестве цели, которая должна отслеживаться, появится на предсказанном следующем виде отображения без сбоя, и отслеживание может быть продолжено без потери из вида человека, обозначенного в качестве цели, которая должна отслеживаться. Кроме того, когда человек, установленный в качестве цели, которая должна отслеживаться, отображается на предсказанном следующем виде отображения, контролирующий человек может быстро проверить отображаемого человека, и, следовательно, контролирующий человек может быстро заметить некорректную установку цели, которая должна отслеживаться, если такая есть, и скорректировать установку цели, которая должна отслеживаться, без сбоя.

Следует отметить, что в примерах, показанных на Фиг. 6, 11A-11C и 12A-12D, было сделано описание случая, когда происходит ошибка, заключающаяся в том, что два человека заменяются друг другом, но может быть случай, когда процесс слежения человека, установленного в качестве цели, которая должна отслеживаться, прерван, так что человек, установленный в качестве цели, которая должна отслеживаться, предположительно исчезает, а именно рамка 48 обнаружения человека, указывающая цель, которая должна отслеживаться, становится неотображенной на человеке, установленном в качестве цели, которая должна отслеживаться, на видах 43a-43d отображения. В таком случае, подобно тому, когда выполняют операцию по назначению цели, которая должна отслеживаться, показанной на Фиг. 4, контролирующий человек может выполнить операцию по назначению человека, которого желательно отследить, который появляется на видах 43a-43d отображения. Таким образом, возможно продолжить отслеживание после этого.

В изложенном выше, настоящее изобретение было описано в отношении конкретных вариантов его осуществления. Однако эти варианты осуществления предоставлены лишь для иллюстративных целей, и настоящее изобретение не ограничено вариантами осуществления. Следует также отметить, что не все структурные элементы устройства содействия в отслеживании, системы содействия в отслеживании и способа содействия в отслеживании, как показано в вариантах осуществления настоящего изобретения, являются обязательно необходимыми, и они могут быть выборочно использованы при необходимости не выходя из сущности настоящего изобретения.

Например, в вышеприведенном варианте осуществления было дано описание примерного случая, в котором изобретение было применено к розничному магазину, такому как супермаркет. Однако настоящее изобретение может быть применено к торговому предприятию, отличному от розничного магазина, например к ресторану, который может быть случайным обеденным рестораном, и т.д. Кроме того, настоящее изобретение может быть применено к учреждению, отличному от торгового предприятия, такому как фабрика, или тому подобное.

Кроме того, в вышеприведенном варианте осуществления было дано описание примера, в котором человек отслеживался в качестве движущегося объекта. Однако может быть сделана конфигурация для отслеживания движущегося объекта, отличного от человека, например транспортного средства, которое может быть автомобилем, велосипедом и т.д.

Кроме того, в вышеприведенном варианте осуществления было дано описание примера, в котором установлены четыре камеры 1a-1d, и четыре вида 43a-43d отображения для отображения соответственно захваченных изображений, сделанных камерами 1a-1d, размещены на экране мониторинга, но количество камер 1a-1d и количество видов 43a-43d отображения не ограничено этим. Конфигурация в соответствии с настоящим вариантом осуществления может быть особенно выгодна для большего количества видов 43a-43d отображения.

Кроме того, в вышеприведенном варианте осуществления, чтобы выделить виды 43a-43d отображения на экране мониторинга, изображения 45, 46 рамок, раскрашенные в предопределенные цвета, каждая отображается на внешней периферии одного из видов 43a-43d отображения, которое должно быть выделено, но выделение не ограничено таким вариантом осуществления, и возможно отображать предопределенное изображение, такое как знак, внутри в непосредственной близости от желаемого одного из видов 43a-43d отображения и/или отображать изображение стрелки, соединяющей два из видов 43a-43d отображения.

Кроме того, в вышеприведенном варианте осуществления было сделано описание примера, в котором внутрикамерный процесс слежения выполнялся устройствами 4 обработки внутрикамерного слежения, а междукамерный процесс слежения и процесс содействия в отслеживании выполнялись PC 3, как показано на Фиг. 3. Однако внутрикамерный процесс слежения также может быть выполнен PC 3. Также возможно сконфигурировать каждую из камер 1a-1d, чтобы они включали блок обработки внутрикамерного слежения. Кроме того, блок обработки междукамерного слежения может быть выполнен как устройство обработки слежения, отдельное от PC 3. Еще дополнительно, хотя каждая из камер 1a-1d была показана на чертежах в качестве коробкообразной камеры, имеющей ограниченный угол обзора, камеры 1a-1d не ограничены этим, и также возможно использовать всенаправленную камеру(ы), которая может захватить широкий диапазон изображения.

Кроме того, в вышеприведенном варианте осуществления внутрикамерный процесс слежения, междукамерный процесс слежения и процесс содействия в отслеживании выполнялись устройством, установленным в магазине, но эти процессы могут быть выполнены посредством PC 11, установленным в офисе управления, или облачным компьютером 12, формирующим систему облачных вычислений, как показано на Фиг. 1. Кроме того, эти обязательные процессы могут быть выполнены путем взаимодействия нескольких устройств обработки информации, и в этом случае несколько устройств обработки информации выполнены с возможностью быть способными обмениваться данными или совместно использовать информацию друг с другом через средство связи, такое как сеть IP или LAN. Таким образом, несколько устройств обработки информации, совместно выполняющие необходимые процесс, образуют систему содействия в отслеживании.

В этом случае предпочтительно, чтобы устройство, установленное в магазине, было выполнено с возможностью выполнения по меньшей мере внутрикамерного процесса слежения или междукамерного процесса слежения. В такой структуре, поскольку информация, полученная внутрикамерным процессом слежения или междукамерным процессом слежения имеет небольшое количество данных, даже если оставшиеся процессы выполняются устройством обработки информации, установленным в месте, отличном от магазина, таким как PC 11, установленным в офисе управления, загрузка линий связи все еще может быть маленькой, и, таким образом, легко работать с системой в виде глобальной сети.

Также может быть предпочтительно, чтобы облачный компьютер 12 был выполнен с возможностью выполнения по меньшей мере внутрикамерного процесса слежения или междукамерного процесса слежения. В такой структуре, хотя внутрикамерный процесс слежения и междукамерный процесс слежения требуют большого количества вычислений, они достигаются посредством устройства обработки информации, образующего систему облачных вычислений, и, следовательно, нет необходимости в подготовке высокоскоростного устройства обработки информации на стороне использования, а именно в магазине или тому подобном. Кроме того, поскольку оставшиеся процессы требуют небольшого количества вычислений, оставшиеся процессы могут быть выполнены в качестве расширенных функций устройства обработки информации, установленного в магазине, чтобы служить в качестве устройства управления информацией продаж, и это может уменьшить расходы, понесенные пользователем.

Облачный компьютер 12 может быть выполнен с возможностью выполнения всей совокупности необходимых процессов. В такой структуре становится возможным просматривать состояние отслеживания на мобильном терминале, таком как смартфон 13, в дополнение к PC 3, установленному в магазине, и PC 11, установленному в офисе управления, и это позволяет пользователю просматривать состояние отслеживания не только в магазине или офисе управления, но также в любом другом месте, таком как место, которое пользователь посещает по бизнесу.

Устройство содействия в отслеживании, система содействия в отслеживании и способ содействия в отслеживании в соответствии с настоящим вариантом осуществления могут должным образом выполнять процесс содействия, чтобы уменьшить нагрузку контролирующего человека в отслеживании человека, который контролируется, при этом наблюдая захваченные изображения, сделанные несколькими камерами и отображенные на экране мониторинга, так что контролирующий человек может продолжить отслеживание без потери из вида человека, который контролируется, и, таким образом, являются полезными в качестве устройства содействия в отслеживании, системы содействия в отслеживании и способа содействия в отслеживании для содействия контролирующему человеку в отслеживании движущегося объекта, который должен отслеживаться, путем отображения на устройстве отображения экрана мониторинга, на котором несколько секций отображения расположены, чтобы отображать в реальном времени захваченные изображения, сделанные соответствующими камерами.

Изобретение относится к системам безопасности, мониторинга и отслеживания движущегося объекта путем отображения на устройстве отображения экрана мониторинга в реальном времени захваченных изображений. Техническим результатом является обеспечение непрерывного отслеживания, даже когда прерывание или ошибка возникает в процессе слежения, а также уменьшение нагрузки в отслеживании движущегося объекта. Предложено устройство содействия в отслеживании для содействия контролирующему человеку в отслеживании движущегося объекта, отображаемого на экране мониторинга, на котором виды отображения для отображения в реальном времени захваченных изображений, сделанных соответствующими камерами, расположены на изображении карты, представляющем контролируемую зону в соответствии с фактическим расположением камер, включает в себя: блок установки цели, которая должна отслеживаться, который в ответ на операцию ввода, выполняемую контролирующим человеком на одном из видов отображения для обозначения движущегося объекта, который должен отслеживаться, устанавливает обозначенный движущийся объект в качестве цели, которая должна отслеживаться; блок предсказания, который предсказывает следующий вид отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, на основе информации слежения, полученной путем обработки захваченных изображений; и блок указания вида отображения, который указывает следующий вид отображения на экране мониторинга. 3 н. и 2 з.п. ф-лы, 17 ил.

1. Устройство содействия в отслеживании для содействия контролирующему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, путем отображения на устройстве (7) отображения экрана мониторинга, на котором множество видов (43a-43d) отображения для отображения в реальном времени захваченных изображений, сделанных соответствующими камерами (1a-1d), расположены на изображении (41) карты, представляющем контролируемую зону в соответствии с фактическим расположением камер (1a-1d), содержащее:
блок (23) установки цели, которая должна отслеживаться, который в ответ на операцию ввода, выполняемую контролирующим человеком на одном из видов (43a-43d) отображения для обозначения движущегося объекта, который должен отслеживаться, устанавливает обозначенный движущийся объект в качестве цели, которая должна отслеживаться;
блок (33) указания цели, которая должна отслеживаться, который на основе информации слежения, полученной в результате обработки захваченных изображений, указывает движущийся объект, установленный в качестве цели, которая должна отслеживаться, на каждом из видов (43a-43d) отображения, на которых появляется движущийся объект, установленный в качестве цели, которая должна отслеживаться.
блок (24) предсказания, который предсказывает следующий вид отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, на основе информации слежения; и
блок (32) указания вида отображения, который указывает следующий вид отображения, предсказанный блоком (24) предсказания, на экране мониторинга,
причем блок (33) указания цели, которая должна отслеживаться, предоставляет первое выделение, чтобы выделить рамку (48) движущегося объекта, связанную с движущимся объектом, установленным в качестве цели, которая должна отслеживаться, а блок (32) указания вида отображения предоставляет второе выделение, чтобы выделить рамку (46) отображения, связанную со следующим видом отображения, предсказанным блоком (24) предсказания.

2. Устройство содействия в отслеживании по п.1, дополнительно содержащее блок (25) управления, который в состоянии, когда движущийся объект установлен в качестве цели, которая должна отслеживаться, когда контролирующий человек, замечающий, что указание цели, которая должна отслеживаться, блоком указания цели, которая должна отслеживаться, некорректно, выполняет операцию ввода, предписывает блоку (23) установки цели, которая должна отслеживаться, выполнять процесс изменения движущегося объекта, установленного в качестве цели, которая должна отслеживаться.

3. Устройство содействия в отслеживании по любому одному из п.п. 1 или 2, в котором, когда движущийся объект устанавливается заново блоком (23) установки цели, которая должна отслеживаться, в качестве цели, которая должна отслеживаться, блок (32) указания вида отображения предоставляет третье выделение виду отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, в настоящий момент появляется, так что вид отображения отличается от других видов отображения.

4. Система содействия в отслеживании для содействия контролирующему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, путем отображения на устройстве (7) отображения экрана мониторинга, на котором множество видов (43a-43d) отображения для отображения в реальном времени захваченных изображений, сделанных соответствующими камерами (1a-1d), расположены на изображении (41) карты, представляющем контролируемую зону в соответствии с фактическим расположением камер (1a-1d), содержащая:
камеры (1a-1d), захватывающие изображения контролируемой зоны;
устройство (7) отображения, которое отображает экран мониторинга; и
множество устройств (3, 11, 12, 13) обработки информации,
причем множество устройств (3, 11, 12, 13) обработки информации совместно включают в себя:
блок (4, 5, 21) обработки слежения, который следит за движущимся объектом(ами), обнаруженным из захваченных изображений, и генерирует информацию слежения каждого движущегося объекта;
блок (23) установки цели, которая должна отслеживаться, который в ответ на операцию ввода, выполняемую контролирующим человеком на одном из видов (43a-43d) отображения для обозначения движущегося объекта, который должен отслеживаться, устанавливает обозначенный движущийся объект в качестве цели, которая должна отслеживаться;
блок (33) указания цели, которая должна отслеживаться, который на основе информации слежения, полученной из блока обработки слежения, указывает движущийся объект, установленный в качестве цели, которая должна отслеживаться, на каждом из видов (43a-43d) отображения, на которых появляется движущийся объект, установленный в качестве цели, которая должна отслеживаться;
блок (24) предсказания, который предсказывает следующий вид отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, на основе информации слежения; и
блок (32) указания вида отображения, который указывает следующий вид отображения, предсказанный блоком (24) предсказания, на экране мониторинга,
причем блок (33) указания цели, которая должна отслеживаться, предоставляет первое выделение, чтобы выделить рамку (48) движущегося объекта, связанную с движущимся объектом, установленным в качестве цели, которая должна отслеживаться, а блок (32) указания вида отображения предоставляет второе выделение, чтобы выделить рамку (46) отображения, связанную со следующим видом отображения, предсказанным блоком (24) предсказания.

5. Способ содействия в отслеживании для содействия контролирующему человеку в выполнении задачи отслеживания движущегося объекта, который должен отслеживаться, путем отображения на устройстве (7) отображения экрана мониторинга, на
котором множество видов (43a-43d) отображения для отображения в реальном времени захваченных изображений, сделанных соответствующими камерами (1a-1d), расположены на изображении (41) карты, представляющем контролируемую зону в соответствии с фактическим расположением камер (1a-1d), содержащий:
этап установки, в ответ на операцию ввода, выполняемую контролирующим человеком на одном из видов (43a-43d) отображения для обозначения движущегося объекта, который должен отслеживаться, обозначенного движущегося объекта в качестве цели, которая должна отслеживаться;
этап указания, на основе информации слежения, полученной посредством обработки захваченных изображений, движущегося объекта, установленного в качестве цели, которая должна отслеживаться, на каждом из видов (43a-43d) отображения, на которых появляется движущийся объект, установленный в качестве цели, которая должна отслеживаться;
этап предсказания следующего вида отображения, на котором движущийся объект, установленный в качестве цели, которая должна отслеживаться, появится в следующий раз, на основе информации слежения; и
этап указания следующего вида отображения, предсказанного этапом предсказания, на экране мониторинга,
причем этап указания движущегося объекта, установленного в качестве цели, которая должна отслеживаться, предоставляет первое выделение, чтобы выделить рамку (48) движущегося объекта, связанную с движущимся объектом, установленным в качестве цели, которая должна отслеживаться, а этап указания следующего вида отображения предоставляет второе выделение, чтобы выделить рамку (46) отображения, связанную со следующим видом отображения, предсказанным этапом предсказания.