УСТРОЙСТВО ДЛЯ ОТСЛЕЖИВАНИЯ ЧЕЛОВЕКА, СПОСОБ ОТСЛЕЖИВАНИЯ ЧЕЛОВЕКА И НЕВРЕМЕННЫЙ МАШИНОЧИТАЕМЫЙ НОСИТЕЛЬ, ХРАНЯЩИЙ ПРОГРАММУ ДЛЯ ОТСЛЕЖИВАНИЯ ЧЕЛОВЕКА Российский патент 2015 года по МПК G06T7/20 G06K9/36 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству для отслеживания человека, к способу отслеживания человека и к постоянному машиночитаемому носителю, хранящему программу для отслеживания человека, в частности к устройству для отслеживания человека, к способу отслеживания человека, и к постоянному машиночитаемому носителю, хранящему программу для отслеживания человека, которые позволяют отслеживать человека с использованием видеоизображения, снятого камерой наблюдения.

УРОВЕНЬ ТЕХНИКИ

[0002] В последние годы были раскрыты способы отслеживания человека с использованием видеоизображения, снятого камерой наблюдения. В качестве одного из примеров способа отслеживания человека патентная литература 1 раскрывает способ отслеживания человека на основе особенности цвета человека.

[0003] Фиг.9 показывает примерный вариант осуществления системы отслеживания человека, описанный в патентной литературе 1. Система отслеживания человека включает в себя средство 1 извлечения области, занимаемой человеком, средство 2 генерации объемного элемента изображения (воксела), средство 3 извлечения особенности цвета человека и средство 4 отслеживания человека.

[0004] Средство 1 извлечения области, занимаемой человеком, извлекает область, занимаемую человеком, из видеонаблюдения и выводит результат извлечения области, занимаемой человеком, на средство 2 формирования объемного элемента изображения. Средство 2 формирования объемного элемента изображения формирует информацию объемного элемента изображения из результата извлечения области, занимаемой человеком, выведенного из средства 1 извлечения области, занимаемой человеком, и выводит сформированную информацию объемного элемента изображения на средство 3 извлечения особенности цвета человека. Средство 3 извлечения особенности цвета человека извлекает особенность цвета человека из информации объемного элемента изображения, выводимой из средства 2 формирования объемного элемента изображения и видеонаблюдения, и выводит извлеченную особенность цвета человека на средство 4 отслеживания человека. Средство 4 отслеживания человека отслеживает человека с помощью особенности цвета человека, выводимой из средства 3 извлечения особенности цвета человека, и выводит результат отслеживания человека.

[0005] Функционирование системы для отслеживания человека, показанной на фиг.9, описывается далее подробно.

[0006] Средство 1 извлечения области, занимаемой человеком, извлекает область, занимаемую человеком, из видеоизображения наблюдения, выводимого из камеры, используя способ вычитания фона. Затем средство 1 извлечения области, занимаемой человеком, выводит результат извлечения области, занимаемой человеком, на средство 2 формирования объемного элемента изображения.

[0007] Средство 2 формирования объемного элемента изображения формирует объемные элементы изображения на основе входного результата извлечения области, занимаемой человеком. Входной результат извлечения области, занимаемой человеком, получается с помощью множества камер. Средство 2 формирования объемного элемента изображения проецирует входной результат извлечения области, занимаемой человеком, на трехмерное пространство, используя способ пересечения объемов, и тем самым формирует объемные элементы изображения, которые представляют положение человека в пространстве. Средство 2 формирования объемного элемента изображения выводит сформированные объемные элементы изображения на средство 3 извлечения особенности цвета человека.

[0008] Средство 3 извлечения особенности цвета человека получает распределение цветов человека с головы до ног в вертикальном направлении в качестве особенности цвета человека на основе сформированных объемных элементов изображения и видеоизображения от камеры наблюдения. В частности, средство 3 извлечения особенности цвета человека вычисляет среднее значение цвета для каждой высоты объемного элемента изображения, нормализует результат по высоте и таким образом вычисляет особенность цвета человека. Хотя особенность цвета в основном определяется цветом одежды, которую носит человек, используется значение, полученное путем вычисления среднего значения цвета во всех направлениях на той же высоте. Таким образом, средством 3 извлечения особенности цвета человека достигается извлечение особенности цвета, устойчивое к вариациям внешнего вида одежды в зависимости от направления.

[0009] Средство 4 отслеживания человека сравнивает полученную особенность цвета человека с особенностью цвета человека, полученной в прошлом, и тем самым определяет сходство. Средство 4 отслеживания человека вычисляет отношение между объемными элементами изображения, рассчитанными в прошлом, и объемными элементами изображения, вычисленными в последний раз, в соответствии с результатом определения. Следовательно, средство 4 отслеживания человека рассчитывает результат отслеживания человека, связывая прошлый результат извлечения человека и текущий результат извлечения.

СПИСОК ПРОЦИТИРОВАННЫХ ИСТОЧНИКОВ

Патентная литература

[0010] Патентная литература 1: Нерассмотренная опубликованная японская патентная заявка № 2005-250692.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Техническая проблема

[0011] В системе для отслеживания человека, раскрытой в патентной литературе 1, отслеживание отслеживаемого целевого человека затруднено в том случае, когда нет никакой отличительной особенности в одежде, которую носит отслеживаемый целевой человек. Одежда в целом является схожей. Когда имеется много людей, которые носят одежду того же цвета, что и отслеживаемый целевой человек, возрастает вероятность того, что система отслеживания человека спутает отслеживаемого целевого человека с другим аналогичным человеком, что делает точное отслеживание затруднительным. В частности, в случае отслеживания человека с использованием камер видеонаблюдения, у которых не перекрываются поля зрения, как только отслеживаемый целевой человек входит в слепое пятно камеры и отслеживание временно прерывается, системе для отслеживания человека, описанной в патентной литературе 1, трудно правильно отслеживать отслеживаемого целевого человека даже после того, как человек возвращается в поле зрения камеры.

[0012] Настоящее изобретение было разработано для решения вышеупомянутых проблем, и примерной целью настоящего изобретения является, таким образом, предложить устройство для отслеживания человека, способ отслеживания целевого человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека, которые могут достичь точного отслеживания отслеживаемого целевого человека даже тогда, когда отслеживаемый целевой человек имеет мало отличительных особенностей.

Решение проблемы

[0013] Устройство для отслеживания человека в соответствии с одним аспектом настоящего изобретения включает в себя средство извлечения информации об области, занимаемой человеком, для обнаружения области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирования информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком; средство определения сопровождающего человека для идентификации по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основе информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и для формирования информации о сопровождающем человеке, описывающей сопровождающего человека; средство выбора характерного человека для выбора характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, среди сопровождающих людей, определяемых информацией о сопровождающем человеке, и для формирования информации о характерном человеке, описывающей характерного человека; и средство отслеживания человека для вычисления результата отслеживания характерного человека, являющегося результатом отслеживания упомянутого характерного человека, на основе информации об области, занимаемой человеком, и информации о характерном человеке.

[0014] Способ отслеживания человека в соответствии с одним аспектом настоящего изобретения включает в себя обнаружение области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирование информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком; идентификацию по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основе информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и формирование информации о сопровождающем человеке, описывающей сопровождающего человека; выбор характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, из сопровождающих людей, определяемых информацией о сопровождающем человеке, и формирование информации о характерном человеке, описывающей характерного человека; и вычисление результата отслеживания характерного человека, являющегося результатом отслеживания упомянутого характерного человека, на основе информации об области, занимаемой человеком, и информации о характерном человеке.

[0015] В соответствии с одним аспектом настоящего изобретения невременный машиночитаемый носитель, хранящий программу для отслеживания человека, является невременным машиночитаемым носителем, хранящим программу, заставляющую компьютер выполнять процесс отслеживания человека, появляющегося на видеоизображении, который включает в себя: обнаружение области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирование информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком; идентификацию по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основе информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и формирование информации о сопровождающем человеке, описывающей сопровождающего человека; выбор характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, из сопровождающих людей, определяемых информацией о сопровождающем человеке, и формирование информации о характерном человеке, описывающей характерного человека; и вычисление результата отслеживания характерного человека, являющегося результатом отслеживания упомянутого характерного человека, на основе информации об области, занимаемой человеком, и информации о характерном человеке.

Полезные эффекты изобретения

[0016] В соответствии с аспектами настоящего изобретения можно обеспечить устройство для отслеживания человека, способ отслеживания человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека, которые могут достичь точного отслеживания отслеживаемого целевого человека даже тогда, когда отслеживаемый целевой человек имеет мало отличительных особенностей.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0017] Фиг.1 представляет собой диаграмму, показывающую конфигурацию устройства для отслеживания человека в соответствии с первым примерным вариантом осуществления;

Фиг.2 представляет собой блок-схему, показывающую последовательность этапов обработки в блоке 102 определения сопровождающего человека в соответствии с первым примерным вариантом осуществления;

Фиг.3 представляет собой блок-схему, показывающую последовательность этапов обработки в блоке 102 определения сопровождающего человека в соответствии с первым примерным вариантом осуществления;

Фиг.4 представляет собой блок-схему, показывающую последовательность этапов обработки в устройстве 100 для отслеживания человека в соответствии с первым примерным вариантом осуществления;

Фиг.5 представляет собой диаграмму, показывающую конфигурацию блока 103 выбора характерного человека в соответствии с первым примерным вариантом осуществления;

Фиг.6 представляет собой блок-схему, показывающую последовательность этапов обработки в блоке 201 определения характерного человека в соответствии с первым примерным вариантом осуществления;

Фиг.7 представляет собой диаграмму, показывающую конфигурацию блока 103 выбора характерного человека в соответствии со вторым примерным вариантом осуществления;

Фиг.8 представляет собой диаграмму, показывающую конфигурацию блока 103 выбора характерного человека в соответствии с третьим примерным вариантом осуществления; и

Фиг.9 представляет собой диаграмму, показывающую конфигурацию системы для отслеживания человека, описанной в патентной литературе 1.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0018] Первый вариант осуществления

Примерные варианты осуществления настоящего изобретения описаны ниже со ссылкой на чертежи. На Фиг.1 представлена диаграмма, показывающая конфигурацию устройства для отслеживания человека в соответствии с данным примерным вариантом осуществления. Устройство 100 для отслеживания человека включает в себя блок 101 извлечения информации об области, занимаемой человеком, блок 102 определения сопровождающего человека, блок 103 выбора характерного человека, блок 104 отслеживания человека и блок 105 вычисления результата отслеживания.

[0019] Блок 101 извлечения информации об области, занимаемой человеком, получает видеоизображение от системы видеонаблюдения и выводит информацию об области, занимаемой человеком, на блок 102 определения сопровождающего человека, блок 103 выбора характерного человека и блок 104 отслеживания человека. Блок 102 определения сопровождающего человека получает информацию об области, занимаемой человеком, от блока 101 извлечения информации об области, занимаемой человеком, и информацию об отслеживаемом целевом человеке и выводит рассчитанную информацию сопровождающего человека на блок 103 выбора характерного человека. Блок 103 выбора характерного человека получает информацию об области, занимаемой человеком, от блока 101 извлечения информации об области, занимаемой человеком, и информацию о сопровождающем человеке от блока 102 определения сопровождающего человека и выводит вычисленную информацию о характерном человеке на блок 104 отслеживания человека и выводит вычисленную информацию об относительной позиции отслеживаемого целевого человека на блок 105 расчета результата отслеживания. Блок 104 отслеживания человека получает выходную информацию об области, занимаемой человеком, от блока 101 извлечения информации об области, занимаемой человеком, и выходную информацию о характерном человеке от блока 103 выбора характерного человека и выводит вычисленную информацию отслеживания характерного человека на блок 105 расчета результата отслеживания. Блок 105 расчета результата отслеживания получает выходную информацию отслеживания характерного человека от блока 104 отслеживания человека и выходную информацию об относительной позиции отслеживаемого целевого человека от блока 103 выбора характерного человека и вычисляет и выводит результат отслеживания целевого человека в данный блок обработки.

[0020] Ниже приводится подробное описание работы устройства для отслеживания человека, показанного на фиг.1.

[0021] Сначала видеоизображение от системы видеонаблюдения вводится в блок 101 извлечения информации об области, занимаемой человеком. Блок 101 извлечения информации об области, занимаемой человеком, формирует кадр изображения из входного видеоизображения. Блок 101 извлечения информации об области, занимаемой человеком, затем выполняет обработку для извлечения области, занимаемой человеком, из кадра изображения и далее выполняет обработку в целях извлечения информации об области, занимаемой человеком, описывающей область, занимаемую человеком. Если входное видеоизображение от системы видеонаблюдения является аналоговым, блок 101 извлечения информации об области, занимаемой человеком, захватывает (оцифровывает) видеоизображение от системы видеонаблюдения и тем самым формирует кадр изображения. С другой стороны, если видеоизображение от системы видеонаблюдения является цифровым видеоизображением, кодируемым в соответствии со стандартами H.264, Motion JPEG, MPEG-2 и т.п., блок 101 извлечения информации об области, занимаемой человеком, декодирует видеоизображение соответствующим методом декодирования и тем самым формирует изображение кадра.

[0022] Обработка с целью извлечения области, занимаемой человеком, может быть выполнена блоком 101 извлечения информации об области, занимаемой человеком, с использованием различных существующих способов. Например, при извлечении области, занимаемой человеком, на основе вычитания фона, блок 101 извлечения информации об области, занимаемой человеком, создает модель, представляющую информацию о фоне, из входных кадров изображения, расположенных во временном ряду, извлекает движущийся объект с использованием модели, а затем извлекает область, занимаемую человеком, из извлеченной информации. В качестве простейшего способа, блок 101 извлечения информации об области, занимаемой человеком, определяет фоновое изображение, сформированное путем вычисления среднего по информации изображения в неподвижной области среди множества изображений, в качестве модели фона, вычисляет разность между кадром изображения и фоном изображения и извлекает область с большей разницей в качестве движущегося объекта. Когда движущийся объект ограничен человеком, блок 101 извлечения информации об области, занимаемой человеком, может использовать результат извлечения движущегося объекта, как он есть, в качестве результата извлечения области, занимаемой человеком. С другой стороны, когда имеется движущийся объект, отличный от человека, устройство 101 извлечения информации об области, занимаемой человеком, может принять решение относительно того, соответствует ли человеку извлеченная область движущегося объекта или нет, а затем извлечь только область, которая может быть человеком в области, занимаемой человеком.

[0023] Блок 101 извлечения информации об области, занимаемой человеком, может извлекать область, занимаемую человеком, непосредственно с помощью модели человека, без использования модели фона. Модель человека, используемая здесь, может быть моделью, представляющей всего человека или части человека. Например, блок 101 извлечения информации об области, занимаемой человеком, может обнаружить лицо или голову с помощью детектора лица или головы, который моделирует и извлекает лицо или голову как часть человека и определяет область, занимаемую человеком, из результата обнаружения. Альтернативно, блок 101 извлечения информации об области, занимаемой человеком, может извлекать область, занимаемую человеком, используя детектор, который обнаруживает части области, занимаемой человеком, такие как верхняя или нижняя части тела.

[0024] Блок 101 извлечения информации об области, занимаемой человеком, извлекает информацию об области, занимаемой человеком, из области, занимаемой человеком, с помощью описанного выше способа. Информация об области, занимаемой человеком, является информацией, представляющей отличительную особенность извлеченной области, занимаемой человеком. Информация об области, занимаемой человеком, включает в себя информацию, представляющую позицию или форму области, занимаемой человеком, на изображении и информацию, описывающую особенности человека, включенные в область, задаваемую информацией.

[0025] Первое (информация, представляющая позицию или форму области, занимаемой человеком на изображении) может быть контурной информацией, представляющей форму человека (информацией, где метка присваивается пикселям, соответствующим области, занимаемой человеком), информацией о прямоугольнике, представляющей прямоугольник, ограничивающий область, занимаемую человеком, или любой информацией, представляющей позицию или форму области, занимаемой человеком, аналогичным образом. Например, информация об области может быть представлена с использованием дескриптора, описывающего область, определяемого стандартом MPEG-7.

[0026] С другой стороны, последнее (информация, описывающая особенности человека, включенные в указанную область) может быть информацией, описывающей различные особенности из тех особенностей изображения, которые включены в область с высокоуровневыми особенностями человека. Примеры информации включают в себя особенность, представляющую особенность лица человека, особенность, представляющую цвет волос, прическу или особенность волос, особенность внешнего вида, представляющую цвет, рисунок или форму одежды, информацию, представляющую тип одежды, аксессуары человека (те, которые находятся на человеке, такие как шляпа, очки, маска, сумка, галстук или шарф), информацию, представляющую определенный знак или логотип на одежде, и информацию, представляющую цвет кожи.

[0027] Особенность лица может быть вычислена с помощью детектора лица и извлечения особенности лица, использовавшихся ранее. Особенность одежды вычисляется путем определения области одежды из области, занимаемой человеком, и извлечения информации, описывающей область. Для извлечения особенности цвета, текстуры и формы могут быть использованы различные существующие способы (например, способ, описывающий цвет, текстуру и форму, определенный в стандарте MPEG-7). Информация, описывающая аксессуары человека, рассчитывается путем обнаружения аксессуаров с помощью детектора, который обнаруживает объект на голове или определенной части тела, и извлекает информацию, описывающую область. Конкретная марка или логотип на одежде могут быть обнаружены с помощью дискриминатора, который обучен этим шаблонам. Конкретная марка или фирменный знак также вычисляется путем извлечения информации, описывающей особенность, или в результате дискриминации обнаруженной области. Цвет кожи также может быть извлечен с помощью оценки участка кожи из области, занимаемой человеком, и получения цвета этой части.

[0028] Кроме того, высокоуровневые особенности могут содержаться в последней информации (информация, описывающая отличительные особенности человека, включенного в указанную область). Например, в качестве особенности может быть использована информация о росте человека. Информация о росте человека может быть вычислена из трехмерной позиции человека в реальном мире, которая вычисляется из двумерной позиции изображения, полученного с помощью камеры, используя данные калибровки камеры. Кроме того, информацию о типе тела человека можно извлечь тем же способом и использовать в качестве особенности. Кроме того, информация о возрасте и поле человека может быть извлечена с использованием оценщика возраста/пола, и извлеченная информация может быть использована в качестве особенности. Кроме того, информация, описывающая позу человека, например сидит ли он в инвалидном кресле, держит ли на руках ребенка или ходит с палкой, может быть извлечена с использованием дискриминатора, который определяет конкретную позу, такую как сидячее положение человека в инвалидном кресле, и использоваться в качестве особенности. Кроме того, особенность походки, которая является особенностью манеры ходьбы, может быть вычислена и использована в качестве особенности. Может быть построен дискриминатор, который дискриминирует конкретные позы или классифицирует особенность походки, если сделать его обучаемым с помощью обучающего изображения.

[0029] Блок 101 извлечения информации об области, занимаемой человеком, выводит информацию об извлеченной области, занимаемой человеком, на блок 102 определения сопровождающего человека, блок 103 выбора характерного человека и блок 104 отслеживания человека.

[0030] Ниже описана работа блока 102 определения сопровождающего человека. Блок 102 определения сопровождающего человека определяет сопровождающего человека отслеживаемого целевого человека из входной информации об отслеживаемом целевом человеке и выходной информации об области, занимаемой человеком, из блока 101 извлечения информации об области, занимаемой человеком, и выводит результат определения в качестве информации о сопровождающем человеке. В широком смысле существуют два способа определения сопровождающего человека: способ, который определяет отслеживаемого целевого человека, а затем определяет сопровождающего человека, и способ, который определяет группу людей, включающую в себя отслеживаемого целевого человека, а затем определяет отслеживаемого целевого человека.

[0031] В способе, который определяет отслеживаемого целевого человека, а затем определяет сопровождающего человека, блок 102 определения сопровождающего человека идентифицирует отслеживаемого целевого человека тем или иным способом, а затем определяет человека, присутствующего около отслеживаемого целевого человека как сопровождающего человека. Этот процесс описан со ссылкой на фиг.2.

[0032] Сначала блок 102 определения сопровождающего человека определяет отслеживаемого целевого человека по информации об отслеживаемом целевом человеке и информации об области, занимаемой человеком (этап S501). Если информация об отслеживаемом целевом человеке содержит особенность лица отслеживаемого целевого человека и информация об области, занимаемой человеком, содержит особенность лица человека, блок 102 определения сопровождающего человека сравнивает особенность лица отслеживаемого целевого человека с особенностью лица в области, занимаемой человеком, и тем самым определяет отслеживаемого целевого человека. Если информация об отслеживаемом целевом человеке содержит информацию о положении, полученную другим датчиком информации, таким как RFID (радиочастотная метка), блок 102 определения сопровождающего человека сравнивает ее с информацией о позиции человека, содержащейся в информации об области, занимаемой человеком, и идентифицирует личность человека, положение которого по существу совпадает с положением отслеживаемого целевого человека. Следует отметить, что процесс идентификации отслеживаемого целевого человека не всегда выполним на всех кадрах и, следовательно, выполняется лишь в подходящих кадрах.

[0033] Затем блок 102 определения сопровождающего человека определяет человека, сопровождающего идентифицированного отслеживаемого целевого человека (этап S502). При определении сопровождающего человека (этап S502) блок 102 определения сопровождающего человека определяет, что человек является сопровождающим человеком, когда расстояние между отслеживаемым целевым человеком и каждым человеком, содержащимся в информации об области, занимаемой человеком на изображении, находится в пределах определенного порога в течение заданного промежутка времени. В частности, блок 102 определения сопровождающего человека отслеживает движение каждого человека на основе входной информации об области, занимаемой человеком, для нескольких кадров от кадра, где идентифицирован отслеживаемый целевой человек, и вычисляет расстояние между отслеживаемым целевым человеком и другими людьми в каждом из кадров. Когда расстояние находится в пределах определенного порогового значения, блок 102 определения сопровождающего человека устанавливает этого человека в качестве сопровождающего человека. Блок 102 определения сопровождающего человека не обязательно определяет как сопровождающих только тех людей, чьи расстояния всегда находятся в пределах порога в течение периода наблюдения, и он может определить в качестве сопровождающего человека такого человека, чье расстояние находится в пределах порога в заданном отношении или более.

[0034] Альтернативно, блок 102 определения сопровождающего человека вычисляет информацию о положении каждого человека в реальном мире, используя калибровочную информацию из камеры, используемую для связи между двумерными координатами на изображении и трехмерными координатами в реальном мире, и положением человека на изображении. Блок 102 определения сопровождающего человека может затем определить человека, сопровождающего отслеживаемого целевого человека, используя информацию о положении каждого человека.

[0035] Альтернативно, блок 102 определения сопровождающего человека выбирает человека, чье расстояние находится в пределах указанного порога в кадре, где идентифицируется отслеживаемый целевой человек, в качестве кандидата на сопровождающего человека. Блок 102 определения сопровождающего человека может затем вычислить движение кандидата на сопровождающего человека и определить, движется ли кандидат в том же направлении, что и отслеживаемый целевой человек, существенно с той же скоростью, и тем самым определить, является ли этот человек сопровождающим человеком или нет.

[0036] Блок 102 определения сопровождающего человека формирует информацию о сопровождающем человеке как результат обработки определения сопровождающего человека (этап S502). Информация о сопровождающем человеке определяет информацию, соответствующую человеку, являющемуся человеком, сопровождающим отслеживаемого целевого человека, наряду с информацией о людях, содержащейся в информации об области, занимаемой человеком. Например, информация о сопровождающем человеке устанавливает флаг, указывающий, является ли каждый человек, указанный в информации об области, занимаемой человеком, сопровождающим человеком или нет, флаг со значением 1 обозначает сопровождающего человека, в противном случае он обозначает не сопровождающего человека. Альтернативно, информация о сопровождающем человеке может указывать результат определения тремя значениями, включающими в себя состояние, в котором неизвестно, является ли человек сопровождающим человеком или нет. Информация о сопровождающем человеке является информацией, которая также содержит информацию, определяющую отслеживаемого целевого человека. Расчет информации о сопровождающем человеке выполняется только тогда, когда может быть указан отслеживаемый целевой человек.

[0037] далее описывается способ, который определяет группу, включающую в себя отслеживаемого целевого человека, а затем определяет отслеживаемого целевого человека. Блок 102 определения сопровождающего человека рассчитывает группу людей, по оценкам включающую в себя отслеживаемого целевого человека, а затем устанавливает сопровождающего человека в группе. Этот процесс описывается со ссылкой на блок-схему, изображенную на Фиг.3.

[0038] Блок 102 определения сопровождающего человека группирует людей, находящихся вместе близко друг к другу, на основе информации о положении людей, включенной в информацию об области, занимаемой человеком (этап S511). На этом этапе блок 102 определения сопровождающего человека может использовать положения на изображении или может рассчитать положения людей в реальном мире, используя калибровочную информацию из камеры, как описано выше, и использовать информацию о рассчитанных положениях.

[0039] Далее блок 102 определения сопровождающего человека устанавливает сопровождающих людей (этап S512). Если информация об отслеживаемом целевом человеке включает в себя информацию о положении отслеживаемого целевого человека, полученную из другой информации, например информации от сенсорных датчиков, блок 102 определения сопровождающего человека выбирает группу, которая, скорее всего, включает в себя отслеживаемого целевого человека. Блок 102 определения сопровождающего человека формирует информацию о сопровождающем человеке из выбранной группы.

[0040] Затем блок 102 определения сопровождающего человека определяет отслеживаемого целевого человека (этап S513). Если информация об отслеживаемом целевом человеке включает в себя информацию, которая может определить отслеживаемого целевого человека (особенности человека, особенности внешнего вида одежды и т.д.), блок 102 определения сопровождающего человека выбирает человека, который, вероятно, будет отслеживаемым целевым человеком среди сопровождающих людей. Блок 102 определения сопровождающего человека затем добавляет информацию, определяющую отслеживаемого целевого человека, к информации о сопровождающем человеке. Определение делается необязательно для каждого кадра и может быть сделано только тогда, когда может быть указана группа, которая, вероятно, включает в себя отслеживаемого целевого человека.

[0041] Информация о сопровождающем человеке (которая может включать в себя информацию об отслеживаемом целевом человеке), которую получают, главным образом, с помощью любого из двух способов, упомянутых выше, выводится на блок 103 выбора характерного человека.

[0042] Далее описывается блок 103 выбора характерного человека. Блок 103 выбора характерного человека вычисляет информацию о характерном человеке и информацию об относительном положении отслеживаемого целевого человека на основе выходной информации об области, занимаемой человеком, из блока 101 извлечения информации об области, занимаемой человеком, и выходной информации о сопровождающем человеке из блока 102 определения сопровождающего человека.

[0043] Информация о характерном человеке является информацией, в соответствии с которой человек является характерным и может быть легко отслежен. Например, в случае когда один человек в красной одежде присутствует в группе людей в белой одежде, человек в красной одежде одет совершенно отлично от других. Поэтому при выполнении отслеживания с использованием цвета одежды вероятность того, что человек в красной одежде будет спутан с другими людьми, рассматривается как низкая. С другой стороны, когда отслеживается человек в белой одежде, вероятность того, что отслеживание приведет к отказу, будет высока, так как имеется много других людей в белой одежде. Таким образом, блок 103 выбора характерного человека определяет легкость отслеживания каждого человека, включенного в информацию об области, занимаемой человеком, и выбирает человека с высокой степенью легкости отслеживания в качестве характерного человека. Подробности конфигурации и работы блока 103 выбора характерного человека будут описаны позже.

[0044] Информация об относительном положении отслеживаемого целевого человека является информацией, представляющей относительное положение между отслеживаемым целевым человеком и характерным человеком, выбранным из сопровождающих людей. Например, информация об относительном положении отслеживаемого целевого человека является векторной информацией, полученной путем вычитания координат положения характерного человека из координат положения отслеживаемого целевого человека. Альтернативно, информация об относительном положении отслеживаемого целевого человека может быть информацией, грубо представляющей относительное позиционное отношение, такое как "отслеживаемый целевой человек находится позади характерного человека". В качестве другой альтернативы, когда имеется множество людей, которое, вероятно, включает в себя отслеживаемого целевого человека среди тех, которые включены в информацию о сопровождающем человеке, информация об относительном положении может принимать представительное значение (среднее значение, конкретная точка и т.д.) координат, вычисленных по информации о множестве этих людей. Более подробно информация об относительном положении также описана ниже.

[0045] Блок 103 выбора характерного человека выводит рассчитанную информацию о характерном человеке на блок 104 отслеживания человека и выводит рассчитанную информацию об относительном положении отслеживаемого целевого человека на блок 105 расчета результата отслеживания. Следует отметить, что количество характерных людей не ограничивается одним человеком и может существовать множество характерных людей.

[0046] Ниже описан блок 104 отслеживания человека. Блок 104 отслеживания человека вычисляет информацию отслеживания характерного человека, которая отслеживает характерного человека по выходной информации об области, занимаемой человеком, из блока 101 извлечения информации об области, занимаемой человеком, и по выходной информации о характерном человеке из блока 103 выбора характерного человека. Способ отслеживания может быть любым способом отслеживания, использовавшимся ранее. В случае отслеживания человека по видеоизображению с одной и той же видеокамеры блок 104 отслеживания человека может выполнять отслеживание оценочным моделирующим фильтром, например с помощью характеристики одежды. Кроме того, блок 104 отслеживания человека может выполнять отслеживание с использованием фильтра Кальмана.

[0047] Далее описывается случай, когда входной информацией является видеоизображение от системы видеонаблюдения, снятое посредством множества камер. В случае отслеживания с использованием множества камер, когда отслеживаемый человек выходит из поля зрения камеры слежения, в которой в настоящее время выполняется отслеживание, блок 104 отслеживания человека прогнозирует, в поле зрения какой из соседних камер попадет далее человек и в какой конкретно момент времени человек попадет в поле зрения этой камеры. Затем блок 104 отслеживания человека регистрирует информацию об особенностях человека и расчетное время прибытия из поля зрения камеры в поле зрения следующей камеры (или блока управления, который управляет камерой), в которой выполняется отслеживание. По получении информации блок управления следующей камеры, призванной выполнять отслеживание, начинает поиск характерного человека незадолго до расчетного времени его прибытия (в поле зрения). В частности, блок управления следующей камеры, призванной выполнять отслеживание, сравнивает характеристики человека, который входит в поле зрения, с характеристиками отслеживаемого характерного человека и определяет, имеется ли такой человек с подходящими характеристиками. Когда отслеживаемый целевой человек попал в поле зрения камеры, блок 104 отслеживания человека включается в обработку отслеживания такого человека этой камерой и тем самым отслеживает человека. Способ отслеживания человека одной и той же камерой был описан ранее.

[0048] Блок 104 отслеживания человека выводит вычисленную информацию об отслеживании характерного человека в качестве информации об отслеживании характерного человека на блок 105 вычисления результата отслеживания.

[0049] Блок 105 вычисления результата отслеживания вычисляет результат отслеживания отслеживаемого целевого человека по выходной информации из блока 104 отслеживания человека и по выходной информации об относительном положении отслеживаемого целевого человека из блока 103 выбора характерного человека.

[0050] В частности, блок 105 вычисления результата отслеживания вычисляет результат отслеживания человека для отслеживаемого целевого человека, добавляя информацию об относительном положении отслеживаемого целевого человека к информации об отслеживании характерного человека. Следует отметить, однако, что информация об относительном положении отслеживаемого целевого человека не всегда может быть вычислена. Таким образом, в моменты, когда информация об относительном положении отслеживаемого целевого человека не вычисляется, блок 105 вычисления результата отслеживания может вычислить результат отслеживания человека, используя информацию о предыдущем относительном положении, как есть, или вычислить результат отслеживания человека путем предсказания на основе информации о предыдущем относительном положении.

[0051] Далее, в случае когда разрешена задержка вывода результата отслеживания человека, блок 105 вычисления результата отслеживания временно сохраняет информацию об отслеживании характерного человека в буфере, пока не будет вычислена информация об относительном положении. Затем, в тот момент времени, когда вычисляется информация об относительном положении отслеживаемого целевого человека, блок 105 вычисления результата отслеживания вычисляет информацию об относительном положении в каждый момент времени путем интерполяции, используя вычисленную информацию об относительном положении и информацию о предыдущем относительном положении. Блок 105 вычисления результата отслеживания может вычислить результат отслеживания человека для отслеживаемого целевого человека, используя информацию об отслеживании характерного человека и информацию об относительном положении, вычисленную путем интерполяции.

[0052] Процесс работы устройства 100 для отслеживания человека, показанного на фиг.1, описан ниже со ссылкой на фиг.4. На фиг.4 представлена блок-схема, показывающая работу устройства 100 для отслеживания человека в соответствии с данным примерным вариантом осуществления.

[0053] Блок 101 извлечения информации об области, занимаемой человеком, вычисляет информацию об области, занимаемой человеком, по видеоизображению от системы видеонаблюдения (этап S101). Подробности вычисления информации об области, занимаемой человеком, описаны ранее в описании блока 101 извлечения информации об области, занимаемой человеком. Далее блок 102 определения сопровождающего человека рассчитывает информацию о сопровождающем человеке на основе информации об области, занимаемой человеком, и информации об отслеживаемом целевом человеке (этап S102). Детали вычисления информации о сопровождающем человеке описаны ранее в описании блока 102 определения сопровождающего человека. Блок 103 выбора характерного человека вычисляет информацию о характерном человеке и информацию об относительном положении отслеживаемого целевого человека на основе информации об области, занимаемой человеком, и информации о сопровождающем человеке (этап S103). Вычисление этих видов информации выполняется, как описано ранее в описании блока 103 выбора характерного человека. Затем блок 104 отслеживания человека вычисляет информацию об отслеживании характерного человека по информации об области, занимаемой человеком, и информации о характерном человеке (этап S104). Вычисление информации об отслеживании характерного человека выполняется, как было описано ранее в описании блока 104 отслеживания человека. Затем блок 105 вычисления результата отслеживания вычисляет результат отслеживания отслеживаемого целевого человека по информации об отслеживании характерного человека и по информации об относительном положении отслеживаемого целевого человека (этап S105). Детали вычисления результата отслеживания целевого человека описаны ранее в описании блока 105 вычисления результата отслеживания.

[0054] Конфигурация блока 103 выбора характерного человека описана ниже со ссылкой на фиг.5. На фиг.5 показана блок-схема, представляющая конфигурацию блока 103 выбора характерного человека в соответствии с данным примерным вариантом осуществления.

[0055] Блок 103 выбора характерного человека включает в себя блок 201 определения характерного человека и блок 202 накопления информации о характерных особенностях.

[0056] Блок 202 накопления информации о характерных особенностях накапливает информацию о характерных особенностях и выводит ее на блок 201 определения характерного человека. Блок 201 определения характерного человека получает информацию об области, занимаемой человеком, информацию о сопровождающем человеке и выходную информацию о характерных особенностях из блока 202 накопления информации о характерных особенностях, и вычисляет информацию о характерном человеке и информацию об относительном положении отслеживаемого целевого человека.

[0057] Конкретные детали работы каждого блока обработки блока 103 выбора характерного человека, показанного на фиг.5, будут описаны ниже. Блок 202 накопления информации о характерных особенностях накапливает информацию о характерных особенностях.

[0058] Информация о характерных особенностях является информацией, представляющей степень характерной особенности (степень различия) значения, полученного в качестве каждой особенности, представляющей отличительную особенность человека. Например, в случае с особенностью цвета одежды характерная особенность часто встречаемого цвета одежды (например, белого) является низкой. С другой стороны, характерная особенность нечасто встречаемого цвета одежды (например, ярко-красного) является высокой. Конкретное значение характерной особенности вычисляется монотонно невозрастающей функцией в зависимости от частоты появления значения каждой особенности (значение каждого цвета в случае цвета одежды), вычисленной с использованием обучающих данных. Например, значение автоинформативности (которое равно -log₂p, где р является частотой) может быть вычислено по частоте, и вычисленное значение может использоваться в качестве информации о характерной особенности. Альтернативно может быть вычислено значение (например, 1/р), соответствующее обратной частоте документа, используемое для поиска документов, и это значение может использоваться в качестве информации о характерной особенности.

[0059] Информация о характерной особенности может меняться для каждого сезона или времени. В частности, блок 202 накопления информации о характерных особенностях может изменять накапливаемую информацию о характерной особенности для каждого сезона или времени. Например, в то время как зимой люди часто носят черную одежду, летом они часто носят белую одежду. Альтернативно, в то время как частота цвета пиджаков высока в течение утра и вечера, потому, что люди часто носят пиджаки от костюмов, частота белой одежды высока в течение дня, потому что они часто снимают пиджаки и носят только рубашки. Таким образом, в случае когда частота изменяется в зависимости от сезона или времени, информация о характерной особенности может быть изменена в зависимости от сезона или времени. Кроме того, в случае когда цветовой тренд одежды различается в зависимости от места (например, на Окинаве и на Хоккайдо), информация о характерной особенности может быть изменена в зависимости от места.

[0060] Аналогично, в случае когда атрибуты людей, присутствующих в области, обозреваемой камерой наблюдения, меняются в зависимости от сезона, времени или места, информация о характерной особенности может быть изменена соответствующим образом. Например, в случае когда особенностью является информация о возрасте человека, поле, росте и т.п. и область является такой областью, где в течение дня часто наблюдаются дети, а взрослые часто наблюдается в течение ночи, характерная особенность людей малого возраста или низкого роста будет низкой в течение дня, но будет высокой в течение ночи. Таким образом, информация о характерной особенности может быть изменена в соответствии с изменением атрибута людей, присутствующих в поле зрения камеры видеонаблюдения.

[0061] Информация о характерной особенности вводится в блок 201 определения характерного человека. На основе информации о характерной особенности блок 201 определения характерного человека вычисляет данные о характерной особенности для человека, обозначенного информацией о сопровождающем человеке в каждой области, занимаемой человеком, включенной в информацию об области, занимаемой человеком. Затем блок 201 определения характерного человека определяет человека со значительной характерной особенностью в качестве характерного человека и выводит информацию, определяющую человека, как информацию о характерном человеке на блок 104 отслеживания человека.

[0062] Далее со ссылкой на блок-схему, изображенную на фиг.6, описывается работа блока 201 определения характерного человека.

[0063] Блок 201 определения характерного человека вычисляет характерную особенность для каждого человека из особенности каждого человека, содержащейся в информации об области, занимаемой человеком (этап S601). Когда значение характерной особенности, соответствующее значению характеристики человека, содержащейся в информации об области, занимаемой человеком, включена в информацию о характерной особенности, блок 201 определения характерного человека использует это значение как характерную особенность каждого человека. С другой стороны, когда значение характерной особенности, соответствующее значению особенности человека, содержащейся в информации об области, занимаемой человеком, не включено в информацию о характерной особенности, блок 201 определения характерного человека рассчитывает аналог значения особенности, содержащегося в информации об области, занимаемой человеком, среди количественных значений особенностей, для которых может быть получено значение характерной особенности. Затем блок 201 определения характерного человека оценивает значение характерной особенности по аналогу значения характерной особенности. Например, блок 201 определения характерного человека может использовать значение характерной особенности, как оно есть, или вычислить множество схожих количественных значений особенностей и взять среднее значение из этих количественных значений в качестве характерной особенности.

[0064] При использовании данных характерной особенности, рассчитанных указанным выше способом, блок 201 определения характерного человека может легко и стабильно выбрать человека с высокой степенью характерной особенности в процессе, описанном ниже. Кроме того, при соответствующем изменении информации о характерной особенности в соответствии с условиями, такими как время, сезон или место, блок 201 определения характерного человека может выбрать характерного человека, подходящего под условия.

[0065] Блок 201 определения характерного человека выбирает человека с высокой степенью характерной особенности (этап S602). Блок 201 определения характерного человека может выбрать одного человека, имеющего самую высокую степень характерной особенности, или может выбрать всех людей, имеющих характерную особенность, достигающую определенного порога или превышающую его.

[0066] Если информация о сопровождающем человеке включает в себя также информацию об отслеживаемом целевом человеке, блок 201 определения характерного человека рассчитывает разность между положением отслеживаемого целевого человека и положением человека, выбранного в качестве характерного человека, и выводит разность как информацию об относительном положении отслеживаемого целевого человека на блок 105 расчета результата отслеживания (этап S603). Когда множество людей определены как характерные люди, информация об относительном положении отслеживаемого целевого человека содержит разности для каждого из этих людей.

[0067] Далее описываются полезные эффекты устройства 100 для отслеживания человека в соответствии с данным примерным вариантом осуществления. В общем, люди действуют в группах. Следовательно, когда отличительных характеристик человека, которого необходимо отслеживать, немного, более эффективно будет отслеживать вместо него сопровождающего человека. Устройство 100 для отслеживания человека указывает сопровождающих отслеживаемого целевого человека, выбирает характерного человека, который внешне отличается от других сопровождающих, и отслеживает характерного человека. Устройство 100 для отслеживания человека может тем самым достичь точного отслеживания даже в случае отслеживания целевого человека с малым количеством отличительных характеристик.

[0068] Кроме того, поскольку устройство 100 для отслеживания человека вычисляет информацию о положении характерного человека и дополнительно вычисляет информацию об относительной позиции между характерным человеком и отслеживаемым целевым человеком, устройство 100 для отслеживания человека может вычислить точную информацию о позиции отслеживаемого целевого человека.

[0069] Второй примерный вариант осуществления

Устройство для отслеживания человека в соответствии со вторым примерным вариантом осуществления отличается от устройства для отслеживания человека в соответствии с первым примерным вариантом осуществления в конфигурации блока 103 выбора характерного человека. Отличия устройства для отслеживания человека в соответствии с данным примерным вариантом осуществления от первого примерного варианта осуществления описаны ниже.

[0070] На фиг.7 представлена блок-схема, показывающая конфигурацию блока 103 выбора характерного человека в соответствии с данным примерным вариантом осуществления. Блок 103 выбора характерного человека включает в себя блок 250 определения характерных особенностей и блок 201 определения характерного человека.

[0071] Блок 250 определения характерных особенностей получает информацию об области, занимаемой человеком, и вычисляет информацию о характеристике характерной особенности, и выводит вычисленную информацию о характерной особенности на блок 201 определения характерного человека. Блок 201 определения характерного человека получает выходную информацию об области, занимаемой человеком, информацию о сопровождающем человеке и информацию о характерной особенности от блока 250 определения характерных особенностей и выводит информацию о характерном человеке и информацию об относительном положении отслеживаемого целевого человека.

[0072] Более подробно работа блока 103 выбора характерного человека, показанного на фиг.7, будет описана далее. Информация об области, занимаемой человеком, вводится в блок 250 определения характерных особенностей. Блок 250 определения характерных особенностей получает характеристику каждой области, занимаемой человеком, на основе информации об области, занимаемой человеком, и вычисляет значение характеристики характерной особенности. Например, в случае особенности цвета одежды блок определения характерных особенностей 250 подсчитывает количество цветов одежды, содержащихся в каждой информации об области, занимаемой человеком, и вычисляет частоту появления каждого цвета, а затем вычисляет характерную особенность в соответствии с частотой появления. Частота появления может быть рассчитана с использованием информации только о человеке из текущего кадра или с использованием характеристики всех людей, которые появились к настоящему моменту.

[0073] С другой стороны, блок 250 определения характерных особенностей может вычислять частоту появления, используя только информацию о людях, которые показались в заданный промежуток времени от настоящего момента. Блок 250 определения характерных особенностей может вычислять частоту появления путем присвоения веса, который тем меньше, чем дальше во времени событие отстоит от настоящего момента к прошлому. Кроме того, блок 250 определения характерных особенностей может вычислять частоту появления путем использования прошлых данных, отличных по дате, но близких по времени суток, и может вычислять частоту появления по данным только для одного и того же сезона.

[0074] Блок 250 определения характерных особенностей может вычислять частоту появления путем присвоения веса, который тем меньше, чем дальше сезон или время отстоят от момента текущего кадра. Кроме того, блок 250 определения характерных особенностей может вычислять частоту появления путем объединения информации из областей, занимаемых человеком, обнаруженных множеством камер. В этом случае блок 250 определения характерных особенностей может вычислять частоту появления, назначая веса, тем большие, чем ближе физическое расположение камер.

[0075] Затем блок 250 определения характерных особенностей вычисляет информацию о характерной особенности каждого человека по рассчитанной частоте появления. Способ расчета информации о характерной особенности тот же, что и способ расчета на основе обучающих данных, который описан в описании блока 202 накопления информации о характерных особенностях, показанного на фиг.5.

[0076] Информация о характерной особенности, полученная описанным выше способом, вводится в блок 201 определения характерного человека. Работа блока 201 определения характерного человека аналогична работе блока 201 определения характерного человека, показанного на фиг.5.

[0077] Посредством вышеописанного процесса блок 103 выбора характерного человека вычисляет частоту появления каждой характеристики, используя фактически входное видеоизображение от системы видеонаблюдения и затем вычисляет характерную особенность каждого человека. Блок 103 выбора характерного человека, таким образом, может вычислить характерную особенность, которая наиболее подходит к месту, где находится камера, или времени и повысить обоснованность выбора характерного человека. Улучшение обоснованности выбора характерного человека позволяет улучшить точность отслеживания отслеживаемого целевого человека. Далее, даже если информация о характерной особенности изменяется со временем, устройство для отслеживания человека в соответствии с данным примерным вариантом осуществления может надлежащим образом отслеживать отслеживаемого целевого человека.

[0078] Третий примерный вариант осуществления

Устройство для отслеживания человека в соответствии с третьим примерным вариантом осуществления характеризуется тем, что блок 202 накопления информации о характерных особенностях и блок 250 определения характерных особенностей, описанные выше, включены в блок 103 выбора характерного человека. Различия в устройстве для отслеживания человека в соответствии с данным вариантом от тех, что соответствуют первому и второму примерным вариантам осуществления, описаны ниже.

[0079] На фиг.8 представлена блок-схема, показывающая конфигурацию блока 103 выбора характерного человека в соответствии с данным примерным вариантом осуществления. Блок 103 выбора характерного человека включает в себя блок 250 определения характерных особенностей, блок 202 накопления информации о характерных особенностях, блок 253 объединения информации о характерных особенностях и блок 201 определения характерного человека.

[0080] Блок 250 определения характерных особенностей получает информацию об области, занимаемой человеком, и выводит информацию о первой характерной особенности на блок 253 объединения информации о характерных особенностях. Блок 202 накопления информации о характерных особенностях выводит накопленную информацию о характерной особенности как информацию о второй характерной особенности на блок 253 объединения информации о характерных особенностях.

[0081] Блок 253 объединения информации о характерных особенностях получает информацию о первой характерной особенности из блока 250 определения характерных особенностей и информацию о второй характерной особенности из блока 202 накопления информации о характерных особенностях и выводит вычисленную информацию о характерной особенности на блок 201 определения характерного человека.

[0082] Блок 201 определения характерного человека получает выходную информацию об области, занимаемой человеком, информацию о сопровождающем человеке и информацию о характерной особенности от блока 253 объединения информации о характерных особенностях и выводит информацию о характерном человеке и информацию об относительном положении отслеживаемого целевого человека.

[0083] Подробности работы блока 103 выбора характерного человека, показанного на фиг.8, описаны ниже. Работа блока 202 накопления информации о характерных особенностях аналогична работе блока 202 накопления информации о характерных особенностях, показанного на фиг.5. Работа блока 250 определения характерных особенностей аналогична работе блока 250 определения характерных особенностей, показанного на фиг.7. Информация о характерной особенности, которая выводится из блока 250 определения характерных особенностей, вводится в качестве информации о первой характерной особенности в блок 253 объединения информации о характерных особенностях. Информация о характерной особенности, которая выводится из блока 202 накопления информации о характерных особенностях, вводится в качестве информации о второй характерной особенности в блок 253 объединения информации о характерных особенностях.

[0084] Блок 253 объединения информации о характерных особенностях вычисляет информацию о характерной особенности, вводимую в блок 201 определения характерного человека, используя информацию о первой характерной особенности и информацию о второй характерной особенности. Для этих вычислений могут быть использованы различные способы. Например, блок 253 объединения информации о характерных особенностях использует среднее значение обеих в качестве информации о характерной особенности, вводимой в блок 201 определения характерного человека. Кроме того, в это время блок 253 объединения информации о характерных особенностях может вычислять среднее значение после присвоения веса одной из них. Например, когда блок 253 объединения информации о характерных особенностях вычисляет информацию о характерной особенности путем присвоения большего веса информации о первой характерной особенности, блок 253 объединения информации о характерных особенностях может вычислить информацию о характерной особенности, придав больше важности видеонаблюдению. Альтернативно, блок 253 объединения информации о характерных особенностях может использовать одно из информации о первой характерной особенности или информации о второй характерной особенности в качестве информации о характерной особенности, вводимой в блок 201 определения характерного человека в зависимости от времени или дня недели. Блок 253 объединения информации о характерных особенностях выводит вычисленную информацию о характерной особенности на блок 201 определения характерного человека.

[0085] Работа блока 250 определения характерных особенностей аналогична работе блока 250 определения характерных особенностей, показанного на фиг.7.

[0086] Как описано выше, путем объединения накопленной информации о характерной особенности и динамически вычисляемой информации о характерной особенности блок 103 выбора характерного человека может сделать выбор характерного человека, пользуясь преимуществами обеих.

[0087] Настоящее изобретение не ограничено этими примерными вариантами осуществления, и специалисту в данной области техники будет понятно, что в настоящем изобретении могут быть сделаны различные изменения в форме и деталях без отступления от сущности и объема настоящего изобретения. Каждый процесс в устройстве для отслеживания человека в соответствии с вариантами осуществления с первого по третий, описанными выше, может быть реализован в виде программы, работающей в произвольном компьютере. Программа может быть сохранена и представлена в компьютере с помощью любого типа постоянного машиночитаемого носителя. Невременный машиночитаемый носитель включает все типы материальных носителей. Примеры постоянных машиночитаемых носителей включают в себя магнитные носители данных (такие как гибкие диски, магнитные ленты, жесткие диски и т.д.), оптические магнитные носители данных (например, магнитооптические диски), CD-ROM (постоянное запоминающее устройство), CD-R, CD-R/W и полупроводниковые запоминающие устройства (такие как ПЗУ с масочным программированием, PROM (программируемое ПЗУ), EPROM (стираемое программируемое ПЗУ), флэш-ROM (перепрограммируемое ПЗУ), RAM (память с произвольным доступом) и т.д. Программа может быть представлена в компьютере с помощью любого типа временного машиночитаемого носителя. Примеры временных машиночитаемых носителей включают в себя электрические сигналы, оптические сигналы и электромагнитные волны. Временный машиночитаемый носитель может представить программу компьютеру через проводную линию связи, такую как электрические провода или волоконно-оптический канал, или через беспроводную линию связи.

[0088] Все или часть примерных вариантов осуществления, раскрытые выше, могут быть описаны как следующие дополнительные примечания, но не ограничиваются этим.

[0089] Дополнительное примечание 1

Устройство для отслеживания человека, включающее в себя:

средство извлечения информации об области, занимаемой человеком, для обнаружения области, занимаемой человеком, которой принадлежит человек, появляющийся на видеоизображении, и формирования информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком;

средство для определения сопровождающего человека для идентификации по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека среди людей, включенных в информацию об области, занимаемой человеком, на основе информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и формирования информации о сопровождающем человеке, описывающей сопровождающего человека;

средство выбора характерного человека для выбора человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, среди сопровождающих людей, определяемых информацией о сопровождающих людях, и формирования информации о характерном человеке, описывающей характерного человека, и

средство для отслеживания человека для вычисления результата отслеживания характерного человека, являющегося результатом отслеживания характерного человека, основанного на информации об области, занимаемой человеком, и информации о характерном человеке.

[0090] Дополнительное примечание 2

Устройство для отслеживания человека в соответствии с Дополнительным примечанием 1, в котором

информация о сопровождающем человеке включает в себя информацию, определяющую отслеживаемого целевого человека,

средство выбора характерного человека вычисляет информацию об относительном положении отслеживаемого целевого человека, представляющую относительную позицию между отслеживаемым целевым человеком и характерным человеком, и

устройство для отслеживания человека дополнительно включает в себя средство вычисления результата отслеживания для вычисления результата отслеживания для отслеживаемого целевого человека исходя из результата отслеживания характерного человека и информации об относительном положении отслеживаемого целевого человека.

[0091] Дополнительное примечание 3

Устройство для отслеживания человека в соответствии с Дополнительным примечанием 1 или 2, в котором средство выбора характерного человека включает в себя:

средство накопления информации для накопления информации о характерной особенности, описывающей информацию о значении характерной особенности, а также

средство выбора характерного человека для вычисления характеристики каждого из сопровождающих, определяемой по информации о сопровождающем человеке, вычисления характерной особенности каждого из сопровождающих на основе информации о характерной особенности и выборе характерного человека в порядке относительного убывания характерной особенности.

[0092] Дополнительное примечание 4

Устройство слежения за человеком в соответствии с Дополнительным примечанием 1 или 2, в котором средство выбора характерного человека включает в себя:

средство определения характерной особенности для вычисления информации о характерной особенности, являющейся информацией о значении характерной особенности, на основе характеристики человека, описанного в информации об области, занимаемой человеком, а также

средство выбора характерного человека для вычисления характеристики каждого из сопровождающих, определяемой по информации о сопровождающем человеке, вычисления характерной особенности каждого из сопровождающих на основе информации о характерной особенности, и выборе характерного человека в порядке относительного убывания характерной особенности.

[0093] Дополнительное примечание 5

Устройство слежения за человеком в соответствии с Дополнительным примечанием 1 или 2, в котором средство выбора характерного человека включает в себя:

средство определения характерной особенности для вычисления информации о первой характерной особенности, являющейся информацией о значении характерной особенности, на основе характеристики каждого человека, описанного в информации об области, занимаемой человеком, а также

средство накопления информации о характерной особенности для накопления информации о второй характерной особенности, описывающей информацию о значении характерной особенности;

средство объединения информации о характерных особенностях для вычисления объединенной информации о характерной особенности путем объединения информации о первой характерной особенности и информации о второй характерной особенности, и

средство выбора характерного человека для вычисления характеристики каждого из сопровождающих, определяемой по информации о сопровождающем человеке, вычисления характерной особенности каждого из сопровождающих на основе объединенной информации о характерной особенности, и выбора характерного человека в порядке относительного убывания характерной особенности.

[0094] Дополнительное примечание 6

Устройство для отслеживания человека в соответствии с Дополнительным примечанием 4 или 5, в котором средство определения характерной особенности устанавливает характерную особенность тем выше, чем ниже частота появления значения характеристики.

[0095] Дополнительное примечание 7

Устройство для отслеживания человека в соответствии с Дополнительным примечанием 3, в котором средство накопления информации о характерной особенности изменяет накапливаемую информацию о характерной особенности в соответствии с по меньшей мере одним из: текущей позиции, сезона или времени.

[0096] Дополнительное примечание 8

Устройство для отслеживания человека в соответствии с Дополнительным примечанием 5, в котором средство объединения информации о характерных особенностях вычисляет среднее значение из первой характерной особенности и второй характерной особенности и формирует объединенную информацию о характеристике на основе среднего значения.

[0097] Дополнительное примечание 9

Устройство для отслеживания человека в соответствии с Дополнительным примечанием 5, в котором средство объединения информации о характерных особенностях присваивает вес по меньшей мере одной из первой характерной особенности и второй характерной особенности, вычисляет среднее значение из них и формирует объединенную информацию о характерной особенности на основе среднего значения.

[0098] Дополнительное примечание 10

Устройство для отслеживания человека в соответствии с Дополнительным примечанием 4 или 5, в котором средство определения сопровождающего человека идентифицирует информацию об отслеживаемом целевом человеке, включенную в информацию об области, занимаемой человеком, основанную на информации об отслеживаемом целевом человеке, и определяет сопровождающего человека на основе выявленной информации.

[0099] Дополнительное примечание 11

Устройство для отслеживания человека в соответствии с Дополнительными примечаниями с 1 по 9, в котором средство определения сопровождающего человека группирует людей, находящихся рядом друг с другом, в одну группу на основе информации о положении каждого человека, включенного в информацию об области, занимаемой человеком, определяет группу, к которой принадлежит отслеживаемый целевой человек, на основе информации, определяющей отслеживаемого целевого человека, и вычисляет информацию о сопровождающем человеке на основе выявленной группы.

[0100] Дополнительное примечание 12

Способ для отслеживания человека, включающий в себя:

обнаружение области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирование информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком;

идентификацию по меньшей мере одного человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основе информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и формирование информации о сопровождающем человеке, описывающей сопровождающего человека;

выбор характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, среди сопровождающих людей, определяемых информацией определения сопровождающего человека, и формирование информации о характерном человеке, описывающей характерного человека, и

вычисление результата отслеживания характерного человека, являющегося результатом отслеживания для характерного человека, на основе информации об области, занимаемой человеком, и информации о характерном человеке.

[0101] Дополнительное примечание 13

Невременный машиночитаемый носитель, хранящий программу для отслеживания человека, заставляющую компьютер выполнять процесс отслеживания человека, появляющегося на видеоизображении, включающий в себя:

обнаружение области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирование информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком;

идентификацию по меньшей мере одного человека, сопровождающего отслеживаемого целевого человека среди людей, включенных в информацию об области, занимаемой человеком, и в информацию, определяющую отслеживаемого целевого человека, и формирование информации о сопровождающем человеке, описывающей сопровождающего человека;

выбор характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, среди сопровождающих людей, определяемых информацией о сопровождающем человеке, и формирование информации о характерном человеке, описывающей характерного человека, и

вычисление результата отслеживания характерного человека, являющегося результатом отслеживания характерного человека на основе информации об области, занимаемой человеком, и информации о характерном человеке.

[0102] Настоящая заявка основана на и испрашивает приоритет японской патентной заявки № 2011-070114, поданной 28 марта 2011 года, содержание которой включено в настоящее описание во всей своей полноте посредством ссылки.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0103] В соответствии с настоящим изобретением возможно отслеживать человека, используя камеру наблюдения, и вычислять положение человека в данный момент времени. Это позволяет данной системе обеспечить отслеживание целевого человека по информации в соответствии с его положением. Альтернативно, когда отслеживаемый целевой человек является ребенком, настоящее изобретение может быть применено в службе слежения за ребенком, которая передает результат отслеживания ребенка родителям. Конечно, настоящее изобретение может быть использовано с целью отслеживания конкретного человека в общей системе безопасности.

СПИСОК ССЫЛОЧНЫХ ОБОЗНАЧЕНИЙ

[0104]

1 Средство обнаружения области, занимаемой человеком

2 Средство формирования объемного элемента изображения

3 Средство извлечения цвета человека

4 Средство отслеживания человека

100 Устройство для отслеживания человека

101 Блок извлечения информации об области, занимаемой человеком

102 Блок определения сопровождающего человека

103 Блок выбора характерного человека

104 Блок отслеживания человека

105 Блок вычисления результата отслеживания

201 Блок определения характерного человека

202 Блок накопления информации о характерной особенности

250 Блок определения характерных особенностей

253 Блок объединения информации о характерных особенностях

Изобретение относится к средствам для отслеживания человека с использованием видеоизображения, снятого камерой наблюдения. Техническим результатом является повышение точности отслеживания целевого человека даже тогда, когда отслеживаемый целевой человек имеет мало отличительных особенностей. Устройство для отслеживания человека содержит средство извлечения информации об области, занимаемой человеком; средство определения сопровождающего человека для идентификации по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком; средство выбора характерного человека для выбора характерного человека, имеющего характерную особенность, и средство отслеживания человека для вычисления результата отслеживания характерного человека. 3 н. и 7 з.п. ф-лы, 9 ил.

1. Устройство для отслеживания человека, содержащее:
средство извлечения информации об области, занимаемой человеком, для обнаружения области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирования информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком;
средство определения сопровождающего человека для идентификации по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основе информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и формирования информации о сопровождающем человеке, описывающей сопровождающего человека;
средство выбора характерного человека для выбора характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, из сопровождающих людей, определяемых по информации о сопровождающем человеке, и формирования информации о характерном человеке, описывающей характерного человека, и
средство отслеживания человека для вычисления результата отслеживания характерного человека, являющегося результатом отслеживания упомянутого характерного человека, на основании информации об области, занимаемой человеком, и информации о характерном человеке.

2. Устройство для отслеживания человека по п. 1, в котором
информация о сопровождающем человеке включает в себя информацию, определяющую отслеживаемого целевого человека,
средство выбора характерного человека вычисляет информацию об относительном положении отслеживаемого целевого человека, представляющую собой относительное положение между отслеживаемым целевым человеком и характерным человеком,
причем устройство для отслеживания человека дополнительно содержит средство вычисления результата отслеживания для вычисления результата отслеживания отслеживаемого целевого человека, исходя из результата отслеживания характерного человека и информации об относительном положении отслеживаемого целевого человека.

3. Устройство для отслеживания человека по п. 1 или 2, в котором средство выбора характерного человека включает в себя:
средство накопления информации о характерной особенности для накопления информации о характерной особенности, описывающей информацию о значении характерной особенности, и
средство определения характерного человека для вычисления характеристики каждого сопровождающего человека, определяемой по информации о сопровождающем человеке, вычисления характерной особенности каждого сопровождающего человека на основе информации о характерной особенности и выбора характерного человека в порядке относительного убывания характерной особенности.

4. Устройство для отслеживания человека по п. 1 или 2, в котором средство выбора характерного человека включает в себя:
средство определения характерной особенности для вычисления информации о характерной особенности, являющейся информацией о значении характерной особенности, на основе характеристики человека, описанного в информации об области, занимаемой человеком, и
средство определения характерного человека для вычисления характеристики каждого сопровождающего человека, определяемой по информации о сопровождающем человеке, вычисления характерной особенности каждого сопровождающего человека на основе информации о характерной особенности и выбора характерного человека в порядке относительного убывания характерной особенности.

5. Устройство для отслеживания человека по п. 1 или 2, в котором средство выбора характерного человека включает в себя:
средство определения характерной особенности для вычисления информации о первой характерной особенности, являющейся информацией о значении характерной особенности, на основе характеристики каждого человека, описанного в информации об области, занимаемой человеком, средство накопления информации о характерной особенности для накопления информации о второй характерной особенности, описывающей информацию о значении характерной особенности;
средство объединения информации о характерных особенностях для вычисления объединенной информации о характерной особенности путем объединения информации о первой характерной особенности и информации о второй характерной особенности, и
средство определения характерного человека для вычисления
характеристики каждого сопровождающего человека, определяемой по информации о сопровождающем человеке, вычисления характерной особенности каждого сопровождающего человека на основе объединенной информации о характерной особенности и выбора характерного человека в порядке относительного убывания характерной особенности.

6. Устройство для отслеживания человека по п. 4, в котором средство определения характерной особенности устанавливает характерную особенность тем выше, чем ниже частота появления характеристики.

7. Устройство для отслеживания человека по п. 3, в котором средство накопления информации о характерной особенности изменяет накапливаемую информацию о характерной особенности в соответствии с по меньшей мере одним из: текущей позиции, сезона и времени.

8. Устройство для отслеживания человека по п. 5, в котором средство объединения информации о характерных особенностях вычисляет среднее значение из информации о первой характерной особенности и информации о второй характерной особенности и формирует объединенную информацию о характерной особенности на основе среднего значения.

9. Способ отслеживания человека, содержащий:
обнаружение области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирование информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком;
идентификацию по меньшей мере одного сопровождающего
человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основании информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и формирование информации о сопровождающем человеке, описывающей сопровождающего человека;
выбор характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, из сопровождающих людей, определяемых по информации о сопровождающем человеке, и формирование информации о характерном человеке, описывающей характерного человека, и
вычисление результата отслеживания характерного человека, являющегося результатом отслеживания упомянутого характерного человека, на основе информации об области, занимаемой человеком, и информации о характерном человеке.

10. Невременный машиночитаемый носитель, хранящий программу для отслеживания человека, побуждающую компьютер выполнять процесс отслеживания человека, появляющегося на видеоизображении, причем процесс содержит:
обнаружение области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирование информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком;
идентификацию по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основании информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и формирование информации о сопровождающем человеке, описывающей сопровождающего человека;
выбор характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, из сопровождающих людей, определяемых по информации о сопровождающем человеке, и формирование информации о характерном человеке, описывающей характерного человека, и
вычисление результата отслеживания характерного человека, являющегося результатом отслеживания упомянутого характерного человека, на основе информации об области, занимаемой человеком, и информации о характерном человеке.