Способ построения системы видеонаблюдения для поиска и отслеживания объектов Российский патент 2019 года по МПК G06K9/80 

Изобретение относится к компьютерным технологиям, в частности, к области компьютерного зрения, к средствам и методам поиска, обнаружения и отслеживания объектов, в т.ч. движущихся, например, людей.

Из уровня техники известен метод подсчета количества людей по патенту № CN 105940430 A, заключающийся в обработке потока изображений области детектирования. Метод предполагает использование виртуальной линии перед камерой, далее детектируется контур готовы проходящих под камерой людей, отслеживаются траектории их движения. Подсчет количества происходит за счет пересечения траектории контуров головы и виртуальной линии. Данный метод имеет ряд недостатков, а именно: предназначен для подсчета количества людей, но не позволяет строить более развитую аналитику треков их перемещения. Также описываемый метод не предполагает построения мультикамерной системы видеонаблюдения.

Также известен метод подсчета людей на сложной сцене с перекрытием человеческих фигур по патенту № CN 106228560. Описываемый метод предполагает использование предобученного SVM классификатора для определения заблокированных целей для определения количества людей на сцене. Данный метод хоть и схож по назначению, но не предполагает построения аналитики треков перемещений объектов на плане локации и построения мультикамерной системы видеонаблюдения.

Известен также метод подсчета числа людей на основе анализа треков их движения по патенту № CN 106599776. Метод предполагает использование стерео либо RGBD камеры, а также предварительную калибровку камер данного вида. Далее извлекаются треки перемещения человеческих фигур на основе использования карты глубины - отдельного канала изображения камеры, характеризующего глубину изображения, то есть карту пространственных расстояний от камеры до каждой видимой на изображении точки в пространстве. На основе анализа треков перемещения человеческих фигур производится подсчет числа людей. К недостаткам данного подхода относится факт использования сложных камер, типа стереокамер либо RGBD камер, предполагающих получение не просто изображения (черно-белого либо цветного), но также и канала изображения, характеризующего дальность от камеры до объектов наблюдаемой сцены. Использование данных камер является существенным ограничением для внедрения подобных систем, в том числе по причине их высокой стоимости. Также способ не предполагает построения мультикамерной системы видеонаблюдения на плане локации.

Наиболее близким по функциональному назначению и области использования аналогом заявленного способа является «Способ подсчета людей с использованием стереоскопической системы и соответствующее стереоскопическое устройство подсчета людей», по патенту № ЕР 2904543. Изобретение предполагает использование стереокамер, которые крепятся в области потолка наблюдаемого помещения, и направлены вниз. Описанное устройство является фактически совмещением двух камер в один датчик. Две камеры в устройстве разнесены на некоторое расстояние, называемое стереоскопической базой, а совмещение изображений, полученных с двух камер по принципу стереоскопии, позволяет получить дополнительную информацию - псевдо-глубину изображения, то есть информацию о том, как далеко находится та или иная часть обрабатываемого изображения от датчика. На основе данных стереокамер далее строят системы подсчета посетителей, которые широко распространены на рынке подсчета посетителей, и показывают высокую точность в реальных условиях работы. Однако такой способ и система имеют ряд существенных недостатков: высокую стоимость датчика, так как датчик предполагает использование как минимум двух дорогостоящих камер высокого разрешения, а также систему обработки видеопотока; небольшую область видимости (охвата) датчика, так, например, если для среднего помещения датчик «смотрит» перпендикулярно в пол с высоты 3 метра, его область охвата является весьма ограниченной - около 3×3 метра (около 9 м²). Также данный способ характеризуется сложностью построения мультикамерной системы видеонаблюдения, обусловленной тем, что каждый датчик является независимым и сведение информации с каждого датчика в единую систему для последующего анализа представляется затруднительным. Кроме того, в связи с ограниченностью области охвата датчика для обеспечения непрерывного покрытия (наблюдения) площади помещения требуется установка большого количество датчиков, сеткой каждые 6 метров, что существенно повышает стоимость как датчика, так и стоимость системы в целом.

В сравнении с аналогом заявленный способ обладает следующими преимуществами. Заявленный способ предполагает возможность использования, например, обычных IP камер видеонаблюдения, стоимость которых на порядок ниже стоимости стереокамер, используемых в прототипе. В связи с тем, что при реализации заявленного способа особое внимание уделяется построению точного координатного соответствия, каждая камера системы видеонаблюдения может располагаться не вертикально и «смотреть» в пол, а «смотреть» под острым углом к горизонту, в связи с чем площадь ее области видимости (охвата) может легко достигать значений свыше 200 м² за счет более горизонтальной ее ориентации. Так, на тестовом стенде одна из камер, ориентированная вдоль коридора, охватывала область 16×9 метров, что соответствует 144 м², что на порядок больше по сравнению со стереокамерами, используемыми в прототипе. Предлагаемый способ также дает возможность с высокой точностью построить мультикамерную систему видеонаблюдения за счет выполнения нескольких простых шагов по настройке и калибровке каждой камеры в отдельности и последующей привязки всех камер к единому плану наблюдаемой локации. Кроме того, за счет существенно большей области видимости каждой камеры в заявляемом способе нет необходимости установки камер так часто, как требуется в описываемом аналоге, что, в свою очередь, существенно удешевляет техническое решение, обеспечивающее решение аналогичных задач.

Создание заявленного изобретения было направлено на решение технической задачи по детектированию, т.е. поиску, и трекингу, т.е. отслеживанию перемещающихся объектов, например, человеческих тел, в видео-потоке, а также на решение бизнес-задачи по анализу треков, т.е. последовательностей положений объектов наблюдения, в частности, людей, во времени с использованием системы видеонаблюдения, состоящей как минимум из одной камеры, например, в торговых, складских, производственных, транспортных и иных помещениях, а также в открытой локации, например, на улице, воде, парке, ферме и т.д.

При реализации заявленного способа обеспечивается достижение следующих технических результатов: возможность построения треков перемещающихся объектов, например, людей, в системе координат плана наблюдаемой локации; последующего анализа поведения и перемещения объектов наблюдения, например, людей, в т.ч. подсчета количества таких объектов, находившихся в заданных зонах, областях, и т.д.; наблюдение; возможность строить «горячие-холодные» зоны с наибольшим и наименьшим сосредоточением объектов наблюдения и т.д.; обеспечение возможности анализировать характер перемещения объектов наблюдения, а также взаимодействия таких объектов, в том числе посетителей и персонала наблюдаемой локации, обеспечение возможности определения и оценки индивидуальных параметров наблюдаемых объектов таких, например, как рост, размер, пол, возраст, цветовая палитра одежды и т.д.; обеспечение мультикамерного наблюдения в отношении каждого из объектов наблюдения, при котором один и тот же перемещающийся объект наблюдения, например, человек, передается от одной камеры видеонаблюдения к другой при выходе из области видимости одной камеры и появлении в области видимости другой камеры, в случае если такая система видеонаблюдения включает больше, чем одну камеру, и для него строится единый трек на пространстве плана наблюдаемой локации; обеспечение построения системы детектирования и трекинга перемещающихся объектов, например, людей, на видео-потоке с использованием как минимум одной камеры видеонаблюдения; сведение всех камер, в случае если их больше, чем одна, в единую систему наблюдения, в том числе допускающую минимальные или полностью отсутствующие зоны перекрытия областей видимости смежных камер; возможность оптимизации алгоритма реализации заявленного способа в части используемых для этого вычислительных ресурсов; обеспечение возможности построения координатного соответствия между двухмерной пиксельной системой координат видео-изображения каждой камеры системы видеонаблюдения и трехмерной метровой системой координат плана наблюдаемой локации (принцип координатного соответствия).

Сущность заявленного изобретения заключается в следующем. Вначале осуществляют предварительную настройку каждой камеры системы видеонаблюдения, состоящей как минимум из одной камеры. Если одна камера обеспечивает несколько различных видеопотоков, то настройка производится для каждого видеопотока, как для отдельной камеры. Настройку каждой камеры системы производят в несколько этапов. Сначала осуществляют разметку изображений наблюдаемой локации, например, помещения, полученных с каждой камеры системы видеонаблюдения, с помощью калибровочных элементов и/или групп калибровочных элементов. Затем вычисляют часть оптических параметров и параметров положения каждой камеры системы наблюдения на основе калибровочных элементов и/или групп калибровочных элементов. Далее на каждом изображении определяют полигон области видимости каждой камеры системы видеонаблюдения, после чего осуществляют проекцию полигонов областей видимости каждой камеры системы видеонаблюдения в систему координат плана наблюдаемой локации. Затем осуществляют привязку всех камер системы видеонаблюдения к плану наблюдаемой локации и производят вычисление остальных оптических параметров и параметров положения каждой камеры системы видеонаблюдения, после чего осуществляют построение координатного соответствия двухмерной пиксельной системы координат изображения каждой камеры системы видеонаблюдения и единой трехмерной метровой системой координат плана наблюдаемой локации. После осуществления описанной выше настройки камер системы видеонаблюдения захватывают видео-поток с каждой камеры системы видеонаблюдения с настроенными параметрами координатного соответствия, после чего осуществляют покадровую обработку полученного видео-потока, в процессе которой осуществляют поиск и обнаружение (детектирование) и отслеживание (трекинг) интересующих объектов. Далее на каждой камере системы видеонаблюдения строят треки движения каждого детектируемого объекта, после чего детектируемые треки с каждой камеры системы видеонаблюдения соединяют таким образом, чтобы обеспечить мультикамерное видео-наблюдение, при котором один и тот же объект передается от одной камеры видеонаблюдения к другой при выходе из области видимости одной камеры и появлении в области видимости другой камеры, в случае если система видеонаблюдения включает больше, чем одну камеру, и для него строится единый трек на плане наблюдаемой локации. В результате объединенные треки движения объектов оказываются нанесенными на план наблюдаемой локации и далее осуществляют дальнейший анализ характера движения и поведения, а также индивидуальных параметров таких объектов во всей системе видеонаблюдения.

На Фиг. 1 представлено изображение примера разметки оператором в ручном режиме изображения наблюдаемого помещения калибровочными элементами группы 1 (параллельные в пространстве линии на полу).

На Фиг. 2 представлено изображение примера разметки оператором в ручном режиме изображения наблюдаемого помещения калибровочными элементами группы 2 (перпендикулярные в пространстве линии на плитке пола).

На Фиг. 3 представлено изображение примера разметки оператором в ручном режиме изображения помещения калибровочными элементами группы 3 (вертикальные в пространстве колонны).

На Фиг. 4 представлено изображение примера разметки пространства помещения маркерами калибровочных элементов заданного размера (метровые шесты определенного цветового паттерна, размеченные одинаковой последовательностью цветов и размещенные перед камерой) для автоматического определения их координат на изображении камеры.

На Фиг. 5 представлено изображение примера разметки области видимости каждой камеры системы видеонаблюдения.

На Фиг. 6 представлен чертеж, иллюстрирующий пример проекции областей видимости каждой камеры системы видеонабтдадения в трехмерную метровую систему координат плана наблюдаемого помещения.

На Фиг. 7 представлен чертеж, иллюстрирующий пример привязки всех камер системы видеонаблюдения к единому плану помещения и построение координатного соответствия двухмерной пиксельной системы координат изображения каждой камеры системы видеонаблюдения с единой трехмерной метровой системой координат плана помещения.

На Фиг. 8 представлен чертеж, иллюстрирующий пример трехмерной модели мультикамерной системы видеонаблюдения, состоящий из двух камер.

На Фиг. 9 представлено изображение примера проекции области видимости одной камеры системы видеонаблюдения из трехмерной системы координат плана помещения на изображение.

На Фиг. 10 представлен чертеж, иллюстрирующий принцип совмещения спроецированных в единую систему координат плана помещения треков от каждой камеры системы видеонаблюдения в единый трек наблюдаемого объекта для случая, когда полигоны областей видимости камер пересекаются.

На Фиг. 11 представлен чертеж, иллюстрирующий принцип совмещения спроецированных в единую систему координат плана помещения треков от каждой камеры системы видеонаблюдения в единый трек наблюдаемого объекта для случая, когда полигоны областей видимости камер не пересекаются, а расположены смежным образом.

На Фиг. 12 и 14 представлены чертежи, иллюстрирующие пример детектирования и трекинга перемещающихся объектов (людей) в пространстве помещения с использованием принципа координатного соответствия в привязке к плану помещения.

На Фиг. 13 и 15 представлено изображение примера детектирования и трекинга перемещающихся объектов (людей) в пространстве с использованием принципа координатного соответствия в привязке к плану помещения.

Достижение заявленных технических результатов обеспечивается следующим образом.

Система видеонаблюдения представляет собой набор из произвольного числа или как минимум одну камеру видеонаблюдения. Заявленный способ заключается в том, что сначала осуществляют настройку каждой камеры системы видеонаблюдения, обеспечивающую возможность построения координатного соответствия между двухмерной пиксельной системой координат видео-изображения каждой камеры и трехмерной метровой системой координат плана наблюдаемой локации, например, помещения. Настройка камер системы видеонаблюдения включает два этапа и заключается в настройке каждой камеры в отдельности и последующей привязке камер к плану локации, т.е. сведению всех камер в единую систему координат плана локации. Известно, что положение камеры в трехмерном метровом пространстве можно описать такими параметрами установки, как горизонтальный угол поворота камеры, вертикальный угол поворота камеры, угол поворота вокруг оптической оси камеры, «х» и «у» точки положения камеры в системе координат плана локации, «h» высота крепления камеры (в метрах); а также такими оптическими параметрами, как фокусное расстояние, зум камеры. Такой способ настройки камеры видеонаблюдения позволяет оператору вручную при помощи любого несложного программно-математического инструмента, например, любого векторного графического редактора такого, как Adobe Illustrator, Inkscape и т.п., путем разметки на изображении каждой камеры специальных геометрических фигур (калибровочных элементов), необходимых для определения всех выше указанных параметров камеры, требуемых для построения трехмерной модели системы видеонаблюдения, на плане наблюдаемой локации и построения точного координатного соответствия, т.е. матричного преобразования из двухмерной пиксельной системой координат видео-изображения каждой камеры в трехмерную метровую систему координат единого плана наблюдаемой локации, например, помещения, и обратно. Построение указанного координатного соответствия играет ключевую роль при решении технической задачи детектирования и трекинга объектов, например, людей, на видео-потоке сразу в нескольких элементах системы видеонаблюдения при реализации заявленного способа.

Настройка каждой камеры системы видеонаблюдения осуществляется следующим образом. Первоначально осуществляют обнаружение или разметку локации, например, помещения калибровочными элементами или группами калибровочных элементов на изображении каждой камеры системы видеонаблюдения. Под калибровочными элементами понимаются геометрические фигуры на изображении камеры, имеющие заведомо определенные геометрические положения в пространстве такие, например, как: отрезки линий, которые в пространстве помещения параллельны друг другу и параллельны горизонтальной плоскости пола (калибровочные элементы группы 1) (Фиг. 1); отрезки линий, которые в пространстве помещения перпендикулярны друг другу и параллельны плоскости пола (калибровочные элементы группы 2) (Фиг. 2); отрезки линий, которые в пространстве помещения параллельны друг другу и перпендикулярны плоскости пола (калибровочные элементы группы 3) (Фиг. 3); отрезки линий, которые в пространстве помещения расположены в плоскости пола и имеют одинаковый размер (калибровочные элементы группы 4); отрезки линий, которые в пространстве помещения расположены в плоскости пола и имеют одинаковый и заранее известный размер (калибровочные элементы группа 5). Для автоматической разметки калибровочных элементов на изображении с камеры предполагается использование маркеров калибровочных элементов, а также их автоматическое обнаружение на изображении; маркеры калибровочных элементов представляют собой заранее заготовленные физические предметы, например, шесты длиной 1 метр определенного цветового паттерна, например, размеченные одинаковой последовательностью цветов, или круги и т.д. (Фиг. 4), которые размещают в наблюдаемой локации перед установленной камерой системы видеонаблюдения для последующей фиксации изображения с их раскладкой и автоматического обнаружения (детектирования) таких маркеров, определяющих необходимый набор калибровочных элементов. Маркеры калибровочных элементов физически располагаются, например, в горизонтальной плоскости пола наблюдаемой локации, например, помещения, перед камерой (Фиг. 4), и далее камера детектирует цветовой паттерн элементов-маркеров и автоматически определяет их координаты на изображении камеры. В случае, если физическое размещение маркеров калибровочных элементов затруднительно, например, в случае отсутствия физического доступа к области видимости камеры либо, когда имеется лишь видео-файл, полученный с камеры, разметка наблюдаемой локации, например, помещения, калибровочными элементами группы 1-4 осуществляется оператором вручную на изображении такого помещения. В этом случае оператор осуществляет разметку посредством калибровочных элементов или групп калибровочных элементов 1-4 на изображении видео-камеры на основе экспертной оценки оператора относительно специфики расположения таких калибровочных элементов в пространстве наблюдаемого помещения. Например, калибровочные элементы группы 1 могут быть обозначены, как линии углов пересечения пола с параллельными линиями стен, может быть очерчен рисунок плитки на полу и т.д. (Фиг. 1). Калибровочные элементы группы 2 можно также обнаружить на рисунке пола, на основе представления о расположении колонн в помещении, очертить углы стен и т.д. (Фиг. 2). Калибровочные элементы группы 3 можно получить, очертив, например, вертикальные границы колонн, углы стен, по рисунку плитки на стенах, различные стойки, углы мебели и т.п. (Фиг. 3). Калибровочные элементы группы 4 можно получить, например, из рисунка пола, плитки или очертив расстояние между колоннами, ширину коридора и т.д. Калибровочные элементы группы 5 отличаются от калибровочных элементов группы 4 тем, что на момент настройки камеры и разметки помещения известен реальный размер таких элементов.

После разметки изображения наблюдаемой локации осуществляют вычисление части оптических параметров и параметров положения каждой камеры системы видеонаблюдения на основе полученных при разметке калибровочных элементов групп 1-5, определенных на изображении каждой камеры оператором или в автоматическом режиме. Координатное соответствие двухмерной пиксельной системы координат изображения каждой камеры и трехмерной метровой системы координат единого плана наблюдаемой локации зависит от искомых параметров каждой камеры системы видеонаблюдения. Вычисление предполагает поиск значений указанных параметров камеры таким образом, чтобы априорные представления о положении калибровочных элементов в пространстве наблюдаемой локации, например, помещения соответствовали их положению, полученному в результате применения зависящего от описанных параметров координатного соответствия. Так, например, для калибровочных элементов группы 1 полученное координатное соответствие должно отображать соответствующие отрезки линий калибровочных элементов в трехмерную метровую систему координат плана наблюдаемой локации таким образом, чтобы такие отрезки были параллельны друг другу в пространстве наблюдаемой локации, т.е. в системе координат плана наблюдаемой локации, например, помещения. Калибровочные элементы группы 2 должны оказаться в трехмерной метровой системе координат плана наблюдаемой локации перпендикулярными друг другу. Калибровочные элементы группы 3 после отображения их в трехмерную метровую систему координат плана наблюдаемой локации должны быть четко вертикальными. Калибровочные элементы групп 4 и 5 после отображения их в трехмерную метровую систему координат плана наблюдаемой локации должны иметь одинаковый размер. Для калибровочных элементов - маркеров группы 5 после отображения в трехмерную метровую систему координат плана наблюдаемой локации их размер должен соответствовать заранее известному. Различные комбинации групп калибровочных элементов позволяют определить часть оптических параметров и параметров положения каждой камеры системы видеонаблюдения. Например, комбинация калибровочных элементов группы 1, 2 и 3 совместно определяют такие параметры камеры, как вертикальный угол поворота камеры, угол поворота вокруг оптической оси камеры и фокусное расстояние камеры. Калибровочные элементы группы 5 определяют такие параметры, как как вертикальный угол поворота камеры, угол поворота вокруг оптической оси камеры, высота крепления камеры в метрах, фокусное расстояние камеры и зум камеры. Калибровочные элементы группы 4 определяют такие параметры камеры, как вертикальный угол поворота камеры, угол поворота вокруг оптической оси камеры и фокусное расстояние камеры.

Выбор групп калибровочных элементов, используемых для разметки изображения наблюдаемой локации, зависит от преобладания определенных пространственных линий на изображении с камеры. Если на изображении отчетливо видны повторяющиеся рисунки, например, плитки, оператору будет удобно разметить калибровочные элементы группы 4, в случае если размер элементов рисунка плитки не известен, или калибровочные элементы группы 5, в случае если размер элементов рисунка плитки известен. Следовательно, калибровочные элементы группы 4 и 5 являются самодостаточными, то есть на этапе разметки изображения каждой камеры будет достаточно разметить только лишь элементы из одной из этих групп. Если повторяющийся рисунок отсутствует либо он не виден отчетливо, оператору необходимо будет выбрать для разметки изображения калибровочные элементы группы 1, 2 и 3. Данные группы калибровочных элементов не являются самодостаточными и, следовательно, для разметки такого изображения оператору потребуется использовать калибровочные элементы каждой из этих трех групп: то есть отрезки линий, параллельные друг другу в пространстве; отрезки линий, перпендикулярные друг другу в пространстве, и вертикальные отрезки линий. Таким образом, при разметке изображения каждой камеры посредством калибровочных элементов оператор руководствуется видимыми деталями наблюдаемой локации на изображении и выбирает подходящие калибровочные элементы из группы 4 или 5 либо комбинацию калибровочных элементов из групп 1, 2 и 3 (Фиг. 1-4).

После разметки или детектирования калибровочных элементов производится частичное построение координатного соответствия между двумерной системой координат изображений камер и трехмерной системой координат плана локации таким образом, чтобы данное координатное соответствие при проекции калибровочных элементов из системы координат изображения камеры в трехмерную систему координат плана локации обеспечивало выполнение априорных условий положения калибровочных элементов в пространстве. Построенное координатного соответствия необходимо для возможности последующей проекции полигонов областей видимости каждой камеры в систему координат плана локации в неискаженной форме, то есть в правильной форме, с точностью до поворота, смещения и масштаба.

Далее, на изображении осуществляют разметку полигонов областей видимости каждой камеры. Человек-оператор на изображении каждой камеры системы видеонаблюдения обводит область видимости - полигон, обозначающий часть пола, в пределах которой предполагается поиск и обнаружение (детектирование) и слежение (трекинг) за движущимися объектами, например, людьми (Фиг. 5).

Затем осуществляют проекцию областей видимости каждой камеры системы видеонаблюдения в трехмерную метровую систему координат плана помещения. За счет того, что часть параметров камеры уже были определены на этапе настройки камеры при помощи калибровочных элементов групп 1-5, имеется возможность спроецировать очерченный полигон области видимости каждой камеры на плоскость пола в трехмерную метровую систему координат плана локации, например, помещения (Фиг. 6). В результате проекции полигонов областей видимости для каждой камеры системы видеонаблюдения на плоскость пола помещения проекции полигонов видимости имеют правильную (неискаженную) форму в пространстве с точностью до поворота, смещения и масштаба (Фиг. 6, 7).

Далее осуществляют привязку всех камер системы видеонаблюдения к единому плану наблюдаемой локации и построение полного координатного соответствия между двухмерной пиксельной системы координат изображения каждой камеры и единой трехмерной метровой системой координат плана наблюдаемой локации, например, помещения, следующим образом. После получения всех проекций полигонов областей видимости камер системы видеонаблюдения на плоскость пола наблюдаемой локации необходимо получить корректную привязку каждого полигона области видимости камеры к соответствующему положению на плане наблюдаемой локации. Этого можно добиться вращением, перемещением и масштабированием спроектированного полигона области видимости каждой камеры системы видеонаблюдения. После корректного расположения полигонов областей видимости камер системы видеонаблюдения сохраняются все корректные привязки каждой камеры к единому плану локации (Фиг. 7).

После сохранения корректного положения каждой камеры системы видеонаблюдения на едином плане наблюдаемой локации производится вычисление недостающих оптических параметров и параметров положения каждой камеры системы видеонаблюдения. Горизонтальный угол поворота камеры вычисляют за счет вращения полигонов областей видимости каждой камеры системы видеонаблюдения. Точки положения камеры «х» и «у» в трехмерной метровой системе координат плана локации вычисляют за счет смещения полигонов областей видимости каждой камеры системы видеонаблюдения. Высота крепления камеры в метрах «h» и зум камеры вычисляют за счет масштабирования полигонов областей видимости каждой камеры видеонаблюдения.

Благодаря вычислению всех оптических параметров и параметров положения каждой камеры системы видеонаблюдения появляется возможность построить полную трехмерную модель системы из нескольких камер, и получить полное координатное соответствие двухмерной пиксельной системы координат изображения каждой камеры с единой трехмерной метровой системой координат плана наблюдаемой локации, в виде соответствующего матричного преобразования. Такое координатное соответствие позволяет обеспечить наблюдение, поиск и обнаружение (детектирования) и отслеживание (трекинга) объектов с использованием системы видеонаблюдения, состоящей из произвольного числа камер или как минимум одной камеры, таким образом, чтобы наблюдаемые объекты, например, перемещающиеся человеческие тела, с каждой камеры проецировались с высокой точностью в единую трехмерную метровую систему координат плана локации, что, в свою очередь, позволяет «вести» и «передавать» наблюдаемые объекты из камеры в камеру без потери идентичности трека, т.е. обеспечивает принцип мультикамерного наблюдения. При этом для достижения заявленных технических результатов достаточно, чтобы камеры системы видеонаблюдения имели минимальные области перекрытия полигонов областей видимости, либо вовсе не имели пересечения полигонов областей видимости и были расположены смежным образом с небольшим разрывом между полигонами областей видимости соседних камер системы видеонаблюдения.

Далее на основе настроенной системы координатного соответствия для всех камер, как системы видеонаблюдения, решается задача по детектированию и трекингу объектов, например, перемещающихся человеческих тел.

Поиск и обнаружение объектов, например, людей, осуществляют путем захвата с каждой из камер видеонаблюдения видео-потока или из файла с ранее записанным видео, на котором путем покадровой обработки детектируются искомые объекты, например, люди.

Трекинг представляет собой отслеживание каждого из найденных в ходе детектирования объектов от кадра к кадру. Используя построенное координатное соответствие, трекинг объектов, в частности человеческих тел, позволяющий оценивать параметры положения, а также параметры движения объектов, может производиться не в двухмерной пиксельной системе координат видео-изображения камеры, а в единой трехмерной метровой системе координат плана наблюдаемой локации, что позволяет достичь существенного улучшения качества трекинга. За счет сведения пространства, в котором производится оценка параметров положения и движения объектов для каждой камеры в единую систему координат плана локации, обеспечивается мультикамерное видеонаблюдение. При таком наблюдении для каждой камеры системы видеонаблюдения строится соответствующее координатное соответствие, что позволяет один и тот же детектируемый объект, например, человека, передавать от одной камеры видеонаблюдения к другой и строить для него единый трек в трехмерной метровой системе координат на пространстве плана локации (Фиг. 10, 11). Таким образом, наблюдаемый объект выходит из полигона области видимости одной камеры видеонаблюдения и попадает в полигон области видимости другой камеры, при этом система видеонаблюдения идентифицирует его как один и тот же объект и строит для него единый трек перемещения, т.е. обеспечивается сведение всех камер в единую систему координат (Фиг. 10, 11). Единый трек перемещения объекта строится как объединение отдельных, определенных каждой камерой в трехмерной системе координат плана локации, треков. Поскольку предлагаемый подход позволяет построить координатное соответствие каждой камеры с единой системой координат плана локации, становится возможным объединять треки детектируемых объектов с каждой камеры в единый трек на основе соответствия координат и направления движения наблюдаемого объекта, так как треки находятся в одной системе координат. Процедура совмещения треков детектированных объектов с каждой камеры системы видеонаблюдения заключается в следующем.

Как представлено на Фиг. 10, полигон области видимости каждой камеры охватывает треки соответствующих объектов, полученные в результате детектирования и трекинга объектов в области видимости каждой камеры, спроецированные в единую трехмерную систему координат плана локации. На Фиг. 10 обозначена область совмещения треков. Точки треков в области совмещения соответствуют по времени, а также сами треки имеют схожую форму и направление движения объекта. В качестве дополнительной информации для объединения (совмещения) треков также может использоваться набор цветовых параметров наблюдаемого объекта, в частности, для человека, например, палитра цветов его одежды. В результате совмещения происходит связь отдельных треков одного и того же объекта с каждой камеры и построение единых совмещенных треков для каждого наблюдаемого объекта.

В случае, когда полигоны областей видимости камер не имеют пересечения, объединение треков производится на основе дополненных треков, полученных с использованием модели движения наблюдаемого объекта. На Фиг. 11 представлена схема совмещения треков движения объекта для случая непересекающихся полигонов областей видимости двух камер. Вначале строится прогнозное дополнение каждого трека навстречу друг другу на основе представления о траектории и скорости перемещения наблюдаемого объекта, а затем строится совмещение треков, аналогично случаю с пересекающимися зонами, описанному выше.

Детектирование и трекинг объектов на видеопотоке является классической задачей компьютерного зрения и традиционно требует значительный объем вычислительных ресурсов для покадровой обработки видеопотока. Сложность задач при детектировании и трекинге обусловлена также необходимостью обработки большого количества данных и построением сложных моделей представления и движения детектируемых объектов, что, в свою очередь, накладывает определенные вычислительные ограничения.

Наличие точного координатного соответствия между системой координат изображения камеры и трехмерной системой координат плана локации для задачи детектирования и трекинга объектов, например, человеческих тел, позволяет максимально использовать априорные представления о габаритных размерах искомого объекта, например, человеческого тела, что позволяет повысить качество детектирования и трекинга объектов, а также оптимизировать алгоритм реализации с применением заявленного способа с точки зрения используемых для этого вычислительных ресурсов.

Затем осуществляют последующий анализ характера поведения, перемещения, взаимодействия объектов наблюдение, их индивидуальных особенностей и т.д., в том числе для решения задач по обнаружению объектов, например, людей, подсчету количества объектов наблюдения, например, находившихся в заданных зонах, области и т.д. наблюдаемой локации, и т.д. наблюдению, обеспечению возможности строить «горячие-холодные» зоны с наибольшим и наименьшим сосредоточением объектов наблюдения и т.д. Оценка таких параметры, как скорость и положение наблюдаемых объектов в трехмерной метровой системе координат плана локации, обеспечивает возможность строить развитую аналитическую систему на плане локации, анализировать параметры перемещения детектируемых объектов, например, людей. За счет высокой точности координатного соответствия и в дальнейшем точного определения совмещенных треков перемещения наблюдаемых объектов, появляется возможность, в том числе, определять взаимодействие наблюдаемых объектов между собой, например, продавцов магазина и покупателей, а также взаимодействие наблюдаемых объектов с окружающей средой, например, покупателей магазина с прилавком, витриной и т.д.

Заявляемый способ построения системы видеонаблюдения для поиска и отслеживания объектов был применен на практике при реализации тестового стенда. В помещении торгово-развлекательного центра было установлено несколько камер видеонаблюдения. В рассматриваемом примере были использованы видео-камеры, но для достижения заявленных технических результатов при реализации способа вид камеры не имеет принципиального значения, так же как и характер наблюдаемой локации: закрытое помещение или улица. Некоторые области видимости камер были расположены смежным образом. Вначале производилась настройка каждой камеры, в ходе которой оператором было размечено изображение помещения калибровочными элементами группы 1, 2 и 3. Далее были очерчены соответствующие полигоны областей видимости каждой камеры на изображении камеры. Разметка изображения помещения калибровочными элементами позволила определить следующие параметры каждой камеры: вертикальный угол наклона камеры, угол поворота камеры вокруг оптической оси, фокусное расстояние камеры. Определенные параметры позволили спроецировать полигон области видимости каждой камеры на плоскость пола наблюдаемого помещения. После чего оператор при помощи смещения, поворота и масштабирования полигонов областей видимости камеры добился корректного расположения камер на плане помещения. Далее оператором были построены конечные координатные соответствия между двухмерной пиксельной системы координат изображения каждой камеры и единой трехмерной метровой системы координат плана наблюдаемого помещения. Затем каждая камера производила детектирование наблюдаемых объектов - людей, посетителей торгового центра, и проецировала треки перемещения каждого наблюдаемого человека в единую трехмерную метровую систему координат плана помещения в зону своей видимости. После этого производилось объединение отрезков треков с каждой камеры, и на выходе был получен набор объединенных треков в единой трехмерной метровой системе координат плана помещения. В ходе работы развернутого стенда был обработан видеопоток длительностью в 5 часов 13 минут. На основе полученных треков перемещения потока посетителей была построена и продемонстрирована аналитическая система на плане наблюдаемого помещения, предоставляющая следующий набор метрик с соответствующими значениями:

- количество зафиксированных уникальных посетителей - 631 человек;

- количество посетителей, вошедших в зону стенда - 389 человека;

- количество посетителей, вышедших из зоны стенда - 234 человека;

- процент посетителей, перемещающихся парами - 23%;

- средняя длительность посещения зоны стенда - 16 минут;

- коэффициент посетителей, зашедших в магазины, к посетителям, прошедших мимо - 14.1%.

Таким образом, тестовый стенд наглядно продемонстрировал свою работоспособность и достижение поставленных задач и заявленных технических результатов.

Изобретение относится к области компьютерного зрения. Технический результат заключается в расширении арсенала технических средств. Способ заключается в особой настройке каждой камеры системы видеонаблюдения посредством калибровочных элементов, привязке камер к плану локации, построении координатного соответствия системы координат двухмерного изображения каждой камеры с трехмерной системой координат плана локации, например, помещения; детектировании и трекинге интересующих объектов. Способ обеспечивает возможность построения треков движения интересующих объектов в системе координат плана локации посредством мультикамерного наблюдения, возможность анализа характера поведения и перемещения объектов, оценки их взаимодействия и индивидуальных параметров, а также подсчета их количества в интересующих областях локации. 11 з.п. ф-лы, 15 ил.

1. Способ построения системы видеонаблюдения для поиска и отслеживания объектов, состоящей как минимум из одной камеры, заключающийся в том, что вначале осуществляют предварительную настройку каждой камеры системы видеонаблюдения, представляющую собой разметку изображений наблюдаемой локации, полученных с каждой камеры системы видеонаблюдения, с помощью калибровочных элементов и/или групп калибровочных элементов, вычисление части оптических параметров и параметров положения каждой камеры системы наблюдения на основе калибровочных элементов и/или групп калибровочных элементов, разметку полигона области видимости каждой камеры системы видеонаблюдения, проекцию полигонов областей видимости каждой камеры системы видеонаблюдения в систему координат плана наблюдаемой локации, привязку всех камер системы видеонаблюдения к плану наблюдаемой локации, вычисление остальных оптических параметров и параметров положения каждой камеры системы видеонаблюдения и построение координатного соответствия между двухмерной системой координат изображения каждой камеры системы видеонаблюдения и единой трехмерной системой координат плана наблюдаемой локации; далее захватывают видеопоток с каждой камеры системы видеонаблюдения с настроенными параметрами координатного соответствия; затем осуществляют покадровую обработку полученного видео-потока, в процессе которой осуществляют поиск и обнаружение, детектирование и отслеживание, трекинг интересующих объектов; далее на каждой камере системы видеонаблюдения строят треки движения каждого детектируемого объекта, после чего детектируемые треки с каждой камеры системы видеонаблюдения соединяют таким образом, чтобы обеспечить мультикамерное видеонаблюдение, при котором один и тот же объект передается от одной камеры видеонаблюдения к другой, и для него строится единый трек на плане наблюдаемой локации, в случае если система видеонаблюдения включает более одной камеры; затем на основе объединенных треков объектов в системе координат плана наблюдаемой локации осуществляют дальнейший анализ характера движения и поведения, а также индивидуальных параметров таких объектов во всей системе видеонаблюдения.

2. Способ по п. 1, отличающийся тем, что предназначен для наблюдения за движущимися объектами, например людьми.

3. Способ по п. 1, отличающийся тем, что калибровочные элементы и/или группы калибровочных элементов представляют собой геометрические фигуры, размещенные на изображении каждой камеры системы видеонаблюдения и имеющие заведомо определенные геометрические положения в пространстве наблюдаемой локации.

4. Способ по п. 3, отличающийся тем, что в качестве калибровочных элементов используют, в частности, отрезки линий, которые в пространстве наблюдаемой локации, например, помещения, параллельны друг другу и параллельны горизонтальной плоскости пола, калибровочные элементы группы «1»; отрезки линий, которые в пространстве наблюдаемой локации, например, помещения, перпендикулярны друг другу и параллельны плоскости пола, калибровочные элементы группы «2»; отрезки линий, которые в пространстве наблюдаемой локации, например, помещения, параллельны друг другу и перпендикулярны плоскости пола, калибровочные элементы группы «3»; отрезки линий, которые в пространстве наблюдаемой локации, например, помещения, расположены в плоскости пола и имеют одинаковый размер, калибровочные элементы группы «4»; физические предметы - маркеры, которые в пространстве наблюдаемой локации, например, помещения, расположены в плоскости пола перед камерой и имеют одинаковые и заранее известные форму, размер и цветовой паттерн для последующего автоматического детектирования их расположения и автоматического определения координат на изображении камеры, маркеры калибровочных элементов группы «5».

5. Способ по п. 1 или 4, отличающийся тем, что маркеры калибровочных элементов группы «5» используют для предварительной настройки камер для автоматического определения их координат на изображении камеры и вычисления следующих параметров каждой камеры системы видеонаблюдения: вертикального угла поворота камеры, угла поворота вокруг оптической оси камеры, высоты крепления камеры, фокусного расстояния камеры и зума камеры.

6. Способ по п. 4, отличающийся тем, что в качестве маркеров калибровочных элементов группы «5» могут быть использованы, например, шесты длиной 1 метр, размеченные одинаковой последовательностью цветов.

7. Способ по п. 1 или 4, отличающийся тем, что калибровочные элементы группы «1», группы «2» и группы «3» используют для предварительной настройки камер в ручном режиме и вычисления следующих параметров каждой камеры системы видеонаблюдения: вертикального угла поворота камеры, угла поворота вокруг оптической оси камеры и фокусного расстояния камеры системы видеонаблюдения.

8. Способ по п. 1 или 4, отличающийся тем, что калибровочные элементы группы «4» используют для предварительной настройки камер в ручном режиме и вычисления следующих параметров каждой камеры системы видеонаблюдения: вертикального угла поворота камеры, угла поворота вокруг оптической оси камеры и фокусного расстояния камеры.

9. Способ по п. 1, отличающийся тем, что вычисление горизонтального угла поворота камеры осуществляется путем вращения проекций полигонов областей видимости каждой камеры системы видеонаблюдения.

10. Способ по п. 1, отличающийся тем, что вычисление точек положения «х» и «у» каждой камеры в трехмерной системе координат плана наблюдаемой локации осуществляется путем смещения полигонов областей видимости каждой камеры системы видеонаблюдения.

11. Способ по п. 1, отличающийся тем, что вычисление высоты крепления камеры «h» и зума камеры осуществляют путем масштабирования полигонов областей видимости каждой камеры системы видеонаблюдения.

12. Способ по п. 1, отличающийся тем, что камеры системы видеонаблюдения могут иметь минимальные пересечения областей видимости либо не иметь пересечения областей видимости и быть расположенными смежным образом с небольшим разрывом между областями видимости соседних камер системы видеонаблюдения.