СПОСОБЫ И СИСТЕМЫ ПОИСКА ОБЪЕКТА В ВИДЕОПОТОКЕ Российский патент 2017 года по МПК G06K9/46 

ОБЛАСТЬ ТЕХНИКИ

Заявленное изобретение относится к области обработки данных, в частности, к способам и системам анализа и поиска данных для обнаружения объекта в видеопотоке.

УРОВЕНЬ ТЕХНИКИ

Известна система автоматического выделения и отслеживания лица человека (RU 2370817, САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд, 20.10.2009). Данная система позволяет проводить идентификацию личности путем анализа видеоданных, записанных в архив системы видеонаблюдения, отслеживать заданного человека на нескольких камерах.

Недостатком данного подхода является высокая требовательность к качеству изображения и условиям съемки для каждой камеры, для которой выполняется анализ, так как признаками объекта являются характеристики лица человека, которое таким образом всегда должно быть видно в определенном ракурсе и с достаточным разрешением. Такие требования существенно ограничивают возможности применения данного изобретения для поиска людей в видеоархивах систем видеонаблюдения.

Известен способ индексирования видеоданных при помощи карты, позволяющий ускорить поиск данных в видеоархиве путем задания координат зоны поиска объекта, или получить траекторию передвижения объекта в двумерном пространстве (RU 2531876, Общество с ограниченной ответственностью "Синезис", 27.10.2014). Данный способ основан на установлении взаимосвязи изображения движущегося объекта с местоположением и/или параметрами движения найденного объекта на карте, вычисляемыми путем сопоставления изображений объекта, полученных с двух разных камер.

Недостатком данного способа является невозможность поиска объекта по цветовым признакам, объекты не разделяются на классы, поэтому невозможно задать класс объекта в качестве параметра поиска, например, найти всех людей в видеопотоке указанной видеокамеры. Требование к наличию двух камер, снимающих одно и то же место с разных ракурсов, увеличивает сложность системы и требовательность к ресурсам.

Наиболее близким к заявленному изобретению является способ, описанный в патенте US 8891880 (Nec Corp, 18.11.2014). Данный способ позволяет отслеживать человека в видеопотоке, даже если он не обладает существенными отличительными признаками, например, архив содержит большое количество людей в похожей одежде. В качестве основных признаков способ использует приметы лица и приметы одежды человека. Похожесть изображений людей определяется по совокупности признаков, полученных при определении лица и анализе частей одежды. Это накладывает требования на качество изображения, к тому же наличие признаков у объекта зависит от ракурса съемки в текущий момент.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Техническая задача, на решение которой направлено данное изобретение, состоит в создании эффективного способа автоматического поиска объекта по указанным приметам на изображениях, получаемых с различных камер или из предварительно записанных в архив данных системы видеонаблюдения.

Техническим результатом является повышение точности определения искомого изображения объекта в видеопотоке, а также повышение скорости обнаружения искомого объекта, за счет осуществления классификации объектов и определении признаков объектов, выявленных на кадрах видеопотока.

В первом предпочтительном варианте осуществления заявленного изобретения раскрывается способ поиска объекта в видеопотоке, содержащий этапы, на которых:

- получают последовательность видеокадров;

- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;

- определяют на упомянутой области интереса одно или более изображений объектов и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;

- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;

- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;

- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;

- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;

- получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;

- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;

- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;;

определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;

- предоставляют результаты поиска.

В частном варианте последовательность видеокадров получают из хранилища информации или с одной или более камер в режиме видеонаблюдения.

В другом частном варианте область интереса задается вручную пользователем или создается при наличии движения в кадре.

В другом частном варианте при наличии движения в кадре область интереса создается для каждого объекта на кадре, осуществляющего движение.

В другом частном варианте процедура отделения изображения от фона включает в себя разделение участка изображения на группы пикселей, принадлежащие изображению объекта обработки и фону.

В другом частном варианте признаки элементов топологии представляют собой пространственно-цветовые признаки, являющиеся цветовыми кластерами.

В другом частном варианте группы пикселей, принадлежащие фону, не учитываются при построении кластеров.

В другом частном варианте кластеры определяются для каждой части структуры объекта.

В другом частном варианте каждый цветовой кластер включает в себя один или более атрибут, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности.

В другом частном варианте дополнительно определяют время фиксации, по меньшей мере, одного изображения объекта в кадре и идентификационный номер камеры, с которой получен конкретный кадр.

В другом частном варианте информация, содержащаяся в критерии поиска, включает в себя: цвет объекта или части объекта.

В другом частном варианте выбор изображения объекта, как образца в качестве критерия поиска, осуществляется с помощью выделения области на кадре.

В другом частном варианте изображение объекта, для использования как образца в качестве критерия поиска выбирается из внешнего хранилища данных.

В другом частном варианте при поиске изображения объекта по введенным критериям поиска вычисляется степень схожести объектов, на основании признаков объектов, содержащихся в хранилище данных.

В другом частном варианте степень схожести определяется на основании сравнения цветовых кластеров предмета поиска и анализируемого объекта в кадре.

В другом частном варианте степень схожести цвета кластеров определяется с помощью классификации цвета кластера на один или несколько классов цветов.

В другом частном варианте на этапе классификации, изображения объектов, которые не имеют известного класса, учитываются как неизвестные объекты.

В другом частном варианте для выявленных неизвестных объектов осуществляется построение упрощенной топологии.

Во втором предпочтительном варианте осуществления заявленного изобретения раскрывается способ поиска объекта в видеопотоке, содержащий этапы, на которых:

- получают последовательность видеокадров от двух и более видеокамер;

- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;

- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;

- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;

- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;

- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;

- выбирают изображение объекта в качестве объекта слежения;

- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;

- определяют последовательность кадров, содержащих изображение упомянутого объекта слежения;

- отображают результат поиска.

В частном варианте дополнительно определяется, по меньшей мере, одна видеокамера, на которой зафиксировано изображение объекта слежения.

В другом частном варианте определяется траектория движения объекта, которая отображается на схематическом плане помещения.

В другом частном варианте при нахождении объекта слежения учитывается пространственное расположение камер.

В другом частном варианте пользователь может задавать образец в качестве объекта слежения с помощью выделения объекта на кадре изображения, получаемого с камеры.

В другом частном варианте выполняется автоматическое переключение камер для отображения результата поиска.

В третьем предпочтительном варианте осуществления заявленного изобретения раскрывается система поиска объекта в видеопотоке, содержащая, по меньшей мере, одно средство хранения и обработки видеокадров, соединенное с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором реализуют этапы способа, на которых:

- получают последовательность видеокадров от упомянутого средства хранения и обработки видеокадров;

- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;

- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;

- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;

- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;

- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;

- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;

- получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;;

- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;

- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;

- определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;

- предоставляют результаты поиска.

В частном варианте, по меньшей мере, одно средство хранения и обработки видеокадров соединено с, по меньшей мере, одной камерой наблюдения.

В другом частном варианте камеры наблюдения представляют собой IP, статичные или PTZ-камеры.

В четвертом предпочтительном варианте осуществления заявленного изобретения раскрывается Система поиска объекта в видеопотоке, содержащая группу камер наблюдения, связанную с, по меньшей мере, одним средством хранения и обработки видеокадров, соединенным с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором реализуют этапы способа, на которых:

- получают последовательность видеокадров от двух и более видеокамер;

- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;

- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;

- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;

- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;

- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;

- выбирают изображение объекта в качестве объекта слежения;

- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;

- определяют последовательность кадров, содержащих упомянутое изображение объекта слежения;

- отображают результат поиска.

В частном варианте средство хранения и обработки видеокадров представляет собой сервер.

В другом частном варианте сервер является облачным сервером.

В другом частном варианте камеры слежения представляют собой IP-камеры.

В другом частном варианте камеры связаны со средством хранения и обработки видеокадров посредством проводного или беспроводного канала передачи данных.

В другом частном варианте дополнительно определяется, по меньшей мере, одна камера, на которой зафиксировано изображение объекта поиска.

КРАТКОЕ ОПИСАНИЯ ЧЕРТЕЖЕЙ

На Фиг. 1 изображена последовательность шагов при осуществлении способа согласно первому варианту осуществления.

На Фиг. 2-3 изображен пример области интереса.

На Фиг. 4 изображен пример выделения на кадре объекта с помощью классификатора.

На Фиг. 5 изображен пример кадра с отображением топологии объекта и выделение цветовых кластеров.

На Фиг. 6 изображен пример результата поискового запроса в сохраненном видеопотоке данных по заданному образцу.

На Фиг. 7 изображен пример поискового запроса в сохраненном видеопотоке данных по заданным приметам.

На Фиг. 8 изображен пример задания критерия поиска по образцу с помощью редактора.

На Фиг. 9 изображен пример использования карты цветов.

На Фиг. 10 изображена последовательность шагов при осуществлении способа согласно второму варианту осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

На Фиг. 1 показан способ 100 определения объекта в видеопотоке согласно первому варианту осуществления заявленного изобретения.

На этапе 101 система поиска данных получает последовательность видеокадров их хранилища данных 150. Хранилище данных 150 может быть выполнено на базе широко используемых электронно-вычислительных устройств, например, персонального компьютера, суперкомпьютера или мейнфрейма, с использованием стандартных средств хранения информации, например, HDD, SSD, NAND Flash и т.п.

Информация, поступающая в хранилище данных 150, может быть получена от источников видеофиксации изображения, например, камеры (видеокамеры) (камеры наблюдения, IP камеры, статичного или PTZ типа, и т.п.), либо передаваться от внешнего источника информации, например, иного хранилища данных или электронного устройства. Информация представляет собой статичные кадры, зафиксированные с помощью упомянутых средств видеофиксации или последовательность видеокадров, записанную с помощью упомянутых средств. Каждый кадр представляет собой двумерную матрицу пикселей. Эта матрица имеет определенный размер, называемый разрешением кадра.

Кадры представляются растровыми изображениями в виде двумерной матрицы пикселей или средних цветов блоков пикселей, имеющей размер W×Н, где W - ширина изображения, а Н - высота. Пиксели или блоки пикселей изображения обладают цветом, значение которого сохраняется в виде значений компонент определенного цветового пространства, например RGB. На этапе 102 на полученной последовательности видеокадров (далее - последовательность кадров) выделяются одна или более областей интереса 120 (Фиг. 2, Фиг. 3), где производится детектирование объектов определенных типов 1201, 1202. Выделение областей интереса 120 позволяет сократить вычислительные затраты на обработку входных данных.

Область интереса 120 может представлять собой часть кадра и содержать в себе одно или более изображений объекта 1200. Область интереса 120 может также представлять собой весь кадр целиком, в этом случае все изображения объектов, попавших в кадр, будут в дальнейшем обработаны системой.

Область интереса 120 может задаваться пользователем системы видеонаблюдения или осуществляющего работу с информацией, хранящейся в хранилище данных 150, либо автоматически определяться по наличию движения в кадре, либо другим способом, причем область интереса 120 может создаваться одна для нескольких изображений объектов 1200 (Фиг. 2), содержащихся в ней, либо для каждого изображения объекта 1200 отдельно (Фиг. 3).

При создании областей интереса при движении объекта 1200 в кадре последовательность кадров обрабатывается детектором движения, который на каждом кадре выделяет области 130, состоящие из множеств связанных пикселей и относящиеся к объектам 1200, двигавшимся в кадре. Каждое такое множество соответствует отдельному движущемуся объекту 1200, причем каждый движущийся объект 1200 может содержать множество отдельных объектов. Для него также запоминается область 130, включающая данное множество пикселей - граница движущегося объекта. Принадлежность пикселей соответствующим движущимся объектам 1200 запоминается внутри карты движения. Вокруг движущихся объектов 1200 создаются области интереса 120, в которых будет производиться поиск объектов определенного типа.

На Фиг. 4 показан принцип классификации изображений объектов в кадре согласно этапу 103 заявленного способа 100. Классификация объектов 1200 на изображении выполняется при помощи применения к каждому кадру алгоритма, называемого классификатором. Классификатор принимает на вход часть кадра из области интереса 120, и выдает ответ, содержит ли эта часть кадра изображение объекта 1200 определенного класса. Набор классов задан заранее, например: человек, автомобиль, здание, дерево, столб, собака и т.п. На кадре выделяются и запоминаются области срабатывания классификатора. Классификатор находит области кадра, которые содержат изображение объекта 1200 определенного класса, например, изображение человека.

Классификация осуществляется путем применения классификатора к областям интереса 120 изображения. Каждый из классификаторов определяет класс объекта, находящегося в обрабатываемой области изображения. Классификатор возвращает индекс класса, которому принадлежит объект, или признак того, что изображение не может быть классифицировано, то есть отнесено к какому-либо из известных классов (отказ от классификации). Классификатор может применяться к различным масштабам изображения для того, чтобы обеспечить классификацию объектов независимо от их размера. Применение осуществляется, например, методом скользящего окна, перемещаемого с заданным шагом. Масштабы применения классификатора могут быть дополнительно ограничены настройками алгоритма снизу и/или сверху для ускорения работы. Результат применения классификатора типа "человек" показан на Фиг. 4. Классификатор, как правило, дает вокруг каждого из объектов 1200 множество откликов, из которых надо выбрать по одному отклику для каждого из объектов 1200, что осуществляется посредством применения алгоритма группировки рамок откликов, включающего метод кластеризации.

Если на этапе классификации выявляются изображения объектов, которые не имеют известного класса, то они учитываются как неизвестные объекты.

Далее на этапе 104 осуществляется обработка всех выявленных изображений объектов 1200 в одной или более областях интереса 120. Согласно Фиг. 5 для последующего анализа цветовых характеристик объекта изображение внутри выделенной классификатором области 120 разделяется на две части: передний план, содержащий изображение самого объекта, и фон. На этапе отделения фона применяется алгоритм, который относит каждый пиксель выделенной области 120 либо к переднему плану (объекту), либо к фону, используя априорные знания о виде объектов 1200 данного класса. Данный этап позволяет более точно отделить искомые изображения объектов от фона, что снижает количество зашумляющей информации и приводит к повышению скорости обработки данных и повышению точности определения необходимого изображения объекта.

После отделение фона на этапе 105 выполняется создания топологии каждого из объектов 1200, выявленных в областях интереса 120. Важной частью индексирования объектов 1200 является выделение частей изображения, относящихся к характерным существенным структурным частям объекта. Например, человек имеет голову, руки, ноги и туловище. Соответственно, на изображении человека, как правило, будут присутствовать участки, относящиеся к этим структурным элементам. Они также могут отсутствовать, например, из-за перекрытия другими объектами, скрытия одеждой и т.д. Обнаружение и сохранение информации о таких участках позволяет создавать более репрезентативную структуру пространственно-цветовых признаков объекта 1200. Знание общей структуры объекта определенного класса являются априорными, в то время как конкретные границы областей 140, относящихся к отдельным частям объекта 1200, определяются для каждого конкретного объекта 1200 в отдельности. При создании топологии учитывается фактическое расположение элементов, которые на основе априорных знаний могут быть отнесены к тем или иным частям объекта 1200. Для этого может использоваться алгоритм подгонки границы между частями объекта 1200, оптимальным образом разделяющий области различного цвета. Результат создания топологии приведен на Фиг. 5, где показаны границы областей 140, вмещающие определенную часть изображения человека, например, туловище и ноги.

Согласно Фиг. 1 на этапе 106 создают набор признаков для одного или более изображений объектов 1200 на основании созданной топологии. Изображение объекта 1200, отделенное от фона и разделенное на структурные части в соответствии с заданной топологией подвергается индексированию. Полученные наборы признаков для каждого объекта 1200 сохраняют в хранилище данных 150 с привязкой к конкретному упомянутому изображению объекта 1200. На этом этапе создается описание объектов 1200, которое можно использовать для сравнения объектов друг с другом, используя степень схожести. Данная степень работает таким образом, что если объекты не похожи, то расстояние между данными объектами в пространстве их описания должно получаться больше, чем между похожими объектами. В предложенном способе в качестве признаков могут быть выбраны пространственно-цветовые признаки, называемые цветовыми кластерами. Они описывают пространственные области изображения однородными цветовыми характеристиками, как правило, соответствующие характерным элементам объекта, например, отдельным предметам одежды у человека. Каждый цветовой кластер 150 может включать следующие атрибуты: положение центра относительно объекта, размер по отношению к размеру всего объекта 1200, средний цвет, часть объекта 1200, к которой он относится. На каждом объекте определяется набор кластеров 150 для каждой из его частей. После этого созданный предварительный набор кластеров подвергается преобразованиям, включающим операции объединение похожих кластеров и отбрасывание лишних (фоновых, шумовых) кластеров 150. На Фиг. 5 показаны полные предварительные наборы кластеров и выделены те, которые были отброшены 151. Совокупность полученных цветовых кластеров объекта 150, его размеры, положение в кадре и время наблюдения образуют набор признаков, по которым объекты 1200 можно сравнивать друг с другом. Данный набор признаков называется индексом объекта 1200, а объект 1200, которому сопоставлен индекс, называется проиндексированным.

Результат сравнения в общем виде дает ответ на следующие вопросы: 1) наблюдаем ли мы в данной области данного кадра, тот же объект, который ищем? 2) наблюдаем ли мы в данной области данного кадра объект, похожий на тот, который мы ищем? 3) наблюдаем ли мы объект, подходящий под заданные приметы в случае, если задано только описание примет, а не образец конкретного объекта. Для более точного описания объектов изображения могут выбираться и признаки других типов, например, описание особенностей движения объекта (траектория движения, тип траектории в зависимости от типа объекта, тип объекта как таковой (человек, автомобиль)). Для всех признаков создается функция, определяющая похожесть объектов 1200.

Для выявленных на этапе 103 классификации неизвестных объектов осуществляется построение упрощенной топологии, которая не учитывает структуру таких объектов, и цветовые кластеры для таких объектов привязываются к таким объектам, как к целому.

На этапе 107 признаки объектов, полученные на этапе 106, сохраняются в хранилище данных 150 для их последующего использования в осуществлении поисковых сессий, т.е. проиндексированные объекты 1200 передаются в средство памяти хранилища данных 150, в котором они хранятся в машиночитаемом виде, например, в виде базы данных. При сохранении проиндексированные объекты 1200 привязываются к кадрам, на которых были обнаружены с привязкой полученных признаков для каждого конкретного изображения объекта 1200, которому они принадлежат. Извлечение данных по проиндексированным объектам может осуществляться по заданному времени и заданным каналам (камерам).

Также проиндексированные объекты могут сравниваться с выбранным образцом в режиме реального времени. Тогда запись в хранилище необязательна.

На этапе 108 пользователь системы выполняет генерирование поискового запроса. Образец для поиска может быть выбран из записанного видео архива, хранимого в хранилище данных 150, нарисован или задан другим способом, позволяющим извлечь из объекта признаки в рамках способа 100. При рисовании образца пользователь закрашивает или выбирает цвет отдельных частей объекта выбранного типа с помощью инструментов рисования и выбора цвета.

При выборе образца из архива могут быть предоставлены две возможности: выбрать уже проиндексированный образец или выбрать участок архивного кадра, на котором изображен объект, а затем выполнить его автоматическое индексирование.

На Фиг. 6 показан пример осуществления поискового запроса, когда критерием поиска является образец изображения. Данный образец пользователь может выбрать с помощью указания области интереса 120 на кадре, выбранном из хранилища данных 150.

На Фиг. 7 показан пример, при котором критерием поиска является указание примет искомого изображения объекта, например, светлый верх, темный низ, указание конкретных частей одежды с их цветовой гаммой, например, синяя куртка, серый свитер, джинсы, желтая юбка и т.п.

На Фиг. 8 показан детализированный вид формы создания предмета поиска. С помощью данной автоматизированной формы происходит добавление образца, которая содержит набор функций, позволяющих задать конкретный тип объекта, цветовую палитру предметов одежды, задать образец для поиска с помощью загрузки изображения из файла.

Загрузка образца из файла может осуществляться с помощью ввода в систему данных из внешнего источника хранения информации, например, из сети Интернет или внешнего носителя данных.

На этапе 109 выполняется выделение признаков из введенных критериев поиска с созданием предмета поиска. На данном этапе выполняется определение признаков, описывающих структуру и/или цветовые кластеры, принадлежащие изображению, выбранного в качестве критерия поиска. Если пользователем был указан конкретный класс объекта, например, человек, то тогда система сразу определяет, что поиск по видеопотоку будет выполняться только по объектам со схожим классом. Если были указаны лишь признаки, описывающие приметы предмета поиска, например, цвет одежды, то сравнение будет происходить на основании параметров, описывающих структуру и/или цветовые кластеры и/или другие признаки.

Этап 110 инициирует непосредственно саму процедуру поиска, при котором осуществляется поиск кадров, содержащих объекты, сходные с образцом, представляющим собой предмет поиска на этапе 111. Поиск объектов, похожих на данный образец, может быть произведен либо в простом режиме, либо в режиме межкамерного слежения, по заранее заданным признакам. При поиске в межкамерном режиме учитывается пространственное расположение камер, что позволяет понять, когда и на какой камере был зафиксирован данный объект. В обоих случаях используется сопоставление объектов, хранящихся в базе данных хранилища данных 150 с выбранным образцом (образцами). Поиск возможен на всех камерах, подключенных к системе, реализующей заявленный способ 100.

Необходимо отметить, что приведенный выше термин «режим межкамерного слежения» относится к межкамерному трекингу, т.е. режиму наблюдения за интересующим объектом с помощью получения видеопотока от нескольких камер (см, например, http://www.osp.ru/lan/2014/06/13041879/; http://macroscop.com/o-kompanii/novosti/2013/mezhkamernyij-treking-macroscop-postroenie-traektorii-obekta-po-neskolkim-ip-kameram-sistemyi.html).

При выполнении поиска изображения объекта по введенным критериям поиска вычисляется степень схожести объектов 1200, на основании признаков объектов, содержащихся в хранилище данных 150.

Степень схожести определяется на основании сравнения цветовых кластеров предмета поиска и анализируемого объекта в кадре. Для каждой части объекта производится поиск пар наиболее близких кластеров 150 образца и проверяемого объекта. Близость вычисляется как расстояние в цветовом пространстве LAB. Далее для каждой части объекта вычисляется степень несоответствия цвета и различие в размерах самых близких кластеров 150. Далее у кластеров 150, для которых не была найдена пара, устанавливается упомянутая степень несоответствия, зависящая от их размера. Далее для каждой части объекта находится максимальная степень несоответствия, которая является степенью схожести объектов.

Степень схожести цвета кластеров определяется также с помощью классификации цвета кластера на один или несколько классов цветов с помощью карты цветов, представленной на Фиг. 9. Карта цветов - это конечный набор, так называемых, основных цветов, цвет кластера изображения объекта ставится в соответствие одному или нескольким цветам карты. Карта цветов представляет собой разделенное на ячейки 10×10×10 цветовое пространство HSV. Каждой ячейке ставится в соответствие несколько (от 1 до 4) основных цветов.

Критерием схожести объекта при сравнении с образцом является наличие «похожих» цветовых кластеров 150 в каждой части объекта 1200. На шаблоне и на изображении проверяемого объекта выбираются для сравнения только те цветовые кластеры, размеры которых не менее заданной доли (~0.33) от максимального в той же части объекта.

Кластеры считаются обладающими высокой степенью схожести, если

a) среди основных цветов, сопоставленных им по цветовой карте, имеются одинаковые;

b) компоненты вектора в цветовом пространстве CIE Lab от среднего цвета образца до цвета данного кластера либо сонаправлены и не малы, либо обе малы.

Объект считается похожим, если все кластеры из шаблона были найдены на изображении проверяемого объекта.

При осуществлении поиска может использоваться специальный поисковый индекс в виде графа для ускорения извлечения изображений из реляционной базы данных (хранилища данных 150). Этот способ ускорения поиска является универсальным для любых реляционных СУБД и любых объектов, между которыми можно построить степень схожести. Каждый проиндексированный объект 1200 помещается в специальную структуру (граф), попадая либо в существующий узел, либо создавая новый узел в зависимости от близости к уже помещенным в поисковый граф объектам. Каждому узлу соответствует идентификатор, который вместе с объектом записывается в базу данных. При поиске это позволяет быстро извлечь все объекты, похожие на заданный объект поиска, что реализуется за счет применения упомянутого графа, благодаря которому получается идентификатор соответствующего узла, на основании которого выполняется извлечение из базы данных всех объектов с таким же идентификатором, т.е. похожих на него.

Поиск может производиться по заданному интервалу времени на выбранных камерах. Кроме интервала времени можно задать граничные размеры объекта, положение в кадре и цветовые признаки. Цветовые признаки задаются путем выбора одного или нескольких образцов. В процессе поиска из базы данных извлекаются все объекты, попадающие в указанный промежуток времени.

На этапе 112 система выдает результат проведенного поиска, который выдает пользователю кадр и/или совокупность кадров, содержащие упомянутые изображения объектов (этап 113), соответствующие предмету поиска, либо сообщают, что поиск не дал результатов (этап 114).

Результат поиска, как правило, представляется в виде совокупности отдельных кадров, на которых был выявлен объект, или содержит совокупность кадров, например, видеоролик с записью с камеры наблюдения. Каждый выявленный кадр или видеоролик может содержать дополнительную информацию, как например: время создания кадра (ролика), номер камеры, с которой получено изображение, координаты камеры.

Согласно Фиг. 10 второй вариант осуществления способа обнаружения объектов в видеопотоке 200 заключается в осуществлении наблюдения за объектом слежения с помощью получения информации с нескольких камер видеонаблюдения.

На этапе 201 последовательность кадров получается от группы камер 250, содержащей несколько связанных с хранилищем данных 150 камер 2501-2503.

На этапе 202 пользователь осуществляет выбор области интереса, которая может содержать интересующий объект слежения. Этапы 203-207 тождественны этапам 102-107 способа 100.

При выполнении способа 200 в качестве предмета поиска выступает конкретное изображение объекта на кадре, например, человек, который устанавливается в качестве объекта слежения на этапе 208.

На этапе 209 выполняется поиск объекта, который осуществляется таким же образом, как и поиск объекта на этапах 110-111 способа 100.

Если объект найден в зоне видимости камер 2501-2503, то пользователю предоставляется последовательность кадров, отображаемая одной или более камерой, на которых зафиксировано изображение объекта слежения.

В случае дополнительного задания сведений о пространственном расположении камер, поиск может производиться в режиме "межкамерное слежение". Функция межкамерного слежения позволяет пользователю отследить передвижение объекта (например, человека) между несколькими камерами в течение некоторого промежутка времени. Результаты работы функции, демонстрирующие перемещение человека в пределах камер, на которых он был обнаружен, могут быть показаны в виде набора кадров, видеоролика или траектории на схематичном плане помещения, или территории. Для того чтобы отображение траекторий было возможным, камеры должны быть "привязаны" к планам, т.е. указано, какой точке определенного плана соответствует месторасположение данной камеры. Данный режим является полуавтоматическим. Для достижения нужного результата используется подход, в котором полученный результат уточняется путем с помощью определения, какие из найденных объектов действительно соответствуют тому человеку, который был выбран в качестве образца, или наоборот, какие объекты ему не соответствуют. Уточненные результаты могут использоваться в следующей итерации поиска.

Выбор объекта слежения на этапе 208 может осуществляться с помощью указания области интереса на кадре, полученного с камеры видеонаблюдения, которая содержит объект интереса. Объект выделяется с помощью графического интерфейса пользователя, реализуемого системой.

При получении результата отслеживания на этапе 212 при перемещении объекта из зоны видимости одной камеры и при попадании в зону видимости другой камеры происходит автоматическое переключение изображения, получаемого от камер, для исключения потери из зоны видимости объекта слежения.

При отображении информации о перемещении объекта слежения на схематичном плане, на нем также отображаются подключенные к системе камеры видеонаблюдения. Дополнительно может отображаться схематическая зона видимости камер на плане с индикацией, по меньшей мере, одной камеры, с которой в данный момент получается изображение.

Система, представленная в третьем варианте, представляет собой вычислительное устройство, в частности, компьютер, который содержит один или более процессоров, средство памяти, содержащее исполняемые процессором инструкции, которые при их исполнении реализуют способ поиска объекта в видеопотоке 100.

Система, представленная в четвертом варианте, представляет собой вычислительное устройство, в частности, компьютер, который содержит один или более процессоров, средство памяти, содержащее исполняемые процессором инструкции, которые при их исполнении реализуют способ поиска объекта в видеопотоке 200.

Хранилище данных 150, входящее в состав систем по третьему и четвертому варианту реализации, может представлять собой облачное хранилище данных и связываться с камерами видеонаблюдения, с которых получается набор видеокадров, посредством проводной или беспроводной связи (IP-камеры с Wi-Fi приемопередатчиками).

Изобретение относится к области обработки данных. Техническим результатом является повышение точности определения искомого объекта в видеопотоке. Способ содержит этапы, на которых: получают последовательность видеокадров; определяют область интереса на одном из видеокадров; определяют на области интереса изображения объектов и осуществляют их классификацию; определяют классы объектов; осуществляют обработку всех выявленных изображений объектов в области интереса; создают топологию выявленных изображений объектов в области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами; создают набор признаков для каждого из изображений объектов согласно созданной топологии и сохраняют их в хранилище данных; задают критерий поиска; выполняют поиск объектов в видеопотоке на основании признаков, полученных из критерия поиска; осуществляют сопоставление предмета поиска с признаками изображений объектов, выявленных в видеопотоке; определяют кадр и/или совокупность кадров, содержащие изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов. 4 н. и 27 з.п. ф-лы, 10 ил.

1. Способ поиска объекта в видеопотоке, содержащий этапы, на которых:

- получают последовательность видеокадров;

- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;

- определяют на упомянутой области интереса одно или более изображений объектов и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;

- определяют классы объектов, входящих в упомянутую область интереса;

- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;

- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами, при этом цветовой кластер включает в себя один или более атрибутов, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности;

- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;

- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;

- получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;

- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;

- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;

- определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;

- предоставляют результаты поиска.

2. Способ по п. 1, характеризующийся тем, что последовательность видеокадров получают из хранилища информации или с одной или более видеокамер в режиме видеонаблюдения.

3. Способ по п. 2, характеризующийся тем, что область интереса задается вручную пользователем или создается при наличии движения в кадре.

4. Способ по п. 3, характеризующийся тем, что при наличии движения в кадре область интереса создается для каждого объекта на кадре, осуществляющего движение.

5. Способ по п. 1, характеризующийся тем, что процедура отделения изображения от фона включает в себя разделение участка изображения на группы пикселей, принадлежащие изображению объекта обработки и фону.

6. Способ по п. 5, характеризующийся тем, что группы пикселей, принадлежащие фону, не учитываются при построении кластеров.

7. Способ по п. 6, характеризующийся тем, что кластеры определяются для каждой части структуры объекта.

8. Способ по п. 2, характеризующийся тем, что дополнительно определяют время фиксации, по меньшей мере, одного изображения объекта в кадре и идентификационный номер камеры, с которой получен конкретный кадр.

9. Способ по п. 1, характеризующийся тем, что информация, содержащаяся в критерии поиска, включает в себя: цвет объекта или части объекта.

10. Способ по п. 1, характеризующийся тем, что выбор изображения объекта, как образца в качестве критерия поиска, осуществляется с помощью выделения области на кадре.

11. Способ по п. 1, характеризующийся тем, что изображение объекта для использования как образца в качестве критерия поиска выбирается из внешнего хранилища данных.

12. Способ по п. 1, характеризующийся тем, что при поиске изображения объекта по введенным критериям поиска вычисляется степень схожести объектов на основании признаков объектов, содержащихся в хранилище данных.

13. Способ по п. 12, характеризующийся тем, что степень схожести определяется на основании сравнения цветовых кластеров предмета поиска и анализируемого объекта в кадре.

14. Способ по п. 13, характеризующийся тем, что степень схожести цвета кластеров определяется с помощью классификации цвета кластера на один или несколько классов цветов.

15. Способ по п. 1, характеризующийся тем, что на этапе классификации изображения объектов, которые не имеют известного класса, учитываются как неизвестные объекты.

16. Способ по п. 15, характеризующийся тем, что для выявленных неизвестных объектов осуществляется построение упрощенной топологии.

17. Способ поиска объекта в видеопотоке, содержащий этапы, на которых:

- получают последовательность видеокадров от двух и более видеокамер;

- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;

- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;

- определяют классы объектов, входящих в упомянутую область интереса;

- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;

- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами, при этом цветовой кластер включает в себя один или более атрибутов, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности;

- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;

- выбирают изображение объекта в качестве объекта слежения;

- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;

- определяют последовательность кадров, содержащих изображение упомянутого объекта слежения;

- отображают результат поиска.

18. Способ по п. 17, характеризующийся тем, что дополнительно определяется по меньшей мере одна камера, на которой зафиксировано изображение объекта слежения.

19. Способ по п. 17, характеризующийся тем, что определяется траектория движения объекта, которая отображается на схематическом плане помещения.

20. Способ по п. 17, характеризующийся тем, что при нахождении объекта слежения учитывается пространственное расположение камер.

21. Способ по п. 17, характеризующийся тем, что пользователь может задавать образец в качестве объекта слежения с помощью выделения объекта в зоне видимости камеры.

22. Способ по п. 17, характеризующийся тем, что выполняется автоматическое переключение камер для отображения изображения объекта слежения.

23. Система поиска объекта в видеопотоке, содержащая, по меньшей мере, одно средство хранения и обработки видеокадров, соединенное с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении, по меньшей мере, одним процессором реализуют этапы способа, на которых:

- получают последовательность видеокадров от упомянутого средства хранения и обработки видеокадров;

- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;

- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;

- определяют классы объектов, входящих в упомянутую область интереса;

- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;

- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами, при этом цветовой кластер включает в себя один или более атрибутов, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности;

- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;

- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;

- получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;

- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;

- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;

- определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;

- предоставляют результаты поиска.

24. Система по п. 23, характеризующаяся тем, что, по меньшей мере, одно средство хранения и обработки видеокадров соединено с, по меньшей мере, одной видеокамерой наблюдения.

25. Система по п. 24, характеризующаяся тем, что камеры наблюдения представляют собой IP-камеры, статичные и/или PTZ.

26. Система поиска объекта в видеопотоке, содержащая группу камер наблюдения, связанную с, по меньшей мере, одним средством хранения и обработки видеокадров, соединенным с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении, по меньшей мере, одним процессором реализуют этапы способа, на которых:

- получают последовательность видеокадров от двух и более видеокамер;

- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;

- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;

- определяют классы объектов, входящих в упомянутую область интереса;

- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;

- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами, при этом цветовой кластер включает в себя один или более атрибутов, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности;

- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;

- выбирают изображение объекта в качестве объекта слежения;

- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;

- определяют последовательность кадров, содержащих упомянутые изображения объекта слежения;

- отображают результат поиска.

27. Система по п. 26, характеризующаяся тем, что средство хранения и обработки видеокадров представляет собой сервер.

28. Система по п. 27, характеризующаяся тем, что сервер является облачным сервером.

29. Система по п. 26, характеризующаяся тем, что камеры слежения представляют собой IP-камеры.

30. Система по п. 29, характеризующаяся тем, что камеры связаны со средством хранения и обработки видеокадров посредством проводного или беспроводного канала передачи данных.

31. Система по п. 26, характеризующаяся тем, что дополнительно определяется, по меньшей мере, одна камера, на которой зафиксировано изображение объекта поиска.