СПОСОБ ОПРЕДЕЛЕНИЯ ДЕВИАНТНОГО ПОВЕДЕНИЯ ЧЕЛОВЕКА В РЕЖИМЕ ОДНОВРЕМЕННОЙ РАБОТЫ ГРУППЫ ВИДЕОКАМЕР Российский патент 2019 года по МПК G06K9/62 

ОБЛАСТЬ ТЕХНИКИ

[1] Заявленное решение относится к области вычислительной техники, в частности к способам анализа изображений для определения девиантного поведения человека в режиме одновременной работы группы видеокамер.

УРОВЕНЬ ТЕХНИКИ

[2] Анализ поведения людей на основе информации, получаемых с помощью систем видеоаналитики, на сегодняшний день находит широкое применение в различных системах контроля безопасности и позволяет выявить и предупредить возможные негативные последствия.

[3] В качестве аналога заявленного способа можно рассмотреть известное решение для анализа девиантного поведения человека на основании его перемещения (заявка CN 101719216 A, 21.12.2009). В известном решении определяется девиантное поведение на основе того, соответствует ли поведение шаблону поведение. Получение информации о траектории передвижения по помещению производится с использованием методов компьютерного зрения, а проверка соответствия шаблону осуществляется посредствам статистического анализа.

[4] Недостатком данного метода является то, что оно не позволяет определить девиантное поведение в контексте временного анализа, то есть, например, слишком медленное передвижение, либо бег по помещению.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[5] Для решения существующей технической проблемы предлагается новый способ анализа девиантного поведения, позволяющий с более высокой точностью выявить девиантное поведение человека на основании траектории его перемещения.

[6] Техническим результатом является повышение точности определения девиантного поведения человека, за счет анализа траектории перемещения человека в наблюдаемой области во временном разрезе с привязкой к координатам его перемещения.

[7] Заявленное решение осуществляется за счет компьютерно-реализуемого способа определения девиантного поведения человека в режиме одновременной работы группы видеокамер, выполняемый с помощью процессора и содержащий этапы, на которых:

- формируют в области размещения группы видеокамер набор траекторий, каждая из которых характеризует нормальный паттерн перемещения людей в области видимости камер, причем паттерны строятся на основании выборки из усредненных значений траекторий перемещения людей в заданной области;

- получают изображение перемещения по меньшей мере одного человека в области установки видеокамер, содержащее изображение траектории перемещения человека, причем траектория перемещения характеризуется пространственными координатами (x, y) и временем t перемещения человека в упомянутых координатах;

- осуществляют кластеризацию пространственных координат перемещения для каждой выявленной траектории с помощью деления траектории перемещения на K участков и определения для каждого участка средних значений пространственных координат (x, y) и времени прохождения t участков;

- определяют усредненную траекторию перемещения человека на основании кластеризации координат и сравнивают ее с нормальным паттерном перемещения для данной области наблюдения;

- определяют девиантное поведение человека при показателе отклонения усредненной траектории его перемещения от нормального паттерна выше заданного порогового значения.

[8] В одном из частных вариантов осуществления способа формирование нормального паттерна осуществляется на основании кластеризации траекторий перемещения людей.

[9] В другом частном варианте осуществления способа для каждого кластера области формируется усредненная траектория перемещения.

[10] В другом частном варианте осуществления способа изображения с видеокамер при анализе траекторий перемещения преобразовываются в двумерный вид с помощью перспективной трансформации.

[11] В другом частном варианте осуществления способа преобразование выполняется по матрице трансформации.

[12] В другом частном варианте осуществления способа при выявлении девиантного поведения осуществляется распознавание личности человека по изображению лица и/или внешним приметам.

[13] В другом частном варианте осуществления способа выполняется отслеживание перемещение человека с помощью фиксации его изображения на разных видеокамерах.

[14] В другом частном варианте осуществления способа траектория перемещения человека накладывается на цифровой план помещения или области размещения видеокамер.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[15] Фиг. 1 иллюстрирует пример области наблюдения с помощью нескольких камер.

[16] Фиг. 2 иллюстрирует блок-схему формирования нормального паттерна перемещения.

[17] Фиг. 3 – Фиг. 5 иллюстрируют пример анализа траектории перемещения людей в области наблюдения.

[18] Фиг. 6 иллюстрирует блок-схему выполнения заявленного способа.

[19] Фиг. 7 иллюстрирует пример вычислительного компьютерного устройства.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[20] Как представлено на Фиг. 1 заявленное решение реализуется в системах видеонаблюдения за областью (100) с помощью группы видеокамер (110, 120, 130). Каждая из камер (110, 120, 130) осуществляет наблюдение за установленной частью области (100) под соответствующим углом (область видимости камер) и соответственно получают различные изображения (ракурсы) людей (10).

[21] Алгоритм определения девиантного поведения основывается на трех составляющих: 1) кластеризация координат передвижения с целью определения пролагаемых маршрутов передвижения (далее – априорных маршрутов); 2) сбор статистики по передвижению внутри помещения; 3) определение отклонение маршрута передвижения нового человека от среднего маршрута (нормализованного паттерна перемещения). Этапы 2) и 3) являются составляющими, характеризующие общий процесс декомпозиции маршрута (передвижения) человека внутри помещения.

[22] На Фиг. 2 представлен общий процесс построения нормальных паттернов (200) или средних маршрутов передвижения людей (10) в заданной области (100). На первом этапе (201) осуществляется сбор изображений перемещений людей (10) в заданной области (100) с помощью группы камер (110, 120, 130).

[23] Далее осуществляется декомпозиция определения априорных маршрутов. Определение априорных маршрутов передвижения происходит исключительно с использованием координат х и у, а время для данной подзадачи не учитывается. Под априорными маршрутами понимаются такие траектории передвижения, которые бы имели разную структуру. Например, если речь идет о коридоре, то логично ожидать один маршрут передвижения, соответственно будет один априорный маршрут. Если же речь идет о комнате с тремя дверьми, как представлено на Фиг. 3 – Фиг. 5, то логично ожидать, что будет так же три априорных маршрута (111, 112, 113) : из 1-ой двери во 2-ую и обратно, из 1-ой двери в 3-ую и обратно, из 2-ой двери в 3-ую и обратно, однако так же будет три области пересечения маршрутов (114, 115, 116), которые также необходимо отнести к априорным маршрутам. В итоге получится, что в комнате с тремя дверьми будет суммарно шесть априорных маршрутов.

[24] Далее на этапе (202) получается статистика распределения траекторий нормального перемещения в области (100). Для каждого законченного передвижения z Z, где Z - множество маршрутов передвижения людей (10) в априорном маршруте, необходимом для сбора статистики. В процессе передвижения человека (10) производится сбор информации о его нахождении в точке x,y,t , где x,y – координаты в условной системе координат, а t – время нахождения в данной координате.

[25] Далее по полученной информации формируется массив размерностью nx3, где n – количество собранных точек. Производится сортировка массива по времени, в котором первое значение – самая ранняя точка, последнее значение – самая поздняя точка. Массив разделяется по строкам на k массивов с одинаковым числом строк в каждом массиве. Если n не делится нацело на k, то результат округляется до меньшего значения. Гиперпараметр k выбирается в зависимости от области наблюдения (100), в частности, в результате экспериментов было выявлено, что k=15 является адекватным выбором для большинства типов помещений и открытых областей с площадью <100м². Параметр k можно выбирать из расчета 2 метров квадратных на 1 единицу k.

[26] В результате деления n на k получается m точек в N-мерном (в данном случае, 3- мерном) пространстве x,y,t. Далее определяется средняя точка x,y,t. В матричном виде это можно представить следующим образом:

-> Разделение массива на K равно содержащих массивов ->

После этого осуществляется получение среднего значения маршрута для каждой группы координат k -> для формирования и сохранения усредненной матрицы передвижения упорядоченного передвижения z по определенному маршруту, в частности одному из априорных маршрутов

[ =

[27] Формирование матриц X,Y и T по собранным усредненным матрицам передвижения

X= , аналогично для Y и T.

Нахождение среднего маршрута (усредненной траектории) (111, 112, 113) и стандартного отклонения маршрута передвижения для всех априорных маршрутов в области (100) для каждого из параметров X,Y,T , т.е.

, аналогично для .

[28] На основании вычисленных нормальных траекторий перемещений для априорных маршрутов в области наблюдения (100) формируется нормальный паттерн перемещения людей (10) с учетом возможного допустимого отклонения.

[29] На Фиг. 6 представлен процесс реализации заявленного способа (300 определения девиантного поведения. По полученной информации с видеокамер (301) осуществляется процесс определения априорных маршрутов по траектории перемещения человека (10) в области (100) с помощью использования как минимум кластеризации данных. Изображение перемещения по меньшей мере одного человека (10) в области (100) установки видеокамер (110-130) содержит видеопоток, фиксирующий изображение траектории перемещения человека, причем траектория перемещения характеризуется пространственными координатами (x, y) и временем t перемещения человека в упомянутых координатах.

[30] Получаемые изображения с видеокамер (110 – 130) при анализе траекторий перемещения могут также преобразовываться в двумерный вид с помощью перспективной трансформации, которое выполняется с помощью матрицы трансформации (матрица перехода).

[31] Далее на этапе (302) выполняется анализ траектории перемещения человека (10) в области наблюдения (100). Кластеризация направленна на выделение априорных маршрутов перемещения человека (10) – кластеров, которые бы говорили, что структура передвижения на данном участке принадлежит тому или иному кластеру, т.е. области нормального паттерна перемещения. Кластеризация осуществляется с помощью описанного выше процесса обработки пространственных координат перемещения для каждой выявленной траектории с помощью деления траектории перемещения на K участков и определения для каждого участка средних значений пространственных координат (x, y) и времени прохождения t данных участков.

[32] Пример результата кластеризации данных с целью выявления априорных маршрутов представлен на Фиг. 3 – Фиг. 5. Далее выполняется декомпозиция алгоритма определения отклонение нового маршрута от среднего нормализованного маршрута (303).

[33] Декомпозиция алгоритма определения отклонение нового маршрута от среднего маршрута, следующая. По описанному выше подходу находится матрица передвижения в области (100) человека (10).

[

Далее выполняется декомпозиция полученных данных по векторам :

, ,

[34] Как показано на Фиг. 4 в области наблюдения (100) содержится шесть априорных маршрутов (111 - 116) и человек (10) начал движение по маршруту (113) с учетом пересечений зон расположения дверей (115, 116). Соответственно в заданный момент времени, человек (10) ближе всего находится к априорному маршруту (113) и как результат, определение того, является ли его поведение девиантным будет производится для этого априорного маршрута. Если человек не совершил девиантного поведения, то при анализе усредненной траектории его перемещения на этапе (304), траектория его движения будет схожей с траекторией нормализованного паттерна априорного маршрута (113).

[35] На Фиг. 5 траектория перемещения человека (10) не принадлежит ни одному априорному маршруту в области (100), поэтому рассчитывается расстояние от него до ближайшего элемента какого-либо кластера. В данном случае человек (10) ближе всего к элементам кластеров маршрутов (112, 113). Соответственно, определение того, является ли его поведение девиантным или нет будет производится на основе статистик (среднего и стандартного отклонения) именно этого кластера.

[36] Суждение о наличии девиантного поведения (этап 305) определяют с помощью сравнения усредненной траектории перемещения человека (10) с нормальным паттерном перемещения для данной области наблюдения (100). Для этого осуществляется проверки гипотезы о принадлежности нового наблюдения перемещения человека (10) распределениям нормального паттерна поведения, для чего выполняется поэлементная проверка, при которой анализируется для всех ли k выполняется нижеприведенное неравенство:

Если хотя бы для одного элемента не выполнено данное неравенство – то поведение считается девиантным.

[37] Таким образом, описанный алгоритм позволяет более точно осуществить анализ девиантного поведения, за счет кластеризации траектории перемещения и сравнения с нормализованными паттернами перемещения людей (10) для заданной области наблюдения (100) с помощью получения изображений с группы камер (110-130).

[38] Заявленное изобретение в части способа его осуществления выполняется на вычислительном компьютерном устройстве (400), схема которого приведена в Фиг. 7. В общем случае устройство (400) содержит такие компоненты, как: один или более процессоров (401), по меньшей мере одну оперативную память (402), средство постоянного хранения данных (403), интерфейсы ввода/вывода (404), средство В/В (405), средства сетевого взаимодействия (406).

[39] Процессор (401) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (400) или функционала одного или более его компонентов. Процессор (401) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (402).

[40] Память (402), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. Средство хранения данных (403) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (403) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки запросов (логов), идентификаторов пользователей, данные камер, изображения и т.п.

[41] Интерфейсы (404) представляют собой стандартные средства для подключения и работы с камерами (110, 120, 130) или иными вычислительноыми устройствами, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Выбор интерфейсов (404) зависит от конкретного исполнения устройства (400), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

[42] В качестве средств В/В данных (405) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

[43] Средства сетевого взаимодействия (406) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средства (406) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

[44] Компоненты устройства (400), как правило, сопряжены посредством общей шины передачи данных.

[45] В качестве камер (110, 120, 130) могут применяться различные типы камер, например, IP видеокамеры, PTZ-камеры и т.п. Камеры (110, 120, 130) могут осуществлять передачу данных на устройство (400) с помощью проводного и/или беспроводного канала передачи данных, например, посредством TCP/IP протокола, Ethernet подключения и т.п.

[46] В случае выявления девиантного поведения выявлении девиантного поведения человека (10) дополнительно может осуществляется процесс распознавания его личности по изображению лица и/или внешним приметам. Распознавание может происходить с помощью сравнения полученных изображений с информацией, хранимой в базе данных устройства (400) или удаленного сервера, например, облачного сервера. Также, может осуществляться формирование тревожного сигнала, передаваемого на пульт охраны.

[47] При фиксации девиантного поведения человека (10) может применяться алгоритм трекинга его перемещения, при выполнении которого осуществляется отслеживание перемещение человека (10) с помощью фиксации его изображения на разных видеокамерах. При этом может формироваться карта перемещения человека (10) с помощью наложения отслеживаемой с помощью камер траектории его перемещения на цифровую карту или плана области наблюдения (10).

[48] В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к анализу изображений для определения девиантного поведения человека в режиме одновременной работы группы видеокамер. Технический результат – повышение точности определения девиантного поведения человека. Способ определения девиантного поведения человека в режиме одновременной работы группы видеокамер, выполняемый с помощью процессора, содержит этапы, на которых формируют в области размещения группы видеокамер набор траекторий, каждая из которых характеризует нормальный паттерн перемещения людей в области видимости камер, получают изображение перемещения по меньшей мере одного человека в области установки видеокамер, содержащее изображение траектории перемещения человека, причем траектория перемещения характеризуется пространственными координатами (x, y) и временем t перемещения человека в упомянутых координатах, осуществляют кластеризацию пространственных координат перемещения для каждой выявленной траектории с помощью деления траектории перемещения на K участков и определения для каждого участка средних значений пространственных координат (x, y) и времени прохождения t участков, определяют усредненную траекторию перемещения человека на основании кластеризации координат и сравнивают ее с нормальным паттерном перемещения для данной области наблюдения, определяют девиантное поведение человека при показателе отклонения усредненной траектории его перемещения от нормального паттерна выше заданного порогового значения. 7 з.п. ф-лы, 7 ил.

1. Компьютерно-реализуемый способ определения девиантного поведения человека в режиме одновременной работы группы видеокамер, выполняемый с помощью процессора и содержащий этапы, на которых:

- формируют в области размещения группы видеокамер набор траекторий, каждая из которых характеризует нормальный паттерн перемещения людей в области видимости камер, причем паттерны строятся на основании выборки из усредненных значений траекторий перемещения людей в заданной области;

- получают изображение перемещения по меньшей мере одного человека в области установки видеокамер, содержащее изображение траектории перемещения человека, причем траектория перемещения характеризуется пространственными координатами (x, y) и временем t перемещения человека в упомянутых координатах;

- осуществляют кластеризацию пространственных координат перемещения для каждой выявленной траектории с помощью деления траектории перемещения на K участков и определения для каждого участка средних значений пространственных координат (x, y) и времени прохождения t участков;

- определяют усредненную траекторию перемещения человека на основании кластеризации координат и сравнивают ее с нормальным паттерном перемещения для данной области наблюдения;

- определяют девиантное поведение человека при показателе отклонения усредненной траектории его перемещения от нормального паттерна выше заданного порогового значения.

2. Способ по п.1, характеризующийся тем, что формирование нормального паттерна осуществляется на основании кластеризации траекторий перемещения людей.

3. Способ по п.2, характеризующийся тем, что для каждого кластера области формируется усредненная траектория перемещения.

4. Способ по п.1, характеризующийся тем, что изображения с видеокамер при анализе траекторий перемещения преобразовываются в двумерный вид с помощью перспективной трансформации.

5. Способ по п.4, характеризующийся тем, что преобразование выполняется по матрице трансформации.

6. Способ по п.1, характеризующийся тем, что при выявлении девиантного поведения осуществляется распознавание личности человека по изображению лица и/или внешним приметам.

7. Способ по п.6, характеризующийся тем, что выполняется отслеживание перемещение человека с помощью фиксации его изображения на разных видеокамерах.

8. Способ по п.6, характеризующийся тем, что траектория перемещения человека накладывается на цифровой план помещения или области размещения видеокамер.