Способ автоматизированного определения локального позиционирования движущихся объектов Российский патент 2022 года по МПК G06V10/22 G07C9/00 

Изобретение относится к технологии, которая осуществляет обработку информации в соответствии с движением объекта, и предназначено для обеспечения учета и анализа количества движущихся объектов, находящихся в контролируемой зоне, при этом изобретение может быть использовано в составе систем мониторинга на промышленных предприятиях, в торговых и торгово-развлекательных центрах, а также может быть использовано для учета посетителей в государственных и общественных учреждениях, учебных заведениях, культурно-развлекательных объектах и т.п.

Из уровня техники известен СПОСОБ ОПРЕДЕЛЕНИЯ ДЕВИАНТНОГО ПОВЕДЕНИЯ ЧЕЛОВЕКА В РЕЖИМЕ ОДНОВРЕМЕННОЙ РАБОТЫ ГРУППЫ ВИДЕОКАМЕР ( патент на изобретение RU 2 694 139 C1, МПК G06K 9/62), состоящий из  одновременной работы группы видеокамер, выполняемый с помощью процессора, содержит этапы, на которых формируют в области размещения группы видеокамер набор траекторий, каждая из которых характеризует нормальный паттерн перемещения людей в области видимости камер, получают изображение перемещения по меньшей мере одного человека в области установки видеокамер, содержащее изображение траектории перемещения человека, причем траектория перемещения характеризуется пространственными координатами (x, y) и временем t перемещения человека в упомянутых координатах, осуществляют кластеризацию пространственных координат перемещения для каждой выявленной траектории с помощью деления траектории перемещения на K участков и определения для каждого участка средних значений пространственных координат (x, y) и времени прохождения t участков, определяют усредненную траекторию перемещения человека на основании кластеризации координат и сравнивают ее с нормальным паттерном перемещения для данной области наблюдения, определяют девиантное поведение человека при показателе отклонения усредненной траектории его перемещения от нормального паттерна выше заданного порогового значения.

Недостатком данного решения следует отметить отсутствие функций подсчета людей по направлению их движения, а также определение самого вектора движения. Фиксируется непосредственно отклонение от заданного математически паттерна движения человека. Причем камеры работают сообща, а значит их зоны видимости пересекаются, что не подходит для мониторинга и подсчета людского потока. 

Из уровня техники известен способ подсчета людского потока (патент на изобретение  RU 2 700 250 C1, МПК G07C 9/00, G06K 9/20), заключающийся в том, что в месте входа-выхода людского потока устанавливают по меньшей мере одну стереокамеру, включающую две камеры, связанные со средством обработки информации с программным обеспечением. Посредством стереокамеры осуществляют захват движущегося объекта и передачу изображения с камеры на средство обработки информации. Посредством средства обработки информации сканируют все точки в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры. Посредством программного обеспечения средства обработки информации определяют на изображении с каждой камеры контуры каждого движущегося объекта и отделяют движущиеся объекты друг от друга и от фона. Далее выбирают для подсчета движущиеся объекты, имеющие округлую форму, находящиеся в указанном заданном диапазоне высот и в указанном заданном секторе соответствующего кадра. После этого посредством программного обеспечения средства обработки информации принимают решение о соответствии или несоответствии выбранных для подсчета движущихся объектов людскому потоку. В случае соответствия движущегося объекта и пересечения им линии счета производят подсчет. Обеспечивается повышение точности подсчета людского потока.

Недостатком данного технического решения следует считать то, что представленные способ осуществляется для камер, установленных под определенным углом, а значит нет возможности для индивидуализации настроек для каждой камеры. Тем самым ограничиваются функциональные возможности данного способа при отклонении угла установки камер.

Технический результат заявляемого изобретения направлен на автоматический  подсчет количества людей, посещающих открытые/закрытые места скопления людей (например, парки, торговые центры и т.д.).

В контексте данной заявки: движущийся объект - человек.

Технический результат осуществляется за счет способа автоматизированного определения локального позиционирования движущихся объектов путем работы n видеокамер, соединенных с процессором, который размещен на сервере обработки данных с предустановленным программным обеспечением, и который содержит этапы:

а) в местах входа / выхода контролируемой территории закрытого/открытого типа предварительно размещают видеокамеры таким образом, чтобы охваты зоны видимости каждой камеры не пересекались друг с другом, для каждой видеокамеры задают следующие параметры подсчета движущихся объектов: условная линия, при пересечении которой осуществляют подсчет людей в одном из двух направлений, относительно линии; данные параметры задаются путем программного кода, являющегося частью предустановленного программного обеспечения;

б) получают изображение по меньшей мере одного движущегося объекта в зоне видимости как минимум одной видеокамеры, передающей на процессор видеопоток путем определения “ограничивающего прямоугольника”, обозначающего как минимум одного человека;

в) осуществляют раскадровку видеопотока как минимум с одной установленной видеокамеры с помощью библиотеки машинного зрения OpenCV (библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом) ;

г) осуществляют постановку в очередь каждого шестого кадра из п. в) для дальнейшей обработки, причем кадры составляются в очередь в хронологическом порядке;

д) осуществляют детектирование как минимум одного движущегося объекта  (человека) в области охвата зоны видимости видеокамеры с помощью нейронной сети YOLOv5, выделяющей “ограничивающий прямоугольник” объекта движения, а также его пересечение виртуальной линии при помощи математических алгоритмов, той камеры, в зону видимости которой попадает объект движения;

е) осуществляют определение вектора движения объекта по разметке п. а) путем выявления пересечения, как минимум, одного человека, с помощью математических алгоритмов, а также фиксируют время прохождения движущегося объекта участков;

ж) осуществляют подсчет движущихся объектов по вектору их движения, исходя из п. е);

з) осуществляют вывод результатов в графической интерпретации в интерфейс пользователя;

и) осуществляют сохранение результатов обнаружения и подсчета в базе данных, где хранится информация о идентификаторе события, идентификаторе камеры, координатах ограничивающего прямоугольника, который пересек линию подсчета/входил в область подсчета, направлении движения объекта и времени события.

В одном из частных вариантов заданные параметры определения  направления движения объекта каждой установленной видеокамеры различны. Это обусловлено тем, что камеры не стоят в одной и той же точке, а как правило расположены на каком-либо расстоянии друг от друга. Поэтому, для каждой камеры будут заданы программным кодом разные параметры в виде координат условной линии.

Основными позициями на фиг. 1 обозначены следующие блоки и узлы, осуществляющие работу системы локального позиционирования людей, на фиг. 2 - ограничивающий прямоугольник:

1 - видеокамера;

2 - видеопоток с видеокамеры;

3 - раскадровка;

4 - OpenCV;

5 - постановка кадра в очередь;

6 - детекция людей; 

7 - YOLOv5;

8 - подсчет людей;

9 - вывод результатов в интерфейс пользователя;

10 - сервер обработки и хранения данных;

11 - база данных хранения информации.

    Данные с модуля 1 видеокамера (на фигуре 1 обозначена только одна видеокамера), предустановленной в месте возможного входа/выхода на территорию открытого/закрытого типа, поступают путем односторонней связи в модуль 2 видеопотока с камер, после чего будет происходить их дальнейшая обработка. Таким образом последующий подсчет людей будет осуществляться в реальном времени.

С модуля 2, имеющийся видеопоток поступает в модуль 3 раскадровки, где при помощи модуля 4 OpenCV, представляющим собой библиотеку машинного зрения, которая извлекает каждый шестой кадр из видеопотока для дальнейшего его анализа. Причем модуль 4 располагается на сервере 5 обработки и хранения информации. Связь данных модулей двусторонняя, так как выделенный каждый шестой кадр при помощи модуля 4 должен вернуться в цепочку для дальнейшей обработки. Таким образом нагрузка на сервер обработки и хранения данных будет снижена, а значит способ осуществляется в реальном времени и без задержки.

Определенные шестые кадры модулем 3, поступают в модуль 5 постановки кадра в очередь путем односторонней связи, где в хронологическом порядке будут проходить дальнейшую обработку кадры.

После определения модулем 5 очередности обработки кадров, данные попадают по прямой связи в модуль 6 детекции людей, который обращается в модуль 7 YOLOv5, представляющий собой нейронную сеть, определяющую “ограничивающий прямоугольник” ( далее по тексту - “ОП”) объекта движения (фиг. 2). ОП представляет собой геометрическую фигуру, охватывающую движимый объект, то есть человека. Одновременно с этим путем математических алгоритмов, определенных программным обеспечением, выстраивается воображаемая линия для определения вектора (направления) движения объекта движения. При пересечении данной линии объектом движения, будет определено, по какому направлению движется объект. Связь модулей 6 и 7 двусторонняя, так как после определения указанных выше пунктов, данные должны вернуться в цепочку действий. Таким образом происходит автоматическое определение вектора движения человека.

Собранные данные о векторе движения из модуля 6 попадают по односторонней связи в модуль 8 подсчета людей, где при применении алгоритмов расчета будет выявлено количество людей, время их начала движения (при попадании в зону видимости камеры), а также направление движения.

Рассчитанные данные модулем 8 попадают в модуль 9 вывод результатов в дашборд путем односторонней связи, выполненный с помощью интерфейса пользователя, где будут отображены графически результаты модуля 8. 

Выведенные в модуль 9 результаты будут сохранены в модуль 11 базу данных хранения информации.

Таким образом осуществляется автоматический подсчет количества людей, посещающих открытые/закрытые места скопления людей, а также мониторинг выявление возможных нарушений (драк, подозрительных скоплений людей и пр.).

Следует отметить, что количество видеокамер не ограничивается одной, а их количество может меняться от 1 до n, при этом камеры будут установлены таким образом, чтобы не пересекаться областями видимости, иначе, камеры будут охватывать одинаковую территорию, а значит и вести подсчет одних и тех же людей, что будет нецелесообразно.  

При этом, виртуальная линия, упомянутая выше, будет различна для каждой из камер, так как направления камер разные, и зона охвата отлична от других, соответственно, и координаты виртуальной линии будут другими. Даже если камеры расположены в одной плоскости, то одна из камер может вести подсчет людей, идущих вдоль этой плоскости, а другая - людей, идущих перпендикулярно этой плоскости. Таким образом камеры будут считать максимальное количество людей.

Данный способ также может послужить аналитическим инструментом для облагораживания территории (дополнительные дорожки, дорожки для велосипедов и т.д.), а также инструментом для маркетинговых стратегий (строительство зоны спорта/отдыха/ активного отдыха/ фудкорта). 

Причем данный способ может в себя включать как распознавание личности человека по изображению лица, так и наложение траектории перемещения человека на цифровой план помещения или области размещения видеокамер. При этом будут включены дополнительные действия в способ автоматизированного определения локального позиционирования движущихся объектов в виде дополнительных модулей обработки информации.

Изобретение относится к технологии определения объекта в контролируемой зоне. Технический результат заключается в повышении точности подсчета людского потока. Способ автоматизированного определения локального позиционирования движущихся объектов путем работы n видеокамер, соединенных с процессором, который размещен на сервере обработки данных с предустановленным программным обеспечением, характеризуется тем, что в местах входа/выхода контролируемой территории закрытого/открытого типа предварительно размещают видеокамеры таким образом, чтобы охваты зоны видимости каждой камеры не пересекались друг с другом, для каждой видеокамеры задают следующие параметры подсчета движущихся объектов: условная линия, при пересечении которой осуществляют подсчет людей в одном из двух направлений, относительно линии; данные параметры задаются путем программного кода, являющегося частью предустановленного программного обеспечения, получают изображение по меньшей мере одного движущегося объекта в зоне видимости как минимум одной видеокамеры, осуществляют раскадровку видеопотока как минимум с одной установленной видеокамеры с помощью библиотеки машинного зрения OpenCV, осуществляют постановку в очередь каждого шестого кадра из прошлого этапа для дальнейшей обработки, причем кадры составляются в очередь в хронологическом порядке. 2 ил.

Способ автоматизированного определения локального позиционирования движущихся объектов, осуществляющийся путем работы n видеокамер, соединенных с процессором, который размещен на сервере обработки данных с предустановленным программным обеспечением, и содержащий этапы:

а) в местах входа/выхода контролируемой территории закрытого/открытого типа предварительно размещают видеокамеры таким образом, чтобы охваты зоны видимости каждой камеры не пересекались друг с другом, для каждой видеокамеры задают следующие параметры подсчета движущихся объектов: условная линия, при пересечении которой осуществляют подсчет людей в одном из двух направлений, относительно линии; данные параметры задаются путем программного кода, являющегося частью предустановленного программного обеспечения;

б) получают изображение по меньшей мере одного движущегося объекта в зоне видимости как минимум одной видеокамеры, передающей на процессор видеопоток путем определения “ограничивающего прямоугольника”, обозначающего как минимум один движущийся объект;

в) осуществляют раскадровку видеопотока как минимум с одной установленной видеокамеры с помощью библиотеки машинного зрения OpenCV (библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом);

г) осуществляют постановку в очередь каждого шестого кадра из пункта в) для дальнейшей обработки, причем кадры составляются в очередь в хронологическом порядке;

д) осуществляют детектирование как минимум одного движущегося объекта в области охвата зоны видимости определения видеокамеры с помощью нейронной сети YOLOv5, выделяющей “ограничивающий прямоугольник” объекта движения, а также его пересечение виртуальной линии при помощи математических алгоритмов, той камеры, в зону видимости которой попадает объект движения;

е) осуществляют определение вектора движения объекта по разметке по пункту а) путем выявления пересечения как минимум одного человека, с помощью математических алгоритмов; а также фиксируется время прохождения движущегося объекта участков;

ж) осуществляют подсчет движущихся объектов по вектору их движения, исходя из пункта е);

з) осуществляют вывод результатов в графической интерпретации в интерфейс пользователя;

и) осуществляют сохранение результатов обнаружения и подсчета в базе данных, где хранится информация об идентификаторе события, идентификаторе камеры, координатах ограничивающего прямоугольника, который пересек линию подсчета/входил в область подсчета, направлении движения объекта и времени события.