Способ подсчета людского потока Российский патент 2019 года по МПК G07C9/00 G06K9/20 

Изобретение относится к технологии, которая осуществляет обработку информации в соответствии с движением объекта, и предназначено для обеспечения учета и анализа количества движущихся объектов, находящихся в контролируемой зоне, при этом изобретение может быть использовано в составе систем мониторинга транспорта для определения количества пассажиров, для определения направлений людских потоков, а также может быть использовано для учета посетителей в государственных и общественных учреждениях, учебных заведениях, культурно-развлекательных объектах, торговых центрах и т.п.

Из уровня техники известна система, с помощью которой реализуется способ подсчета посетителей, заключающийся в том, что в месте прохода устанавливают сенсоры, подсоединенные к контроллеру, который получает данные о проходах с каждого сенсора, под которым проходит объект. С помощью инфракрасного оптического сенсора, состоящего из приемника и передатчика, фиксируют объект на определенной высоте. Передатчики попеременно излучают лучи ИФК диапазона. Отраженный рассеянный луч от объекта фокусируется линзой приемника и попадает на приемный фотодиод. При проходе объекта под сенсором, ИФК лучи от передатчиков попадают на поверхность объекта и отражаются. Рассеянные отраженные лучи, по каждому из каналов, попадают на свой приемник. Контроллер записывает, распознает это как вход или как выход и записывает событие в память. В контроллере происходит обработка полученной информации с записью в оперативную память, которая затем обрабатывается программным продуктом (см. Патент RU 39418, опубликован 27.07.2004 г.).

Также из уровня техники известна система, с помощью которой осуществляется способ учета и анализа потока пассажиров и посетителей, заключающийся в том, что с помощью инфракрасного датчика с микропроцессором проводят сканирование потока, при этом перед каждым сканированием микропроцессор производит измерение температуры и освещенности места учета и устанавливает соответствующую мощность инфракрасных генераторов. После определения освещенности и температуры определяется наличие пассажира/посетителя отраженным лучом и направление его движения путем попеременного включения и выключения инфракрасных генераторов, после чего информация поступает в микропроцессор и после обработки передается на вход счетчика-регистратора, где она записывается в 1-й архив. При возникновении нештатной информации информация записывается во 2-й архив, причем одновременно записывается время из часов. После окончания смены происходит дальнейшая обработка и анализ содержимого этих архивов в центре обработки информации при помощи специального программного обеспечения (см. Патент RU 2304809, опубликован 20.08.2008 г.)

Недостатком известных решений является наличие ошибок при подсчете, низкая точность подсчета объектов из-за использования ИК датчиков, которые могут быть засвечены сторонними источниками, а также из-за отсутствия возможности задания зоны контроля.

Наиболее близким решением к предложенному изобретению является устройство для подсчета пассажиропотока, посредством которого реализуется способ подсчета пассажиропотока, заключающийся в том, что устройство для подсчета пассажиропотока устанавливается над контролируемым объектом при этом датчики изображения должны быть направлены на объект в контролируемой зоне. Процессор запускает таймеры, которые синхронизируют работу строчных драйверов, задающих режим работы матриц пиксельных датчиков, непосредственно воспринимающих световое изображение объектов попадающих в контролируемую зону. Полученное изображение объекта в АЦП четных строк и в АЦП нечетных строк преобразуется из аналогового сигнала в цифровой. Оцифрованные сигналы в модулях конечной обработки изменяется по заданной программе по уровню яркости и контрастности, и параллельным шинам данных поступают на процессор, в котором восстанавливается объемное изображение объекта. Объемное изображение объекта представляет собой массив трехмерных значений высоты каждого объекта, полученных с матриц пиксельных датчиков. При сравнении текущих массивов объемных изображений объектов с предыдущими массивами объемных изображений в процессоре программно фиксируется момент входа объекта в контролируемую зону и момент выхода из нее и осуществляется учет количества объектов (см. Патент RU 102414, опубликован 27.02.2011 г.).

Недостатком известного решения является наличие ошибок при подсчете и низкая точность подсчета объектов.

Технической проблемой, решаемой изобретением, является исключение ошибок, возникающих при подсчете людского потока, связанных с подсчетом объектов, не соответствующих людскому потоку и не влияющих на подсчет людского потока, в том числе при последующих итерациях подсчета, учет людского потока во времени и пространстве с целью оптимизации маршрутов транспортных средств, коммерческого учета числа перевезенных пассажиров, с целью получения точных данных о количестве входящих и выходящих людей из различных организаций и учреждений, возможность подсчета людского потока в зависимости от их роста с целью анализа посещения каких-либо учреждений людьми разного роста, а следовательно и возраста.

Техническим результатом изобретения, обеспечивающим решение технической проблемы, является повышение точности подсчета людского потока, в том числе количества входящих и выходящих людей, повышение точности идентификации движущихся объектов и эффективное использование компьютера для получения объективного и наглядного результата анализа людского потока, обеспечение возможности подсчета только тех движущихся объектов, которые относятся к людскому потоку, исключение из подсчета объектов, не соответствующих людскому потоку.

Технический результат изобретения достигается благодаря реализации способа подсчета людского потока, заключающего в том, что в месте входа-выхода людского потока устанавливают по меньшей мере одну стереокамеру, включающую две камеры, связанные со средством обработки информации с программным обеспечением, посредством по меньшей мере одной стереокамеры осуществляют захват движущегося объекта в поле зрения каждой камеры и передачу изображения с каждой камеры на средство обработки информации, посредством средства обработки информации сканируют все точки в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры, посредством программного обеспечения средства обработки информации определяют на изображении с каждой камеры контуры каждого движущегося объекта и отделяют движущиеся объекты друг от друга и от фона, выбирают для подсчета движущиеся объекты, имеющие округлую форму, находящиеся в указанном заданном диапазоне высот и в указанном заданном секторе соответствующего кадра, после чего посредством программного обеспечения средства обработки информации принимают решение о соответствии или несоответствии выбранных для подсчета движущихся объектов людскому потоку, при этом в случае соответствия движущегося объекта и пересечения им линии счета в месте входа-выхода посредством программного обеспечения средства обработки информации выполняют подсчет движущихся объектов с учетом направления движения людского потока, причем считают количество входящих путем прибавления, если направление движения объекта в сторону входа, и считают количество выходящих путем вычитания, если направление движения объекта в сторону выхода.

Кроме того, после сканирования всех точек в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры посредством программного обеспечения могут вычислять расстояние от каждой камеры до движущегося объекта или высоту движущегося объекта, а также скорость и направление движения движущегося объекта путем определения смещения изображения на одном кадре относительно другого кадра совместно с обеих камер.

Кроме того, при сканировании всех точек изображений могут осуществлять сравнение оптических параметров двух изображений, при этом могут задавать следующие параметры для выделения и сравнения объектов: координаты сравниваемых точек, размер выделенного объекта в пикселях, величина смещения пикселей на кадрах изображений с разных камер, величина смещения точек на текущем и предыдущем кадре изображения с каждой камеры, и при вычислении расстояния от каждой камеры до движущегося объекта или высоты движущегося объекта, а также скорости и направления движения движущегося объекта учитывают результаты сравнения указанных параметров.

Изобретение поясняется с помощью чертежей, где на фиг. 1 схематично показано место входа-выхода с установленной над ним стереокамерой; на фиг. 2 показан вид А на фиг. 1; на фиг. 3-6 показаны примеры захвата движущихся объектов и определения контуров движущихся объектов, выбираемых для подсчета.

Предложенный способ подсчета людского потока осуществляется с помощью системы технических средств, в которую входит: 1) одна или несколько стереокамер 1 (стереопары) подсчета людского потока (в том числе пассажиров на общественном транспорте), причем каждая стереокамера 1 включает две камеры 2, соединенные с одной печатной платой (не показана). Количество используемых при осуществлении способа стереокамер 1 ограничено лишь оборудованием, обрабатывающим полученные данные с камер 2; 2) средство обработки информации (он же миникомпьютер, не показан) с установленным на нем специальным программным обеспечением. Средство обработки информации с программным обеспечением связано с каждой камерой 2, входящей в состав стереокамеры 1 и предназначены для обработки видео потока (видеофайлов), полученного от каждой камеры 2 стереокамеры 1 и вывода видео потока на мониторы 3; 3) монитор 3 (экран, дисплей), на котором отображаются изображения, полученные от каждой камеры 2 стереокамеры 1, а также информация об обработке этих изображений средством обработки информации.

Стереокамера 1 и средство обработки информации могут быть объединены в единый корпус, при этом они образуют аппаратно-программное обеспечение (комплекс), которое использует компьютерное зрение для автоматизированного сбора данных на основании анализа потокового видео (видеоанализа), которое опирается на алгоритмы обработки изображения и распознавания образов, позволяющие анализировать видео без прямого участия человека, и используя для передачи данных каналы связи невысокой пропускной способности (например, GSM канал и т.п.)

Далее по тексту рассмотрим вариант осуществления способа с использованием одной стереокамеры 1, однако следует понимать, что их количество может быть любым в зависимости от потребности и необходимости, причем каждая стереокамера 1 связана со своим средством обработки информации.

Предложенный способ заключается в том, что в месте 4 входа-выхода людского потока (вход и выход контролируемой зоны) устанавливают стереокамеру 1. При этом стереокамеру 1 устанавливают в любом месте 4 входов-выходов, например, в местах дверных проемов транспортных средств, жилых или коммерческих помещений, помещений государственных или общественных учреждений, рамках металлоискателей и т.п.в зависимости от того, где необходимо осуществить подсчет проходящего людского потока. Стереокамеру 1 устанавливают, преимущественно, над движущимся людским потоком так, что камеры 2 направлены либо строго вертикально вниз (в пол под прямым углом), либо под небольшим углом к вертикали с целью охвата, преимущественно, только той зоны, где движется людской поток и в которой необходимо осуществить подсчет, исключая лишний фон. Высота установки стереокамеры 1 может быть любой в зависимости от максимально возможного роста людей, которых необходимо посчитать в том или ином месте. Предпочтительно, высота установки стереокамеры 1 от 2-х до 3-х метров от пола, однако может быть и иная высота установки (меньшая или большая).

При прохождении людского потока через линию 5 счета (под стереокамерой 1) посредством стереокамеры 1 осуществляют захват движущегося объекта в поле зрения каждой камеры 2 и передачу изображения с каждой камеры 2 на средство обработки информации. Линия 5 счета - это условное разделение экрана монитора 3, т.е. задается в виде прямой линии с привязкой к координатам изображения, полученного от каждой камеры 2. При движении под стереокамерой 1 через линию 5 счета любых объектов (людей, в том числе с животными, колясками, сумками и т.п.) на полученном от каждой камеры 2 изображении посредством средства обработки информации (программным обеспечением) сканируют все точки в заданном диапазоне высот и в заданном секторе 6 соответствующего кадра изображения с каждой камеры 2. Диапазон высот, в котором сканируют все точки, задается в настройках программного обеспечения средства обработки информации и в каждом конкретном случае такая высота может быть разная. Максимальная высота, в которой сканируют все точки - не менее 20 см. от каждой камеры 2, а минимальная высота - не более 200 см. от каждой камеры 2. Преимущественно, высота сканирования всех точек на изображениях от камер 2 задается в 1,5 метра от поверхности пола, однако может быть задана и иная высота в указанном диапазоне высот.Данный параметр (высота) устанавливается как разница между высотой установки стереокамеры 1 и минимальной высотой объекта, который необходимо определить и посчитать. Например, если высота установки стереокамеры 1-2 метра, а минимальная высота объекта подсчета 1,5 метра, то каждая камера 2 будет определять объекты на расстоянии не более 50 см. от камеры 2.

Размер и расположение указанного заданного сектора 6 соответствующего кадра изображения с камер 2, в котором программное обеспечение выделяет объекты, зависит от условий прохода и сцены каждого кадра полученных от камер 2 изображений. Размер и расположение сектора 6 задается в настройках программного обеспечения. Обычно, это квадратный сектор 6, который занимает, преимущественно, 50% площади кадра и расположен непосредственно в зоне прохода. При этом размер сектора 6 может быть и иным в диапазоне от 30% до 100% площади кадра. Размер сектора 6 зависит от удаленности зоны прохода людей от стереокамеры 1, а также от ширины этой зоны прохода. Например, если объекты находятся близко к стереокамере 1, то на кадре они будут занимать большую площадь, и если объекты достаточно удалены от стереокамеры 1, то на кадре они будут занимать меньшую площадь и располагаться ближе к центру кадра. Размер сектора 6 подбирается индивидуально для каждой камеры 2 в зависимости от вышеперечисленных условий.

После сканирования всех точек в указанном заданном диапазоне высот и в указанном заданном секторе 6 соответствующего кадра изображения с каждой камеры 2 посредством программного обеспечения средства обработки информации осуществляют сравнение оптических параметров двух изображений (с каждой камеры 2). Сравнение оптических параметров двух изображений осуществляют с целью оценки высоты и положения каждого движущегося объекта. При этом сравнение осуществляется программным обеспечением по определенному алгоритму. Программное обеспечение сканирует все точки на правом изображении (с одной камеры 2) и ищет такие же точки на левом изображении (с другой камеры 2), после чего осуществляется сопоставление этих точек на изображениях совместно с обеих камер 2. Тем самым, программное обеспечение определяет смещение изображения на одном кадре относительно другого. Величина смещения позволяет вычислить расстояние от камеры 2 до объекта или высоту объекта.

Вычисление расстояния от камер 2 до наблюдаемого объекта осуществляется по известным алгоритмам и формулам (см., например, Ильясов Э.С. Вычисление расстояния до наблюдаемого объекта по изображениям со стереопары // Молодой ученый. - 2016. - №14. - С. 146-151. - URL https://moluch.ru/archive/118/32662/).

Таким образом, после сканирования всех точек вычисляют расстояние от каждой камеры 2 до движущегося объекта или высоту движущегося объекта, а также определяют скорость и направление движения движущегося объекта путем определения смещения изображения на одном кадре относительно другого кадра совместно с обеих камер 2.

Кроме того, программное обеспечение может определять характерные, ярко выраженные точки на кадре. Далее программное обеспечение находит эти же точки на следующем кадре, а величина смещения точек на кадре относительно предыдущего кадра позволяет определить скорость и направление передвижения объекта.

Для выделения и сравнения объектов, которые в последующем будут посчитаны, задают следующие основные параметры: координаты сравниваемых точек, размер выделенного объекта в пикселях, величина смещения пикселей на кадрах изображений с разных камер 2 (на правом и на левом кадре), величина смещения точек на текущем и предыдущем кадре изображения с каждой камеры 2.

После того, как посредством программного обеспечения средства обработки информации отсканированы все точки, определили высоту движущегося объекта или расстояние от каждой камеры 2 до движущегося объекта, определили направление движения движущегося объекта, посредством программного обеспечения средства обработки информации определяют на изображении с каждой камеры 2 контуры каждого движущегося объекта. При этом определяют контуры движущихся объектов на изображениях только на указанной заданной высоте, выбирая точки на этой высоте. Программное обеспечение после определения контуров каждого движущегося объекта на заданной высоте отделяет движущиеся объекты друг от друга и от фона.

После определения контуров движущихся объектов с помощью программного обеспечения средства обработки информации выбирают для подсчета движущиеся объекты, имеющие округлую форму, которые находятся в указанном заданном диапазоне высот и в указанном заданном секторе 6 соответствующего кадра изображения. При этом для подсчета выбирают объекты округлой формы, которые имеют определенный заданный размер. Максимальный и минимальный размер задается в настройках программного обеспечения и зависит от высоты расположения стереокамеры 1. Максимальный размер округлой формы может составлять 40% от площади кадра, а минимальный размер округлой формы может составлять 10% от площади кадра. Преимущественно, такой размер округлой формы составляет примерно 10-25%) от площади кадра. Однако в настройках программного обеспечения может быть задан и иной размер в указанном диапазоне (от 10% до 40%).

После выбора объектов округлой формы, имеющих указанный размер и находящиеся на указанной высоте и в указанном секторе 6, посредством программного обеспечения средства обработки информации принимают решение о соответствии или несоответствии выбранных для подсчета движущихся объектов людскому потоку. При этом отсекают коляски, животных, сумки и т.д. Для принятия решения учитываются следующие параметры:

- Скорость движения объекта. Для принятия решения скорость должна быть 1-2 метра в секунду (м/с).

- Форма объекта. Для принятия решения форма движущегося объекта должна быть округлой.

- Размер объекта. Для принятия решения движущийся объект округлой формы должен быть не менее минимального (10% от площади кадра) и не более максимального (40% от площади кадра) установленного размера объекта.

- Расположение объекта. Для принятия решения движущийся объект округлой формы заданного размера должен находится в установленном секторе 6 кадра.

- Направление движения объекта. Для принятия решения перемещение объекта (смещение координат объекта на текущем и предыдущем кадре) по оси Y должно быть больше чем перемещение по оси X.

Если все вышеуказанные параметры соответствуют установленным, то программное обеспечение принимает решение о соответствии выделенного объекта объекту подсчета. Таким образом, в случае соответствия движущегося объекта и пересечении им линии 5 счета в месте 4 входа-выхода посредством программного обеспечения средства обработки информации выполняют подсчет движущихся объектов (потока людей) с учетом направления движения людского потока. Так, считают количество входящих путем прибавления, если направление движения объекта в сторону входа, и считают количество выходящих путем вычитания, если направление движения объекта в сторону выхода. Таким образом, с учетом направления движения (вход или выход) выполняют определенные математические действия при пересечении движущимся объектом линии 5 счета (прибавляют единицу при направлении движения в сторону входа или вычитают единицу при направлении движения в сторону выхода). При этом считают отдельно количество входящих и отдельно количество выходящих людей.

Таким образом, благодаря осуществлению предложенного способа происходит максимально точное определение движущихся объектов и выделение из всех движущихся объектов именно людского потока. При этом отделяются все ненужные объекты, которые не нужно считать и которые не относятся к людскому потоку. Подсчет ведется путем построения объемной модели средствами стереокамер 1, путем обработки полученной информации мини-компьютером (программным обеспечением) в данные, пригодные для подсчета людского потока. Стереокамеры 1 имеют подсветку и имеют возможность захватывать объекты (цели) для построения упрощенной объемной модели при любом освещении. При этом обеспечивается возможность подсчета людского потока в зависимости от их роста с целью анализа посещения каких-либо учреждений людьми разного роста, а следовательно и возраста.

Благодаря использованию средства обработки информации со специальным программным обеспечением, позволяющим сканировать точки на определенной высоте и в определенном секторе 6, отсекая все лишние объекты, которые не соответствуют людскому потоку и которые не нужно считать, исключаются любые ошибки, которые могут возникнуть при подсчете людского потока, связанные с подсчетом объектов, не соответствующих людскому потоку и не влияющих на подсчет людского потока. В результате этого существенно повышается точность подсчета входящих и выходящих людей, повышается точность идентификации движущихся объектов в том числе за счет выбора для подсчета только объектов округлой формы определенного размера. Средство обработки информации позволяет без участия человека вести учет людского потока во времени и пространстве, обеспечивается эффективное использование компьютера для получения объективного и наглядного результата анализа людского потока. Это позволяет оптимизировать маршруты транспортных средств, вести коммерческий учет числа перевезенных пассажиров, а также получать точные данные о количестве входящих и выходящих людей из различных организаций и учреждений.

Изобретение относится к способу подсчета людского потока. Способ заключается в том, что в месте входа-выхода людского потока устанавливают по меньшей мере одну стереокамеру, включающую две камеры, связанные со средством обработки информации с программным обеспечением. Посредством стереокамеры осуществляют захват движущегося объекта и передачу изображения с камеры на средство обработки информации. Посредством средства обработки информации сканируют все точки в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры. Посредством программного обеспечения средства обработки информации определяют на изображении с каждой камеры контуры каждого движущегося объекта и отделяют движущиеся объекты друг от друга и от фона. Далее выбирают для подсчета движущиеся объекты, имеющие округлую форму, находящиеся в указанном заданном диапазоне высот и в указанном заданном секторе соответствующего кадра. После этого посредством программного обеспечения средства обработки информации принимают решение о соответствии или несоответствии выбранных для подсчета движущихся объектов людскому потоку. В случае соответствия движущегося объекта и пересечения им линии счета производят подсчет. Обеспечивается повышение точности подсчета людского потока. 2 з.п. ф-лы, 6 ил.

1. Способ подсчета людского потока, заключающийся в том, что в месте входа-выхода людского потока устанавливают по меньшей мере одну стереокамеру, включающую две камеры, связанные со средством обработки информации с программным обеспечением, посредством по меньшей мере одной стереокамеры осуществляют захват движущегося объекта в поле зрения каждой камеры и передачу изображения с каждой камеры на средство обработки информации, посредством средства обработки информации сканируют все точки в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры, посредством программного обеспечения средства обработки информации определяют на изображении с каждой камеры контуры каждого движущегося объекта и отделяют движущиеся объекты друг от друга и от фона, выбирают для подсчета движущиеся объекты, имеющие округлую форму, находящиеся в указанном заданном диапазоне высот и в указанном заданном секторе соответствующего кадра, после чего посредством программного обеспечения средства обработки информации принимают решение о соответствии или несоответствии выбранных для подсчета движущихся объектов людскому потоку, при этом в случае соответствия движущегося объекта и пересечения им линии счета в месте входа-выхода посредством программного обеспечения средства обработки информации выполняют подсчет движущихся объектов с учетом направления движения людского потока, причем считают количество входящих путем прибавления, если направление движения объекта в сторону входа, и считают количество выходящих путем вычитания, если направление движения объекта в сторону выхода.

2. Способ по п. 1, в котором после сканирования всех точек в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры посредством программного обеспечения вычисляют расстояние от каждой камеры до движущегося объекта или высоту движущегося объекта, а также скорость и направление движения движущегося объекта путем определения смещения изображения на одном кадре относительно другого кадра совместно с обеих камер.

3. Способ по п. 2, в котором при сканировании всех точек изображений осуществляют сравнение оптических параметров двух изображений, при этом задают следующие параметры для выделения и сравнения объектов: координаты сравниваемых точек, размер выделенного объекта в пикселях, величина смещения пикселей на кадрах изображений с разных камер, величина смещения точек на текущем и предыдущем кадрах изображения с каждой камеры, и при вычислении расстояния от каждой камеры до движущегося объекта или высоты движущегося объекта, а также скорости и направления движения движущегося объекта учитывают результаты сравнения указанных параметров.