Устройство для обнаружения признаков асоциального поведения Российский патент 2023 года по МПК G08B23/00 G06F18/21 

Изобретение относится к устройствам контроля мест массового скопления людей, в частности к устройствам для обнаружения признаков асоциального поведения на основе потокового видео и аудио.

Создание современных систем обслуживания, характеризующихся отсутствием или удаленным (по отношению к месту обслуживания) местонахождением операторов, обнаруживающих ситуации, характеризующиеся наличием признаков асоциального поведения в местах массового скопления людей, и принимающих решения в отношении таких ситуаций, требует создание первичной сети соответствующих датчиков. Такие датчики являются основой систем предупреждения несчастных случаев и противоправных действий, а также систем исключения доступа третьих лиц к критическим объектам инфраструктуры систем обслуживания. Датчики указанных систем должны формировать информацию о факте возникновения асоциального поведения и его типе, обеспечивать интероперабельность с существующими и предполагаемыми к использованию системами автоматического управления технологическими процессами обслуживания.

Известны устройства и системы, предназначенные для обнаружения признаков асоциального поведения или отклонений психофизического состояния отдельного субъекта, в частности известно автоматизированное устройство для контроля и оценки состояния обследуемого субъекта (RU 184210 U1, А61В 5/0205, А61В 5/18, 18.10.2018).

Известное устройство включает в себя корпус, в котором смонтированы первый блок контроля для контроля допуска, второй блок контроля для контроля психофизиологических параметров, третий блок контроля для контроля биохимических параметров и четвертый блок контроля для контроля нервно-психической устойчивости, коммутатор, блок хранения данных, источник автономного питания, размещенную на штативе в верхней части корпуса с возможностью поворота и наведения на обследуемого субъекта цифровую видеокамеру, связанную с коммутатором и вторым блоком контроля, смонтированные на боковых стенках корпуса разъемы для подключения полиграфа, устройства оценки двигательной активности, цифрового тонометра, алкотестера, иммунохроматографического анализатора, печатающего устройства, источника сетевого питания, внешнего запоминающего устройства и кабельной связи, при этом первый блок контроля подключен к коммутатору, блоку хранения данных, разъему для подключения мобильного принтера, а также связан со вторым-четвертым блоками контроля, второй блок контроля связан с коммутатором и разъемами для подключения устройства оценки двигательной активности и полиграфа, третий блок контроля связан с коммутатором и разъемами для подключения тонометра, алкотестера и иммунохроматографического анализатора, четвертый блок контроля через коммутатор связан со вторым блоком контроля, источник автономного питания и разъем для подключения источника сетевого питания через первый-четвертый сетевые фильтры подключены к первому - четвертому блокам контроля, средства задания режима работы устройства установлены на фронтальной панели корпуса и подключены к коммутатору, монитор для отображения результатов обследования размещен на фронтальной панели корпуса и связан с первым блоком контроля, а все упомянутые блоки контроля связаны с разъемом для подключения внешнего запоминающего устройства и разъемом кабельной связи.

Недостатком известного автоматизированного устройства для контроля и оценки состояния обследуемого субъекта невозможность его использования для решения задачи обнаружения признаков асоциального поведения у субъекта или группы субъектов в местах массового скопления людей.

Наиболее близкой по своей технической сущности к заявляемому техническому решению является известная система распознавания поведения, содержащая источник ввода видео, процессор и память, хранящую: программное обеспечение средства компьютерного зрения, при этом средство компьютерного зрения сконфигурировано принимать от источника ввода видео первый кадр потока, при этом первый кадр включает в себя данные для множества пикселей, включенных в этот кадр, идентифицировать одну или более групп пикселей в первом кадре, при этом каждая группа представляет объект в сцене, формировать поисковую модель, хранящую один или более признаков, связанных с каждым идентифицированным объектом, классифицировать каждый из объектов, используя обученный классификатор, отслеживать во втором кадре каждый из объектов, идентифицированных в первом кадре, используя поисковую модель, и подавать первый кадр, второй кадр и классификации объектов в средство машинного обучения, и средство машинного обучения, при этом средство машинного обучения сконфигурировано формировать одно или более семантических представлений поведения, проявляемого объектами в сцене по множеству кадров, и дополнительно сконфигурировано изучать шаблоны поведения, наблюдаемого в сцене по множеству кадров, и идентифицировать появления этих шаблонов поведения, проявляемого классифицированными объектами (RU 2475853 С2, G06T 7/20, G06F 15/18, G08B 23/00, 20.02.2013).

Существенным недостатком прототипа является отсутствие построения «скелета» субъекта по определенным ранее пространственным координатам ключевых точек субъекта, а также анализа его изменений для выявления признаков асоциального поведения субъекта или группы субъектов. Под «скелетом» здесь и далее понимают совокупность ключевых точек тела субъекта в двумерной системе координат кадра, связанных между собой виртуальными линиями.

Технический результат, на достижение которого направлено заявляемое техническое решение, заключается в повышении надежности обнаружения признаков асоциального поведения в местах скопления людей.

Технический результат достигается тем, что устройство для обнаружения признаков асоциального поведения содержит последовательно соединенные блок регистрации видеоинформации, блок обнаружения объекта и блок определения пространственных координат объекта, выходом подключенный к первому входу блока комплексного анализа, блок обнаружения субъекта, вход которого соединен со вторым выходом блока регистрации видеоинформации, один из выходов - через последовательно соединенные блок определения пространственных координат субъекта и блок построения «скелета» субъекта соединен со вторым входом блока комплексного анализа, а другие выходы блока обнаружения субъекта соединены соответственно со входами блоков регистрации направления взгляда субъекта, расчета соотношения «зрачок/радужка» и анализа мимики, выходами соединенными соответственно с третьим, четвертым и пятым входами блока комплексного анализа, блок обнаружения огня и дыма, включенный между третьим выходом блока регистрации видеоинформации и шестым входом блока комплексного анализа, блок анализа траектории движения субъекта, вход которого соединен с другим входом блока определения пространственных координат субъекта, а выход - с седьмым входом блок комплексного анализа, последовательно соединенные блок регистрации аудиоинформации, блок обнаружения шума и блок распознавания речи, подключенный выходом к восьмому входу блока комплексного анализа, блок формирования журнала работы устройства, вход которого соединен с выходом блока комплексного анализа, входы/выходы - с выходами/входами блока памяти и интерфейсов сопряжения соответственно с беспроводной и проводной системами передачи данных для взаимодействия с внешними заинтересованными службам.

Заявляемое техническое решение поясняется чертежом, на котором показана структурная схема устройства для выявления асоциального поведения.

Устройство для обнаружения признаков асоциального поведения содержит последовательно соединенные блок 1 регистрации видеоинформации, блок 2 обнаружения объекта и блок 3 определения пространственных координат объекта, выходом подключенный к первому входу блока 4 комплексного анализа, блок 5 обнаружения субъекта, вход которого соединен со вторым выходом блока 1 регистрации видеоинформации, один из выходов - через последовательно соединенные блок 6 определения пространственных координат субъекта и блок 7 построения «скелета» субъекта соединен со вторым входом блока 4 комплексного анализа, а другие выходы блока 5 обнаружения субъекта соединены соответственно со входами блоков 8, 9 и 10 регистрации направления взгляда субъекта, расчета соотношения «зрачок/радужка» и анализа мимики, выходами соединенными соответственно с третьим, четвертым и пятым входами блока 4 комплексного анализа, блок 11 обнаружения огня и дыма, включенный между третьим выходом блока 1 регистрации видеоинформации и шестым входом блока 4 комплексного анализа, блок 12 анализа траектории движения субъекта, вход которого соединен с другим входом блока 6 определения пространственных координат субъекта, а выход - с седьмым входом блок 4 комплексного анализа, последовательно соединенные блок 13 регистрации аудиоинформации, блок 14 обнаружения шума и блок 15 распознавания речи, подключенный выходом к восьмому входу блока 4 комплексного анализа, блок 16 формирования журнала работы устройства, вход которого соединен с выходом блока 4 комплексного анализа, входы/выходы - с выходами/входами блока 17 памяти и интерфейсов 18 и 19 сопряжения соответственно с беспроводной и проводной системами передачи данных для взаимодействия с внешними заинтересованными службам.

Под «скелетом» субъекта в заявляемом техническом решении понимают совокупность ключевых точек тела субъекта в двумерной системе координат кадра, связанных между собой виртуальными линиями.

Под асоциальным поведением - любое поведение субъекта (группы субъектов) в месте массового скопления людей, которое может быть источником риска для любого субъекта или субъектов в данном месте массового скопления людей или у его границ. Примерами асоциального поведения служат: оставление багажа и личных вещей, алкогольное или иное опьянение, агрессивное поведение, драка. Признаки асоциального поведения определяются для каждого из видов асоциального поведения индивидуально и заранее. Основными признаками асоциального поведения следует считать:

- попытку спрятать при виде камеры наблюдения лицо руками, маской или иным предметом;

- бегающий взгляд (непрерывное изменение направления взгляда);

- частое оборачивание по сторонам (нервозность);

- суетливое (частое с кратковременными остановками, резкими движениями) перемещение в пространстве;

- оставление предметов;

- мимику (сдвинутые брови, сжатые губы и иные черты, присущие агрессивному поведению);

- высокое значение соотношения «зрачок/радужка»;

- поднятые руки (предметы), в т.ч. над головой другого человека;

- саботаж камеры;

- походка (нетвердая поступь, частые изменения положения корпуса тела в пространстве);

- движение в запрещенном направлении;

- падение людей с сохранением длительной (несколько секунд) неподвижности;

- совместные движения группы людей, интерпретируемые как проявление агрессии (драки, борьба);

- громкая или нечленораздельная речь, крики, нецензурная брань, в т.ч. при загорании или задымлении контролируемой зоны мест массового скопления людей;

- проявление актов вандализма (рисование на стенах, удары по предметам).

Данный перечень не следует рассматривать как исчерпывающий для заявляемой полезной модели.

Под контролируемой зоной мест массового скопления людей понимают выбираемую на этапе проектирования (определения места размещения устройства) область пространства, которая должна контролироваться сенсорами устройства: блоком 1 регистрации видеоинформации и блоком 13 регистрации аудиоинформации.

Под саботажем датчиков устройства в настоящей заявке понимают любое поведение, направленное на приведение сенсоров устройства в нерабочее (нештатное состояние), как то, например, закрашивание объектива камеры блока 1 регистрации видеоинформации, заклеивание его или микрофона блока 13 регистрации аудиоинформации клейкой лентой, жевательной резинкой и т.п.

Монтаж устройства для обнаружения признаков асоциального поведения осуществляется однократно в местах массового скопления людей, в ограниченных пространствах, пешеходных переходах, тоннелях, платформах остановочных пунктов, салонах подвижного состава и т.п. Устройство для обнаружения признаков асоциального поведения может быть выполнено как в собственном едином корпусе, так и быть выполнено без единого собственного корпуса и устанавливаться в шкафы, на кроссовые стативы или под кожухи (фальшпанели/фальшпотолки), являющиеся элементами интерьера мест массового скопления людей, при этом такие кожухи, корпуса и пр. не должны препятствовать получению видео- и аудиоинформации от блока 1 видеоинформации и блока 13 аудиоинформации в объеме пространства, установленном проектом оборудования (выбранной контролируемой зоной места массового скопления людей).

Устройство для обнаружения признаков асоциального поведения работает в режиме реального времени и следующим образом.

Блок 1 регистрации видеоинформации, выполненный в виде одной или нескольких видеокамер, осуществляет непрерывную съемку контролируемой зоны места массового скопления людей. Аналогично блок 13 регистрации аудиоинформации, представляющий собой микрофон, осуществляет регистрацию звука в контролируемой зоне места массового скопления людей.

Информация от блока 1 регистрации видеоинформации поступает на входы блока 2 обнаружения объекта, блока 5 обнаружения субъекта и блока 11 обнаружения огня и дыма. Блоки 2, 5, 11 соответственно обнаружения объекта, обнаружения субъекта и обнаружения огня и дыма представляют собой микропроцессорные устройства - видеокарты или иные специализированные микроконтроллеры для обработки потокового видео в реальном времени.

Блок 2 обнаружения объекта на основе алгоритмов машинного зрения (в частности описанного в: RU 2729956 С2, 13.08.2020, G06F 16/783, G06K 9/62) осуществляет для каждого кадра обнаружение объектов, не являющихся неотъемлемой частью контролируемой зоны места массового скопления людей: мусорных баков, кресел, скамей и т.п. Блок 5 обнаружения субъекта на основе алгоритмов машинного зрения (в частности описанного в: Засыпкин, Д.С. Алгоритмы обнаружения человека в opencv / Д.С. Засыпкин, Ю.С. Белов // Научные исследования в современном мире. Теория и практика: сборник избранных статей Всероссийской (национальной) научно-практической конференции, Санкт-Петербург, 10 апреля 2022 года. - Санкт-Петербург: ГНИИ «Нацразвитие», 2022, с. 36-38. - EDN HEXMRI) для каждого кадра осуществляет обнаружение субъектов в пределах контролируемой зоны места массового скопления людей. Блок 11 обнаружения огня и дыма осуществляет на основе алгоритмов машинного зрения (в частности описанного в: Пятаева, А.В. Обнаружение пламени и дыма по видеоданным / А.В. Пятаева, О.Е. Бандеев // Журнал Сибирского федерального университета. Серия: Техника и технологии. - 2019. - Т. 12. - №5. - С.542-554. - DOI 10.17516/1999-494Х-0105. - EDN WVPDMB) для каждого кадра обнаружение признаков возгорания или задымления в границах контролируемой зоны места массового скопления людей.

При обнаружении объекта в границах контролируемой зоны места массового скопления людей блок 2 обнаружения объекта передает видеокадр на вход блока 3 определения пространственных координат объекта. На основе алгоритмов определения расстояния до объекта по отдельному кадру, в частности алгоритма обработки стереоскопических изображений (Куличкина, Ч.С. Применение технологии поиска глубины изображений посредством веб-камеры / Ч.С. Куличкина // The Scientific Heritage. - 2021. - №74-1(74). - С.37-42. - DOI 10.24412/9215-0365-2021-74-1-37-42. - EDN RHLNKK), осуществляют определение пространственных координат до объекта для каждого полученного кадра.

При обнаружении субъекта (субъектов) в границах контролируемой зоны места массового скопления людей блок 5 обнаружения субъекта передает кадр на входы блока 6 определения пространственных координат субъекта, блока 8 регистрации направления взгляда субъекта, блока 9 расчета соотношения «зрачок/радужка» и блока 10 анализа мимики. Блоки 6 определения пространственных координат субъекта, 8 регистрации направления взгляда субъекта, 9 расчета соотношения «зрачок/радужка» и 10 анализа мимики представляют собой отдельные микропроцессорные устройства или единое микропроцессорное устройство с соответствующими программными модулями. Блоки 8 регистрации направления взгляда субъекта, 9 расчета соотношения «зрачок/радужка» и 10 анализа мимики работают согласно известных алгоритмов, в частности может быть использован алгоритм работы устройства определения состояния водителя (JP 2002367100 A, 20.12.2002, G08G 1/16, A61B 3/11, B60K 28/08, B60R 16/02, B60R 21/00, B60R 27/00, B62D 6/00, B62D 101/00, B62D 109/00).

Блок 6 определения пространственных координат субъекта осуществляет на основе алгоритмов машинного зрения, в частности алгоритма обработки стереоскопических изображений, расчет расстояния до тела субъекта. Полученная информация вместе с кадром передается на входы блока 7 построения «скелета» субъекта и блока 12 анализа траектории движения субъекта.

Блок 7 построения «скелета» субъекта на основе полученной от блока 6 информации осуществляет обнаружение ключевых точек тела субъекта (локтевых, плечевых, тазобедренных и коленных суставов) и расчет расстояния до них. Алгоритмы по построению «скелета» субъекта известны и описаны в литературе (RU 2708027 С1, 03.12.2019, G06T 13/40). Блок 12 анализа траектории движения субъекта осуществляет на основе информации, полученной от блока 6, определение расстояния от субъекта до границы контролируемой зоны места массового скопления людей. На основе данной информации блок 12 анализа траектории движения субъекта обнаруживает действия субъекта, характеризуемые как движение в запрещенную зону: сокращение расстояния между субъектом и ближайшей к нему границей запрещенной зоны. Под запрещенной зоной в заявляемом изобретении понимают заранее установленные и размеченные участки контролируемой зоны места массового скопления людей, например, зоны перемещения в нем технологического оборудования или его частей, подвижного состава и т.п.

Результаты работы блоков 3, 7, 8, 9, 10, 11 и 12 соответственно определения пространственных координат объекта, построения «скелета» субъекта, регистрации направления взгляда субъекта, расчета соотношения «зрачок / радужка», анализа мимики, обнаружения огня и дыма и анализа траектории движения субъекта передаются на вход блока 4 комплексного анализа.

Блок 13 регистрации аудиоинформации передает поток аудиоданных на вход блока 14 обнаружения шума. Блок 14 обнаружения шума представляет собой микропроцессорное устройство, в частности аудиопроцессор, осуществляющий непрерывный расчет уровня шума. При превышении обычного для контролируемой зоны места массового скопления людей уровня шума (при наличии крика, громких ударов, дребезг, звук разбиваемого стекла и т.п.), установленного на этапе проектирования (выбора места размещения заявляемого устройства), блок 14 обнаружения шума формирует признак наличия шума и транслирует на вход блока 15 распознания речи потока аудиоинформации.

Блок 15 распознания речи осуществляет при наличии на его входе признака наличия шума обработку потока аудиоданных на предмет присутствия ключевых слов, в т.ч. междометий, являющихся признаком асоциального поведения. Алгоритмы обработки речевых данных известны (см. Миних, Е.А. Анализ существующих технологий распознания и преобразования речи в текст, Инженерные технологии: традиции, инновации, векторы развития, сборник материалов VI Всероссийской научно-практической конференции с международным участием, Абакан, 11-13 ноября 2020 г., Абакан, Хакасский государственный университет им. Н.Ф. Катанова, 2020, с. 56-58) Результаты работы блока 15 также передаются к блоку 4 комплексного анализа.

Блок 4 комплексного анализа представляет собой микропроцессорное устройство, осуществляющее обобщение информации от блоков 3, 7, 8, 9, 10, 11, 12 и 15 соответственно определения пространственных координат объекта, построения «скелета» субъекта, регистрации направления взгляда субъекта, расчета соотношения «зрачок/радужка», анализа мимики, обнаружения огня и дыма, анализа траектории движения субъекта и распознания речи для определения типа асоциального поведения по каждому из полученных признаков.

Результаты работы блока 4 комплексного анализа передаются на вход блока 16 формирования журнала работы устройства. Блок 16 формирования журнала работы устройства представляет собой микропроцессорный модуль и осуществляет формирование, регистрацию в блоке 17 памяти энергонезависимой и/или передачу по проводной или беспроводной системе передачи данных с использованием соответственно интерфейса 18 и 19 для взаимодействия с заинтересованными службами. Интерфейсы 18 сопряжения с беспроводной системой передачи данных и 19 сопряжения с проводной системой передачи данных обеспечивают интероперабельность заявляемого устройства для обнаружения признаков асоциального поведения с внешними автоматизированными системами заинтересованных служб, в частности может обеспечивать трансляцию уведомлений в системы управления работниками обеспечения безопасности, охраны мест массового скопления людей.

Интерфейс 18 сопряжения с беспроводной системой передачи данных представляет собой микропроцессорный модуль, осуществляющий подготовку к передаче информации с использованием соответствующего протокола передачи данных, например, стандарта GSM, LTE или Wi-Fi. Интерфейс 18 сопряжения с проводной системой передачи данных представляет собой микропроцессорный модуль, осуществляющий подготовку к передаче информации с использованием соответствующего протокола передачи данных, например, Ethernet.

Таким образом, заявляемое устройство для обнаружения признаков асоциального поведения повышает надежность обнаружения признаков асоциального поведения.

Изобретение относится к устройствам контроля мест массового скопления людей. Технический результат заключается в повышении надежности обнаружения признаков асоциального поведения в местах скопления людей. Устройство для обнаружения признаков асоциального поведения содержит последовательно соединенные блок регистрации видеоинформации, блок обнаружения объекта и блок определения пространственных координат объекта, выходом подключенный к первому входу блока комплексного анализа, блок обнаружения субъекта, вход которого соединен со вторым выходом блока регистрации видеоинформации, один из выходов через последовательно соединенные блок определения пространственных координат субъекта и блок построения «скелета» субъекта соединен со вторым входом блока комплексного анализа, а другие выходы блока обнаружения субъекта соединены соответственно со входами блоков регистрации направления взгляда субъекта, расчета соотношения «зрачок/радужка» и анализа мимики, выходами соединенных соответственно с третьим, четвертым и пятым входами блока комплексного анализа, блок обнаружения огня и дыма, включенный между третьим выходом блока видеоинформации и шестым входом блока комплексного анализа, блок анализа траектории движения субъекта, вход которого соединен с другим входом блока определения пространственных координат субъекта, а выход - с седьмым входом блока комплексного анализа, последовательно соединенные блок регистрации аудиоинформации, блок обнаружения шума и блок распознавания речи, подключенный выходом к восьмому входу блока комплексного анализа, блок формирования журнала работы устройства, вход которого соединен с выходом блока комплексного анализа, входы/выходы - с выходами/входами блока памяти и интерфейсов сопряжения соответственно с беспроводной и проводной системами передачи данных для взаимодействия с внешними заинтересованными службами. 1 ил.

Устройство для обнаружения признаков асоциального поведения, характеризующееся тем, что содержит последовательно соединенные блок регистрации видеоинформации, блок обнаружения объекта и блок определения пространственных координат объекта, выходом подключенный к первому входу блока комплексного анализа, блок обнаружения субъекта, вход которого соединен со вторым выходом блока регистрации видеоинформации, один из выходов через последовательно соединенные блок определения пространственных координат субъекта и блок построения «скелета» субъекта соединен со вторым входом блока комплексного анализа, а другие выходы блока обнаружения субъекта соединены соответственно со входами блоков регистрации направления взгляда субъекта, расчета соотношения «зрачок/радужка» и анализа мимики, выходами соединенных соответственно с третьим, четвертым и пятым входами блока комплексного анализа, блок обнаружения огня и дыма, включенный между третьим выходом блока видеоинформации и шестым входом блока комплексного анализа, блок анализа траектории движения субъекта, вход которого соединен с другим входом блока определения пространственных координат субъекта, а выход – с седьмым входом блока комплексного анализа, последовательно соединенные блок регистрации аудиоинформации, блок обнаружения шума и блок распознавания речи, подключенный выходом к восьмому входу блока комплексного анализа, блок формирования журнала работы устройства, вход которого соединен с выходом блока комплексного анализа, входы/выходы – с выходами/входами блока памяти и интерфейсов сопряжения соответственно с беспроводной и проводной системами передачи данных для взаимодействия с внешними заинтересованными службами.