СИСТЕМА И СПОСОБ ОПРЕДЕЛЕНИЯ ПОТЕНЦИАЛЬНО ОПАСНЫХ СИТУАЦИЙ ПО ВИДЕОДАННЫМ Российский патент 2020 года по МПК G06K9/00 G06T7/00 G08B13/00 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области обработки и анализа видеоданных, получаемых от камер видеонаблюдения, а более конкретно к технологиям, направленным на обнаружение человека в кадре и на анализ его позы для последующего выявления потенциально опасных ситуаций по видеоданным.

УРОВЕНЬ ТЕХНИКИ

Системы видеонаблюдения используются для охраны помещений или территорий. Обычно такие системы используют несколько видеокамер для мониторинга охраняемой зоны. Видеоданные, полученные от камер видеонаблюдения, позволяют оператору охранной системы оценивать ситуацию, происходящую на охраняемой территории и своевременно реагировать в случае выявления опасной ситуации.

При мониторинге огромной территории оператору системы сложно без компьютерных средств анализа видеоизображений вовремя заметить опасную ситуацию и организовать своевременное реагирование охранной службы (из-за большого потока информации, которую необходимо своевременно просмотреть). Таким образом существует большая вероятность пропустить какое-либо нарушение в одной охраняемой зоне, при длительной концентрации внимания на другой охраняемой зоне (человеческий фактор).

Современные системы видеонаблюдения опираются на алгоритмы обработки изображений и распознавания образов, позволяющие анализировать видео без прямого участия человека. Системы видеонаблюдения, в зависимости от конкретных целей, могут реализовывать множество функций, например, таких как: обнаружение объектов, идентификация или распознавание объектов, анализ поз или жестов объектов, анализ траекторий движения объектов, а также многое другое.

В последнее время большую популярность приобрели технологии определения позы человека по видеоданным (например, ЕР 2843621 A1, US 7340100 В2, US 2016/0217326 A1, CN 106203363 А).

Оценка позы человека относится к методам компьютерного зрения, которые обнаруживают человеческие фигуры на изображениях или видео кадрах. Далее детектируется скелет человека и определяются/фиксируются положения всех его конечностей. Данная технология может использоваться в разных областях техники, например, в технологиях дополненной реальности (US 2016/0085310 A1). Кроме того, распознавание жестов и поз людей используется для определения реакции на товар или услугу, увиденные в магазинах или даже просто при просмотре страниц в браузере.

Заявляемая идея заключается в использовании технологии определения позы человека для выявления потенциально опасных ситуаций по видеоданным для своевременного реагирования на них. Основная задача заявляемого технического решения - обеспечить точное определение потенциально опасной ситуации по видеоданным и быстрое реагирование при ее определении.

Из уровня техники известно решение, раскрытое в заявке US 2016/0314666, A1, G08B 13/196, опубл. 27.10.2016, в которой описаны системы и способы для обнаружения команд бедствия и жестов по видео. Способ по настоящему изобретению включает этапы, на которых: принимают последовательность изображений от видеоустройства, контролирующего охраняемую зону; анализируют последовательность изображений для обнаружения человека; если присутствие человека обнаружено, анализируют последовательность изображений для обнаружения одной из множества ситуаций, которые требуют определенного реагирования; когда хотя бы одна из множества возможных ситуаций обнаружена в последовательности изображений, передают сигнал для выполнения определенного реагирования, причем каждая из множества ситуаций характеризует действие, совершаемое человеком, или состояние человека, независимо от того, находится человек в подвижном или неподвижном состоянии.

Главным отличием данного решения от заявляемого является отсутствие подробного описания алгоритма определения позы человека и соответственно тех ситуаций, которые провоцируют реагирование.

Наиболее близким по технической сущности является известное решение, раскрытое в патенте US 7613324, В2, G06K 9/00, опубл. 03.11.2009, в котором описан способ обнаружения изменения положения человека по видеоданным, содержащий: прием входных видеоданных; обнаружение цели в видеоданных; отслеживание цели; определение цели как человека; обнаружение изменения положения человека в видеоданных, когда изменение, по меньшей мере, одного из высоты или соотношения сторон человека превышает заданный порог, причем изменение обнаруживается путем определения высоты или соотношения сторон цели в первом и во втором кадре видеоданных; вычисление разницы между высотой или соотношением сторон цели в первом и втором кадрах; обнаружение изменения в положении, когда разница превышает предварительно определенный порог; определение прошедшего времени между первым и вторым кадрами; и обнаружение изменения в положении, когда прошедшее время меньше предварительно определенного порога.

Основным отличием известного из уровня техники решения от заявляемого является существенная разница в алгоритме определения позы человека. Кроме того, известное решение специализируется только на определении события падения или подъема человека по видеоданным.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.

Техническим результатом заявленной группы изобретений является повышение точности выявления потенциально опасных ситуаций посредством анализа позы человека, обнаруженного в видеоданных.

Данный технический результат достигается за счет того, что система выявления потенциально опасных ситуаций содержит: по меньшей мере, одну видеокамеру; память, выполненную с возможностью хранения видеоданных; графический пользовательский интерфейс (ГПИ); по меньшей мере, одно устройство обработки данных, сконфигурированное для: получения видеоданных в режиме реального времени от, по меньшей мере, одной видеокамеры; анализа полученных видеоданных для обнаружения, по меньшей мере, одного человека в кадре и получения ключевых точек его скелета, при этом после получения ключевых точек пользователь посредством использования средств ГПИ задает по меньшей мере три корректировочные вертикальные линии на кадре, имеющие высоту, равную среднему росту человека, а также параллельные предполагаемому вектору спины, образованному полученными ключевыми точками, причем упомянутые вертикальные линии располагаются на одной и той же подстилающей плоскости, что и упомянутый человек; получения горизонтальных линий для каждой из заданных корректировочных вертикальных линий; разбиения кадра на зоны на основе заданных ранее корректировочных вертикальных линий для определения ближайших к человеку корректировочных вертикальных линий; построения, по меньшей мере, одного вектора ног по паре ключевых точек нижних конечностей и определения их (т.е. точек) принадлежности к одной из полученных зон; построения вектора спины на основании вертикальных линий, сформировавших полученную зону, и на основании полученных горизонтальных линий; определения угла отклонения нижних конечностей между полученными вектором спины и вектором ног; определения позы человека на основании сравнения полученного угла отклонения нижних конечностей с предварительно заданным пороговым значением; выявления потенциально опасной ситуации, если поза человека является одной из поз, свидетельствующих о потенциально опасной ситуации.

Указанный технический результат также достигается за счет способа выявления потенциально опасных ситуаций, реализуемого, по меньшей мере, одним устройством обработки данных, причем способ содержит этапы, на которых осуществляется: получение видеоданных в режиме реального времени от, по меньшей мере, одной видеокамеры; анализ полученных видеоданных для обнаружения, по меньшей мере, одного человека в кадре и получения ключевых точек его скелета, при этом после получения ключевых точек пользователь посредством использования средств ГПИ задает по меньшей мере три корректировочные вертикальные линии на кадре, имеющие высоту, равную среднему росту человека, а также параллельные предполагаемому вектору спины, образованному полученными ключевыми точками, причем упомянутые вертикальные линии располагаются на одной и той же подстилающей плоскости, что и упомянутый человек; получение горизонтальных линий для каждой из заданных корректировочных вертикальных линий; разбиение кадра на зоны на основе заданных ранее корректировочных вертикальных линий для определения ближайших к человеку корректировочных вертикальных линий; построение, по меньшей мере, одного вектора ног по паре ключевых точек нижних конечностей и определение их принадлежности к одной из полученных зон; построение вектора спины на основании вертикальных линий, сформировавших полученную зону, и на основании горизонтальных линий; определение угла отклонения нижних конечностей между полученными вектором спины и вектором ног; определение позы человека на основании сравнения полученного угла отклонения нижних конечностей с предварительно заданным пороговым значением; выявление потенциально опасной ситуации, если поза человека является одной из поз, свидетельствующих о потенциально опасной ситуации.

В одном частном варианте заявленного решения при получении горизонтальных линий для каждой из заданных корректировочных вертикальных линий выполняются следующие этапы: (а) выбор первой вертикальной линии путем прохода по всем заданным корректировочным вертикальным линиям; (б) выбор второй вертикальной линии путем прохода по всем оставшимся после выбора первой заданным корректировочным вертикальным линиям; (в) получение уравнения прямой, проходящей по верхним точкам выбранных вертикальных линий; (г) получение уравнения прямой, проходящей по нижним точкам выбранных вертикальных линий; (д) вычисление точки пересечения упомянутых прямых путем решения СЛАУ; (е) повторение этапов (б)-(д) для получения множества точек; (ж) получение оптимальных точек из полученного множества точек посредством применения алгоритма оценки параметров на основе случайных выборок (RANSAC); (з) получение горизонтальной линии для первой корректировочной вертикальной линии по полученным оптимальным точкам; (и) повторение этапов (а)-(з) для получения горизонтальных линий для каждой из заданных корректировочных вертикальных линий.

В другом частном варианте заявленного решения разбиение кадра на зоны осуществляется посредством использования метода триангуляции Делоне, на основе расположения корректировочных вертикальных линий на кадре.

В еще одном частном варианте заявленного решения при построении вектора ног в качестве одной ключевой точки берется середина бедра, подразумевающая точку, находящуюся между ключевыми точками бедра, а в качестве второй ключевой точки берется либо точка щиколотки, либо точка колена, причем перечисленные точки также подразумевают середину между одноименными ключевыми точками.

В другом частном варианте заявленного решения позой человека, свидетельствующей о потенциально опасной ситуации, является одна из поз, характеризующих: сидящего человека в кадре, лежащего человека в кадре, человека с вытянутой вперед по меньшей мере одной рукой, человека с поднятой вверх по меньшей мере одной рукой.

В еще одном частном варианте заявленного решения поза сидящего человека в кадре характеризует сидящего человека либо на стуле, либо на полу, либо на корточках.

В другом частном варианте заявленного решения если упомянутый угол отклонения нижних конечностей превышает предварительно заданное пороговое значение, то считается что человек в кадре находится в позе либо сидящего, либо лежащего человека.

В еще одном частном варианте заявленного решения если упомянутый угол отклонения нижних конечностей меньше предварительно заданного порогового значения, при этом если отношение длины отрезка, соединяющего точку середины нижних конечностей с проекцией точки шеи на вектор спины, к росту человека, превышает предварительно заданное второе пороговое значение, то считается что человек в кадре находится в позе лежачего человека по направлению к камере.

В другом частном варианте заявленного решения дополнительно строится новый вектор спины именно по ключевой точке шеи и ключевой точке бедер, при этом если значение угла отклонения этого нового вектора спины от упомянутого ранее вектора спины превышает предварительно заданное третье пороговое значение, то человек находится в позе лежачего человека в кадре.

В еще одном частном варианте заявленного решения дополнительно строится, по меньшей мере, один вектор рук по паре ключевых точек верхних конечностей, при этом если вектор рук перпендикулярен вектору спины, то считается что человек находится в положении с вытянутой вперед по меньшей мере одной рукой.

В другом частном варианте заявленного решения дополнительно строится, по меньшей мере, один вектор рук по паре ключевых точек верхних конечностей, при этом если вектор рук параллелен вектору спины, и ключевая точка кисти выше ключевой точки плеча, то считается что человек находится в положении с поднятой вверх, по меньшей мере, одной рукой.

В еще одном частном варианте заявленного решения выявление потенциально опасной ситуации выполняется если поза человека, свидетельствующая о потенциально опасной ситуации, сохраняется в видеоданных в течении предварительно заданного промежутка времени.

В другом частном варианте заявленного решения упомянутое время регулируется пользователем при настройке работы системы.

В еще одном частном варианте заявленного решения графический пользовательский интерфейс сконфигурирован для предоставления пользователю возможности настраивать перспективу кадра перед началом работы системы.

В другом частном варианте заявленного решения при выявлении потенциально опасной ситуации устройство обработки данных автоматически осуществляет одно или несколько предварительно заданных пользователем действий.

В еще одном частном варианте заявленного решения упомянутыми действиями являются: запись видеоданных в архив, экспорт кадра или видео, инициирование тревоги, sms оповещение пользователя, оповещение пользователя по электронной почте, аудио оповещение пользователя.

Данный технический результат также достигается и за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления способов выявления потенциально опасных ситуаций.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема системы для выявления потенциально опасных ситуаций;

Фиг. 2 - блок-схема одного из вариантов реализации способа выявления потенциально опасных ситуаций.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам в данной области техники будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.

Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде вычислительных систем и способов для выявления потенциально опасных ситуаций, а также в виде считываемого компьютером носителя данных.

На фиг. 1 представлена блок-схема одного из вариантов реализации вычислительной системы выявления потенциально опасных ситуаций. Данная система включает в себя: по меньшей мере, одну видеокамеру (10, …, 1n); память (20); графический пользовательский интерфейс (30); и, по меньшей мере, одно устройство обработки данных (40, …, 4m).

В контексте данной заявки под вычислительными системами понимаются любые системы, построенные на базе программно-аппаратных средств, например, такие как: персональные компьютеры, смартфоны, ноутбуки, планшеты и т.д.

В роли устройства памяти могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD) и т.д. Для дальнейшего понимания сущности заявляемого решения необходимо пояснить, что память системы хранит видеоданные, поступающих от всех упомянутых видеокамер системы. А также память выполнена с возможностью хранения данных, поступающих от всех устройств обработки данных.

В качестве устройства обработки данных может выступать процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных. При этом процессор может быть многоядерным, для параллельной обработки данных. Кроме того, для анализа видеоданных может быть задействован центральный процессор, графический процессор или другие устройства обработки данных, такие как, например, Intel NCS, FPGA-платы (ПЛИС) и т.д.

Графический пользовательский интерфейс (ГПИ) в свою очередь представляет собой систему средств для взаимодействия пользователя с вычислительным устройством, основанную на представлении всех доступных пользователю системных объектов и функций в виде графических компонентов экрана (окон, значков, меню, кнопок, списков и т.п.). При этом пользователь имеет произвольный доступ, посредством устройств ввода/вывода данных, ко всем видимым экранным объектам - блокам интерфейса, которые отображаются на дисплее/экране.

Устройство ввода/вывода данных может представлять собой, но не ограничиваясь, например, манипулятор мышь, клавиатуру, джойстик, тачпад, стилус, трекпад и т.п.

Следует отметить, что в указанную систему могут входить и любые другие известные в данном уровне техники устройства, например, устройства ввода/вывода данных, видеокарта (включающая графический процессор GPU), разнообразные датчики и т.д.

Далее будет описан пример работы вышеупомянутой системы выявления потенциально опасных ситуаций.

Рассмотрим для примера охранную систему видеонаблюдения помещения банка. По всему периметру помещения (в том числе и в отдельных комнатах, если такие имеются) размещены обзорные видеокамеры. Видеокамеры расположены таким образом, чтобы их поля зрения немного пересекались/перекрывались. Это необходимо для того, чтобы не было слепых зон системы видеонаблюдения, а также чтобы в случае необходимости можно было составить (восстановить) полную картину события по видеоданным.

Видеоданные от каждой из упомянутых видеокамер системы поступают в режиме реального времени к, по меньшей мере, одному устройству обработки данных заявляемой системы. Кроме того, эти же исходные видеоданные поступают в память системы для хранения архива. В процессе загрузки в память, в отдельных реализациях исполнения системы, видеоданные могут быть проанализированы для формирования метаданных, характеризующих данные обо всех объектах в видео. Метаданными в данном случае являются подробные сведения обо всех объектах, перемещающихся в поле зрения каждой камеры (траектории движений, описатели лиц, и т.п.). Полученные метаданные также сохраняются в память системы. Впоследствии, полученные метаданные могут быть использованы для выполнения поиска по заданным критериям.

Устройство обработки данных выполняет анализ полученных видеоданных для обнаружения (выявления), по меньшей мере, одного человека в кадре. При этом, следует отметить, что может быть обнаружено несколько людей в кадре, поскольку вообще очень редко случается такая ситуация, когда в пределах охраняемой территории находится только один человек. Каждый человек рассматривается отдельно друг от друга. То есть устройство обработки данных анализирует каждого обнаруженного человека по отдельности и выявляет ключевые точки его скелета. Ключевые точки характеризуют основные части тела человека, при анатомическом соединении которых получается скелет человека. В самой простой реализации, скелет человека имеет 17 ключевых точек, характеризующих, нос, глаза, уши, плечи, локти, кисти, таз, колени, щиколотки. Чем больше точек, тем точнее будет определен скелет, однако обработка большего количества точек займет чуть больше времени. Каждая ключевая точка характеризуется своей пространственной координатой.

После получения ключевых точек пользователь посредством использования средств графического пользовательского интерфейса (ГПИ) задает по меньшей мере три корректировочные вертикальные линии (КВЛ) на рассматриваемом кадре видео. Упомянутые КВЛ имеют высоту, равную среднему росту человека. Определенное значение среднего роста человека может быть задано на этапе предварительной настройки работы системы. Пользователь системы задает КВЛ параллельно предполагаемому вектору спины, образованному полученными ключевыми точками его скелета. При этом упомянутые КВЛ располагаются на одной и той же подстилающей плоскости, что и упомянутый человек (на полу, земле и т.д.). Соблюдение всех перечисленных критериев повышает точность построения векторов скелета человека. Для упрощения взаимодействия пользователя с системой, ГПИ сконфигурирован и настроен таким образом, чтобы пользователю было легко задать именно параллельные линии, при этом они легко располагаются на подстилающей плоскости.

Далее для каждой из заданных КВЛ, по меньшей мере, одно устройство обработки данных вычисляет/получает горизонтальные линии (ГЛ). В данной области техники упомянутые ГЛ принято называть как «линии горизонта». При получении ГЛ выполняются следующие этапы:

(а) выбор первой вертикальной линии путем прохода по всем заданным корректировочным вертикальным линиям;

(б) выбор второй вертикальной линии путем прохода по всем оставшимся после выбора первой заданным корректировочным вертикальным линиям;

(в) получение уравнения прямой, проходящей по верхним точкам выбранных вертикальных линий;

(г) получение уравнения прямой, проходящей по нижним точкам выбранных вертикальных линий;

(д) вычисление точки пересечения упомянутых прямых путем решения системы полученных линейных алгебраических уравнений (СЛАУ);

(е) повторение этапов (б)-(д) для получения множества точек;

(ж) получение оптимальных точек из полученного множества точек посредством применения алгоритма оценки параметров на основе случайных выборок (RANSAC);

(з) получение горизонтальной линии для первой корректировочной вертикальной линии по полученным оптимальным точкам;

(и) повторение этапов (а)-(з) для получения горизонтальных линий для каждой из заданных корректировочных вертикальных линий.

Таким образом для каждой КВЛ строится ГЛ и сохраняется для дальнейшего использования при получении вектора, характеризующего человека в положении стоя.

Далее на основе заданных ранее КВЛ устройство обработки данных автоматически разбивает кадр на зоны. Для разбиения используется метод триангуляции Делоне (обратная задача - диаграмма Вороного). Это необходимо для определения ближайших к человеку корректировочных вертикальных линий.

После разбиения кадра на зоны выполняется построение, по меньшей мере, одного вектора ног. Для этого используется пара ключевых точек нижних конечностей. В контексте данной заявки вектор ног - это вектор от середины бедер до середины точек нижних конечностей (то есть точек коленей или точек щиколоток). Таким образом, при построении вектора ног в качестве одной ключевой точки берется середина бедра, подразумевающая точку, находящуюся между ключевыми точками бедер, а в качестве второй ключевой точки берется либо точка щиколотки, либо точка колена, причем перечисленные точки также подразумевают середину между одноименными ключевыми точками.

Далее определяется, в какой из полученных зон располагается упомянутая пара ключевых точек, а, следовательно, и полученный вектор ног.

На основании КВЛ, сформировавших определенную выше зону, и на основании полученных ранее ГЛ, выполняется построение вектора спины. В контексте данной заявки вектор спины - это вектор, характеризующий человека в положении стоя в данной (определяемой) точке. Следует отметить, что ранее упомянутый предполагаемый вектор спины менее точен, чем полученный на этом этапе вектор спины.

После того как получены основные необходимые векторы (вектор ног и вектор спины), устройство обработки данных определяет угол между ними. Полученный угол является углом отклонения нижних конечностей. Данный угол по сути является углом отклонения ног человека от нормального положения стоя. На основании сравнения значения этого угла с предварительно заданным пороговым значением (первым) определяется поза человека. Например, при угле отклонения нижних конечностей превышающем пороговое значение считается, что человек находится либо в положении сидя, либо в положении лежа. При угле отклонения нижних конечностей меньше порогового значения чаще всего считается, что человек находится в положении стоя. Однако, следует отметить что не любое положение стоя считается характеристикой потенциально опасной ситуации, о чем будет пояснено более подробно ниже.

Финальным этапом является выявление/определение потенциально опасной ситуации, если поза человека является одной из поз, свидетельствующих о потенциально опасной ситуации.

В контексте заявляемого решения рассматриваются четыре основные позы, которые характеризуют потенциально опасную ситуацию.

(1) Сидящий человек в кадре. Данная поза человека может характеризовать присутствие заложника в кадре. При этом поза сидящего человека в кадре может характеризовать либо сидящего на стуле человека, либо сидящего на полу человека, либо сидящего на корточках человека. Любая из этих позиций будет считаться характеристикой потенциально опасной ситуации.

(2) Лежачий человек в кадре. Данная поза может характеризовать присутствие потенциально пострадавшего (раненного человека, заложника) в кадре или же присутствие злоумышленника в кадре, который скомандовал всем лежать.

(3) У человека в кадре вытянута вперед по меньшей мере одна рука. Данная поза может характеризовать потенциальное наличие огнестрельного оружия в руке человека.

(4) У человека в кадре поднята вверх одна или обе руки. Данная поза может характеризовать присутствие заложника в кадре.

Рассмотрим более подробно случай, когда угол отклонения нижних конечностей меньше предварительно заданного порогового значения. В таком случае человек может быть либо в положении стоя, либо в положения лежа по направлению к камере. Для исключения положения лежа по направлению к камере проверяется следующее условие. Сначала определяется длина отрезка (l), соединяющего точку середины нижних конечностей с проекцией точки шеи на вектор спины. Если отношение длины этого отрезка (l) к росту человека (h) превышает предварительно заданное второе пороговое значение, то считается что человек в кадре находится в позе лежачего человека по направлению к камере. То есть чтобы определить данную позу, необходимо выполнение двух условий.

Следует отметить, что поза лежачего человека в кадре определяется и еще одним способом, посредством построения еще одного нового вектора. А именно: дополнительно строится новый вектор спины по ключевой точке шеи и ключевой точке бедер. Если значение угла отклонения этого нового вектора спины от упомянутого ранее вектора спины превышает предварительно заданное третье пороговое значение, то человек находится в позе лежачего человека в кадре. Построение этого нового вектора спины необходимо только в том случае, если по каким-либо причинам невозможно построить вектор ног, например, из-за отсутствия возможности определения в кадре точек коленей и точек щиколоток. Такое может произойти если нижняя часть обнаруженного человека загорожена, например, столом.

Что касается положения стоя, то после исключения всех возможных положений лежа, система определяет, что при значении угла отклонения нижних конечностей меньше предварительно заданного (первого) порогового значения человек находится в положении стоя.

Далее для выявления потенциально опасной ситуации, связанной с этим положением, необходимо дополнительное построение, по меньшей мере, одного вектора рук по паре ключевых точек верхних конечностей. Для большей точности стоится два вектора (для левой и для правой руки соответственно). Далее определяется угол отклонения верхних конечностей, характеризующий угол отклонения вектора рук от вектора спины. Если вектор рук перпендикулярен вектору спины (то есть угол приблизительно 90 градусов), то считается, что человек находится в положении с вытянутой вперед по меньшей мере одной рукой. Если две руки перпендикулярны векторы спины, то считается что человек находится в положении с вытянутыми вперед двумя руками. В принципе, что одна, что две вытянутые вперед руки характеризуют потенциально опасную ситуацию, так что вполне достаточно и определения того, что только одна рука перпендикулярна вектору спины.

Если же вектор рук параллелен вектору спины, и ключевая точка кисти выше ключевой точки плеча, то считается что человек находится в положении с поднятой вверх, по меньшей мере, одной рукой. Можно аналогично определить, при необходимости, поднята вверх только одна рука или же обе руки (для определения потенциально опасной ситуации также достаточно одной поднятой вверх руки).

Следует отметить, что для повышения точности определения позы человека в кадре, а значит и для повышения эффективности работы системы в целом, графический пользовательский интерфейс сконфигурирован для предоставления пользователю возможности настраивать перспективу кадра перед началом работы системы.

Кроме того, для исключения ложных срабатываний охранной системы ГПИ сконфигурирован для предоставления пользователю возможности настраивать и регулировать промежуток времени, в течении которого у человека сохраняется поза, свидетельствующая о потенциально опасной ситуации. Данная регулировка предпочтительно выполняется при настройке перед началом работы системы (однако при необходимости и в зависимости от ситуации можно отрегулировать этот параметр времени и в процессе работы системы). Таким образом можно исключить такие ситуации, например, когда человек присел чтобы завязать шнурок, или, когда человек поднял руку в качестве приветствия для другого человека и т.д. В этом варианте реализации определение потенциально опасной ситуации выполняется только если поза человека, свидетельствующая о потенциально опасной ситуации, сохраняется в видеоданных в течении предварительно заданного промежутка времени.

Следует отметить, что при выявлении потенциально опасной ситуации любым из рассмотренных и подробно описанных выше способов, по меньшей мере одно устройство обработки данных автоматически осуществляет одно или несколько предварительно заданных пользователем действий.

К таким действиям относятся: запись видеоданных в архив, экспорт кадра или видео, инициирование тревоги, sms оповещение пользователя, оповещение пользователя по электронной почте, аудио оповещение пользователя и т.д. Оповещение пользователя может также выполняться с целью исключения ложных срабатываний. Например, система выявила потенциально опасную ситуацию, автоматически отправила видеоданные пользователю/оператору системы, чтобы именно оператор посмотрел и решил, нужно ли инициировать тревогу или же это ложная тревога.

Следует отметить, что рассмотрен минимальный список самых необходимых автоматических действий. В зависимости от ситуации и требований различных охранных систем можно настроить работу заявляемой системы, чтобы она автоматически выполняла любое другое действие, например, переход на предустановку поворотной видеокамеры, включение или отключение датчиков или детекторов движения, запуск предварительно заданной пользователем программы и многое другое, что может быть необходимо при выявлении потенциально опасной ситуации на охраняемой территории.

Далее рассмотрим более подробно осуществление способа выявления потенциально опасных ситуаций.

На фиг. 2 представлена блок-схема одного из вариантов реализации способа выявления потенциально опасных ситуаций. Указанный способ реализуется, по меньшей мере, одним устройством обработки данных. При этом способ содержит этапы, на которых осуществляется:

- (100) получение видеоданных в режиме реального времени от, по меньшей мере, одной видеокамеры;

- (200) анализ полученных видеоданных для обнаружения, по меньшей мере, одного человека в кадре и получения ключевых точек его скелета,

- (300) при этом после получения ключевых точек пользователь посредством использования средств ГПИ задает по меньшей мере три корректировочные вертикальные линии на кадре, имеющие высоту, равную среднему росту человека, а также параллельные предполагаемому вектору спины, образованному полученными ключевыми точками, причем упомянутые вертикальные линии располагаются на одной и той же подстилающей плоскости, что и упомянутый человек;

- (400) получение горизонтальных линий для каждой из заданных корректировочных вертикальных линий;

- (500) разбиение кадра на зоны на основе заданных ранее корректировочных вертикальных линий для определения ближайших к человеку корректировочных вертикальных линий;

- (600) построение, по меньшей мере, одного вектора ног по паре ключевых точек нижних конечностей и определение их принадлежности к одной из полученных зон;

- (700) построение вектора спины на основании вертикальных линий, сформировавших полученную зону, и на основании горизонтальных линий;

- (800) определение угла отклонения нижних конечностей между полученными вектором спины и вектором ног;

- (900) определение позы человека на основании сравнения полученного угла отклонения нижних конечностей с предварительно заданным пороговым значением;

- (1000) выявление потенциально опасной ситуации, если поза человека является одной из поз, свидетельствующих о потенциально опасной ситуации.

Следует отметить, что данный способ предпочтительно реализуется средствами описанной ранее системы для выявления потенциально опасных ситуаций и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации системы выявления потенциально опасных ситуаций.

Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.

В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средство, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) вычислительным устройством, например, таким как компьютер. При этом носитель данных может являться энергозависимым или энергонезависимым машиночитаемым носителем данных.

При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.

Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.

Изобретение относится к области обработки и анализа видеоданных, получаемых от камер видеонаблюдения. Технический результат заключается в повышении точности выявления потенциально опасных ситуаций. Система выявления потенциально опасных ситуаций включает видеокамеру, память, графический пользовательский интерфейс (ГПИ) и устройство обработки данных. Устройство обработки данных, сконфигурированное для получения видеоданных в режиме реального времени, анализа полученных видеоданных, получения горизонтальных линий для каждой из заданных корректировочных вертикальных линий, разбиения кадра на зоны, построения вектора ног по паре ключевых точек нижних конечностей и определения их принадлежности к одной из полученных зон, построения вектора спины, определения угла отклонения нижних конечностей между полученными вектором спины и вектором ног, определения позы человека, выявления потенциально опасной ситуации, если поза человека является одной из поз, свидетельствующих о потенциально опасной ситуации. 3 н. и 30 з.п. ф-лы, 2 ил.

1. Система выявления потенциально опасных ситуаций, содержащая:

по меньшей мере, одну видеокамеру;

память, выполненную с возможностью хранения видеоданных;

графический пользовательский интерфейс (ГПИ);

по меньшей мере, одно устройство обработки данных, сконфигурированное для:

- получения видеоданных в режиме реального времени от, по меньшей мере, одной видеокамеры;

- анализа полученных видеоданных для обнаружения, по меньшей мере, одного человека в кадре и получения ключевых точек его скелета,

при этом после получения ключевых точек пользователь посредством использования средств ГПИ задает по меньшей мере три корректировочные вертикальные линии на кадре, имеющие высоту, равную среднему росту человека, а также параллельные предполагаемому вектору спины, образованному полученными ключевыми точками, причем упомянутые вертикальные линии располагаются на одной и той же подстилающей плоскости, что и упомянутый человек;

- получения горизонтальных линий для каждой из заданных корректировочных вертикальных линий;

- разбиения кадра на зоны на основе заданных ранее корректировочных вертикальных линий для определения ближайших к человеку корректировочных вертикальных линий;

- построения, по меньшей мере, одного вектора ног по паре ключевых точек нижних конечностей и определения их принадлежности к одной из полученных зон;

- построения вектора спины на основании вертикальных линий, сформировавших полученную зону, и на основании полученных горизонтальных линий;

- определения угла отклонения нижних конечностей между полученными вектором спины и вектором ног;

- определения позы человека на основании сравнения полученного угла отклонения нижних конечностей с предварительно заданным пороговым значением;

- выявления потенциально опасной ситуации, если поза человека является одной из поз, свидетельствующих о потенциально опасной ситуации.

2. Система по п. 1, в которой при получении горизонтальных линий для каждой из заданных корректировочных вертикальных линий выполняются следующие этапы:

(а) выбор первой вертикальной линии путем прохода по всем заданным корректировочным вертикальным линиям;

(б) выбор второй вертикальной линии путем прохода по всем оставшимся после выбора первой заданным корректировочным вертикальным линиям;

(в) получение уравнения прямой, проходящей по верхним точкам выбранных вертикальных линий;

(г) получение уравнения прямой, проходящей по нижним точкам выбранных вертикальных линий;

(д) вычисление точки пересечения упомянутых прямых путем решения СЛАУ;

(е) повторение этапов (б)-(д) для получения множества точек;

(ж) получение оптимальных точек из полученного множества точек посредством применения алгоритма оценки параметров на основе случайных выборок (RANSAC);

(з) получение горизонтальной линии для первой корректировочной вертикальной линии по полученным оптимальным точкам;

(и) повторение этапов (а)-(з) для получения горизонтальных линий для каждой из заданных корректировочных вертикальных линий.

3. Система по п. 1, в которой разбиение кадра на зоны осуществляется посредством использования метода триангуляции Делоне, на основе расположения корректировочных вертикальных линий на кадре.

4. Система по любому из пп. 1-3, в которой при построении вектора ног в качестве одной ключевой точки берется середина бедра, подразумевающая точку, находящуюся между ключевыми точками бедра, а в качестве второй ключевой точки берется либо точка щиколотки, либо точка колена, причем перечисленные точки также подразумевают середину между одноименными ключевыми точками.

5. Система по п. 4, в которой позой человека, свидетельствующей о потенциально опасной ситуации, является одна из поз, характеризующих: сидящего человека в кадре, лежащего человека в кадре, человека с вытянутой вперед по меньшей мере одной рукой, человека с поднятой вверх по меньшей мере одной рукой.

6. Система по п. 5, в которой поза сидящего человека в кадре характеризует сидящего человека либо на стуле, либо на полу, либо на корточках.

7. Система по п. 5, в которой если упомянутый угол отклонения нижних конечностей превышает предварительно заданное пороговое значение, то считается, что человек в кадре находится в позе либо сидящего, либо лежащего человека.

8. Система по п. 5, в которой если упомянутый угол отклонения нижних конечностей меньше предварительно заданного порогового значения, при этом если отношение длины отрезка, соединяющего точку середины нижних конечностей с проекцией точки шеи на вектор спины, к росту человека, превышает предварительно заданное второе пороговое значение, то считается, что человек в кадре находится в позе лежачего человека по направлению к камере.

9. Система по любому из пп. 5-7, в которой дополнительно строится новый вектор спины именно по ключевой точке шеи и ключевой точке бедер, при этом если значение угла отклонения этого нового вектора спины от упомянутого ранее вектора спины превышает предварительно заданное третье пороговое значение, то человек находится в позе лежачего человека в кадре.

10. Система по любому из пп. 5-7, в которой дополнительно строится, по меньшей мере, один вектор рук по паре ключевых точек верхних конечностей, при этом если вектор рук перпендикулярен вектору спины, то считается, что человек находится в положении с вытянутой вперед по меньшей мере одной рукой.

11. Система по любому из пп. 5-7, в которой дополнительно строится, по меньшей мере, один вектор рук по паре ключевых точек верхних конечностей, при этом если вектор рук параллелен вектору спины и ключевая точка кисти выше ключевой точки плеча, то считается, что человек находится в положении с поднятой вверх, по меньшей мере, одной рукой.

12. Система по п. 5, в которой выявление потенциально опасной ситуации выполняется, если поза человека, свидетельствующая о потенциально опасной ситуации, сохраняется в видеоданных в течение предварительно заданного промежутка времени.

13. Система по п. 12, в которой упомянутое время регулируется пользователем при настройке работы системы.

14. Система по п. 1, в которой графический пользовательский интерфейс сконфигурирован для предоставления пользователю возможности настраивать перспективу кадра перед началом работы системы.

15. Система по п. 5, в которой при выявлении потенциально опасной ситуации устройство обработки данных автоматически осуществляет одно или несколько предварительно заданных пользователем действий.

16. Система по п. 15, в которой действиями являются: запись видеоданных в архив, экспорт кадра или видео, инициирование тревоги, sms оповещение пользователя, оповещение пользователя по электронной почте, аудио оповещение пользователя.

17. Способ выявления потенциально опасных ситуаций, реализуемый, по меньшей мере, одним устройством обработки данных, причем способ содержит этапы, на которых осуществляется:

- получение видеоданных в режиме реального времени от, по меньшей мере, одной видеокамеры;

- анализ полученных видеоданных для обнаружения, по меньшей мере, одного человека в кадре и получения ключевых точек его скелета,

при этом после получения ключевых точек пользователь посредством использования средств ГПИ задает по меньшей мере три корректировочные вертикальные линии на кадре, имеющие высоту, равную среднему росту человека, а также параллельные предполагаемому вектору спины, образованному полученными ключевыми точками, причем упомянутые вертикальные линии располагаются на одной и той же подстилающей плоскости, что и упомянутый человек;

- получение горизонтальных линий для каждой из заданных корректировочных вертикальных линий;

- разбиение кадра на зоны на основе заданных ранее корректировочных вертикальных линий для определения ближайших к человеку корректировочных вертикальных линий;

- построение, по меньшей мере, одного вектора ног по паре ключевых точек нижних конечностей и определение их принадлежности к одной из полученных зон;

- построение вектора спины на основании вертикальных линий, сформировавших полученную зону, и на основании горизонтальных линий;

- определение угла отклонения нижних конечностей между полученными вектором спины и вектором ног;

- определение позы человека на основании сравнения полученного угла отклонения нижних конечностей с предварительно заданным пороговым значением;

- выявление потенциально опасной ситуации, если поза человека является одной из поз, свидетельствующих о потенциально опасной ситуации.

18. Способ по п. 17, в котором при получении горизонтальных линий для каждой из заданных корректировочных вертикальных линий выполняются следующие этапы:

(а) выбор первой вертикальной линии путем прохода по всем заданным корректировочным вертикальным линиям;

(б) выбор второй вертикальной линии путем прохода по всем оставшимся после выбора первой заданным корректировочным вертикальным линиям;

(в) получение уравнения прямой, проходящей по верхним точкам выбранных вертикальных линий;

(г) получение уравнения прямой, проходящей по нижним точкам выбранных вертикальных линий;

(д) вычисление точки пересечения упомянутых прямых путем решения СЛАУ;

(е) повторение этапов (б)-(д) для получения множества точек;

(ж) получение оптимальных точек из полученного множества точек посредством применения алгоритма оценки параметров на основе случайных выборок (RANSAC);

(з) получение горизонтальной линии для первой корректировочной вертикальной линии по полученным оптимальным точкам;

(и) повторение этапов (а)-(з) для получения горизонтальных линий для каждой из заданных корректировочных вертикальных линий.

19. Способ по п. 17, в котором разбиение кадра на зоны осуществляется посредством использования метода триангуляции Делоне, на основе расположения корректировочных вертикальных линий на кадре.

20. Способ по любому из пп. 17-19, в котором при построении вектора ног в качестве одной ключевой точки берется середина бедра, подразумевающая точку, находящуюся между ключевыми точками бедра, а в качестве второй ключевой точки берется либо точка щиколотки, либо точка колена, причем перечисленные точки также подразумевают середину между одноименными ключевыми точками.

21. Способ по п. 20, в котором позой человека, свидетельствующей о потенциально опасной ситуации, является одна из поз, характеризующих: сидящего человека в кадре, лежащего человека в кадре, человека с вытянутой вперед по меньшей мере одной рукой, человека с поднятой вверх по меньшей мере одной рукой.

22. Способ по п. 21, в котором поза сидящего человека в кадре характеризует сидящего человека либо на стуле, либо на полу, либо на корточках.

23. Способ по п. 21, в котором если упомянутый угол отклонения нижних конечностей превышает предварительно заданное пороговое значение, то считается, что человек в кадре находится в позе либо сидящего, либо лежащего человека.

24. Способ по п. 21, в котором если упомянутый угол отклонения нижних конечностей меньше предварительно заданного порогового значения, при этом если отношение длины отрезка, соединяющего точку середины нижних конечностей с проекцией точки шеи на вектор спины, к росту человека превышает предварительно заданное второе пороговое значение, то считается, что человек в кадре находится в позе лежачего человека по направлению к камере.

25. Способ по любому из пп. 21-23, в котором дополнительно выполняется построение нового вектора спины именно по ключевой точке шеи и ключевой точке бедер, при этом если значение угла отклонения этого нового вектора спины от упомянутого ранее вектора спины превышает предварительно заданное третье пороговое значение, то человек находится в позе лежачего человека в кадре.

26. Способ по любому из пп. 21-23, в котором дополнительно выполняется построение, по меньшей мере, одного вектора рук по паре ключевых точек верхних конечностей, при этом если вектор рук перпендикулярен вектору спины, то считается, что человек находится в положении с вытянутой вперед по меньшей мере одной рукой.

27. Способ по любому из пп. 21-23, в котором дополнительно выполняется построение, по меньшей мере, одного вектора рук по паре ключевых точек верхних конечностей, при этом если вектор рук параллелен вектору спины и ключевая точка кисти выше ключевой точки плеча, то считается, что человек находится в положении с поднятой вверх, по меньшей мере, одной рукой.

28. Способ по п. 21, в котором выявление потенциально опасной ситуации выполняется, если поза человека, свидетельствующая о потенциально опасной ситуации, сохраняется в видеоданных в течение предварительно заданного промежутка времени.

29. Способ по п. 28, в котором упомянутое время регулируется пользователем при настройке.

30. Способ по п. 17, в котором у пользователя есть возможность, посредством использования средств ГПИ, предварительно настраивать перспективу кадра.

31. Способ по п. 21, в котором при выявлении потенциально опасной ситуации устройство обработки данных автоматически осуществляет одно или несколько предварительно заданных пользователем действий.

32. Способ по п. 31, в котором действиями являются: запись видеоданных в архив, экспорт кадра или видео, инициирование тревоги, sms оповещение пользователя, оповещение пользователя по электронной почте, аудио оповещение пользователя.

33. Считываемый компьютером носитель данных, содержащий исполняемые, по меньшей мере, одним процессором компьютера инструкции для осуществления способов выявления потенциально опасных ситуаций по любому из пп. 17-32.