Способ комплексного интеллектуального выявления запрещенных объектов и несанкционированных действий в потоке видеоданных Российский патент 2024 года по МПК G06V10/40 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к вычислительной технике, в частности, к распознаванию объектов и несанкционированных действий на основе данных потокового видео, и может быть использовано для мониторинга поведения сотрудников в организациях.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно решение, раскрытое в патенте [1], в котором описаны различные способы изучения поведения на основе полученного потока видеокадров. В данном патенте не раскрыты особенности применения искусственных нейронных сетей, также приведенные в патенте способы не в полной мере отображают замысел предлагаемого подхода.

В патенте [2] предложен способ анализа видеопотока, состоящий в том, что идентификация объекта осуществляется с помощью анализа пространственно-связного множества пикселей. Данное изобретение не позволяет определять несанкционированные действия и идентифицировать предметы по заданным образам.

Прототипом является [3], которая содержит многослойную нейросеть с входным, промежуточным и выходным слоями нейронов для обработки информации, информационные входы входного слоя которой соединены с выходами чувствительных элементов датчиков блока n датчиков охранной сигнализации, выходы входного слоя искусственной нейронной сети связаны через промежуточный слой искусственной нейронной сети с выходным слоем искусственной нейронной сети, выходы которого подключены к информационным входам технических средств отображения визуальной и звуковой информации «Нарушитель», «Ложная тревога» и «Неисправность» для предъявления оператору.

Недостаток прототипа состоит в том, что применение одной многослойной нейронной сети позволяет решить ограниченный спектр задач. Другим недостатком является акцент на обнаружении внешних нарушителей, в то время как предлагаемое решение нацелено на анализ нарушителей внутри охраняемой территории, а именно - в составе дежурной смены.

Предлагаемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники, и на развитие уже известных решений. Для анализа действий и поведения человека в ходе несения дежурства необходим набор искусственных нейронных сетей, построенных на базе отличных друг от друга архитектур. Это позволит обеспечить полноту анализа обстановки, а также предотвратить или вовремя отреагировать на возникающие нарушения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Техническим результатом заявленного изобретения является повышение точности распознавания объектов и несанкционированных действий за счет использования нескольких искусственных нейронных сетей.

Дополнительным техническим результатом является увеличение производительности вычислительной системы при решении поставленной задачи (т.е. позволяет производить обработку потоковой информации за меньшее количество времени, приближенном к реальному), оптимизируя распределение ресурсов центрального процессора за счет распараллеливания процессов.

Заявленное изобретение направлено на упрощение, ускорение и повышение точности процесса распознавания, а соответственно на обеспечение своевременного контроля за дежурной сменой. В основе решения лежит конвейер обработки данных с помощью искусственных нейронных сетей.

Заявленный технический результат достигается за счет применения способа комплексного интеллектуального выявления запрещенных объектов и несанкционированных действий в потоке видеоданных, содержащего:

не менее одной видеокамеры, поддерживающей протокол RTSP, с возможностью записи видеопотока и передачи не менее одного кадра из видеопотока на вычислительное устройство;

хранилище данных, представляющее собой нереляционную документно-ориентированную базу данных, в которой хранятся ключевые кадры из видеопотока;

хранилище признаков, также представляющее собой нереляционную базу данных, в которой хранятся карты признаков, извлеченных из поступающих кадров видеопотока;

репозиторий моделей, представляющий собой директорию на сервере, хранящую архитектуру и веса моделей;

хранилище предсказаний, представляющее собой нереляционную базу данных, в которой хранятся векторы значения вероятностей;

модуль потоковой обработки, предназначенный для помещения ключевых кадров видеопотока в хранилище данных и извлечения карт признаков объектов с последующим перемещением в хранилище признаков;

набор моделей, представляющих собой видеоаналитические детекторы, в основе которых лежат модели искусственных нейронных сетей;

клиент, получающий уведомления о распознанных объектах и несанкционированных действиях.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 иллюстрирует архитектурную схему варианта реализации способа комплексного интеллектуального выявления запрещенных объектов и несанкционированных действий в потоке видеоданных.

Фиг. 2 иллюстрирует блок-схему варианта реализации способа комплексного интеллектуального выявления запрещенных объектов и несанкционированных действий в потоке видеоданных.

ОПИСАНИЕ ИЗОБРЕТЕНИЯ

С по меньшей мере одной камеры видеонаблюдения по протоколу RTSP поступает видеопоток, составляя очередь данных реального времени. Рекомендуемое качество видеоизображения не ниже 720р (размер кадра 1280×720 пикселей). Частота кадров может составлять 20 кадров в секунду и выше, в зависимости от вычислительных возможностей аппаратного обеспечения для обработки данных.

Как показано на фиг. 1, поступившие кадры передаются в потоковый обработчик (2), который отправляет ключевые кадры видеопотока в хранилище данных (3) и осуществляет извлечение карт признаков объектов. Стоит уточнить, что для извлечения карт признаков применяется искусственная нейронная сеть, которая автоматически выделяет векторы признаков для распознаваемых искусственными нейронными сетями (блок (5)) объектов и действий. Извлеченные карты признаков помещаются в хранилище признаков (4). Данное хранилище представляет собой нереляционную базу данных документно-ориентированного типа, однако стоит учесть, что хранилище может быть представлено иными способами (например, набором файлов.csv или.json). Извлеченные признаки подают на вход группы искусственных нейронных сетей (5). Каждая искусственная нейронная сеть отвечает за обнаружение своего типа действия или предмета. В данной работе применяется три искусственных нейронных сети:

первая отвечает за обнаружение огнестрельного и холодного оружия;

вторая - за обнаружение человека в помещении и по алгоритму разности кадров позволяет выдать предположение о наличии или отсутствии человека в кадре, а также о состоянии пониженной концентрации внимания;

третья - за обнаружение агрессивного поведения людей в кадре, а также человека, наносящего удары по стене, столу и прочему.

Архитектура каждой искусственной нейронной сети подстроена таким образом, чтобы на вход получать одни и те же вектора признаков. Это позволяет существенно ускорить процесс обработки данных. Архитектура и веса моделей хранятся в репозиторий моделей (6). Стоит уточнить, что модели искусственных нейронных сетей, применяемые для решения поставленной задачи, не должны обладать свойствами автоматического самообучения и дообучения в связи с применением в критических системах.

Набор распознаваемых действий и предметов сформирован, исходя из анализа происшествий и нарушений во время несения дежурства внутри охраняемой территории. Набор действий и предметов может быть иным, в зависимости от поставленной задачи.

После получения предсказаний о наличии о распознаваемых объектов или несанкционированных действий от группы моделей искусственных нейронных сетей осуществляется отправка уведомления клиенту (7), а также положительное предсказание перемещается в хранилище предсказаний (8).

Далее будет описан пример конкретной реализации способа комплексного интеллектуального выявления фактов нарушений в потоке видеоданных. На фиг. 2 представлена блок-схема варианта реализации способа комплексного интеллектуального выявления запрещенных объектов и несанкционированных действий в потоке видеоданных.

Указанный способ выполняется компьютерной системой, содержащей по меньшей мере одно устройство обработки данных, память, хранящую перечисленные базы данных, а также графический ускоритель, поддерживающий технологию GPGPU.

Заявляемый способ в базовом варианте содержит этапы, на которых:

В блоке (10) получают видеоданные от по меньшей мере одного устройства захвата видеоизображения в режиме реального времени, причем устройство захвата видеоизображения получает изображения из помещения лица, несущего дежурство. В блоке (20) выполняют формирование очереди данных реального времени в виде кадров видеоизображения, затем в блоке (30) выполняют извлечение ключевых кадров из полученной очереди и сохраняют в хранилище. В блоке (40) выполняют извлечение карт признаков объектов, находящихся в кадре, с использованием искусственной нейронной сети, и помещают в хранилище. В блоке (50) подготовленные карты признаков отправляют на вход группе искусственных нейронных сетей, данный блок необходим с целью правильного распределения карт признаков по ядрам графического ускорителя, что позволяет ускорить процесс анализа на следующем шаге. В блоке (60) идентифицируют каждое нарушение общей группой искусственных нейронных сетей, для каждой из которых результатом является вектор значений. В блоке (70) в случае преодоления порога уверенности в наличии объекта/действия (80%) выводят полученные результаты идентификации и сохраняют полученный результат.

Для оценки возможности применения заявленного способа в реальных условиях рассчитаны ошибки первого и второго рода. Наиболее значительными являются требования к ошибке первого рода - система распознавания должна находить видеокадры, на которых присутствует распознаваемое действие или предмет, по возможности, не пропустив ни одного такого видеокадра. При этом допустимо, если в результирующей выборке будет присутствовать небольшое количество кадров, на которых присутствуют люди в помещении.

Проведенные тестирования показали, что пустые кадры идентифицируются описанным способом в 100% случаев (в системе отсутствуют ошибки первого рода), вследствие чего частота ложных срабатываний и коэффициент ложного обнаружения стремятся к 0.

Отсутствие ошибок первого рода является необходимым и достаточным критерием возможности применения описанного способа в реальных условиях - отсутствие распознаваемого действия или предмета в видеокадре фиксируется в 100% случаях, а видеокадры, на которых отсутствуют распознаваемые действия или предметы, но группа искусственных нейронных сетей их обнаружила, будут просмотрены оператором и помечены соответствующим образом.

Данное изобретение не ограничивается раскрытым вариантом осуществления и предназначено для модификации из описанного варианта осуществления.

Список источников

1. RU 2 475 853 С2 [патент «Система распознавания поведения», МПК G06T 7/20, G06F 15/18, G08B 23/00, дата публикации 14.08.2008 г.]

2. RU 2 676 029 С1 [патент «Способ идентификации объекта в видеопотоке», МПК G06K 9/00, дата публикации 25.12.2018 г.]

3. RU 2665264 С2 [патент «Интеллектуальная система обнаружения нарушителя», МПК G08B 13/00, дата публикации 22.12.2016 г.]

Изобретение относится к способу выявления запрещенных объектов и несанкционированных действий в потоке видеоданных. Технический результат заключается в повышении точности и скорости распознавания объектов и несанкционированных действий на основе данных потокового видео за счет использования нескольких искусственных нейронных сетей. Способ выполняется компьютерной системой, содержащей по меньшей мере одно устройство обработки данных, память, хранящую базы данных, а также графический ускоритель, и содержит этапы, на которых: получают видеоданные от по меньшей мере одной видеокамеры в режиме реального времени, формируют очередь данных реального времени в виде кадров видеоизображения, извлекают ключевые кадры из полученной очереди и сохраняют в хранилище данных, для полученных ключевых кадров выполняют извлечение карт признаков объектов, находящихся в кадре, с использованием искусственной нейронной сети и сохраняют в хранилище признаков, подготовленные карты признаков отправляют на вход группе искусственных нейронных сетей, имеющих различные архитектуры, где каждая искусственная нейронная сеть выполняет обнаружение своего типа действия или объекта, выполняют распределение карт признаков по ядрам графического ускорителя для параллельного выявления запрещенных объектов и несанкционированных действий, при этом каждая искусственная нейронная сеть сконфигурирована таким образом, чтобы получать на вход один и тот же набор признаков, идентифицируют выявленное нарушение в том случае, если вектор значения вероятности наличия нарушения, полученный общей группой искусственных нейронных сетей, превышает пороговое значение, отправляют клиентскому устройству уведомление о распознанных запрещенных объектах и несанкционированных действиях. 2 ил.

Способ выявления запрещенных объектов и несанкционированных действий в потоке видеоданных, выполняемый компьютерной системой, содержащей по меньшей мере одно устройство обработки данных, память, хранящую базы данных, а также графический ускоритель, содержащий этапы, на которых:

получают видеоданные от по меньшей мере одной видеокамеры в режиме реального времени,

формируют очередь данных реального времени в виде кадров видеоизображения,

извлекают ключевые кадры из полученной очереди и сохраняют в хранилище данных,

для полученных ключевых кадров выполняют извлечение карт признаков объектов, находящихся в кадре, с использованием искусственной нейронной сети и сохраняют в хранилище признаков,

подготовленные карты признаков отправляют на вход группе искусственных нейронных сетей, имеющих различные архитектуры, где каждая искусственная нейронная сеть выполняет обнаружение своего типа действия или объекта,

выполняют распределение карт признаков по ядрам графического ускорителя для параллельного выявления запрещенных объектов и несанкционированных действий, при этом каждая искусственная нейронная сеть сконфигурирована таким образом, чтобы получать на вход один и тот же набор признаков,

идентифицируют выявленное нарушение в том случае, если вектор значения вероятности наличия нарушения, полученный общей группой искусственных нейронных сетей, превышает пороговое значение,

отправляют клиентскому устройству уведомление о распознанных запрещенных объектах и несанкционированных действиях.