АНАЛИТИЧЕСКАЯ СИСТЕМА РАСПОЗНАВАНИЯ Российский патент 2021 года по МПК G06K9/36 G06K9/62 G06F16/71 G06F16/783 

Настоящая заявка выделена из заявки № 2015147449 на выдачу патента РФ на изобретение, поданной 18.04.2014, с испрашиванием приоритета по дате подачи первой заявки 61/813,942, поданной в патентное ведомство США 19.04.2013.

Область техники, к которой относится изобретение

Раскрытое далее изобретение относится к системам видеонаблюдения, мониторинга и контроля и к способам использования таких систем. Конкретная реализация может работать совместно с системами наблюдения, уличными камерами, персональными видеосистемами, системами камер магазина, системами камер парковочной площадки и т.д., и выполнена с возможностью анализа одного или нескольких видеопотоков в реальном времени и/или в отложенном режиме.

Уровень техники

Коммерческие компании, стремясь повысить свои обороты и эффективность, непрерывно работают над поиском способов обнаружения конкретного поведения пользователей. Например, изучая поведение пользователя в сфере розничной торговли, компании могут увеличить продажи и снизить потери товара. Если говорить о потерях, то их наиболее значительной составляющей в розничной торговле являются кражи материальных ценностей, совершаемые работниками. Поэтому компании стремятся изучать поведение пользователя с целью снижения и, в итоге, устранения потерь материальных ценностей.

Для предотвращения потерь материальных ценностей вследствие действий работников компании используют различные способы. В розничных магазинах к предметам, которые могут быть похищены, крепят электронные устройства, вызывающие срабатывание сигнализации, но покупатели и/ или работники могут деактивировать эти устройства до выноса предмета из магазина. Некоторые предприятия розничной торговли практикуют проверку сумок и/ или тележек как у покупателей, так и у работников; на других внедрен видеоконтроль операций в пунктах продаж с целью обнаружения операций, проводимых с возможным нарушением установленных правил. В большинстве способов внимание сосредоточено на обнаружении индивидуальных проявлений, а не на изучении базовых актов поведения пользователя, имеющего место в таких ситуациях. По этой причине компании не могут направить свои усилия на устранение условий, из-за которых у людей появляется возможность совершения хищений.

Широко используются системы видеонаблюдения, системы уличных камер, системы камер магазина, системы камер парковочной площадки и т.п. В некоторых случаях камера непрерывно передает видеопоток, при этом используется буфер на период, например, 8, 12, 24, 48 часов, который, если записанные видеоматериалы не потребовались, затем заполняется новыми видеоматериалами. В других системах может использоваться более длительный период времени, а буфер может представлять собой недели или месяцы данных, сохраняемых для использования в определенных целях. Как должно быть понятно, если случается какое-то происшествие, то в наличии имеется видеоматериал, который может быть отсмотрен и проанализирован. В некоторых случаях видеопоток содержит отснятые данные и используется для анализа различных заранее заданных ситуаций, который, в зависимости от конкретной задачи, может выполняться автоматически либо с использованием ввода информации пользователем или программирования. Например, видеосистема может быть настроена на слежение за перемещением объектов от входа в магазин и через магазин с целью контроля за материальными ценностями и/или видеонаблюдения за покупателями.

В других случаях полиции, Федеральному бюро расследований (ФБР) или спасателям может требоваться просмотр материалов, отснятых различными системами камер в определенной зоне или месте для целей расследования, к примеру, для слежения за подозреваемыми, для исследования обстоятельств дорожно-транспортных происшествий или для получения других видеодоказательств, требуемых в их деятельности. Часто видеоматериалы из различных систем камер, находящихся в нужной зоне, оказываются критически важными для составления визуального представления о расследуемом происшествии. В других случаях особенности или поведение отдельных людей могут вызывать подозрение и побуждать к наблюдению или слежению за такими людьми с целью анализа поведения и формирования оповещений в реальном времени и/ или с целью отложенного следственного анализа.

Существует потребность в дальнейшем развитии способов такого анализа и в разработке способа анализа видеопотоков в реальном времени и в отложенном режиме.

Раскрытие изобретения

В соответствии с аспектом настоящего изобретения предлагается аналитическая система распознавания. Аналитическая система распознавания содержит по меньшей мере одну видеокамеру, выполненную с возможностью съемки видеоматериала; и модуль анализа видеоданных, выполненный с возможностью: обработки видеоматериала и анализа отснятого видеоматериала в реальном времени, формирования данных, не включающих видеоматериал, реализации одного или более алгоритмов для идентификации нештатной ситуации, причем каждая нештатная ситуация служит для модуля анализа видеоданных сигналом необходимости автоматической передачи оповещения и необходимости слежения за одним или более объектами или людьми путем использования по меньшей мере одной камеры, а нештатная ситуация выбрана из группы, состоящей из действия конкретного человека, невыполнения действия конкретным человеком, и события, относящегося к конкретному времени, формирования библиотеки людей, бывающих в определенном местоположении с заранее заданной степенью регулярности, и исключения из отслеживания людей, сохраненных в указанной библиотеке людей, для которых определено, что они бывают в указанном местоположении с заранее заданной степенью регулярности.

В любом из предыдущих аспектов модуль анализа видеоданных идентифицирует и сохраняет в базе данных одну или более характеристик конкретного человека для последующего распознавания модулем анализа видеоданных и одним или более алгоритмами для идентификации нештатной ситуации. Указанные одна или более характеристик конкретного человека могут выбираться из группы, состоящей из прически, татуировок, пирсинга, одежды, логотипов, контрастирующих цветов, атрибутики организованных группировок, ювелирных изделий.

В любом из предыдущих аспектов модуль анализа видеоданных сохраняет отснятый видеоматериал в базе данных, доступной пользователю, а пользователь идентифицирует одну или более характеристик конкретного человека для последующего распознавания модулем анализа видеоданных и одним или более алгоритмами для идентификации нештатной ситуации.

В любом из предыдущих аспектов модуль анализа видеоданных идентифицирует и сохраняет в базе данных одну или более характеристик конкретного человека для последующего распознавания модулем анализа видеоданных и одним или более алгоритмами для идентификации нештатной ситуации и для передачи оповещения, при этом модуль анализа видеоданных соединен с группой камер, организованных в сеть, с целью анализа отснятого видеоматериала.

В любом из предыдущих аспектов указанные одна или более характеристик конкретного человека могут выбираться из группы, состоящей из прически, татуировок, пирсинга, одежды, логотипов, контрастирующих цветов, атрибутики организованных группировок, ювелирных изделий.

В любом из предыдущих аспектов одна или более характеристик конкретного человека включает походку человека. Походка каждого человека может быть определена на основании комбинации одного или более параметров походки, в число которых входит прихрамывание, шарканье, угол наклона головы, длина шага, взмах кисти руки или руки в целом, жестикуляция руками, скорость ходьбы, частота шага, угол между ступнями и положение кисти руки или руки в целом.

В соответствии с еще одним аспектом настоящего изобретения предлагается аналитическая система распознавания, содержащая одну или более видеокамер, выполненных с возможностью съемки видеопоследовательности физического пространства, и модуль анализа видеоданных, выполненный с возможностью обработки и анализа видеоматериала в реальном времени с целью определения параметра скопления людей путем автоматической обработки видеопоследовательности физического пространства. Модуль анализа видеоматериала содержит один или более алгоритмов, сконфигурированных для определения скорости изменения параметра скопления людей.

В любом из предыдущих аспектов параметром скопления людей может быть количество людей в скоплении в реальном времени или оценка плотности скопления людей в реальном времени.

В любом из предыдущих аспектов, если скорость изменения параметра скопления людей превышает заранее заданное пороговое значение, то модуль анализа видеоданных автоматически передает оповещение.

В любом из предыдущих аспектов скорость изменения параметра скопления людей указывает на собирающееся скопление людей. Если скорость изменения параметра скопления людей указывает на собирающееся скопление людей, то модуль анализа видеоданных может оповещать охрану о возможном флэшмобе или групповом ограблении.

В любом из предыдущих аспектов скорость изменения параметра скопления людей указывает на расходящееся скопление людей. Если скорость изменения параметра скопления людей указывает на расходящееся скопление людей, то модуль анализа видеоданных может оповещать охрану о возможности опасной ситуации или криминальных действий.

В любом из предыдущих аспектов модуль анализа видеоданных соединен с группой камер, организованных в сеть, а в случае передачи оповещения каждая камера в сети используется для слежения за одним или более объектами или людьми. Владелец одной из камер, входящей в группу камер, образующих сеть, может подписаться на прием конкретных оповещений или на членство в сети камер.

Краткое описание чертежей

Фиг. 1 представляет системную функциональную схему варианта осуществления системы видеонаблюдения, мониторинга и контроля в соответствии с настоящим изобретением.

Фиг. 2 представляет коммутатор видеопотоков/изображений в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 3 представляет иллюстрацию плана изображений и связанной с ним временной шкалы, формируемых коммутатором, показанным на фиг. 2.

Фиг. 4 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для идентификации объекта и слежения за объектом в соответствии с еще одним вариантом осуществления настоящего изобретения.

Фиг. 5 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для контроля за сбором скопления людей в соответствии с еще одним вариантом осуществления настоящего изобретения.

Фиг. 6 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для распознавания характерных признаков объекта в соответствии с еще одним вариантом осуществления настоящего изобретения.

Фиг. 7 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для общественной сети видеонаблюдения в соответствии с еще одним вариантом осуществления настоящего изобретения.

Осуществление изобретения

Термины

В настоящем раскрытии (включая вышеприведенный текст) используются следующие термины.

Термином «видеокамера» может обозначаться устройство записи визуальной информации. В число примеров видеокамеры может входить одно или более следующих устройств: система с регистратором видеоизображения и объективом; видеокамера; цифровая видеокамера; цветная камера; монохромная камера; фотоаппарат; видеокамера, совмещенная с устройством записи; компьютерная камера; веб-камера; инфракрасная (ИК) видеокамера; видеокамера для работы при малой освещенности; тепловая видеокамера; камера системы видеонаблюдения; камера с управлением ориентацией и панорамированием; устройство для восприятия видеоинформации. Видеокамера может быть расположена определенным образом с целью наблюдения за зоной, представляющей интерес.

Термином «видеоматериал» может обозначаться видеоизображение, полученное из видеокамеры и представленное в аналоговой и/или в цифровой форме. В число примеров видеоматериала могут входить: телевизионное изображение; фильм; последовательность изображений из видеокамеры или другого устройства наблюдения; последовательность изображений из передачи, ведущейся в реальном времени; последовательность изображений, сформированная компьютером; последовательность изображений из компьютерной графической системы; последовательность изображений из запоминающего устройства, например, из машиночитаемого носителя информации, цифрового видеодиска (digital video disk, DVD) или диска высокого разрешения (high-definition disk, HDD); последовательность изображений из интерфейса на основе IEEE 1394; последовательность изображений из устройства преобразования видеоизображения в цифровую форму; или последовательность изображений из сети.

«Видеоданные» представляют собой визуальную часть видеоматериала.

«Невизуальные данные» представляют собой невизуальную информацию, полученную из видеоданных.

Термином «видеопоследовательность» может обозначаться выбранная часть видеоданных и/или невизуальных данных.

Термином «обработка видеоматериала» может обозначаться любая операция с видеоданными и/или анализ видеоданных, в том числе, например, сжатие, монтаж и выполнение алгоритма, формирующего невизуальные данные из видеоматериала.

Термином «кадр» может обозначаться конкретное изображение или иной дискретный элемент видеоматериала.

Термином «компьютер» может обозначаться одно или более устройств и/или одна или более систем, выполненных с возможностью приема структурированных входных данных, обработки указанных данных в соответствии с предписанными правилами и формирования результатов указанной обработки в виде выходных данных. В число примеров компьютера могут входить: компьютер; стационарный и/или портативный компьютер; компьютер с одним процессором, несколькими процессорами или с многоядерными процессорами, которые могут работать параллельно и/или не параллельно; компьютер общего назначения; суперкомпьютер; электронная вычислительная машина коллективного пользования; сверхминиатюрный компьютер; мини-компьютер; рабочая станция; микрокомпьютер; сервер; клиент; устройство интерактивного телевидения; бытовой прибор с подключением к интернету; телекоммуникационное устройство с доступом в интернет; гибридная комбинация компьютера и устройства интерактивного телевидения; портативный компьютер; планшетный персональный компьютер (ПК); карманный персональный компьютер (КПК); портативный телефон; специализированное аппаратное средство для эмуляции компьютера и/или программы, например, цифровой сигнальный процессор (digital signal processor, DSP), перепрограммируемая матрица логических элементов (field-programmable gate array, FPGA), интегральная схема специального назначения (application specific integrated circuit, ASIC), процессор с набором команд специального назначения (application specific instruction-set processor, ASIP), микросхема, микросхемы или набор микросхем; однокристальная электронная система (system on a chip, SoC) или многопроцессорная однокристальная электронная система (multiprocessor system-on-chip, MPSoC); оптический компьютер; квантовый компьютер; биологический компьютер; и устройство, выполненное с возможностью приема данных, с возможностью обработки данных в соответствии с одной или несколькими сохраненными программами, реализованными программным способом, с возможностью формирования результатов, которое, как правило, может содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.

Термином «программное обеспечение» могут обозначаться предписанные правила функционирования компьютера. В число примеров программного обеспечения могут входить: программа; сегменты кода; команды; апплеты; предварительно откомпилированный код; компилированный код; интерпретированный код; компьютерные программы; и запрограммированная логика. В настоящем раскрытии термины «программное обеспечение» и «код» могут применяться в отношении программного обеспечения, микропрограммы или комбинации программного обеспечения и микропрограммы.

Термином «машиночитаемый носитель информации» может обозначаться любое запоминающее устройство, используемое для хранения данных и выполненное с возможностью использования компьютером. В число примеров машиночитаемого носителя информации могут входить: магнитный жесткий диск; гибкий диск; оптический диск, например, CD-ROM и DVD; магнитная лента; съемная флэш-память; микросхема памяти; и/ или другие типы носителей информации, выполненные с возможностью хранения в себе машиночитаемых команд. Термин «неэфемерный» машиночитаемый носитель информации охватывает все машиночитаемые носители информации за единственным исключением распространяющегося эфемерного сигнала.

Термином «компьютерная система» может обозначаться система, содержащая один или более компьютеров, в которой каждый компьютер может содержать машиночитаемый носитель информации, содержащий в своем составе программное обеспечение для управления работой компьютера. В число примеров компьютерной системы могут входить: распределенная компьютерная система для обработки информации посредством компьютерных систем, связанных сетью; две или более компьютерных системы, соединенные через сеть с целью передачи и/или приема информации между указанными компьютерными системами; и одно или более устройств и/или одна или более систем, которые выполнены с возможностью приема данных, с возможностью обработки данных в соответствии с одной или более сохраненными программами, с возможностью формирования результатов, и которые, как правило, могут содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.

Термином «сеть» могут обозначаться несколько компьютеров и относящихся к ним устройств, которые могут быть соединены между собой средствами связи. В сети могут использоваться постоянные соединения, например, кабели, или временные соединения, например, соединения, устанавливаемые через телефонные или другие линии связи. Сеть может дополнительно содержать проводные соединения (к примеру, коаксиальный кабель, витую пару, волоконно-оптический кабель, волноводы и т.д.) и/или беспроводные соединения (к примеру, радиочастотные сигналы, оптические сигналы в свободном пространстве, акустические сигналы и т.д.). В число примеров сети могут входить: межсетевая сеть, например, интернет; внутренняя сеть (интранет); локальная сеть (local area network, LAN); распределенная сеть (wide area network, WAN); и комбинация сетей, например, интернета и интранета. Предлагаемые в качестве примера сети могут работать с использованием произвольного количества протоколов, например, межсетевого протокола (протокол Интернета, IP), протокола асинхронного режима передачи (асинхронный режим передачи, ATM) и/ или протокола синхронной оптической сети (synchronous оптическая сеть, SONET), протокола передачи пользовательских данных (user datagram protocol, UDP), протокола IEEE 802.x и т.д.

Анализом или обработкой, выполняемыми «в реальном времени», как правило, называется анализ или обработка видеоматериала, получаемого в реальном времени («в прямом эфире»), и практически моментальная передача отчетов или предупреждений о нештатных состояниях (заранее заданных состояниях), нештатных ситуациях (пребывание людей без определенной цели, сбор скопления людей, оставление предметов одежды или рюкзаков, портфелей, продуктов питания на необычное время и т.д.) или других ситуациях на основании поведения элементов (покупателей, посетителей, людей в скоплении людей и т.д.) в одном или более видеопотоках.

Анализом или обработкой, выполняемыми «в отложенном режиме», как правило, называется обработка сохраненных видеоматериалов из источника на основе камеры (из определенной системы камер (к примеру, в магазине, на парковочной площадке, на улице) или других видеоданных (из сотового телефона, домашней видеозаписи и т.д.)) и передача отчетов или предупреждений о нештатных состояниях (состояниях, заданных позднее), нештатных ситуациях (пребывание людей без определенной цели, сбор скопления людей, оставление предметов одежды или рюкзаков, портфелей, продуктов питания на необычное время и т.д. или других ситуациях на основании поведения элементов (покупателей, посетителей, людей в скоплении людей и т.д.) в одном или более сохраненных видеопотоках.

Подробное описание

Далее со ссылкой на сопровождающие чертежи раскрываются конкретные варианты осуществления настоящего изобретения, однако должно быть понятно, что раскрытые варианты представляют собой лишь примеры осуществления изобретения, которое может быть осуществлено в различных формах. Чтобы не загромождать настоящее раскрытие ненужными подробностями, хорошо известные функциональные модули или конструкции не описываются подробно. Поэтому раскрытые здесь конкретные подробности структуры и функционирования должны интерпретироваться не как ограничивающие, а лишь как основа для формулирования изобретения и как иллюстративная основа для ориентированного на специалиста в данной области техники пояснения различных вариантов осуществления настоящего изобретения в практически любой должным образом детализированной структуре. В описании и чертежах подобными номерами представлены элементы, которые могут выполнять одинаковые, подобные или эквивалентные функции.

Кроме того, настоящее изобретение может быть раскрыто здесь посредством компонентов функциональных блоков, листингов кода, элементов выбора, экранов отображения страниц и различных шагов обработки. Должно быть понятно, что такие функциональные блоки могут быть осуществлены посредством произвольного количества аппаратных и/или программных компонентов, выполненных с возможностью выполнения определенных функций. Например, в настоящем раскрытии могут использоваться различные компоненты, представляющие собой интегральные схемы, к примеру, элементы памяти, элементы, обрабатывающие информацию, логические элементы, таблицы соответствия и т.п., которые могут выполнять разнообразные функции под управлением одного или более микропроцессоров или иных управляющих устройств.

Аналогично, программные элементы настоящего раскрытия могут быть осуществлены с использованием любого языка программирования или языка описания сценариев, например, C, C++, C#, Java, COBOL, ассемблер, PERL, Python, PHP и т.п., с реализацией различных алгоритмов посредством произвольной комбинации структур данных, объектов, операций, подпрограмм или иных программных элементов. Созданный объектный код может исполняться под управлением различных операционных систем, включая Windows®, Macintosh OSX®, iOS®, linux и/ или Android®, но не ограничиваясь перечисленным.

Кроме того, следует отметить, что в настоящем раскрытии может использоваться произвольное количество общеизвестных способов передачи данных, сигнализации, обработки данных, управления сетью и т.п. Следует понимать, что представленные и раскрытые здесь конкретные варианты осуществления предназначены лишь для иллюстрации изобретения и предпочтительного варианта его осуществления, но не подразумевают какого-либо ограничения объема настоящего изобретения. В представленных здесь примерах могут содержаться образцы элементов данных (к примеру, имена, даты и т.д.), которые служат лишь для пояснения и не должны пониматься как ограничивающие. Для краткости здесь могут не описываться подробно обычные сети передачи данных, разработка прикладных программ и другие функциональные аспекты систем (и компоненты отдельных функциональных элементов систем). Соединительные линии, представленные на различных фигурах чертежей, входящих в состав настоящего документа, предназначены для представления примера функциональных взаимосвязей и/ или физических или виртуальных соединений между различными элементами. Следует отметить, что на практике в электронной системе передачи данных может быть множество альтернативных или дополнительных функциональных взаимосвязей и физических или виртуальных соединений.

Специалисту в данной области техники должно быть понятно, что настоящее изобретение может быть осуществлено в виде способа, системы обработки данных, устройства для обработки данных и/или компьютерного программного продукта. Соответственно, настоящее изобретения может принимать форму полностью программного варианта осуществления, полностью аппаратного варианта осуществления или варианта осуществления, сочетающего как программный аспект, так и аппаратный аспект. Кроме того, настоящее раскрытие может принимать форму компьютерного программного продукта на машиночитаемом носителе информации, содержащего машиночитаемые программные кодовые средства, входящие в состав указанного носителя информации. Может быть использован любой пригодный машиночитаемый носитель информации, в том числе жесткие диски, CD-ROM, DVD-ROM, оптические запоминающие устройства, магнитные запоминающие устройства, полупроводниковые запоминающие устройства (к примеру, портативные запоминающие устройства с интерфейсом USB) и т.п.

В содержащемся здесь обсуждении термины «элемент пользовательского интерфейса» и/или «кнопка» следует понимать как неограничивающие, охватывающие своим содержанием и другие элементы интерфейса, например, без ограничений, гиперссылку, изображение, представляющее функцию нажатия на него, и т.п.

Настоящее раскрытие далее описывается со ссылкой на иллюстративные функциональные схемы и блок-схемы способов, устройств (к примеру, систем) и компьютерных программных продуктов в соответствии с различными аспектами настоящего изобретения. Следует понимать, что любые функциональные блоки иллюстративных функциональных схем и блок-схем, а также комбинации функциональных блоков, показанные на функциональных схемах и блок-схемах, соответственно, могут быть осуществлены посредством команд компьютерной программы. Эти команды компьютерной программы могут быть загружены в компьютер общего назначения, в компьютер специального назначения, в мобильное устройство или в другое программируемое устройство обработки данных с целью реализации устройства, функционирующего таким образом, что посредством команд, исполняемых этим компьютером или другим программируемым устройством обработки, создается средство реализации функций, указанных в блоке или блоках блок-схемы.

Эти команды компьютерной программы также могут быть сохранены в машиночитаемой памяти, которая может управлять компьютером или другим программируемым устройством обработки данных для обеспечения его функционирования определенным образом, т.е. команды, сохраненные в этой машиночитаемой памяти, создают изделие, содержащее командные средства, реализующие функцию, указанную в блоке или блоках блок-схемы. Эти команды компьютерной программы также могут быть загружены в компьютер или другое программируемое устройство обработки данных с целью инициирования выполнения на указанном компьютере или другом программируемом устройстве обработки данных последовательности рабочих шагов, реализующей выполняемую компьютером операцию таким образом, что посредством команд, исполняемых этим компьютером или другим программируемым устройством, создаются шаги реализации функций, указанных в блоке или блоках блок-схемы.

Соответственно, функциональные блоки иллюстративных функциональных схем и блок-схем допускают комбинирование средств выполнения указанных функций, комбинирование шагов выполнения указанных функций и средств реализации указанных функций посредством команд программы. Также следует понимать, что любые функциональные блоки иллюстративных функциональных схем и блок-схем, а также комбинации функциональных блоков, показанные на функциональных схемах и блок-схемах, могут быть осуществлены как аппаратно реализованной компьютерной системой специального назначения, выполняющей указанные функции или шаги, так и пригодными для этой цели комбинациями аппаратуры специального назначения и компьютерных команд.

Специалисту в данной области техники также должно быть понятно, что по соображениям безопасности какие-либо базы данных, системы или компоненты вариантов осуществления настоящего изобретения могут состоять из произвольной комбинации баз данных или компонентов, находящихся в одном месте или в нескольких местах, при этом каждая база данных или система содержит любые пригодные для это цели средства защиты, например, межсетевые экраны, коды доступа, шифрование, дешифрование, сжатие, восстановление сжатых данных и т.п.

Объем настоящего изобретения следует определять по прилагаемой формуле изобретения и ее законным эквивалентам, а не по приведенным здесь примерам. Например, шаги, изложенные в каком-либо способе формулы изобретения, могут выполняться в произвольном порядке и не ограничены порядком, представленном в формуле изобретения. Кроме того, ни один элемент не является принципиально важным для практического осуществления изобретения, если явным образом не указано, что элемент является принципиально важным или существенно важным.

Со ссылкой на фиг. 1 представлена аналитическая система 100 распознавания, выполняющая функции видеонаблюдения, мониторинга и контроля в соответствии с вариантом осуществления настоящего изобретения. Система 100 представляет собой сетевое видеозаписывающее устройство, выполненное с возможностью записи видеоматериалов из одной или более камер 110 (к примеру, аналоговых камер и/или IP-камер). Видеокамеры 110 соединяются с компьютером 120 через соединение 130. Соединением 130 может быть аналоговое соединение, посредством которого видеоматериал передается в компьютер 120, цифровое соединение, посредством которого обеспечивается сетевое соединение между видеокамерой 110 и компьютером 120, либо соединение 130 может содержать аналоговое соединение и цифровое соединение.

Каждая видеокамера 110 подключается к компьютеру 120 и к пользовательскому интерфейсу 122, образуя тем самым пользовательское подключение к компьютеру 120. Каждая из указанных одной или более видеокамер 110 может подключаться через индивидуальное соединение, может подключаться через общее сетевое соединение или через любое сочетание указанных соединений.

Система 100 содержит по меньшей мере один модуль 140 анализа видеоданных. Модуль 140 анализа видеоданных может находиться в компьютере 120 и/или в одной или более видеокамерах 110. Модуль 140 анализа видеоданных выполняет обработку видеоматериала. В частности, модуль 140 анализа видеоданных выполняет один или более алгоритмов для формирования невизуальных данных из видеоматериала. Невизуальные данные содержат невизуальные данные кадра, описывающие содержание отдельных кадров, например, объекты, идентифицированные в кадре, одно или более свойств объектов, идентифицированных в кадре, и одно или более свойств, относящихся к заранее определенным частям кадра. В число невизуальных данных также могут входить невизуальные данные, зависящие от времени, описывающие длящееся во времени содержание между двумя или большим числом кадров. Невизуальные данные, зависящие от времени, могут формироваться из визуальных и/или из невизуальных данных кадра. Невизуальные данные, зависящие от времени, содержат данные, зависящие от времени, например, зависящие от времени свойства объекта, идентифицированного на двух или более кадрах, и зависящее от времени свойство одной или более заранее определенных частей двух или более кадров. В число невизуальных данных кадра может входить количество обнаруженных объектов (в число объектов, к примеру, могут входить люди и/или произвольные части их тел, неживые объекты, животные, транспортные средства или объекты, заданные и/или созданные пользователем) и одно или более свойств объекта (к примеру, положение объекта, положение произвольной части объекта, размерные свойства объекта, размерные свойства частей и/или обнаруженных особенностей объекта) и свойств взаимосвязей (к примеру, положение первого объекта относительно второго объекта или любого другого объекта, который может быть обнаружен в кадре).

Объекты могут быть идентифицированы как объекты, появившиеся в видеоматериале, или как объекты, исчезнувшие из видеоматериала. Объекты могут быть идентифицированы как виртуальные объекты, которые реально не появляются в видеоматериале, но могут быть добавлены для целей расследования, обучения и т.д.

Модуль 140 анализа видеоданных может быть расположен в камере 110 и выполнен с возможностью преобразования видеоматериала в видеоданные и невизуальные данные и передачи указанных видеоданных и невизуальных данных в компьютер 120 через сеть. Таким образом система 100 переносит обработку видеоматериала на периферию сети, чем минимизирует объем обработки, который должен выполняться компьютером 120.

Компьютер 120 содержит машиночитаемый носитель информации, содержащий программное обеспечение для контроля поведения пользователя, которое при исполнении компьютером 120 обеспечивает выполнение операций компьютером 120. Пользовательский интерфейс 122 обеспечивает интерфейс с компьютером 120. Пользовательский интерфейс 122 может подключаться непосредственно к компьютеру 120 или может опосредованно подключаться к компьютеру 120 через сеть пользователя.

Поведение пользователя определяется действием, бездействием, движением, множеством проявлений события, событием, зависящим от времени, внешним событием или любым их сочетанием. Конкретное поведение пользователя задается и сообщается в компьютер 120.

Действие может содержать взятие объекта, при котором объект размещают или оставляют в определенном местоположении. Действие может содержать перемещение определенного объекта, например, открывание двери, выдвижного ящика или ячейки. Действие может содержать расположение (или изменение положения) части тела, например помещение руки в карман или многократное поглаживание себя по определенному месту (признак того, что может быть спрятано оружие). Действие может содержать движение в определенное место, прикосновение одного человека к другому человеку и/или перемещение кисти руки, руки, ноги и/или ступни в ходе определенного движения. Действие также может содержать расположение головы в определенном направлении, например, прямой взгляд на сотрудников охраны или в камеру 110 охраны. Другие разнообразные примеры рассмотрены выше.

Бездействие может содержать невзятие объекта, когда объект уронили или разместили определенным образом, а человек (к примеру, объект наблюдения) не поднял упавший объект. Бездействие также может содержать неприбытие в определенное место или невыполнение определенной функции. Например, чтобы проверить, заперта ли дверь запасного выхода, требуется действие, состоящее в приближении к двери, и действие, состоящее в приложении усилия к двери с целью убедиться в том, что дверь не откроется. При этом поведение пользователя при проверке того, заперта ли дверь, может быть задано как бездействие — невыполнение приближения к двери и/или бездействие — невыполнение надавливания на дверь. Другие разнообразные примеры бездействия рассмотрены выше.

Событие, зависящее от времени, может содержать обнаружение покупателя, внезапно покинувшего магазин, человека, долго находящегося у входа в магазин или у выхода из магазина, человека, находящегося в определенном месте в течение периода времени, превосходящего пороговое значение. Другие разнообразные примеры длящегося события рассмотрены выше.

Пользователь может идентифицировать конкретное поведение пользователя и передавать и/или задавать характеристики этого конкретного поведения пользователя в компьютере 120. Компьютер 120 принимает невизуальные данные из камеры 110, причем эти невизуальные данные содержат данные информации о поведении. Конкретное поведение пользователя может быть задано моделью 143 поведения, содержащей один или более атрибутов, например, размер, форму, длину, ширину, отношение сторон или любой другой идентифицирующий или идентифицируемый атрибут (к примеру, татуировку или другие рассматриваемые здесь атрибуты). Компьютер 120 содержит алгоритм проверки соответствия или модуль 141 проверки соответствия, например, компаратор, который сравнивает заданные характеристики и/или модель 143 конкретного поведения пользователя с поведением пользователя в определенных невизуальных данных. Признак соответствия в алгоритме проверки соответствия или в модуле 141 вызывает формирование расследования, содержащего видеоданные и/или невизуальные данные, идентифицированные алгоритмом 141 проверки соответствия. Расследование представляет собой подборку данных, относящихся к идентифицированному событию, и служит, в основном, для документирования поведения, представляющего интерес. При этом расследования требуют последующего контроля и инспекции с целью изучения конкретного поведения.

Расследование может быть переслано в другие камеры или системы данной сети или передано через сообщество сетей для проверки на соответствие или для идентификации и передачи оповещения. Алгоритм 141 проверки соответствия может быть реализован в виде независимого модуля или может быть встроен в модуль 140 анализа видеоданных в компьютере 120 или в любой из камер 110. Модуль 140 анализа видеоданных также может содержать модуль 142 сравнения, выполненный с возможностью сравнения модели 143 конкретного поведения пользователя и невизуальных данных.

Конкретное поведение пользователя может быть задано как превышение заранее заданного периода ориентирования головы в направлении камеры 110 наблюдения или превышение заранее заданного периода ориентирования головы в направлении кабинета руководителя. Такое конкретное поведение пользователя может быть признаком того, что покупатель хочет найти камеры 110 наблюдения в магазине в попытке предотвратить свое обнаружение при совершении кражи, или того, что один из работников хочет проверить, наблюдает ли руководитель за их поведением. Модуль 140 анализа видеоданных выполняет алгоритм формирования невизуальных данных, распознающий положение головы объектов наблюдения. Модуль 140 анализа видеоданных также может также сообщать вектор, указывающий ориентацию лица и/или направление взгляда. Алгоритм 141 проверки соответствия выполняет поиск в невизуальных данных с целью проверки превышения длительностью конкретного положения головы и/ или определенного вектора, указывающего ориентацию лица, заранее заданного периода. При обнаружении соответствия формируется расследование.

Со ссылкой на фиг. 2 представлен коммутатор 200 видеопотоков/изображений в соответствии с вариантом осуществления настоящего изобретения. Коммутатор 200 выполнен с возможностью приема видеоматериалов, видеоданных, невизуальных данных, видеопоследовательностей и/или неподвижных изображений из различных источников видеоинформации. Например, из местоположений 1 и 2 видеоматериал передается непрерывно, из местоположения 7 передаются только данные, содержащие движение. Из местоположений 3 и 6 передаются короткие видеоклипы, а из местоположений 4 и 5 передаются неподвижные изображения. Эти данные могут передаваться в коммутатор 200 через любое пригодное средство связи (к примеру, через локальную сеть, распределенную сеть, интранет, интернет, фиксированное проводное соединение, модемное соединение, беспроводное соединение и т.д.).

Коммутатор 200 формирует метку времени на основании данных, переданных вместе с видеоданными и/или данными изображения. Метка времени может вводиться в видеоданные и/ или данные изображения, предоставляться как часть видеоматериала и/или изображения или предоставляться вместе с файлом, содержащим видеоданные и/или данные изображения. Как вариант, коммутатор 200 может быть выполнен с возможностью приема введенных пользователем данных, содержащих информацию метки времени, связанной с каждым актом ввода данных пользователем.

Коммутатор 200 может дополнительно или в качестве альтернативного варианта формировать информацию о географическом местоположении на основании данных, предоставленных вместе с видеоданными и/или данными изображения. Информация о географическом местоположении может вводиться в видеоданные и/или данные изображения, предоставляться как часть видеоматериала и/или изображения или предоставляться вместе с файлом, содержащим видеоданные и/ или данные изображения. Например, видеоматериал и/или изображение могут содержать идентифицирующий объект, который может использоваться для идентификации местоположения, в котором было получено данное изображение.

Коммутатор 200 может дополнительно или в качестве альтернативного варианта формировать данные о поле зрения (FOV, field-of-view) для видеоданных и/или данных изображения. Данные FOV могут быть получены из информации о местоположении камеры, из информации, содержащейся в самом видеоматериале (к примеру, определены по идентифицирующему объекту) и/или могут быть введены пользователем.

Фиг. 4 представляет иллюстрацию плана 300 изображений и связанной с ним временной шкалы 310, сформированных коммутатором 200. Коммутатор 200 может быть выполнен с возможностью использования данных временной метки, данных местоположения и/или данных FOV для построения плана 300 изображений и временной шкалы 310 на основании всех видеоданных и данных изображения (или любой их части), переданных в коммутатор 200.

Пользователь может указать коммутатору 200 конкретное время и/или интервал времени, а коммутатор предоставляет все видеоданные и/ или данные изображения, относящиеся к указанному времени. Время и/или интервал времени может выбираться на временной шкале 310, а план 300 изображений может обновляться так, чтобы содержать все видеоданные и/или данные изображения, относящиеся к выбранному времени и/или временному интервалу.

Пользователь может дополнительно или в качестве альтернативного варианта указывать коммутатору 200 выбранное местоположение, а коммутатор предоставляет все видеоданные и/или данные изображения, относящиеся к указанному местоположению. Местоположение может выбираться по плану 300 изображений или сообщаться в виде данных географического местоположения в коммутатор 200.

Пользователь может дополнительно или в качестве альтернативного варианта указывать коммутатору 200 конкретное время и/или интервал времени в дополнение к географическому местоположению с целью дополнительного уточнения и выделения нужных данных из всех видеоданных и/или данных изображения, относящихся к этому конкретному местоположению.

Применив с целью идентификации нужных видеоданных и/или данных изображения указание конкретного времени, интервала времени и/или местоположения, пользователь может использовать раскрытые здесь алгоритмы поиска, способы и систему для идентификации конкретных предметов, представляющих интерес, типов поведения и/или людей в видеоданных и/или в данных изображения.

Важно отметить, что настоящее изобретение шире, чем программное обеспечение для распознавания лиц (которое может быть использована совместно с настоящим изобретением), и предлагает дополнительные алгоритмы и средства анализа для целей слежения и/или расследования, что поясняется ниже. Кроме того, в некоторых случаях вообще отсутствует необходимость использования распознавания лиц для выделения объектов разного рода или слежения за ними, и раскрытая здесь система может использоваться без программного обеспечения или алгоритмов распознавания лиц, которые могут оказаться невосприимчивыми к нарушению некоторых моральных, федеральных или местных законов.

Настоящее изобретение также относится к аналитической системе распознавания для слежения за объектами в режиме реального времени/в отложенном режиме на основании заранее заданных параметров, например, для анализа в реальном времени и отложенного анализа, распознавания, слежения за различными заранее заданными (или заданными позднее) известными объектами или вручную заданными объектами на основании формы, цвета, размера, количества конкретных предметов на человеке (людях), неадекватности определенному обстоятельству (к примеру, зимнее пальто в 80-градусную жару (по Фаренгейту)), сходства конкретных объектов в течение конкретного временного интервала (сходные предметы, к примеру, рюкзаки, в конкретной зоне), отделения значимого объекта (объектов) от человека на заранее заданный период времени, нахождения постороннего объекта в конкретной зоне, размещения предметов около значимых объектов, размещения сходных предметов в сходных зонах и отделение этих предметов от человека, конкретного контраста и сочетания цветов (к примеру, красная футболка, выглядывающая из-под черной рубашки, или белый головной убор на черных волосах).

В число задаваемых объектов могут входить объекты с конкретной известной формой, размером, цветом или массой (определяемой по количеству людей, несущих объект, по походке человека, несущего объект, по способу переноски объекта и т.д.) или объекты, выбор которых основывается на использовании библиотеки объектов и алгоритма сопоставления. Эти объекты могут заранее задаваться в аналитической программе и отслеживаться в реальном времени и/или в отложенном режиме с целью анализа. Объекты, задаваемые вручную, могут вводиться в программу путем указания цвета, размера, формы, массы и т.д. и анализироваться и отслеживаться в реальном времени и/или в отложенном режиме с целью обнаружения нештатных состояний или с иными целями. Объекты, задаваемые вручную, могут загружаться для анализа в реальном времени; это могут быть, к примеру, изображения для распознавания лиц, изображения татуировок, пирсинга, логотипов или иных признаков, что более подробно описывается далее. Кроме того, по видеоданным (к примеру, по данным кадра) и/или по неподвижному изображению могут создаваться и предоставляться для анализа формируемые пользователем объекты и/или изображения. Например, и как показано в аналитической системе распознавания 500 на фиг. 4, объект 510 (к примеру, шляпа, рюкзак, снаряжение или любая особенность, которую можно идентифицировать), идентифицированный в неподвижном изображении и/или в видеокадре (или идентифицированный в результате одного из нештатных состояний, описанных здесь) может быть отделен от человека 505 на заданное время (длящееся событие) и передан в качестве сформированного пользователем объекта 510’ для идентификации в видеоматериале 520 реального времени или отыскан и идентифицирован в сохраненном видеоматериале 525, к примеру, в видеокадрах и/ или в неподвижных изображениях.

Система 500 может содержать модуль 140 анализа видеоданных, выполненный с возможностью анализа видеоматериала в реальном времени и/или в отложенном режиме и слежения за каждым человеком с рюкзаком 510 в конкретной зоне или в поле 505 зрения конкретной камеры. Подозрительное и/или представляющее интерес поведение одного или более людей может быть отслежено, записано и проанализировано как в режиме реального времени, так и в отложенном режиме. Например, как показано на фиг. 5, если рюкзак 510 отделен от человека 505 и оставлен в течение заранее определенного периода времени, то данный видеоматериал может быть помечен для оповещения в реальном времени и/или для отложенного анализа. Объект, к примеру, рюкзак 510, может быть помечен, снабжен меткой времени и/или выделен в отдельный видеопоток для отложенного анализа. Пользователь может при анализе в реальном времени или в отложенном режиме применить масштабирование с целью высокоразрешающего слежения или с целью ввода в коммутатор 200 видеопотоков/изображений в соответствии с приведенным здесь обсуждением. Человек 505, оставивший заранее заданный подозрительный объект, к примеру, рюкзак 510 (или любой другой объект, распознанный библиотекой 530 изображений, изображение/объект 535, сформированный пользователем (через устройство ввода) или алгоритмом сопоставления или модулем 140), может быть отслежен и подвергнут анализу для оповещения в реальном времени и/ или для отложенного анализа. Система 500 может и следить за объектом 510, и отмечать человека 505 и следить за ним для анализа в режиме реального времени или в отложенном режиме через одну или несколько камер 110 или через сеть камер 110, 110a, 110b и т.д.

В другом примере система 500 может отмечать и следить в реальном времени для целей передачи оповещений или отложенного анализа за человеком, одетым летом в зимнее пальто, в солнечную погоду в длинный плащ-дождевик и т.п. Такая ситуация также может считаться поводом к передаче оповещения или нештатным состоянием.

Система 500 может быть выполнена с возможностью комбинирования заранее заданных способов анализа для оповещения об одной или более нештатных ситуациях (или об их сочетании). Например, человек, несущий футляр, в котором может быть размещена полуавтоматическая или автоматическая винтовка, расхаживающий около стратегически важного здания в течение заранее заданного периода времени, может автоматически отмечаться, отслеживаться, а охране может передаваться оповещение.

Система 500 может быть выполнена с возможностью отслеживания и анализа определенных объектов, и программа или модуль 140 анализа видеоданных могут быть заранее настроены на идентификацию этих объектов в видеопотоках и/или в неподвижных изображениях, полученных позднее. Например, может быть запланировано, что особо важная персона даст брифинг для прессы или прибудет в определенное место в определенное время. Однако запланированное мероприятие переносится (намеренно или по стечению обстоятельств). Программа или модуль 140 анализа видеоданных могут быть заранее настроены на распознавание объектов (или людей с объектами 510 или с объектами 535, сформированными пользователем), которые появятся в видеоматериале с мероприятия, перенесенного на более поздний срок. В некоторых случаях видеоматериал, полученный во время первоначально запланированного мероприятия, может быть изучен, и пользователь может перенастроить программу или модуль 140 анализа видеоданных на поиск определенных «повторно появившихся» объектов 510 (рюкзаков, пальто, головных уборов, одежды, портфелей, людей и т.д.) в видеоматериале, получаемом в реальном времени на перенесенном мероприятии. Кроме того, некоторое лицо также может быть отнесено к подозрительным лицам и отмечено для контроля на мероприятии, перенесенном на более поздний срок. Группе охраны, просматривающей запись в реальном времени, может посылаться предупреждение, если это был человек, представляющий интерес.

Модуль 140 анализа видеоданных может быть выполнен с возможностью распознавания нештатных типов поведения или неожиданных типов поведения и оповещения охраны или инспекторов о возможных нештатных ситуациях, событиях или состояниях. Видеоматериал может быть ориентирован на анализ в реальном времени или на отложенный анализ. Например, модуль 140 анализа видеоданных может быть настроен на распознавание признаков собирающегося в определенной географической зоне скопления людей и/или признаков расходящегося скопления людей из определенной географической зоны. Для достижения этой цели могут использоваться программы для глобального позиционирования и векторизации. Распознавание признаков собирающегося или расходящегося скопления людей может быть полезно при автоматическом распознавании возможных флэшмобов, массовых ограблений или других нештатных событий. Например, и как показано на фиг. 5, аналитическая система 600 распознавания содержит модуль 140 анализа видеоданных, который может быть выполнен с возможностью слежения за необычным количеством посетителей 604a-604l, прибывающих в определенное местоположение 620 в определенное время 622 или около указанного времени. Модуль 140 анализа видеоданных также может быть выполнен с возможностью отслеживания необычной скорости изменения числа посетителей 604a-604l и/ или лиц, приходящих в определенное местоположение 620 или уходящих из указанного местоположения. Типовая скорость прихода и/или ухода может быть задана заранее или получена из алгоритма, использованного в отношении людей, ранее приходивших в определенное местоположение и уходивших из указанного местоположения в течение заранее заданного или варьируемого периода времени. Отклонение от типовой скорости прихода и/или ухода может инициировать нештатное состояние.

Охранная система 600 с модулем 140 анализа видеоданных и одной или более группами или системами 610a-610g камер может быть выполнена с возможностью распознавания необычного количества людей, собирающихся в определенной географической зоне 620 в течение заранее заданного времени. Модуль 140 анализа видеоданных может быть выполнен с возможностью использования алгоритмов векторного анализа и/или векторного анализа изображения и данных и/или алгоритмов машинного обучения для идентификации одного или более типов сбора людей в скопление. Кроме того, система 600 может быть выполнена с возможностью распознавания подобия в одежде, возрасте, переносимых вещах (к примеру, портфелях, рюкзаках и других подобных предметах) и с возможностью передачи охране или инспекторам оповещения о возможном возникновении нештатного состояния. Это может быть полезно для распознавания так называемых «флэшмобов» или других значимых ситуаций в ходе парада, марафона, выступления с политической речью и т.д.

Для обнаружения необычных типов расхождения людей из конкретной зоны 620 могут использоваться типы расхождения и/или скорости. Например, в ситуации, подобной панике, следует ожидать, что скорость расхождения людей будет больше заранее заданной или вычисленной средней скорости расхождения. Если при этом обнаружено одно или более лиц, покидающих определенную зону и/или местоположение со скоростью меньше средней скорости или скорости в ситуациях типа паники, то это может указывать на то, что эти лица не находились в состоянии типа паники, например, из-за того, что они совершили противоправное деяние или были осведомлены о данной ситуации типа паники. Кроме того, человек, покидающий зону со скоростью, превышающей среднюю скорость, может быть «убегающим с места происшествия», например, может убегать с места ограбления или с места запланированного взрыва.

Модуль 140 анализа видеоданных также может быть выполнен с возможностью контроля веб-трафика и/или сайтов социальных сетей (Facebook^®, Myspace^®, LinkedIN^®) в отношении конкретного местоположения и/или мероприятия и передачи оповещений соответствующего типа охране, или с возможностью комбинирования веб-трафика, относящегося к мероприятию или географической зоне, с анализом видеоданных, при котором с целью оповещения о возможном флэшмобе или групповом ограблении распознаются типовые признаки сбора людей в скопление. Модуль 140 анализа видеоданных также может действовать в обратном порядке и получать доступ к веб-трафику или различным сайтам социальных сетей, когда обнаружены признаки сбора людей в скопление, и запрашивать один или более из этих сайтов с целью получения дополнительной информации для возможного раскрытия более серьезной групповой активности или флэшмоба в определенном местоположении.

Модуль 140 анализа видеоданных также может быть выполнен с возможностью контроля веб-трафика или сайтов социальных сетей с целью обнаружения деятельности, предшествовавшей времени конкретной временной метки. Например, публикация в социальной сети соболезнования по поводу некоторого события, по времени совпадающая с этим событием или предшествующая ему, может указывать на предварительную готовность к этому событию и на предварительную осведомленность о предстоящем событии.

Система 600 и модуль 140 анализа видеоданных могут быть выполнены с возможностью анализа видеоматериалов из одной или более уличных камер, камер парковочной площадки, камер магазина или торгового центра или других систем камер 610a-610g с целью обнаружения заранее заданных нештатных состояний или состояний, заданных вручную в реальном времени. Система 600 может быть выполнена с возможностью передачи оповещения, если в конкретном месте (к примеру, у торгового центра) собирается необычное количество автомобилей, и дополнения этой информации видеоматериалом с камер видеонаблюдения парковочной площадки с целью определения количества людей, собирающихся в конкретном магазине или месте, а также дополнения результатов этого анализа информацией с камер, установленных внутри магазина, с целью обнаружения присутствия подозрительных лиц в конкретном месте в конкретное время или в конкретном интервале времени. Это типовое поведение при флэшмобе или групповом ограблении. И в этом случае система 600 может связываться с одним или несколькими сайтами социальных сетей для получения дополнительной информации и/или подтверждения.

Подобным образом, скорости приближающихся автомобилей, полученные из видеоматериала, и/или скорость, с который люди выходят из своих автомобилей, также может служить признаком нештатного состояния.

Другие примеры анализа, который модуль 140 анализа видеоданных может выполнять в реальном времени и/или в отложенном режиме, могут относиться к распознаванию сообществ типа криминальных группировок. Например, аналитическая система распознавания 700 на фиг. 6 может быть выполнена с возможностью распознавания цветов и/или цветовых комбинаций группировки и/или ее характерных признаков и с возможностью пометки видеоматериала 718 и/ или оповещения охраны, если необычное количество людей (или необычная доля людей) с определенными цветами или цветовыми комбинациями и/или характерными признаками собирается в конкретной географической зоне или пребывает в этой зоне. Модуль 140 анализа видеоданных может быть заранее настроен на распознавание конкретной характеристики или характерного признака 715 человека или людей 705a, к примеру, одежды, головного убора, стиля брюк, цветов рубашки или пальто, манеры их ношения, символики и логотипов на верхней одежде, татуировок, пирсинга, прически, жестикуляции руками, автомобилей, мотоциклов и т.д. и на оповещение охраны о нештатном состоянии или ранее проведенной инспекции, сохраненной как ранее полученное изображение 725 в компьютере 720. Эти люди 705a могут быть отмечены и могут отслеживаться в течение заранее заданного периода времени или до их выхода из зоны. Общность изображений и характеристик 715 определенной группы посетителей в скоплении людей (подобие цветов, униформы, экипировки, стиля одежды, причесок, логотипа, пирсинга, татуировок, символики, другой атрибутики организованных группировок, автомобилей, мотоциклов или одежды и т.д.) может быть распознана и может служить поводом к оповещению. Модуль 140 анализа видеоданных может передавать оповещение о том, что x % людей в конкретном скоплении людей имеет определенный признак 715, к примеру, одинаковую татуировку, красную рубашку, одинаковый логотип, прическу, имеют при себе одинаковые предметы и т.д. Модуль 140 анализа видеоданных может быть выполнен с возможностью передачи оповещения на основании установления факта того, что заранее заданное число людей в конкретном скоплении людей имеет конкретный признак 715.

Модуль 140 анализа видеоданных может быть выполнен с возможностью создания графических представлений многочисленных нештатных состояний с целью упрощения распознавания типовых ситуаций или очень высоких уровней (и/или заранее определенных уровней) одного или более нештатных состояний. Это может позволить одному или более лицам отслеживать и анализировать большее число типовых ситуаций. Модуль 140 анализа видеоданных также может распознавать контакт между людьми, причем этот контакт может быть как физическим контактом (к примеру, рукопожатием, объятиями или передачей предмета), так и осуществляемым без физического контакта (к примеру, разговором, продолжительным взглядом в глаза друг другу или иным нефизическим контактом, который может свидетельствовать о взаимном признании).

Другие состояния, требующие оповещения, могут относиться к нештатным ситуациям, в которых модуль 140 анализа видеоданных распознает переносимый человеком 705b объект, необычный для данной зоны. Например, как показано на фиг. 6, это может быть человек, несущий вилы или лопату (не показаны) в торговом центре 723, или группа людей (705b и 705c), несущих биты 716 в торговом центре 723 и собирающихся в конкретном месте. И в этом случае выполняемый в реальном времени анализ видеоматериала стал бы наиболее полезным и дал бы возможность передать охране оповещение о нештатном состоянии. Отложенный анализ может быть полезен для идентификации правонарушителей в случае происшествия, при котором пришлось обращаться за помощью к правоохранительным органам.

В любой из вышеописанных ситуаций или при любом из описанных здесь оповещений модуль 140 анализа видеоданных может для инициирования оповещений или ответов на запросы работать совместно с библиотекой 750 видеоизображений или алгоритмов. В модуль 140 анализа видеоданных в качестве входной информации могут быть переданы дополнительные изображения, например, изображения из библиотеки и/или созданные пользователем изображения 750, которые могут быть использованы для анализа видеоматериалов с использованием средств распознавания модуля 140 анализа видеоданных. Это может происходить в реальном времени или в режиме отложенного анализа. И в этом случае в зависимости от конкретной задачи могут вводиться запросы, а система 100, 400, 500, 600, 700 и/ или 800 может выполнять анализ видеоматериалов, относящийся к запрошенным состояниям, в реальном времени или в отложенном режиме.

Система 100, 400, 500, 600, 700 и/ или 800 может быть выполнена с возможностью трехмерного распознавания лиц. Система 100, 400, 500, 600, 700 и/ или 800 может быть вручную настроена на распознавание подозреваемого человека 705a в оперативном деле (или человека, уже совершавшего правонарушения) на основании типа одежды, пирсинга, татуировки, прически и т.д. (данный вид распознавания отличается от распознавания лиц, который также может использоваться в зависимости от полномочий организации (ФБР в сравнении с собственной охраной торгового центра)). Изображение подозреваемого 705a может быть просканировано в модуле 140 анализа видеоданных, и такие объекты, как, например, пирсинг, татуировки, прическа, логотипы и головной убор могут быть отмечены и загружены в базу данных изображений для последующего анализа в реальном времени или в отложенном режиме. Например, если похититель 705a грабит магазин и изображение его лица фиксируется одной или несколькими камерами 710, то во все камеры 710 магазина может быть загружено не только это изображение, но и другая идентифицирующая информация или характерные признаки 715, к примеру, прическа, татуировки, пирсинг, ювелирные изделия, логотипы на одежде и т.д. Если похититель 705a снова войдет в этот магазин, то охране будет автоматически отправлено оповещение. Даже если система распознает похожую татуировку, пирсинг или логотип 715 на другом человеке, то и этот человек может рассматриваться в качестве подозреваемого, подлежащего допросу в правоохранительных органах. И в этом случае данный способ шире простого распознавания лиц, при котором указанный другой человек может не отмечаться, а его перемещение может не отслеживаться.

Система 100, 400, 500, 600, 700 и/ или 800 также может формировать библиотеку людей и/или посетителей, регулярно или часто бывающих в конкретном местоположении, чем устраняется необходимость отслеживать этих людей, а система 100, 400, 500, 600 или 700 получает возможность сконцентрироваться на идентификации и отслеживании людей, ранее не идентифицированных и не сохраненных в библиотеке. Эта библиотека посетителей (не показана) также может связываться с расчетной системой пункта продаж с целью подтверждения того, что люди, идентифицированные и сохраненные в библиотеке, являются регулярными посетителями.

Как лучше всего показано на фиг. 7, еще одна аналитическая система распознавания 800 с модулем 140 анализа видеоданных используется в сети магазинов, в торговом центре или в группе магазинов 850 в поселке или населенном пункте. Группа или сеть магазинов 850a-850e имеет возможность распространения видеоизображений 824 и другой идентифицирующей информации с характеристикой или признаками известных злоумышленников 805 по сети камер 810a-810e, использующих один и тот же модуль 140 анализа видеоданных (или возможность загрузки изображения 824 и идентифицирующей информации в аналитическую систему 840a-840e отдельного магазина). Местные собственники магазинов 850a-850e сети имеют возможность предотвратить дополнительные потери материальных ценностей путем отметки и отслеживания известных лиц 805, представляющих определенный интерес (на основании полученных ранее характеристик или признаков, как описано выше, и/или на основании идентифицирующей информации, введенной в базу данных изображений и/или информации), после входа такого лица 805 в магазин, к примеру, в магазин 850a. В отношении этих лиц (или групп лиц) могут быть переданы оповещения местным властям, и эти лица или группы могут отслеживаться во всей сети камер 810a-810e населенного пункта, в том числе камерами парковочной площадки, уличными камерами и т.д. Если человек 805 отмечен и передано оповещение, то может фиксироваться и другая информация, относящаяся к автомобилю, типу автомобиля, маршруту движения автомобиля, сообщниках и т.д. Кроме того, во все камеры 810a-810e системы 800 может быть передана команда отмечать и отслеживать человека 805 и его сообщников в реальном времени и/ или в режиме отложенного анализа.

Описанные здесь различные системы 100, 400, 500, 600, 700 и 800 также могут быть использованы для идентификации людей без физического контакта. Например, человек, постоянно проживающий в здании, может иметь выданный судом судебный запрет, запрещающий определенному лицу находиться в пределах некоторой зоны близости к указанному жителю. В систему, к примеру, в систему 800 может быть введено изображение, к примеру, изображение 824, а модуль 140 анализа видеоданных может обнаруживать человека 805 и направлять этому жителю и/ или властям оповещение и/или документальный материал. Подобным образом в систему 800a может быть передана созданная органами власти база 820 данных, содержащая библиотеку 824 изображений людей 805, идентифицированных в определенной программе регистрации в соответствии с законом.

В населенном пункте может быть принято решение о создании для этой цели сети камер 810a-810e. Новые владельцы местных коммерческих предприятий могут согласиться на загрузку изображения 824 определенного злоумышленника для анализа (т.е. для передачи местных оповещений) на условиях подписки на информацию о вновь идентифицированных злоумышленниках (к примеру, за плату), например, изображение 824 определенного опасного злоумышленника и дополнительная идентифицирующая информация, являясь особо значимой для всего населенного пункта, может загружаться во все сетевые камеры 810a-810e (или даже в автономные системы), тогда как заурядный магазинный вор может не представлять интереса.

Модуль 140 анализа видеоданных в качестве признака человека или подозреваемого также может использовать походку, прихрамывание, шарканье, угол наклона головы, длину шага, качание рук, жестикуляцию руками, и т.д. Походка человека так же индивидуальна, как отпечаток пальца, и может использоваться для идентификации замаскировавшихся правонарушителей. Походка человека определяется множеством факторов (к примеру, скоростью ходьбы, частотой шагов, углом между ступнями, положением кисти руки или руки в целом, взмахом кисти руки или руки в целом, прихрамыванием, шарканьем и т.д.), и эта информация может быть загружена в модуль 140 анализа видеоданных.

Модуль 140 анализа видеоданных также может быть выполнен с возможностью оповещения охраны, если в течение определенного периода времени обнаружено некоторое количество известных изображений, событий или характерных движений (к примеру, поглаживание себя по определенной области (областям) X количество раз в заранее заданном периоде времени, поглаживание или поддержка известной области при ношении или маскировке оружия, нервозное подергивание или быстрые повороты головы X количество раз, выглядывание из-за угла, взгляд в видеокамеры X количество раз в течение заранее заданного периода времени и т.д. Модуль 140 анализа видеоданных может быть выполнен с возможностью оповещения охраны или предоставления информации пользователю на основании нештатного или чрезмерного проявления привычного движения или события, произошедшего в заранее заданных временных пределах, или комбинации каких-либо событий, имевшей место в течение заранее заданного периода времени. Например, человек, идущий через магазин, что-то придерживающий рукой поверх брюк и быстро вращающий головой, может служить поводом для оповещения или нештатной ситуации. В еще одном примере отмечается или выделяется (или иным образом идентифицируется в определенной зоне (зонах) системой 100, 400, 500, 600, 700 и/ или 800) режим обеспечения охраны, и подозрительный человек, многократно скрытно смотрящий или поворачивающий голову в том направлении, может инициировать оповещение или нештатную ситуацию. В еще одном примере человек рассматривает товары и/или задерживается в зоне магазина, в которой обычное время пребывания невелико (к примеру, мужчины, как правило, находятся в отделе косметики недолго, тогда как время пребывания для женщин почти всегда, если не всегда, велико).

Как указано выше, аналитическая система 100, 400, 500, 600, 700 и/ или 800 распознавания согласно настоящему изобретению может быть использована для обнаружения оружия посредством предварительного ввода в модуль 140 анализа видеоданных конкретных черт характерного поведения и их анализа (в реальном времени и/или отложенного). Например, для человека, многократно совершавшего ограбления в конкретной зоне, о котором известно, что у него есть оружие, определенная походка может быть признаком того, что данный человек вооружен (к примеру, прихрамывающий шаг может указывать на наличие пистолета). Для инициирования оповещения или нештатной ситуации анализ данной информации может проводиться с использованием другой идентифицирующей информации или характерных признаков (к примеру, татуировок, цветов организованной группировки, символики группировки, логотипов и т.д.). В еще одном примере человек, носящий длинный плащ в отсутствие дождя или в летний солнечный день, смотрит или вращает головой с подозрительным вниманием. В этом случае модулю 140 анализа видеоданных нужен вход для информации о дожде, температуре, солнечном свете (освещенности) и/или подключение к системе, предоставляющей такие данные. Время суток также может служить триггером или дополнительным событием, задаваемым в модуле 140 анализа видеоданных для повышения «осведомленности» модуля 140 анализа видеоданных при инициировании оповещений, к примеру, чтобы принять во внимание тот факт, что поздним вечером и после полуночи грабежи случаются чаще.

В других примерах модуль 140 анализа видеоданных может предоставлять сотрудникам охраны возможность направлять в аналитическую систему 100, 400, 500, 600, 700 и/ или 800 распознавания, в реальном времени или в отложенном режиме, запросы, например, такие: «сколько человек в красных бейсболках вошли в магазин или зону в интервале 5-10 минут?»; «сколько человек собралось у центрального фонтана в этом интервале?»; «сколько человек слоняется у фонтана в определенном интервале времени?». Другие запросы могут содержать команды: «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, носящими брюки или зимние пальто (в летний день с температурой 90⁰ (по Фаренгейту))»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми в красных головных уборах»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, несущими несколько рюкзаков»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, оставившими предметы (к примеру, рюкзаки без присмотра) — следить за данным человеком в системе, во множестве систем, отмечать местоположение объекта и т.д.»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, слоняющимися у важных зон, оставляющими предметы у важных зон — следить в системе, во множестве систем, отмечать местоположение»; и/ или «оповещать, если предметы без присмотра в количестве, находящемся в заданном интервале, оставлены в заданное время или в течение заданного интервала времени».

В еще одном примере модуль 140 анализа видеоданных может быть выполнен с возможностью обработки и анализа видеоматериалов в реальном времени с целью определения параметра скопления людей (к примеру, текущего количества людей в скоплении или оценки текущей плотности скопления людей) путем автоматической обработки видеоматериала, полученного в некотором физическом местоположении. Модуль 140 анализа видеоматериала может содержать один или более алгоритмов, выполненных с возможностью определения скорости изменения указанного параметра скопления людей. Скорость изменения параметра скопления людей может служить признаком собирающегося скопления людей или расходящегося скопления людей.

Если скорость изменения параметра скопления людей превышает заранее заданное пороговое значение, то модуль 140 анализа видеоданных автоматически передает оповещение. Например, если скорость изменения параметра скопления людей указывает на собирающееся скопление людей, то модуль 140 анализа видеоданных может оповещать охрану о возможном флэшмобе или групповом ограблении. Модуль 140 анализа видеоданных может быть выполнен с возможностью использования алгоритмов векторного анализа и/или векторного анализа изображения и данных и/или алгоритмов машинного обучения для обнаружения одного или более типов сбора людей в скопление.

Модуль 140 анализа видеоданных может быть соединен с группой камер 610a-610g, организованных в сеть, и в случае передачи оповещения каждая камера в сети может использоваться для слежения за одним или несколькими объектами или людьми (к примеру, за посетителями 604a-604l, показанными на фиг. 6). Если скорость изменения параметра скопления людей указывает на то, что скопление людей расходится, то модуль 140 анализа видеоданных может оповещать охрану о возможности опасной ситуации или криминальных действий.

Поскольку в вышеописанных конструкциях без выхода за пределы объема изобретения могут быть сделаны разнообразные изменения, предполагается, что все содержание вышеприведенного раскрытия должно интерпретироваться в иллюстративном и неограничивающем смысле. Можно видеть, что достигнуто несколько целей изобретения и других полезных результатов, определяемых объемом нижеследующей формулы изобретения.

Изобретение относится к технологиям видеонаблюдения, контроля и верификации. Техническим результатом является повышение точности анализа видеопотоков в реальном времени. Предложена аналитическая система распознавания. Система содержит одну или более видеокамер, выполненных с возможностью съемки видеоматериала, и модуль анализа видеоданных. Модуль анализа видеоданных выполнен с возможностью обработки видеоматериала и анализа отснятого видеоматериала в реальном времени и формирования данных, не включающих видеоматериал. Модуль анализа видеоматериала выполнен с возможностью реализации одного или более алгоритмов для идентификации нештатной ситуации. Система также выполнена с возможностью формирования библиотеки людей, бывающих в определенном местоположении с заранее заданной степенью регулярности. 11 з.п. ф-лы, 7 ил.

1. Аналитическая система распознавания, содержащая

по меньшей мере одну видеокамеру, выполненную с возможностью съемки видеоматериала; и

модуль анализа видеоданных, выполненный с возможностью:

обработки видеоматериала и анализа отснятого видеоматериала в реальном времени,

формирования данных, не включающих видеоматериал,

реализации одного или более алгоритмов для идентификации нештатной ситуации,

причем каждая нештатная ситуация служит для модуля анализа видеоданных сигналом необходимости автоматической передачи оповещения и необходимости слежения за одним или более объектами или людьми путем использования по меньшей мере одной камеры, а

нештатная ситуация выбрана из группы, состоящей из действия конкретного человека, невыполнения действия конкретным человеком, и события, относящегося к конкретному времени,

формирования библиотеки людей, бывающих в определенном местоположении с заранее заданной степенью регулярности, и

исключения из отслеживания людей, сохраненных в указанной библиотеке людей, для которых определено, что они бывают в указанном местоположении с заранее заданной степенью регулярности.

2. Аналитическая система по п. 1, отличающаяся тем, что модуль анализа видеоданных идентифицирует и сохраняет в базе данных одну или более характеристик конкретного человека для последующего распознавания модулем анализа видеоданных и команды для реализации одного или более алгоритма для идентификации нештатной ситуации.

3. Аналитическая система по п. 2, отличающаяся тем, что одна или более характеристик конкретного человека выбрана из группы, состоящей из прически, татуировок, пирсинга, одежды, логотипов, контрастирующих цветов, атрибутики организованных группировок и ювелирных изделий.

4. Аналитическая система по п. 1, отличающаяся тем, что модуль анализа видеоданных сохраняет отснятый видеоматериал в базе данных, доступной пользователю, а пользователь идентифицирует одну или более характеристик конкретного человека для последующего распознавания модулем анализа видеоданных и одним или более алгоритмами для идентификации нештатной ситуации.

5. Аналитическая система по п. 4, отличающаяся тем, что одна или более характеристик конкретного человека выбрана из группы, состоящей из прически, татуировок, пирсинга, одежды, логотипов, контрастирующих цветов, атрибутики организованных группировок и ювелирных изделий.

6. Аналитическая система по п. 1, отличающаяся тем, что модуль анализа видеоданных соединен с группой камер, организованных в сеть, а в случае передачи оповещения каждая камера в сети используется для слежения за одним или более объектами или людьми.

7. Аналитическая система по п. 1, отличающаяся тем, что модуль анализа видеоданных идентифицирует и сохраняет в базе данных одну или более характеристик конкретного человека для последующего распознавания модулем анализа видеоданных и команды для реализации одного или более алгоритма для идентификации нештатной ситуации и передачи оповещения, при этом модуль анализа видеоданных соединен с группой камер, организованных в сеть, с целью анализа отснятого видеоматериала.

8. Аналитическая система по п. 7, отличающаяся тем, что одна или более характеристик определенного человека выбрана из группы, состоящей из прически, татуировок, пирсинга, одежды, логотипов, контрастирующих цветов, атрибутики организованных группировок и ювелирных изделий.

9. Аналитическая система по п. 7, отличающаяся тем, что владелец одной из камер, входящей в группу камер, образующих сеть, может подписаться на прием конкретных оповещений или на членство в сети камер.

10. Аналитическая система по п. 2, отличающаяся тем, что одна или более характеристик конкретного человека включает походку человека.

11. Аналитическая система по п. 10, отличающаяся тем, что походка каждого человека определяется на основании комбинации одного или более параметров, в число которых входит прихрамывание, шарканье, угол наклона головы, длина шага, взмах кисти руки, взмах руки в целом, жестикуляция руками, скорость ходьбы, частота шага, угол между ступнями, положение кисти руки или положение руки в целом.

12. Аналитическая система по п. 1, отличающаяся тем, что модуль анализа видеоданных дополнительно выполнен с возможностью осуществления связи с расчетной системой пункта продаж с целью подтверждения того, что люди, идентифицированные и сохраненные в указанной библиотеке людей, бывают в указанном местоположении с заранее заданной степенью регулярности.