АНАЛИТИЧЕСКАЯ СИСТЕМА РАСПОЗНАВАНИЯ И ВИДЕОИДЕНТИФИКАЦИИ Российский патент 2020 года по МПК H04N7/18 G06K9/62 

Перекрестная ссылка на родственные заявки

По настоящей заявке испрашиваются приоритет и преимущества патентной заявки США №14/817,871, поданной 04 августа 2015 г. Настоящая заявка также является родственной патентной заявке США №14/256,385, поданной 18 апреля 2014 г., по которой испрашиваются приоритет и преимущества предварительной патентной заявки США с порядковым №61/813,942, поданной 19 апреля 2013 г., и патентной заявке США №14/213,548, поданной 14 марта 2014 г., по которой испрашиваются приоритет и преимущества предварительной патентной заявки США с порядковым №61/798,740, поданной 15 марта 2013 г. Раскрытия каждой из этих предшествующих заявок настоящим полностью включены в настоящий документ посредством ссылки, как если бы они были полностью приведены в настоящем документе.

Область техники, к которой относится изобретение

Раскрытое далее изобретение относится к системам видеонаблюдения, контроля и верификации и к способам использования таких систем. Конкретная реализация может работать совместно с системами наблюдения, уличными камерами, персональными видеосистемами, системами камер магазина, системами камер автостоянки и т.д., и выполнена с возможностью анализа данных одного или более видеопотоков в реальном времени и/или в отложенном режиме.

Уровень техники

Компании, стремясь повысить свои обороты и эффективность, непрерывно работают над поиском способов обнаружения конкретного поведения пользователей. Например, понимая поведение пользователя в сфере розничной торговли, компании могут увеличить продажи и снизить потери товара. Если говорить о потерях, то их наиболее значительной составляющей в розничной торговле являются кражи товаров, совершаемые сотрудниками. Поэтому компании стремятся изучать поведение пользователя с целью снижения и, в итоге, устранения потерь товаров.

Для предотвращения потерь вследствие действий сотрудников компании используют различные способы. В розничных магазинах к предметам, которые могут быть похищены, крепят электронные устройства, вызывающие срабатывание сигнализации, но клиенты и/или сотрудники могут деактивировать эти устройства до выноса предмета из магазина. Некоторые предприятия розничной торговли практикуют проверку сумок и/или тележек как у клиентов, так и у сотрудников; на других используются системы предотвращения потерь, в которых внедрен видеоконтроль операций в пунктах продаж с целью обнаружения операций, проводимых с возможным нарушением установленных правил. В большинстве способов внимание сосредоточено на обнаружении индивидуальных проявлений, а не на понимании базовых актов поведения пользователя, имеющего место в таких ситуациях. Таким образом, компании не могут устранить причину, побуждающую людей совершать кражи.

Широко используются системы видеонаблюдения, системы уличных камер, системы камер магазина, системы камер автостоянки и т.п. В некоторых случаях камера непрерывно передает видеопоток, при этом используется буфер на период, например, 8, 12, 24, 48 часов, который, если записанное видео не потребовалось, затем заполняется новым видео. В других системах может использоваться более длительный период времени, или буфер представляет собой недели или месяцы данных, сохраняемых для использования в конкретных целях. Как должно быть понятно, если случается какое-то происшествие, то в наличии имеются видеоданные, которые могут быть просмотрены и проанализированы. В некоторых случаях видеопоток содержит данные и используется для анализа различных заранее заданных ситуаций, который, в зависимости от конкретной задачи, может выполняться автоматически либо с использованием ввода информации пользователем или программирования. Например, видеосистема может быть настроена на слежение за перемещением объектов от входа в магазин и через магазин с целью контроля за товаром и/или видеонаблюдения за клиентами.

В других случаях полиции, Федеральному бюро расследований (ФБР) или спасателям может требоваться просмотр материалов, отснятых различными системами камер в конкретной зоне или месте с целью исследования, к примеру, для слежения за подозреваемыми, для расследования обстоятельств дорожно-транспортных происшествий или для получения других видеодоказательств, требуемых в расследовании. Часто фрагменты видео из различных систем камер, находящихся в нужной зоне, оказываются критически важными для составления визуального представления о расследуемом происшествии. В других случаях особенности или поведение отдельных людей могут вызывать подозрение и побуждать к наблюдению или слежению за такими людьми с целью анализа поведения и формирования оповещений в реальном времени и/или с целью отложенного следственного анализа.

Существует потребность в дальнейшем развитии технологии такого анализа и в разработке способа анализа видеопотоков в реальном времени и в отложенном режиме для целей обеспечения безопасности и расследований и для маркетинговых целей.

Раскрытие изобретения

В соответствии с аспектом настоящего изобретения предлагается аналитическая система распознавания. Аналитическая система распознавания содержит видеокамеру, антенну и модуль анализа данных. Видеокамера выполнена с возможностью захвата видеоданных. Антенна выполнена с возможностью захвата данных мобильного устройства связи. Модуль анализа данных выполнен с возможностью сопоставления видеоданных и данных мобильного устройства связи для формирования профиля человека, связанного с указанными видеоданными и данными мобильного устройства связи. Этот профиль содержит данные профиля, содержащие что-либо одно или комбинацию из захваченных видеоданных и захваченных данных мобильной связи.

В любом из предыдущих аспектов модуль анализа данных выполнен с возможностью определения чего-либо одного или комбинации из времени прихода человека в местоположение и времени ухода человека из этого местоположения на основании чего-либо одного или комбинации из видеоданных и данных мобильного устройства связи, и сопоставления указанных видеоданных и указанных данных мобильного устройства связи на основании чего-либо одного или комбинации из указанного времени прихода или указанного времени ухода.

В любом из предыдущих аспектов указанная видеокамера представляет собой одну видеокамеру из множества видеокамер, содержащихся в системе и выполненных с возможностью захвата множества видеоданных, а указанная антенна представляет собой одну антенну из множества антенн, содержащихся в системе и выполненных с возможностью захвата множества данных мобильного устройства связи. Модуль анализа данных может быть дополнительно выполнен с возможностью сопоставления множества видеоданных и множества данных мобильного устройства связи с целью формирования множества профилей множества людей, соответственно связанных с указанным множеством видеоданных и указанным множеством данных мобильного устройства связи.

В соответствии с еще одним аспектом настоящего изобретения множество видеокамер и множество антенн размещены во множестве помещений.

В еще одном предлагаемом в качестве примера аспекте настоящего изобретения аналитическая система распознавания дополнительно содержит пользовательский интерфейс, выполненный с возможностью поиска множества профилей на основании критерия, введенного пользователем.

В соответствии с еще одним аспектом настоящего изобретения по меньшей мере одна антенна из множества антенн прикреплена к по меньшей мере одной видеокамере из множества видеокамер и по меньшей мере одна антенна из этого множества антенн размещена на удалении от множества камер.

В любом из предыдущих аспектов профиль может содержать что-либо одно или комбинацию из захваченных видеоданных, захваченных данных мобильного устройства связи, данных времени, связанных с захваченными видеоданными или захваченными данными мобильного устройства связи, и данных местоположения, связанных с захваченными видеоданными или захваченными данными мобильного устройства связи. Захваченные видеоданные могут содержать что-либо одно или комбинацию из захваченного неподвижного изображения и видеоматериала. Данные мобильного устройства связи могут содержать что-либо одно или комбинацию из идентификатора WiFi, идентификатора управления доступом к среде передачи (Media Access Control, MAC), идентификатора Bluetooth, идентификатора сотовой связи, идентификатора связи малого радиуса действия, радиочастотного идентификатора, относящихся к мобильному устройству связи, осуществляющему связь с указанной антенной. Данные времени могут содержать что-либо одно или комбинацию из времени захвата видеоданных и времени захвата данных мобильного устройства связи. Данные местоположения могут содержать что-либо одно или комбинацию из местоположения, в котором захвачены видеоданные, и местоположения, в котором захвачены данные мобильного устройства связи.

В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью добавления в профиль чего-либо одного или комбинации из количества посещений помещения человеком и частоты посещений помещения человеком на основании сопоставленных видеоданных и данных мобильного устройства связи.

В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью идентификации человека на основании сравнения данных из первого источника с чем-либо одним или комбинацией из захваченных видеоданных, захваченных данных мобильного устройства связи, сопоставленных видеоданных и данных мобильного устройства связи и профиля, при этом указанный первый источник содержит что-либо одно или комбинацию из базы данных неправительственной организации, базы данных правительственной организации и одного или более ранее сформированных профилей.

В любом из предыдущих аспектов аналитическая система распознавания дополнительно содержит модуль расследования, выполненный с возможностью приема критериев расследования и поиска чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи или данных профиля на основании указанных критериев.

В еще одном аспекте настоящего изобретения критерии расследования содержат временной интервал, при этом модуль расследования дополнительно выполнен с возможностью формирования списка людей, присутствие которых было обнаружено в помещении в указанном временном интервале.

В соответствии с еще одним аспектом настоящего изобретения модуль расследования дополнительно выполнен с возможностью определения текущего местоположения человека путем обнаружения сигнала, соответствующего данным мобильного устройства связи, полученным в первом местоположении.

В любом из предыдущих аспектов антенна может содержать что-либо одно или комбинацию из антенны WiFi, антенны управления доступом к среде передачи (MAC), антенны Bluetooth, антенны сотовой связи, антенны связи малого радиуса действия и антенны радиочастотной идентификации.

В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список, неопределенный список или негативный список на основании чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи, данных профиля и введенных пользователем критериев.

В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список на основании определения того, что что-либо одно или комбинация из видеоданных, данных мобильного устройства связи и профиля соответствуют сотруднику или человеку из заранее заданного списка людей.

В любом из предыдущих аспектов антенна выполнена с возможностью захвата данных мобильного устройства связи путем беспроводного приема данных из мобильного устройства связи, расположенного в зоне действия этой антенны.

В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью обнаружения поведения человека и сохранения в профиле данных поведения, соответствующих указанному поведению.

В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных выполнен с возможностью обнаружения поведения человека путем извлечения информации о поведении из чего-либо одного или комбинации из видеоданных и данных мобильного устройства связи. Указанное поведение содержит что-либо одно или комбинацию из взгляда в некотором направлении, протягивания руки за товаром, покупки товара, прохода по некоторому маршруту в помещении, посещения прохода или местоположения в помещении, проведения некоторого времени в помещении, проведения некоторого времени в указанном местоположении в помещении и посещения помещения некоторое число раз в разное время.

В еще одном аспекте настоящего изобретения модуль анализа данных выполнен с возможностью классифицирования человека как нового клиента или повторного клиента в данном помещении на основании данных посещения помещения, сохраненных в профиле, и с возможностью добавления в профиль или уточнения в профиле показателя того, является ли этот человек новым клиентом или повторным клиентом в данном помещении.

В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных выполнен с возможностью обнаружения поведения человека путем сопоставления чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи и данных профиля с чем-либо одним или комбинацией из плана расположения проходов в помещении, плана размещения товара в помещении и плана расположения стеллажей в помещении.

В еще одном аспекте настоящего изобретения аналитическая система распознавания дополнительно содержит модуль расследования, выполненный с возможностью поиска на основании критериев отчета чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи, данных профиля и данных продаж. Модуль расследования дополнительно выполнен с возможностью формирования отчета на основании поиска чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи и данных профиля. Отчет содержит показатель закрытия продаж, соответствующий чему-либо одному или комбинации из товара, категории товара, прохода в помещении, стеллажа в помещении или заранее заданного места в помещении.

В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных дополнительно выполнен с возможностью формирования данных местоположения, соответствующих поведению, на основании чего-либо одного или комбинации из видеоданных и данных мобильного устройства связи, и с возможностью сохранения указанных данных местоположения в профиле в сочетании сданными поведения.

Краткое описание чертежей

Фиг. 1 представляет системную функциональную схему варианта осуществления системы видеонаблюдения, мониторинга и контроля в соответствии с настоящим изобретением.

Фиг. 2 представляет контроллер последовательности данных/видео/изображений в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 3 представляет иллюстрацию плана изображений и связанной с ним временной шкалы, формируемых контроллером последовательности, показанным на фиг. 2.

Фиг. 4 представляет схематичную иллюстрацию аналитической системы распознавания, используемой для идентификации объекта и слежения за объектом в соответствии с еще одним вариантом осуществления настоящего изобретения.

Фиг. 5 представляет схематичную иллюстрацию аналитической системы распознавания, используемой для контроля за сбором скопления людей в соответствии с еще одним вариантом осуществления настоящего изобретения.

Фиг. 6 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для распознавания характерных признаков объекта в соответствии с еще одним вариантом осуществления настоящего изобретения.

Фиг. 7 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для общественной сети видеонаблюдения в соответствии с еще одним вариантом осуществления настоящего изобретения.

Фиг. 8 представляет снимок экрана варианта осуществления модуля расследования, отображающего расследование в соответствии с настоящим раскрытием.

Фиг. 9 представляет блок-схему аналитического способа распознавания в соответствии с примерным вариантом осуществления настоящего изобретения.

Термины

В настоящем раскрытии (включая вышеприведенный текст) используются следующие термины.

Термином «видеокамера» может обозначаться устройство записи визуальной информации. В число примеров видеокамеры может входить одно или более следующих устройств: система с регистратором видеоизображения и объективом; видеокамера; цифровая видеокамера; цветная камера; монохромная камера; камера; записывающая видеокамера; компьютерная камера; веб-камера; инфракрасная (ИК) видеокамера; видеокамера для работы при малой освещенности; тепловая видеокамера; камера системы видеонаблюдения (CCTV); камера панорама/наклон/зум; устройство для восприятия видеоинформации. Видеокамера может быть расположена определенным образом с целью наблюдения за зоной, представляющей интерес.

Термином «видео» может обозначаться видеоизображение, полученное из видеокамеры и представленное в аналоговой и/или в цифровой форме. В число примеров видео могут входить: телевизионное изображение; фильм; последовательность изображений из видеокамеры или другого устройства наблюдения; последовательность изображений из передачи, ведущейся в реальном времени; последовательность изображений, сформированная компьютером; последовательность изображений из компьютерной графической машины; последовательность изображений из запоминающего устройства, например, из машиночитаемого носителя данных, цифрового видеодиска (Digital Video Disk, DVD) или диска высокого разрешения (High-Definition Disk, HDD); последовательность изображений из интерфейса на основе IEEE 1394; последовательность изображений из устройства преобразования видеоизображения в цифровую форму; или последовательность изображений из сети.

«Видеоданные» представляют собой визуальную часть видео.

«Невизуальные данные» представляют собой невизуальную информацию, полученную из видеоданных.

Термином «видеопоследовательность» может обозначаться выбранная часть видеоданных и/или невизуальных данных.

Термином «обработка видео» может обозначаться любая операция с видеоданными и/или анализ видеоданных, в том числе, например, сжатие, монтаж и выполнение алгоритма, формирующего невизуальные данные из видео.

Термином «кадр» может обозначаться конкретное изображение или иной дискретный элемент видео.

Термином «компьютер» может обозначаться одно или более устройств и/или одна или более систем, выполненных с возможностью приема структурированных входных данных, обработки указанных данных в соответствии с предписанными правилами и формирования результатов указанной обработки в виде выходных данных. В число примеров компьютера могут входить: компьютер; стационарный и/или портативный компьютер; компьютер с одним процессором, несколькими процессорами или с многоядерными процессорами, которые могут работать параллельно и/или не параллельно; компьютер общего назначения; суперкомпьютер; электронная вычислительная машина коллективного пользования; сверхминиатюрный компьютер; мини-компьютер; рабочая станция; микрокомпьютер; сервер; клиент; устройство интерактивного телевидения; бытовой прибор с подключением к интернет; телекоммуникационное устройство с доступом в интернет; гибридная комбинация компьютера и устройства интерактивного телевидения; портативный компьютер; планшетный персональный компьютер (ПК); карманный персональный компьютер (КПК); портативный телефон; специализированное аппаратное средство для эмуляции компьютера и/или программы, например, цифровой сигнальный процессор (digital signal processor, DSP), перепрограммируемая матрица логических элементов (field-programmable gate array, FPGA), интегральная схема специального назначения (application specific integrated circuit, ASIC), процессор с набором команд специального назначения (application specific instruction-set processor, ASIP), микросхема, микросхемы или набор микросхем; однокристальная электронная система (system on a chip, SoC) или многопроцессорная однокристальная электронная система (multiprocessor system-on-chip, MPSoC); оптический компьютер; квантовый компьютер; биологический компьютер; и устройство, выполненное с возможностью приема данных, с возможностью обработки данных в соответствии с одной или более сохраненными программами, реализованными программным способом, с возможностью формирования результатов, которое, как правило, может содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.

Термином «программное обеспечение» могут обозначаться предписанные правила функционирования компьютера. В число примеров программного обеспечения могут входить: программа; сегменты кода; команды; апплеты; предварительно откомпилированный код; компилированный код; интерпретированный код; компьютерные программы; и запрограммированная логика. В настоящем раскрытии термины «программа» и «код» могут применяться в отношении программного обеспечения, микропрограммы или комбинации программного обеспечения и микропрограммы.

Термином «машиночитаемый носитель данных» может обозначаться любое запоминающее устройство, используемое для хранения данных и выполненное с возможностью использования компьютером. В число примеров машиночитаемого носителя данных могут входить: магнитный жесткий диск; гибкий диск; оптический диск, например, CD-ROM и DVD; магнитная лента; съемная флэш-память; микросхема памяти; и/или другие типы носителей данных, выполненные с возможностью хранения в себе машиночитаемых команд. Термин «долговременный машиночитаемый носитель данных» охватывает все машиночитаемые носители данных за единственным исключением распространяющегося кратковременного сигнала.

Термином «компьютерная система» может обозначаться система, содержащая один или более компьютеров, в которой каждый компьютер может содержать машиночитаемый носитель данных, содержащий в своем составе программное обеспечение для управления работой этого компьютера. В число примеров компьютерной системы могут входить: распределенная компьютерная система для обработки информации посредством компьютерных систем, связанных сетью; две или более компьютерных системы, соединенные через сеть с целью передачи и/или приема информации между указанными компьютерными системами; и одно или более устройств и/или одна или более систем, которые выполнены с возможностью приема данных, с возможностью обработки данных в соответствии с одной или более сохраненными программами, с возможностью формирования результатов, и которые, как правило, могут содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.

Термином «сеть» могут обозначаться несколько компьютеров и относящихся к ним устройств, которые могут быть соединены между собой средствами связи. В сети могут использоваться постоянные соединения, например, кабели, или временные соединения, например, соединения, устанавливаемые через телефонные или другие линии связи. Сеть может дополнительно содержать проводные соединения (к примеру, коаксиальный кабель, витую пару, волоконно-оптический кабель, волноводы и т.д.) и/или беспроводные соединения (к примеру, радиочастотные сигналы, оптические сигналы в свободном пространстве, акустические сигналы и т.д.). В число примеров сети могут входить: межсетевая сеть, например, интернет; внутренняя сеть (интранет); локальная сеть (local area network, LAN); глобальная сеть (wide area network, WAN); и комбинация сетей, например, интернет и интранет. Предлагаемые в качестве примера сети могут работать с использованием произвольного количества протоколов, например, интернет-протокола (Internet protocol, IP), протокола асинхронного режима передачи (Asynchronous Transfer Mode, ATM) и/или протокола синхронной оптической сети (synchronous optical network, SONET), протокола передачи пользовательских данных (User Datagram Protocol, UDP), протокола IEEE 802.x и т.д.

Анализом или обработкой, выполняемыми «в реальном времени», как правило, называется анализ или обработка видео, получаемого в реальном времени («в прямом эфире»), и практически моментальная передача отчетов или предупреждений о нештатных состояниях (заранее запрограммированных состояниях), нештатных сценариях (праздношатание, скопление людей, оставление предметов одежды или рюкзаков, портфелей, продуктов питания на нештатное время и т.д.) или других сценариях на основании поведения элементов (клиентов, постоянных покупателей, людей в толпе и т.д.) в одном или более видеопотоках.

Анализом или обработкой, выполняемыми «в отложенном режиме», как правило, называется обработка сохраненного видео из источника на основе камеры (из определенной системы камер (к примеру, в магазине, на автостоянке, на улице) или других видеоданных (из сотового телефона, домашней видеозаписи и т.д.)) и передача отчетов или предупреждений о нештатных состояниях (состояниях, программируемых позднее), нештатных сценариях (праздношатание, скопление людей, оставление предметов одежды или рюкзаков, портфелей, продуктов питания на нештатное время и т.д. или других сценариях на основании поведения элементов (клиентов, постоянных покупателей, людей в толпе и т.д.) в одном или более сохраненных видеопотоках.

«Данными мобильного устройства связи», как правило, называются данные, переданные мобильным устройством связи и/или полученные из него посредством связи с беспроводным или проводным протоколом.

Осуществление изобретения

Далее со ссылкой на сопровождающие чертежи раскрываются конкретные варианты осуществления настоящего изобретения, однако должно быть понятно, что раскрытые варианты представляют собой лишь примеры осуществления изобретения, которое может быть осуществлено в различных формах. Чтобы не загромождать настоящее раскрытие ненужными подробностями, хорошо известные функциональные модули или конструкции не описываются подробно. Поэтому раскрытые здесь конкретные конструктивные и функциональные подробности должны интерпретироваться не как ограничивающие, а лишь как основа для толкования формулы и как иллюстративная основа для пояснения, понятного специалисту в данной области техники, различных вариантов осуществления настоящего изобретения в практически любой должным образом детализированной конструкции. В описании и на чертежах подобными номерами представлены элементы, которые могут выполнять одинаковые, подобные или эквивалентные функции.

Кроме того, настоящее изобретение может быть раскрыто здесь посредством компонентов функциональных блоков, листингов кода, элементов выбора, экранов отображения страниц и различных шагов обработки. Должно быть понятно, что такие функциональные блоки могут быть осуществлены посредством произвольного количества аппаратных и/или программных компонентов, выполненных с возможностью выполнения определенных функций. Например, в настоящем раскрытии могут использоваться различные компоненты, представляющие собой интегральные схемы, к примеру, элементы памяти, элементы, обрабатывающие информацию, логические элементы, таблицы соответствия и т.п., которые могут выполнять разнообразные функции под управлением одного или более микропроцессоров или иных управляющих устройств.

Аналогично, программные элементы настоящего раскрытия могут быть осуществлены с использованием любого языка программирования или языка описания сценариев, например, С, С++, С#, Java, COBOL, ассемблер, PERL, Python, PHP и т.п., с реализацией различных алгоритмов посредством произвольной комбинации структур данных, объектов, операций, подпрограмм или иных программных элементов. Созданный объектный код может исполняться под управлением различных операционных систем, включая Windows^®, Macintosh OSX^®, iOS^®, Linux и/или Android^®, но не ограничиваясь перечисленным.

Кроме того, следует отметить, что в настоящем раскрытии может использоваться произвольное количество общеизвестных способов передачи данных, сигнализации, обработки данных, управления сетью и т.п. Следует понимать, что представленные и раскрытые здесь конкретные варианты осуществления предназначены лишь для иллюстрации изобретения и предпочтительного варианта его осуществления, но не подразумевают какого-либо ограничения объема настоящего изобретения. В представленных здесь примерах могут содержаться образцы элементов данных (к примеру, имена, даты и т.д.), которые служат лишь для пояснения и не должны пониматься как ограничивающие. Для краткости здесь могут не раскрываться подробно обычные сети передачи данных, разработка прикладных программ и другие функциональные аспекты систем (и компоненты отдельных функциональных элементов систем). Соединительные линии, представленные на различных фигурах чертежей, входящих в состав настоящего документа, предназначены для представления примера функциональных взаимосвязей и/или физических или виртуальных соединений между различными элементами. Следует отметить, что на практике в электронной системе передачи данных может быть множество альтернативных или дополнительных функциональных взаимосвязей и физических или виртуальных соединений.

Специалисту обычного уровня в данной области техники должно быть понятно, что настоящее изобретение может быть осуществлено в виде способа, системы обработки данных, устройства для обработки данных и/или компьютерного программного продукта. Соответственно, настоящее изобретение может принимать форму полностью программного варианта осуществления, полностью аппаратного варианта осуществления или варианта осуществления, сочетающего как программный аспект, так и аппаратный аспект. Кроме того, настоящее изобретение может принимать форму компьютерного программного продукта на машиночитаемом носителе данных, содержащего машиночитаемые программные кодовые средства, реализованные на указанном носителе данных. Может быть использован любой пригодный машиночитаемый носитель данных, в том числе жесткие диски, CD-ROM, DVD-ROM, оптические запоминающие устройства, магнитные запоминающие устройства, полупроводниковые запоминающие устройства (к примеру, портативные запоминающие устройства с интерфейсом USB) и т.п.

В настоящем документе термины «элемент пользовательского интерфейса» и/или «кнопка» следует понимать как неограничивающие, охватывающие своим содержанием и другие элементы интерфейса, например, без ограничений, гиперссылку, изображение с возможностью нажатия на него и т.п.

Настоящее изобретение далее раскрыто со ссылкой на иллюстративные функциональные схемы и блок-схемы способов, устройств (к примеру, систем) и компьютерных программных продуктов в соответствии с различными аспектами настоящего изобретения. Следует понимать, что любые функциональные блоки иллюстративных функциональных схем и блок-схем, а также комбинации функциональных блоков, показанные на функциональных схемах и блок-схемах, соответственно, могут быть осуществлены посредством инструкций компьютерной программы. Эти инструкции компьютерной программы могут быть загружены в компьютер общего назначения, в компьютер специального назначения, в мобильное устройство или в другое программируемое устройство обработки данных с целью реализации устройства, функционирующего таким образом, что посредством инструкций, исполняемых этим компьютером или другим программируемым устройством обработки, создается средство реализации функций, указанных в блоке или блоках блок-схемы.

Эти инструкции компьютерной программы также могут быть сохранены в машиночитаемой памяти, которая может управлять компьютером или другим программируемым устройством обработки данных для обеспечения его функционирования определенным образом, т.е., инструкции, сохраненные в этой машиночитаемой памяти, создают изделие, содержащее командные средства, реализующие функцию, указанную в блоке или блоках блок-схемы. Эти инструкции компьютерной программы также могут быть загружены в компьютер или другое программируемое устройство обработки данных с целью вызвать выполнение на указанном компьютере или другом программируемом устройстве обработки данных последовательности рабочих шагов, реализующей выполняемую компьютером операцию таким образом, что посредством инструкций, исполняемых этим компьютером или другим программируемым устройством, выполняются шаги реализации функций, указанных в блоке или блоках блок-схемы.

Соответственно, функциональные блоки иллюстративных функциональных схем и блок-схем допускают комбинирование средств выполнения указанных функций, комбинирование шагов выполнения указанных функций и средств реализации указанных функций посредством инструкций программы. Также следует понимать, что любые функциональные блоки иллюстративных функциональных схем и блок-схем, а также комбинации функциональных блоков, показанные на функциональных схемах и блок-схемах, могут быть осуществлены как аппаратно реализованной компьютерной системой специального назначения, выполняющей указанные функции или шаги, так и пригодными для этой цели комбинациями аппаратуры специального назначения и компьютерных инструкций.

Специалисту в данной области техники также должно быть понятно, что по соображениям безопасности какие-либо базы данных, системы или компоненты вариантов осуществления настоящего изобретения могут состоять из произвольной комбинации баз данных или компонентов, находящихся в одном месте или в нескольких местах, при этом каждая база данных или система содержит любые пригодные для это цели средства защиты, например, межсетевые экраны, коды доступа, шифрование, дешифрование, сжатие, восстановление сжатых данных и т.п.

Объем настоящего изобретения следует определять по прилагаемой формуле изобретения и ее законным эквивалентам, а не по приведенным здесь примерам. Например, шаги, изложенные в каком-либо пункте формулы изобретения на способ, могут выполняться в произвольном порядке и не ограничены порядком, представленном в формуле изобретения. Кроме того, ни один элемент не является существенным для практического осуществления изобретения, если явным образом не указано, что элемент является существенным или необходимым.

Со ссылкой на фиг. 1 представлена аналитическая система 100 распознавания, выполняющая функции видеонаблюдения, мониторинга и верификации в соответствии с вариантом осуществления настоящего изобретения. Система 100 представляет собой сетевое устройство записи видео и данных, выполненное с возможностью записи видео из одной или более камер 110 (к примеру, аналоговых камер и/или IP-камер) и других данных, получаемых посредством одной или более антенн 150. Видеокамеры 110 соединены с компьютером 120 через соединение 130. Соединением 130 может быть аналоговое соединение, посредством которого видео передается в компьютер 120, цифровое соединение, посредством которого обеспечивается сетевое соединение между видеокамерой 110 и компьютером 120, либо соединение 130 может содержать аналоговое соединение и цифровое соединение.

Каждая видеокамера 110 подключена к компьютеру 120 и к пользовательскому интерфейсу 122, образуя тем самым пользовательское подключение к компьютеру 120. Каждая из указанных одной или более видеокамер 110 может подключаться через индивидуальное соединение, может подключаться через общее сетевое соединение или через любую комбинацию указанных соединений.

Указанные одна или более антенн 150 могут быть прикреплены к или содержаться в одной или более видеокамерах 110 или компьютере 120 и/или могут располагаться на удалении от одной или более видеокамер 110 и компьютера 120. Указанные одна или более антенн 150 могут быть соединены с возможностью осуществления связи с компьютером 120 посредством соединения 130 или могут осуществлять беспроводную связь с компьютером 120 посредством антенны компьютера 120.

Указанными одной или более антеннами 150 могут быть одна произвольная антенна или комбинация антенн различных типов. В число примеров типов одной или более антенн 150 входят антенна WiFi, антенна управления доступом к среде передачи (MAC), антенна Bluetooth, антенна сотовой связи, антенна связи малого радиуса действия, антенна радиочастотной идентификации (Radio Frequency Identification, RFID) и антенна системы глобального позиционирования (Global Positioning System, GPS). Должно быть понятно, что показанное на фиг. 1 в качестве примера расположение антенн 150 предлагается лишь в иллюстративных целях и возможны другие расположения антенн 150. Например, одна камера 110 может содержать множество антенн различных типов.

Как более подробно рассматривается в настоящем документе, одна или более антенн 150 выполнены с возможностью захвата данных мобильного устройства связи из одного или более мобильных устройств связи (к примеру, смартфонов), расположенных в зоне действия одной или более антенн 150, и с возможностью передачи захваченных данных мобильного устройства связи в модуль 140 анализа данных для обработки в соответствии с различными вариантами осуществления настоящего изобретения, представленными в настоящем документе. Антенна 150 может быть выполнена с возможностью захвата данных мобильного устройства связи путем беспроводного приема данных, передаваемых мобильным устройством связи, находящимся в зоне действия антенны. Антенна 150 может быть выполнена с возможностью беспроводного приема данных из расположенных неподалеку мобильных устройств связи с периодической или непрерывной посылкой запросов в мобильные устройства связи и/или с возможностью периодического или непрерывного прослушивания мобильных устройств связи и захвата передаваемых ими данных без отправки ping-запросов.

Система 100 содержит по меньшей мере один модуль 140 анализа данных. Модуль 140 анализа данных может находиться в компьютере 120 и/или в одной или более видеокамерах 110. Модуль 140 анализа данных выполняет обработку видео и/или данных мобильного устройства связи. Например, модуль 140 анализа данных выполняет один или более алгоритмов для формирования невизуальных данных из видео и/или из данных мобильного устройства связи. Невизуальные данные содержат невизуальные данные кадра, описывающие содержание отдельных кадров, например, объекты, идентифицированные в кадре, одно или более свойств объектов, идентифицированных в кадре, и одно или более свойств, относящихся к заранее определенным частям кадра. В число невизуальных данных также могут входить невизуальные данные времени описывающие длящееся во времени содержание между двумя или большим числом кадров. Невизуальные данные времени могут формироваться из визуальных и/или из невизуальных данных кадра. Невизуальные данные времени содержат данные времени например, временные свойства объекта, идентифицированного на двух или более кадрах, и временное свойство одной или более заранее определенных частей двух или более кадров. В число невизуальных данных кадра может входить количество обнаруженных объектов (в число объектов, к примеру, могут входить люди и/или произвольные части их тел, неживые объекты, животные, транспортные средства или объекты, заданные и/или созданные пользователем) и одно или более свойств объекта (к примеру, положение объекта, положение произвольной части объекта, размерные свойства объекта, размерные свойства частей и/или обнаруженных особенностей объекта) и свойств взаимосвязей (к примеру, положение первого объекта относительно второго объекта или любого другого объекта, который может быть идентифицирован в кадре). Объекты могут быть идентифицированы как объекты, появившиеся в видео, или объекты, исчезнувшие из видео. Объекты могут быть идентифицированы как виртуальные объекты, которые реально не появляются в видео, но могут быть добавлены для целей расследования, обучения и т.д.

В различных вариантах осуществления изобретения, предлагаемых в настоящем документе в качестве примера, модуль 140 анализа данных выполнен с возможностью сопоставления видеоданных и данных мобильного устройства связи, захваченных, соответственно, видеокамерами и антеннами, для формирования профиля человека, связанного с указанными видеоданными и данными мобильного устройства связи. Профиль может содержать данные профиля, например, захваченные видеоданные, захваченные данные мобильной связи и/или другие типы данных, относящихся к человеку (к примеру, имя, дату рождения, адрес места жительства и т.п.).

Профиль может содержать захваченные видеоданные, захваченные данные мобильного устройства связи, данные времени, связанные с захваченными видеоданными или данными мобильного устройства связи, и/или данные местоположения, связанные с захваченными видеоданными или данными мобильного устройства связи. Захваченные видеоданные могут содержать захваченное неподвижное изображение и/или захваченный видеоматериал. Данные мобильного устройства связи могут содержать идентификатор WiFi, идентификатор управления доступом к среде передачи (MAC), идентификатор Bluetooth, идентификатор сотовой связи, идентификатор связи малого радиуса действия, радиочастотный идентификатор и/или любой другой идентификатор или данные, связанные с мобильным устройством связи, осуществляющим связь с антенной. Данные времени могут содержать время, в которое захвачены соответствующие видеоданные, и/или время, в которое захвачены соответствующие данные мобильного устройства связи. Данные местоположения могут содержать местоположение, в котором захвачены видеоданные, и/или местоположение, в котором захвачены данные мобильного устройства связи.

Модуль 140 анализа данных может быть выполнен с возможностью добавления в профиль количества посещений помещения человеком и/или частоты посещений помещения человеком на основании сопоставленных видеоданных и данных мобильного устройства связи. Модуль 140 анализа данных также может быть выполнен с возможностью сравнения данных, полученных из первого источника (к примеру, из базы данных неправительственной организации, базы данных правительственной организации и одного или более ранее сформированных профилей), с захваченными видеоданными, захваченными данными мобильного устройства связи, сопоставленными видеоданными и данными мобильного устройства связи, и/или профилем, и с возможностью идентификации человека на основании указанного сравнения.

Модуль 140 анализа данных также может быть выполнен с возможностью определения времени прихода и/или времени ухода человека в определенное помещение или местоположение или из него на основании захваченных видеоданных и/или данных мобильного устройства связи. Модуль 140 анализа данных может сопоставлять видеоданные и данные мобильного устройства связи на основании указанных времени прихода и/или времени ухода. Такое сопоставление на основании времени, например, может дать модулю 140 анализа данных возможность связывания конкретного элемента данных мобильного устройства связи (к примеру, идентификатора Wi-Fi) с определенным человеком, присутствующем на захваченном видео.

В одном примере видеокамерой 110 может быть одна из множества видеокамер 110, содержащихся в системе 100, и видеокамеры 110 могут быть выполнены с возможностью захвата множества наборов видеоданных, соответственно. Аналогично, антенной 150 может быть одна антенна из множества антенн 150, содержащихся в системе, и множество антенн 150 может быть выполнено с возможностью захвата множества наборов данных мобильного устройства связи, соответственно. Модуль 140 анализа данных также может быть выполнен с возможностью сопоставления множества наборов видеоданных и данных мобильного устройства связи для формирования соответствующих профилей для множества людей, которые связаны с соответствующими видеоданными и данными мобильного устройства связи. Видеокамеры и антенны могут быть размещены во множестве разных местоположений и/или помещений.

В еще одном примере модуль 140 анализа данных может быть выполнен с возможностью внесения человека в позитивный список, неопределенный список или негативный список на основании видеоданных, данных мобильного устройства связи, данных профиля и/или введенных пользователем критериев (к примеру, введенных через модуль 800 расследования, описываемый далее). Модуль 140 анализа данных также может быть выполнен с возможностью установления факта соответствия видеоданных, данных мобильного устройства связи и/или профиля сотруднику или человеку из заранее заданного списка людей, и может относить человека к позитивному списку на основании установления этого факта.

В некоторых примерных вариантах осуществления настоящего изобретения модуль 140 анализа данных может быть выполнен с возможностью обнаружения поведения человека и сохранения в профиле данных поведения, соответствующих указанному поведению. Модуль 140 анализа данных может, например, быть выполнен с возможностью обнаружения поведения человека путем извлечения информации о поведении из видеоданных и/или данных мобильного устройства связи. Указанное поведение может содержать взгляд человека в конкретном направлении, протягивание руки за товаром, покупку товара, проход по некоторому маршруту в помещении, посещение прохода или местоположения в помещении, проведение некоторого времени в помещении, проведение некоторого времени в местоположении в помещении и/или посещения помещения некоторое число раз в разное время. Модуль 140 анализа данных может, кроме того, быть выполнен с возможностью классифицирования человека как нового клиента или повторного клиента в данном помещении на основании данных посещения помещения, сохраненных в профиле. Модуль 140 анализа данных может добавлять в профиль или уточнять в профиле признак того, является ли этот человек новым клиентом или повторным клиентом в данном помещении. Модуль 140 анализа данных в некоторых случаях может быть выполнен с возможностью обнаружения поведения человека путем сопоставления видеоданных, данных мобильного устройства связи и/или данных профиля с планом расположения проходов в помещении, планом размещения товара в помещении и/или планом расположения стеллажей в помещении.

В некоторых аспектах, предлагаемых в настоящем документе в качестве примера, Модуль 140 анализа данных может быть выполнен с возможностью формирования, на основании захваченных видеоданных и/или данных мобильного устройства связи, данных местоположения, соответствующих конкретному поведению, и сохранения этих данных местоположения в профиле со связью с соответствующими данными поведения.

Модуль 140 анализа данных может быть расположен в камере 110 и выполнен с возможностью преобразования видео в видеоданные и невизуальные данные и передачи указанных видеоданных и невизуальных данных в компьютер 120 через сеть. Таким образом система 100 передает функцию обработки видео на периферию сети, чем минимизирует объем обработки, который должен выполняться компьютером 120.

Компьютер 120 содержит машиночитаемый носитель данных, содержащий программное обеспечение для контроля поведения пользователя, которое при исполнении компьютером 120 вызывает выполнение операций компьютером 120. Пользовательский интерфейс 122 обеспечивает интерфейс с компьютером 120. Пользовательский интерфейс 122 может подключаться непосредственно к компьютеру 120 или может опосредованно подключаться к компьютеру 120 через пользовательскую сеть. Системный пользовательский интерфейс 122 также может быть выполнен с возможностью приема одного или более критериев от пользователя и с возможностью поиска профилей на основании указанных критериев. В некоторых вариантах осуществления изобретения, предлагаемых в настоящем документе в качестве примера, пользовательский интерфейс 122 может содержать модуль 800 расследования, что подробно описывается ниже.

Поведение пользователя определяется действием, бездействием, движением, множеством проявлений события, временным событием, внешним событием или любым их сочетанием. Конкретное поведение пользователя задают и сообщают в компьютер 120.

Действие может содержать взятие объекта, при котором объект размещают или оставляют в конкретном местоположении. Действие может содержать перемещение конкретного объекта, например, открывание двери, выдвижного ящика или ячейки. Действие может содержать расположение (или изменение положения) части тела, например помещение руки в карман или многократное поглаживание себя по определенному месту (признак того, что может быть спрятано оружие). Действие может содержать движение в конкретное место, прикосновение одного человека к другому человеку и/или перемещение кисти руки, руки, ноги и/или ступни в ходе конкретного движения. Действие также может содержать расположение головы в конкретном направлении, например, прямой взгляд на сотрудников охраны или в камеру 110 охраны. Другие разнообразные примеры рассмотрены выше.

Бездействие может содержать невзятие объекта, когда объект уронили или разместили конкретным образом, а человек (к примеру, объект наблюдения) не поднял упавший объект. Бездействие также может содержать неприбытие в конкретное место или невыполнение конкретной функции. Например, чтобы проверить, заперта ли дверь запасного выхода, требуется действие, состоящее в приближении к двери, и действие, состоящее в приложении усилия к двери с целью убедиться в том, что дверь не откроется. При этом поведение пользователя при проверке того, заперта ли дверь, может быть задано как бездействие - невыполнение приближения к двери и/или бездействие - невыполнение надавливания на дверь. Другие разнообразные примеры бездействия рассмотрены выше.

Временное событие может содержать обнаружение клиента, внезапно покинувшего магазин, длительное пребывание человека у входа в магазин или у выхода из магазина, пребывание человека в конкретном месте в течение периода времени, превосходящего пороговое значение. Другие разнообразные примеры временного события рассмотрены выше.

Пользователь может идентифицировать конкретное поведение пользователя и передавать и/или задавать характеристики этого конкретного поведения пользователя в компьютере 120. Компьютер 120 принимает невизуальные данные из камеры 110, причем эти невизуальные данные содержат данные информации о поведении. Конкретное поведение пользователя может быть задано моделью 143 поведения, содержащей один или более атрибутов, например, размер, форму, длину, ширину, отношение сторон или любой другой идентифицирующий или идентифицируемый атрибут (к примеру, татуировку или другие атрибуты, рассматриваемые в настоящем документе). Компьютер 120 содержит алгоритм проверки соответствия или модуль 141 проверки соответствия, например, компаратор, который сравнивает заданные характеристики и/или модель 143 конкретного поведения пользователя с поведением пользователя в заданных невизуальных данных. Признак соответствия в алгоритме проверки соответствия или в модуле 141 вызывает формирование расследования, содержащего видеоданные и/или невизуальные данные, идентифицированные алгоритмом 141 проверки соответствия. Расследование представляет собой подборку данных, относящихся к идентифицированному событию, и служит, в основном, для документирования поведения, представляющего интерес. При этом расследования требуют последующего контроля и инспекции с целью изучения конкретного поведения.

Расследование может быть передано в другие камеры или системы данной сети или передано через сообщество сетей для проверки на соответствие или для идентификации и передачи оповещения. Алгоритм 141 проверки соответствия может быть реализован в виде независимого модуля или может быть встроен в модуль 140 анализа данных в компьютере 120 или в любой из камер 110. Модуль 140 анализа данных также может содержать модуль 142 сравнения, выполненный с возможностью сравнения модели 143 определенного поведения пользователя и невизуальных данных.

Конкретное поведение пользователя может быть задано как превышение заранее заданного периода ориентирования головы в направлении камеры 110 наблюдения или превышение заранее заданного периода ориентирования головы в направлении кабинета руководителя. Такое конкретное поведение пользователя может быть признаком того, что клиент хочет найти камеры 110 наблюдения в магазине в попытке предотвратить свое обнаружение при совершении кражи, или того, что один из сотрудников хочет проверить, наблюдает ли руководитель за их поведением. Модуль 140 анализа данных выполняет алгоритм формирования невизуальных данных, распознающий положение головы объектов наблюдения. Модуль 140 анализа данных также может сообщать вектор, указывающий ориентацию лица и/или направление взгляда. Алгоритм 141 проверки соответствия выполняет поиск невизуальных данных с целью проверки превышения длительностью конкретного положения головы и/или определенного вектора, указывающего ориентацию лица, заранее заданного периода. При обнаружении соответствия формируется результат расследования.

Со ссылкой на фиг. 2 представлен контроллер 200 последовательности данных/видео/изображений в соответствии с вариантом осуществления настоящего изобретения. Контроллер 200 последовательности выполнен с возможностью приема видео, видеоданных, невизуальных данных, видеопоследовательностей и/или неподвижных изображений из различных источников видеоинформации (к примеру, из различных одной или более видеокамер 110) и/или из различных одной или более антенн 150. Например, из местоположений 1 и 2 видео может передаваться непрерывно, а из местоположения 7 могут передаваться только данные движения. Из местоположений 3 и 6 могут передаваться короткие видеоклипы, а из местоположений 4 и 5 могут передаваться неподвижные изображения. Данные мобильного устройства связи могут передаваться из местоположений 1-7. Эти данные могут передаваться в контроллер 200 последовательности через любое пригодное средство связи (к примеру, через LAN, WAN, интранет, интернет, фиксированное проводное соединение, модемное соединение, беспроводное соединение и т.д.). Как показано на фиг. 2, данные из каждого местоположения могут передаваться любым пригодным образом, например, непрерывно, периодически с заранее заданной частотой, асинхронно, в ответ на прием триггера и т.п.

Контроллер 200 последовательности формирует метку времени из данных, предоставленных с видеоданными, данными изображения и/или данными мобильного устройства связи. Метка времени может содержаться в видеоданных, данных изображения и/или данных мобильного устройства связи, предоставляться как часть видеоданных, данных изображения и/или данных мобильного устройства связи, или может предоставляться в файле, содержащем видеоданные, данные изображения и/или данные мобильного устройства связи. Как вариант, контроллер 200 последовательности может быть выполнен с возможностью приема введенных пользователем данных, содержащих информацию метки времени, связанной с каждым актом ввода данных пользователем.

Контроллер 200 последовательности может, дополнительно или в качестве альтернативного варианта, формировать географическое местоположение из данных, предоставленных с видеоданными, данными изображения и/или данными мобильного устройства связи. Информация о географическом местоположении может содержаться в видеоданных, данных изображения и/или данных мобильного устройства связи, предоставляться как часть видеоданных, данных изображения и/или данных мобильного устройства связи, или может предоставляться в файле, содержащем видеоданные, данные изображения и/или данные мобильного устройства связи. Например, видеоданные, данные изображения и/или данные мобильного устройства связи могут содержать идентифицирующий объект, который может использоваться для идентификации местоположения, в котором было получено данное изображение.

Контроллер 200 последовательности может, дополнительно или в качестве альтернативного варианта, формировать данные о поле зрения (ПЗ) (FOV, field-of-view) для видеоданных и/или данных изображения. Данные ПЗ могут быть получены из информации о местоположении камеры, из информации, содержащейся в самом видео (к примеру, определены по идентифицирующему объекту) и/или могут быть введены пользователем. Контроллер 200 последовательности может, дополнительно или в качестве альтернативного варианта, формировать данные о зоне действия антенны для данных мобильного устройства связи. Данные о зоне действия антенны могут быть получены из информации о местоположении антенны 150, полученной из информации, содержащейся в данных мобильного устройства связи, и/или могут вводиться пользователем.

Фиг. 3 представляет иллюстрацию плана 300 изображений и связанной с ним временной шкалы 310, формируемых контроллером 200 последовательности. Контроллер 200 последовательности может быть выполнен с возможностью использования данных метки времени, данных географического местоположения и/или данных ПЗ для построения плана 300 изображений и временной шкалы 310 на основании всех видеоданных и данных изображения (или любой их части), переданных в контроллер 200 последовательности.

Пользователь может указать контроллеру 200 последовательности конкретное время и/или интервал времени, а контроллер 200 последовательности предоставляет все видеоданные, изображения и/или данные мобильного устройства связи, относящиеся к указанному времени. Время и/или интервал времени могут выбираться на временной шкале 310, а план 300 изображений может обновляться так, чтобы содержать все видеоданные, данные изображения и/или данные мобильного устройства связи, относящиеся к выбранному времени и/или интервалу времени.

Пользователь может, дополнительно или в качестве альтернативного варианта, указывать контроллеру 200 последовательности выбранное местоположение, а контроллер последовательности предоставляет все видеоданные, данные изображения и/или данные мобильного устройства связи, относящиеся к этому конкретному местоположению. Местоположение может выбираться по плану 300 изображений или сообщаться в виде данных географического местоположения в контроллер 200 последовательности.

Пользователь может, дополнительно или в качестве альтернативного варианта, указывать контроллеру 200 последовательности, в дополнение к географическому местоположению, определенное время и/или интервал времени с целью дополнительного уточнения и выделения нужных данных из всех видеоданных, данных изображения и/или данных мобильного устройства связи, относящихся к этому конкретному местоположению.

Указав с целью нахождения нужных видеоданных, данных изображения и/или данных мобильного устройства связи конкретное время, интервал времени и/или местоположение, пользователь может использовать раскрытые здесь алгоритмы поиска, способы и систему для идентификации конкретных предметов, представляющих интерес, типов поведения и/или людей в видеоданных, данных изображения и/или данные мобильного устройства связи.

Настоящее изобретение шире, чем программное обеспечение для распознавания лиц (которое может быть использовано совместно с настоящим изобретением), и предлагает дополнительные алгоритмы и средства анализа для целей слежения и/или расследования, что поясняется ниже. Кроме того, в некоторых случаях вообще отсутствует необходимость использования распознавания лиц для выделения объектов разного рода или слежения за ними, и раскрытая здесь система может использоваться без программного обеспечения или алгоритмов распознавания лиц, которые могут оказаться невосприимчивыми к нарушению некоторых моральных, федеральных или местных законов.

Настоящее изобретение также относится к аналитической системе распознавания для слежения за объектами в режиме реального времени / в отложенном режиме на основании заранее заданных параметров, например, для анализа в реальном времени и отложенного анализа, распознавания, слежения за различными заранее заданными (или заданными позднее) известными объектами или вручную заданными объектами на основании формы, цвета, размера, количества конкретных предметов на человеке (людях), неадекватности конкретному обстоятельству (к примеру, зимнее пальто в 80-градусную жару (по Фаренгейту)), сходства конкретных объектов в течение конкретного временного интервала (сходные предметы, к примеру, рюкзаки, в конкретной зоне), отделения значимого объекта (объектов) от человека на заранее заданный период времени, нахождения постороннего объекта в конкретной зоне, размещения предметов около значимых объектов, размещения сходных предметов в сходных зонах и отделение этих предметов от человека, конкретного контраста и сочетания цветов (к примеру, красная футболка, выглядывающая из-под черной рубашки, или белый головной убор на черных волосах).

В число задаваемых объектов могут входить объекты с конкретной известной формой, размером, цветом или массой (определяемой по количеству людей, несущих объект, по походке человека, несущего объект, по способу переноски объекта и т.д.) или объекты, выбор которых основывается на использовании библиотеки объектов и алгоритма сопоставления. Эти объекты могут заранее задаваться в аналитической программе и отслеживаться в реальном времени и/или в отложенном режиме с целью анализа. Объекты, задаваемые вручную, могут вводиться в программу путем указания цвета, размера, формы, массы и т.д. и анализироваться и отслеживаться в реальном времени и/или в отложенном режиме с целью обнаружения нештатных состояний или с иными целями. Объекты, задаваемые вручную, могут загружаться для анализа в реальном времени; это могут быть, к примеру, изображения для распознавания лиц, изображения татуировок, пирсинга, логотипов или иных признаков, что более подробно раскрыто далее. Кроме того, по видеоданным (к примеру, по данным кадра) и/или по неподвижному изображению могут создаваться и предоставляться для анализа формируемые пользователем объекты и/или изображения. Например, и как показано в аналитической системе распознавания 400 на фиг. 4, объект 410 (к примеру, шляпа, рюкзак, снаряжение или любая особенность, которую можно идентифицировать), идентифицированный в неподвижном изображении и/или в видеокадре (или идентифицированный в результате одного из нештатных состояний, раскрытых в настоящем документе) может быть отделен от человека 405 на заданное время ( событие) и передан в качестве сформированного пользователем объекта 410' для идентификации в видео 420 реального времени или найден и идентифицирован в сохраненном видео 425, к примеру, в видеокадрах и/или в неподвижных изображениях.

Человек 405 может иметь мобильное устройство 440 связи (к примеру, смартфон), оснащенный одной или более антенн (не показанных на фиг. 4), посредством которых путем беспроводной связи передаются один или более сигналов (к примеру, данные мобильного устройства связи). В число примеров таких данных мобильного устройства связи входят сигналы (к примеру, сигналы установления связи), которые мобильное устройство 440 связи передает в соответствии с одним или более протоколами беспроводной связи, например, протоколом связи WiFi, протоколом связи на основе управления доступом к среде передачи (MAC), протоколом Bluetooth, протоколом сотовой связи, протоколом связи малого радиуса действия и протоколом радиочастотной идентификации. Как указано выше, одна или более антенн 150 выполнены с возможностью захвата данных мобильного устройства связи, передаваемых мобильным устройством связи при его нахождении в зоне действия одной или более антенн 150 и с возможностью передачи захваченных данных мобильного устройства связи в модуль 140 анализа данных для обработки в соответствии с различными вариантами осуществления настоящего изобретения.

Система 400 может содержать модуль 140 анализа данных, выполненный с возможностью анализа видеоданных и невизуальных данных (к примеру, данных мобильного устройства связи) в реальном времени и/или в отложенном режиме и слежения за каждым человеком с рюкзаком 410 в конкретной зоне или в поле зрения конкретной камеры. Подозрительное и/или представляющее интерес поведение одного или более людей может быть отслежено, записано и проанализировано как в режиме реального времени, так и в отложенном режиме. Например, как показано на фиг. 4, если рюкзак 410 отделен от человека 405 и оставлен в течение заранее заданного периода времени, то данное видео может быть помечено для оповещения в реальном времени и/или для отложенного анализа. Объект, к примеру, рюкзак 410, может быть помечен, снабжен меткой времени и/или выделен в отдельный видеопоток для отложенного анализа. Пользователь может при анализе в реальном времени или в отложенном режиме применить масштабирование с целью слежения с высоким разрешением или ввода в контроллер 200 последовательности данных/видео/изображений в соответствии с приведенным здесь обсуждением. Человек 405, оставивший заранее заданный подозрительный объект, к примеру, рюкзак 410 (или любой другой объект, распознанный библиотекой 430 изображений, изображение/объект 435, сформированный пользователем (через устройство ввода) или некоторым алгоритмом сопоставления или модулем 140), может быть отслежен и подвергнут анализу для оповещения в реальном времени и/или для отложенного анализа. Система 400 может и следить за объектом 410, и отмечать человека 405 и следить за ним для анализа в режиме реального времени или в отложенном режиме через одну или более камер 110, через сеть камер 110, 110а, 110b, одну или более антенн 150 и/или сеть антенн 150 и т.д.

Еще в одном примере система 400 может отмечать и следить в реальном времени для целей передачи оповещений или отложенного анализа за человеком, одетым летом в зимнее пальто, в солнечную погоду в длинный плащ-дождевик и т.п. Такая ситуация также может считаться поводом к передаче оповещения или нештатным состоянием.

Система 400 может быть выполнена с возможностью комбинирования заранее заданных способов анализа для оповещения об одной или более нештатных ситуациях (или об их сочетании). Например, человек, несущий футляр, в котором может быть размещена полуавтоматическая или автоматическая винтовка, расхаживающий около стратегически важного здания в течение заранее заданного периода времени, может автоматически отмечаться, отслеживаться, а охране может передаваться оповещение.

Система 400 может быть выполнена с возможностью отслеживания и анализа конкретных объектов, и программа или модуль 140 анализа данных могут быть заранее настроены на обнаружение этих объектов в видеопотоках и/или в неподвижных изображениях, полученных позднее. Например, может быть запланировано, что особо важная персона даст брифинг для прессы или прибудет в конкретное место в конкретное время. Однако запланированное мероприятие переносится (намеренно или по стечению обстоятельств). Программа или модуль 140 анализа данных могут быть заранее настроены на распознавание некоторых объектов (или людей с объектами 410 или с объектами 435, сформированными пользователем), которые появятся в видео с мероприятия, перенесенного на более поздний срок. В некоторых случаях оригинальное видео, полученное во время первоначально запланированного мероприятия, может быть изучено, и пользователь может перенастроить программу или модуль 140 анализа данных на поиск конкретных «повторно появившихся» объектов 410 (рюкзаков, пальто, головных уборов, одежды, портфелей, людей и т.д.) в видеоматериале, получаемом в реальном времени на перенесенном мероприятии. Кроме того, некоторый человек также может быть отнесен к праздношатающимся и отмечен для контроля на мероприятии, перенесенном на более поздний срок. Группе охраны, просматривающей запись в реальном времени, может посылаться предупреждение, если это был человек, представляющий интерес.

Модуль 140 анализа данных может быть выполнен с возможностью распознавания нештатных типов поведения или неожиданных типов поведения и с возможностью оповещения охраны или инспекторов о возможных нештатных сценариях, событиях или состояниях. Видео и/или данные могут быть ориентированы на анализ в реальном времени или на отложенный анализ. Например, модуль 140 анализа данных может быть настроен на распознавание признаков собирающегося в конкретной географической зоне скопления людей и/или признаков скопления людей, расходящегося из конкретной географической зоны. Для достижения этой цели могут использоваться программы для глобального позиционирования и векторизации. Распознавание признаков собирающегося или расходящегося скопления людей может быть полезно при автоматическом распознавании возможных флэшмобов, массовых ограблений или других нештатных событий. Например, и как показано на фиг. 5, аналитическая система 500 распознавания содержит модуль 140 анализа данных, который может быть выполнен с возможностью слежения за необычным количеством посетителей 504a-504l, прибывающих в конкретное местоположение 520 в конкретное время 522 или около указанного времени. Модуль 140 анализа данных также может быть выполнен с возможностью отслеживания необычной скорости изменения числа посетителей 504a-504l и/или лиц, приходящих в конкретное местоположение 520 или уходящих из указанного местоположения. Типовая скорость прихода и/или ухода может быть задана заранее или получена из алгоритма, использованного в отношении людей, ранее приходивших в конкретное местоположение и уходивших из указанного местоположения в течение заранее заданного или варьируемого периода времени. Отклонение от типовой скорости прихода и/или ухода может инициировать нештатное состояние.

Хотя это явно не показано на фиг. 5, один или более людей 504 могут иметь одно или более соответствующих мобильных устройств 440 связи (к примеру, смартфонов), оснащенных одной или более антенн, посредством которых путем беспроводной связи передаются один или более сигналов (к примеру, данные мобильного устройства связи). Как указано выше, одна или более антенн 150 выполнены с возможностью захвата данных мобильного устройства связи, передаваемых мобильными устройствами 440 связи при их нахождении в соответствующих зонах действия одной или более антенн 150 и с возможностью передачи захваченных данных мобильного устройства связи в модуль 140 анализа данных для обработки в соответствии с различными вариантами осуществления настоящего изобретения.

Охранная система 500 с модулем 140 анализа данных и одной или более группами или системами 510а-510g камер может быть выполнена с возможностью распознавания необычного количества людей, собирающихся в конкретной географической зоне 520 в течение заранее заданного времени. Модуль 140 анализа данных может быть выполнен с возможностью использования алгоритмов векторного анализа и/или векторного анализа изображения и данных и/или алгоритмов машинного обучения для обнаружения одного или более типов сбора людей в скопление. Кроме того, система 500 может быть выполнена с возможностью распознавания подобия в одежде, возрасте, переносимых вещах (к примеру, портфелях, рюкзаках и других подобных предметах) и с возможностью передачи охране или инспекторам оповещения о возможном возникновении нештатного состояния. Это может быть полезно для распознавания так называемых «флэшмобов» или других значимых ситуаций в ходе парада, марафона, выступления с политической речью и т.д.

Для обнаружения необычных типов расхождения людей из конкретной зоны 520 могут использоваться типы расхождения и/или скорости. Например, в ситуации, подобной панике, следует ожидать, что скорость расхождения людей будет больше заранее заданной или вычисленной средней скорости расхождения. Если при этом обнаружено одно или более лиц, покидающих конкретную зону и/или местоположение со скоростью меньше средней скорости или скорости в ситуациях типа паники, то это может указывать на то, что эти лица не находились в состоянии типа паники, например, из-за того, что они совершили противоправное деяние или были осведомлены о данной ситуации типа паники. Кроме того, человек, покидающий зону со скоростью, превышающей среднюю скорость, может быть «убегающим с места происшествия», например, может убегать с места ограбления или с места запланированного взрыва.

Модуль 140 анализа данных также может быть выполнен с возможностью контроля веб-трафика и/или сайтов социальных сетей (Facebook^®, MySpace^®, LinkedIn^®) в отношении конкретного местоположения и/или мероприятия и передачи оповещений соответствующего типа охране, или с возможностью комбинирования веб-трафика, относящегося к мероприятию или географической зоне, с анализом видеоданных, при котором с целью оповещения о возможном флэшмобе или групповом ограблении распознаются типовые признаки сбора людей в скопление. Модуль 140 анализа данных также может действовать в обратном порядке и получать доступ к веб-трафику или различным сайтам социальных сетей, когда обнаружены признаки сбора людей в скопление, и запрашивать один или более из этих сайтов с целью сбора дополнительной информации для возможного раскрытия более серьезной групповой активности или флэшмоба в конкретном местоположении.

Модуль 140 анализа данных также может быть выполнен с возможностью контроля веб-трафика или сайтов социальных сетей с целью обнаружения деятельности, предшествовавшей времени конкретной метки времени. Например, публикация в социальной сети соболезнования по поводу некоторого события, по времени совпадающая с этим событием или предшествующая ему, может указывать на предварительную готовность к этому событию и на предварительную осведомленность о предстоящем событии.

Система 500 и модуль 140 анализа видеоданных могут быть выполнены с возможностью анализа видеоданных и/или данных мобильного устройства связи из одной или более уличных камер, камер автостоянки, камер магазина или торгового центра или других систем камер 510а-510g с целью обнаружения заранее заданных нештатных состояний или состояний, заданных вручную в реальном времени. Система 500 может быть выполнена с возможностью передачи оповещения, если в конкретном месте (к примеру, у торгового центра) собирается необычное количество автомобилей, и дополнения этой информации видеоматериалом с камер видеонаблюдения автостоянки с целью определения количества людей, собирающихся в конкретном магазине или месте, а также дополнения результатов этого анализа информацией с камер, установленных внутри магазина, с целью обнаружения присутствия подозрительных лиц в конкретном месте в конкретное время или в конкретном интервале времени. Это типовое поведение при флэшмобе или групповом ограблении. И в этом случае система 500 может связываться с одним или более сайтами социальных сетей для получения дополнительной информации и/или подтверждения.

Подобным образом, скорости приближающихся автомобилей, полученные из видеоданных и/или из данных мобильного устройства связи, и/или скорость, с который люди выходят из своих автомобилей, также может служить признаком нештатного состояния.

Другие примеры анализа, который модуль 140 анализа данных может выполнять в реальном времени и/или в отложенном режиме, могут относиться к распознаванию сообществ типа криминальных группировок. Например, аналитическая система распознавания 600 на фиг. 6 может быть выполнена с возможностью распознавания цветов и/или цветовых комбинаций группировки и/или ее характерных признаков и с возможностью пометки видео 618 и/или оповещения охраны, если необычное количество людей (или необычная доля людей) с конкретными цветами или цветовыми комбинациями и/или характерными признаками собирается в конкретной географической зоне или пребывает в этой зоне. Модуль 140 анализа данных может быть заранее настроен на распознавание конкретной характеристики или характерного признака 615 человека или людей 605а, к примеру, одежды, головного убора, стиля брюк, цветов рубашки или пальто, манеры их ношения, символики и логотипов на верхней одежде, татуировок, пирсинга, прически, жестикуляции руками, автомобилей, мотоциклов и т.д. и на оповещение охраны о нештатном состоянии или о ранее проведенной инспекции, сохраненной как ранее полученное изображение 625 в компьютере 620. В качестве альтернативного варианта и/или дополнительно, модуль 140 анализа данных может быть заранее запрограммирован на распознавание данных (к примеру, идентификатора сотовой связи) мобильного устройства 440 связи человека 605а и на оповещение охраны о присутствии человека 605а, который может быть известным человеком, представляющим интерес. Эти люди 605а могут быть отмечены и могут отслеживаться в течение заранее заданного периода времени или до их выхода из зоны. Общность изображений и характеристик 615 конкретной группы посетителей в скоплении людей (подобие цветов, униформы, экипировки, стиля одежды, причесок, логотипа, пирсинга, татуировок, символики, другой атрибутики организованных группировок, автомобилей, мотоциклов или одежды и т.д.) может быть распознана и может служить поводом к оповещению. Модуль 140 анализа данных может передавать оповещение о том, что х % людей в конкретном скоплении людей имеет конкретный признак 615, к примеру, одинаковую татуировку, красную рубашку, одинаковый логотип, прическу, имеют при себе одинаковые предметы и т.д. Модуль 140 анализа данных может быть выполнен с возможностью передачи оповещения на основании определения того, что заранее заданное число людей в конкретном скоплении людей имеет конкретный признак 615.

Модуль 140 анализа данных может быть выполнен с возможностью создания графических представлений многочисленных нештатных состояний с целью упрощения распознавания типовых ситуаций или очень высоких уровней (и/или заранее определенных уровней) одного или более нештатных состояний. Это может позволить одному или более людям отслеживать и анализировать большее число типовых ситуаций. Модуль 140 анализа данных также может распознавать контакт между людьми, причем этот контакт может быть как физическим контактом (к примеру, рукопожатием, объятиями или передачей предмета), так и осуществляемым без физического контакта (к примеру, разговором, продолжительным взглядом в глаза друг другу или иным нефизическим контактом, который может свидетельствовать о взаимном признании).

Другие состояния, требующие оповещения, могут относиться к нештатным сценариям, в которых модуль 140 анализа данных распознает переносимый человеком 605b объект, необычный для конкретной зоны. Например, как показано на фиг. 6, это может быть человек, несущий вилы или лопату (не показаны) в торговом центре 623, или группа людей (605b и 605с), несущих биты 616 в торговом центре 623 и собирающихся в конкретном месте. И в этом случае выполняемый в реальном времени анализ видео стал бы наиболее полезным и дал бы возможность передать охране оповещение о нештатном состоянии. Отложенный анализ может быть полезен для идентификации правонарушителей в случае происшествия, при котором пришлось обращаться за помощью к правоохранительным органам.

В любом из раскрытых выше сценариев или при любом из упомянутых здесь оповещений, модуль 140 анализа данных может для инициирования оповещений или ответов на запросы работать совместно с библиотекой 650 видеоизображений или алгоритмов и/или с одной или более базами накопленных данных мобильного устройства связи. В модуль 140 анализа данных в качестве входной информации могут быть переданы дополнительные изображения, например, изображения из библиотеки и/или созданные пользователем изображения 650, которые могут быть использованы для анализа видео с использованием средств распознавания модуля 140 анализа данных. Это может происходить в реальном времени или в режиме отложенного анализа. И в этом случае в зависимости от конкретной задачи могут вводиться запросы, а система 100, 200, 300, 400, 500 и/или 600 может выполнять анализ видео, относящийся к запрошенным состояниям, в реальном времени или в отложенном режиме.

Система 100, 200, 300, 400, 500 и/или 600 может быть выполнена с возможностью трехмерного распознавания лиц. Система 100, 200, 300, 400, 500 и/или 600 может быть вручную настроена на распознавание подозреваемого человека 605а при расследовании (или человека, уже совершавшего правонарушения) на основании типа одежды, пирсинга, татуировки, прически и т.д. (данный вид распознавания отличается от распознавания лиц, который также может использоваться в зависимости от полномочий организации (ФБР в сравнении с собственной охраной торгового центра)). Изображение подозреваемого 605а может быть просканировано в модуль 140 анализа данных, и такие объекты, как, например, пирсинг, татуировки, прическа, логотипы и головной убор могут быть отмечены и загружены в базу данных изображений для последующего анализа в реальном времени или в отложенном режиме. Например, если похититель 605а грабит магазин и изображение его лица фиксируется одной или более камерами 610, то во все камеры 610 магазина может быть загружено не только это изображение, но и другая идентифицирующая информация или характерные признаки 615, к примеру, прическа, татуировки, пирсинг, ювелирные изделия, логотипы на одежде и т.д. Если похититель 605а снова войдет в этот магазин, то охране будет автоматически отправлено оповещение. Даже если система распознает похожую татуировку, пирсинг или логотип 615 на другом человеке, то и этот человек может рассматриваться в качестве подозреваемого, подлежащего дознанию в уполномоченных органах. И в этом случае способ шире простого распознавания лиц, при котором указанный другой человек может не отмечаться, а его перемещение может не отслеживаться.

Система 100, 200, 300, 400, 500 и/или 600 также может формировать библиотеку людей и/или постоянных клиентов, регулярно или часто бывающих в конкретном местоположении, чем устраняется необходимость отслеживать этих людей, а система 100, 200, 300, 400, 500 и/или 600 получает возможность сконцентрироваться на идентификации и отслеживании людей, ранее не идентифицированных и не сохраненных в библиотеке. Эта библиотека постоянных клиентов (не показана) также может связываться с расчетной системой пункта продаж с целью подтверждения того, что люди, идентифицированные и сохраненные в библиотеке, являются постоянными клиентами.

Как лучше всего показано на фиг. 7, еще одна аналитическая система распознавания 700 с модулем 140 анализа данных используется в сети магазинов, в торговом центре или в группе магазинов 750 в городе или населенном пункте. Группа или сеть магазинов 750а-750е имеет возможность распространения видеоизображений 724, данных мобильного устройства связи и/или другой идентифицирующей информации с характеристикой или признаками известных преступников 705 по сети камер 710а-710е, использующих один и тот же модуль 140 анализа данных (или возможность загрузки изображения 724 и идентифицирующей информации в аналитическую систему 740а-740е отдельного магазина). Местные собственники магазинов 750а-750е сети имеют возможность предотвратить дополнительные потери путем отметки и отслеживания известных лиц 705, представляющих конкретный интерес (на основании полученных ранее характеристик или признаков, как раскрыто выше, и/или на основании идентифицирующей информации, введенной в базу данных изображений и/или информации), после входа такого лица 705 в магазин, к примеру, в магазин 750а. В отношении этих лиц (или групп лиц) могут быть переданы оповещения местным властям, и эти лица или группы могут отслеживаться во всей сети камер 710а-710е населенного пункта, в том числе камерами автостоянки, уличными камерами и т.д. Если человек 705 отмечен и выставлено оповещение, то может фиксироваться и другая информация, относящаяся к автомобилю, типу автомобиля, маршруту движения автомобиля, сообщниках и т.д. Кроме того, во все камеры 710а-710е и/или антенны 150а-150е системы 700 может быть передана команда отмечать и отслеживать человека 705 и его сообщников в реальном времени и/или в режиме отложенного анализа.

Раскрытые здесь различные системы 100, 200, 300, 400, 500, 600, 700 и 800 также могут быть использованы для идентификации людей без физического контакта. Например, человек, постоянно проживающий в здании, может иметь выданный судом судебный запрет, запрещающий определенному лицу находиться в пределах некоторой зоны близости к указанному жителю. В систему, к примеру, в систему 700 может быть введено изображение, к примеру, изображение 724, а модуль 140 анализа данных может обнаруживать человека 705 и направлять этому жителю и/или властям оповещение и/или документальный материал. Подобным образом в систему 700а может быть передана созданная органами власти база 720 данных, содержащая библиотеку 724 изображений людей 705, идентифицированных в определенной программе регистрации в соответствии с законом.

Сообществом населенного пункта может быть принято решение о создании для этой цели сети камер 710а-710е. Новые владельцы местных коммерческих предприятий могут согласиться на загрузку изображения 724 конкретного преступника для анализа (т.е., для передачи местных оповещений) на условиях подписки (к примеру, за вознаграждение) на информацию о вновь идентифицированных преступниках, например, изображение 724 конкретного опасного преступника и дополнительная идентифицирующая информация, являясь особо значимой для всего сообщества, может загружаться во все сетевые камеры 710а-710е (или даже в автономные системы), тогда как заурядный магазинный вор может не представлять интереса.

Модуль 140 анализа данных в качестве признака человека или подозреваемого также может использовать походку, прихрамывание, шарканье, угол наклона головы, длину шага, качание рук, жестикуляцию руками и т.д. Походка человека так же индивидуальна, как отпечаток пальца, и может использоваться для идентификации замаскировавшихся правонарушителей. Походка человека характеризуется множеством факторов (к примеру, скоростью ходьбы, частотой шагов, углом между ступнями, положением кисти руки или руки в целом, взмахом кисти руки или руки в целом, прихрамыванием, шарканьем и т.д.), и эта информация может быть загружена в модуль 140 анализа данных.

Модуль 140 анализа данных также может быть выполнен с возможностью оповещения охраны, если в течение конкретного периода времени обнаружено некоторое количество известных изображений, событий или характерных движений (к примеру, поглаживание себя по определенной области (областям) в количестве X раз в заранее заданном периоде времени, поглаживание или поддержка известной области при ношении или маскировке оружия, нервозное подергивание или быстрые повороты головы в количестве X раз, выглядывание из-за угла, взгляд в видеокамеры в количестве X раз в течение заранее заданного периода времени и т.д. Модуль 140 анализа данных может быть выполнен с возможностью оповещения охраны или предоставления информации пользователю на основании ненормального или чрезмерного проявления привычного движения или события, произошедшего в заранее заданных временных пределах, или комбинации каких-либо событий, имевшей место в течение заранее заданного периода времени. Например, человек, идущий через магазин, что-то придерживающий рукой поверх брюк и быстро вращающий головой, может служить поводом для оповещения или нештатной ситуации. В еще одном примере отмечается или выделяется (или иным образом идентифицируется в конкретной зоне (зонах) системой 100, 200, 300, 400, 500, 600, 700 и/или 800) режим обеспечения охраны, и подозрительный человек, многократно скрытно смотрящий или поворачивающий голову в том направлении, может инициировать оповещение или нештатную ситуацию. В еще одном примере человек рассматривает товары и/или задерживается в зоне магазина, в которой обычное время пребывания невелико (к примеру, мужчины, как правило, находятся в отделе косметики недолго, тогда как время пребывания женщин почти всегда, если не всегда, велико).

Как указано выше, аналитическая система 100, 200, 300, 400, 500, 600, 700 и/или 800 распознавания в соответствии с настоящим изобретением может быть использована для обнаружения оружия посредством предварительного ввода в модуль 140 анализа данных конкретных черт характерного поведения и их анализа (в реальном времени и/или отложенного). Например, для человека, многократно совершавшего ограбления в конкретной зоне, о котором известно, что у него есть оружие, определенная походка может быть признаком того, что данный человек вооружен (к примеру, прихрамывающий шаг может указывать на наличие пистолета). Для инициирования оповещения или нештатной ситуации анализ данной информации может проводиться с использованием другой идентифицирующей информации или характерных признаков (к примеру, татуировок, цветов организованной группировки, символики группировки, логотипов и т.д.). В еще одном примере человек, носящий длинный плащ в отсутствие дождя или в летний солнечный день, смотрит или вращает головой с подозрительным вниманием. В этом случае модулю 140 анализа данных нужен вход для информации о дожде, температуре, солнечном свете (освещенности) и/или подключение к системе, предоставляющей такие данные. Время суток также может служить триггером или дополнительным событием, задаваемым в модуле 140 анализа данных для повышения «осведомленности» модуля 140 анализа данных при инициировании оповещений, к примеру, чтобы принять во внимание тот факт, что поздним вечером и после полуночи грабежи случаются чаще.

В других примерах модуль 140 анализа данных может предоставлять сотрудникам охраны возможность направления в аналитическую систему 100, 200, 300, 400, 500, 600, 700 и/или 800 распознавания, в реальном времени или в отложенном режиме, запросов, например, таких: «сколько человек в красных бейсболках вошли в магазин или зону в интервале 5-10 минут?»; «сколько человек собралось у центрального фонтана в этом интервале?»; «сколько человек слоняется у фонтана в определенном интервале времени?». Другие запросы могут содержать команды: «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, носящими брюки или зимние пальто (в летний день с температурой 90° (по Фаренгейту))»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми в красных головных уборах»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, несущими несколько рюкзаков»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, оставившими предметы (к примеру, рюкзаки без присмотра) - следить за данным человеком в системе, во множестве систем, отмечать местоположение объекта и т.д.»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, слоняющимися у важных зон, оставляющими предметы у важных зон - следить в системе, во множестве систем, отмечать местоположение»; и/или «оповещать, если предметы без присмотра в количестве, находящемся в заданном интервале, оставлены в заданное время или в течение заданного интервала времени».

В еще одном примере модуль 140 анализа данных может быть выполнен с возможностью обработки и анализа видео в реальном времени с целью определения параметра скопления людей (к примеру, текущего количества людей в скоплении или оценки текущей плотности скопления людей) путем автоматической обработки видеопоследовательности, полученной в некотором физическом местоположении. Модуль 140 анализа данных может содержать один или более алгоритмов, сконфигурированных с возможностью определения скорости изменения указанного параметра скопления людей. Скорость изменения параметра скопления людей может служить признаком собирающегося скопления людей или расходящегося скопления людей.

Если скорость изменения параметра скопления людей превышает заранее заданное пороговое значение, то модуль 140 анализа данных автоматически передает оповещение. Например, если скорость изменения параметра скопления людей указывает на собирающееся скопление людей, то модуль 140 анализа данных может оповещать охрану о возможном флэшмобе или групповом ограблении. Модуль 140 анализа данных может быть выполнен с возможностью использования алгоритмов векторного анализа и/или векторного анализа изображения и данных и/или алгоритмов машинного обучения для обнаружения одного или более типов сбора людей в скопление.

Модуль 140 анализа данных может быть соединен с группой камер 510а-510g, организованных в сеть, и в случае передачи оповещения каждая камера в сети может использоваться для слежения за одним или более объектами или людьми (к примеру, за постоянными клиентами 504a-504l, показанными на фиг. 6). Если скорость изменения параметра скопления людей указывает на то, что скопление людей расходится, то модуль 140 анализа данных может оповещать охрану о возможности опасной ситуации или криминальных действий.

Фиг. 8 представляет снимок экрана модуля 800 расследования, отображающего расследование, сформированное в соответствии с вариантом осуществления настоящего изобретения. Модуль 800 расследования выполнен с возможностью формирования и сохранения информации, требуемой для документирования конкретного поведения пользователя.

Дополнительно, модуль 800 расследования может быть выполнен с возможностью приема критериев расследования, вводимых пользователем или машиной, и с возможностью поиска видеоданных, данных мобильного устройства связи и/или данных профиля на основании указанных критериев. В одном примере критерии расследования могут содержать временной интервал, и модуль 800 расследования может быть выполнен с возможностью формирования списка людей, присутствие которых было обнаружено в помещении в этом временном интервале. Модуль 800 расследования может также быть выполнен с возможностью определения текущего местоположения человека путем поиска сигнала, соответствующего данным мобильного устройства связи, ранее полученным в другом местоположении.

В некоторых примерных вариантах осуществления настоящего изобретения модуль 800 расследования выполнен с возможностью приема критериев отчета, вводимых пользователем, запрашивающим отчет определенного типа; поиска видеоданных, данных мобильного устройства связи и/или данных профиля, полученным из видеокамеры 110 и/или антенн 150, и/или данных продаж (к примеру, полученных из базы данных продаж); и формирования отчета на основании указанного поиска данных. Отчет может содержать, например, вычисленный показатель закрытия продаж, соответствующий товару, категории товара, проходу в помещении, стеллажу в помещении и/или заранее заданному месту в помещении.

Модуль 800 расследования содержит окно просмотра 810 с верхней и нижней полосами 812а, 812b управления просмотром, окно 814 ввода текста, окно 820 временной шкалы, окно 830 камеры, окно 840 поиска, окно 850 опций воспроизведения, окно 860 опций клипа и окно 870 работы с файлами.

Расследования, автоматически сформированные системой 100, пополняются информацией, относящейся к конкретному поведению пользователя, как рассмотрено выше. Например, расследование, показанное на фиг. 8, содержит первую видеопоследовательность 820а и вторую видеопоследовательность 820b, причем первая видеопоследовательность 820а получена из камеры нижнего этажа, а вторая видеопоследовательность 220b получена из камеры у лифта. В одном варианте осуществления первая видеопоследовательность 820а передается в автоматически сформированное расследование, а это автоматически сформированное расследование передается сотруднику, ответственному за предотвращение потерь.

Первая видеопоследовательность 820а выбирается в окне временной шкалы 820 и воспроизводится в окне 810 просмотра. Для пояснения в качестве примера предположим, что сотрудник, ответственный за предотвращение потерь, при просмотре первой видеопоследовательности 820а на КПК видит человека, уносящего принадлежащий компании портативный компьютер из зоны нижнего этажа. При формировании расследования система идентифицировала это поведение пользователя как конкретное поведение пользователя, и при просмотре сотрудник, ответственный за предотвращение потерь, решает, что данное автоматически сформированное расследование значимо и дает данному расследованию ход в качестве расследования кражи.

Автоматически сформированное расследование передается сотруднику, ответственному за предотвращение потерь, практически в реальном времени, поэтому человек, завладевший портативным компьютером компании, вряд ли успеет сделать более нескольких шагов от места, из которого этот портативный компьютер был унесен.

Используя КПК, сотрудник, ответственный за предотвращение потерь, продолжает вести автоматически сформированное расследование (теперь расследование кражи) путем просмотра соотнесенных по времени видео и видеоданных, доступных через модуль 800 расследования на КПК.

В окне поиска 240 может автоматически выбираться временной интервал, относящийся к данному расследованию. Шкалой времени можно вручную управлять через КПК.

Видео и/или видеоданные из одной или более камер, указанных в окне камеры 830, могут быть выбраны для просмотра в окне 810 просмотра. Выбирая другой экран просмотра из верхней полосы 812а управления просмотром, можно одновременно контролировать множество видеопотоков из отдельных камер (см. фиг. 1).

Нижняя полоса 812b управления просмотром дает возможность просмотра видео в окне 810 просмотра в реальном времени или с другой выбираемой скоростью. Модуль 800 расследования при этом определяет скорость воспроизведения расследования таким образом, что автоматически вычисляемая скорость воспроизведения дает сотруднику, ответственному за предотвращение потерь, возможность просмотра каждого кадра в видеопоследовательности. Скорость записи и сохранения видео такова, что обеспечиваются возможности распознавания, превосходящие способность человеческого глаза обнаруживать небольшие движения. Устройство воспроизведения тоже может иметь аппаратные и/или программные ограничения, не позволяющие ему отображать каждый кадр видео. При этом воспроизведение видео в «реальном времени» приводит к выпадению отдельных кадров видео вследствие ограниченности возможностей человеческого зрения и/или технических ограничений дисплея компьютера. Скорость воспроизведения расследования вычисляется с учетом ограниченности возможностей человеческого зрения и технических ограничений дисплея конкретного устройства, используемого для просмотра в модуле 800 расследования.

Окно 850 опций воспроизведения дает возможность воспроизведения видеопоследовательности и/или видео из каждой камеры в различных режимах. В режиме с отображением всех кадров видео воспроизводится с вычисленной скоростью воспроизведения расследования, причем в ходе воспроизведения отображаются и могут быть изучены все кадры. В режиме с отображением только движения выдаются только видеопоследовательности, содержащие движение. В триггерном режиме отображения используются только видеопоследовательности, соотнесенные по времени с триггером.

В число триггеров входят внутренние триггеры и внешние триггеры. В число внутренних триггеров входят триггеры движения, задаваемые пользователем и определяемые модулем 140 анализа данных, триггеры пункта продаж, формируемые модулем 141 пункта продаж, и анализируемые события, определяемые маршрутом прохода и/или зоной (к примеру, вход и/или выход из зоны) и задаваемые модулем 140 анализа данных. Внешние триггеры создаются внешними аппаратными устройствами, непосредственно или опосредованно подключенными к компьютеру 120.

В любом месте расследования сотрудник, ответственный за предотвращение потерь, может привязать видеопоследовательность к временной шкале. Например, на фиг. 8 сотрудник, ответственный за предотвращение потерь, добавил в расследование вторую видеопоследовательность 820b. Вторая видеопоследовательность 820b содержит видео, полученное из камеры, расположенной у лифта и лестничного марша. Далее предположим, что сотрудник, ответственный за предотвращение потерь, обнаружил во второй видеопоследовательности 820b подозреваемого, несущего портативный компьютер и приближающегося к лифту. Продолжая расследование кражи, сотрудник, ответственный за предотвращение потерь, включает вторую видеопоследовательность 820b во временную шкалу расследования.

Сотрудник, ответственный за предотвращение потерь, может выбирать различные опции из окна 860 видеоклипа. Окно 820 временной шкалы может пополняться видеоклипами, содержащими одну или более видеопоследовательностей, неподвижное изображение, сформированное по видеопоследовательности, или текст, введенный через окно 814 ввода текста. Видеоклип может содержать непрерывную видеопоследовательность. Как вариант, видеоклип, использующий опцию воспроизведения только движения (выбранную в окне 850 опций воспроизведения) содержит множество видеопоследовательностей, содержащих движение (к примеру, части, не содержащие движение, исключаются из данного видеоклипа).. Наконец, сотрудник, ответственный за предотвращение потерь, может делать снимки кадра с целью фиксации конкретных особенностей, например, лица, определенного инструмента или предмета, использованного при совершении кражи, или любого другого значимого изображения, которое может потребоваться для дальнейшего ведения расследования.

В итоге, поскольку расследование формируется практически в реальном времени, сотрудник, ответственный за предотвращение потерь, при подтверждении того, что в данный момент происходит кража, может поставить в известность охрану и задержать похитителя до того, как он покинет помещение.

Далее рассматривается фиг. 9, где представлена блок-схема аналитического способа распознавания 900 в соответствии с примерным вариантом осуществления настоящего изобретения. В соответствии с вариантом осуществления, предлагаемым в настоящем документе в качестве примера, способ 900 может использоваться для пополнения, по меньшей мере частично на основании видеоданных и/или данных мобильного устройства связи, захваченных одной или более видеокамерами 110 и/или одной или более антеннами 150, соответственно, базы данных данными, которые могут быть полезны для целей обеспечения безопасности, целей расследования, маркетинговых целей и т.п.

В блоке 902, как подробнее раскрыто выше со ссылкой на фиг. 1, одной или более видеокамерами 110 захватывают видеоданные и одной или более антеннами 150 захватывают данные мобильного устройства связи. Указанные видеоданные в одном примере содержат изображения одного или более людей, которые в одно время находились в поле зрения одной или более камер 110, а указанные данные мобильного устройства связи содержат данные, захваченные из одного или более мобильных устройств 440 связи, которые в одно время находились в зоне действия беспроводной связи одной или более антенн 150. Каждый элемент данных мобильного устройства связи могут связывать с соответствующим мобильным устройством связи, которое имеет при себе соответствующий один человек из числа людей, чьи одно или более изображений были захвачены.

В блоке 904 выполняют соотнесение элементов видеоданных, захваченных в блоке 902, с соответствующими элементами данных мобильного устройства связи, захваченных в блоке 902, на основании одного или более ключей, содержащихся в полученных видеоданных и данных мобильного устройства связи. В одном примере на основании соотнесения, выполненного в блоке 904, формируют соответствующие профили людей, связанных с одним или более соответствующими элементами видеоданных и/или данных мобильного устройства связи. Каждый профиль может содержать данные профиля, содержащие что-либо одно или комбинацию из захваченных видеоданных, захваченных данных мобильного устройства связи и/или дополнительных данных.

Один или более ключей, используемых в блоке 904, может содержать какой-либо один атрибут или комбинацию атрибутов, которые включены в элемент видеоданных или в данные мобильного устройства связи и которые могут быть использованы для идентификации элемента видеоданных или данных мобильного устройства связи и/или для соотнесения множества элементов видеоданных и/или данных мобильного устройства связи с целью проверки наличия связи между этими элементами. Например, изображение лица человека, содержащееся в элементе видеоданных, захваченном в первую дату и время, может использоваться как ключ, по которому может выполняться соотнесение этого элемента видеоданных с другим элементом видеоданных, захваченным во вторую дату и время. В качестве еще одного примера, адрес IP, содержащийся в элементе данных мобильного устройства связи, захваченных в первом местоположении (к примеру, первой видеокамерой 110 или антенной 150), может использоваться в качестве ключа, по которому может выполняться соотнесение этого элемента данных мобильного устройства связи с другим элементом данных мобильного устройства связи, захваченным во втором местоположении (к примеру, второй видеокамерой 110 или антенной 150). В число примеров типов ключей входят, без ограничений, идентификатор устройства захвата данных/маяка (к примеру, уникальный идентификатор конкретной видеокамеры 110 или антенны 150, которой захвачен элемент видеоданных или данных мобильного устройства связи), адрес мобильного устройства связи (к примеру, адрес Wi-Fi, адрес Bluetooth, адрес NFC, адрес RFID, адрес сотовой связи, адрес устройства GPS, MAC адрес, международный идентификатор абонента мобильной связи (International Mobile Subscriber Identity, IMSI) и/или любой другой пригодный адрес или идентификатор), содержащийся в данных мобильного устройства связи, полученных из мобильного устройства 440 связи, интенсивность сигнала данных мобильного устройства связи, полученного из мобильного устройства 440 связи, дата, на которую захвачен элемент видеоданных или данных мобильного устройства связи, время, в которое захвачен элемент видеоданных или данных мобильного устройства связи, местоположение, в котором захвачен элемент видеоданных или данных мобильного устройства связи, среда передачи информации (к примеру, определенный протокол беспроводной связи), посредством которой захвачен элемент данных мобильного устройства связи и т.п. Ключи, используемые в блоке 904, как и любые другие данные, захваченные, сформированные или иным образом полученные в результате выполнения шагов способа 900, могут подвергаться шифрованию с использованием одного или более пригодных алгоритмов шифрования известным способом.

В блоке 906 данные профиля, сформированные в блоке 904, нормализуют на основании одного или более критериев нормализации. Например, данные профиля могут нормализовать на основании (1) количества посещений людьми конкретного местоположения (к примеру, местоположения в магазине, имеющего одну или более камер 110 и антенн 150, посредством которых видеоданные и/или данные мобильного устройства связи были захвачены в блоке 902), (2) времени, в течение которого люди оставались в конкретном местоположении, и/или (3) частоты или скорости повторения посещений людьми конкретного местоположения. Это может быть полезно для идентификации повторных клиентов, преступника, заходившего в магазин до совершения ограбления и т.п.

В блоке 908 данные профиля, сформированные в блоке 904 и/или нормализованные в блоке 906, уточняют с целью включения одного или более атрибутов, сформированных для соответствующих профилей на основании данных, накопленных с течением времени в отношении каждого профиля/человека. В число примеров таких атрибутов может входить то, является ли человек повторным покупателем, новым покупателем, сотрудником, прохожим (что определяют, например, по очень малой длительности пребывания в местоположении, например, когда человек просто проходит мимо магазина в пределах зоны действия камеры 110 и/или антенны 150, размещенных в этом магазине), делает ли человек покупки в других местах деятельности конкретного розничного продавца, в которых видеоданные и/или данные мобильного устройства связи этого человека были захвачены, был ли человек вовлечен в контакт с сотрудником при нахождении в магазине и т.п. После блока 908 способ 900 может возвращаться к блоку 902, выполняя таким образом непрерывный захват видеоданных и/или данных мобильного устройства связи, как раскрыто выше.

Как указано выше, данные, захваченные, сформированные или иным образом полученные при выполнении различных шагов способа 900, могут быть использованы для целей обеспечения безопасности и/или целей расследования (к примеру, после ограбления в магазине), для маркетинговых целей и/или для многих других целей. Например, указанные данные могут быть использованы в одном или более открытых или секретных приложений (к примеру, для формирования виртуального представления с целью расследования преступления; для создания возможности анализа данных продаж или маркетинга в связи с заранее заданным событием, например, с праздничным сезоном продаж; для вычисления реального коэффициента перехода посетителей в клиенты при взаимодействии посетителей и продавцов; для анализа статистики заинтересованности клиентов, задерживающихся у товара; для формирования «тепловой карты» на основании фактической истории продаж в сегментах магазина; для формирования маршрутов, реализуемых пользователем, на основании данных, полученных из множества камер 110 и/или антенн 150; для идентификации людей, остающихся в магазине после закрытия магазина; и т.п.).

Поскольку в раскрытых выше конструкциях могут быть сделаны разнообразные изменения без выхода за пределы объема изобретения, предполагается, что все содержание вышеприведенного раскрытия должно интерпретироваться в иллюстративном и неограничивающем смысле. Можно видеть, что достигнуто несколько целей изобретения и других полезных результатов, определяемых объемом нижеследующей формулы изобретения.

Изобретение относится к видеонаблюдению, контролю и верификации. Техническим результатом является обеспечение анализа видеопотоков в реальном времени и в отложенном режиме для обеспечения безопасности и расследований и для маркетинговых целей. Предложена аналитическая система распознавания, содержащая: видеокамеру, антенну и модуль анализа данных. Видеокамера выполнена с возможностью захвата видеоданных. Антенна выполнена с возможностью захвата данных мобильного устройства связи. Модуль анализа данных выполнен с возможностью сопоставления видеоданных и данных мобильного устройства связи для формирования профиля человека, связанного с указанными видеоданными и данными мобильного устройства связи. Этот профиль содержит данные профиля, содержащие что-либо одно или комбинацию из захваченных видеоданных и захваченных данных мобильной связи. 21 з.п. ф-лы, 9 ил.

1. Аналитическая система распознавания, содержащая:

видеокамеру, выполненную с возможностью захвата видеоданных;

антенну, выполненную с возможностью захвата данных мобильного устройства связи; и

модуль анализа данных, включающий в себя, по меньшей мере, один из следующих алгоритмов: алгоритм векторного анализа, алгоритм векторного анализа изображения и данных, алгоритм машинного обучения, причем модуль анализа данных выполнен с возможностью:

сопоставления видеоданных и данных мобильного устройства связи на основании ключа, содержащего комбинацию атрибутов, включенных в видеоданные или в данные мобильного устройства связи, для

идентификации элемента видеоданных и/или данных мобильного устройства связи, или

соотнесения видеоданных и/или данных мобильного устройства связи с целью проверки наличия связи между ними; и

формирования профиля человека, связанного с указанными видеоданными и указанными данными мобильного устройства связи, при этом указанный профиль содержит данные профиля, содержащие захваченные видеоданные и/или захваченные данные мобильной связи.

2. Система по п. 1, отличающаяся тем, что модуль анализа данных выполнен с возможностью:

определения времени прихода человека в местоположение и/или времени ухода человека из этого местоположения на основании видеоданных и/или данных мобильного устройства связи, и

сопоставления указанных видеоданных и указанных данных мобильного устройства связи на основании указанного времени прихода и/или указанного времени ухода.

3. Система по п. 1, отличающаяся тем, что указанная видеокамера представляет собой одну видеокамеру из множества видеокамер, содержащихся в системе и выполненных с возможностью захвата множества видеоданных, указанная антенна представляет собой одну антенну из множества антенн, содержащихся в системе и выполненных с возможностью захвата множества данных мобильного устройства связи, а модуль анализа данных дополнительно выполнен с возможностью сопоставления множества видеоданных и множества данных мобильного устройства связи с целью формирования множества профилей множества людей, соответственно связанных с указанным множеством видеоданных и указанным множеством данных мобильного устройства связи.

4. Система по п. 3, отличающаяся тем, что множество видеокамер и множество антенн размещены во множестве помещений.

5. Система по п. 4, дополнительно содержащая пользовательский интерфейс, выполненный с возможностью поиска множества профилей на основании критерия, введенного пользователем.

6. Система по п. 3, отличающаяся тем, что по меньшей мере одна антенна из множества антенн прикреплена к по меньшей мере одной видеокамере из множества видеокамер, и по меньшей мере одна антенна из множества антенн размещена на удалении от указанного множества камер.

7. Система по п. 1, отличающаяся тем, что:

профиль содержит, по меньшей мере, одно из следующего: захваченные видеоданные, захваченные данные мобильного устройства связи, данные времени, связанные с захваченными видеоданными или захваченными данными мобильного устройства связи, и данные местоположения, связанные с захваченными видеоданными или захваченными данными мобильного устройства связи;

захваченные видеоданные содержат захваченное неподвижное изображение и/или видеоматериал;

данные мобильного устройства связи содержат, по меньшей мере, одно из следующего: идентификатор WiFi, идентификатор управления доступом к среде передачи (MAC), идентификатор Bluetooth, идентификатор сотовой связи, идентификатор связи малого радиуса действия, радиочастотный идентификатор, относящийся к мобильному устройству связи, осуществляющему связь с указанной антенной;

данные времени содержат время захвата видеоданных и/или время захвата данных мобильного устройства связи; а

данные местоположения содержат местоположение, в котором захвачены видеоданные, и/или местоположение, в котором захвачены данные мобильного устройства связи.

8. Система по п. 1, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью добавления в профиль количества посещений помещения человеком и/или частоты посещений помещения человеком, на основании сопоставленных видеоданных и данных мобильного устройства связи.

9. Система по п. 1, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью идентификации человека на основании сравнения данных из первого источника с, по меньшей мере, одним из следующего: захваченные видеоданные, захваченные данные мобильного устройства связи, сопоставленные видеоданные и данные мобильного устройства связи, и профиль, при этом указанный первый источник содержит, по меньшей мере, одно из следующего: база данных неправительственной организации, база данных правительственной организации и один или более ранее сформированных профилей.

10. Система по п. 1, дополнительно содержащая модуль расследования, выполненный с возможностью приема критериев расследования и поиска, по меньшей мере, одного из следующего: видеоданные, данные мобильного устройства связи, данные профиля на основании указанных критериев.

11. Система по п. 10, отличающаяся тем, что критерии расследования содержат временной интервал, при этом модуль расследования дополнительно выполнен с возможностью формирования списка людей, присутствие которых было обнаружено в помещении в указанном временном интервале.

12. Система по п. 10, отличающаяся тем, что модуль расследования дополнительно выполнен с возможностью определения текущего местоположения человека путем обнаружения сигнала, соответствующего данным мобильного устройства связи, полученным в первом местоположении.

13. Система по п. 1, отличающаяся тем, что антенна содержит, по меньшей мере, одно из следующего: антенна WiFi, антенна управления доступом к среде передачи (MAC), антенна Bluetooth, антенна сотовой связи, антенна связи малого радиуса действия и антенна радиочастотной идентификации.

14. Система по п. 1, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список, неопределенный список или негативный список на основании, по меньшей мере, одного из следующего: видеоданные, данные мобильного устройства связи, данные профиля и введенные пользователем критерии.

15. Система по п. 14, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список на основании определения того, что, по меньшей мере, одно из следующего: видеоданные, данные мобильного устройства связи, профиль соответствуют сотруднику или человеку из заранее заданного списка людей.

16. Система по п. 1, отличающаяся тем, что антенна выполнена с возможностью получения данных мобильного устройства связи путем беспроводного приема данных из мобильного устройства связи, расположенного в зоне действия антенны.

17. Система по п. 1, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью обнаружения поведения человека и сохранения в профиле данных поведения, соответствующих указанному поведению.

18. Система по п. 17, отличающаяся тем, что модуль анализа данных выполнен с возможностью обнаружения поведения человека путем извлечения информации о поведении из видеоданных и/или данных мобильного устройства связи, причем указанное поведение содержит, по меньшей мере, одно из следующего: взгляд в некотором направлении, протягивание руки за товаром, покупка товара, проход по некоторому маршруту в помещении, посещение прохода или местоположения в помещении, проведение некоторого времени в помещении, проведение некоторого времени в указанном местоположении в помещении и посещение помещения некоторое число раз в разное время.

19. Система по п. 18, отличающаяся тем, что модуль анализа данных выполнен с возможностью классифицирования человека как нового клиента или повторного клиента в данном помещении на основании данных посещения помещения, сохраненных в профиле, и с возможностью добавления в профиль или уточнения в профиле показателя того, является ли этот человек новым клиентом или повторным клиентом в данном помещении.

20. Система по п. 17, отличающаяся тем, что модуль анализа данных выполнен с возможностью обнаружения поведения человека путем сопоставления, по меньшей мере, одного из следующего: видеоданные, данные мобильного устройства связи и данные профиля с, по меньшей мере, одним из следующего: план расположения проходов в помещении, план размещения товара в помещении и план расположения стеллажей в помещении.

21. Система по п. 20, дополнительно содержащая модуль расследования, выполненный с возможностью:

поиска на основании критериев отчета, по меньшей мере, одного из следующего: видеоданные, данные мобильного устройства связи, данные профиля и данные продаж; и

формирования отчета на основании поиска, по меньшей мере, одно из следующего: видеоданные, данные мобильного устройства связи и данные профиля;

причем указанный отчет содержит показатель закрытия продаж, соответствующий, по меньшей мере, одному из следующего: товар, категория товара, проход в помещении, стеллаж в помещении, заранее заданное место в помещении.

22. Система по п. 17, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью:

формирования данных местоположения, соответствующих поведению, на основании видеоданных и/или данных мобильного устройства связи, и

сохранения указанных данных местоположения в профиле в сочетании с данными поведения.