СИСТЕМА И СПОСОБ ДЛЯ ОБРАБОТКИ ВИДЕОДАННЫХ ИЗ АРХИВА Российский патент 2019 года по МПК G06T7/00 G06F16/90 G06F16/70 G06K9/62 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области анализа и обработки видеоданных, а более конкретно к технологиям, направленным на поиск сведений об интересующих объектах по минимальным известным начальным данным.

УРОВЕНЬ ТЕХНИКИ

Под системами видеонаблюдения в общем случае понимается программно-аппаратное обеспечение или технические средства, использующие методы компьютерного зрения для автоматизированного сбора данных на основании анализа видеоданных. Системы видеонаблюдения опираются на алгоритмы обработки и распознавания образов, позволяющие анализировать видео без прямого участия человека. Полученные в результате анализа и обработки данные далее используются для поиска интересующих объектов.

Известные системы видеонаблюдения, в зависимости от конкретных целей, могут реализовывать множество функций, например, таких как: обнаружение объектов интереса, слежение за движением объектов, сопровождение объектов с помощью множества камер, распознавание и идентификация объектов, построение траекторий движения объектов и т.д.

В последнее время большую популярность приобрели методы поиска по лицам или номерам транспортных средств. Разнообразные способы распознавания образов продолжают совершенствоваться для повышения их точности. Однако такие системы оказываются абсолютно бесполезными для поиска, если у нас нет фотографии интересующего человека или номера его автомобиля. Еще больше задача поиска усложняется, если мы не знаем даже ФИО интересующего человека.

Из уровня техники известно решение, раскрытое в патенте US 9208226, В2, G06F 7/00, опубл. 08.12.2015, в котором описано устройство для генерирования видеоматериала, содержащее: блок индексации видео-объектов, сконфигурированный для распознавания объектов путем хранения и анализа видео, полученного от нескольких камер видеонаблюдения; блок поиска видео-объектов, сконфигурированный для сравнения принятых условий поиска с полученными метаданными объекта, а затем для вывода результатов поиска, включая информацию о, по меньшей мере, одном объекте, которая соответствует условиям поиска; блок генерации видеоданных, сконфигурированный для генерации видео доказательства, путем объединения только видеороликов, содержащих конкретный объект, выбранный из результатов поиска; причем блок генерации видеоданных содержит: блок редактирования видеоматериалов, сконфигурированный для генерации видео доказательства путем извлечения разделов, включающих конкретный объект, из сохраненных видеороликов, а затем объединения этих разделов; блок генерации видеоданных судебной экспертизы, сконфигурированный для генерации судебных данных о сохраненных видеороликах и созданном видео, а затем для хранения созданного видео доказательства и судебных данных в формате хранения цифровых данных; и блок анализа пути, сконфигурированный для получения пути конкретного объекта между несколькими камерами наблюдения путем анализа корреляций между результатами поиска.

Данное решение реализует поиск интересующих объектов по заданным характеристикам поиска и дальнейшую компоновку видео его пути перемещения. Основным отличием от заявляемого решения является сам метод поиска, а также отсутствие выбора конкретных видеокамер и режима поиска.

Наиболее близким по технической сущности является известное решение, раскрытое в патенте US 9615064, В2, H04N 7/18, опубл. 04.04.2017, в котором описаны системы и способы отслеживания объекта с помощью множества видеокамер. Способ включает такие этапы, как: захват с использованием первой камеры первого набора кадров, причем, первый набор кадров содержит первый набор изображений объекта от первой камеры, при этом первый набор кадров захватывается с первой точки зрения; захват, с использованием второй камеры, второго набора кадров, причем второй набор кадров содержит второй набор изображений объекта от второй камеры, при этом второй набор кадров захватывается со второй точки зрения; калибровка первой и второй камеры; определение с использованием первой камеры присутствия объекта в первом наборе кадров; связывание первой камерой метаданных с имеющимся объектом, причем метаданные указывают, по меньшей мере, одну характеристику первого набора изображений объекта; передача метаданных с первой камеры в вычислительную систему; идентификация вычислительной системой на основе, по меньшей мере частично, метаданных, полученных от первой камеры, что второй набор изображений, снятых второй камерой, представляет тот же объект, что и объект в первом наборе изображений в первом наборе кадров; и выбор вычислительной системой первого набора кадров или второго набора кадров для отображения пользователю на основе соответствующих местоположений объекта в первом наборе кадров и втором наборе кадров относительно точки обзора первой камеры и второй камеры соответственно.

В данном решении хоть и выполняется сравнение объектов для определения, является ли объект с двух разных камер одним и тем же объектом, однако данное решение используется для отслеживания конкретного объекта с определенным набором примет для его дальнейшего отображения с наиболее удачного ракурса.

Общим отличием известных решений от заявляемого является отсутствие выбора конкретного режима поиска. В описанных выше известных решениях нет поиска по лицам или номерам транспортных средств, следовательно, и сама технология поиска значительно отличается (направлена только на объекты). Кроме того, заявляемое решение отличается конкретным пользовательским интерфейсом системы видеонаблюдения, характеризующимся определенными блоками с конкретными функциональными возможностями для эффективной работы системы.

Заявляемое техническое решение является так сказать «обратной задачей» относительно известных из уровня техники решений. То есть в известном уровне техники выполняется определение пути заданного человека/объекта (для определения его траектории движения, или для отслеживания его перемещения в реальном времени), в то время как в заявляемом решении наоборот по предполагаемому пути перемещения и временному интервалу определяется конкретный человек (или объект или номер транспортного средства).

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.

Основной задачей данного технического решения является обеспечение продвижения в расследовании правонарушения при наличии минимальных начальных данных. Например, при условии, что неизвестно ФИО злоумышленника и нет его фотографий (или номера его транспортного средства), однако известно в поле зрения каких видеокамер он мог попасть в определенное время.

Техническим результатом заявленной группы изобретений является повышение эффективности поиска интересующего объекта при минимальных начальных данных.

Данный технический результат достигается за счет того, что система для обработки данных из архива содержит: по меньшей мере, две видеокамеры; память, выполненную с возможностью хранения архива видеоданных, поступающих от всех видеокамер системы; базу данных, для хранения метаданных; графический пользовательский интерфейс (ГПИ), содержащий, по меньшей мере: блок выбора видеокамер, позволяющий пользователю системы выбирать конкретные видеокамеры, данные с которых будут обрабатываться; блок задания промежутка времени, позволяющий пользователю системы задавать конкретный промежуток времени видео для выбранных видеокамер; блок выбора режима поиска, позволяющий пользователю системы выбрать один из трех режимов: режима поиска по лицам (1), режима поиска по номерам транспортных средств (2), режима поиска по объектам (3); блок характеристик поиска, сконфигурированный для задания известных характеристик объекта для выполнения поиска в режиме поиска по объектам (3) и блок отображения, сконфигурированный для отображения полученных результатов поиска; а также система содержит, по меньшей мере, одно устройство обработки данных, сконфигурированное с возможностью выполнения следующих этапов: декомпрессии и анализа видеоданных для формирования метаданных, характеризующих данные обо всех объектах в видео, при этом упомянутые метаданные записываются в базу данных системы; обработки архивных видеоданных и осуществления поиска по соответствующим им метаданным, после того как пользователь выберет видеокамеры, задаст промежутки времени и выберет режим поиска, для выявления всех лиц или номеров транспортных средств или объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер, посредством сравнения данных от разных выбранных видеокамер; вывода результата поиска посредством блока отображения.

Указанный технический результат также достигается за счет способа обработки данных из архива, реализуемого компьютерной системой, включающей в себя, по меньшей мере, одно устройство обработки данных, базу данных и память, хранящую архив видеоданных, полученных от всех видеокамер системы, причем способ содержит этапы, на которых осуществляется: предоставление пользователю выбора конкретных видеокамер системы, данные с которых будут обрабатываться; задание пользователем конкретного промежутка времени видео для выбранных видеокамер; предоставление пользователю выбора режима поиска из: режима поиска по лицам (1), режима поиска по номерам транспортных средств (2) и режима поиска по объектам (3); задание пользователем известных характеристик объекта для выполнения поиска, в случае если выбран режим поиска по объектам (3); обработка архивных видеоданных и осуществление поиска по соответствующим им метаданным, после того как пользователь выберет видеокамеры, задаст промежутки времени и выберет режим поиска, причем метаданные, характеризующие данные обо всех объектах в видео, формируются путем декомпрессии и анализа видеоданных и хранятся в базе данных системы; выявление всех лиц или номеров транспортных средств или объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер, посредством сравнения данных от разных выбранных видеокамер; отображение результата поиска.

В одном частном варианте заявленного решения этап формирования метаданных выполняется либо в процессе работы системы, при поступлении видеоданных в режиме реального времени от камер видеонаблюдения, либо непосредственно перед поиском, после того как пользователем выбраны видеокамеры, заданы интервалы времени и выбран режим поиска.

В еще одном частном варианте заявленного решения в режиме поиска по лицам (1) выполняется сравнение всех лиц, распознанных в видеоданных разных выбранных видеокамер для выявления всех случаев, когда одно и тоже лицо было распознано в видеоданных от наибольшего количества из выбранных видеокамер.

В другом частном варианте заявленного решения в режиме поиска по номерам транспортных средств (2) выполняется сравнение всех номеров транспортных средств, распознанных в видеоданных разных выбранных видеокамер для выявления всех случаев, когда один и тот же номер транспортного средства был распознан в видеоданных от наибольшего количества из выбранных видеокамер.

В еще одном частном варианте заявленного решения в режиме поиска по объектам (3) выполняется: поиск всех объектов, соответствующих упомянутым заданным характеристикам объекта и сравнение всех объектов, найденных в видеоданных разных выбранных видеокамер для выявления всех объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер.

В другом частном варианте заявленного решения характеристиками объекта являются: тип объекта, цвет объекта, минимальный размер объекта, максимальный размер объекта.

В еще одном частном варианте заявленного решения к типам объекта относятся: человек, группа людей, транспортное средство или оставленный предмет.

В другом частном варианте заявленного решения блок задания промежутка времени сконфигурирован таким образом, чтобы позволять пользователю системы задавать свой промежуток времени видео для каждой конкретной выбранной видеокамеры.

В еще одном частном варианте заявленного решения ГПИ дополнительно содержит блок задания минимальной доли видеокамер, позволяющий пользователю системы указывать долю выбранных видеокамер, в видеоданных от которых должно присутствовать искомое лицо или номер транспортного средства или объект, для того, чтобы попасть в результаты поиска.

В другом частном варианте заявленного решения блок выбора видеокамер дополнительно сконфигурирован таким образом, чтобы позволять пользователю системы указывать для каждой выбранной видеокамеры минимальное число появлений искомого лица или номера транспортного средства или объекта в области зрения видеокамеры.

В еще одном частном варианте заявленного решения ГПИ дополнительно содержит блок построения логических цепочек, позволяющий пользователю системы задавать последовательность видеокамер, соответствующих предполагаемому пути перемещения искомого лица или транспортного средства или объекта.

В другом частном варианте заявленного решения при сравнении всех найденных объектов выполняется сравнение каждого объекта, найденного в видеоданных от первой видеокамеры с каждым объектом каждой последующей выбранной видеокамеры.

В еще одном частном варианте заявленного решения сравнение найденных объектов выполняется по визуальной схожести, рассчитываемой посредством использования нейронной сети.

В другом частном варианте заявленного решения ГПИ дополнительно содержит блок задания процента схожести, позволяющий пользователю системы задавать минимальный процент схожести лиц при сравнении лиц в режиме поиска по лицам (1) и минимальный процент схожести номеров транспортных средств при сравнении номеров в режиме поиска по номерам транспортных средств (2), при этом если полученный при сравнении процент схожести больше заданного минимального процента, то система будет считать, что лица или номера похожи в достаточной степени и выводить их в результатах поиска, а если меньше, то отсеивать.

В еще одном частном варианте заявленного решения результат поиска далее сравнивают с базой данных, для идентификации обнаруженного человека или владельца найденного транспортного средства.

В другом частном варианте заявленного решения результат поиска выводится в виде списка или набора кадров.

Данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления вариантов способов обработки данных из архива.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема системы для обработки данных из архива.

Фиг. 2 - блок-схема одного из вариантов реализации способа обработки данных из архива.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам в данной области техники будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.

Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде компьютерных систем и способов обработки данных из архива, а также в виде считываемого компьютером носителя данных.

На фиг. 1 представлена блок-схема одного из вариантов реализации вычислительной системы для обработки данных из архива. Данная система включает в себя: по меньшей мере, две видеокамеры (10, …, 1n); память (20); базу данных (30); по меньшей мере одно устройство обработки данных (40, …, 4m); и графический пользовательский интерфейс (50), содержащий: блок выбора видеокамер [b1], блок задания промежутка времени [b2], блок выбора режима поиска [b3], блок характеристик поиска [b4], блок задания минимальной доли видеокамер [b5], блок построения логических цепочек [b6], блок задания процента схожести [b7] и блок отображения [b8].

Для дальнейшего лучшего понимания сущности заявляемого решения необходимо пояснить, что графический пользовательский интерфейс (ГПИ) в общем случае представляет собой систему средств для взаимодействия пользователя с вычислительным устройством, основанную на представлении всех доступных пользователю системных объектов и функций в виде графических компонентов экрана (окон, значков, меню, кнопок, списков и т.п.). При этом пользователь имеет произвольный доступ, посредством устройств ввода/вывода данных, ко всем видимым экранным объектам - блокам интерфейса, которые отображаются на дисплее/экране.

Следует отметить, что ГПИ заявляемой системы не обязательно должен содержать все упомянутые выше блоки. При этом ГПИ может включать в себя какие-либо другие, не описанные выше блоки, дополнительно или вместо указанных, в зависимости от обстоятельств и требований пользователя в каждой конкретной системе видеонаблюдения.

Устройство ввода/вывода данных может представлять собой, но не ограничиваясь, например, манипулятор мышь, клавиатуру, джойстик, тачпад, стилус, трекпад и т.п.

Под вычислительными системами понимаются любые системы, построенные на базе программно-аппаратных средств, например, такие как: персональные компьютеры, смартфоны, ноутбуки, планшеты и т.д.

В роли устройства памяти могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD) и т.д. Для дальнейшего понимания сущности заявляемого решения необходимо пояснить, что память системы хранит архив видеоданных, поступающих в режиме реального времени от всех видеокамер системы.

База данных - это представленная в объективной форме совокупность самостоятельных материалов, систематизированных таким образом, чтобы эти материалы могли быть найдены и обработаны с помощью устройства обработки данных. В контексте данной заявки рассмотрено по меньшей мере три базы данных. Первая база данных входит в состав системы и сконфигурирована для систематизированного хранения метаданных, полученных из проанализированных видеоданных, полученных от камер видеонаблюдения. Вторая база данных хранит в себе информацию о людях (например, уже привлекаемых за правонарушения или просто попавших в базу по какой-либо другой причине), с использованием которой можно идентифицировать личность человека. Третья база данных является базой данных автомобильных номеров, которая хранит в себе информацию о владельцах транспортных средств.

В качестве устройства обработки данных может выступать процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных. При этом процессор может быть многоядерным, для обеспечения параллельной обработки данных.

Следует отметить, что в указанную систему могут входить и любые другие известные в данном уровне техники устройства, например, видеокарта (включающая графический процессор GPU) или разнообразные датчики и т.д.

Далее будет подробно описан пример работы вышеупомянутой системы для обработки данных из архива.

В настоящее время сложно представить коммерческое здание (магазин, банк и т.д.) без камер видеонаблюдения. Кроме того, жилые комплексы все больше стали оснащаться видеокамерами. Камеры есть на улицах, в парках и аллеях, в домах (подъездах и на этажах) и т.д. Для примера рассмотрим уличную систему видеонаблюдения крупного жилого района, по всей территории которого размещены обзорные видеокамеры. Следует отметить, что можно рассматривать охраняемую территорию абсолютно любой площади.

Предположим, что в рассматриваемом районе произошло правонарушение, например, ограбление магазина. Злоумышленник был в маске, поэтому никто не рассмотрел его лица. Сотрудник полиции опросил всех свидетелей, на основании чего у него сформировался набор примет грабителя, таких как: он мужчина, у него черные штаны и серая куртка, на лице маска. Кроме того, на основании показаний опрошенных людей из соседних зданий есть несколько мест, где был замечен похожий человек, а также приблизительное время, когда он был замечен. Однако, нет ни фотографии, ни имени злоумышленника. Для предшествующего уровня техники это показалось бы сложной задачей и преступника могли бы так никогда и не найти. Заявляемое решение предназначено для помощи в продвижении расследований такого или аналогичного типа.

Первым делом, оператор системы задает все известные данные о преступнике. Для этого графический пользовательский интерфейс заявляемой системы оснащен всеми необходимыми средствами ввода и вывода данных.

Посредством использования блока выбора видеокамер [b1] пользователь задает/выбирает конкретные видеокамеры, в область зрения которых мог попасть злоумышленник. Кроме того, в одном из вариантов реализации блок выбора видеокамер [b1] дополнительно сконфигурирован так, чтобы пользователь системы мог указывать для каждой выбранной видеокамеры минимальное число появлений искомого лица (или номера транспортного средства или объекта) в области зрения видеокамеры. Например, если известно, что злоумышленник зашел в банк и потом вышел из него, то для повышения точности поиска логично указать «2» появления искомого лица (или объекта) в качестве минимального числа появлений для камеры, в область зрения которой попадает вход в банк. В случае поиска по номерам транспортных средств также полезна эта функция. Например, если известно, что искомый автомобиль проезжал в области зрения камеры А один раз и два раза в области зрения камеры В, будет проще вычислить искомый автомобиль. Следует отметить, что по умолчанию системой задано минимальное число появлений «1» для каждой камеры.

Далее в блоке задания промежутка времени [b2] пользователь задает конкретный промежуток времени для видео. При этом можно задать общий промежуток времени для всех камер, например, за 2 мая 2018 года с 10:00 до 16:30 (если неизвестно более конкретных промежутков времени). Если же есть показания свидетелей, например, что подозреваемый был у магазина в 10:13, потом был замечен у банка примерно в 10:50, затем был замечен во дворе у подъезда в промежутке с 11:30 до 12:15, после чего скрылся в подъезде дома, и вышел из него вечером, то для такого случая блок задания промежутка времени сконфигурирован так, чтобы пользователь системы мог задавать свой конкретный промежуток времени видео для каждой конкретной видеокамеры.

Затем посредством блока выбора режима поиска [b3] пользователь системы выбирает один из трех возможных режимов поиска: режима поиска по лицам (1), режима поиска по номерам транспортных средств (2) или же режима поиска по объектам (3). В рассматриваемом примере с грабителем в маске очевидно, что оператор системы выберет режим поиска по объектам, поскольку у нас есть только набор примет преступника. Однако, если известно, что преступник снял маску, как только отошел от места преступления, то можно выбрать режим поиска по лицам для более быстрой идентификации его личности. Если же точно неизвестно в какой именно момент злоумышленник снял маску, то лучше остановиться на режиме (3). Хоть режим поиска по объектам является более обобщенным, однако в ряде случаев он является более эффективным. Лица и номера могут быть неточно распознаны, или вообще не распознаны если, например, объект плохо виден, поскольку он находится далеко от камеры. При этом распознать такие признаки как цвет куртки и штанов гораздо проще. Следует отметить, что если выбранный режим поиска не дает результатов, то всегда можно выбрать другой режим или же уточнить введенные данные.

Для упомянутого режима поиска по объектам (3) в ГПИ предусмотрен блок характеристик поиска [b4], с использованием которого пользователь указывает все известные характеристики объекта. При этом характеристиками объекта являются: тип объекта, цвет объекта, минимальный размер объекта, максимальный размер объекта. К типам объекта относятся: человек, группа людей, транспортное средство или оставленный предмет.

В описываемом техническом решении для повышения скорости поиск производится по метаданным. Метаданными, характеризующими данные обо всех объектах в видео, являются, по меньшей мере:

а) характеристический вектор, описывающий лицо;

б) номер транспортного средства (автомобиля, мотоцикла и т.д.);

в) характеристический вектор, описывающий внешний вид человека;

г) любая информация, позволяющая выполнить реидентификацию объекта как в рамках одной/нескольких видеокамер, так и в разные моменты времени.

Таким образом, перед началом поиска необходимо выполнить еще один подготовительный этап: формирование метаданных. Для этого по меньшей мере одно устройство обработки данных осуществляет декомпрессию и анализ видеоданных. Упомянутые полученные после анализа метаданные записываются в базу данных системы. Следует отметить, что в различных реализациях этап формирования метаданных выполняется в разное время. Либо в процессе работы системы, при поступлении видеоданных в режиме реального времени от камер видеонаблюдения (вариант 1), либо непосредственно перед поиском, после того как пользователем выбраны видеокамеры, заданы интервалы времени и выбран режим поиска (вариант 2).

Итак, когда все необходимые данные заданы, метаданные сформированы, система приступает к обработке архивных видеоданных и непосредственному осуществлению поиска по соответствующим им метаданным. Следует еще раз отметить, что поиск осуществляется после того как пользователь выберет видеокамеры, задаст промежутки времени и выберет необходимый режим поиска.

Целью поиска является выявление всех лиц или номеров транспортных средств или объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер, посредством сравнения данных от разных выбранных видеокамер. Этот этап будет рассмотрен более подробно относительно каждого режима поиска.

В режиме поиска по объектам (3) выполняется поиск всех объектов, соответствующих упомянутым заданным характеристикам объекта. Далее выполняется сравнение всех найденных объектов от разных выбранных видеокамер для выявления одинаковых объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер. Для примера допустим, что пользователь выбрал 10 камер. В области зрения каждой выбранной камеры есть различные объекты. После проведения поиска по заданным характеристикам системой было отсеяно большинство объектов, поскольку они не соответствуют критериям поиска. Остальные объекты последовательно сравниваются друг с другом. То есть выполняется сравнение каждого объекта, найденного в видеоданных от первой видеокамеры с каждым объектом второй видеокамеры и так далее с каждым объектом каждой последующей выбранной видеокамеры. Если системой выявлено, что «объект 1» встречается в области зрения трех выбранных камер, а «объект 2» встречается в области зрения восьми видеокамер в заданные промежутки времени, то система в качестве результата поиска выдаст «объект 2», поскольку 8 больше 3. То есть в данном примере «8» является наибольшим числом из выбранных видеокамер, в области зрения которых был обнаружен искомый объект. Следует отметить, что сравнение найденных объектов выполняется по их визуальной схожести, которая рассчитывается посредством использования нейронной сети.

В режиме поиска по лицам (1) соответственно выполняется сравнение всех лиц, распознанных в видеоданных разных выбранных видеокамер для выявления всех случаев, когда одно и тоже лицо было распознано в видеоданных от наибольшего количества из выбранных видеокамер. То есть система возвращает все случаи, когда одно и тоже лицо было распознано большей частью (но не обязательно всеми) из выбранных видеокамер в заданный для каждой камеры промежуток времени.

Аналогично обстоят дела и с режимом поиска по номерам транспортных средств (2), при котором выполняется сравнение всех номеров транспортных средств, распознанных в видеоданных разных выбранных видеокамер для выявления всех случаев, когда один и тот же номер транспортного средства был распознан в видеоданных от наибольшего количества из выбранных видеокамер. То есть ищется машина с одним и тем же номером, зафиксированная в области зрения большинства из выбранных видеокамер в заданный промежуток времени.

В отдельных реализациях заявляемой системы ГПИ дополнительно содержит блок задания процента схожести [b7]. Данный блок позволяет пользователю системы задавать минимальный процент схожести лиц при сравнении лиц в режиме поиска по лицам (1) и минимальный процент схожести номеров транспортных средств при сравнении номеров в режиме поиска по номерам транспортных средств (2). Если полученный при сравнении процент схожести больше заданного минимального процента, то система будет считать, что лица или номера похожи в достаточной степени и выводить их в результатах поиска, а если меньше, то отсеивать.

Для повышения точности работы системы и для исключения ошибочных результатов ГПИ дополнительно может содержать блок задания минимальной доли видеокамер [b5]. С использованием данного блока пользователь системы указывает долю выбранных видеокамер, в видеоданных от которых должно присутствовать искомое лицо (или номер транспортного средства или объект) для того, чтобы попасть в результаты поиска. То есть если выбрано 10 видеокамер, то можно задать минимальную долю 7, что будет означать, что если искомый объект (лицо, номер) появится в области зрения хотя бы семи камер в заданный промежуток времени, то этого будет достаточно для того, чтобы этот объект попал в результаты поиска. То есть если объект появится в области зрения семи или более камер из десяти возможных, то этот объект будет выводиться в результатах поиска.

Кроме того, также для повышения точности поиска и для повышения эффективности работы системы в целом, ГПИ дополнительно может содержать блок построения логических цепочек [b6]. Данный блок позволяет пользователю системы задавать последовательность видеокамер, соответствующих предполагаемому пути перемещения искомого лица (или номера транспортного средства или объекта). Например, мы точно знаем, что сначала объект появился на камере 1 (около выхода из метро), затем на камере 2 (зашел в магазин), потом прошел мимо камеры 3 или камеры 4 или же камеры 5 (вошел в один из подъездов конкретного дома, какой именно неизвестно). Объекты, появляющиеся в другой последовательности в области зрения выбранных видеокамер, соответственно, не попадут в результаты поиска. В описанном примере пользователь также может задать минимальную долю видеокамер «3» из пяти выбранных видеокамер, а также задать минимальное число появлений «2» для камеры 2 (поскольку объект зашел в магазин и вышел из него).

Завершающим этапом работы системы является вывод результатов поиска посредством блока отображения [b8] графического пользовательского интерфейса. Результаты поиска выводятся либо в виде набора кадров, на которых показаны объекты (или лица или номера), либо в виде списка. Когда результаты выводятся в виде списка, можно кликнуть на строку каждого результата, для отображения всех полученных сведений о найденном объекте (или лице или номере транспортного средства).

В режиме поиска по лицам (1) и режиме поиска по номерам транспортных средств (2) после завершения работы системы полученный результат поиска можно сравнить с базой данных. Например, если результатом поиска является кадр видеоданных, на котором запечатлен искомый человек, то данное изображение можно сравнить с базой данных людей, для идентификации обнаруженного человека, установления его личности и получения всех известных о нем данных. Аналогично, если результатом поиска является номер транспортного средства, то данный номер также сравнивают с базой данных автомобильных номеров, для установления личности владельца найденного транспортного средства.

Как можно заметить, благодаря выполнению поиска посредством использования заявляемой системы в различных ее реализациях возможно значительно продвинуться в расследовании и вычислить личность злоумышленника в самые короткие сроки. При этом следует отметить высокую скорость и точность поиска с учетом наличия минимальных начальных данных (повышенная эффективность).

На фиг. 2 представлена блок-схема одного из вариантов реализации способа обработки данных из архива. Указанный способ выполняется компьютерной системой, включающей в себя, по меньшей мере, одно устройство обработки данных, базу данных и память, хранящую архив видеоданных, полученных от всех видеокамер системы. При этом способ содержит этапы, на которых осуществляется:

(100) предоставление пользователю системы выбора конкретных видеокамер системы, данные с которых будут обрабатываться;

(200) задание пользователем системы конкретного промежутка времени видео для выбранных видеокамер;

(300) предоставление пользователю системы выбора режима поиска из: режима поиска по лицам (1), режима поиска по номерам транспортных средств (2) и режима поиска по объектам (3);

(400) задание пользователем системы известных характеристик объекта для выполнения поиска, в случае если выбран режим поиска по объектам (3);

(500) обработка архивных видеоданных и осуществление поиска по соответствующим им метаданным, после того как пользователь выберет видеокамеры, задаст промежутки времени и выберет режим поиска, причем метаданные, характеризующие данные обо всех объектах в видео, формируются путем декомпрессии и анализа видеоданных и хранятся в базе данных системы;

(600) выявление всех лиц или номеров транспортных средств или объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер, посредством сравнения данных от разных выбранных видеокамер;

(700) отображение результата поиска.

Следует еще раз отметить, что данный способ реализуется средствами описанной ранее системы для обработки данных из архива и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации системы для обработки данных из архива.

Этапы (100)-(400) выполняются пользователем системы посредством использования специализированных средств (блоков) ГПИ. Все введенные пользователем данные далее используются, по меньшей мере, одним устройством обработки данных для автоматического выполнения последующих этапов (500)-(700) для получения необходимых результатов поиска.

Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.

В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средство, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) вычислительным устройством, например, таким как компьютер. При этом носитель данных может являться энергозависимым или энергонезависимым машиночитаемым носителем данных.

При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.

Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.

Изобретение относится к вычислительной технике. Технический результат − повышение эффективности поиска интересующего объекта при минимальных начальных данных Система для обработки данных из архива содержит: видеокамеры; память для хранения архива видеоданных от видеокамер системы; базу данных для хранения метаданных; графический пользовательский интерфейс (ГПИ), содержащий: блок выбора видеокамер; блок задания промежутка времени; блок выбора режима поиска; блок характеристик поиска; блок отображения, для отображения результатов поиска; а также устройство обработки данных для выполнения: декомпрессии и анализа видеоданных для формирования метаданных, характеризующих данные обо всех объектах в видео, при этом упомянутые метаданные записываются в базу данных системы; обработки архивных видеоданных и осуществления поиска по метаданным; вывода результата поиска посредством блока отображения. 3 н. и 30 з.п. ф-лы, 2 ил.

1. Система для обработки данных из архива, содержащая:

по меньшей мере, две видеокамеры;

память, выполненную с возможностью хранения архива видеоданных, поступающих от всех видеокамер системы;

базу данных, для хранения метаданных;

графический пользовательский интерфейс (ГПИ), содержащий, по меньшей мере:

блок выбора видеокамер, позволяющий пользователю системы выбирать конкретные видеокамеры, данные с которых будут обрабатываться,

блок задания промежутка времени, позволяющий пользователю системы задавать конкретный промежуток времени видео для выбранных видеокамер,

блок выбора режима поиска, позволяющий пользователю системы выбрать один из трех режимов: режима поиска по лицам (1), режима поиска по номерам транспортных средств (2), режима поиска по объектам (3),

блок характеристик поиска, сконфигурированный для задания известных характеристик объекта для выполнения поиска в режиме поиска по объектам (3) и

блок отображения, сконфигурированный для отображения полученных результатов поиска;

а также, по меньшей мере, одно устройство обработки данных, сконфигурированное с возможностью выполнения следующих этапов:

декомпрессии и анализа видеоданных для формирования метаданных, характеризующих данные обо всех объектах в видео, при этом упомянутые метаданные записываются в базу данных системы;

обработки архивных видеоданных и осуществления поиска по соответствующим им метаданным, после того как пользователь выберет видеокамеры, задаст промежутки времени и выберет режим поиска, для выявления всех лиц или номеров транспортных средств или объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер, посредством сравнения данных от разных выбранных видеокамер;

вывода результата поиска посредством блока отображения.

2. Система по п. 1, в которой этап формирования метаданных выполняется либо в процессе работы системы, при поступлении видеоданных в режиме реального времени от камер видеонаблюдения, либо непосредственно перед поиском, после того как пользователем выбраны видеокамеры, заданы интервалы времени и выбран режим поиска.

3. Система по п. 2, в которой в режиме поиска по лицам (1) выполняется сравнение всех лиц, распознанных в видеоданных разных выбранных видеокамер для выявления всех случаев, когда одно и тоже лицо было распознано в видеоданных от наибольшего количества из выбранных видеокамер.

4. Система по п. 2, в которой в режиме поиска по номерам транспортных средств (2) выполняется сравнение всех номеров транспортных средств, распознанных в видеоданных разных выбранных видеокамер для выявления всех случаев, когда один и тот же номер транспортного средства был распознан в видеоданных от наибольшего количества из выбранных видеокамер.

5. Система по п. 2, в которой в режиме поиска по объектам (3) выполняется:

поиск всех объектов, соответствующих упомянутым заданным характеристикам объекта; и

сравнение всех объектов, найденных в видеоданных разных выбранных видеокамер для выявления всех объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер.

6. Система по п. 5, в которой характеристиками объекта являются: тип объекта, цвет объекта, минимальный размер объекта, максимальный размер объекта.

7. Система по п. 6, в которой к типам объекта относятся: человек, группа людей, транспортное средство или оставленный предмет.

8. Система по любому из пп. 1-5, в которой блок задания промежутка времени сконфигурирован таким образом, чтобы позволять пользователю системы задавать свой промежуток времени видео для каждой конкретной выбранной видеокамеры.

9. Система по любому из пп. 1-5, в которой ГПИ дополнительно содержит блок задания минимальной доли видеокамер, позволяющий пользователю системы указывать долю выбранных видеокамер, в видеоданных от которых должно присутствовать искомое лицо или номер транспортного средства или объект для того, чтобы попасть в результаты поиска.

10. Система по любому из пп. 1-5, в которой блок выбора видеокамер дополнительно сконфигурирован таким образом, чтобы позволять пользователю системы указывать для каждой выбранной видеокамеры минимальное число появлений искомого лица или номера транспортного средства или объекта в области зрения видеокамеры.

11. Система по любому из пп. 1-5, в которой ГПИ дополнительно содержит блок построения логических цепочек, позволяющий пользователю системы задавать последовательность видеокамер, соответствующих предполагаемому пути перемещения искомого лица или транспортного средства, или объекта.

12. Система по любому из пп. 5-7, в которой при сравнении всех найденных объектов выполняется сравнение каждого объекта, найденного в видеоданных от первой видеокамеры с каждым объектом каждой последующей выбранной видеокамеры.

13. Система по любому из пп. 5-7, в которой сравнение найденных объектов выполняется по визуальной схожести, рассчитываемой посредством использования нейронной сети.

14. Система по любому из пп. 1-4, 8-11, в которой ГПИ дополнительно содержит блок задания процента схожести, позволяющий пользователю системы задавать минимальный процент схожести лиц при сравнении лиц в режиме поиска по лицам (1) и минимальный процент схожести номеров транспортных средств при сравнении номеров в режиме поиска по номерам транспортных средств (2),

при этом если полученный при сравнении процент схожести больше заданного минимального процента, то система будет считать, что лица или номера похожи в достаточной степени и выводить их в результатах поиска, а если меньше, то отсеивать.

15. Система по любому из пп. 1-4, 14, в которой результат поиска далее сравнивают с базой данных, для идентификации обнаруженного человека или владельца найденного транспортного средства.

16. Система по любому из пп. 1-5, в которой результат поиска выводится в виде списка или набора кадров.

17. Способ обработки данных из архива, реализуемый компьютерной системой, включающей в себя, по меньшей мере, одно устройство обработки данных, базу данных и память, хранящую архив видеоданных, полученных от всех видеокамер системы, причем способ содержит этапы, на которых осуществляется:

предоставление выбора конкретных видеокамер системы, данные с которых будут обрабатываться;

задание конкретного промежутка времени видео для выбранных видеокамер;

предоставление выбора режима поиска из: режима поиска по лицам (1), режима поиска по номерам транспортных средств (2) и режима поиска по объектам (3);

задание известных характеристик объекта для выполнения поиска, в случае если выбран режим поиска по объектам (3);

обработка архивных видеоданных и осуществление поиска по соответствующим им метаданным, после того как пользователь выберет видеокамеры, задаст промежутки времени и выберет режим поиска,

причем метаданные, характеризующие данные обо всех объектах в видео, формируются путем декомпрессии и анализа видеоданных и хранятся в базе данных системы;

выявление всех лиц или номеров транспортных средств или объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер, посредством сравнения данных от разных выбранных видеокамер;

отображение результата поиска.

18. Способ по п. 17, в котором этап формирования метаданных выполняется либо в процессе работы системы, при поступлении видеоданных в режиме реального времени от камер видеонаблюдения, либо непосредственно перед поиском, после того как пользователем выбраны видеокамеры, заданы интервалы времени и выбран режим поиска.

19. Способ по п. 18, в котором в режиме поиска по лицам (1) выполняется сравнение всех лиц, распознанных в видеоданных разных выбранных видеокамер для выявления всех случаев, когда одно и тоже лицо было распознано в видеоданных от наибольшего количества из выбранных видеокамер.

20. Способ по п. 18, в котором в режиме поиска по номерам транспортных средств (2) выполняется сравнение всех номеров транспортных средств, распознанных в видеоданных разных выбранных видеокамер для выявления всех случаев, когда один и тот же номер транспортного средства был распознан в видеоданных от наибольшего количества из выбранных видеокамер.

21. Способ по п. 18, в котором в режиме поиска по объектам (3) выполняется:

поиск всех объектов, соответствующих упомянутым заданным характеристикам объекта; и

сравнение всех объектов, найденных в видеоданных разных выбранных видеокамер для выявления объектов, встречающихся в видеоданных, полученных от наибольшего количества из выбранных видеокамер.

22. Способ по п. 21, в котором характеристиками объекта являются: тип объекта, цвет объекта, минимальный размер объекта, максимальный размер объекта.

23. Способ по п. 22, в котором к типам объекта относятся: человек, группа людей, транспортное средство или оставленный предмет.

24. Способ по любому из пп. 17-21, выполненный с возможностью позволять пользователю системы задавать свой промежуток времени видео для каждой конкретной выбранной видеокамеры.

25. Способ по любому из пп. 17-21, выполненный с возможностью позволять пользователю системы указывать долю выбранных видеокамер, в видеоданных от которых должно присутствовать искомое лицо или номер транспортного средства или объект для того, чтобы попасть в результаты поиска.

26. Способ по любому из пп. 17-21, выполненный с возможностью позволять пользователю системы указывать для каждой выбранной видеокамеры минимальное число появлений искомого лица или номера транспортного средства или объекта в области зрения видеокамеры.

27. Способ по любому из пп. 17-21, выполненный с возможностью позволять пользователю системы задавать последовательность видеокамер, соответствующих предполагаемому пути перемещения искомого лица или транспортного средства, или объекта.

28. Способ по любому из пп. 21-23, в котором при сравнении всех найденных объектов выполняется сравнение каждого объекта, найденного в видеоданных от первой видеокамеры с каждым объектом каждой последующей выбранной видеокамеры.

29. Способ по любому из пп. 21-23, в котором сравнение найденных объектов выполняется по визуальной схожести, рассчитываемой посредством использования нейронной сети.

30. Способ по любому из пп. 17-20, 24-27, выполненный с возможностью позволять пользователю системы задавать минимальный процент схожести лиц при сравнении лиц в режиме поиска по лицам (1) и минимальный процент схожести номеров транспортных средств при сравнении номеров в режиме поиска по номерам транспортных средств (2),

при этом если полученный при сравнении процент схожести больше заданного минимального процента, то система будет считать, что лица или номера похожи в достаточной степени и выводить их в результатах поиска, а если меньше, то отсеивать.

31. Способ по любому из пп. 17-20, 30, в котором результат поиска далее сравнивают с базой данных, для идентификации обнаруженного человека или владельца найденного транспортного средства.

32. Способ по любому из пп. 17-21, в котором результат поиска выводится в виде списка или набора кадров.

33. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов обработки данных из архива по любому из пп. 17-32.