Способ эмуляции по меньшей мере двух стационарных виртуальных видеокамер при использовании одной поворотной (PTZ) видеокамеры Российский патент 2018 года по МПК G06T7/80 H04N5/232 H04N7/18 

Изобретение относится к области обработки видеоданных, полученных посредством видеокамер, в частности к эмуляции нескольких фиксированных видеокамер с одной поворотной PTZ видеокамеры.

Уровень техники

Под видеоаналитикой понимается программно-аппаратное обеспечение или технические средства, использующие методы компьютерного зрения для автоматизированного сбора данных, на основании анализа потокового видео (видеоанализа). Видеоаналитика опирается на алгоритмы обработки изображения и распознавания образов, позволяющих анализировать видео без прямого участия человека. Видеоаналитика используется в составе интеллектуальных систем видеонаблюдения, управления бизнесом и видеопоиска.

Видеоаналитика в зависимости от конкретных целей может реализовывать множество функций, таких как: обнаружение объектов, слежение за движением объектов, классификация объектов, идентификация объектов, обнаружение ситуаций, в том числе и тревожных, и многое другое.

В настоящее время широкое применение получили поворотные PTZ видеокамеры. Поворотная (она же PTZ) видеокамера обладает возможностью поворота ее оператором в нужное положение, задаваемое тремя координатами: Pan - панорамирование, Tilt - наклон, Zoom - зум. При этом каждому положению видеокамеры соответствуют некоторые координаты (Р, Т, Z). Оператор имеет возможность задать имя или номер для некоторого набора координат, задав тем самым пресеты, т.е. некие преднастроенные положения камеры. Большинство PTZ видеокамер поддерживает режим патрулирования, в котором камера последовательно обходит набор пресетов и задерживается в каждом из них на некоторое (задаваемое оператором) время.

PTZ видеокамеры активно используются при проведении видеоконференций, являясь необходимым атрибутом конференц-зала или переговорной комнаты. PTZ видеокамеру можно наводить как на конкретного выступающего во время видеоконференции, так и на весь конференц-зал с помощью оптического зума и блока сервоприводов.

В уровне техники раскрыт способ управления PTZ видеокамерой для наблюдения за областью (US 2011/0102586 А1, опубл. 05.05.2011). Согласно данному способу устанавливают траекторию мониторинга для PTZ-камеры, которая захватывает множество навигационных изображений контролируемой области в разных положениях траектории мониторинга и получают информацию о местоположении каждого из изображений на основе системы координат пространства изображений.

Также в уровне техники раскрыт способ калибровки PTZ видеокамер (US 2010/033567 А1, опубл. 11.02.2010). Способ содержит этап, на котором осуществляют определение радиального искажения камеры PTZ, фокусного расстояния базовой камеры PTZ, определяют масштабирование и увеличение профиля камеры PTZ, задержку срабатывания системы PTZ-камеры.

Также в уровне техники раскрыты система и способ автоматического поворота изображения широкоугольной видеокамеры (US 8860780 В1, опубл. 14.10.2014). Предпочтительные варианты осуществления включают в себя автоматическое вращение стереографически прогнозируемого изображения с использованием механизма преобразования, который способен извлекать множество видов под управлением дистанционного масштабирования панорамирования (PTZ).

Недостатком вышеупомянутых технических решений является наличие сложного алгоритма анализа видео, поступающего с PTZ видеокамеры, т.е. имеется необходимость в адаптации каждого алгоритма обработки изображений под использование их с PTZ видеокамерой.

Раскрытие изобретения

Техническим результатом, на достижение которого направлено заявленное изобретение, является упрощение алгоритмов анализа видео, поступающего с PTZ видеокамеры, за счет эмуляции нескольких стационарных виртуальных видеокамер с одной поворотной видеокамеры.

Данный технический результат достигается за счет того, что способ эмуляции по меньшей мере двух стационарных виртуальных видеокамер при использовании одной поворотной (PTZ) видеокамеры, при этом количество стационарных камер равно количеству пресетов PTZ видеокамеры, содержит этапы, на которых:

сохраняют данные, поступающие с PTZ видеокамеры, как исходный поток;

задают пресеты для PTZ видеокамеры, представляющие собой преднастроенные положения PTZ видеокамеры;

определяют, что в нулевой момент времени PTZ видеокамера находилась в первом пресете, в котором видеокамера захватывает по меньшей мере одно изображение;

осуществляют эмуляцию потока данных, полученных с первой виртуальной видеокамеры с данными, полученными с PTZ видеокамеры в первом пресете, выдавая исходный видеопоток в первом пресете за поток данных с первой виртуальной камеры;

применяют к полученному в результате эмуляции потоку данных заданный для первой виртуальной камеры алгоритм обработки захваченного по меньшей мере одного изображения;

фиксируют момент времени перехода PTZ видеокамеры из первого пресета во второй, при этом в каждый момент времени, активен только один поток данных, поступающих с одной виртуальной видеокамеры;

осуществляют эмуляцию второй виртуальной видеокамеры с PTZ видеокамерой во втором пресете, выдавая поток данных, поступающий с PTZ видеокамеры во втором пресете, за поток данных, поступающий со второй виртуальной видеокамеры;

применяют к полученному в результате эмуляции видеопотоку заданный для второй виртуальной камеры алгоритм обработки изображения.

В частном варианте способа количество пресетов PTZ видеокамеры задается оператором.

В еще одном частном варианте способа, при переходе PTZ видеокамеры в режим ручного управления происходит остановка виртуальных потоков, поступающих с виртуальных камер.

Еще один частный вариант способа характеризуется тем, что поток данных представляет собой, по меньшей мере, следующее: видеопоток, аудиопоток, данные, полученные с датчиков.

Дополнительный частный вариант способа характеризуется тем, что на захваченном изображении может присутствовать по меньшей мере один объект, такой как лицо человека, автомобиль, оставленные предметы.

В еще одном частном варианте способа в качестве алгоритма обработки по меньшей мере одного изображения могут применяться, по меньшей мере, алгоритм распознавания лица человека, номера автомобиля, детектор движения автомобиля, межкадровое прослеживания движения и положения оставленных предметов, детектирование дыма/огня.

Осуществление изобретения

Ниже будет приведено описание примерных вариантов заявленных изобретений. Однако настоящее изобретение не ограничивается только этими вариантами осуществления. Специалистам будет очевидно, что под объем заявленного изобретения, описанного в формуле, могут попадать и другие варианты.

Для решения поставленной задачи предлагается эмулировать несколько стационарных виртуальных видеокамер при использовании одной PTZ видеокамеры. Эмуляция заключается в том, что вся информация с видеокамеры (видеопотоки, аудиопоток, датчики и т.д.) выдается за информацию, получаемую с соответствующей текущему пресету виртуальной видеокамеры.

В результате такой эмуляции поток с каждой виртуальной камеры может быть использован в любом алгоритме анализа видео без каких-либо доработок.

Под алгоритмом обработки или анализа видео могут пониматься любые, известные из уровня техники алгоритмы, например такие, как алгоритмы распознавания лица человека, номера автомобиля, детекторы движений автомобиля, межкадровое прослеживание движения и положения оставленных предметов, детектирование дыма/огня и многие другие.

Упомянутая эмуляция позволяет применять для видеоданных, полученных с PTZ видеокамеры, те же алгоритмы анализа видео, что и для стационарных видеокамер.

Алгоритм эмуляции может выполняться бесконечно. PTZ видеокамера в бесконечном цикле ходит по пресетам, также есть возможность ручного управления видеокамерой. При ручном управлении все виртуальные потоки необходимо остановить.

Способ эмуляции начинается с этапа сохранения данных, поступающих с PTZ видеокамеры в качестве исходного потока. Это могут быть любые данные, например видеоданные, аудиоданные, данные, полученные с датчиков и т.д.

Оператор поворачивает PTZ видеокамеру в те положения, которые ему чем-то интересны, меняя соответственно параметры панорамы, наклона, зума, и камера запоминает эти текущие положения под некоторыми именами или номерами. Таким образом, задается некоторое количество преднастроенных положений PTZ видеокамеры, называемых пресетами. Задается также длительность времени, в течении которого камера должна стоять в каждом пресете. Для выполнения эмуляции необходимо задать столько стационарных виртуальных видеокамер, сколько у PTZ видеокамеры будет настроено пресетов.

Допустим, что в нулевой момент времени PTZ видеокамера находилась в первом пресете, где она захватывала изображение некоего объекта. Таким объектом может быть, например, лицо человека, автомобиль, забытый багаж и т.д. Осуществим эмуляцию потока данных, полученных с первой виртуальной видеокамеры, с данными, полученными с PTZ видеокамеры в первом пресете, выдавая исходный видеопоток в первом пресете за поток данных с первой виртуальной камеры.

Далее, применяют к полученному в результате эмуляции потоку данных заданный для первой виртуальной камеры алгоритм обработки захваченного по меньшей мере одного изображения. Например, получив в результате эмуляции изображение человека в первом пресете, применяют к нему алгоритм распознавания лица этого человека.

Фиксируют время перехода PTZ видеокамеры из первого пресета во второй. При этом в каждый момент времени активным будет только один поток данных, поступающий с одной виртуальной видеокамеры. С остальных виртуальных видеокамер видеопоток не поступает. Пусть во втором пресете камера захватила багаж распознанного в первом этапе человека. Далее осуществляют эмуляцию второй виртуальной видеокамеры с PTZ видеокамерой во втором пресете, выдавая поток данных, поступающих с PTZ видеокамеры во втором пресете, за поток данных, поступающий со второй виртуальной видеокамеры.

Применяют к полученному в результате эмуляции видео потоку заданный для второй виртуальной видеокамеры алгоритм обработки изображения, например алгоритм межкадрового прослеживания положения багажа.

В результате полученный после эмуляции видеопоток с каждой виртуальной видеокамеры может быть использован в любом заданном алгоритме анализе видеоданных без каких-либо доработок алгоритма анализа, что существенно снижает сложность при обработке данных.

Варианты осуществления настоящего изобретения могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном из различных традиционных машиночитаемых носителей. В контексте данного документа «машиночитаемым носителем» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер. Машиночитаемый носитель может включать энергонезависимый машиночитаемый носитель данных, который может быть любой средой или средством, содержащим или хранящим инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер, или для использования в связи с ними.

В одном из примеров осуществления может быть предложена схема или схема пользовательского интерфейса, конфигурированная для обеспечения, по меньшей мере, некоторых функций управления, описанных выше.

Если необходимо, по меньшей мере часть различных функций, рассмотренных в данном описании, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом. Кроме того, при необходимости одна или более из описанных выше функций могут быть опциональными или могут комбинироваться.

Хотя в независимых пунктах формулы изобретения охарактеризованы различные аспекты настоящего изобретения, другие аспекты изобретения включают другие комбинации признаков из описанных вариантов осуществления и/или зависимых пунктов формулы изобретения совместно с признаками независимых пунктов формулы изобретения, при этом упомянутые комбинации не обязательно явно указаны в формуле изобретения.

Изобретение относится к области видеонаблюдения и обработки видеоданных, в частности к эмуляции нескольких фиксированных видеокамер с одной поворотной (PTZ) видеокамеры. Техническим результатом является упрощение алгоритмов анализа видео, поступающего с PTZ видеокамеры. Предложен способ эмуляции по меньшей мере двух стационарных виртуальных видеокамер при использовании одной PTZ видеокамеры, при этом количество стационарных камер равно количеству пресетов PTZ видеокамеры, содержащий этапы, на которых сохраняют данные, поступающие с PTZ видеокамеры, как исходный поток, задают пресеты для PTZ видеокамеры, определяют, что в нулевой момент времени PTZ видеокамера находилась в первом пресете, в котором видеокамера захватывает по меньшей мере одно изображение, осуществляют эмуляцию потока данных, полученных с первой виртуальной видеокамеры, с данными, полученными с PTZ видеокамеры в первом пресете, выдавая исходный видеопоток в первом пресете за поток данных с первой виртуальной камеры, применяют к полученному в результате эмуляции потоку данных заданный для первой виртуальной камеры алгоритм обработки захваченного по меньшей мере одного изображения, фиксируют момент времени перехода PTZ видеокамеры из первого пресета во второй, осуществляют эмуляцию второй виртуальной видеокамеры с PTZ видеокамерой во втором пресете, выдавая поток данных, поступающий с PTZ видеокамеры во втором пресете, за поток данных, поступающий со второй виртуальной видеокамеры, применяют к полученному в результате эмуляции видеопотоку заданный для второй виртуальной камеры алгоритм обработки изображения. 5 з.п. ф-лы.

1. Способ эмуляции по меньшей мере двух стационарных виртуальных видеокамер при использовании одной поворотной (PTZ) видеокамеры, при этом количество стационарных камер равно количеству пресетов PTZ видеокамеры, содержащий этапы, на которых:

сохраняют данные, поступающие с PTZ видеокамеры, как исходный поток;

задают пресеты для PTZ видеокамеры, представляющие собой преднастроенные положения PTZ видеокамеры;

определяют, что в нулевой момент времени PTZ видеокамера находилась в первом пресете, в котором видеокамера захватывает по меньшей мере одно изображение;

осуществляют эмуляцию потока данных, полученных с первой виртуальной видеокамеры, с данными, полученными с PTZ видеокамеры в первом пресете, выдавая исходный видеопоток в первом пресете за поток данных с первой виртуальной камеры;

применяют к полученному в результате эмуляции потоку данных заданный для первой виртуальной камеры алгоритм обработки захваченного по меньшей мере одного изображения;

фиксируют момент времени перехода PTZ видеокамеры из первого пресета во второй, при этом в каждый момент времени активен только один поток данных, поступающих с одной виртуальной видеокамеры;

осуществляют эмуляцию второй виртуальной видеокамеры с PTZ видеокамерой во втором пресете, выдавая поток данных, поступающий с PTZ видеокамеры во втором пресете, за поток данных, поступающий со второй виртуальной видеокамеры;

применяют к полученному в результате эмуляции видеопотоку заданный для второй виртуальной камеры алгоритм обработки изображения.

2. Способ по п. 1, отличающийся тем, что количество пресетов PTZ видеокамеры задается оператором.

3. Способ по п. 2, отличающийся тем, что при переходе PTZ видеокамеры в режим ручного управления происходит остановка виртуальных потоков, поступающих с виртуальных камер.

4 . Способ по п. 1, отличающийся тем, что поток данных представляет собой, по меньшей мере, следующее: видеопоток, аудиопоток, данные, полученные с датчиков.

5. Способ по п. 1, отличающийся тем, что на захваченном изображении может присутствовать по меньшей мере один объект, такой как лицо человека, автомобиль, оставленные предметы.

6. Способ по п. 1, отличающийся тем, что в качестве алгоритма обработки по меньшей мере одного изображения применяется алгоритм распознавания лица человека, номера автомобиля, детекторы движения автомобиля, межкадровое прослеживание движения, положения оставленных предметов, детектирование дыма или огня, активность посетителей магазина.