СИСТЕМА И СПОСОБ СОПРОВОЖДЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ Российский патент 2019 года по МПК G06T7/80 H04N5/232 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области обработки и анализа видеоданных, получаемых от обзорных камер видеонаблюдения, а более конкретно к технологиям, направленным на обнаружение движущихся объектов в видео и на их дальнейшее сопровождения при помощи поворотной видеокамеры.

УРОВЕНЬ ТЕХНИКИ

Системы видеонаблюдения используются для охраны помещений или территорий. Обычно такие системы используют множество обзорных видеокамер для мониторинга, а также для слежения за объектами в пределах охраняемой территории. Упомянутые системы видеонаблюдения опираются на алгоритмы обработки изображений и распознавания образов, позволяющие анализировать видео без прямого участия человека.

Системы видеонаблюдения, в зависимости от конкретных целей, могут реализовывать множество функций, например, таких как: обнаружение объектов, слежение за движением объектов, сопровождение движущихся объектов, идентификация объектов, поиск конкретных объектов интереса и многое другое. Упомянутые системы являются достаточно наглядными и удобными.

В процессе мониторинга территории у оператора часто возникает потребность приблизить изображение, чтобы более детально рассмотреть, например, подозрительного человека и то, что у него в руках, или номер интересующего транспортного средства. Особенно трудоемкой эта задача может оказаться при увеличении движущегося объекта, поскольку он постоянно перемещается. Кроме того, отслеживая интересующий объект по нескольким камерам видеонаблюдения оператор концентрирует все свое внимание на одном объекте. В таком случае существует большая вероятность пропустить какое-либо нарушение (например, незаконное проникновение) в других местах охраняемой территории.

Таким образом, основными недостатками предшествующего уровня техники являются отсутствие возможности одновременного отображения полной картины наблюдаемой территории и детализированного изображения движущихся по ней объектов, а также невозможность сопровождения нескольких движущихся объектов по полученным видеоданным.

Из уровня техники известно решение, раскрытое в международной заявке WO 2012/005387, Al, G06T 7/20, опубл. 12.01.2012, в которой описаны система и способ для мониторинга движущегося объекта с использованием нескольких видеокамер и алгоритма отслеживания объекта. Способ и система по настоящему изобретению содержат систему отслеживания, управляющую множеством камер, причем множество камер отслеживает объект, и систему мобильной связи, доставляющую отслеживаемый результат системы отслеживания на мобильный терминал пользователя. Согласно настоящему изобретению обнаруживается и сохраняется только Y-сигнал от изображения, поступающего с камеры. Наличие или отсутствие движущегося объекта проверяется путем получения разностного изображения с использованием различий между пикселями текущего изображения и пикселями предыдущего изображения.

Данная технология характеризует подробный алгоритм определения движущегося объекта, определение направление его движения и дальнейшее отслеживание движущегося объекта. При этом в данном решении говорится об обнаружении одного движущегося объекта, а не всех объектов, движущихся в области зрения нескольких обзорных камер, связанных с одной поворотной камерой.

Наиболее близким по технической сущности является известное решение, раскрытое в заявке US 2009/0167867, Al, H04N 5/225, опубл. 02.07.2009, в котором описана система управления камерой, способная позиционировать и отслеживать объект в пространстве, содержащая: устройство определения местоположения для генерации и передачи сигнала положения в соответствии с его положением в пространстве; приемник для приема сигнала положения, передаваемого устройством определения местоположения; блок управления, соединенный с приемником, для генерации команды управления в соответствии с сигналом положения, принятым приемником; и камеру, соединенную с блоком управления, причем команда управления предназначена для изменения фокуса камеры.

Основным отличием известных из уровня техники решений от заявляемого является отсутствие описания конкретного алгоритма настройки работы системы видеонаблюдения для сопоставления данных с обзорных и поворотной видеокамеры, а также конкретного интерфейса такой системы видеонаблюдения, отличающегося определенными блоками с конкретными функциональными возможностями для более удобной и эффективной работы системы. Кроме того, известные решения не подразумевают одновременного отображения видеоданных от заданных обзорных видеокамер и от связанной с ними поворотной видеокамеры.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.

Техническим результатом заявленной группы изобретений является обеспечение обнаружения и сопровождения поворотной видеокамерой движущихся в кадре обзорной видеокамеры объектов.

Данный технический результат достигается за счет того, что система для сопровождения движущихся объектов содержит: по меньшей мере, две видеокамеры, причем одна из них является поворотной видеокамерой (PTZ), а по меньшей мере, еще одна видеокамера является обзорной видеокамерой; память, выполненную с возможностью хранения видеоданных, поступающих от всех упомянутых видеокамер системы; графический пользовательский интерфейс (ГПИ), содержащий, по меньшей мере: блок выбора, блок калибровки, блок выбора режима работы и блок отображения; устройство обработки данных, сконфигурированное с возможностью выполнения следующих этапов:

- настройки работы системы, заключающейся в предоставлении пользователю системы возможности осуществлять: (1) выбор конкретных обзорных видеокамер, из имеющихся в системе, для поворотной видеокамеры посредством блока выбора ГПИ; (2) калибровку каждой выбранной обзорной видеокамеры по отношению к поворотной видеокамере посредством блока калибровки ГПИ, причем в процессе калибровки пользователь задает не менее шести связей между поворотной видеокамерой и каждой обзорной видеокамерой; (3) выбор режима работы системы из возможных четырех режимов работы посредством блока выбора режима работы ГПИ;

- сопровождения, по меньшей мере, одного движущегося объекта поворотной видеокамерой, причем движение всех движущихся объектов обнаруживается в кадре, по меньшей мере, одной обзорной видеокамеры посредством использования трекера объектов;

- одновременного отображения видеоданных от выбранной, по меньшей мере, одной обзорной видеокамеры и от поворотной видеокамеры в разных ячейках на раскладке видеокамер в соответствии с выбранным режимом работы системы посредством блока отображения ГПИ.

Указанный технический результат также достигается за счет способа сопровождения движущихся объектов, реализуемого вычислительной системой, включающей в себя, по меньшей мере, устройство обработки данных, память, графический пользовательский интерфейс (ГПИ) и по меньшей мере, две видеокамеры, причем одна из них является поворотной видеокамерой, а по меньшей мере, еще одна видеокамера является обзорной видеокамерой, при этом способ содержит этапы, на которых выполняется:

- настройка работы системы, заключающаяся в предоставлении пользователю возможности осуществлять: (1) выбор конкретных обзорных видеокамер из имеющихся в системе для поворотной видеокамеры посредством блока выбора ГПИ; (2) калибровку каждой выбранной обзорной видеокамеры по отношению к поворотной видеокамере посредством блока калибровки ГПИ, причем в процессе калибровки пользователь задает не менее шести связей между поворотной видеокамерой и каждой обзорной видеокамерой; (3) выбор режима работы системы из возможных четырех режимов работы посредством блока выбора режима работы ГПИ;

- сопровождение, по меньшей мере, одного движущегося объекта поворотной видеокамерой, причем движение всех движущихся объектов обнаруживается в кадре, по меньшей мере, одной обзорной видеокамеры посредством использования трекера объектов;

- одновременное отображение видеоданных от выбранной, по меньшей мере, одной обзорной видеокамеры и от поворотной видеокамеры в разных ячейках на раскладке видеокамер в соответствии с выбранным режимом работы системы посредством блока отображения ГПИ.

В одном частном варианте заявленного решения трекер объектов обнаруживает в кадре все движущиеся объекты и определяет их пространственные координаты.

В еще одном частном варианте заявленного решения в процессе калибровки при задании связей между поворотной видеокамерой и каждой обзорной видеокамерой, пользователь системы выполняет следующие действия посредством средств блока калибровки ГПИ: (а) выбирает одну обзорную видеокамеру из списка выбранных ранее видеокамер системы; (б) фокусирует поворотную видеокамеру на какую-либо точку в области зрения выбранной обзорной видеокамеры; (в) указывает точку на кадре выбранной обзорной видеокамеры, на которую в настоящий момент смотрит поворотная камера; (г) повторяет действия (б) и (в) по меньшей мере шесть раз для задания по меньшей мере шести связей; (д) повторяет действия (а)-(г) для каждой следующей обзорной видеокамеры системы.

В другом частном варианте заявленного решения система дополнительно сконфигурирована для предоставления пользователю системы возможности удалять ошибочно указанные точки посредством средств блока калибровки ГПИ.

В еще одном частном варианте заявленного решения все упомянутые точки задаются только на одной пространственной плоскости.

В другом частном варианте заявленного решения одним из режимов работы является «ручной режим», при котором слежение поворотной видеокамеры за, по меньшей мере, одним движущимся объектом в кадре одной из обзорных видеокамер начинается после того, как пользователь системы выберет объект отслеживания на кадре одной из обзорных видеокамер.

В еще одном частном варианте заявленного решения одним из режимов работы является «автоматический режим», при котором слежение поворотной видеокамеры за движущимися объектами осуществляется автоматически с заданной заранее частотой переключения между всеми обнаруженными движущимися объектами.

В другом частном варианте заявленного решения одним из режимов работы является «режим приоритета пользователя», при котором по умолчанию используется «автоматический режим», но пользователь в любой момент может выбрать объект отслеживания, и тогда активируется «ручной режим», при этом при снятии пользователем выбора объекта отслеживания или при его исчезновении из области наблюдения поворотной видеокамеры, снова активируется «автоматический режим».

В еще одном частном варианте заявленного решения одним из режимов работы является «режим ручного управления поворотной видеокамерой (PTZ)», в котором по умолчанию используется «автоматический режим», но пользователь в любой момент может взять управление поворотной видеокамерой на себя.

В другом частном варианте заявленного решения движущимся объектом является человек или транспортное средство.

В еще одном частном варианте заявленного решения сопровождение движущегося объекта осуществляется за счет математического преобразования координат объекта в кадре обзорной видеокамеры в значения наклона (р), поворота (t) и масштаба (z) поворотной видеокамеры посредством использования аппроксимирующих гладких функций.

В другом частном варианте заявленного решения устройство обработки данных сконфигурировано с возможностью автоматического выполнения проверки наличия разрыва по одной из упомянутых координат внутри кадра для обеспечения возможности использования аппроксимирующих гладких функций, причем упомянутая проверка содержит следующие этапы: (а) поиск конкретного места в кадре, где происходит разрыв; (б) восстановление экстремального значения (max, min) одного из показателей р, t, z, через который происходит цикличный переход в месте разрыва; (в) продление координат одного из показателей р, t, z, находящихся по другую сторону от разрыва, обеспечивая непрерывность.

В еще одном частном варианте заявленного решения при выявлении разрыва по одному из показателей р, t, z, осуществляется его обратное преобразование в координаты кадра обзорной видеокамеры.

Данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления способов сопровождения движущихся объектов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема системы для сопровождения движущихся объектов; Фиг. 2 - блок-схема одного из вариантов реализации способа сопровождения движущихся объектов.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам в данной области техники будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.

Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде компьютерных систем и способов для сопровождения движущихся объектов, а также в виде считываемого компьютером носителя данных.

На фиг.1 представлена блок-схема одного из вариантов реализации вычислительной системы для сопровождения движущихся объектов. Данная система включает в себя: по меньшей мере, две видеокамеры, причем одна из них является поворотной видеокамерой (10), а по меньшей мере, еще одна видеокамера является обзорной видеокамерой (20, … 2n); память (30); устройство обработки данных (40); и графический пользовательский интерфейс (50), содержащий, по меньшей мере: блок выбора [60], блок калибровки [70], блок выбора режима работы [80] и блок отображения [90].

В контексте данной заявки под вычислительными системами понимаются любые системы, построенные на базе программно-аппаратных средств, например, такие как: персональные компьютеры, смартфоны, ноутбуки, планшеты и т.д.

В роли устройства памяти могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD) и т.д. Для дальнейшего понимания сущности заявляемого решения необходимо пояснить, что память системы хранит видеоданные, поступающих от всех упомянутых видеокамер системы.

В качестве устройства обработки данных может выступать процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных. При этом процессор может быть многоядерным, для параллельной обработки данных.

Графический пользовательский интерфейс (ГПИ) представляет собой систему средств для взаимодействия пользователя с вычислительным устройством, основанную на представлении всех доступных пользователю системных объектов и функций в виде графических компонентов экрана (окон, значков, меню, кнопок, списков и т.п.). При этом пользователь имеет произвольный доступ, посредством устройств ввода/вывода данных, ко всем видимым экранным объектам - блокам интерфейса, которые отображаются на дисплее/экране.

Устройство ввода/вывода данных может представлять собой, но не ограничиваясь, например, манипулятор мышь, клавиатуру, джойстик, тачпад, стилус, трекпад и т.п.

Следует отметить, что в указанную систему могут входить и любые другие известные в данном уровне техники устройства, например, устройства ввода/вывода, видеокарта (включающая графический процессор GPU), разнообразные датчики и т.д.

Далее будет описан пример работы вышеупомянутой системы для сопровождения движущихся объектов.

Рассмотрим для примера охранную систему видеонаблюдения торгового центра. По всему периметру каждого этажа торгового центра размещены обзорные видеокамеры. Видеокамеры расположены таким образом, чтобы их поля зрения немного пересекались/перекрывались. Это необходимо для того, чтобы не было слепых зон системы видеонаблюдения, а также чтобы в случае необходимости можно было составить (восстановить) полную картину события по видеоданным. При этом каждая обзорная видеокамера размещена так, чтобы «смотреть» на плоскость, по которой перемещаются объекты (пол, земля).

Для обнаружения движущихся объектов по видеоданным с любых обзорных видеокамер в заявляемой системе видеонаблюдения используется трекер объектов. Трекер объектов это программный алгоритм для определения местоположения движущихся объектов в видеоданных. Посредством использования упомянутого трекера возможно выполнить обнаружение всех движущихся в кадре объектов и определить их конкретные пространственные координаты. В контексте данной заявки определяется движение таких объектов как, например, человек или транспортное средство (автомобиль, велосипед и т.д.). Перечисленные объекты обычно представляют интерес при анализе видеоданных с камер видеонаблюдения. Следует отметить, что все имеющиеся в системе обзорные видеокамеры могут использовать трекер объектов.

Как уже было указано выше заявляемая система сопровождения движущихся объектов помимо обзорных видеокамер содержит поворотную видеокамеру, в область зрения которой попадают несколько обзорных камер. Для корректного взаимодействия всех входящих в систему компонентов и для эффективной работы системы в целом, перед началом работы необходимо выполнить ряд этапов для настройки. Для этого устройство обработки данных системы сконфигурировано для предоставления пользователю системы возможности осуществлять различные манипуляции по настройке посредством средств графического пользовательского интерфейса (ГПИ).

Первым этапом настройки является (1) выбор конкретных обзорных видеокамер из имеющихся в системе для поворотной видеокамеры. Данный этап выполняется пользователем системы посредством блока выбора ГПИ. Выбор осуществляется при помощи устройства ввода данных, например, такого как компьютерная мышь. Пользователь выбирает такие обзорные видеокамеры, которые попадают в область зрения поворотной видеокамеры и «привязывает» их к данной камере. Интерфейс блока выбора содержит окно выбора конкретной камеры и кнопку «добавить», для добавления определенной камеры. Связать с поворотной видеокамерой можно любое количество обзорных видеокамер. Для примера допустим, что пользователь выбрал 2 камеры видеонаблюдения, из 50 камер, размещенных по всему торговому центру.

Вторым этапом настройки является калибровка каждой выбранной обзорной видеокамеры по отношению к поворотной видеокамере посредством блока калибровки ГПИ. В процессе калибровки пользователь задает не менее шести связей между поворотной видеокамерой и каждой обзорной видеокамерой. Чем больше задано связей, тем выше точность контроля поворотной видеокамеры. Рассмотрим более подробно процесс калибровки.

Для начала пользователь системы выбирает одну обзорную видеокамеру из списка выбранных на первом этапе видеокамер системы. Затем пользователь фокусирует поворотную видеокамеру на какую-либо точку в области зрения выбранной обзорной видеокамеры и указывает точку на кадре выбранной обзорной видеокамеры, на которую в настоящий момент смотрит сфокусированная поворотная камера (например, при помощи компьютерной мыши). Для того, чтобы сфокусировать поворотную видеокамеру на какую-либо точку кадра, пользователь в окне предварительного просмотра блока калибровки меняет ориентацию объектива поворотной видеокамеры. Данное действие выполняется путем дистанционного управления положением. Далее необходимо повторить этапы фокусировки и указания точки как минимум шесть раз для задания, по меньшей мере, шести связей. Рекомендуется задавать восемь связей или более. При этом следует отметить, что необходимо задавать точки на одной пространственной плоскости (пол, земля).

Для того чтобы привязать следующую обзорную камеру к поворотной необходимо повторить вышеописанные действия. Повторять действия необходимо для каждой следующей обзорной видеокамеры системы. При этом следует учитывать, что для улучшения работы системы необходимо, чтобы предполагаемые наблюдаемые объекты полностью помещались в кадре поворотной видеокамеры.

После завершения калибровки пользователь может выполнить проверку калибровки (рекомендуется выполнить). Для этого блок калибровки ГПИ оснащен специальной кнопкой, после нажатия на которую пользователь кликает в разные точки кадра обзорной видеокамеры. При этом, если поворотная камера позиционируется верно, значит калибровка выполнена правильно, а если нет, то необходимо выполнить этап калибровки заново, для повышения точности работы системы. Кроме того, блок калибровки ГПИ оснащен средствами для удаления ошибочно указанных точек. То есть не обязательно выполнять заново все этапы калибровки, можно удалить только ошибочные точки и указать вместо них верные.

И наконец, финальным этапом настройки системы является третий этап выбора режима работы системы. Выбор/управление осуществляется пользователем системы посредством блока выбора режима работы ГПИ из возможных четырех режимов работы («ручной режим», «автоматический режим», «режим приоритета пользователя» и «режим ручного управления поворотной видеокамерой (PTZ)»), особенности которых рассмотрим подробно ниже.

Самым распространенным и простым режимом работы является «ручной режим», при котором слежение поворотной видеокамеры за движущимся объектом в кадре одной из обзорных видеокамер начинается только после того, как пользователь системы выберет (кликом компьютерной мыши) объект отслеживания на кадре одной из обзорных видеокамер.

Не трудно догадаться, что «автоматический режим» характеризуется тем, что слежение поворотной видеокамеры за движущимися объектами осуществляется автоматически. В данном режиме поворотная видеокамера по очереди фокусируется на каждом обнаруженном движущемся объекте с заданной заранее частотой переключения между всеми обнаруженными движущимися объектами. Частота переключения задается пользователем в секундах при помощи средств ГПИ. Таким образом, выполняется последовательное слежение за всеми движущимися объектами в каждой из имеющихся обзорных видеокамер (связанных с поворотной видеокамерой).

Следующие два режима, являются различными комбинациями стандартных вышеописанных режимов. Например, в «режиме приоритета пользователя» если пользователь сам не выбрал объект отслеживания в «ручном режиме», то по умолчанию используется «автоматический режим». Однако пользователь в любой момент может самостоятельно выбрать объект отслеживания и тогда сразу активируется «ручной режим». При этом при снятии пользователем выбора объекта отслеживания или при его исчезновении из области наблюдения поворотной видеокамеры, снова активируется «автоматический режим».

«Режим ручного управления поворотной видеокамерой (PTZ)», также, как и «режим приоритета пользователя» характеризуется тем, что в нем по умолчанию используется «автоматический режим». Однако в данном режиме пользователь в любой момент может взять конкретное дистанционное управление поворотной видеокамерой на себя, не задавая движущийся объект интереса.

Любой из перечисленных режимов выбирается пользователем системы в зависимости от ситуации и от конкретной задачи при мониторинге. После того как будет выбран соответствующий режим работы системы, оператор кликает мышью на кнопку ГПИ «применить». Следует отметить, что если ситуация на наблюдаемой территории изменится, то пользователь системы всегда может оперативно выбрать любой другой более подходящий режим работы системы.

Выполнив все вышеописанные необходимые для работы системы этапы, пользователь может приступить к непосредственному сопровождению движущихся объектов. Устройство обработки данных заявляемой системы сконфигурировано для того, чтобы с учетом упомянутых выше настроек выполнять сопровождение, по меньшей мере, одного движущегося объекта поворотной видеокамерой. Упомянутое сопровождение заключается в том, что при обнаружении движущегося объекта в области зрения одной из обзорных видеокамер, в соответствии с режимом работы, поворотная видеокамера фокусируется на нем, и таким образом оператор системы видит приближенное (увеличенное) изображение движущегося объекта (например, идущего человека). В соответствии с изменением координат положения человека меняется и направление поворотной видеокамеры. Таким образом получается, что человек постоянно идет в кадре поворотной видеокамеры. При таком приближении легко рассмотреть и лицо человека, и его характерные признаки и то, что у него находится в руках. Как уже было описано ранее, движение всех движущихся объектов обнаруживается в кадре, по меньшей мере, одной обзорной видеокамеры посредством использования трекера объектов. Слежение может выполняться как за одним выбранным движущимся объектом, так и за несколькими движущимися объектами одновременно, переключаясь последовательно между обнаруженными движущимися объектами.

Завершающим этапом работы системы является одновременное отображение на дисплее в блоке отображения ГПИ видеоданных от выбранных обзорных видеокамер и от поворотной видеокамеры в разных ячейках на раскладке видеокамер в соответствии с выбранным режимом работы системы. При этом как уже было указано ранее, видеоданные, поступающие в реальном времени как от всех обзорных видеокамер, так и от поворотной видеокамеры записываются в архив (который хранится в памяти системы) как разные видеозаписи. Хранение видеоданных с поворотной видеокамеры может быть полезно при расследовании различных тревожных ситуаций и происшествий. Следует отметить, что одновременное отображение видеоданных от поворотной видеокамер и от обзорных видеокамер на раскладке видеокамер повышает эффективность работы системы в целом, поскольку оператору не сложно наблюдать за общим изображением территории и за детализированным изображением движущихся объектов одновременно. То есть в такой системе пользователь не упустит важных событий, поскольку все данные отображаются на мониторе.

Кроме того, в процессе загрузки в память видеоданные анализируются для формирования метаданных, характеризующих данные обо всех объектах в видео. Метаданными в данном случае являются подробные сведения обо всех объектах, перемещающихся в поле зрения каждой камеры (траектории движений, описатели лиц, распознанные номера автомобилей и т.п.). Полученные метаданные также сохраняются в память системы. Впоследствии, полученные метаданные используются для выполнения поиска.

Кроме того, для упрощения расследований различных происшествий устройство обработки данных системы выполнено с возможностью осуществления видеоанализа каждого из полученных видеоизображений. При этом к видеоанализу относится по меньшей мере поиск по метаданным, такой как: поиск по лицам, поиск по номерам транспортных средств, поиск движущихся объектов и т.д.

Рассмотрим более детально процесс сопровождения движущихся объектов поворотной видеокамерой. Работа системы сопровождения движущихся объектов осуществляется за счет математического преобразования координат объекта в кадре обзорной видеокамеры в значения наклона (р), поворота (t) и масштаба (z) поворотной видеокамеры посредством использования аппроксимирующих гладких функций, вследствие чего поворотная видеокамера начинает сопровождать (отслеживать) каждый движущийся объект в режиме реального времени. Все три показателя поворотной видеокамеры связываются с координатами соответствующих им точкам на кадре следующим образом:

F_k(x,y)=a*x²+b*y²+c*x*y+d*x+e*y+g, (1)

причем k=1,2,3; F₁=p; F₂=t; F₃=z.

При этом значение наклона (р) у видеокамер может меняться либо от минус 359 градусов до 0, либо от 0 до 359 градусов. Следовательно, соседним точкам кадра будут соответствовать кардинально разные значения наклона поворотной видеокамеры (например, 0 и 359). В таком случае в упомянутом математическом преобразовании будут неприменимы аппроксимирующие гладкие функции. Для такой ситуации существует «алгоритм проверки наличия разрыва», который самостоятельно (автоматически) ищет место «разрыва», используя для приближения две функции с разных сторон от разрыва, в результате чего все вычисления могут описываться гладкими функциями, и аппроксимация тогда выполняется корректно.

Что касается конкретной реализации описанного алгоритма, то устройство обработки данных системы сконфигурировано для автоматического выполнения проверки наличия разрыва по одной из упомянутых координат внутри кадра. Упомянутая проверка содержит три этапа:

(а) поиск конкретного места в кадре, где происходит разрыв.

Для выявления наличия разрыва по одному из показателей р, t, z, анализируется производная каждого из показателей по соответствующей координате кадра (для р - производная по х, для t производная по у, по z соответственно производная по z). В основном поворотные камеры имеют разрыв только по координате показателя наклона (р).

(б) восстановление экстремального значения (либо максимального [шах], либо минимального [min]) одного из показателей р, t, z, через который происходит цикличный переход в месте разрыва.

Например, для определения максимального значения р_тах требуется рассмотреть всевозможные разделения соответствующих точек на две группы: «до разрыва» и «после разрыва» (возможны такие варианты: 5 точек до, 1 точка после; 3 точки до, 3 точки после и т.д.).

(в) продление координат одного из показателей р, t, z, находящихся по другую сторону от разрыва, обеспечивая непрерывность.

Обладая информацией о месте разрыва и о экстремальном значении Ртах продлевается координата р, находящаяся по другую сторону от разрыва.

После такого преобразования на множестве точек имеется возможность аппроксимировать показатель наклона (р) используя формулу (1).

Кроме того, при выявлении разрыва по одному из показателей р, t, z, в одном из частных вариантов реализации осуществляется его обратное преобразование в координаты кадра обзорной видеокамеры.

Далее рассмотрим более подробно осуществление способа сопровождения движущихся объектов.

На фиг. 2 представлена блок-схема одного из вариантов реализации способа сопровождения движущихся объектов. Указанный способ реализуется вычислительной системой, включающей в себя, по меньшей мере: устройство обработки данных, память, графический пользовательский интерфейс (ГПИ) и по меньшей мере, две видеокамеры. Причем как уже было указано ранее, одна из упомянутых видеокамер является поворотной видеокамерой, а по меньшей мере, еще одна видеокамера является обзорной видеокамерой, содержащей трекер объектов.

При этом способ содержит этапы, на которых выполняется: - (100) настройка работы системы, заключающаяся в предоставлении пользователю возможности осуществлять:

(101) выбор конкретных обзорных видеокамер из имеющихся в системе для поворотной видеокамеры посредством блока выбора ГПИ;

(102) калибровку каждой выбранной обзорной видеокамеры по отношению к поворотной видеокамере посредством блока калибровки ГПИ, причем в процессе калибровки пользователь задает не менее шести связей между поворотной видеокамерой и каждой обзорной видеокамерой;

(103) выбор режима работы системы из возможных четырех режимов работы посредством блока выбора режима работы ГПИ;

- (200) сопровождение, по меньшей мере, одного движущегося объекта поворотной видеокамерой, причем движение всех движущихся объектов обнаруживается в кадре, по меньшей мере, одной обзорной видеокамеры посредством трекера объектов;

- (300) одновременное отображение видеоданных от выбранной, по меньшей мере, одной обзорной видеокамеры и от поворотной видеокамеры в разных ячейках на раскладке видеокамер в соответствии с выбранным режимом работы системы посредством блока отображения ГПИ.

Следует еще раз отметить, что данный способ реализуется средствами описанной ранее системы для сопровождения движущихся объектов и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации системы для сопровождения движущихся объектов.

Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.

В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средство, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) вычислительным устройством, например, таким как компьютер. При этом носитель данных может являться энергозависимым или энергонезависимым машиночитаемым носителем данных.

При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.

Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.

Изобретение относится к области обработки и анализа видеоданных, получаемых от обзорных камер видеонаблюдения. Технический результат заключается в обеспечении обнаружения и сопровождения поворотной видеокамерой движущихся в кадре обзорной видеокамеры объектов. Система для сопровождения движущихся объектов содержит видеокамеры, память, графический пользовательский интерфейс (ГПИ) и устройство обработки данных. ГПИ включает блок выбора, блок калибровки, блок выбора режима работы и блок отображения. Способ сопровождения движущихся объектов, реализуемый вычислительной системой, содержит этапы, на которых выполняется настройка работы системы, сопровождение движущегося объекта видеокамерой, одновременное отображение видеоданных от видеокамер в разных ячейках на раскладке видеокамер в соответствии с выбранным режимом работы системы посредством блока отображения ГПИ. Достигается обеспечение обнаружения и сопровождения поворотной видеокамерой движущихся в кадре обзорной видеокамеры объектов. 3 н. и 24 з.п. ф-лы, 2 ил.

1. Система для сопровождения движущихся объектов, содержащая:

по меньшей мере, две видеокамеры, причем одна из них является поворотной видеокамерой (PTZ), а, по меньшей мере, еще одна видеокамера является обзорной видеокамерой;

память, выполненную с возможностью хранения видеоданных, поступающих от всех упомянутых видеокамер системы;

графический пользовательский интерфейс (ГПИ), содержащий, по меньшей мере: блок выбора, блок калибровки, блок выбора режима работы и блок отображения;

устройство обработки данных, сконфигурированное с возможностью выполнения следующих этапов:

- настройки работы системы, заключающейся в предоставлении пользователю системы возможности осуществлять:

(1) выбор конкретных обзорных видеокамер, из имеющихся в системе, для поворотной видеокамеры посредством блока выбора ГПИ;

(2) калибровку каждой выбранной обзорной видеокамеры по отношению к поворотной видеокамере посредством блока калибровки ГПИ, причем в процессе калибровки пользователь задает не менее шести связей между поворотной видеокамерой и каждой обзорной видеокамерой;

(3) выбор режима работы системы из возможных четырех режимов работы посредством блока выбора режима работы ГПИ;

- сопровождения, по меньшей мере, одного движущегося объекта поворотной видеокамерой, причем движение всех движущихся объектов обнаруживается в кадре, по меньшей мере, одной обзорной видеокамеры посредством использования трекера объектов;

- одновременного отображения видеоданных от выбранной, по меньшей мере, одной обзорной видеокамеры и от поворотной видеокамеры в разных ячейках на раскладке видеокамер в соответствии с выбранным режимом работы системы посредством блока отображения ГПИ.

2. Система по п. 1, в которой трекер объектов обнаруживает в кадре все движущиеся объекты и определяет их пространственные координаты.

3. Система по п. 1, в которой в процессе калибровки при задании связей между поворотной видеокамерой и каждой обзорной видеокамерой, пользователь системы выполняет следующие действия посредством средств блока калибровки ГПИ:

(а) выбирает одну обзорную видеокамеру из списка выбранных ранее видеокамер системы;

(б) фокусирует поворотную видеокамеру на какую-либо точку в области зрения выбранной обзорной видеокамеры;

(в) указывает точку на кадре выбранной обзорной видеокамеры, на которую в настоящий момент смотрит поворотная камера;

(г) повторяет действия (б) и (в) по меньшей мере шесть раз для задания по меньшей мере шести связей;

(д) повторяет действия (а)-(г) для каждой следующей обзорной видеокамеры системы.

4. Система по п. 3, дополнительно сконфигурированная для предоставления пользователю системы возможности удалять ошибочно указанные точки посредством средств блока калибровки ГПИ.

5. Система по п. 3, в которой все упомянутые точки задаются только на одной пространственной плоскости.

6. Система по любому из пп. 1-3, в которой одним из режимов работы является «ручной режим», при котором слежение поворотной видеокамеры за, по меньшей мере, одним движущимся объектом в кадре одной из обзорных видеокамер начинается после того, как пользователь системы выберет объект отслеживания на кадре одной из обзорных видеокамер.

7. Система по любому из пп. 1-3, в которой одним из режимов работы является «автоматический режим», при котором слежение поворотной видеокамеры за движущимися объектами осуществляется автоматически с заданной заранее частотой переключения между всеми обнаруженными движущимися объектами.

8. Система по любому из пп. 1-3, в которой одним из режимов работы является «режим приоритета пользователя», при котором по умолчанию используется «автоматический режим», но пользователь в любой момент может выбрать объект отслеживания, и тогда активируется «ручной режим», при этом при снятии пользователем выбора объекта отслеживания или при его исчезновении из области наблюдения поворотной видеокамеры, снова активируется «автоматический режим».

9. Система по любому из пп. 1-3, в которой одним из режимов работы является «режим ручного управления поворотной видеокамерой (PTZ)», в котором по умолчанию используется «автоматический режим», но пользователь в любой момент может взять управление поворотной видеокамерой на себя.

10. Система по п. 1, в которой движущимся объектом является человек или транспортное средство.

11. Система по любому из пп. 1-3, в которой сопровождение движущегося объекта осуществляется за счет математического преобразования координат объекта в кадре обзорной видеокамеры в значения наклона (р), поворота (t) и масштаба (z) поворотной видеокамеры посредством использования аппроксимирующих гладких функций.

12. Система по п. 11, в которой устройство обработки данных сконфигурировано с возможностью автоматического выполнения проверки наличия разрыва по одной из упомянутых координат внутри кадра для обеспечения возможности использования аппроксимирующих гладких функций, причем упомянутая проверка содержит следующие этапы:

(а) поиск конкретного места в кадре, где происходит разрыв;

(б) восстановление экстремального значения (max, min) одного из показателей р, t, z, через который происходит цикличный переход в месте разрыва;

(в) продление координат одного из показателей р, t, z, находящихся по другую сторону от разрыва, обеспечивая непрерывность.

13. Система по п. 12, в которой при выявлении разрыва по одному из показателей р, t, z, осуществляется его обратное преобразование в координаты кадра обзорной видеокамеры.

14. Способ сопровождения движущихся объектов, реализуемый вычислительной системой, включающей в себя, по меньшей мере, устройство обработки данных, память, графический пользовательский интерфейс (ГПИ) и, по меньшей мере, две видеокамеры, причем одна из них является поворотной видеокамерой, а, по меньшей мере, еще одна видеокамера является обзорной видеокамерой, при этом способ содержит этапы, на которых выполняется:

- настройка работы системы, заключающаяся в предоставлении пользователю возможности осуществлять:

(1) выбор конкретных обзорных видеокамер из имеющихся в системе для поворотной видеокамеры посредством блока выбора ГПИ;

(2) калибровку каждой выбранной обзорной видеокамеры по отношению к поворотной видеокамере посредством блока калибровки ГПИ, причем в процессе калибровки пользователь задает не менее шести связей между поворотной видеокамерой и каждой обзорной видеокамерой;

(3) выбор режима работы системы из возможных четырех режимов работы посредством блока выбора режима работы ГПИ;

- сопровождение, по меньшей мере, одного движущегося объекта поворотной видеокамерой, причем движение всех движущихся объектов обнаруживается в кадре, по меньшей мере, одной обзорной видеокамеры посредством использования трекера объектов;

- одновременное отображение видеоданных от выбранной, по меньшей мере, одной обзорной видеокамеры и от поворотной видеокамеры в разных ячейках на раскладке видеокамер в соответствии с выбранным режимом работы системы посредством блока отображения ГПИ.

15. Способ по п. 14, в котором трекер объектов обнаруживает в кадре все движущиеся объекты и определяет их пространственные координаты.

16. Способ по п. 14, в котором в процессе калибровки при задании связей между поворотной видеокамерой и каждой обзорной видеокамерой, пользователь системы выполняет следующие действия посредством средств блока калибровки ГПИ:

(а) выбирает одну обзорную видеокамеру из списка выбранных ранее видеокамер системы;

(б) фокусирует поворотную видеокамеру на какую-либо точку в области зрения выбранной обзорной видеокамеры;

(в) указывает точку на кадре выбранной обзорной видеокамеры, на которую в настоящий момент смотрит поворотная камера;

(г) повторяет действия (б) и (в) по меньшей мере шесть раз для задания по меньшей мере шести связей;

(д) повторяет действия (а)-(г) для каждой следующей обзорной видеокамеры системы.

17. Способ по п. 16, в котором пользователю системы дополнительно предоставляется возможность удалять ошибочно указанные точки посредством средств блока калибровки ГПИ.

18. Способ по п. 16, в котором все упомянутые точки задаются только на одной пространственной плоскости.

19. Способ по любому из пп. 14-16, в котором одним из режимов работы является «ручной режим», при котором слежение поворотной видеокамеры за, по меньшей мере, одним движущимся объектом в кадре одной из обзорных видеокамер начинается после того, как пользователь системы выберет объект отслеживания на кадре одной из обзорных видеокамер.

20. Способ по любому из пп. 14-16, в котором одним из режимов работы является «автоматический режим», при котором слежение поворотной видеокамеры за движущимися объектами осуществляется автоматически с заданной заранее частотой переключения между всеми обнаруженными движущимися объектами.

21. Способ по любому из пп. 14-16, в котором одним из режимов работы является «режим приоритета пользователя», при котором по умолчанию используется «автоматический режим», но пользователь в любой момент может выбрать объект отслеживания, и тогда активируется «ручной режим», при этом при снятии пользователем выбора объекта отслеживания или при его исчезновении из области наблюдения поворотной видеокамеры, снова активируется «автоматический режим».

22. Способ по любому из пп. 14-16, в котором одним из режимов работы является «режим ручного управления поворотной видеокамерой (PTZ)», в котором по умолчанию используется «автоматический режим», но пользователь в любой момент может взять управление поворотной видеокамерой на себя.

23. Способ по п. 14, в котором движущимся объектом является человек или транспортное средство.

24. Способ по любому из пп. 14-16, в котором сопровождение движущегося объекта осуществляется за счет математического преобразования координат объекта в кадре обзорной видеокамеры в значения наклона (р), поворота (t) и масштаба (z) поворотной видеокамеры посредством использования аппроксимирующих гладких функций.

25. Способ по п. 24, выполненный с возможностью автоматического выполнения проверки наличия разрыва по одной из упомянутых координат внутри кадра для обеспечения возможности использования аппроксимирующих гладких функций, причем упомянутая проверка содержит следующие этапы:

(а) поиск конкретного места в кадре, где происходит разрыв;

(б) восстановление экстремального значения (max, min) одного из показателей р, t, z, через который происходит цикличный переход в месте разрыва;

(в) продление координат одного из показателей р, t, z, находящихся по другую сторону от разрыва, обеспечивая непрерывность.

26. Способ по п. 25, в котором при выявлении разрыва по одному из показателей р, t, z осуществляется его обратное преобразование в координаты кадра обзорной видеокамеры.

27. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов сопровождения движущихся объектов по любому из пп. 14-26.