СИСТЕМА И СПОСОБ ОБЪЕДИНЕНИЯ НЕСКОЛЬКИХ ВИДЕОИЗОБРАЖЕНИЙ В ОДНО ПАНОРАМНОЕ ВИДЕОИЗОБРАЖЕНИЕ Российский патент 2019 года по МПК G06T5/50 G06T7/11 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области обработки видеоизображений, получаемых системами видеонаблюдения, а более конкретно к технологиям, направленным на объединение нескольких видеоизображений в одно панорамное видео для просмотра оператором и выполнения последующего анализа полученного видео или его части.

УРОВЕНЬ ТЕХНИКИ

Системы видеонаблюдения используются для охраны помещений или территорий. Обычно такие системы используют видеокамеры для мониторинга, а также для идентификации и отслеживания объектов в пределах охраняемой территории. Упомянутые системы видеонаблюдения опираются на алгоритмы обработки изображений и распознавания образов, позволяющие анализировать видео без прямого участия человека.

Системы видеонаблюдения, в зависимости от конкретных целей, могут реализовывать множество функций, например, таких как: обнаружение объектов, слежение за движением объектов, идентификация объектов, поиск интересующих объектов или ситуаций и многое другое. Упомянутые системы являются достаточно наглядными и удобными при охране небольших помещений или территорий. Однако при мониторинге крупных объектов, даже при условии, что на раскладке видеокамер соседние/смежные видеокамеры расположены рядом друг с другом, оператору очень сложно представить общую картину ситуации в наблюдаемой области.

Таким образом основными недостатками предшествующего уровня техники являются: отсутствие целостного обзора сцены для оператора системы видеонаблюдения, очень быстрая утомляемость оператора при мониторинге, медленное время реагирования на тревожные события и низкая эффективность обнаружения объектов интереса.

Разрабатываемая технология, называемая в дальнейшем FrameMerge, позволяет администраторам охранных систем объединять несколько каналов камеры в один панорамный вид с целью обеспечения наиболее эффективного контроля над максимально возможной площадью отслеживания. Отдельные видеопотоки объединяются в одно панорамное видео для более эффективного мониторинга, снижения вероятности человеческой ошибки и, следовательно, более точного анализа событий. Благодаря перечисленным преимуществам повышается эффективность работы всей системы безопасности в целом.

Из уровня техники известно решение, раскрытое в заявке US 2010/0296571, A1, H04N 11/02, опубл. 25.11.2010, в котором описан способ генерации составной видеопоследовательности в сети связи, содержащей множество мобильных устройств захвата видео, причем способ содержит этапы, на которых: принимают множество видеопотоков, относящихся к общему событию, причем каждый из видеопотоков содержит последовательность кадров и исходит от разных мобильных устройств захвата видео; синхронизируют по времени видеопотоки и выбирают набор кадров, имеющих общее время захвата; формируют составной кадр путем сшивания по меньшей мере двух кадров из набора кадров; и добавляют составной кадр в составную видеопоследовательность.

Наиболее близким по технической сущности является известное решение, раскрытое в патенте US 8698874, В2, H04N 7/14, опубл. 15.04.2014, в котором описан способ обработки видеопотоков, содержащий этапы, на которых: принимают множество видеопотоков от множества источников видеосигнала в помещении; анализируют видеопотоки на предмет особенностей; объединяют видеопотоки, используя характерные точки для генерации объединенного потока, причем, когда более двух видеопотоков включают в себя одну и ту же характерную точку, отбрасывают по меньшей мере один из более чем двух видеопотоков, имеющих меньший вес, чем другие видеопотоки; обрабатывают видеопотоки, чтобы сделать видеопотоки более совместимыми друг с другом; и выводят объединенный видеопоток на дисплей.

Основным отличием известных из уровня техники решений от заявляемого является существенная разница в технологии объединения видеоизображений, а именно отсутствие этапа настройки, на котором вычисляются определенные преобразования, причем данные преобразования вычисляются единожды для соответствующих друг другу по времени кадров со смежных камер и применяются для всех остальных кадров с этих же камер. Кроме того, в известных решениях не раскрыто определенной конфигурации графического пользовательского интерфейса, характерной именно для систем видеонаблюдения и отличающейся определенными блоками с конкретными функциональными возможностями для более удобной и эффективной работы с объединенным/панорамным видеоизображением.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.

Техническим результатом заявленной группы изобретений является повышение эффективности работы систем видеонаблюдения за счет обеспечения объединения нескольких видеоизображений в панорамное видео и отдельного отображения требуемой области полученного панорамного видеоизображения на раскладке видеокамер.

Данный технический результат достигается за счет того, что система для объединения нескольких видеоизображений содержит: по меньшей мере, две видеокамеры; память, выполненную с возможностью хранения видеоданных, поступающих от упомянутых видеокамер; графический пользовательский интерфейс, содержащий средства ввода и вывода данных, причем упомянутые средства содержат: блок выбора, позволяющий пользователю системы выбирать конкретные смежные видеокамеры, видеоизображения с которых будут объединяться в панорамное видеоизображение; блок выделения области интереса, позволяющий пользователю системы выделять на полученном панорамном видеоизображении произвольную прямоугольную область, представляющую собой отдельное видеоизображение; блок отображения, сконфигурированный для отображения полученных видеоизображений; при этом упомянутая система содержит по меньшей мере, одно устройство обработки данных, сконфигурированное с возможностью выполнения следующих этапов: получения нескольких видеоизображений от, по меньшей мере, двух смежных видеокамер, определенных в блоке выбора; настройки, при которой вычисляются преобразования, необходимые для объединения полученных видеоизображений в одно панорамное видеоизображение, причем упомянутые преобразования вычисляются один раз для соответствующих друг другу по времени кадров упомянутых смежных камер; объединения нескольких видеоизображений в одно панорамное видеоизображение посредством соответствующего применения вычисленных преобразований для всех остальных кадров, получаемых от упомянутых смежных видеокамер; отображения полученного панорамного видеоизображения посредством блока отображения в ячейке на раскладке видеокамер; причем после того как пользователь посредством блока выделения области интереса выделит на полученном панорамном видеоизображении прямоугольную область, блок отображения будет отображать полученную область как отдельное видеоизображение в отдельной ячейке на раскладке видеокамер.

Указанный технический результат также достигается за счет способа объединения нескольких видеоизображений, реализуемого вычислительной системой, включающей в себя по меньшей мере устройство обработки данных и память, причем способ содержит этапы, на которых выполняется: выбор конкретных смежных видеокамер, видеоизображения с которых будут объединяться в панорамное видеоизображение; получение нескольких видеоизображений от, по меньшей мере, двух определенных смежных видеокамер, причем полученные видеоизображения сохраняются в памяти системы; настройка, при которой вычисляются преобразования, необходимые для объединения полученных видеоизображений в одно панорамное видеоизображение, причем упомянутые преобразования вычисляются один раз для соответствующих друг другу по времени кадров упомянутых смежных камер; объединение нескольких видеоизображений в одно панорамное видеоизображение посредством соответствующего применения вычисленных преобразований для всех остальных кадров, получаемых от упомянутых смежных видеокамер; отображение полученного панорамного видеоизображения посредством блока отображения в ячейке на раскладке видеокамер; выделение на полученном панорамном видеоизображении произвольной прямоугольной области, представляющей отдельное видеоизображение; и отображение полученного отдельного видеоизображения в отдельной ячейке на раскладке видеокамер.

В одном частном варианте заявленного решения, по меньшей мере, одно устройство обработки данных сконфигурировано для выполнения объединения нескольких видеоизображений в режиме реального времени или по архивным данным.

В еще одном частном варианте заявленного решения при объединении нескольких видеоизображений в режиме реального времени видеоизображения поступают к устройству обработки данных сразу от видеокамер.

В другом частном варианте заявленного решения при объединении нескольких видеоизображений по архивным данным, видеоизображения поступают к устройству обработки данных из памяти системы.

В еще одном частном варианте заявленного решения система дополнительно содержит видеокарту, ресурсы которой задействованы на этапе настройки и на этапе объединения нескольких видеоизображений в одно панорамное видеоизображение.

В другом частном варианте заявленного решения на этапе настройки производится поиск оптимальных локальных точек на каждом изображении, полученном синхронно в одно и тоже время от нескольких смежных видеокамер и сопоставление полученных точек на кадрах упомянутых смежных видеокамер, для последующего вычисления преобразований.

В еще одном частном варианте заявленного решения сопоставление полученных точек на кадрах смежных видеокамер дополнительно выполняется пользователем в ручном режиме.

В другом частном варианте заявленного решения на этапе настройки устройство обработки данных дополнительно выполнено с возможностью получения параметров каждой из видеокамер и используемых в них объективов, причем упомянутые параметры используются для вычисления преобразований.

В еще одном частном варианте заявленного решения преобразованиями являются по меньшей мере следующие: выравнивание яркости видеоизображений, выравнивание контраста видеоизображений.

В другом частном варианте заявленного решения упомянутые по меньшей мере две видеокамеры имеют разную частоту кадров.

В еще одном частном варианте заявленного решения видеоизображения, полученные от смежных видеокамер, имеют различные разрешения.

В другом частном варианте заявленного решения смежные видеокамеры имеют перекрывающиеся поля зрения.

В еще одном частном варианте заявленного решения этап объединения нескольких видеоизображений в одно панорамное видеоизображение выполняется попарно, последовательно объединяя смежные видеоизображения.

В другом частном варианте заявленного решения, по меньшей мере, одно устройство обработки данных дополнительно выполнено с возможностью экспортировать либо полученное панорамное видеоизображение, либо отдельное видеоизображение, полученное путем выделения области.

В еще одном частном варианте заявленного решения по меньшей мере, одно устройство обработки данных дополнительно выполнено с возможностью выполнения видеоанализа полученного панорамного видеоизображения.

В другом частном варианте заявленного решения к видеоанализу относится по меньшей мере поиск по метаданным, причем к типам поиска относятся: поиск по лицам, поиск по номерам транспортных средств, поиск движущихся объектов, поиск событий.

В еще одном частном варианте заявленного решения произвольная прямоугольная область отображается через блок отображения как отдельное видеоизображение в отдельной ячейке на раскладке видеокамер одновременно с панорамным видеоизображением, отображаемым в другой ячейке на раскладке видеокамер.

В другом частном варианте заявленного решения панорамное видеоизображение является синтетическим/круговым видом сверху.

Данный технический результат также достигается и за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления способов объединения нескольких видеоизображений.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема системы для объединения нескольких видеоизображений.

Фиг. 2 - пример отображения для оператора раскладки видеокамер.

Фиг. 3 - блок-схема одного из вариантов реализации способа объединения нескольких видеоизображений.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам в данной области техники будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.

Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде компьютерных систем и способов для объединения нескольких видеоизображений в одно панорамное видео, а также в виде считываемого компьютером носителя данных.

На фиг. 1 представлена блок-схема одного из вариантов реализации системы для объединения нескольких видеоизображений. Вычислительная система включает в себя: по меньшей мере, две видеокамеры (10, …, 1n); память (20); по меньшей мере, одно устройство обработки данных (40, …, 4m); и графический пользовательский интерфейс (30), содержащий средства ввода и вывода данных. Средствами ввода являются блок выбора [50] и блок выделения области интереса [60]. А средством вывода в заявляемом решении является блок отображения [70].

В контексте данной заявки под вычислительными системами понимаются любые системы, построенные на базе программно-аппаратных средств, например, такие как: персональные компьютеры, смартфоны, ноутбуки, планшеты и т.д.

В качестве устройства обработки данных может выступать процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных. При этом процессор может быть многоядерным, для параллельной обработки данных.

В роли устройства памяти могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD) и т.д.

Графический пользовательский интерфейс (GUI) представляет собой систему средств для взаимодействия пользователя с вычислительным устройством, основанную на представлении всех доступных пользователю системных объектов и функций в виде графических компонентов экрана (окон, значков, меню, кнопок, списков и т.п.). При этом пользователь имеет произвольный доступ, посредством устройств ввода/вывода данных, ко всем видимым экранным объектам - блокам интерфейса, которые отображаются на дисплее/экране.

Устройство ввода/вывода данных может представлять собой, но не ограничиваясь, например, манипулятор мышь, клавиатуру, тачпад, стилус, джойстик, трекпад и т.п.

Следует отметить, что в указанную систему могут входить и любые другие известные в данном уровне техники устройства, например, как будет указано более подробно далее, упомянутая система может содержать видеокарту или графический процессор (GPU).

Для дальнейшего понимания сущности заявляемого решения необходимо пояснить, что память системы хранит архив видеоданных, поступающих от всех видеокамер, входящих в состав охранной системы.

Далее будет описан пример работы вышеупомянутой системы для объединения нескольких видеоизображений в одно панорамное видео.

Рассмотрим для примера охранную систему видеонаблюдения аэропорта. На всей территории размещено множество камер видеонаблюдения, причем камеры расположены таким образом, чтобы смежные видеокамеры имели немного перекрывающиеся поля зрения для более точного и легкого сопоставления данных пользователем системы. В свою очередь перед пользователем системы размещен дисплей, на котором отображается раскладка видеокамер. Поскольку смотреть и сопоставлять данные с каждой камеры одновременно при огромной площади отслеживания не представляется возможным, то оптимальным и логичным решением является объединение видеопотоков сразу от нескольких видеокамер, для упрощения мониторинга.

Первым делом пользователь, а точнее администратор системы, обращается к вышеупомянутому блоку выбора [50] графического пользовательского интерфейса системы видеонаблюдения. Посредством данного блока пользователь может выбрать несколько конкретных смежных видеокамер, например, кликнув при помощи мыши по нужным камерам на раскладке видеокамер или же на плане местности, на котором отображаются иконки всех видеокамер системы видеонаблюдения. После определения конкретных видеокамер в блоке выбора, эти данные поступают в, по меньшей мере, одно устройство обработки данных и тогда для дальнейшей реализации заявляемого решения система получает несколько видеоизображений от конкретных определенных камер.

Для объединения полученных нескольких видеоизображений в одно панорамное видео устройство обработки данных сконфигурировано для выполнения этапа настройки. На данном этапе единожды для соответствующих друг другу по времени кадров упомянутых смежных камер вычисляются преобразования, необходимые для объединения получаемых видеоизображений в одно панорамное видео. То есть с каждой из заданных камер в определенный один и тот же момент времени поступают статичные кадры (изображения) для которых автоматически вычисляются преобразования посредством устройства обработки данных. Для этого на каждом полученном изображении производится поиск оптимальных локальных точек (или областей). К оптимальным локальным точкам относятся, например, подходящие с точки зрения перепада градиента или интегральных характеристик. При этом под интегральными характеристиками понимаются комплексные, собирательные характеристики по окрестностям точек (например, яркость, контрастность, значение перепадов двунаправленного градиента и т.д.). Для каждой такой точки на одном статичном изображении выполняется поиск этой же точки на других изображениях, полученных от смежных камер в тот же самый момент времени, то есть выполняется сопоставление полученных точек на кадрах смежных видеокамер. Далее, зная соответствия точек на кадрах, строятся/выполняются преобразования, объединяющие полученные изображения/кадры в одно панорамное изображение. Следует отметить, что в данной системе существует возможность указания соответствий в ручном режиме администратором системы. В таком случае администратор/пользователь сам указывает посредством компьютерной мыши, какая локальная точка на одном кадре соответствует этой же точке на других кадрах, полученных от смежных камер в одно и тоже время. Такое сопоставление применяется, например, когда на изображениях мало хороших/оптимальных точек или же когда эти точки мало отличаются друг от друга. Для примера подойдут однотонные структуры (крупные здания или любые другие объекты) или периодические структуры (забор).

В контексте данной заявки преобразованиями являются: выравнивание яркости видеоизображений или выравнивание контраста видеоизображений или же их комбинация для получения аккуратного, точного и бесшовного результата сшивания (то есть чтобы переход от кадра к кадру на объединенном панорамном кадре был менее заметен). Для примера, с этой целью в областях непосредственного совмещения/наложения кадров применяется усреднение пикселей, взятых со всех накладываемых изображений.

В одном из вариантов реализации заявляемого решения устройство обработки данных дополнительно выполнено с возможностью получения параметров каждой из видеокамер и используемых в них объективов от самих видеокамер. Упомянутые параметры сильно помогают при их использовании для вычисления преобразований. Следовательно, при том же или даже меньшем количестве оптимальных локальных точек, результат сшивания видеоизображений будет лучше и качественнее.

Специалисту в данной области техники будет очевидно, что после вычисления преобразований для соответствующих кадров смежных видеокамер, данные вычисления будут актуальны и для всех остальных кадров, получаемых от выбранных смежных видеокамер.

Таким образом, следующим этапом является объединение нескольких видеоизображений в одно панорамное видео посредством соответствующего применения вычисленных на этапе настройки преобразований ко всем остальным кадрам упомянутых ранее выбранных смежных видеокамер. То есть для каждого последующего набора изображений, полученных синхронно от камер в другой (второй, третий и т.д.) момент времени, применяются вычисленные на предыдущем этапе преобразования.

Одной из значимых особенностей заявляемого решения является непосредственно сама технология объединения, при которой объединение нескольких видеоизображений в одно панорамное видеоизображение выполняется попарно, последовательно объединяя смежные видеоизображения (так называемая попарная сшивка). Например, если нужно объединить более двух изображений, то для этого есть несколько вариантов: (а) искать преобразования сразу для всех соответствующих по времени кадров; или же (б) вычислить преобразования сначала для одной пары изображений, выполнить их объединение (получив объединенное изображение) и далее «пришить» к полученному изображению следующее соответствующее по времени изображение и так далее пока не буду объединены все изображения. Как показывает практика, вариант (б) чаще всего позволяет получить более лучшее качество объединенного панорамного изображения, нежели вариант (а).

При этом объединение видеоизображений может выполняться во всех направлениях, то есть и по горизонтали, и по вертикали со всех возможных сторон (справа, слева, сверху, снизу). Следовательно, в одном из частных вариантов полученное панорамное видеоизображение представляет собой синтетический/круговой вид сверху. Такая технология объединения обеспечивает естественное, реалистичное восприятие всей находящейся под наблюдением территории, что в свою очередь значительно снижает нагрузку на операторов, облегчает им процесс наблюдения и повышает реакцию на нештатные (тревожные) ситуации. Таким образом повышается эффективность работы всей системы безопасности в целом.

В некоторых частных вариантах исполнения упомянутые смежные видеокамеры имеют разную частоту кадров, что никак не мешает процессу объединения. Для примера, на нескольких видеокамерах частота равна 12 кадров/сек, а на остальных 25 кадров/сек.

В еще одном частном варианте заявляемого решения видеоизображения, полученные от смежных видеокамер, имеют различные разрешения, что также никак не мешает процессу объединения таких видеоизображений в одно панорамное видео. В таком случае при объединении первоначально выполняется преобразование разрешений всех объединяемых кадров, для их соответствия друг другу.

Необходимо отметить, что заявляемая система видеонаблюдения может дополнительно включать в себя видеокарту (включающую графический процессор GPU), ресурсы которой могут быть задействованы для ускорения процессов как на этапе настройки, так и на этапе объединения нескольких видеоизображений в одно панорамное видео.

После того как устройство обработки данных сформировало объединенное панорамное видеоизображение, посредством блока отображения [70] графического пользовательского интерфейса выполняется отображение полученного панорамного видео в одной из ячеек на раскладке видеокамер системы видеонаблюдения. При этом пользователь системы может перетаскивать полученное панорамное видео в ту ячейку, в которой ему будет удобнее просматривать получившееся видео.

Следует также отметить, что объединение нескольких видеоизображений в одно панорамное видео может выполняться как в режиме реального времени, так и по архивным данным. При этом в режиме реального времени видеоизображения поступают к устройству обработки данных непосредственно сразу от выбранных видеокамер. В случае же режима объединения по архивным данным, видеоизображения поступают к устройству обработки данных из памяти системы видеонаблюдения, куда в режиме реального времени осуществляется запись всех оригинальных видеопотоков от всех видеокамер системы. При этом в память системы не пишется объединенное панорамное видеоизображение. Наличие оригинальных данных может значительно помочь пользователю системы при расследовании какой-либо ситуации. Кроме того, при наличии оригиналов, пользователь системы всегда может выполнить объединение необходимых ему видеоизображений в одно панорамное видео для получения более наглядного результата в различных сложившихся обстоятельствах.

Дополнительно, устройство обработки данных выполнено с возможностью выполнения видеоанализа полученного панорамного видеоизображения. При этом к видеоанализу относится по меньшей мере поиск по метаданным, причем к типам поиска относятся: поиск по лицам, поиск по номерам транспортных средств, поиск движущихся объектов, поиск событий.

Как уже было отмечено ранее, память системы сконфигурирована с возможностью хранения архива видеоизображений, получаемых от множества камер в режиме реального времени. В процессе загрузки в память или же при непосредственной передаче видеоданных к устройству обработки данных, все видеоданные анализируются, для формирования метаданных, характеризующих данные обо всех объектах в видео. Метаданными в данном случае являются подробные сведения обо всех объектах, перемещающихся в поле зрения каждой камеры (траектории движений, описатели лиц, распознанные номера автомобилей и т.п.). Полученные метаданные также сохраняются в память системы. Впоследствии, полученные метаданные используются для выполнения поиска.

Следует отметить в качестве примера, что заявляемое решение подразумевает выполнение поиска любым доступным средством или способом, известным из уровня техники. Например, если у оператора есть фотография интересующего человека, то поиск может выполняться по лицам. Если есть номер интересующего транспортного средства, то поиск может выполняться по номерам транспортных средств (такой вариант актуален, например, для охранных систем парковок). Иногда требуется определить любой движущийся объект, или же объект, обладающий конкретными характеристиками его движения (например, скорость, направление и т.д.). При этом поиск выполняется по заданным критериям поиска при помощи использования автоматизированных средств поиска. Грамотно заданные критерии могут полноценно охарактеризовать ситуацию, которую требуется выявить по видеоданным, что существенно сокращает время поиска.

Еще одним отличительным аспектом заявляемого изобретения является наличие в графическом пользовательском интерфейсе заявляемой системы видеонаблюдения блока выделения области интереса [60]. Данный блок сконфигурирован таким образом, чтобы предоставлять пользователю, а именно оператору системы, возможность выделять (например, посредством компьютерной мыши) на полученном панорамном видеоизображении произвольную прямоугольную область. После выделения данная область преобразуется в отдельное видеоизображение, которое располагается в отдельной ячейке на раскладке видеокамер. Обращаем внимание, что блок отображения [70] системы сконфигурирован как для отображения полученного панорамного видеоизображения, так и для отображения отдельного видеоизображения, полученного посредством выделения области. Причем отображение может происходить как одновременно, так и по отдельности.

На фиг. 2 представлен пример отображения для оператора раскладки видеокамер. Данная раскладка состоит из 4 ячеек, в двух верхних ячейках соответственно располагаются видеоизображения, поступающие от двух выбранных в блоке выбора смежных видеокамер. В третьей ячейке отображается объединенное панорамное видеоизображение, полученное при объединении видеопотоков от двух упомянутых смежных видеокамер. Далее к примеру оператор системы замечает подозрительную ситуацию в одной определенной области панорамного видео и хочет рассмотреть получше данную ситуацию. Для этого оператор выделяет посредством компьютерной мыши на панорамном видео произвольную прямоугольную область интереса, после чего отдельное видеоизображение данной области располагается в четвертой ячейке на раскладке видеокамер. Специалисту будет понятно, что масштаб данной области является большим, чем масштаб полного панорамного видеоизображения. При этом ненужные в данной ситуации части видео отрезаются и не отвлекают внимание оператора системы. При этом следует отметить, что можно визуально «увеличить» таким образом абсолютно любую часть панорамного видео, в зависимости от того, какая конкретно область видео становится более интересной оператору в течение времени отслеживания в зависимости от происходящей в кадре ситуации.

Как уже было отмечено ранее, в соответствии с настройками системы по умолчанию, объединенное панорамное видеоизображение не пишется в архив (в архиве сохраняются все оригинальные видеозаписи с камер). Однако заявляемая вычислительная система сконфигурирована таким образом, что устройство обработки данных выполнено с возможностью экспортировать либо полученное панорамное видео, либо отдельное видеоизображение выбранной области в любом масштабе. Такой подход позволяет не занимать память системы ненужной информацией. При этом по оригинальным данным оператор/пользователь системы в любой момент времени может повторно выполнить объединение видеоданных с любых выбранных видеокамер и выполнить операцию экспорта. Следует отметить, что экспортировать упомянутые видеоизображения можно в любой из стандартных файлов, например, формата AVI или MKV.

На фиг. 3 представлена блок-схема одного из вариантов реализации способа объединения нескольких видеоизображений. Указанный способ реализуется вычислительной системой, включающей в себя, по меньшей мере, устройство обработки данных и память. При этом способ содержит этапы, на которых выполняется:

(100) выбор конкретных смежных видеокамер, видеоизображения с которых будут объединяться в панорамное видеоизображение;

(200) получение нескольких видеоизображений от, по меньшей мере, двух определенных смежных видеокамер, причем полученные видеоизображения сохраняются в памяти системы;

(300) настройка, при которой вычисляются преобразования, необходимые для объединения полученных видеоизображений в одно панорамное видеоизображение, причем упомянутые преобразования вычисляются один раз для соответствующих друг другу по времени кадров упомянутых смежных камер;

(400) объединение нескольких видеоизображений в одно панорамное видеоизображение посредством соответствующего применения вычисленных преобразований для всех остальных кадров, получаемых от упомянутых смежных видеокамер;

(500) отображение полученного панорамного видеоизображения посредством блока отображения в ячейке на раскладке видеокамер;

(600) выделение на полученном панорамном видеоизображении произвольной прямоугольной области, представляющей отдельное видеоизображение; и

(700) отображение полученного отдельного видеоизображения в отдельной ячейке на раскладке видеокамер.

Следует еще раз отметить, что данный способ реализуется средствами описанной ранее системы для объединения нескольких видеоизображений и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации системы для объединения нескольких видеоизображений.

Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.

В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средство, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) вычислительным устройством, например, таким как компьютер. При этом носитель данных может являться энергозависимым или энергонезависимым машиночитаемым носителем данных.

При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.

Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.

Изобретение относится к области обработки видеоизображений, направленной на объединение нескольких видеоизображений в одно панорамное видео. Техническим результатом является повышение эффективности объединения нескольких видеоизображений. Система для объединения нескольких видеоизображений содержит видеокамеры, память, графический пользовательский интерфейс, средства ввода и вывода данных, а также устройство обработки данных. Средства ввода и вывода данных содержат блок выбора, блок выделения области интереса, блок отображения. Устройство обработки данных сконфигурировано с возможностью: получения нескольких видеоизображений от смежных видеокамер, определенных в блоке выбора; настройки, при которой вычисляются преобразования, необходимые для объединения полученных видеоизображений в одно панорамное видеоизображение, преобразования вычисляются один раз для соответствующих друг другу по времени кадров упомянутых смежных камер; объединения нескольких видеоизображений в одно панорамное видеоизображение посредством применения вычисленных преобразований для всех остальных кадров, получаемых от упомянутых смежных видеокамер; отображения полученного панорамного видеоизображения. 3 н. и 34 з.п. ф-лы, 3 ил.

1. Система для объединения нескольких видеоизображений, содержащая:

по меньшей мере, две видеокамеры;

память, выполненную с возможностью хранения видеоданных, поступающих от упомянутых видеокамер;

графический пользовательский интерфейс, содержащий средства ввода и вывода данных, причем упомянутые средства содержат:

блок выбора, позволяющий пользователю системы выбирать конкретные смежные видеокамеры, видеоизображения с которых будут объединяться в панорамное видеоизображение;

блок выделения области интереса, позволяющий пользователю системы выделять на полученном панорамном видеоизображении произвольную прямоугольную область, представляющую собой отдельное видеоизображение;

блок отображения, сконфигурированный для отображения полученных видеоизображений;

при этом упомянутая система содержит, по меньшей мере, одно устройство обработки данных, сконфигурированное с возможностью выполнения следующих этапов:

получения нескольких видеоизображений от, по меньшей мере, двух смежных видеокамер, определенных в блоке выбора;

настройки, при которой вычисляются преобразования, необходимые для объединения полученных видеоизображений в одно панорамное видеоизображение, причем упомянутые преобразования вычисляются один раз для соответствующих друг другу по времени кадров упомянутых смежных камер;

объединения нескольких видеоизображений в одно панорамное видеоизображение посредством соответствующего применения вычисленных преобразований для всех остальных кадров, получаемых от упомянутых смежных видеокамер;

отображения полученного панорамного видеоизображения посредством блока отображения в ячейке на раскладке видеокамер;

причем после того как пользователь посредством блока выделения области интереса выделит на полученном панорамном видеоизображении прямоугольную область, блок отображения будет отображать полученную область как отдельное видеоизображение в отдельной ячейке на раскладке видеокамер.

2. Система по п. 1, в которой, по меньшей мере, одно устройство обработки данных сконфигурировано для выполнения объединения нескольких видеоизображений в режиме реального времени или по архивным данным.

3. Система по п. 2, в которой при объединении нескольких видеоизображений в режиме реального времени видеоизображения поступают к устройству обработки данных сразу от видеокамер.

4. Система по п. 2, в которой при объединении нескольких видеоизображений по архивным данным видеоизображения поступают к устройству обработки данных из памяти системы.

5. Система по п. 1, дополнительно содержащая видеокарту, ресурсы которой задействованы на этапе настройки и на этапе объединения нескольких видеоизображений в одно панорамное видеоизображение.

6. Система по любому из пп. 1-5, в которой на этапе настройки производится поиск оптимальных локальных точек на каждом изображении, полученном синхронно в одно и то же время от нескольких смежных видеокамер, и сопоставление полученных точек на кадрах упомянутых смежных видеокамер для последующего вычисления преобразований.

7. Система по п. 6, в которой сопоставление полученных точек на кадрах смежных видеокамер дополнительно выполняется пользователем в ручном режиме.

8. Система по п. 6, в которой на этапе настройки устройство обработки данных дополнительно выполнено с возможностью получения параметров каждой из видеокамер и используемых в них объективов, причем упомянутые параметры используются для вычисления преобразований.

9. Система по любому из пп. 1-5, в которой преобразованиями являются, по меньшей мере, следующие: выравнивание яркости видеоизображений, выравнивание контраста видеоизображений.

10. Система по п. 1, в которой упомянутые, по меньшей мере, две видеокамеры имеют разную частоту кадров.

11. Система по п. 1, в которой видеоизображения, полученные от смежных видеокамер, имеют различные разрешения.

12. Система по п. 1, в которой смежные видеокамеры имеют перекрывающиеся поля зрения.

13. Система по любому из пп. 1-5, в которой этап объединения нескольких видеоизображений в одно панорамное видеоизображение выполняется попарно, последовательно объединяя смежные видеоизображения.

14. Система по п. 1, в которой, по меньшей мере, одно устройство обработки данных дополнительно выполнено с возможностью экспортировать либо полученное панорамное видеоизображение, либо отдельное видеоизображение, полученное путем выделения области.

15. Система по п. 1, в которой, по меньшей мере, одно устройство обработки данных дополнительно выполнено с возможностью выполнения видеоанализа полученного панорамного видеоизображения.

16. Система по п. 15, в которой к видеоанализу относится, по меньшей мере, поиск по метаданным, причем к типам поиска относятся: поиск по лицам, поиск по номерам транспортных средств, поиск движущихся объектов, поиск событий.

17. Система по п. 1, в которой произвольная прямоугольная область отображается через блок отображения как отдельное видеоизображение в отдельной ячейке на раскладке видеокамер одновременно с панорамным видеоизображением, отображаемым в другой ячейке на раскладке видеокамер.

18. Система по п. 1, в которой панорамное видеоизображение является синтетическим/круговым видом сверху.

19. Способ объединения нескольких видеоизображений, реализуемый вычислительной системой, включающей в себя, по меньшей мере, устройство обработки данных и память, причем способ содержит этапы, на которых выполняется:

выбор конкретных смежных видеокамер, видеоизображения с которых будут объединяться в панорамное видеоизображение;

получение нескольких видеоизображений от, по меньшей мере, двух определенных смежных видеокамер, причем полученные видеоизображения сохраняются в памяти системы;

настройка, при которой вычисляются преобразования, необходимые для объединения полученных видеоизображений в одно панорамное видеоизображение, причем упомянутые преобразования вычисляются один раз для соответствующих друг другу по времени кадров упомянутых смежных камер;

объединение нескольких видеоизображений в одно панорамное видеоизображение посредством соответствующего применения вычисленных преобразований для всех остальных кадров, получаемых от упомянутых смежных видеокамер;

отображение полученного панорамного видеоизображения посредством блока отображения в ячейке на раскладке видеокамер;

выделение на полученном панорамном видеоизображении произвольной прямоугольной области, представляющей отдельное видеоизображение; и

отображение полученного отдельного видеоизображения в отдельной ячейке на раскладке видеокамер.

20. Способ по п. 19, в котором объединение нескольких видеоизображений выполняется в режиме реального времени или по архивным данным.

21. Способ по п. 20, в котором при объединении нескольких видеоизображений в режиме реального времени видеоизображения поступают к устройству обработки данных сразу от видеокамер.

22. Способ по п. 20, в котором при объединении нескольких видеоизображений по архивным данным видеоизображения поступают к устройству обработки данных из памяти системы.

23. Способ по п. 19, в котором на этапе настройки и на этапе объединения нескольких видеоизображений в одно панорамное видеоизображение задействованы ресурсы видеокарты.

24. Способ по любому из пп. 19-23, в котором на этапе настройки производится поиск оптимальных локальных точек на каждом изображении, полученном синхронно в одно и то же время от нескольких смежных видеокамер, и сопоставление полученных точек на кадрах упомянутых смежных видеокамер для последующего вычисления преобразований.

25. Способ по п. 24, в котором сопоставление полученных точек на кадрах смежных видеокамер дополнительно выполняется пользователем в ручном режиме.

26. Способ по п. 24, в котором на этапе настройки устройство обработки данных дополнительно выполнено с возможностью получения параметров каждой из видеокамер и используемых в них объективов, причем упомянутые параметры используются для вычисления преобразований.

27. Способ по любому из пп. 19-23, в котором преобразованиями являются, по меньшей мере, следующие: выравнивание яркости видеоизображений, выравнивание контраста видеоизображений.

28. Способ по п. 19, в котором упомянутые, по меньшей мере, две видеокамеры имеют разную частоту кадров.

29. Способ по п. 19, в котором видеоизображения, полученные от смежных видеокамер, имеют различные разрешения.

30. Способ по п. 19, в котором смежные видеокамеры имеют перекрывающиеся поля зрения.

31. Способ по любому из пп. 19-23, в котором этап объединения нескольких видеоизображений в одно панорамное видеоизображение выполняется попарно, последовательно объединяя смежные видеоизображения.

32. Способ по п. 19, в котором выполняется экспорт либо полученного панорамного видеоизображения, либо отдельного видеоизображения, полученного путем выделения области.

33. Способ по п. 19, в котором дополнительно выполняется видеоанализ полученного панорамного видеоизображения.

34. Способ по п. 33, в котором к видеоанализу относится, по меньшей мере, поиск по метаданным, причем к типам поиска относятся: поиск по лицам, поиск по номерам транспортных средств, поиск движущихся объектов, поиск событий.

35. Способ по п. 19, в котором произвольная прямоугольная область отображается через блок отображения как отдельное видеоизображение в отдельной ячейке на раскладке видеокамер одновременно с панорамным видеоизображением, отображаемым в другой ячейке на раскладке видеокамер.

36. Способ по п. 19, в котором панорамное видеоизображение является синтетическим/круговым видом сверху.

37. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов объединения нескольких видеоизображений по любому из пп. 19-36.