РАСПРЕДЕЛЕННАЯ АРХИТЕКТУРА СИСТЕМЫ ВИДЕОМОНИТОРИНГА ЛЕСА Российский патент 2015 года по МПК H04N7/18 G08B13/196 

Область техники, к которой относится изобретение

Настоящее изобретение относится, в целом, к области видеонаблюдения и, более конкретно, к распределенной архитектуре системы видеомониторинга леса, которая, в общем, обеспечивает возможность вести мониторинг больших лесных территорий с определением координат обнаруживаемых объектов при помощи оптической пассивной локации с целью раннего обнаружения лесных пожаров для их дальнейшей локализации и тушения.

Предшествующий уровень техники

Системы видеомониторинга леса, предназначенные для обнаружения и определения местоположения лесных пожаров, стали применяться сравнительно недавно. Тем не менее, их актуальность все возрастает, поскольку проблема лесных пожаров по праву может считаться одной из наиболее серьезных и нерешенных в настоящий момент человеком проблем. Лесные пожары возникают и приносят огромный ущерб во многих странах мира, свидетельством чему могут служить лесные пожары на территории Российской Федерации летом 2010 г., имевшие катастрофические последствия, в том числе и по причине невыполнения их раннего обнаружения и определения их местоположения, о чем многократно и развернуто говорилось в средствах массовой информации.

Ниже, со ссылкой на Фиг. 1, приведена иллюстрация базовой структуры "классической" системы видеомониторинга леса. Известными примерами таких систем видеомониторинга леса являются системы ForestWatch (Канада), IPNAS (Хорватия), FireWatch (Германия). Схожие системы разработаны и в Российской Федерации, например "Клен", "Балтика".

Иллюстрируемая на Фиг. 1 система 100 видеомониторинга леса в общем случае включает в себя множество дистанционно управляемых точек видеомониторинга 110 и связанные с ними одно или более автоматизированных рабочих мест 120 оператора для надлежащей эксплуатации точек видеомониторинга 110.

Оборудование 120 автоматизированного рабочего места оператора, в общем, реализуется на основе широко известных компьютерных и коммуникационных технологий и, в типичном случае, содержит выполненный с возможностью удаленного обмена данными компьютер с установленным на нем специализированным программным обеспечением и программным обеспечением общего назначения. Аппаратные средства и программное обеспечение общего назначения (например, операционная система) из состава такого компьютера являются широко известными в технике. При этом, под понятием "компьютер" может пониматься персональный компьютер, ноутбук, совокупность связанных между собой компьютеров и т.п. с характеристиками, отвечающими требованиям, предъявляемым к системе 100. К компьютеру подключено дисплейное устройство, отображающее при работе компьютера ассоциированный со специализированным приложением графический пользовательский интерфейс (GUI), посредством которого оператор выполняет работу по визуальному мониторингу территории и управлению точками 110 видеомониторинга. Взаимодействие с элементами графического пользовательского интерфейса осуществляется с помощью широко известных устройств ввода, подключенных к компьютеру, таких как клавиатура, мышь и т.п.

Каждая точка 110 видеомониторинга, по сути, представляет собой оборудование 111 передающей стороны, размещенное на высотном сооружении 112. Высотное сооружение 112, в общем, может представлять собой любое высотное сооружение, удовлетворяющее налагаемым на систему 100 требованиям (т.е. приспособленное для размещения оборудования передающей стороны на достаточной высоте и обеспечивающее возможность осматривать достаточно большую территорию), и обычно представляет собой вышку провайдера связи, вышку оператора сотовой связи, телевизионную вышку, вышку освещения или т.п.

Обобщенным термином "оборудование передающей стороны" 111 обозначается размещенная на высотном сооружении 112 аппаратура, содержащая управляемое видеоустройство 113 и коммуникационный модуль 114 для осуществления связи/обмена данными с рабочим местом(ами) 120 оператора.

Управляемое видеоустройство 113, в общем случае, представляет собой цифровую видеокамеру 115, оснащенную трансфокатором 116 и смонтированную на поворотном устройстве 117, посредством которого можно механически менять пространственную ориентацию видеокамеры 115 с высокой точностью.

Оборудование 111 передающей стороны также содержит устройство 118 управления видеокамерой, связанное с коммуникационным модулем 114, видеокамерой 115, трансфокатором 116 и поворотным устройством 117 и предназначенное для общего управления функциями управляемого видеоустройства 113 в целом и его компонентов в частности. Так, по приему управляющих сигналов от оператора через коммуникационный модуль 114 устройство 118 управления приспособлено задавать требующуюся пространственную ориентацию видеокамеры 115 (например, для наведения ее на объект, наблюдение которого требуется), управляя поворотным устройством 117, и/или выполнять приближение/удаление изображения наблюдаемого с нее объекта, управляя трансфокатором 116. Помимо этого, устройство 118 управления приспособлено определять текущую пространственную ориентацию видеокамеры 115 и выдавать данные о текущей ее пространственной ориентации через коммуникационный модуль 114 запрашивающей стороне (в частности, на рабочее место 120 оператора, где эти данные, например, отображаются в GUI). Перечисленные здесь функциональные возможности являются известными свойствами современных комплектов управляемых видеокамер, предлагаемых на рынке.

Устройство 118 управления, в общем, представляет собой очевидный для специалиста основывающийся на микропроцессорах аппаратный блок типа контроллера, микрокомпьютера и т.п., известным образом запрограммированный и/или программируемый для выполнения предписанных ему функций. Программирование устройства 118 управления может осуществляться, например, путем записи ("прошивки") его микропрограммного обеспечения ("firmware"), что является широко известным в технике. Соответственно, с устройством 118 управления видеокамерой, в типичном случае, связано запоминающее устройство (например, интегрированная флэш-память), в которой хранится соответствующее (микро)программное обеспечение, исполнением которого реализуются ассоциированные с устройством 118 управления функции.

Рабочие места 120 оператора могут быть связаны с точками 110 видеомониторинга как напрямую, так и посредством сети связи (например, сети 130) с использованием широко известных и используемых проводных и/или беспроводных, цифровых и/или аналоговых коммуникационных технологий, при этом коммуникационный модуль 114 точки 110 видеомониторинга и коммуникационный интерфейс компьютера рабочего места 120 оператора должны соответствовать коммуникационным стандартам/протоколам, на основе которых строится такая связь.

Так, иллюстративная сеть 130, к которой подсоединены точки видеомониторинга и автоматизированные рабочие места 120 оператора, может представлять собой адресную сеть, такую как Интернет. При наличии на месте установки точки 110 видеомониторинга канала связи стороннего провайдера, что является распространенным случаем, предпочтительно использовать этот канал для подключения оборудования 111 передающей стороны к Интернету. Если же в месте установки точки 110 видеомониторинга отсутствует возможность прямого подключения к сети Интернета, применяются широко известные технологии беспроводной широкополосной связи (например, Wi-Fi, WiMAX, 3G и т.п.) для обеспечения связи между оборудованием 111 передающей стороны и точкой доступа в Интернет. Схожим образом осуществляется подсоединение к сети 130 и рабочих мест 120 оператора. В частности, для подсоединения к сети 130 может использоваться, в зависимости от реализуемой технологии доступа, модем (в том числе, беспроводной), сетевая интерфейсная плата (NIC), плата беспроводного доступа и т.п., внешние или внутренние по отношению к компьютеру рабочего места 120 оператора.

Обычно система 100 также включает в себя подключенный к сети 130 сервер 140, которому делегируются функции централизованного управления совокупностью точек 110 видеомониторинга и их взаимодействием с рабочими местами 120 оператора для обеспечения надежного функционирования системы 100. Сервер 140 в типичном случае представляет собой высокопроизводительный компьютер или совокупность связанных между собой компьютеров (например, стойку блейд-серверов) с установленным на него(них) специализированным серверным программным обеспечением, имеющий(их) высокоскоростное (например, оптическое) соединение с Интернет. Аппаратная/программная реализация такого сервера является очевидной для специалиста. Помимо общих функций управления системой 100, сервер 140 может осуществлять и различные узкоспециализированные функции, например он может выполнять функции видеосервера, обеспечивающего сбор и промежуточную обработку данных и предоставление их пользователю по запросу.

При таком способе организации системы видеомониторинга леса один пользователь может проводить мониторинг подконтрольной территории, одновременно управляя несколькими видеокамерами. Кроме того, за счет описанных выше характерных функциональных возможностей обеспечивается возможность автоматического быстрого определения местоположения очага возгорания при видимости с нескольких видеокамер, используя широко известный угломерный метод, а также хранение в памяти (например, на сервере 140 или в компьютере рабочего места 120 оператора) заранее определенных маршрутов патрулирования для быстрого доступа к ним и выполнения мониторинга. Здесь под "маршрутом патрулирования" понимается заранее определенная последовательность изменения ориентации камеры, предназначенная для получения визуальной информации по требуемой предопределенной территории.

Необходимо заметить, что производительность современных электронных аппаратных средств позволяет создавать на их основе устройства визуализации и управления из состава компонентов системы видеомониторинга леса с достаточно широкой пользовательской функциональностью, что существенно упрощает работу оператора. Кроме того, современные аппаратные средства, с помощью специального исполняемого ими программного обеспечения могут взять на себя некоторые функции по автоматическому обнаружению потенциально опасных объектов на видео или фотоизображениях, получаемых с видеокамер (при мониторинге леса такими объектами может быть дым, пожар и т.п.). Такие системы компьютерного зрения для поиска на изображении опасных объектов могут использовать априорную информацию об особенностях дыма или огня, например специфичное движение, цвет, яркость и т.п. Подобные системы компьютерного зрения применяются во многих отраслях промышленности, начиная от робототехники до охранных систем, что достаточно подробно изложено, например, в публикации "Компьютерное зрение. Современный подход", Д. Форсайт, Ж. Понс, издательство "Вильямс", 2004, 928 с.

Такая интеллектуальная подсистема, реализующая указанные технологи компьютерного зрения, в общем может быть реализована и на рабочем месте 120 оператора, и на сервере 140, и даже в самом управляемом видеоустройстве 113.

Выше представлено обобщенное структурное описание классической системы видеомониторинга леса, принцип действия которой основан на использовании управляемых видеокамер. Дополнительные ее аспекты, связанные непосредственно с определением и обработкой координат обнаруживаемых объектов, более подробно отражены, в частности, в патентных публикациях RU 2458407, WO 2012/118403.

Стоит отметить, что создание и разворачивание подобных систем видеомониторинга леса стало возможным только в последние годы. Только сейчас количество вышек сотовой связи стало таковым, что покрываются основные пожароопасные места. Кроме того, стали существенно более доступными услуги широкополосного Интернета, позволяющие осуществлять обмен большими объемами информации и передавать через Интернет видео реального времени, и уменьшилась стоимость оборудования для обеспечения беспроводной связи на большие расстояния.

Однако в контексте актуальнейшей задачи мониторинга больших территорий (т.е., масштаба субъекта федерации или страны) при построении системы видеомониторинга леса следует учитывать следующие существенные проблемы.

Требующееся большое количество поворотных камер в составе системы затрудняет процесс визуального контроля территории: например, оператор может пропустить участок, который обозревается камерой, тогда как следующий осмотр данного участка может произойти через длительное время. Следовательно, должны быть использованы системы автоматизации и автоматического обнаружения, при этом такая автоматизация процесса обнаружения требует значительных вычислительных ресурсов и передачу больших объемов данных.

Однако простое наращивание вычислительных мощностей в рассматриваемом контексте не является панацеей, поскольку исключительно сложной задачей становится обеспечение соответствующей коммуникационной инфраструктуры для передачи данных от точек видеомониторинга (например, таких как точки видеомониторинга 110 на Фиг. 1) на компьютеры рабочих мест операторов (120) и/или сервер (140) ввиду того, что для потребной коммуникационной инфраструктуры, по сути, неотъемлемым образом характерна значительная пространственная разнесенность и сильная неоднородность.

Так, на текущий момент техническая возможность подключения точек видеомониторинга к сетям передачи данных, как правило, весьма ограничена. В частности, для трансляции видеопотока с видеокамеры стандарта FullHD по умолчанию подразумевается наличие канала связи с пропускной способностью около 4 Мбит/с, однако, в некоторых местах на пути от камеры до оператора предусмотрены лишь каналы связи с пропускной способностью порядка 100 кбит/с, что автоматически означает невозможность прямой организации видеонаблюдения.

В канве вышеуказанных проблем, возникающих при решении задачи мониторинга больших территорий, становится очевидной слабая пригодность классических систем видеомониторинга леса, описанных выше.

Так, в силу "локальной" направленности классических систем видеомониторинга принципы их построения не подразумевают достаточной гибкости и предполагают наличие одного сервера, на котором выполняется вся обработка данных. Такой подход, в свою очередь, предполагает, что коммуникационная инфраструктура должна быть такова, что ее характеристик достаточно для транспорта данных от видеокамер, их анализа и доставки результатов анализа конечному потребителю. Как было сказано выше, опыт построения систем мониторинга больших территорий говорит, что коммуникационная инфраструктура, сильно разнесенная географически, всегда имеет узкие места (т.е. участки с недостаточной пропускной способностью), которые снижают эффективность доставки данных в целом. Только этот факт делает применение классических схем построения систем видеомониторинга нецелесообразным для больших территорий как с технической, так и с экономической точки зрения, поскольку для устранения таких узких мест предполагается масштабная организация новых высокоскоростных каналов связи, включая развертывание нового оборудования и т.п., и/или дорогостоящая аренда имеющихся сторонних высокоскоростных каналов связи.

Кроме того, при подразумеваемой интенсивной автоматизированной обработке видеоданных, сосредоточение такой обработки на одном сервере также является проблемой в силу ограниченности вычислительных ресурсов единичного сервера.

В качестве иллюстрации вышесказанного, на Фиг. 2 примерно показана потребность различных компонентов классической системы 100 видеомониторинга леса по Фиг. 1 в каналах связи, где ширина стрелки условно соответствует потребной пропускной способности входного/выходного канала связи (не в масштабе). В данном случае под "Интернет" подразумевается некоторая цифровая сеть передачи данных, которая фактически не имеет ограничений по скорости.

Таким образом, в технике имеется потребность в построении распределенной архитектуры системы видеомониторинга леса на большой территории, которая обеспечивает эффективную организацию графика данных, устраняя необходимость повсеместного использования дорогостоящих высокоскоростных каналов на подконтрольной большой территории, а также обеспечивает возможность гибкого управления вычислительными ресурсами, необходимыми для анализа полученных данных.

Сущность изобретения

Задачей настоящего изобретения является создание распределенной системы видеомониторинга леса с эффективной организацией графика данных и обеспечением возможности гибкого управления вычислительными ресурсами, а также способа автоматизированного обнаружения возгорания, осуществляемого данной системой.

Согласно соответствующему этой задаче аспекту предложена система видеомониторинга леса. Предлагаемая система содержит множество точек видеомониторинга, каждая из которых содержит видеокамеру на высотном сооружении.

Система видеомониторинга леса также содержит подсистему управления видеомониторингом и первичной обработки видеоданных, содержащую один или более видеосерверов. Каждому видеосерверу назначены одна или более точек видеомониторинга из упомянутого их множества для управления видеокамерами этих одной или более точек видеомониторинга. Каждый сервер связан с видеокамерами назначенных ему точек видеомониторинга посредством канала связи для получения видеоданных, снимаемых этими видеокамерами. Например, видеосерверы и видеокамеры назначенных им точек видеомониторинга могут быть подсоединены к высокоскоростной виртуальной частной сети (VPN).

Помимо этого, предлагаемая система содержит: подсистему хранения и вторичной обработки данных, содержащую один или более объектных серверов; а также один или более компьютерных терминалов. Упомянутые видеосерверы, объектные серверы и компьютерные терминалы подсоединены к сети связи.

Каждый видеосервер выполнен с возможностью: выполнять анализ отснятых видеоданных для выявления признаков возгорания, при выявлении признаков возгорания формировать объект данных потенциальной опасности, относящийся к выявленному возможному возгоранию, и посылать объект данных потенциальной опасности в подсистему хранения и вторичной обработки видеоданных, предпочтительно, с запрашиванием сохранения этого объекта данных потенциальной опасности в подсистеме хранения и вторичной обработки видеоданных.

Каждый объектный сервер выполнен с возможностью: сохранять и модифицировать объекты данных потенциальной опасности и посылать объекты данных потенциальной опасности в компьютерные терминалы. Предпочтительно, объектный сервер получает объекты данных потенциальной опасности из подсистемы управления видеомониторингом и первичной обработки видеоданных.

На каждом терминальном компьютере установлено клиентское приложение для обеспечения взаимодействия оператора с подсистемой управления видеомониторингом и первичной обработки видеоданных и подсистемой хранения и вторичной обработки данных. Клиентское приложение сконфигурировано получать объекты данных потенциальной опасности из подсистемы хранения и вторичной обработки данных и представлять объекты данных потенциальной опасности для оператора.

Согласно варианту осуществления подсистема управления видеомониторингом и первичной обработки видеоданных дополнительно содержит одну или более баз данных, при этом каждый видеосервер выполнен с возможностью сохранять получаемые видеоданные, с привязкой к ассоциированным описательным метаданным, в связанной с ним базе данных из этих одной или более баз данных.

Согласно варианту осуществления каждый видеосервер содержит компьютерно-реализованную систему компьютерного зрения для выполнения упомянутого анализа видеоданных. Система компьютерного зрения видеосервера извлекает видеоданные для анализа из связанной с ним базы данных. Система компьютерного зрения видеосервера при этом сконфигурирована формировать объект данных потенциальной опасности по выявлению признаков возгорания в анализируемых видеоданных так, чтобы сформированный объект данных потенциальной опасности был привязан к видеоданным, в которых были выявлены признаки возгорания, и ассоциированным метаданным, описывающим характеристики съемки этих видеоданных. Компьютерно-реализованная система компьютерного зрения предпочтительно выполнена с возможностью использования алгоритмов компьютерного зрения, обрабатывающих видеоинформацию в соответствии с особенностями функционирования камер и текущими условиями съемки и обеспечивающих обнаружение признаков возгорания.

Согласно варианту осуществления каждый объектный сервер дополнительно выполнен с возможностью: сопоставлять полученный объект данных потенциальной опасности с ранее сохраненными объектами данных потенциальной опасности в целях нахождения объектов данных потенциальной опасности, имеющих взаимосвязь с полученным объектом данных потенциальной опасности. По результатам сопоставления объектный сервер выполнен с возможностью осуществлять по меньшей мере одно из сохранения полученного объекта данных потенциальной опасности, модифицирования по меньшей мере одного из ранее сохраненных объектов данных потенциальной опасности и модифицирования полученного объекта данных потенциальной опасности. Предпочтительно, объектный сервер выполнен с возможностью, при выявлении среди ранее сохраненных объектов данных потенциальной опасности объекта данных потенциальной опасности, по существу, совпадающего с полученным объектом данных потенциальной опасности, корректировать характеристики выявленного объекта данных потенциальной опасности на основе характеристик полученного объекта данных потенциальной опасности, без сохранения полученного объекта данных потенциальной опасности.

Согласно варианту осуществления каждый объектный сервер выполнен с возможностью сохранения и поддержания всех изменений всех объектов данных потенциальной опасности, которые имеются на нем, в том числе и после удаления объектов данных потенциальной опасности.

Согласно варианту осуществления подсистема управления видеомониторингом и первичной обработки видеоданных дополнительно содержит контроллер видеосерверов, подсоединенный к сети связи, для управления функционированием видеосерверов. Контроллер видеосерверов выполнен с возможностью динамического перераспределения нагрузки между видеосерверами. Контроллер видеосерверов предпочтительно содержит средства диагностики и анализа текущей и среднестатистической нагрузки на видеосерверы, причем нагрузка включает в себя вычислительную нагрузку и нагрузку сетевого графика. Видеосерверы получают списки точек видеомониторинга, назначенных им для обслуживания, от контроллера видеосерверов. Контроллер видеосерверов предпочтительно выполнен с возможностью автоматически осуществлять динамическое переназначение точек видеомониторинга видеосерверам в зависимости от нагрузки на видеосерверы, тогда как каждый видеосервер предпочтительно выполнен с возможностью мониторинга своего списка точек видеомониторинга на предмет его изменения со стороны контроллера видеосерверов.

Согласно варианту осуществления предложенная система видеомониторинга леса дополнительно содержит один или более серверов окружения пользователей для контроля и конфигурирования доступа операторов к компонентам и ресурсам системы видеомониторинга леса через клиентские приложения, а также для маршрутизации, совместно с клиентскими приложениями, данных, необходимых операторам для работы. Каждое клиентское приложение сконфигурировано динамически определять, во взаимодействии с серверами окружения пользователей, и визуализировать для оператора информацию о доступных для оператора компонентах и ресурсах системы видеомониторинга леса. Клиентское приложение при этом сконфигурировано визуализировать для оператора список доступных для оператора объектных серверов, список доступных для оператора видеосерверов и список доступных видеокамер, обслуживаемых этими видеосерверами. Клиентское приложение сконфигурировано при этом обеспечивать оператору возможность осуществлять доступ к видеоданным, поступающим в реальном времени с любой одной из доступных ему видеокамер, или к сохраненным видеоданным, ранее отснятым какой-либо из доступных видеокамер, а также управлять работой какой-либо из доступных видеокамер.

Согласно варианту осуществления каждое клиентское приложение сконфигурировано: визуализировать для оператора список объектов данных потенциальной опасности, полученных от объектных серверов; при обращении оператора к какому-либо объекту данных потенциальной опасности из списка объектов данных потенциальной опасности, запрашивать хранящиеся в базе данных видеоданные, связанные с этим объектом данных потенциальной опасности, и ассоциированные метаданные на соответствующем видеосервере; визуализировать упомянутый объект данных потенциальной опасности для оператора путем визуализации полученных видеоданных и ассоциированных метаданных; и обеспечивать оператору возможность подтверждать или не подтверждать возможное возгорание, о котором сигнализируется визуализируемым объектом данных потенциальной опасности.

Согласно варианту осуществления, клиентское приложение выполнено с возможностью назначения точек видеомониторинга видеосерверам и/или с возможностью назначения территориальной области ответственности каждому из объектных серверов.

В соответствии с реализуемым предлагаемой системой видеомониторинга леса способом обнаружения возгорания посредством видеосервера из множества видеосерверов: принимают видеоданные от по меньшей мере одной видеокамеры; выполняют анализ видеоданных для выявления признаков возгорания; при выявлении признаков возгорания формируют объект данных потенциальной опасности, относящийся к выявленному возможному возгоранию, с привязкой к видеоданным, в которых были выявлены признаки возгорания, и, предпочтительно, с дополнительной привязкой к метаданным, описывающим характеристики съемки видеоданных; и посылают объект данных потенциальной опасности в по меньшей мере один из объектных серверов.

Посредством объектного сервера: принимают объект данных потенциальной опасности; сопоставляют принятый объект данных потенциальной опасности с ранее сохраненными объектами данных потенциальной опасности; по результатам сопоставления выполняют по меньшей мере одно из сохранения принятого объекта данных потенциальной опасности, модифицирования по меньшей мере одного из ранее сохраненных объектов данных потенциальной опасности и модифицирования принятого объекта данных потенциальной опасности;

и посылают один или более объектов данных потенциальной опасности в по меньшей мере один компьютерный терминал.

Посредством компьютерного терминала: принимают объекты данных потенциальной опасности и представляют объекты данных потенциальной опасности для оператора.

Согласно варианту осуществления при выявлении по результатам упомянутого сопоставления среди ранее сохраненных объектов данных потенциальной опасности объекта данных потенциальной опасности, по существу, совпадающего с принятым объектом данных потенциальной опасности, модифицируют выявленный объект данных потенциальной опасности на основе принятого объекта данных потенциальной опасности, без сохранения принятого объекта данных потенциальной опасности.

Согласно варианту осуществления предложенный способ дополнительно содержит этапы, на которых, посредством компьютерного терминала: визуализируют для оператора список объектов данных потенциальной опасности, полученных от объектных серверов; при обращении оператора к какому-либо объекту данных потенциальной опасности из списка объектов данных потенциальной опасности, запрашивают видеоданные, связанные с этим объектом данных потенциальной опасности, и ассоциированные метаданные на соответствующем видеосервере; визуализируют упомянутый объект данных потенциальной опасности для оператора путем визуализации полученных видеоданных и ассоциированных метаданных; и обеспечивают оператору возможность подтверждать или не подтверждать возможное возгорание, о котором сигнализируется визуализируемым объектом данных потенциальной опасности.

Перечень фигур чертежей

Вышеуказанные и иные аспекты и преимущества настоящего изобретения раскрыты в нижеследующем подробном его описании, приводимом со ссылками на фигуры чертежей, на которых:

Фиг. 1 - схематическая частичная иллюстрация системы видеомониторинга леса;

Фиг. 2 - иллюстрация потребности компонентов системы 100 по Фиг. 1 в каналах связи;

Фиг. 3 - общая иллюстрация системы видеомониторинга леса согласно настоящему изобретению;

Фиг. 4 - иллюстрация обнаружения одного потенциально опасного объекта с двух видеокамер;

Фиг. 5 - иллюстрация общей схемы взаимодействия клиентского приложения с компонентами системы 300 по Фиг. 3;

Фиг. 6 - иллюстрация территориальной структуры системы 300 по Фиг. 3;

Фиг. 7 - логическая блок-схема способа обнаружения возгорания согласно предпочтительному варианту осуществления настоящего изобретения;

Фиг. 8 - иллюстрация обмена сообщениями для примера по Фиг. 4;

Фиг. 9, 10 - иллюстрация непосредственной работы с видеокамерой из клиентского приложения;

Фиг. 11 - иллюстрация управления видеокамерой через видеосервер;

Фиг. 12 - иллюстрация ввода в эксплуатацию нового видеосервера;

Фиг. 13 - иллюстрация переноса обслуживания видеокамер с одного видеосервера на другой.

Подробное описание изобретения

Согласно настоящему изобретению предлагаемая распределенная архитектура системы видеомониторинга леса включает в себя следующие основные компоненты:

- распределенные точки видеомониторинга;

- подсистема управления видеомониторингом и первичной обработки видеоданных;

- подсистема хранения и вторичной обработки данных;

- компьютерные терминалы операторов.

Аспекты предлагаемой архитектуры, в части точек видеомониторинга, каждая из которых содержит сетевую видеокамеру на высотном сооружении, аналогичны соответственным аспектам классической системы 100 видеомониторинга леса, раскрытой выше со ссылкой на Фиг. 1.

Также, низкоуровневые аспекты компьютерных терминалов из состава заявляемой системы аналогичны соответственным аспектам компьютеризированных рабочих мест 120 операторов системы 100. При этом, как было сказано ранее, на каждом терминальном компьютере установлено клиентское приложение для обеспечения взаимодействия оператора с подсистемой управления видеомониторингом и первичной обработки видеоданных и подсистемой хранения и вторичной обработки данных.

Ниже со ссылкой на Фиг. 3 будет подробно описан предпочтительный вариант осуществления распределенной системы 300 видеомониторинга леса согласно настоящему изобретению.

Подсистема 320 управления видеомониторингом и первичной обработки видеоданных содержит один или более видеосерверов 3210, которые все в совокупности рассматриваются как ферма видеосерверов.

Каждому видеосерверу 3210 назначены одна или более точек 310 видеомониторинга для управления их видеокамерами и получения снимаемых ими видеоданных. Под "управлением" в данном случае понимаются, в том числе, присущие вышеописанной классической системе видеомониторинга леса аспекты задания для видеокамеры маршрута патрулирования, пространственной ориентации и зума (например, для наведения на конкретный объект на местности), калибровки и т.п.

Поскольку подразумевается получение с видеокамер больших объемов данных, в том числе, в реальном времени, видеосерверы 3210 географически размещаются так, чтобы видеосерверы были связаны с соответственными точками 310 видеомониторинга посредством каналов связи с достаточной пропускной способностью (например, шириной, по меньшей мере, в 4 Мбит/с, как сказано выше). Образно говоря, видеосерверы 3210 размещаются в непосредственной "логической близости" от своих соответственных точек 310 видеомониторинга. К примеру, видеосервер 3210 может быть известным для специалиста образом соединен с назначенными ему точками видеомониторинга посредством высокоскоростной виртуальной частной сети (VPN), где скорость между видеосервером и массивом камер составляет 30 Мбит/с и выше. При этом, видеосервер 3210 может быть сконфигурирован с возможностью настройки таких параметров, как количество кадров в секунду, параметры сжатия видеопотока, тип снимаемой с видеокамеры информации и т.п., для обеспечения потребной пропускной способности каналов связи с видеокамерами.

Каждый из видеосерверов 3210 принимает видеоданные, отснятые обслуживаемыми им видеокамерами.

Подсистема 320 управления видеомониторингом и первичной обработки видеоданных может дополнительно включать в себя одну или более баз 3220 данных, с тем чтобы видеосерверы 3210 могли сохранять в них данные и извлекать из них данные. Под понятием "база данных" в данном случае понимается физическое хранилище информации большой емкости и хранимые в нем данные, организованные соответственным образом. Хотя базы 3220 данных на Фиг. 3 показаны отдельным по отношению к видеосерверам 3210 образом, для специалиста должно быть очевидно, что, по меньшей мере, некоторые из баз 3220 данных могут быть интегрированы с соответственными видеосерверами 3210 (например, данные базы данных могут храниться в запоминающем устройстве(ах) из состава сервера).

Каждый видеосервер 3210 предпочтительно сохраняет транслируемые с камер видеоданные в связанной с ним базе(ах) 3220 данных.

Согласно предпочтительному варианту осуществления при прохождении маршрута или системы маршрутов видеосервер 3210 посылает на видеокамеру команду позиционирования камеры на заданную позицию съемки или перепозиционирования камеры на новую позицию съемки. При этом видеосервер 3210 фиксирует параметры съемки, такие как идентификатор видеокамеры, целевые азимутальный угол, угол склонения, раскрыв объектива, реальные азимутальный угол, угол склонения, раскрыв объектива, время съемки и т.п. По достижении видеокамерой желаемой позиции камерой осуществляется видеосъемка и отснятые видеоданные посылаются на видеосервер 3210.

Отснятые видеоданные затем сохраняются видеосервером 3210 в базе 3220 данных вместе с зафиксированными параметрами съемки, которые составляют метаданные, ассоциированные с этим видеоматериалом, используя при этом форматы и/или методы сжатия данных, которые широко известны в технике. Вышеперечисленные и другие возможные параметры, составляющие описательные метаданные, могут быть при этом логически организованы любым подходящим способом, известным, в частности, в области программирования (например, в структуру данных).

Согласно предпочтительному варианту осуществления сохранение видеоданных осуществляется следующим образом. Из отснятых видеоданных видеосервер 3210 известным образом фиксирует неподвижное изображение и совместно записывает в базу данных заданное количество кадров видеопотока, составляющих видеоролик, и две статических картинки (полноразмерную и миниатюрную), сформированных из зафиксированного неподвижного изображения. Статические картинки могут быть сохранены в базе данных с использованием какого-либо из таких широко известных форматов, как JPEG, TIF, PNG и т.п., а видеоролик может быть соответственно сохранен в базе данных с использованием, например, такого широко известного формата, как MPEG, при этом длительность (количество кадров) видеоролика может быть преконфигурирована или динамически выбираться видеосервером.

В соответствии с настоящим изобретением, каждый видеосервер 3210 сконфигурирован выполнять анализ отснятых видеоданных для выявления признаков возгорания.

Данный анализ, согласно предпочтительному варианту осуществления настоящего изобретения, осуществляется системой компьютерного зрения, реализованной в составе видеосервера 3210, в отношении видеоданных, извлеченных из базы 3220 данных. Как было сказано ранее, использование и возможные программно-аппаратные реализации систем компьютерного зрения широко известны в различных областях техники. Указанный анализ может осуществляться по запросу, непрерывно, по расписанию или иным образом.

Извлечение требующихся видеоданных и метаданных из базы данных может осуществляться по ссылке, представляющей собой уникальные идентификаторы видеокамеры, маршрута патрулирования и/или конкретного факта съемки в рамках маршрута, однозначно идентифицирующие видеоматериал, который был снят с камеры. Такой набор идентификаторов, составляющий ссылку, однозначно определяет в рамках системы каждый факт съемки каждой видеокамерой и позволяет получить как сам соответствующий видеоконтент, так и ассоциированные метаданные, его описывающие.

Компьютерно-реализованная система компьютерного зрения анализирует извлеченный контент на предмет признаков возгорания, т.е. выявления в мультимедийном контенте потенциально опасных объектов (ПОО), таких как, например, дым, огонь и т.д., в соответствии с вышеприведенным изложением и установления их географического местонахождения. Согласно настоящему изобретению система компьютерного зрения видеосервера сконфигурирована, по выявлении признаков возгорания, формировать специальный объект данных потенциальной опасности, характеризующий выявленный ПОО. Следует понимать, что ПОО, выявленный системой компьютерного зрения в видеоданных, не обязательно соответствует реальному возгоранию, но может быть и следствием ложного срабатывания системы компьютерного зрения.

Необходимо отметить, что в системе компьютерного зрения могут использоваться алгоритмы компьютерного зрения для обеспечения обнаружения признаков возгорания и учитывающие особенности используемых видеокамер и условия съемки.

Согласно предпочтительному варианту осуществления сформированный объект данных потенциальной опасности может включать в себя: название, которое для автоматически найденного ПОО формируется из имени видеокамеры, с помощью которой он был найден, и времени на момент обнаружения; оценку координат ПОО; оценку области, в которой может находится ПОО; степень уверенности для ПОО, найденного системой компьютерного зрения (так, нахождение признаков ПОО при повторном осмотре территории повышает степень уверенности); статус (неподтвержденный человеком, подтвержденный человеком) и т.п.

Вышеперечисленные и другие возможные параметры могут быть логически организованы в объект данных потенциальной опасности любым подходящим способом, известным, в частности, в области программирования (например, в виде структуры или класса).

Извлеченные метаданные также используются в вычислениях, выполняемых системой компьютерного зрения. В частности, при обнаружении ПОО в кадре, алгоритм компьютерного зрения выдает его координаты в пикселях, и чтобы восстановить то, где этот ПОО мог находиться на местности, нужно знать, куда и как видеокамера "смотрела" при съемке материала, составляющего анализируемый контент.

Согласно настоящему изобретению объект данных потенциальной опасности формируется с привязкой к видеоданным, в которых был выявлен соответствующий ПОО. Как было сказано ранее, в базе 3220 данных, по результатам видеосъемки, видеосервером 3210 сохраняются мультимедийные данные с соответствующими метаданными, где в рассматриваемом случае мультимедийные данные предпочтительно включают в себя видеоролик и две статических картинки (полноразмерную и миниатюрную), где запечатлен выявленный ПОО. Для этого, в соответствующий объект данных потенциальной опасности дополнительно включается ссылка на связанные с ним мультимедийные данные и ассоциированные метаданные, по которой они могут быть извлечены из базы данных. Возможная реализация такой ссылки описана ранее.

Хотя выше был описан предпочтительный подход на основе системы компьютерного зрения, следует понимать, что потенциально опасные объекты могут выявляться и иным образом, например вручную оператором при отсматривании видеоматериала. При этом соответственный объект данных потенциальной опасности может быть надлежащим образом сформирован по запросу оператора установленным на его терминале клиентским приложением, предусматривающим соответствующие функциональные возможности.

Видеосерверы 3210 подсоединены к глобальной сети 360 связи, такой как Интернет. Сформированный объект данных потенциальной опасности посылается видеосервером через сеть 360 связи в подсистему 330 хранения и вторичной обработки видеоданных, предпочтительно, с запрашиванием его сохранения в подсистеме 330 хранения и вторичной обработки видеоданных.

Подсистема 330 хранения и вторичной обработки данных включает в себя один или более объектных серверов 3310, подсоединенных к сети 360 с возможностью осуществления связи с видеосерверами 3210.

Каждый объектный сервер 3310 выполнен с возможностью сохранять и модифицировать полученные объекты данных потенциальной опасности.

Согласно предпочтительному варианту осуществления в объектном сервере 3310 предусмотрено устройство(а) хранения данных, где сохраняются объекты данных потенциальной опасности, и объектный сервер 3310 сопоставляет полученный объект данных потенциальной опасности с ранее сохраненными объектами данных потенциальной опасности. Объект данных потенциальной опасности может быть получен сервером 3310 из подсистемы 320 управления видеомониторингом и первичной обработки видеоданных, как описано ранее, или от другого компонента системы 300 видеомониторинга леса, например, с терминала 340 оператора при ручном подходе, указанном выше. При этом необходимо отметить, что функционирование объектного сервера 3310 не зависит от того, из какого конкретного источника им принимается объект данных потенциальной опасности.

При указанном приеме объектный сервер 3310 может корректировать как вновь поступивший объект данных потенциальной опасности, так и уже имеющиеся объекты объекты данных потенциальной опасности, если между вновь поступившим и каким(и)-либо из имеющихся объектов данных потенциальной опасности выявлена взаимосвязь.

В частности, при выявлении среди ранее сохраненных объектов данных потенциальной опасности объекта данных, соответствующего (например, совпадающего с) полученному объекту данных потенциальной опасности, объектный сервер 3310 корректирует характеристики выявленного объекта данных на основе характеристик полученного объекта данных. Если же объекты данных, соответствующие полученному объекту данных потенциальной опасности, отсутствуют среди ранее сохраненных объектов данных потенциальной опасности, тогда объектный сервер 3310 сохраняет в своем запоминающем устройстве полученный объект данных в качестве нового объекта данных потенциальной опасности.

Рассмотренное выше функционирование объектного сервера 3310 иллюстрируется далее на основе примера обнаружения одного ПОО с двух видеокамер, управляемых разными видеосерверами, который рассматривается со ссылкой на Фиг. 4.

В ходе анализа видеопотока каждый из двух видеосерверов принимает решение о нахождении в кадре признаков потенциально опасного объекта и создает соответственный объект данных потенциальной опасности. Далее, каждый из них рапортует о находке ПОО объектному серверу отправкой на него сформированного объекта данных потенциальной опасности. Объектный сервер сохраняет первый принятый объект данных потенциальной опасности, а на основе второго принятого объекта данных потенциальной опасности принимает решение об уточнении характеристик сохраненного первого объекта данных вместо сохранения второго объекта данных потенциальной опасности. При этом при указанном уточнении характеристик могут корректироваться, по меньшей мере, некоторые из параметров, составляющих объект данных потенциальной опасности, которые приведены выше.

Из вышеприведенного примера, помимо того, что объектный сервер не сохраняет, по сути, дублированные объекты данных, вытекают следующие преимущества, обеспечиваемые уточненными параметрами объектов данных потенциальной опасности:

- снижение вероятности того, что обнаруженные ПОО являются ложными срабатываниями системы компьютерного зрения;

- повышение точности вычисления области расположения потенциального возгорания;

- повышение точности вычисления координат центра возгорания, например, за счет выполнения триангуляции на основе известных координат двух видеокамер, с которых был зафиксирован факт возгорания, и двух векторов направления на это возгорание.

Следует отметить, что каждый объектный сервер 3310 может быть выполнен с возможностью поддерживать и сохранять историю всех изменений объектов данных потенциальной опасности, которыми он управляет, в том числе и после удаления объектов (например, оператором).

Каждый объектный сервер 3310 посылает сохраненные объекты данных потенциальной опасности на компьютерные терминалы 340 операторов, подсоединенные к глобальной сети 360 связи, каковая отправка может осуществляться по запросу или автоматически. Клиентское приложение, установленное в каждом из операторских терминалов 340, сконфигурировано получать объекты данных потенциальной опасности из подсистемы 330 хранения и вторичной обработки данных и представлять полученные объекты данных потенциальной опасности для оператора, предпочтительно, путем визуализации на экране дисплея в GUI, ассоциированном с клиентским приложением.

Согласно предпочтительному варианту осуществления изобретения клиентское приложение сконфигурировано визуализировать для оператора в соответствующей области своего GUI интерактивный список объектов данных потенциальной опасности, полученных от доступных объектных серверов. Оператор может выбрать какой-либо объект данных потенциальной опасности из их списка, используя известное устройство ввода, такое как мышь. При активации оператором элемента интерактивного списка, связанного с выбранным объектом данных потенциальной опасности, клиентское приложение посылает через сеть 360 на соответствующий видеосервер запрос на мультимедийные данные, связанные с этим объектом данных, и ассоциированные метаданные.

Как было сказано ранее, объект данных потенциальной опасности включает в себя ссылку на связанные с ним отснятые видеоданные и соответствующие метаданные. Как следствие, по этой ссылке запрашиваемые мультимедийные данные (например, видеоролик и фотография ПОО) извлекаются видеосервером из базы данных, вместе с описательными метаданными, и через сеть 360 передаются на терминал, где пользователь в GUI клиентского приложения может просмотреть их. Например, когда пользователь таким образом просматривает архивные видеоданные, ему в GUI также предоставляются метаданные, показывающие, в частности, когда и куда "смотрела" камера при видеосъемке. Также, при представлении интерактивного списка объектов данных потенциальной опасности, в GUI могут соответственным образом представляться связанные с ними миниатюрные изображения.

Клиентское приложение дополнительно обеспечивает оператору возможность, по результатам просмотра, подтверждать или не подтверждать возможное возгорание, о котором сигнализируется визуализируемым объектом данных потенциальной опасности. Данная функциональная возможность может быть очевидным образом реализована в GUI. При этом, в составе объекта данных потенциальной опасности может быть изменен вышеупомянутый статус, который при его создании был по умолчанию установлен в "не подтвержден человеком" на "подтвержден человеком".

Помимо этого, в GUI клиентского приложения может быть известным образом предусмотрена функциональная возможность удаления объекта(ов) данных потенциальной опасности, представляемых в интерактивном списке (например, в случае, если оператором установлено, что объект данных потенциальной опасности соответствует ложному срабатыванию системы компьютерного зрения).

Согласно предпочтительному варианту осуществления предлагаемая система 300 видеомониторинга леса включает в себя один или более серверов 350 окружения пользователей, подсоединенных к сети 360 связи. Серверы 350 окружения обеспечивают пользователям возможность войти в систему, а так же хранят ассоциированные с пользователями данные, которые необходимы системе для правильной настройки окружения пользователя при работе. Иными словами, серверы окружения обеспечивают контроль и конфигурирование доступа операторов к компонентам и ресурсам системы 300 видеомониторинга леса через клиентские приложения, установленные ни их компьютерах 340, а также обеспечивают, совместно с клиентскими приложениями, маршрутизацию данных, необходимых операторам для работы.

Возможные реализации подобного сервиса окружения пользователей широко известны в технике (например, Active Directory от Microsoft Corporation).

Естественно, надлежащее взаимодействие операторов с компонентами системы 300 может быть известным образом организовано и без использования серверов 350 окружения пользователей, тем не менее, их наличие является предпочтительным для оптимальной организации удаленной работы операторов в системе.

Далее, согласно еще одному предпочтительному варианту осуществления настоящего изобретения подсистема 320 управления видеомониторингом и первичной обработки видеоданных дополнительно содержит контроллер 3230 видеосерверов, подсоединенный к сети 360 связи, для управления функционированием фермы видеосерверов 3210. Контроллер 3230 видеосерверов выполнен с возможностью динамического перераспределения нагрузки между видеосерверами фермы видеосерверов.

Согласно предпочтительному варианту осуществления видеосервер 3210 получает от контроллера 3230 видеосерверов список точек видеомониторинга 310, назначенных ему для обслуживания. Контроллер 3230 видеосерверов выполнен с возможностью осуществлять динамическое переназначение точек видеомониторинга видеосерверам в зависимости от вычислительной нагрузки на видеосерверы и распределения графика данных. Видеосервер 3210 выполняет непрерывный мониторинг своего списка точек видеомониторинга на предмет его изменения контроллером 3230 видеосерверов.

Так, при старте видеосервер 3210 определяет список точек видеомониторинга (видеокамер), за которые он несет ответственность, и запускает непрерывный мониторинг этого списка на случай, если он изменится в ходе дальнейшей работы. При этом, если список подконтрольных видеокамер изменяется в ходе работы видеосервера, порождаются новые потоки управления видеокамерами для видеокамер, которые вошли в границы ответственности данного видеосервера, или уничтожаются существующие потоки, если какие-либо камеры вышли из круга ответственности видеосервера.

Непрерывный мониторинг списка позволяет администраторам системы быстро переносить обработку камер с одного видеосервера на другой, таким образом балансируя нагрузку на каналы связи, вычислительные ресурсы и, в случае необходимости, замещая вышедший из строя видеосервер частичным использованием имеющихся свободных мощностей нескольких работающих видеосерверов. Это, в частности, позволяет в случае имеющихся свободных ресурсов видеосерверов сократить время неработоспособности видеокамер по причине вышедшего из строя обрабатывающего видеосервера до нескольких десятков секунд.

Для выполнения автоматического (пере)балансирования нагрузки между видеосерверами в системе 300 могут быть предусмотрены средства диагностики и анализа текущей и среднестатистической нагрузки на видеосерверы. Подобные диагностические средства широко известны в технике и могут быть реализованы в виде программного обеспечения, например в контроллере 3230 видеосерверов.

На стороне оператора в системе 300 видеомониторинга леса предусмотрены разнообразные функциональные возможности по управлению, конфигурированию и эксплуатации системы, которые обеспечиваются через клиентское приложение в компьютере 340. В данном случае под "клиентским приложением" необязательно понимается то же самое клиентское приложение, что используется оператором для работы с объектами данных потенциальной опасности согласно вышеприведенному изложению, - это может быть и отдельное приложение, которое доступно в системе лишь для пользователей с правами администратора.

Согласно предпочтительному варианту осуществления в клиентском приложении с такими административными полномочиями могут быть предусмотрены функциональные возможности (пере)назначения видеокамер видеосерверам для обслуживания, задания множества объектных серверов и (пере)назначения области ответственности каждого из объектных серверов, (пере)назначения для каждого оператора списка доступных объектных серверов и списка доступных видеосерверов и т.д. Соответственные конфигурационные настройки могут запоминаться на серверах 350 окружения, в том числе в виде пользовательских профилей, загружаемых с сервера 350 окружения на компьютер 340 оператора при его входе в систему или при запуске компьютера 340. В клиентском приложении на терминале 340 оператора, соответственно, предусмотрены функциональные возможности визуализации в GUI списка доступных для оператора объектных серверов, списка доступных для оператора видеосерверов и списка доступных видеокамер, обслуживаемых этими видеосерверами. Указанная визуализация может осуществляться во взаимодействии с сервисом окружения пользователей.

Определение клиентским приложением сервисов и компонентов системы, с которыми ему необходимо взаимодействовать для выполнения пользовательских задач, может осуществляться не только при запуске приложения или логическом входе оператора в систему (например, из загружаемого с сервера окружения профиля), но и выполняться постоянно в процессе его работы, так чтобы пользовательское приложение в любой момент времени имело актуальный список (и).

Согласно предпочтительному варианту осуществления система видеомониторинга леса может быть структурно организована на порегиональной основе. Так, для региона назначается обслуживающий его объектный сервер(ы), видеокамеры, объекты (например, вышки и пр.), определяются отслеживающие его операторы, а также назначается группа видеосерверов, напрямую или косвенно, через определение принадлежности камер региону. В результате, пользователь может получить доступ к ресурсам системы, принадлежащим только соответственному региону.

В клиентском приложении также могут быть предусмотрены функциональные возможности обеспечения оператору возможности осуществлять непосредственный доступ к видеоданным, поступающим в реальном времени с какой-любой одной из доступных ему видеокамер, или к сохраненным видеоданным, ранее отснятым какой-либо из доступных видеокамер, в целях их просмотра, а также функциональные возможности управления какой-либо из доступных видеокамер, каковые функциональные возможности, в общем, характерны для классических систем видеонаблюдения. Более подробно этот аспект рассматривается ниже.

Общая схема взаимодействия клиентского приложения с компонентами системы 300, с точки зрения получаемых им данных, показана на Фиг. 5.

Для специалиста должно быть очевидно, что количество, конкретное географическое размещение и эксплуатационные характеристики точек 310 видеомониторинга, видеосерверов 3210, баз 3220 данных, контроллера 3230, объектных серверов 3310, серверов 350 окружения, операторских терминалов 340, в общем, определяются техническими и экономическими требованиями, предъявляемыми к развертываемой системе видеомониторинга леса. Низкоуровневые аспекты всех из серверов системы 300 по сути аналогичны низкоуровневым аспектам сервера 140 классической системы 100 видеомониторинга леса. Конфигурирование указанных серверов для выполнения ими функций согласно настоящему изобретению, описанных выше, осуществляется путем инсталляции на них специализированного программного обеспечения, которое при его исполнении предписывают соответственному серверу выполнять соответствующие функции. Это может быть самостоятельно разработанное программное обеспечение, в том числе с использованием коммерчески и общедоступных сред программирования, библиотек, API и пакетов, заказное программное обеспечение или комбинация вышеперечисленного. Сети связи и обмен данными/сигналами через них могут быть реализованы на основе любых подходящих сетевых решений и технологий.

Далее, в целях пояснения, на Фиг. 6 приведен пример территориального расположения предложенной системы. На фигуре видно три территориально удаленных друг от друга групп видеокамер. Очевидно, что если бы видеосервер находился где-то в одном месте, как в случае классической системы видеомониторинга леса, то коммуникационная инфраструктура должна была бы обеспечить транспортировку видеоданных от всех видеокамер к этому серверу. Фактически, это означало бы необходимость иметь каналы высокой пропускной способности по всей стране, что де-факто труднореализуемо. Поэтому в предложенной системе видеомониторинга леса видеосерверы размещены в непосредственной логической близости от точек видеомониторинга и соединены с ними локальными каналами высокой пропускной способности. При этом, с остальной частью системы (т.е. с глобальной сетью 360) видеосерверы соединены каналами с не столь высокой пропускной способностью, поскольку, в соответствии с вышесказанным, благодаря применяемой фильтрации видеоконтента поток информации, порождаемый видеосервером, на порядок меньше по объему, чем поток от видеокамер. Так, в целях комфортной эксплуатации системы, для подсоединения видеосервера 3210 к сети 360 вполне достаточно канала шириной 3 Мбит/с, тогда как, согласно вышесказанному, VPN, локально связывающая видеосервер 3210 с обслуживаемыми им точками видеомониторинга 310, обеспечивает пропускную способность 30 Мбит/с и выше. За счет отвечающей настоящему изобретению организации обработки данных в системе, надлежащее ее функционирование будет обеспечено и при ширине внешнего канала от видеосервера в 512 кбит/с.

Возможность территориального и логического распределения видео- и объектных серверов согласно настоящему изобретению дает не только гибкость при планировании разворачивания системы с учетом имеющейся инфраструктуры связи, но и позволяет оптимизировать эксплуатационные расходы на содержание серверов, так как позволяет разворачивать сервисы на площадках, на которых соотношение цена/надежность/мощность инфраструктуры оптимальна.

Ниже, со ссылкой на Фиг. 7, описывается предпочтительный вариант осуществления отвечающего настоящему изобретению способа 7000 автоматизированного обнаружения возгорания, реализуемого в системе 300 видеомониторинга леса.

На этапе 7010 позиционируют видеокамеру точки 310 видеомониторинга в соответствии с заранее заданным маршрутом патрулирования территории и запускают видеосъемку.

На этапе 7020 видеосервер 3210 принимает видеоданные с видеокамеры и на этапе 7030 выполняет анализ видеоданных на предмет выявления признаков возгорания.

При отсутствии признаков возгорания (ветвь "Нет" на этапе 7040) может быть запущено повторное прохождение маршрута (возврат на этап 7010) или выполнено перепозиционирование видеокамеры на новый маршрут.

При выявлении признаков возгорания (ветвь "Да" на этапе 7040) видеосервер 3210 на этапе 7050 формирует объект данных потенциальной опасности для выявленного возможного возгорания, с привязкой к видеоданным, где были выявлены признаки возгорания, и метаданным, описывающим характеристики съемки видеоданных.

Затем, на этапе 7060 видеосервер 3210 посылает сформированный объект данных потенциальной опасности в объектный сервер 3310.

На этапе 7070 объектный сервер 3310 принимает объект данных потенциальной опасности и на этапе 7080 сопоставляет принятый объект данных с ранее сохраненными объектами данных потенциальной опасности на предмет выявления среди них объектов данных потенциальной опасности, соответствующих принятому объекту данных потенциальной опасности.

Если такие соответствующие объекты данных потенциальной опасности не выявлены (ветвь "Нет" на этапе 7090), объектный сервер 3310 на этапе 7100 сохраняет принятый объект данных.

Если же выявлен объект данных потенциальной опасности, соответствующий (например, совпадающий с) принятому объекту данных (ветвь "Да" на этапе 7090), на этапе 7110 объектный сервер 3310 корректирует параметры выявленного объекта данных на основе параметров принятого объекта данных потенциальной опасности, не сохраняя принятый объект данных при этом.

На этапе 7120 объектный сервер 3310 посылает один или более объектов данных потенциальной опасности в компьютерный терминал 340 оператора.

На этапе 7130 в GUI клиентского приложения на компьютерном терминале 340 для оператора визуализируется интерактивный список объектов данных потенциальной опасности, полученных от объектных серверов 3310.

На этапе 7140 оператор осуществляет доступ к объекту данных потенциальной опасности из визуализируемого их списка, в результате чего на этапе 7150 клиентское приложение запрашивает мультимедийные данные, связанные с этим объектом данных потенциальной опасности, и ассоциированные метаданные на соответствующем видеосервере 3210.

На этапе 7160 клиентское приложение визуализирует полученные мультимедийные данные и ассоциированные метаданные для их анализа оператором.

На этапе 7170, по результатам просмотра, оператор в своем клиентском приложении подтверждает или не подтверждает возможное возгорание, о котором просигнализировано объектом данных потенциальной опасности.

На Фиг. 8 проиллюстрирован динамический аспект примера функционирования системы при нахождении одного и того же ПОО двумя видеокамерами, управляемыми разными видеосерверами, который был обсужден выше со ссылкой на Фиг. 4.

Предложенная в настоящей заявке двухэтапная схема позволяет выполнять наиболее ресурсоемкую часть работы (собственно, анализ видеоряда системой компьютерного зрения) на видеосерверах, вычислительная мощность которых масштабируется за счет введения в строй новых видеосерверов и балансируется за счет перераспределения ответственности за управление камерами, что будет рассмотрено более подробно ниже. В ходе второго этапа, решения принимаются объектными серверами на основе результатов обработки, выполненной видеосерверами. Данный этап требует гораздо меньше вычислительных ресурсов, и этот факт позволяет сводить потоки уведомлений со множества видеосерверов на один объектный сервер и принимать решения на основе информации с сотен и даже тысяч камер.

Ниже описываются дополнительные функциональные аспекты заявляемой системы видеомониторинга леса.

Так, со ссылкой на Фиг. 9, 10 иллюстрируется непосредственная работа с видеокамерой из клиентского приложения на компьютере оператора.

Как было сказано ранее, кроме работы со списком объектов данных потенциальной опасности, клиентское приложение предоставляет оператору возможность работать непосредственно с видеоматериалом.

После инициализации клиентское приложение имеет информацию о том, какие из доступных оператору видеокамер обслуживаются теми или иными видеосерверами. Все сценарии работы пользователя с мультимедийными данными в системе сводятся к двум режимам работы с камерой:

- получение прямого доступа к видеокамере в режиме реального времени (Фиг. 9);

- получение архивных видеоданных, снятых с камеры (Фиг. 10).

Оба эти режима приводят к осуществлению связи между клиентским приложением и видеосервером.

В случае прямого доступа к видеокамере видеосервер должен быть уведомлен о желании оператора получить такой доступ, поскольку сам видеосервер обязан остановить собственную работу с камерой (остановить перепозиционирование камеры и съем видеопотока), а так же перевести камеру в режим, препятствующий предоставлению такого доступа другим пользователям. Таким образом, функционирование системы согласно настоящему изобретению (например, в соответствии с Фиг. 7) приостанавливается.

При этом управление камерой осуществляется также через видеосервер для унификации доступа к камерам и для контроля доступа (см. Фиг. 11). Действительно, прямой доступ к видеокамере должен быть позволен только одному пользователю, поскольку в обратном случае может быть спровоцирован конфликт управления, а также из-за необходимости передавать два видеопотока может быть перегружен канал доступа к камере. При этом время, которое сервер удерживает камеру в таком режиме, ограничено. Если пользовательское приложение не подтверждает продление нахождения камеры в режиме прямого доступа, камера считается переведенной в режим автоматической работы.

Также, множество сценариев работы с описываемой системой предполагают отображение пользователю архивных мультимедийных данных, собранных с камер видеосерверами. При этом, все такие сценарии приводят к реализации одного из двух видов запросов к видеосерверу:

- получение описания мультимедийных данных, удовлетворяющих сформулированным клиентским приложением критериям (например, данные, снятые с определенной камеры или маршрута, данные, связанные с определенными объектами, и т.д.);

- получение самих мультимедийных данных (миниатюр, изображений и видео).

В отличие от прямого доступа, архивные данные могут получать несколько пользователей сразу. Количество пользователей ограничено только пропускной способностью канала передачи данных от сервера.

Далее со ссылкой на Фиг. 12 показывается ввод в эксплуатацию нового видеосервера для иллюстрации масштабируемости системы.

Как видно из Фиг. 12, процесс состоит из двух этапов - конфигурирование самого видеосервера, в ходе которого он обращается к контроллеру за списком видеокамер для обслуживания, и инициализация видеосервера, в ходе которой он определяет доступность видеокамер, вверенных ему в обслуживание. В ходе первого этапа происходит информирование клиентских приложений о факте начала обслуживания камер, назначенных на обслуживание видеосерверу. В ходе второго этапа видеосервер информирует клиентские приложения о статусе камер и готовности выполнять запросы пользователя для камер, которые он обслуживает.

При этом у администраторов системы имеется возможность либо жестко привязать обслуживание той или иной камеры к видеосерверу, либо указать, что камера обслуживается любым видеосервером, у которого есть ресурсы, в каковом случае контроллер видеосерверов самостоятельно решает, какой видеосервер должен обслуживать такую камеру.

Для оператора системы этот процесс скрыт. Оператор узнает лишь о факте начала обслуживания камер, поскольку они становятся ему доступны.

Похожим образом осуществляется и ввод в эксплуатацию новых видеокамер.

Далее со ссылкой на Фиг. 13 показывается перенос обслуживания камер с одного видеосервера на другой для иллюстрации робастности системы.

Как было сказано ранее, такой перенос необходим для балансировки нагрузки на видеосерверы при изменении условий их эксплуатации (например, при уменьшении пропускной способности канала связи) либо при выведении из эксплуатации сервера с передачей обслуживаемых камер другому видеосерверу(ам).

Перенос обслуживания сопровождается уведомлением видеосервера-донора о том, что видеокамера будет выведена из зоны его обслуживания, после чего видеосервер-донор немедленно прекращает обслуживание этой камеры, и уведомлением видеосервера-акцептора о том, что список обслуживаемых им видеокамер также изменился (см. Фиг. 13). При этом для оператора такая реконфигурация сопровождается кратковременным (несколько десятков секунд) выводом видеокамеры из эксплуатации.

Предложенная распределенная архитектура системы видеомониторинга обладает определенной степенью унифицированности компонент, что положительно сказывается на надежности и стоимости ее эксплуатации. Действительно, за счет возможности быстрого переназначения видеосерверам камер, которые они обслуживают, возможны быстрый ввод/вывод видеосерверов из состава системы, а также реконфигурирование системы с целью перераспределения вычислительной нагрузки. Этот факт имеет прямое влияние на стоимость эксплуатации фермы видеосерверов. Действительно, поскольку видеосерверы не содержат критических для пользователя и функционирования системы данных, а система имеет возможность быстрого изменения схемы обслуживания видеокамер, требования, предъявляемые к надежности видеосерверов, могут быть снижены, а надежность функционирования системы в целом при этом снижена не будет за счет возможности быстрой замены вышедших из строя видеосерверов.

Хотя обеспечиваемая гибкость раскрытой системы видеомониторинга и сопровождается соответственным усложнением ее реализации (по сравнению с классическими системами), это усложнение никак не сказывается на опыте эксплуатации системы конечными пользователями (операторами), поскольку информация о логической и физической конфигурации системы мониторинга скрыта от пользователя. Пользователи во время работы оперируют понятиями предметной области, такими как камера, территория, обнаруженные объекты, в то время как клиентские приложения совместно с сервисом окружения осуществляют корректную маршрутизацию данных, необходимых пользователю для работы.

Таким образом, раскрытый подход обеспечивает решение следующих задач и получение соответствующих выгод:

- размещение компонентов системы с учетом неоднородности коммуникационной инфраструктуры передачи данных со снижением общей нагрузки на каналы связи;

- гибкое управление вычислительными ресурсами, необходимыми для анализа данных;

- выполнение многоэтапного анализа данных, при котором постоянно порождаемые видеокамерами данные большого объема фильтруются и анализируются в непосредственной логической близости от видеокамер, а дальнейшая обработка данных, которые занимают значительно меньший объем по сравнению с исходными, требует гораздо меньших ресурсов коммуникационной инфраструктуры;

- уменьшение расходов на эксплуатацию системы без снижения ее надежности.

Изобретение было раскрыто выше со ссылкой на конкретные варианты его осуществления. В рамках существа вышеприведенного раскрытия, для специалистов могут быть очевидны и иные варианты осуществления изобретения, отличающиеся от тех, что изложены в настоящем описании. Соответственно, изобретение следует считать ограниченным по объему только нижеследующей формулой изобретения и ее эквивалентами.

Изобретение относится к системам видеомониторинга, в частности, больших лесных территорий с определением координат обнаруживаемых объектов при помощи оптической пассивной локации с целью раннего обнаружения лесных пожаров. Техническим результатом является эффективная организация трафика данных, без использования высокоскоростных каналов, а также гибкое управление вычислительными ресурсами для анализа полученных данных. Предложена распределенная система видеомониторинга леса, содержащая множество видеосерверов, где каждый видеосервер обслуживает одну или более видеокамер; один или более объектных серверов; и множество компьютерных терминалов. Посредством видеосервера выполняют анализ видеоданных, принятых от видеокамеры для выявления признаков возгорания, при выявлении которых формируют объект данных потенциальной опасности, с привязкой к видеоданным, и посылают сформированный объект данных в объектный сервер. Посредством объектного сервера принимают объект данных потенциальной опасности, сопоставляют принятый объект данных с ранее сохраненными объектами данных потенциальной опасности, по результатам сопоставления выполняют одно из: сохранения принятого объекта данных, модифицирования одного из ранее сохраненных объектов данных и модифицирования принятого объекта данных; и посылают один или более объектов данных потенциальной опасности в компьютерный терминал. Посредством компьютерного терминала принимают объекты данных потенциальной опасности и представляют для оператора объекты данных потенциальной опасности. 2 н. и 20 з.п. ф-лы, 13 ил.

1. Система видеомониторинга леса, содержащая:
множество точек видеомониторинга, каждая из которых содержит видеокамеру на высотном сооружении;
подсистему управления видеомониторингом и первичной обработки видеоданных, содержащую один или более видеосерверов, при этом каждому видеосерверу назначены одна или более точек видеомониторинга из упомянутого их множества для управления видеокамерами этих одной или более точек видеомониторинга, причем каждый сервер связан с видеокамерами назначенных ему точек видеомониторинга посредством канала связи для получения видеоданных, снимаемых этими видеокамерами;
подсистему хранения и вторичной обработки данных, содержащую один или более объектных серверов; и
один или более компьютерных терминалов,
при этом упомянутые видеосерверы, объектные серверы и компьютерные терминалы подсоединены к сети связи,
при этом каждый видеосервер выполнен с возможностью:
выполнять анализ отснятых видеоданных для выявления признаков возгорания,
при выявлении признаков возгорания формировать объект данных потенциальной опасности, относящийся к выявленному возможному возгоранию, и
посылать объект данных потенциальной опасности в подсистему хранения и вторичной обработки видеоданных; при этом каждый объектный сервер выполнен с возможностью:
сохранять и модифицировать объекты данных потенциальной опасности, и
посылать объекты данных потенциальной опасности в компьютерные терминалы,
при этом на каждом терминальном компьютере установлено клиентское приложение для обеспечения взаимодействия оператора с подсистемой управления видеомониторингом и первичной обработки видеоданных и подсистемой хранения и вторичной обработки данных, причем клиентское приложение сконфигурировано получать объекты данных потенциальной опасности из подсистемы хранения и вторичной обработки данных и представлять объекты данных потенциальной опасности для оператора.

2. Система по п.1, в которой подсистема управления видеомониторингом и первичной обработки видеоданных дополнительно содержит одну или более баз данных, при этом каждый видеосервер выполнен с возможностью сохранять получаемые видеоданные, с привязкой к ассоциированным описательным метаданным, в связанной с ним базе данных из этих одной или более баз данных.

3. Система по п.2, в которой каждый видеосервер содержит компьютерно-реализованную систему компьютерного зрения для выполнения упомянутого анализа видеоданных, причем система компьютерного зрения видеосервера извлекает видеоданные для анализа из связанной с ним базы данных, при этом система компьютерного зрения видеосервера сконфигурирована формировать объект данных потенциальной опасности по выявлении признаков возгорания в анализируемых видеоданных так, чтобы сформированный объект данных потенциальной опасности был привязан к видеоданным, в которых были выявлены признаки возгорания, и ассоциированным метаданным, описывающим характеристики съемки этих видеоданных.

4. Система по п.3, в которой компьютерно-реализованная система компьютерного зрения выполнена с возможностью использования алгоритмов компьютерного зрения для обеспечения обнаружения признаков возгорания на разных типах камер и в разных условиях съемки.

5. Система по п.1, в которой каждый видеосервер выполнен с возможностью, при посылке сформированного объекта данных потенциальной опасности в подсистему хранения и вторичной обработки видеоданных, запрашивать сохранение этого объекта данных потенциальной опасности в подсистеме хранения и вторичной обработки видеоданных.

6. Система по п.1, в которой каждый объектный сервер дополнительно выполнен с возможностью: сопоставлять полученный объект данных потенциальной опасности с ранее сохраненными объектами данных потенциальной опасности в целях нахождения объектов данных потенциальной опасности, имеющих взаимосвязь с полученным объектом данных потенциальной опасности, и по результатам сопоставления выполнять по меньшей мере одно из следующего: сохранять полученный объект данных потенциальной опасности, модифицировать по меньшей мере один из ранее сохраненных объектов данных потенциальной опасности, модифицировать полученный объект данных потенциальной опасности.

7. Система по п.6, в которой каждый объектный сервер дополнительно выполнен с возможностью, при выявлении среди ранее сохраненных объектов данных потенциальной опасности объекта данных потенциальной опасности, по существу, совпадающего с полученным объектом данных потенциальной опасности, корректировать характеристики выявленного объекта данных потенциальной опасности на основе характеристик полученного объекта данных потенциальной опасности, без сохранения полученного объекта данных потенциальной опасности.

8. Система по п.1, в которой объектный сервер получает объект данных потенциальной опасности из подсистемы управления видеомониторингом и первичной обработки видеоданных.

9. Система по п.1, в которой каждый объектный сервер выполнен с возможностью сохранения и поддержания всех изменений всех объектов данных потенциальной опасности, которые имеются на нем, в том числе и после удаления объектов данных потенциальной опасности.

10. Система по п.1, в которой видеосерверы и видеокамеры назначенных им точек видеомониторинга подсоединены к высокоскоростной виртуальной частной сети (VPN).

11. Система по п.1, в которой подсистема управления видеомониторингом и первичной обработки видеоданных дополнительно содержит контроллер видеосерверов, подсоединенный к сети связи, для управления функционированием видеосерверов, при этом контроллер видеосерверов выполнен с возможностью динамического перераспределения нагрузки между видеосерверами.

12. Система по п.11, в которой контроллер видеосерверов содержит средства диагностики и анализа текущей и среднестатистической нагрузки на видеосерверы, при этом нагрузка включает в себя вычислительную нагрузку и нагрузку сетевого трафика.

13. Система по п.12, в которой видеосерверы получают списки точек видеомониторинга, назначенных им для обслуживания, от контроллера видеосерверов, при этом контроллер видеосерверов выполнен с возможностью автоматически осуществлять динамическое переназначение точек видеомониторинга видеосерверам в зависимости от нагрузки на видеосерверы, при этом каждый видеосервер выполнен с возможностью мониторинга своего списка точек видеомониторинга на предмет его изменения со стороны контроллера видеосерверов.

14. Система по п.1, дополнительно содержащая один или более серверов окружения пользователей для контроля и конфигурирования доступа операторов к компонентам и ресурсам системы видеомониторинга леса через клиентские приложения, а также для маршрутизации, совместно с клиентскими приложениями, данных, необходимых операторам для работы.

15. Система по п.14, в которой каждое клиентское приложение сконфигурировано динамически определять, во взаимодействии с серверами окружения пользователей, и визуализировать для оператора информацию о доступных для оператора компонентах и ресурсах системы видеомониторинга леса, при этом клиентское приложение сконфигурировано визуализировать для оператора список доступных для оператора объектных серверов, список доступных для оператора видеосерверов и список доступных видеокамер, обслуживаемых этими видеосерверами, причем клиентское приложение сконфигурировано обеспечивать оператору возможность осуществлять доступ к видеоданным, поступающим в реальном времени с любой одной из доступных ему видеокамер, или к сохраненным видеоданным, ранее отснятым какой-либо из доступных видеокамер, а также управлять работой какой-либо из доступных видеокамер.

16. Система по п.3, в которой каждое клиентское приложение сконфигурировано: визуализировать для оператора список объектов данных потенциальной опасности, полученных от объектных серверов; при обращении оператора к какому-либо объекту данных потенциальной опасности из списка объектов данных потенциальной опасности запрашивать хранящиеся в базе данных видеоданные, связанные с этим объектом данных потенциальной опасности, и ассоциированные метаданные на соответствующем видеосервере; визуализировать упомянутый объект данных потенциальной опасности для оператора путем визуализации полученных видеоданных и ассоциированных метаданных; и обеспечивать оператору возможность подтверждать или не подтверждать возможное возгорание, о котором сигнализируется визуализируемым объектом данных потенциальной опасности.

17. Система по п.1, в которой клиентское приложение выполнено с возможностью назначения точек видеомониторинга видеосерверам.

18. Система по п.1, в которой клиентское приложение выполнено с возможностью назначения территориальной области ответственности каждому из объектных серверов.

19. Способ обнаружения возгорания, реализуемый в системе видеомониторинга леса, содержащей: множество видеокамер; множество видеосерверов, при этом каждый видеосервер обслуживает одну или более из множества видеокамер; один или более объектных серверов; и множество компьютерных терминалов, содержащий этапы, на которых: посредством видеосервера из множества видеосерверов:
принимают видеоданные от по меньшей мере одной видеокамеры, выполняют анализ видеоданных для выявления признаков возгорания,
при выявлении признаков возгорания формируют объект данных потенциальной опасности, относящийся к выявленному возможному возгоранию, с привязкой к видеоданным, в которых были выявлены признаки возгорания, и
посылают объект данных потенциальной опасности в по меньшей мере один из объектных серверов; посредством объектного сервера:
принимают объект данных потенциальной опасности, сопоставляют принятый объект данных потенциальной опасности с ранее сохраненными объектами данных потенциальной опасности,
по результатам сопоставления выполняют по меньшей мере одно из следующего:
сохраняют принятый объект данных потенциальной опасности,
модифицируют по меньшей мере один из ранее сохраненных объектов данных потенциальной опасности,
модифицируют принятый объект данных потенциальной опасности, и
посылают один или более объектов данных потенциальной опасности в по меньшей мере один компьютерный терминал; и посредством компьютерного терминала:
принимают объекты данных потенциальной опасности и представляют объекты данных потенциальной опасности для оператора.

20. Способ по п.19, в котором объект данных потенциальной опасности формируют дополнительно с привязкой к метаданным, описывающим характеристики съемки видеоданных.

21. Способ по п.19, в котором, при выявлении по результатам упомянутого сопоставления среди ранее сохраненных объектов данных потенциальной опасности объекта данных потенциальной опасности, по существу, совпадающего с принятым объектом данных потенциальной опасности, модифицируют выявленный объект данных потенциальной опасности на основе принятого объекта данных потенциальной опасности, без сохранения принятого объекта данных потенциальной опасности.

22. Способ по п.20, дополнительно содержащий этапы, на которых, посредством компьютерного терминала: визуализируют для оператора список объектов данных потенциальной опасности, полученных от объектных серверов; при обращении оператора к какому-либо объекту данных потенциальной опасности из списка объектов данных потенциальной опасности запрашивают видеоданные, связанные с этим объектом данных потенциальной опасности, и ассоциированные метаданные на соответствующем видеосервере; визуализируют упомянутый объект данных потенциальной опасности для оператора путем визуализации полученных видеоданных и ассоциированных метаданных; и обеспечивают оператору возможность подтверждать или не подтверждать возможное возгорание, о котором сигнализируется визуализируемым объектом данных потенциальной опасности.