ОПТОЭЛЕКТРОННАЯ СИСТЕМА АНАЛИЗА ВНЕШНЕЙ ОБСТАНОВКИ НА ОСНОВЕ МАШИННОГО ЗРЕНИЯ Российский патент 2020 года по МПК G08G3/02 B63B43/18 

Оптоэлектронная система анализа внешней обстановки относится к области систем технического зрения морских и речных судов, а также к области малоэкипажного и безэкипажного судовождения.

Оптоэлектронная система анализа внешней обстановки (ОПС) состоит из бортового и берегового сегментов. Бортовой сегмент ОПС предназначен для автоматизации процесса наблюдения за навигационной обстановкой и повышения качества наблюдения (в режиме экипажного судовождения), а также для формирования данных о навигационной обстановке для автоматической навигационной системы судна (в режиме безэкипажного судовождения). Береговой сегмент ОПС предназначен для обеспечения оператора пульта дистанционного управления судном информацией о навигационной обстановке (в режиме дистанционного управления судном). ОПС предназначена для обнаружения объектов, представляющих навигационную опасность, их распознавания, а также определения расстояния до данных объектов и их скорости. Определение расстояния производится при помощи лазерного дальномера. Определение координат производится на основе измеренной дальности, известных координат судна, получаемого видеокамерами изображения и известных характеристик видеокамер (положение на судне, фокусное расстояние, размеры матрицы). Определение скорости производится на основе известных координат объектов по нескольким кадрам из видеопотока камеры. Береговой сегмент может быть представлен в бортовом исполнении для дистанционного управления судном с борта другого судна.

Известна система охраны водного района по патенту РФ 2659314 от 29.06.2018, включающая пункт управления, располагаемый на надводном корабле и/или береговом посту, космический или летательный аппарат, оборудованный телевизионными, оптоэлектронными и радиотехническими средствами поиска морских надводных и подводных объектов, имеющий линию связи с пунктом управления. В ее состав включается самоходный автономный необитаемый подводный аппарат (АНПА), оснащенный гидроакустическими и телевизионными средствами поиска морских объектов, средствами звукоподводной связи.

Данная система является сложной и включает большое количество разноплановых объектов.

Известна система обеспечения безаварийного движения надводного или подводного судна при наличии подводных или надводных потенциально опасных объектов по патенту РФ 2513198 от 20.04.2014 Для достижения этой цели на судне устанавливается, кроме эхолота, определяющего только расстояние от киля до дна моря, гидролокаторы кругового обзора. А если судно имеет большие размеры, то устанавливают гидролокаторы в задней и передней полусфере, а также по левому и правому бортам. Это позволит получать точную, подробную и оперативную трехмерную информацию впереди, сзади, слева и справа от движущегося судна.

Данная система является недостаточно эффективной для анализа внешней навигационной обстановки и не дает точные сведения об опасных объектах.

Технической проблемой, на решение которой направлено создание данного изобретения является:

- автоматизация процесса наблюдения за навигационной обстановкой с борта судна с информированием экипажа об обнаруженных навигационных опасностях;

- обеспечение безопасности судовождения, в т.ч., в темное время суток и в условиях недостаточной видимости;

- видеорегистрация навигационной обстановки, совмещенная с информацией об обнаруженных и распознанных ОПС объектах и их характеристиках;

- обеспечение возможности дистанционного управления судном, в том числе, при ограниченной пропускной способности двустороннего канала связи «судно-берег» (спутниковая связь, широкополосная УКВ-связь, сотовая связь).

Технический результат заключается в повышении эффективности обнаружения и вероятности правильного обнаружения и распознавания объектов для анализа внешней навигационной обстановки с борта судна с информированием экипажа или оператора пульта дистанционного управления об обнаруженных навигационных опасностях.

Поставленная проблема решается, а технический результат достигается за счет того, что оптоэлектронная система анализа внешней обстановки включает в себя следующие элементы, которые связаны между собой:

Бортовая система стационарных видеокамер и бортовая поворотная оптико-электронная система, подключенные по Ethernet к бортовому маршрутизатору, который связан с бортовыми видеосерверами. По данному каналу связи осуществляется получение видеоданных и управление поворотной видеокамерой.

Бортовые видеосерверы посредством беспроводной системы связи подключены к северу пульта дистанционного управления, снабженного органами управления для изменения угла зрения или масштабирования видео, а также для переключения между видео и ИК-режимом и их совместного использования.

Сервер пульта дистанционного управления подключен к мониторам пульта дистанционного управления и посредством беспроводной связи к бортовому маршрутизатору и бортовым видеосерверам.

Элементы оптоэлектронной системы анализа внешней обстановки включают:

- бортовую систему стационарных видеокамер с фиксированным фокусным расстоянием в морском исполнении, обеспечивающую непрерывный обзор в 360 градусов вокруг судна; например, могут быть использованы такие модели: TKSCE-4-IR, ТKNCL-8210, производства ЗАО «ТРАНЗАС Консалтинг» (СПб).

- бортовую поворотную оптико-электронную систему на гиростабилизированной платформе, содержащую видеокамеру, тепловизор с трансфокаторами и лазерный дальномер, обеспечивающую вариативный обзор в 360 градусов вокруг судна; например, может быть использована такая модель: TKPTZ-550T производства ЗАО «ТРАНЗАС Консалтинг» (СПб).

- бортовые видеосерверы с установленным общесистемным и специальным программным обеспечением, предназначенным для: предварительной обработки и сшивки видео со стационарных видеокамер, управления поворотной оптико-электронной системой, обнаружения и распознавания объектов и получения данных об их движении, выработки предупреждающих сигналов для экипажа, компрессии видеопотоков; бортовые серверы представляют из себя мощные вычислители, поддерживающие массивное распараллеливание вычислений для обеспечения работы алгоритмов ОПС в режиме реального времени;

- бортовой моноблок, предназначенный для человеко-машинного интерфейса;

- бортовой видеорегистратор, представляющий собою многофункциональный сетевой сервер хранения для обмена файлами в сети с возможностью резервирования данных;

- бортовой маршрутизатор, представляющий собою специализированный компьютер, который пересылает пакеты между различными сегментами сети на основе правил и таблиц маршрутизации;

- береговой видеосервер с установленным общесистемным и специальным программным обеспечением, предназначенным для: декомпрессии (или реконструкции, при недостаточной пропускной способности канала связи «судно-берег») видео навигационной обстановки вокруг судна; возможности управления данным видео, включая поворот, масштабирование и передачу соответствующих управляющих сигналов на бортовую поворотную оптико-электронную систему.

Специальное программное обеспечение ОПС включает в себя:

- алгоритмы предварительной обработки и фильтрации видеоданных;

- алгоритмы сшивки видеоданных;

- алгоритмы обнаружения и распознавания объектов;

- алгоритмы компрессии, декомпрессии и реконструкции навигационной обстановки;

- алгоритмы управления поворотной камерой;

- алгоритмы совмещения потоков видео- и тепловизионных данных.

На рис. 1 представлена схематическое изображение разработанной ОПС, где 1.1, 1.2, ….1.n – бортовые стационарные видеокамеры объединенные в систему; 2 – бортовая поворотная оптико-электронная система; 3 – ботовой маршрутизатор; 4, 5 – бортовые видеосерверы, 6 – бортовой моноблок; 7 – бортовой видеорегистратор; 8 – система связи; 9, 10, 11 – мониторы пульта дистанционного управления; 12 – береговой видеосервер; 13 – органы управления пульта дистанционного управления.

« → » - Видеопотоки; «» Управляющие команды.

Описание работы оптоэлектронной системы анализа внешней обстановки на основе машинного зрения (ОПС).

ОПС функционирует в следующих основных режимах:

- автоматический режим;

- ручной режим;

- режим совместно с судовой радиолокационной станцией (РЛС);

- режим дистанционного управления;

При работе ОПС в автоматическом режиме:

В данном режиме в зависимости от времени суток реализуется один из двух вариантов.

В светлое время суток анализируется видео, получаемое стационарными видеокамерами 1.1 и 1.2. При помощи автоматической программной обработки видеоизображений производится определение объектов, которые, потенциально, могут представлять навигационную опасность: суда, катера, моторные лодки, лед, плавающие предметы (бревна, контейнеры и др.).

После обнаружения каких-либо объектов выполняется их автоматическое программное распознавание. При этом, если качества изображения, получаемого при помощи стационарных видеокамер, оказывается недостаточным для распознавания (объект занимает малое количество пикселей на изображении), на объект автоматически наводится поворотная камера бортовой оптико-электронной системы 2 для получения более качественного изображения.

Поворотная камера бортовой оптико-электронной системы 2 периодически осуществляет сканирование зоны, не охватываемой стационарными видео камерами 1.1 и 1.2 для целей обнаружения и распознавания объектов, представляющих навигационную опасность.

За распознанным объектом автоматически начинается слежение. Вся информация выводится на мостик в виде, представленном на рис. 2. При необходимости, информация сопровождается звуковыми сигналами в случае появления объектов, представляющих навигационную опасность.

Полученная об объектах информация от ОПС передается в систему автоматического управления движением судна.

При снижении эффективности видеокамер (из-за слабого освещения или его отсутствия) происходит сканирование окружающего пространства при помощи тепловизора с функциональностью, аналогичной описанной выше. Возможно наложение видео и тепловизионных данных.

При работе ОПС в ручном режиме.

В ручном режиме оператор может самостоятельно навести поворотную видеокамеру или тепловизор бортовой поворотной оптико-электронной системы 2 для того, чтобы рассмотреть нужный объект на средстве отображения на мостике.

Режим работы с бортовой радиолокационной станции (БРЛС).

В ручном режиме работы ОПС с судовой РЛС поворотная видеокамера поворачивается на выбранный оператором объект, который обнаружила РЛС, с целью его просмотра оператором.

В автоматическом режиме работы ОПС с судовой РЛС поворотная видеокамера поворачивается поочередно на все объекты, обнаруженные РЛС, для их автоматического распознавания и передачи информации об объектах на средство отображения видеоинформации, в систему автоматического управления движением судна и в береговой центр управления.

Режим дистанционного управления.

В режиме дистанционного управления на трех горизонтально расположенных мониторах берегового центра отображается навигационная обстановка вокруг судна и результаты распознавания (обнаружения) объектов.

В режиме дистанционного управления джойстик используется для поворота (наклона) видео. Кнопки джойстика используются для:

- увеличения масштаба просмотра объекта, находящегося в центральной зоне центрального из трех монитора;

- переключения между каналами (видео, тепловизор) или совмещения информации по видео- и тепловизионному каналу.

Техническим результатом является высокоэффективное обнаружение и распознавание объектов, представляющих навигационную опасность, в режиме 24/7/346, осуществляемое при помощи предложенной аппаратной части ОПС в виде комбинированной системы стационарных и поворотной видеокамер с лазерным дальномером и ИК-камерой, а также интеллектуальных алгоритмов обнаружения и распознавания объектов на трехкомпонентных сценах (вода, воздух, береговая часть) в условиях разнообразных внешних помех и неблагоприятных условий наблюдения. При этом, в целях дистанционного управления судами, возможно использование канала связи с невысокой пропускной способностью за счет минимизации передаваемых данных с последующей реконструкцией 3D сцен в береговом сегменте обзорно-поисковой системы.

Изобретение относится к области создания систем технического зрения для морских и речных судов, а также к области малоэкипажного и безэкипажного судовождения. ОПС характеризуется наличием бортовой системы стационарных видеокамер с фиксированным фокусным расстоянием в морском исполнении, бортовой поворотной оптико-электронной системы на гиростабилизированной платформе, содержащей видеокамеру, тепловизор с трансфокаторами и лазерный дальномер, бортовых видеосерверов, предназначенных для предварительной обработки и сшивки видео со стационарных видеокамер, управления упомянутой поворотной оптико-электронной системой, обнаружения и распознавания объектов и получения данных о их движении. ОПС снабжена бортовым моноблоком, бортовым видеорегистратором, бортовым маршрутизатором. Обеспечивается повышение эффективности обнаружения и распознавания объектов для анализа внешней навигационной обстановки с борта судна с информированием экипажа или оператора пульта дистанционного управления об обнаруженных навигационных опасностях. 2 ил.

Оптоэлектронная система анализа внешней обстановки на основе машинного зрения для морских и речных судов, характеризующаяся наличием бортовой системы стационарных видеокамер с фиксированным фокусным расстоянием в морском исполнении, обеспечивающих непрерывный обзор в 360 градусов вокруг судна, бортовой поворотной оптико-электронной системы на гиростабилизированной платформе, содержащей видеокамеру, тепловизор с трансфокаторами и лазерный дальномер, обеспечивающей вариативный обзор в 360 градусов вокруг судна, бортовых видеосерверов, предназначенных для предварительной обработки и сшивки видео со стационарных видеокамер, управления упомянутой поворотной оптико-электронной системой, обнаружения и распознавания объектов и получения данных об их движении, выработки предупреждающих сигналов для экипажа, компрессии видеопотоков, характеризуется также наличием бортового моноблока, бортового видеорегистратора, представляющего собою многофункциональный сетевой сервер хранения для обмена файлами в сети с возможностью резервирования данных, бортового маршрутизатора, при этом бортовая система стационарных видеокамер и бортовая поворотная оптико-электронная система подключены по каналу Ethernet к бортовому маршрутизатору, который связан с бортовыми видеосерверами с возможностью по данному каналу связи осуществлять получение видеоданных и управление поворотной видеокамерой, бортовые видеосерверы посредством беспроводной системы связи подключены к серверу пульта дистанционного управления, снабженного органами управления для изменения угла зрения или масштабирования видео, а также для переключения между видео и ИК-режимом и их совместного использования, видеосервер пульта берегового дистанционного управления подключен к мониторам пульта дистанционного управления и посредством беспроводной связи к бортовому маршрутизатору и бортовым видеосерверам.