Оптико-электронная система преобразования данных изображения в элементы вектора состояния судна Российский патент 2023 года по МПК G08G3/02 G06T7/00 G06N3/02 B63B43/18 

Изобретение относится области создания систем технического зрения для морских и речных судов, а также области малоэкипажного и безэкипажного судовождения.

УРОВЕНЬ ТЕХНИКИ.

Известен комплекс наблюдения по патенту РФ №108136 «Комплекс панорамного видеонаблюдения и контроля территории», опубликованный 10.09.2011 г., МПК G01C 23/00 (2006.01), который состоит из стационарных видеокамер с аналоговым интерфейсом, установленных по меньшей мере на одной опоре; по меньшей мере одной поворотной видеокамеры с Ethernet-интерфейсом; коммутатора и сервера архива, соединенных с внешней сетью Ethernet; видеосервера, установленного в канале связи между стационарными видеокамерами и коммутатором; рабочего места оператора, оснащенного видеомонитором и манипулятором, обеспечивающаяся автоматизированное панорамное видеонаблюдение в видимом участке электромагнитного спектра с бесшовной склейкой видеоизображений, получаемых от восьми видеокамер, в гиростабилизированной платформы, на которой размещены лазерный дальномер, дневная телевизионная камера с вариообъективом, активно-импульсная телевизионная камера на основе фотоприемного модуля и/или тепловизор с вариообъективом, на неподвижном основании оптико-электронного блока установлена комплексированная инерциально-спутниковая навигационная система, а само это основание снабжено разъемами для волоконно - оптического кабеля. Кроме того, в нее введены размещенный в отдельном корпусе блок обработки информации, подключенный к разъему неподвижного основания волоконно-оптическим кабелем для оптической развязки, обеспечивающей съем сигнала при вращении подвижной части по двум осям, а также пульт управления и многофункциональный индикатор, соединенные с блоком обработки информации электрическими кабелями. Кроме того, блок обработки информации выполнен модульным в состав которого входят модуль питания, модуль интерфейсный, модуль видеопроцессора, модуль регистрации, модуль преобразования интерфейса и модуль вывода видеосигнала. Кроме того, пульт управления снабжен рукояткой управления. Полезной моделью обеспечивается технический результат, которым является обеспечение обнаружения, распознавания и идентификации надводных и наземных целей днем и ночью, измерения расстояния до них и вычисление их географических координат при любых погодных условиях в условиях тряски и вибрации, присутствующей на борту объекта-носителя, удобства управления положением линии визирования, наблюдения изображения на индикаторе и сохранения видео изображения с записью времени съемки, координат наблюдателя и координат объекта наблюдения с учетом координат подвижного объекта-носителя. высококачественное изображение (разрешение 40 Мпикс), безинерционное управления обзором, а также обнаружение, идентификация и распознавание объектов в видимом и инфракрасном участках электромагнитного спектра многими пользователями (до 256) независимо и одновременно с применением автоматизированного рабочего места трех типов, измерение расстояний и азимутов выбранных объектов наблюдения и их координат, сбор, обработка и хранение полученной информации, эксплуатация как на стационарных, так и на подвижных объектах при нахождении последних на стоянке или в движении; заявляемый комплекс панорамного видеонаблюдения и контроля территории выполнен полностью цифровым, состоящим из двух взаимосвязанных систем: системы панорамного видеообзора, в которой отсутствуют подвижные части, включающей оптико-механический блок с восемью видеокамерами, до 256 абонентских блоков, до 256 пультов управления, до 256 устройств отображения четырех типов, соединенных таким образом, что видеотрафик транслируется от одного абонентского блока к другому, при этом бесшовная склейка высокоскоростных видеопотоков в высококачественное панорамное изображение производится в каждом абонентском блоке независимо от других абонентских блоков и N независимых систем детального видеообзора, каждая из которых включает лазерный угломер - дальномер, блок детального видеообзора, тепловизор, электронный компас, размещенные на высокоточной гиростабилизированной опорно-поворотной платформе, приемник глобальной навигационной спутниковой системы, соединенные с блоком обработки, причем обе вышеуказанные системы включены во внутреннюю IP сеть, по которой данные, выдаваемые этими системами, передаются на автоматизированные рабочие места и во внешнюю IP сеть, а команды управления системами - от автоматизированных рабочих мест во внутреннюю IP сеть.

Недостатком указанного технического решения является то, что данная система, несмотря на сложность и большое количество функциональных элементов не позволяет автоматически определять координаты удаленного объекта с учетом координат подвижного объекта-носителя, имеет дорогостоящее оборудование в качестве функциональных элементов (лазерный дальномер и гиростабилизрованная платформа), не снабжена функционалом определения собственно местоположения подвижного объекта, на котором она может быть установлена при отсутствии сигнала для приемника глобальной навигационной спутниковой системы.

Известна система наблюдения по патенту РФ №2460085 «Инфракрасная система кругового обзора», опубликованному 27.09.2012, МПК G01S 3/78 (2006.01). ИК-система кругового обзора содержит неподвижное основание, установленную на нем платформу с расположенным на ней вращающимся преимущественно вокруг вертикальной оси оптико-механическим блоком с фотоприемным устройством и блоком предварительной обработки сигналов, снабженным приводом вращения и датчиком угла поворота по горизонту, установленную в оптико-механическом блоке ИК-оптическую систему, оптически сопряженную с фотоприемным устройством и связанную с блоком предварительной обработки сигналов, который, в свою очередь, связан с неподвижным основанием через блок передачи данных по оптоволокну. Оптико-механический блок выполнен из двух каналов, предназначенных для разных спектральных диапазонов длин волн. Каналы соединены через модули преобразования с модулями блока предварительной обработки сигналов, расположенных в блоке электронной обработки сигналов. Сигналы обрабатываются в модулях вычисления, соединенных через плату контроллера с блоком передачи данных по оптоволокну.

Недостатком системы является отсутствие возможности определения местоположения объекта на изображении, отсутствие автоматических средств идентификации объектов, отсутствие средств стабилизации изображения, невозможность определения местоположения подвижного средства, на котором установлена система, а также вопрос о снижении эффективности ИК-обнаружения в условиях плавания судна в холодных широтах.

Известен комплекс наблюдения по патенту РФ №155170 «Комплексная гиростабилизированная система наблюдения», опубликованный 27.09.2015 г., МПК GO1C 23/00 (2006.01). Представляет собой комплексную гиростабилизированную систему наблюдения, содержащую оптико-электронный блок имеющий неподвижное основание для закрепления на подвижном носителе и подвижную часть, упомянутая подвижная часть выполнена в виде гиростабилизированной платформы, на которой размещены лазерный дальномер, дневная телевизионная камера с вариообъективом, активно-импульсная телевизионная камера на основе фотоприемного модуля и/или тепловизор с вариообъективом, на неподвижном основании оптико-электронного блока установлена комплексированная инерциально-спутниковая навигационная система, а само это основание снабжено разъемами для волоконно-оптического кабеля. Кроме того, в нее введены размещенный в отдельном корпусе блок обработки информации, подключенный к разъему неподвижного основания волоконно-оптическим кабелем для оптической развязки, обеспечивающей съем сигнала при вращении подвижной части по двум осям, а также пульт управления и многофункциональный индикатор, соединенные с блоком обработки информации электрическими кабелями. Кроме того, блок обработки информации выполнен модульным в состав которого входят модуль питания, модуль интерфейсный, модуль видеопроцессора, модуль регистрации, модуль преобразования интерфейса и модуль вывода видеосигнала. Кроме того, пульт управления снабжен рукояткой управления. Полезной моделью обеспечивается технический результат, которым является обеспечение обнаружения, распознавания и идентификации надводных и наземных целей днем и ночью, измерения расстояния до них и вычисление их географических координат при любых погодных условиях в условиях тряски и вибрации, присутствующей на борту объекта-носителя, удобства управления положением линии визирования, наблюдения изображения на индикаторе и сохранения видео изображения с записью времени съемки, координат наблюдателя и координат объекта наблюдения с учетом координат подвижного объекта-носителя.

Недостатком указанной системы является потенциальная дороговизна функциональных составных элементов системы (гиростабилизированные платформы и лазерные дальномеры), отсутствие возможности определения местоположения подвижного основания при недоступности сигнала глобальной навигационной спутниковой системы.

Известен способ по патенту РФ №2735559 опубл. 03.11.2019 г., «Оптоэлектронная система анализа внешней обстановки на основе машинного зрения», МПК G08G 3/02 (2006.01), В63В 43/18 (2006.01). ОПС характеризуется наличием бортовой системы стационарных видеокамер с фиксированным фокусным расстоянием в морском исполнении, бортовой поворотной оптико-электронной системы на гиростабилизированной платформе, содержащей видеокамеру, тепловизор с трансфокаторами и лазерный дальномер, бортовых видеосерверов, предназначенных для предварительной обработки и сшивки видео со стационарных видеокамер, управления упомянутой поворотной оптико-электронной системой, обнаружения и распознавания объектов и получения данных о их движении. ОПС снабжена бортовым моноблоком, бортовым видеорегистратором, бортовым маршрутизатором. Обеспечивается повышение эффективности обнаружения и распознавания объектов для анализа внешней навигационной обстановки с борта судна с информированием экипажа или оператора.

Оптоэлектронная система анализа внешней обстановки (ОПС) состоит из бортового и берегового сегментов. Бортовой сегмент ОПС предназначен для автоматизации процесса наблюдения за навигационной обстановкой и повышения качества наблюдения (в режиме экипажного судовождения), а также для формирования данных о навигационной обстановке для автоматической навигационной системы судна (в режиме безэкипажного судовождения). Береговой сегмент ОПС предназначен для обеспечения оператора пульта дистанционного управления судном информацией о навигационной обстановке (в режиме дистанционного управления судном). ОПС предназначена для обнаружения объектов, представляющих навигационную опасность, их распознавания, а также определения расстояния до данных объектов и их скорости. Определение расстояния производится при помощи лазерного дальномера. Определение координат производится на основе измеренной дальности, известных координат судна, получаемого видеокамерами изображения и известных характеристик видеокамер (положение на судне, фокусное расстояние, размеры матрицы). Определение скорости производится на основе известных координат объектов по нескольким кадрам из видеопотока камеры. Береговой сегмент может быть представлен в бортовом исполнении для дистанционного управления судном с борта другого судна.

Недостатками известного способа является потенциальная дороговизна функциональных элементов комплекса (лазерный дальномер и гиростабилизированная платформа), отсутствие возможности определения места судна по данным системы при отсутствии сигнала бортовой навигационной системы.

ТЕХНИЧЕСКОЙ ЗАДАЧЕЙ, на решение которой направлено данное изобретение, является автоматизация процесса наблюдения морского судна, обеспечение морского судна критической навигационной информацией независимо от работоспособности других навигационных систем (радиолокационная станция, автоматическая идентификационная система, электронных карт), возможности определения места судна в прибрежном плавании при отсутствии информации от глобальных навигационных систем.

ТЕХНИЧЕСКИЙ РЕЗУЛЬТАТ использования изобретения заключается в оснащении морского судна автоматизированной системой оптического наблюдения, которая будет выполнять функции обнаружения, идентификации и классификации надводных объектов в поле зрения, определения их местоположения (полярного и географического), параметров их движения, а также определения места морского судна на основе, оборудованного указанной системой, на основе обработки визуальной информации, независимо от наличия сигнала глобальной навигационной спутниковой системы, выполнять эти задачи с учетом и компенсации воздействий со стороны морской среды и самого судна.

СУЩНОСТЬ изобретения.

Структура функциональной части аппаратного комплекса оптико-электронной системы представлена на Фиг. 1.

Система автоматизированного наблюдения характеризуется наличием бортовой системы стационарных видеокамер с возможностью различных вариантов исполнения, позволяющих получить круговой охват горизонта, блоком цифровой коррекции и стабилизации получаемого изображения, предназначенного для компенсации воздействия на качество получаемой информации возмущающих факторов условий морского судна; интеллектуального вычислительного блока, внутри которого реализуются способы обработки и комплексирования информации; навигационной базы данных, которая представляет собой совокупность официальной картографической и гидрографической информации, содержащейся в лоциях 5 и на морских картах 6, а так же самих морских электронных карт и данных, которые могут быть получены через систему автоматической идентификации судов 7; систему каналов обмена информации между ИБ и датчиками навигационной информации (датчик курсовой информации, датчик информации о скорости и ускорении, радиолокационная станция).

Оптическая система автоматизированного наблюдения представляет собой 3 программно изолированных сегмента внутри единого аппаратного комплекса. Изображение, захватываемое оптическим датчиком цифровой фото- или видеокамеры передают в блок коррекции и стабилизации изображения, где осуществляет компенсацию воздействий на получаемое изображение возмущений со стороны корпуса морского судна, выраженных в виде вибраций, или периодических изменений направления области обзора камеры вследствие качки. Получаемое в результате стабилизированное изображение передают в интеллектуальный блок, где осуществляются все последующие вычисления элементов вектора состояния судна.

В комплексе предусмотрена возможность подключения и последующего использования информации датчиков курсовой информации, датчиков скоростной информации, радиолокационной станции и приемника глобальной навигационной спутниковой системы.

Навигационная картографическая, гидрографическая и специальная информация представлены в виде официальной электронной базы данных, формат которых предусматривает возможность взаимодействия с оптико-электронным комплексом. Указанная информация из официальных лоций и морских карт как бумажного, так и одобренного электронного формата объединена и систематизирована в виде Навигационной базы данных на фиг. 1. Навигационная информация о судах или надводных объектах, передаваемая через автоматическую идентификационную систему также может быть включена в состав информации Навигационной Базы Данных при условии их достоверности и допустимости их применения к расчетам в зависимости от специфики конкретного объекта.

В совокупности система предназначена для выработки элементов вектора состояния судна путем решения группы навигационных задач, таких как наблюдение за акваторией вокруг морского судна с целью обнаружения надводных объектов, их распознавания и классификации с целью установления их природы; определение местоположения (полярных или географических координат) обнаруженных объектов по данным оптической системы захвата изображения; вычисление параметров (относительные скорость и направление) объектов, а также определение места судна с использованием сигнала фото или видеоизображения.

Изображение (фото и видео) из оптической системы захвата 1 поступает в блок коррекции 2, где компенсируется воздействие различного рода погрешностей, присущих морским судам (Качка, тряска, воздействие ветра, искажение изображения вследствие параметров объектива и пр.). Стабилизированное таким образом изображение поступает в Интеллектуальный Блок 3, где производятся все оперативные вычисления (Например, параметров движения целей, уточнение карты глубины и пр.).

Картографическая информация, а также информация о средствах навигационного оборудования акватории, ориентирах и местоположении судна относительно указанных объектов, вырабатывается в блоке Навигационной базы данных 4. Основу навигационной базы данных составляет официальная информационная база гидрографических данных из лоций 5 и морских карт 6.

При условии доступности автоматической идентификационной системы 7 у средств навигационного оборудования акваторий и/или морских подвижных объектов, информация также поступает в Навигационную базу данный 4.

Местоположение судна поступает в навигационную базу данных 4 от приемника глобальной навигационной спутниковой системы 10 через интеллектуальный блок 3.

ОТЛИЧИЕ предлагаемого изобретения от других систем заключается в отсутствии необходимости оборудования судов дорогостоящим высокоточным оборудованием (Дальномер и гиростабилизрованная платформа), в связи с чем также снижаются расходы периодического обслуживания систем. В отличие от прототипа, изобретение делает возможным определение местоположение самого подвижного основания системы (оборудованного морского судна) при отсутствии данных от систем позиционирования.

Интеллектуальный блок состоит из трех сегментов.

1. Сегмент определение полярных или географических координат объекта на фото- или видеоизображении.

А) Реализация сегмента в качестве элемента системы автоматизированного наблюдения морского судна.

При установке сегмента системы на морских судах, она может быть использована в качестве средства определения местоположения различных надводных объектов (других судов, навигационных опасностей и т.д.) и для определения элементов движения целей для решения задач расхождения.

Ввиду подверженности морского судна воздействию широкого спектра механических возмущений как со стороны судового оборудования, так и со стороны окружающей среды, аппаратура системы захвата изображений должна быть исполнена с учетом природы воздействия этих факторов, блок коррекции захваченного изображения должен иметь достаточно программных средств и вычислительных ресурсов для компенсации воздействий морской среды на получаемое изображение.

Условия возвышения места установки камеры выполняется при установке оптических датчиков системы на крупнотоннажных судах на возвышающиеся элементы конструкции корпуса, такие как мачты надстройки судна, компасная палуба, палуба навигационного мостика (ходовая рубка или крылья), а также мачта вблизи носовой оконечности судна.

Каждая камера устанавливается или в жесткой связи с корпусом судна (при наличии эффективных программных методов стабилизации изображения), или в использования механических стабилизаторов - демпферных механизмов.

Способ определения местоположения объекта на фотоизображении требует предварительного накопления данных перед непосредственным введением системы в эксплуатацию. Для каждой камеры на этапе установки и первичной калибровки системы составляются «Основные» карты глубины захватываемого изображения.

Алгоритм составления трехмерной модели соответствия участков изображений реальным дистанциям на местности изображен на Фиг. 2.

В поле зрения камеры с использованием детектирующих или классифицирующих программ компьютерного зрения определяют опорные объекты, т.е. объекты, местоположение которых в системе географических координат известно с высокой точностью. Данные о местоположении средств навигационного оборудования могут быть получены из официальных карт, лоций для заданного района или из информационного ресурса базы данных, содержащей достоверные и официальные данные об указанных ориентирах. В качестве таких ориентиров могут выступать так же приметные береговые структуры, отчетливо различимые на изображении, или специальные передвижные, визуально заметные средства, вручную транспортируемые на заданные позиции для постепенного накопления достаточного количества исходных данных для модели.

Составление основной модели карты глубин осуществляют для изображения акватории с видимым незаслоненным горизонтом достаточной протяженности.

Из приемника глобальной навигационной спутниковой системы, расположенного на известном расстоянии от оптической аппаратуры, извлекают географические координаты приемника, с помощью которых при известном расстоянии, упомянутом выше, вычисляются точные географические координаты оптического датчика. На основании известных географических координат местоположения опорных ориентиров и места установки камеры, учитывая высоту места установки, рассчитывают реальные расстояния от камеры до каждого опорного объекта. Множество принимаемых в качестве опорных объектов должно быть достаточным по количеству, распределению по дистанциям и по курсовому углу относительно оптической оси объектива для достижения наибольшей точности при составлении последующей информационной модели карты глубины изображения.

На изображении с использованием различных известных методик сегментации объекта и технологий компьютерного зрения выделяется группа пикселей, соответствующая каждому из опорных объектов. Следующей итерацией способа для каждой из таких групп пикселей, относящихся к отдельному объекту, выделяют пиксели, расположенные как можно ближе к земле (при установке на суше), либо к водной поверхности (расположенные у среза воды или на воде).

Для указанных пикселей фиксируют их координаты X и Y на изображении. В ИБ Составляют базу данных, содержащую пары соответствия координат X и Y пикселей объектов и реальных расстояний до указанных опорных объектов. Использованием методик интерполяции (Например, трилинейной интерполяции) составляют трехмерную модель карты глубины для двумерного изображения акватории, отражающей зависимость реального расстояния до точки (объекта) на местности от координат его пикселей, т.е. от его местоположения на фотоизображении. Полученную модель хранят в интеллектуальном блоке системы. Используя рассчитанную модель, становится возможным определение координат любого другого объекта в поле зрения камеры при условии, что ориентация и направление оптической оси объектива остается неизменной.

Программа компьютерного зрения выделяет на изображении интересующий водный объект, извлекает координаты пикселей, расположенных ближе всего к водной поверхности, и с координатами пикселей входит в уже составленную модель, извлекая реальное расстояние.

При наличии возможности определения местоположения объекта, запечатленного на изображении с высокой точностью по данным сторонних систем или методов (напр. Глобальная навигационная спутниковая система), возможно последовательное «накопление» со временем опорных ориентиров для модели карты расстояний, что позволит улучшать точность предсказания дистанции.

Используя известные зависимости между физическими размерами матрицы камеры, а также известные или определенные с использование модели карты глубин реальные расстояния до объектов на фото, измеряют горизонтальный угол между направлением оптической оси камеры и объектом, что в совокупности со значениями курса (направления), полученной с датчика курсовой информации позволяет перейти к азимуту (или пеленгу). На основании чего вычислить, используя известные математические соотношение сферической геометрии, географические координаты объекта на фото.

В процессе эксплуатации системы предусмотрена возможность динамического уточнения карты расстояний при наличии источника информации о дистанции до объекта на изображении. Объектом может являться морское судно, плавучий объект или береговая структура, находящаяся вблизи среза воды.

Источником такой информации может выступать радиолокационная станция или автоматическая идентификационная система. В таком случае программы компьютерного зрения выделяют объект (группу пикселей) на изображении, вычисляют координаты пикселей, расположенных ближе к поверхности воды и составляют запись в базу данных интеллектуального блока (БД ИБ) соответствия координат X и Y пикселя и реального расстояния до него. С учетом новых данных карта расстояний оперативно уточняется.

В качестве динамического опорного объекта может быть использован навигационный ориентир, местоположение которого может быть извлечено из официальных карт или лоций (или аналогичных официальных баз данных).

Б) Реализация в качестве элемента береговой инфраструктуры.

Указанный сегмент системы может быть использован в качестве элементе береговой инфраструктуры контроля безопасности акватории для решения задачи определения места судна на изображении независимо от работоспособности глобальной навигационной спутниковой системы или автоматической идентификационной системы.

При реализации указанного сегмента как части береговой инфраструктуры, прибор системы захвата (фото или видеокамеры) установлен неподвижно на некотором возвышении над уровнем моря.

Для берегового сегмента дистанцию вычисляют аналогично: на основе известных координат камеры и объекта в заданный момент времени и с учетом возвышения камеры над уровнем моря.

2. Сегмент определения места судна по стабилизированным данным оптической системы захвата изображения.

Варианты реализации и требования к установке камер для функционирования данного сегмента аналогичны требованиям к первому сегменту предлагаемой системы, на основании чего можно рассматривать оба сегмента как два программно-изолированных способа с общей аппаратной частью.

Сущность определения места судна по данным оптической системы основана на принципе расчета линии положении по пеленгам на известные ориентиры и по рассчитанным дистанциям до них. Алгоритм процесса определения места судна по данным оптико-электронной измерительной системы представлен на Фиг. 3.

В ИБ поступает стабилизированное и откорректированное для компенсации сторонних воздействий изображение.

Программа компьютерного зрения определяет наличие средств навигационного оборудования в области видимости. В качестве таких средств рассматриваются структуры и сооружения с известной и фиксированной позицией или ориентиры, потенциально подверженные перемещению вследствие воздействия гидрометеорологических факторов, но оборудованные передатчиком автоматической идентификационной системы или системой радиопеленгации, а также устройством системы позиционирования глобальной навигационной спутниковой системы.

Наблюдаемые средства навигационного оборудования опознаются программой компьютерного зрения по Нав. БД карт или лоций (или аналогичной официальной БД), для определения точных координат местоположения объекта, а также его высоты от основания до вершины и высоты основания над уровнем моря.

Для построения линии положения необходимо вычисление пеленга на ориентир. Используя известные данные о пространственной ориентации оптической оси объектива и соотношение между физическими размерами матрицы камеры и пикселями, т.е. размерами отраженного изображения объекта, а также в результате оптической стабилизации вертикальной оси ориентира, вычисляют курсовой угол на ориентир, а при наличии данных с датчика курсовой информации, и пеленг.

Выполнение процедуры предусмотрено для каждого опознанного ориентира в поле видимости. При наличии минимум 2-ух линии положения возможно определение места судна. Точность места, определенного таким образом, обусловлено методической точностью определения места судна по пеленгам, и зависит от соответствующих способу параметров: количество ориентиров, угол между линиями положения, точность датчика курсовой информации.

Также возможен расчет линии положения на основе известного способа определения дистанции по вертикальному углу. Сущность реализации заключается в измерении дистанции до опознанного ориентира на основании соотношения между реальной высотой ориентира от основания до верхней точки в метрах и его высотой в пикселях на фото или видеоизображении.

Полученные дистанции позволяют увеличить количество линий положения, тем самым, повысив точность определения места судна. Помимо этого, определение дистанции указанным образом позволит осуществлять определение места судна по одному опознанному ориентиру.

От места судна, полученного указанными способами, на карте (или соответствующей ей БД) измеряют расстояние до ориентиров и происходит коррекция известной карты глубины изображения.

При исчезновении сигнала глобальной навигационной спутниковой системы в ситуации сближения с берегом и опознанными ориентирами, по определенному описанными способами месту судна происходит непрерывное уточнение карты глубины ракурса для улучшения точности определения координат других объектов в поле зрения камер.

3. Сегмент определения элементов движения подвижных целей в поле зрения камер для решения задачи расхождения или определения наличия опасной ситуации или ситуации чрезмерного сближения.

Варианты реализации и требования к установке камер для функционирования данного сегмента аналогичны требованиям к первому сегменту предлагаемой системы, на основании чего можно рассматривать оба сегмента как три программно-изолированных способа с общей аппаратной частью.

Определение параметров движения цели осуществляют посредством периодического определение местоположения объекта. Алгоритм определения полярных или географических координат объекта оптико-электронной измерительной системой представлен на Фиг. 4.

Программа компьютерного зрения классифицирует объект на изображении; с использованием основной или уточненной карты глубины изображения вычисляется дистанция до объекта. На основе вышеупомянутых методик вычисляется курсовой угол, а впоследствии и пеленг на объект.

Систематическое измерение позиции цели позволяет определить направление и скорость его относительного движения, чего уже достаточно для расчета параметров ситуации сближения. При использовании информации датчиков скорости и датчика курсовой информации возможно рассчитать истинные параметры движения цели. Алгоритм расчета элементов движения цели по данным оптико-электронной системы наблюдения представлен на Фиг. 5.

Варианты уточнения:

При условии, что доступна статическая, динамическая и маршрутная информация автоматической идентификационной системы о цели возможны варианты: уточнения ракурса по координатам глобальной навигационной спутниковой системы; уточнение дистанции по радиосигналу автоматической идентификационной системы, уточнение дистанции по соотношению реальных размеров надводной части цели и размеры ее на изображении.

При наличии радиолокационной станции, которая фиксирует местоположение объекта возможно уточнение карты глубины изображения.

Система компьютерного зрения в совокупности в известным способом определения ракурса судна по его фотоизображению также позволяет системе вырабатывать различные параметры, связанные с взаимной ориентации истинных курсов судна и цели, что играет решающую роль в вопросе применения МППСС-72.

Возможные исполнения системы захвата изображения:

Системы камер, каждая из которых охватывает сектор горизонта, с зоной перекрытия полей зрения камер для целей, достаточных для формирования панорамного изображения;

Одиночной камеры, оптическое устройство которой позволяет охватывать сектор в 360 градусов;

Камеры в количестве, недостаточном для единовременного охвата всего горизонта, но снабженные поворотным устройством, в т.ч. сопряженным с источником курсовой информации, для изменения направления обзора камеры с целью сопровождения объекта интереса в кадре, либо с целью периодического сканирования окружающей обстановки путем постоянного вращения с заданными параметрами.

Вышеуказанные комбинации систем с приборами инфракрасного, ночного зрения и иных технологий, позволяющих осуществлять визуальное наблюдения в условиях, когда физическое устройство фото- видеоаппаратуры классического исполнения, не способно предоставить полную и достоверную информацию об окружающей обстановке.

Изобретение относится к области создания систем технического зрения для морских и речных судов, а также области малоэкипажного и безэкипажного судовождения, и может быть использовано в качестве системы автоматизированного визуального наблюдения. Оптико-электронная система состоит из бортовой системы неподвижных стационарных камер, обеспечивающих совокупный круговой обзор, блока коррекции и стабилизации изображения, интеллектуального блока, содержащего программы машинного зрения, осуществляющего комплексирование навигационной информации с датчиков и навигационной базы данных, представляющей собой массив картографических и гидрографических данных и оперативной маршрутной информации при наличии сигнала от приемоиндикатора автоматической идентификационной системы. Интеллектуальная часть состоит из трех программно-изолированных сегментов, используемых для решения задач обнаружения и классификации надводных объектов, выделения их характерных точек для последующего интеллектуального анализа с использованием нейросетевых технологий. Автоматизируется процесс наблюдения. Повышается безопасность эксплуатации судов. 3 з.п. ф-лы, 5 ил.

1. Оптико-электронная система преобразования данных изображения в элементы вектора состояния судна для автоматизированного наблюдения за морскими и речными судами на основе программ машинного зрения, включающая аппаратную и интеллектуальную части, при этом аппаратная часть характеризуется наличием бортовой системы неподвижных стационарных камер, обеспечивающих совокупный круговой обзор,

или бортовой системы камер, установленных на подвижном основании, позволяющем разворачивать камеру в плоскости горизонта с целью уменьшения количества требуемых оптических датчиков, при том, что совокупный угол обзора таких камер на подвижном основании охватывает всю дугу горизонта вокруг судна,

или бортовой камеры, имеющей 360-градусный угол обзора, где также возможно наличие аналогичных резервных камер,

блока коррекции и стабилизации получаемого изображения, интеллектуального блока, содержащего программы машинного зрения, осуществляющего комплексирование навигационной информации с датчиков и навигационной базы данных, представляющей собой массив официальных картографических и гидрографических данных и оперативной маршрутной информации при наличии сигнала от приемоиндикатора автоматической идентификационной системы, а интеллектуальная часть состоит из трех программно-изолированных сегментов, используемых для решения задач обнаружения и классификации надводных объектов, выделения их характерных точек для последующего интеллектуального анализа с использованием нейросетевых технологий, для адаптации к навигационной обстановке и сопоставления их параметров с параметрами собственного судна, первый из которых выполняет функцию обнаружения и определения географических или полярных координат объекта, второй осуществляет определение места судна с использованием фото- и видеоданных, третий производит вычисление элементов движения обнаруженных подвижных надводных объектов.

2. Оптико-электронная система преобразования данных изображения в элементы вектора состояния судна для автоматизированного наблюдения за морскими и речными судами на основе программ машинного зрения по п. 1, отличающаяся тем, что интеллектуальная часть устанавливается с возможностью подключения датчиков скоростной, курсовой, позиционной, радиолокационной информации для повышения качества вычисления элементов вектора состояния судна, а также определение места судна в прибрежной акватории с использованием визуальной информации в ситуация отсутствия сигнала глобальной навигационной спутниковой системы.

3. Оптико-электронная система преобразования данных изображения в элементы вектора состояния судна для автоматизированного наблюдения за морскими и речными судами на основе программ машинного зрения по п. 1, где система камер обеспечивает формирование единого панорамного изображения в интеллектуальном блоке.

4. Оптико-электронная система преобразования данных изображения в элементы вектора состояния судна для автоматизированного наблюдения за морскими и речными судами на основе программ машинного зрения по п. 1, отличающаяся тем, что совместно с обычными цифровыми камерами могут быть использованы инфракрасные камеры или камеры ночного видения, чтобы обеспечить эффективность функционирования системы в темное время суток или в других особых условиях видимости.