Способ автоматического определения ориентации надводных судов с использованием оптико-электронной системы беспилотного летательного аппарата Российский патент 2024 года по МПК G06F18/00 B63B39/00 B63B45/04 

Предлагаемое изобретение относится к области распознавания образов с помощью оптико-электронной системы (ОЭС) беспилотного летательного аппарата (БПЛА), и может быть использовано при решении задач специальной обработки оптических изображений с учетом наблюдаемой комбинации цветовых огней в условиях слабой освещенности и плохой видимости.

Найдет применение при наблюдении судов в разных навигационных условиях плавания: в открытом море, включая территориальные воды, за исключением районов действия особых местных правил, в узкости, в системе разделения движения; на судах с механическим двигателем; судах, лишенных возможности управляться или ограниченных в возможности маневрировать; судах, занятых буксировкой и толканием; парусных судах на ходу и судах на веслах; рыболовных судах; судах, стесненных своей осадкой; лоцманских судах; судах на якоре и судах на мели; гидросамолетах и экранопланах - при любых условиях видимости.

Известны различные технические решения в рассматриваемой области.

Так известен патент РФ на изобретение №2337501 «Способ выделения контуров движущихся объектов» (МПК G06K9/50, опублик. 10.11.2012). Способ выделения контуров движущихся объектов включает обнаружение движущихся пикселей по принципу межкадрового вычитания, определение направления движения обнаруженных пикселей с учетом направления движения смежных пикселей, формирование движущихся объектов путем объединения смежных пикселей с одним направлением и наличия пикселей в восьмисвязной окрестности, пространственное дифференцирование обнаруженных объектов оператором Собела, скелетизацию контурных линий на градиентном изображении методом подавления точек немаксимальной яркости, пороговую обработку скелетного градиентного изображения на основе максимума и минимума энтропии.

Известен патент ЕР на изобретение №3735621 (МПК G05D1/02, G08G5/00, опублик. 23.03.2022). Способ эксплуатации роботизированного транспортного средства содержит этапы, на которых: проводят обработку процессором роботизированного транспортного средства данных датчиков от одного или более датчиков для обнаружения объекта вблизи роботизированного транспортного средства; определяют процессором на основе данных датчика классификацию объекта вблизи роботизированного транспортного средства; выполняют регулировку процессором порога близости в системе предотвращения столкновения на основе классификации объекта вблизи роботизированного транспортного средства, в котором регулировка порога близости содержит одно или два увеличения порога близости в ответ на классификацию анимируемого объекта или уменьшение порога близости в ответ на классификацию неодушевленного объекта.

Известен патент РФ на изобретение №2546546 «Способы и системы для представления трехмерных изображений движения с адаптивной к содержимому информацией» (МПК G06T15/00, G06T11/60, H04N13/00, опублик. 10.04.2015). В способе принимают последовательность трехмерных (3D) изображений; принимают файл субтитров для указанной последовательности, содержащий элемент субтитров и информацию синхронизации, ассоциируют элемент субтитров с сегментом кадров изображения на основании информации синхронизации, формируют абстрактное изображение для правого и левого глаза из сегментов, вычисляют вычислительным устройством карту абстрактной глубины из указанных абстрактных изображений, вычисляют промежуточную глубину на основе карты абстрактной глубины для элемента субтитров, используют промежуточную глубину, чтобы определять атрибут рендеринга для элемента субтитров, выводят атрибут рендеринга.

Известен патент РФ на изобретение №2562707 «Системы и способы захвата изображений большой площади по частям, включающие все каскадные камеры и/или калибровочные признаки» (МПК G01C11/02, опублик. 10.09.2015). Изображения захватываются из устройств формирования обзорных и частичных изображений с различной степенью избыточности. В указанных изображениях идентифицируют общие признаки, соответствующие общим точкам местности. В соответствии с положением указанных точек определяют внешнюю ориентацию, связанную с частичным изображением. В соответствии с определенными внешними ориентациями объединяют частичные в бесшовную фотокарту.

Известен патент РФ на изобретение №2624373 «Устройство помощи в вождении для транспортного средства и способ помощи в вождении для транспортного средства» (МПК G08G1/16, опублик. 03.07.2013). Устройство помощи в вождении для транспортного средства, содержащее: секцию обнаружения позиции транспортного средства для обнаружения текущей позиции рассматриваемого транспортного средства на карте; секцию обнаружения объекта для обнаружения объектов, присутствующих на периферии рассматриваемого транспортного средства; секцию определения перекрестка для определения того, находится ли рассматриваемое транспортное средство в предварительно определенной области от перекрестка без светофора, где две или более дорог пересекаются, на основе текущей позиции, обнаруженной посредством секции обнаружения позиции рассматриваемого транспортного средства; секцию выделения первого движущегося объекта для выделения из объектов, обнаруженных посредством секции обнаружения объекта, первого движущегося объекта, который может приходить в столкновение с рассматриваемым транспортным средством, когда рассматриваемое транспортное средство въезжает на перекресток, когда секция определения перекрестка определяет, что рассматриваемое транспортное средство находится в предварительно определенной позиции от перекрестка; секцию выделения второго движущегося объекта для выделения из объектов, обнаруженных посредством секции обнаружения объекта, второго движущегося объекта, пересекающего дорогу, по которой движется первый движущийся объект, между рассматриваемым транспортным средством и первым движущимся объектом, когда первый движущийся объект выделен посредством секции выделения первого движущегося объекта, и получения информации о движении второго движущегося объекта, пересекающего перекресток; и секцию определения въезда на перекресток для определения того, что рассматриваемое транспортное средство может въезжать на перекресток, когда информация о движении второго движущегося объекта, пересекающего перекресток, получена.

Известен патент РФ на изобретение №2634502 (МПК G08G5/06, опублик. 31.10.2017) «Способ и устройство для управления движением на аэродроме». Группа изобретений относится к способу и устройству для управления движением на аэродроме. Для управления движением на аэродроме осуществляют мониторинг реальной обстановки на аэродроме в текущем режиме реального времени на основе принятой информации по цифровым каналам связи от наземных и мобильных объектов, производят обработку принятых данных, производят оценку прогнозируемой опасности движения мобильных объектов, анализ реальной и прогнозируемой обстановки на аэродроме, формируют трехмерную виртуальную модель реальной обстановки на аэродроме с визуализацией мобильных и неподвижных объектов на экране с возможностью сенсорного управления, осуществляют управление движением мобильных объектов в пошаговом режиме с формированием и передачей управляющих команд, отслеживают выполнение управляющих команд по индикации на экране. Устройство содержит сервер ввода/ вывода информации, содержащий устройство приема и передачи, электронно-вычислительное средство для обработки данных, устройство визуализации и управления в виде монитора с экраном и системой сенсорного управления.

Известен патент РФ на изобретение №2656817 (МПК H04N7/15, опублик. 06.06.2018) «Устройства, системы и способы захвата и отображения внешнего вида». Способ включает: получение цифрового изображения из камеры; отражение изображения относительно вертикальной оси, чтобы правая и левая стороны изображения поменялись местами; применение алгоритма преобразования к изображению для его изменения, чтобы оно имитировало отражение в зеркале; изменение размера изображения для ослабления изменений, вызываемых изменениями расстояния от объекта до камеры; отображение изображения на мониторе после выполнения стадий отражения, преобразования и изменения размера; стадии выполняются на последовательности изображений видеопотока, поступающего из камеры в режиме реального времени; определение расстояния до пользователя, присутствующего на изображениях видеопотока в режиме реального времени; и изменение частоты, с которой выполняются указанные стадии, выполняемые в любом порядке, на последовательности изображений в соответствии с расстоянием.

Известен патент РФ на изобретение №2757549 «Система и способ для предупреждения столкновений беспилотного летательного аппарата» (МПК G05D1/10, В64С19/00, G01C23/00, В64С39/02, опублик. 18.10.202). Группа изобретений относится к способу и навигационной системе для обеспечения защиты от столкновений в летательном аппарате. Для обеспечения защиты от столкновений сравнивают поток команд от пилота с данными управления, которые формируют путем обработки определенным образом данных датчика, выполняющего идентификацию препятствий, для определения безопасности этого потока команд. Навигационная система в летательном аппарате содержит датчик, выполненный с возможностью идентификации препятствий, процессор, запоминающее устройство.

Известен патент US на изобретение №7073749 (МПК B64BI/00, опублик. 11.07.2006). Система развертывания дирижабля содержит дирижабль уникальной формы, имеющий ламинарный поток над этой формой для обеспечения маломощного движения с возможностью дистанционного управления, содержащий надувной корпус; гребной винт, предназначенный для поддержания и изменения положения упомянутого дирижабля и способный складываться в уплотненное положение и развертываться в рабочее положение; и полезную нагрузку, содержащую газ для надувания надувного корпуса; и средство для передачи данных между указанным дирижаблем и удаленным местоположением; и ракету для перемещения дирижабля в уплотненном состоянии до заданного местоположения и высоты и освобождения дирижабля в заданном местоположении и высоте. Когда дирижабль освобождают от ракеты, надувное тело надувают и узел гребного винта разворачивают в рабочее положение.

Патент РФ на изобретение №2251739 «Система распознавания объектов и слежения за ними» (МПК G06K9/78, G06T7/00, опублик. 10.05.2005). Система имеет матричные датчики, каждый из которых предназначен для выполнения функций датчика первого типа, обеспечивающего возможность обнаружения присутствия объекта в рабочей зоне датчика и определения его положения, и датчика второго типа, обеспечивающего возможность использования этого положения объекта, определенного датчиком первого типа, для идентификации или распознавания объекта и возможность фокусирования или работы с более высокой разрешающей способностью, чем датчик первого типа.

Патент US на изобретение №8672223 (МПК G06F9/00, опублик. 18.03.2014).. Система включает в себя один или более электрооптических датчиков для сканирования области вокруг летательного аппарата на наличие одной или более возможных входящих угроз и формирования сигнала индикации после обнаружения входящей угрозы; интегрированный блок, объединяющий датчик подтверждения приближения ракеты (MACS) с измерителем направленного инфракрасного счетчика (DIRCM), для проверки поступающей угрозы и активации контрмеры против проверенной поступающей угрозы; и процессор для приема данных от упомянутых одного или более электрооптических датчиков и интегрированного блока MACS-DIRCM и для выбора способа противодействия для развертывания против входящей угрозы.

Патент US на изобретение №869380 (МПК G06K9/36, G06K9/00, опублик. 08.04.2014). Способ аэрофотосъемки отображает границы первого изображения и второго изображения из первой плоскости во вторую плоскость для определения границ выходного изображения во второй плоскости. Для множества пикселей в выходном изображении способ определяет соответствующий пиксель либо первого изображения, либо второго изображения в первой плоскости.

Патент US на изобретение №9420236 (МПК G06K9/00, H04N7/8, опублик. 16.08.2016). Система мониторинга содержит средство ввода видеоизображения, которое захватывает и вводит видеоизображения толпы; средство вычисления оптического потока, которое вычисляет оптические потоки из колпачка видеоизображения, измененного в разное время; средство установки блока определения, которое устанавливает блоки определения в области наблюдения каждого видеоизображения, причем каждый блок определения служит в качестве блока, подлежащего оценке о неисправности; средство подсчета атрибутов оптического потока, которое подсчитывает атрибут оптических потоков, генерируемых в каждом блоке определения; средство вычисления индекса оценки нормальности, которое вычисляет из подсчитанного атрибута оптических потоков значение оценки индекса оценки нормальности для оценки нормальности блока оценки; средство оценки ненормального состояния определяют по значению индекса оценки нормальности о ненормальном состоянии блока определения; и средство вывода, которое выводит результат определения, сделанного средством оценки ненормального состояния, на видеоизображение.

Патент US на изобретение №10019907 (МПК GOIC23/00, G05D1/00, GO5D3/00, G06F77/00, G06F17/00, G08G5/04, GO8G5/00, G06K9/66, GO6K9/00, опублик. 10.07.2018). Устройства и способы обнаружения препятствия на пути беспилотного летательного аппарата (БПЛА) описаны здесь, включая, но не ограничиваясь этим, прием данных от одного устройства захвата изображения/видео БПЛА, вычисление оценки на основе принятых данных и выполнение, по меньшей мере, одного маневра предотвращения препятствий на основе оценки.

Патент US на изобретение №10453351 (МПК GO8G5/04, GOIS13/86, GOIS13/93, G05D1/10, G05D1/00, G08G5/00, GOIS13/72, опублик. 22.10.2019). Автоматизированная система обнаружения и предотвращения обеспечивает пилоту высокую точность знаний о физическом состоянии летательного аппарата и уведомляет пилота о любых отклонениях в ожидаемом состоянии на основе прогностических моделей. Автоматизированная система обнаружения и предотвращения может включать в себя процессор и полезную нагрузку датчика, оперативно связанную с процессором для обнаружения некооперативного препятствия в первом воздушном пространстве, примыкающем к летательному аппарату. Полезная нагрузка датчика может содержать радар для радиального сканирования первого воздушного пространства и камеру для сканирования второго воздушного пространства в указанном первом воздушном пространстве.

Известен также патент РФ на изобретение №2466456 (МПК G06K9/50, опублик. 10.11.2012) «Способ выделения контуров движущихся объектов», являющийся наиболее близким по своей сущности к предлагаемому техническому решению, соответственно, принятый за прототип. Способ выделения контуров движущихся объектов включает пространственное дифференцирование обнаруженных объектов, скелетизацию контурных линий на градиентном изображении, пороговую обработку скелетного градиентного изображения, при этом предварительно обнаруживаются движущиеся пиксели по принципу межкадрового вычитания, определяется направление движения обнаруженных пикселей с учетом направления движения смежных пикселей, формируются движущиеся объекты путем объединения смежных пикселей с одним направлением и наличия пикселей в восьмисвязной окрестности.

Технической проблемой в рассматриваемой области является то, что все известные решения не обеспечивают надежного определения ориентации, типа и состояния надводных кораблей с БПЛА. БПЛА в полете не может выделить по изображению контур корабля, а также его правильную ориентацию (где нос, а где корма) в силу низкой освещенности или низкой видимости. Предлагаемое техническое решение нацелено на устранение известной технической проблемы, благодаря оснащению всех судов разноцветными огнями в соответствии с МППСС-72.

Техническим результатом предлагаемого изобретения является улучшение наблюдения за надводной обстановкой, на большой акватории морской поверхности в сочетании с большим количеством объектов.

Достигается технический результат тем, что в способе автоматического определения ориентации надводных судов с использованием оптико-электронной системы беспилотного летательного аппарата, включающем пространственное дифференцирование обнаруженных объектов, скелетизацию контурных линий и оконтуривание изображения судна с определением движения по совокупности последовательных изображений, согласно изобретению, выделяют пикселы изображения, соответствующие навигационным топовым, бортовым и кормовым огням, а по их взаимному расположению на изображении определяют ориентацию, направление движения и/или класс судов, которые движутся или стоят на месте.

Сущность предлагаемого изобретения поясняется следующим графическим материалом, представленным на следующих фигурах: фиг. 1 - фиг. 4 (на примере выделения комбинаций цветовых огней).

Объекты могут двигаться или стоять на месте (например судно на мели, дноуглубитель, водолазное судно и т.п.). БПЛА тоже может зависнуть в пространстве. БПЛА сравнивает комбинацию огней с комбинацией из справочника, далее делает соответствующие выводы о направлении движения и/или классе, и/или состоянии объекта.

С помощью предлагаемого изобретения выделяют пикселы изображения, соответствующие навигационным топовым, бортовым и кормовым огням, а по их взаимному расположению на изображении определяют ориентацию, направление движения и/или класс судов, которые движутся или стоят на месте.

Пример реализации изобретения (см. фиг. 4):

БПЛА, летящий справа-налево, отчетливо видит красный, зеленый и белый огни. Тогда, согласно расположению огней, корабль движется на него. Если БПЛА летит слева-направо, то его ОЭС видит только белый кормовой огонь (в этом случае корабль движется от него). На траверзных углах ОЭС БПЛА будет видеть либо красно/белый огни, либо зелено/белые огни.

Таким образом, благодаря предлагаемому изобретению улучшается наблюдение за надводной обстановкой, на большой акватории морской поверхности в сочетании с большим количеством объектов.

Изобретение относится к области распознавания образов с помощью оптико-электронной системы беспилотного летательного аппарата. Способ автоматического определения ориентации надводных судов с использованием оптико-электронной системы беспилотного летательного аппарата включает пространственное дифференцирование обнаруженных объектов, скелетизацию контурных линий и оконтуривание изображения судна с определением движения по совокупности последовательных изображений. При этом выделяют пикселы изображения, соответствующие цветовым навигационным топовым, бортовым и кормовым огням, а по их взаимному расположению на изображении определяют ориентацию, направление движения и/или класс судов, которые движутся или стоят на месте, при этом беспилотный летательный аппарат сравнивает комбинацию огней с комбинацией из справочника, затем делает соответствующие выводы о направлении движения, и/или классе, и/или состоянии объекта, а обнаружение огней выполняется на траверзных углах оптико-электронной системы беспилотного летательного аппарата и при движении беспилотного летательного аппарата справа налево и слева направо. Технический результат - улучшение наблюдения за надводной обстановкой на большой акватории морской поверхности в сочетании с большим количеством объектов. 4 ил.

Способ автоматического определения ориентации надводных судов с использованием оптико-электронной системы беспилотного летательного аппарата, включающий пространственное дифференцирование обнаруженных объектов, скелетизацию контурных линий и оконтуривание изображения судна с определением движения по совокупности последовательных изображений, отличающийся тем, что выделяют пикселы изображения, соответствующие цветовым навигационным топовым, бортовым и кормовым огням, а по их взаимному расположению на изображении определяют ориентацию, направление движения и/или класс судов, которые движутся или стоят на месте, при этом беспилотный летательный аппарат сравнивает комбинацию огней с комбинацией из справочника, затем делает соответствующие выводы о направлении движения, и/или классе, и/или состоянии объекта, а обнаружение огней выполняется на траверзных углах оптико-электронной системы беспилотного летательного аппарата и при движении беспилотного летательного аппарата справа налево и слева направо.