Бортовая интеллектуальная система поиска и наведения беспилотного летательного аппарата Российский патент 2024 года по МПК G01C23/00 B64U101/18 B64U20/80 

Изобретение относится к области авиационной техники и может быть использовано на беспилотных летательных аппаратах (БЛА) для обеспечения автономности их применения по уничтожению наземных объектов в заданном районе.

На современных пилотируемых и беспилотных летательных аппаратов (ЛА) поиск и обнаружение наземных объектов осуществляется по информации от бортовой радиолокационной системы (для радиоконтрастных объектов), системы радиотехнической разведки (для радиоизлучающих объектов) и оптических обзорных систем путем визуального обнаружения цели на видеоизображении экипажем ЛА или оператором наземного пункта управления (НПУ) БЛА. Наведение БЛА на наземные объекты выполняется либо в ручном режиме под непосредственным управлением оператора, либо по заданной траектории по заранее известным координатам местоположения объекта.

Из уровня техники известны следующие способы и устройства обнаружения и определения координат местоположения наземных объектов, близкие к предлагаемому изобретению:

1. Известен способ определения координат объекта и оптико-электронное устройство для его осуществления (патент RU 2251712, МПК G01S 5/02, опубл. 10.05.2005). Способ заключается в определении угловой координаты изображения объекта вместе с изменяющим образ элемента в поле зрения и последующем пересчете полученной величины в стабилизированную систему координат, определении величины и направления линейной скорости объекта в стабилизированной системе координат, формировании величины углового смещения в стабилизированной картинной плоскости и корректировке угловой координаты изображения объекта вместе с искажающими образ элементами на величину углового смещения. Устройство для осуществления указанного способа содержит последовательно соединенные оптико-электронный пеленгатор и преобразователь из измерительной в стабилизированную систему координат, блок определения линейной скорости, блок формирования величины углового смещения и сумматор. Недостаток известного технического решения заключается в том, что устройство должно быть размещено на земной поверхности, вследствие чего обладает маленьким радиусом действия.

2. Известен также способ и устройство определения координат объектов (патент RU 2550811, МПК G01S 13/46, опубл. 20.05.2015) Способ предполагает установку на борт летающего подъемного средства (ЛПС) видеокамеры для обзора нижней полусферы, определяют углы ориентации видеокамеры относительно борта ЛПС, в процессе полета постоянно через заданный интервал времени определяют местоположение и пространственную ориентацию ЛПС, при обнаружении объекта определяют местоположение объекта на кадре видеокамеры, преобразуют координаты объекта в вектор направления на него в системе координат видеокамеры, корректируют вектор направления на объект с учетом априорно известной ориентации видеокамеры относительно борта ЛПС, после чего вычисляют географические координаты объекта с учетом текущего местоположения и пространственной ориентации ЛПС. Обнаружение, идентификация и принятие решения на местоопределение объекта осуществляется путем нахождения взаимнокорреляционных функций для выделенных эталонных контуров с обнаруженными векторами при выполнении пороговых условий. Недостатком известного способа является трудоемкость вычисления взаимнокорреляционных функций, что приводит к высоким требованиям к вычислительным ресурсам бортового устройства, а также оптимизации расчетов и применения дескрипторов для подбора близких эталонов. Кроме того, в данном способе не выполняется отождествление обнаруженных объектов, что может привести к размножению отметок цели одного и того же объекта.

3. Также известна «Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования» (патент RU 195749, МПК В64С 13/10, В64С 19/02, G01C 23/00, опубл. 05.02.2020). Известная система обладает функциями навигационной системы, системы технического зрения, системы мониторинга окружающего пространства, системы принятия решения и системы полуавтоматического и ручного управления БЛА и состоит из программно-аппаратного комплекса в составе бортового вычислителя на основе одноплатного компьютера с платой расширения, инерционного измерительного блока, позволяющего определить положение беспилотного летательного аппарата в пространстве и включающего в себя гироскоп, акселерометр, барометр, бортовой видеокамеры, RGB-D-камеры, полетного контроллера, приемника радиосигналов, вращающегося лазерного дальномера, стационарного лазерного дальномера, интерфейсов подключения устройств управления движением, интерфейсов подключения внешних датчиков. Недостатками известной системы по сравнению с предлагаемым изобретением является невозможность определения координат местоположения одиночного объекта, поскольку используемый в модели метод иерархической кластеризации предназначен для определения набора визуальных ориентиров сравнения его со структурами заданных ориентиров, благодаря чему может быть уточнено местоположение БЛА в пространстве.

Решаемая предлагаемым изобретением техническая задача состоит в обеспечении возможности наведения БЛА на стационарные и подвижные наземные объекты (цели) заданного класса или типа путем их автоматического обнаружения, распознавания и определения координат при полете БЛА в заданном районе для чего выполняется обзор земной поверхности при полете БЛА в заданном районе, а автоматическое обнаружение и распознавание наземных объектов заданного класса или типа осуществляется с использованием нейросетевой технологии искусственного интеллекта и включает определение координат обнаруженных объектов в связанных с БЛА и наземных системах координат, последовательное формирование и актуализацию массивов обнаруженных наземных объектов, автоматический выбор наземного объекта с заданным приоритетом и выдачу системе управления БЛА координат назначенного наземного объекта для наведения на него БЛА.

Технический результат, на достижение которого направлено заявленное изобретение, заключается в повышении эффективности применения автономных БЛА в сложной помеховой обстановке, в повышении безопасности применения БЛА благодаря обеспечению возможности ведения разведывательных и ударных действий без захода в район нахождения наземных объектов заданного класса или типа, а также в расширении функциональных возможностей беспилотных ЛА.

Приведенный технический результат в заявленном изобретении достигается за счет того, что БЛА с использованием предлагаемой бортовой интеллектуальной системы выполняет автономный автоматический поиск, обнаружение и распознавание наземных подвижных и неподвижных объектов заданного класса или типа с последующим автономным и автоматическим наведением БЛА на них.

Бортовая интеллектуальная система поиска и наведения беспилотного летательного аппарата содержит взаимосоединенные входами-выходами по каналам информационного обмена обзорную камеру, вычислительное устройство, включающее взаимодействующие по вычислительному каналу информационного обмена блок обнаружения и распознавания наземных объектов, блок формирования координатной информации, блок сопровождения и отождествления наземных объектов, блок ввода-вывода и управления обменом информации, базу данных типов и классов наземных объектов. Система характеризуется тем, что она снабжена включенными в вычислительное устройство и взаимодействующими с блоком ввода-вывода и управления обменом информации по вычислительному каналу информационного обмена оперативно запоминающим устройством для хранения весовых коэффициентов нейросети и целевой информации, блоком контроля состояния бортовых систем, блоком определения угловых отклонений и блоком управления режимами работы летательного аппарата. Система также характеризуется тем, что она содержит введенный в вычислительное устройство блок обработки видеоизображения.

Предлагаемое изобретение может использоваться на различных ЛА для обеспечения автоматического поиска, обнаружения, распознавания и определения координат наземного объекта заданного класса и типа, выбора приоритетного наземного объекта для наведения БЛА на него, распределения обнаруженных наземных объектов между взаимодействующими ЛА при групповых действиях.

Изобретение представляет собой систему, включающую следующие взаимосвязанные блоки:

- обзорную камеру;

- вычислительное устройство, предназначенное для реализации программного обеспечения решения задач и хранения служебной информации и параметров нейросети, обученной для распознавания наземных объектов заданного типа или класса, которое включает в себя:

1. блок обнаружения и распознавания наземных объектов, предназначенный для анализа поступающего от камеры видеоизображения и обнаружения и распознавания на нем объектов заданных типов и классов;

2. блок формирования координатной информации, предназначенный для определения координат обнаруженных объектов;

3. блок сопровождения и отождествления объектов, предназначенный для комплексного гипотезного анализа информации об объекте, при котором выполняется проверка соответствия его параметров (координаты, тип или класс, временный эталон изображения) параметрам ранее обнаруженных объектов, содержащихся в массиве информации БЛА об обнаруженных объектах и формирование массива обнаруженных объектов;

4. блок обработки видеоизображения, предназначенный для стабилизации и масштабирования видеоизображения, поступающего от камеры;

5. блок ввода-вывода и управления обменом, предназначенный для взаимодействия вычислительного устройства с обзорной камерой и бортовыми системами ЛА;

6. базу данных типов и классов объектов, назначенных для распознавания объектов;

7. блок управления режимами функционирования БЛА, предназначенный для формирования команд переключения режимов функционирования БЛА;

8. оперативное запоминающее устройство, предназначенное для хранения весовых коэффициентов нейронной сети обнаружения и распознавания объектов;

9. блок контроля состояния бортовых систем БЛА, предназначенный для формирования интегрального признака исправности БЛА;

10. блок определения угловых отклонений, предназначенный для формирования координатной информации на этапе наведения БЛА.

Общий методический подход к решению приведенной задачи основан на последовательной обработке видеоинформации о подстилающей земной поверхности, поступающей при полете БЛА в заданном районе, на каждом этапе которой выполняется ее преобразование в формы, необходимые для решения следующих этапов обработки и достижения конечного результата для передачи в систему управления БЛА, а также достаточные для промежуточных оценок наземной целевой обстановки.

Обзорная камера формирует видеоизображение подстилающей земной поверхности при полете БЛА и передает его в вычислительное устройство в блок ввода-вывода и управления обменом. После этого в блоке обработки видеоизображения осуществляется стабилизация видеоизображения (относительно предыдущих кадров) и масштабирование кадра. После обработки видеоизображение поступает в блок обнаружения и распознавания наземных объектов. Методический подход по автоматическому обнаружению наземных объектов основан на их распознавании на видеоизображениях, поступающих от обзорной камеры. Распознавание выполняется с использованием нейросетевой технологии искусственного интеллекта. При этом нейросеть заранее обучена для распознавания тех наземных объектов заданных типов и классов, поиск которых должен выполняться в запланированном полете БЛА. Информация об объектах, заданных для распознавания, передается в вычислительное устройство при подготовке к вылету БЛА в виде весовых коэффициентов нейросети и хранится в оперативно запоминающем устройстве. Результатом алгоритма автоматического обнаружения и распознавания наземных объектов являются их прямоугольные координаты в текущем кадре изображения и указание распознанного класса или типа объекта (цели).

После обнаружения и распознавания объектов информация о них поступает в блок формирования координатной информации для расчета географических координат обнаруженных объектов. Алгоритм расчета географических координат обнаруженных наземных объектов основан на последовательном пересчете с использованием тригометрических выражений прямоугольных координат объекта на текущем кадре изображения в угловые координаты связанной системы координат обзорной камеры, в угловые координаты связанной системы координат БЛА с учетом углов установки обзорной камеры на БЛА, в угловые координаты нормальной подвижной системы координат с учетом углового положения БЛА в пространстве, а также в географические и геодезические координаты с учетом высоты и координат БЛА. По каждому обнаруженному наземному объекту формируется набор параметров - тип или класс, значения координат в различных системах координат, фотоизображение в качестве временного эталона, расчетные параметры скорости и направления движения (курс), уровень приоритета (важности), устанавливаемый в соответствии с массивом служебной информации, содержащейся в БЛА.

Блок сопровождения и отождествления объектов формирует сводную информацию об объектах, обнаруженных при полете БЛА в заданном районе поиска, и основан на последовательном пополнении массива обнаруженных объектов с предварительным отождествлением нового объекта с ранее обнаруженными и расчете параметров его скорости и направления движения. Алгоритм отождествления объектов работает на каждом такте поступления видеоинформации от обзорной камеры и основан на проведении комплексного гипотезного анализа информации об объекте, при котором выполняется проверка соответствия его параметров (координаты, тип или класс, временный эталон изображения) параметрам ранее обнаруженных объектов, содержащихся в массиве обнаруженных объектов. В ходе отождествления дополнительно рассчитываются параметры скорости и направления движения, а также прогнозные координаты для следующего такта поступления видеоинформации. По результатам комплексного гипотезного анализа информации происходит пополнение массива обнаруженных объектов, его актуализация и сохранение.

Блок управления режимами определяет наиболее приоритетный обнаруженный объект в соответствии с планом полета БЛА и передает его координатную информацию в систему управления БЛА для обеспечения его наведения на этот объект. При отсутствии среди обнаруженных объектов объекта с заданным приоритетом оператор НПУ по радиоканалу связи между НПУ и БЛА может назначить наземный объект указанием ссылки на него в массиве обнаруженных объектов. Также блок формирует команды переходов между режимами функционирования БЛА и выдает их через блок ввода-вывода и управления обменом во взаимодействующие системы БЛА.

Решение задачи информационного обеспечения наведения БЛА на наземный объект имеет следующие этапы:

1. Формирование видеоизображения подстилающей земной поверхности.

2. Автоматическое обнаружение и распознавание наземных объектов заданного типа или класса с использованием нейросетевой технологии искусственного интеллекта.

3. Расчет координат обнаруженного объекта в связанных с БЛА системе координат и земных системах координат.

4. Формирование и актуализации массива обнаруженных объектов с отождествлением новых объектов с ранее обнаруженными.

5. Автоматическое назначение наземного объекта с заданным приоритетом для наведения на него БЛА с возможностью корректировки оператором НПУ БЛА.

6. Автоматическое сопровождение назначенного наземного объекта в поле зрения обзорной камеры для обеспечения наведения БЛА.

7. Выдача в систему управления БЛА относительных координат положения назначенного наземного объекта (цели) для наведения.

При полете БЛА в заданном районе при поиске объектов заданного класса или типа формируемое видеоизображение и массивы обнаруженных объектов передаются на НПУ и/или на взаимодействующие ЛА - воздушные пункты управления.

Заявленный технический результат, заключающийся в повышении эффективности применения автономных БЛА в сложной помеховой обстановке достигается следующими техническими решениями:

- автоматическое обнаружение, распознавание и определение координат местоположения объектов заданных классов или типов в заданном районе;

- автоматический выбор приоритетного наземного объекта для наведения на него БЛА;

- автоматическое распределение обнаруженных наземных объектов между взаимодействующими БЛА группы при выполнении групповых действий.

Заявленный технический результат, заключающийся в повышении безопасности применения БЛА достигается следующими техническими решениями:

- автоматическое обнаружение наземных объектов заданного типа или класса в заданном районе поиска с использованием БЛА без захода пилотируемого ЛА в заданный район поиска.

- формирование и передача информации об обнаруженных объектах и их видеоизображений на НПУ и/или на взаимодействующие ЛА, что повышает ситуационную осведомленность о тактической обстановке в заданном районе;

- обеспечение автономности применения беспилотных ЛА, в том числе при отсутствии радиосвязи с НПУ.

Заявленный технический результат, заключающийся в расширении функциональных возможностей беспилотных ЛА достигается следующими техническими решениями:

- автоматическое обнаружение наземных объектов заданных классов и типов при применении данной системы на борту пилотируемого ЛА, что позволяет освободить экипаж от необходимости поиска объектов визуально или на многофункциональных индикаторах кабины ЛА;

- изобретение способно функционировать на пилотируемых и беспилотных ЛА самолетного типа, вертолетах, БЛА квадрокоптерного типа и других типов.

Предлагаемое изобретение поясняется чертежом (фиг. 1), на котором обозначены элементы:

1. ОК - обзорная камера.

2. КИО - канал информационного обмена.

3. ВУ - вычислительное устройство.

4. ОРНО - блок обнаружения и распознавания наземных объектов.

5. ФКИ - блок формирования координатной информации.

6. СОО - блок сопровождения и отождествления объектов.

7. ОВИ - блок обработки видеоизображения.

8. ВВУО - блок ввода-вывода и управления информационным обменом.

9. ВКИО - вычислительный канал информационного обмена.

10. БД ТКО - базу данных типов и классов объектов.

11. УР - блок управления режимами.

12. ОЗУ - оперативно запоминающее устройство.

13. КСБС - блок контроля состояния бортовых систем.

14. ОУО - блок определения угловых отклонений.

При внедрении изобретения в состав ЛА не требуется замена бортовых информационных и управляющих систем. Включение в состав комплексов бортового оборудования составных частей изобретения выполняется путем их подключения к известным бортовым информационным и управляющим системам с использованием известных интерфейсов. Предлагаемое изобретение является источником информации об обнаруженных наземных объектах, которая может поступать в штатные бортовые системы и алгоритмы для решения широкого перечня дополнительных задач ЛА.

Изобретение относится к области авиационной техники и может применяться на беспилотных летательных аппаратах (БПЛА). Сущность предлагаемого изобретения заключается в следующем. Бортовая интеллектуальная система поиска и наведения БПЛА содержит взаимосоединенные входами-выходами по каналам информационного обмена обзорную камеру, вычислительное устройство, включающее взаимодействующие по вычислительному каналу информационного обмена блок обнаружения и распознавания наземных объектов, блок формирования координатной информации, блок сопровождения и отождествления наземных объектов, блок ввода-вывода и управления обменом информации, базу данных типов и классов наземных объектов. Система характеризуется тем, что она снабжена включенными в вычислительное устройство и взаимодействующими с блоком ввода-вывода и управления обменом информации по вычислительному каналу информационного обмена оперативно запоминающим устройством для хранения весовых коэффициентов нейросети и целевой информации, блоком контроля состояния бортовых систем, блоком определения угловых отклонений и блоком управления режимами работы летательного аппарата. Техническим результатом изобретения является расширение функциональных возможностей БПЛА. 1 ил.

Бортовая интеллектуальная система поиска и наведения беспилотного летательного аппарата, содержащая взаимосоединенные входами-выходами по каналам информационного обмена обзорную камеру, вычислительное устройство, включающее взаимодействующие по вычислительному каналу информационного обмена блок обнаружения и распознавания наземных объектов, блок формирования координатной информации, блок сопровождения и отождествления наземных объектов, блок ввода-вывода и управления обменом информации, базу данных типов и классов наземных объектов, отличающаяся тем, что она снабжена включенными в вычислительное устройство и взаимодействующими с блоком ввода-вывода и управления обменом информации по вычислительному каналу информационного обмена оперативно запоминающим устройством для хранения весовых коэффициентов нейросети и целевой информации, блоком контроля состояния бортовых систем, блоком определения угловых отклонений и блоком управления режимами работы летательного аппарата, блоком обработки видеоизображения.