АВИАЦИОННАЯ СИСТЕМА ОБРАБОТКИ ДАННЫХ АЭРОСЪЕМКИ ДЛЯ ОПРЕДЕЛЕНИЯ ОПТИМАЛЬНЫХ ЗОН И УПРАВЛЕНИЯ РЕЖИМАМИ РАБОТЫ ЦЕЛЕВЫХ НАГРУЗОК БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА Российский патент 2025 года по МПК B64U101/30 G06T7/00 

Изобретение относится к области авиационной техники и может применяться на беспилотных летательных аппаратах (БПЛА), использующих широкий спектр технологий обработки информации, включая технологии искусственного интеллекта, для повышения уровня автономности и функциональности БПЛА, а также повышения эффективности управления БПЛА и целевыми нагрузками при решении широкого спектра поисковых задач, связанных с поиском, классификацией и определением координат местоположения, траектории и скорости движения объектов интереса.

Современные БПЛА выполняют широкий спектр задач, эффективность решения которых в большой степени зависит от применяемых технологий управления полетом и целевыми нагрузками. Одним из условий выполнения поисковых задач является эффективное управление целевыми нагрузками (например, оптическими и мультиспектральными камерами и радиолокационными станциями), осуществляющими сбор информации об окружающей обстановке и объектах интереса в процессе аэросъемки, а также определение оптимальных зон и режимов работы целевых нагрузок. Определение оптимальных зон и управление режимами работы целевых нагрузок в процессе полета БПЛА позволит эффективно решать поисковые задачи как в режиме дистанционного ручного управления БПЛА, так и в режиме автономного управления с различным уровнем автономности.

Известна интеллектуальная система автоматического управления беспилотным летательным аппаратом по патенту RU 164139 (МПК В64С 13/00; В64С 19/02; G05D 1/00; G01S 19/00, опубл. 20.08.2016), которая состоит из модуля низкоуровнего управления, содержащего контроллер модуля низкоуровнего управления на базе 32-разрядного микропроцессора, нейросетевой чип, СОМ-порт, интерфейсы подключения устройств управления движением, интерфейсы подключения внешних датчиков, приемник GNSS, разъем электропитания, модуль мониторинга электропитания, четыре бароальтиметра, четыре магнитометра, четыре акселерометра, четыре гироскопа, четыре термометра, и модуля высокоуровнего управления, содержащего контроллер модуля высокоуровнего управления на базе многоядерного 32-разрядного микропроцессора, объединенного с графическим процессором, видеовход, два USB-порта, Wi-Fi-модуль и накопитель данных, причем входы нейросетевого чипа, СОМ-порта, интерфейсов подключения устройств управления движением и интерфейсов подключения внешних датчиков соединены с выходами контроллера модуля низкоуровнего управления, выходы модуля мониторинга электропитания, нейросетвого чипа, СОМ-порта, интерфейсов подключения устройств управления движением, интерфейсов подключения внешних датчиков, приемника GNSS, каждого бароальтиметра, каждого магнитометра, каждого акселерометра, каждого гироскопа, каждого термометра соединены с входами контроллера модуля низкоуровнего управления, видеовход, выходы графического процессора, каждого USB-порта, Wi-Fi-модуля и накопителя данных соединены с входами контроллера модуля высокоуровнего управления, входы графического процессора, каждого USB-порта, Wi-Fi-модуля и накопителя данных соединены с выходами контроллера модуля высокоуровнего управления, входы контроллера модуля низкоуровнего управления соединены с выходами контроллера модуля высокоуровнего управления, а выходы контроллера высокоуровнего управления соединены с входами контроллера модуля низкоуровнего управления, кроме того, питание модуля высокоуровнего управления осуществляется от модуля низкоуровнего управления. Недостатками системы являются: отсутствие возможности подключения различных типов целевых нагрузок (ЦН), отсутствие возможности выдачи рекомендации по управлению ЦН, отсутствие возможности корректировки элементов поисковых задач в процессе выполнения полета таких, как объекты интереса.

Из патента RU 195749 (МПКВ64С 13/10, В64С 19/02, G01C 23/00, опубл. 05.02.2020) известна интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования, которая состоит из программно-аппаратного комплекса, состоящего из бортового вычислителя на основе одноплатного компьютера с платой расширения на базе 32-разрядного контроллера для реализации возможности обработки сигналов в реальном масштабе времени с использованием нейронной сети, и инерционного измерительного блока, аппаратно расположенного на плате расширения; бортовой видеокамеры для получения видеопотока и передачи его в бортовой вычислитель по стандартному USB-интерфейсу; RGB-D -камеры для получения поля глубин в области видимости устройства и передачи его на бортовой вычислитель по стандартному USB-интерфейсу; полетного контроллера, связанного через разводку системы управления корпуса беспилотного летательного аппарата с платой расширения для распределения и передачи команд, управляющих частотой вращения двигателей, и используемого для управления системой стабилизации беспилотного летательного аппарата; приемника радиосигналов для приема сигналов от сторонней системы управления и передачи их для обработки в бортовой вычислитель по стандартному последовательному интерфейсу связи S.BUS; вращающегося лазерного сканера-дальномера для определения расстояний до объектов окружающей среды и передачи этой информации в бортовой вычислитель по стандартному последовательному интерфейсу связи UART; стационарного лазерного дальномера для определения точечных расстояний до объектов окружающей среды и передачи этой информации в бортовой вычислитель по стандартному последовательному интерфейсу связи UART, причем инерционный измерительный блок состоит из гироскопа, определяющего угловую скорость вращения вокруг собственных осей X, Y и Z, акселерометра, определяющего величину ускорения свободного падения по осям X, Y, и Z, компаса, определяющего углы между собственными осями сенсора X, Y и Z и силовыми линиями магнитного поля Земли, барометра, определяющего атмосферное давление, высоту над уровнем моря и температуру, а управляющие сигналы на контроллеры скорости осуществляются методом широтно-импульсной модуляции. Недостатками системы является невозможность определения координат местоположения одиночного объекта, отсутствие возможности уточнения классов объектов интереса в процессе полета.

Из патента на изобретение RU 2819590 (МПК GOlC 23/00, B64U 101/18, B64U 20/80, опубл. 21.05.2024) известна бортовая интеллектуальная система поиска и наведения беспилотного летательного аппарата, которая содержит взаимосоединенные входами-выходами по каналам информационного обмена обзорную камеру, вычислительное устройство, включающее взаимодействующие по вычислительному каналу информационного обмена блок обнаружения и распознавания наземных объектов, блок формирования координатной информации, блок сопровождения и отождествления наземных объектов, блок ввода-вывода и управления обменом информации, базу данных типов и классов наземных объектов, оперативно запоминающее устройство для хранения весовых коэффициентов нейросети и целевой информации, блок контроля состояния бортовых систем, блок определения угловых отклонений, блок управления режимами работы летательного аппарата и блок обработки видеоизображения. Недостатками системы являются: отсутствие возможности подключения устройств аэросъемки различного типа, отсутствие возможности использовать набор нейронных сетей для обработки данных с ЦН различного типа при различных режимах работы, отсутствие возможности уточнения набора классов объектов в процессе выполнения полета.

Техническое решение, известное из патента RU 2819590, выбрано в качестве ближайшего аналога данного изобретения.

Задача, на решение которой направлено данное изобретение, заключается в создании авиационной системы обработки данных аэросъемки для определения оптимальных зон и управления режимами работы целевых нагрузок беспилотного летательного аппарата, обеспечивающей повышение эффективности работы ЦН и уровня автономности БПЛА при решении поисковых задач путем устранения указанных недостатков.

Технический результат, достигаемый при осуществлении заявляемого изобретения, заключается в повышении точности определения зон работы целевых нагрузок и их режимов за счет осуществления интеллектуальной обработки данных (ИОД) аэросъемки, согласованной с режимами работы БПЛА, определяемыми видом решаемой поисковой задачи.

Указанный технический результат достигается тем, что в авиационную систему обработки данных аэросъемки для определения оптимальных зон и управления режимами работы целевых нагрузок беспилотного летательного аппарата, содержащую вычислительное устройство, включающее взаимосвязанные шиной данных блок интерфейсов ввода-вывода и блок обработки данных аэросъемки, включены блок ЦН, который выполнен с возможностью получения данных от информационно-управляющей системы (ИУС) БПЛА, взаимосвязанные блок приема-передачи данных и блок приема-передачи данных пункта управления (ПУ), блок обработки и анализа данных ПУ, вход-выход которого соединен с входом-выходом блока приема-передачи данных ПУ, причем вход-выход блока приема-передачи данных соединен с входом-выходом блока интерфейсов ввода-вывода вычислительного устройства, которое дополнительно включает взаимосвязанные шиной данных блок детекции и базовой классификации объектов интереса, блок хранения данных, блок формирования данных для ИУС. блок вычисления векторов признаков и блок уточнения класса объекта интереса, вход-выход блока ЦН соединен с входом-выходом блока интерфейсов ввода-вывода, который выполнен с возможностью передачи данных в ИУС БПЛА.

Технический результат достигается также тем, что блок 1 целевых нагрузок включает оптико-электронную систему, камеру цифровой аэрофотосъемки и бортовую радиолокационную станцию.

Сущность заявляемой авиационной системы обработки данных аэросъемки для определения оптимальных зон и управления режимами работы целевых нагрузок беспилотного летательного аппарата поясняется примером ее реализации и чертежом, на котором представлена структурная электрическая схема системы.

На чертеже введены обозначения:

1 - блок целевых нагрузок;

2 - вычислительное устройство;

3 - блок приема-передачи данных;

4 - блок приема-передачи данных ПУ;

5 - блок обработки и анализа данных ПУ;

6 - блок интерфейсов ввода-вывода;

7 - блок обработки данных аэросъемки;

8 - блок детекции и базовой классификации объектов интереса;

9 - блок хранения данных;

10 - блок формирования данных для ИУС;

11 - блок вычисления векторов признаков;

12 - блок уточнения класса объекта интереса;

13 - шина данных.

Авиационная система обработки данных аэросъемки для определения оптимальных зон и управления режимами работы целевых нагрузок беспилотного летательного аппарата включает (фиг. 1): блок 1 целевых нагрузок, вычислительное устройство 2, блок 3 приема-передачи данных, блок 4 приема-передачи данных пункта управления и блок 5 обработки и анализа данных пункта управления. Вычислительное устройство 2 включает блок 6 интерфейсов ввода-вывода, блок 7 обработки данных аэросъемки, блок 8 детекции и базовой классификации объектов интереса, блок 9 хранения данных, блок 10 формирования данных для ИУС, блок 11 вычисления векторов признаков, блок 12 уточнения класса объекта интереса и шину 13 данных.

Блок 1 целевых нагрузок предназначен для сбора и выдачи информации аэросъемки от разного типа подключенной ЦН и представляет собой, например, состав ЦН, состоящий из оптико-электронной системы, камер цифровой аэрофотосъемки, бортовой радиолокационной станции.

Вычислительное устройство 2 предназначено для приема/передачи информации от внешних подключаемых устройств, ее обработки в блоках, в том числе ИОД для задач детекции и классификации объектов интереса, определения их параметров и/или семантической сегментации.

Блок 6 интерфейсов ввода-вывода предназначен для преобразования информации при взаимодействии внешних подключаемых устройств, внутренних блоков и шины данных и представляет собой, например, набор из интерфейсов 100/1000 BASE-TX Ethernet, FC-AV, мультиплексный канал информационного обмена.

Блок 7 обработки данных аэросъемки предназначен для обработки поступающей от активной ЦН информации в соответствии с требованиями последующей ИОД и режимами работы ЦН. Блок 6 может быть реализован, например, на базе процессора ARM Cortex А9.

Блок 8 детекции и базовой классификации объектов интереса предназначен для выполнения детекции и базовой классификации объектов интереса по информации, поступающей от различного вида ЦН с использованием соответствующих моделей нейронных сетей и заданных классификаторов с учетом режимов работы ЦН. Блок 8 представляет собой, например, модуль нейроускорителя ATLAS 200 с загруженными нейросетевыми моделями YOLOv51 и ResNet для выполнения ИОД в режиме «Детекция и классификация» и с загруженными нейросетевым моделями UNet для выполнения ИОД в режиме «Семантическая сегментация».

Блок 9 хранения данных предназначен для хранения данных о моделях загруженных нейронных сетей, поступающих данных аэросъемки, результатов ИОД, информации о режимах работы ЦН, иной служебной информации. Блок 9 представляет собой, например, карту памяти SDSDQAF3/128 GB.

Блок 10 формирования данных для ИУС предназначен для формирования данных, полученных в результате ИОД в соответствии с заданными требованиями. Блок 10 может быть реализован, например, на базе процессора ARM Cortex А9.

Блок 11 вычисления векторов признаков предназначен для вычисления векторов признаков объекта интереса, поступающего на процедуру доклассификации с использованием загруженных моделей нейронных сетей. Блок 11 представляет собой, например, программную реализацию нейросетевой модели ShuffleNet-v2, выполняемую на базе модуля нейроускорителя ATLAS 200.

Блок 12 уточнения класса предназначен для определения эталонного класса объекта интереса, поступающего на процедуру доклассификации с использованием модели, основанной на методе опорных векторов либо модели полносвязной нейронной сети. Блок 12 может быть реализован, например, на базе модуля нейроускорителя ATLAS 200.

Блок 3 приема-передачи данных предназначен для обработки информации о результатах ИОД и режимов работы БПЛА, ЦН и блоков ИОД, сквозной передачи данных, полученных с активной ЦН, управляющих сигналов и запросов от ПУ. Блок 3 может быть реализован, например, на базе процессора ARM Cortex А9.

Блок 4 приема-передачи данных ПУ предназначен для обработки информации о результатах ИОД и режимов работы БПЛА, ЦН и блоков ИОД, сквозной передачи данных, полученных с активной ЦН, отправки управляющих сигналов и запросов с ПУ. Блок 4 может быть реализован, например, на базе процессора ARM Cortex А9.

Блок 5 обработки и анализа данных ПУ предназначен для подготовки данных об эталонных классах и соответствующих их векторах признаков для процедур доклассификации. Блок 4 представляет собой, например, сервер, включающий 2 процессора Эльбрус 8СВ с 4-мя установленными нейроускорителями NMCard.

Шина 13 данных предназначена для обеспечения информационного обмена между элементами вычислительного устройства 2.

Общий принцип работы состоит в последовательной обработке данных аэросъемки, поступающих от активной ЦН в различных режимах работы с применением соответствующих им режимов ИОД, использующих предустановленный набор нейросетевых моделей, по результатам работы которых формируется информация об обнаруженных и проклассифицированных объектах интереса, на основе которой формируются решения по выбору оптимальных зон работы и режимов работы ЦН. Полученные результаты работы отправляются на ИУС БПЛА, ЦН и на ПУ. На ПУ производится их проверка и, при необходимости, уточненная классификация, результаты которой отправляются на борт БПЛА совместно с дополнительной информацией по вновь выявленным эталонным классам объектов. Уточненные классы учитываются для доклассификации объектов интереса на борту.

Система работает следующим образом:

Для выполнения БПЛА поисковых задач задаются исходные параметры: виды, режимы и зоны работы ЦН, типы нейросетевых моделей, классификаторы объектов интереса.

При выполнении БПЛА поисковых задач, согласно заданным параметрам, от блока 1 целевых нагрузок данные аэросъемки от активной ЦН, вид которой определяется режимом работы и настройками ИОД, определяемыми ПУ или ИУС БПЛА, передаются на вычислительное устройство 2 через блок 6 интерфейсов ввода-вывода.

С блока 6 интерфейсов ввода-вывода данные аэросъемки подаются через шину данных 13 на блок 3 приема-передачи данных для осуществления сквозной передачи данных через блок 4 приема-передачи данных пункта управления на блок 5 обработки и анализа данных пункта управления, в случае включения режима сквозной передачи данных.

С блока 6 интерфейсов ввода-вывода через шину 13 данных данные передаются на блок 9 хранения данных для временного хранения и дальнейшей передачи на обработку в блок 7 обработки данных аэросъемки.

Из блока 9 хранения данных данные передаются через шину 13 данных в блок 7 обработки данных аэросъемки, где они подготавливаются для дальнейшей ИОД, зависящей от режима работы ИОД, например, с использованием оценки уровня шума, корректировки геометрических искажений, прореживания кадров. При этом вид обработки зависит от типа и режима работы используемой для аэросъемки активной нагрузки, а также выполняемой поисковой задачи.

Подготовленные данные в виде кадров из блока 9 хранения данных подаются на блок 8 детекции и базовой классификации объектов интереса, в котором выполняется ИОД, соответствующая текущему режиму «Детекция и классификация» либо «Семантическая сегментация». Результатом работы блока 8 детекции и базовой классификации объектов интереса является обнаруженный объект интереса, либо набор объектов интереса, либо группа объектов интереса, определяемый как область на элементе кадра, заданная координатами ключевых точек, ее границы в пределах кадра, а также его базовый класс и идентификатор базового класса. При этом для каждого вида аэросъемки и режима работы ИОД формируется свой набор объектов, заданных соответствующими предварительно загруженными в блок 9 хранения данных классификаторами.

Полученные объекты интереса, состоящие из идентификатора объекта, области изображения с объектом интереса (портрет), метаданных, включая координаты и коэффициент уверенности, и идентификатора базового класса, передаются через шину 13 данных в блок 9 хранения данных для их долгосрочного хранения в памяти.

Полученный объект интереса, состоящий из идентификатора объекта, портрета, метаданных и идентификатора базового класса, передается в блок 10 формирования данных для ИУС, где дополнительно обрабатывается, включая вычисление геодезических координат объекта (WGS-89, П3-90.11), вычисление траекторий движения подвижных объектов, вычисление скорости движения подвижных объектов, для представления в форме формуляров, которые через шину 13 данных передаются на блок 6 интерфейсов ввода-вывода, откуда передаются в блок 3 приема-передачи данных для дальнейшей передачи через блок 4 приема-передачи данных ПУ на блок 5 обработки и анализа данных ПУ, а также через шину 13 данных передаются в блок 6 интерфейсов ввода-вывода для передачи в ИУС.

Данные по объекту интереса через шину 13 данных из блока 9 хранения данных передается на блок 11 вычисления векторов признаков, используемых для уточнения базового класса объекта.

Данные по объекту интереса по шине 13 данных из блока 9 хранения данных передается на блок 11 вычисления векторов признаков, где подвергаются ИОД, результатом работы которой является сформированный набор из идентификатора базового класса объекта интереса, идентификатора объекта интереса и вычисленного вектора признаков.

Полученный набор из идентификатора базового класса объекта интереса, идентификатора объекта интереса и вычисленного вектора признаков передается в блок 9 хранения данных через шину 13 данных.

Объект интереса, содержащий идентификатор объекта, портрет, метаданные и идентификатор базового класса передается через блок 3 приема-передачи данных через блок 4 приема-передачи данных ПУ на блок 5 обработки и анализа данных ПУ.

По портретам или кадрам, содержащим данные объектов интереса, в блоке 5 обработки и анализа данных на ПУ формируется набор эталонных объектов и их классов для доклассификации.

Полученный набор идентификаторов эталонных объектов и их уточненных классов передается на вычислительное устройство 2 через блок 4 приема-передачи данных ПУ и через блок 3 приема-передачи данных, блок 6 интерфейсов ввода-вывода, шину 13 данных и передается на блок 9 хранения данных.

Векторы признаков объектов, полученные в блоке 11 вычисления векторов признаков и хранящиеся в блоке 9 хранения данных, а также набор идентификаторов эталонных объектов и их классов, полученный с ПУ и хранящиеся в блоке 9 хранения данных, передаются через шину 13 данных в блок 12 уточнения класса, где используются для быстрого обучения полносвязной нейронной сети.

Вектор признаков объекта, полученный в блоке 11 вычисления векторов признаков, передается из блока 9 хранения данных через шину 13 данных на блок 13 уточнения класса, где подвергается ИОД, результатом работы которого является уточненный класс объекта, определяемый как результат вывода полносвязной нейронной сети.

Уточненный класс в виде идентификатора найденного эталонного класса объекта интереса передается через шину 13 данных в блок 9 хранения данных.

Формуляр, состоящий из идентификатора объекта, идентификатора базового класса, типа базового класса, координат объекта на кадре, идентификатора кадра, идентификатора уточненного класса, типа уточненного класса, коэффициента уверенности передается через шину 13 данных на блок 10 формирования данных для ИУС, в котором формируются данные для ИУС БПЛА и ЦН. Полученные данные через шину 13 данных передаются через блок 6 интерфейсов ввода-вывода на ИУС, которая формирует по заданным в нем алгоритмам управляющие сигналы на активную ЦН и подсистему управления БПЛА, а также через блок 6 интерфейсов ввода-вывода на блок 1 целевых нагрузок.

Заявленная система реализована в изделии АСПМ.466226.003-01 Бортовой информационно-аналитической системы «БИАС базовый», а также в изделии АСПМ.466448.001 Программно-аппаратного комплекса информационного обеспечения БИАС «ПАК ИО БИАС». Результаты предварительных испытаний БИАС подтверждают достижение заявленного технического результата за счет выполнения на борту БПЛА обработки видовой и параметрической информации от набора различного вида ЦН и формирования результатов ИОД для ИУС БПЛА, а также за счет взаимодействия борта и ПУ по обмену информацией и выполнения дополнительной ИОД на ПУ для реализации доклассификации на борту во время полета.

Внедрение изобретения в состав БПЛА не требует внесения существенных изменений в штатные бортовые системы, поскольку обеспечивается взаимодействие со штатными бортовыми системами посредством подключения по штатным интерфейсам и каналам связи.

Авиационная система обработки данных аэросъемки для определения оптимальных зон и управления режимами работы целевых нагрузок беспилотного летательного аппарата (БПЛА) содержит блок целевых нагрузок, вычислительное устройство, включающее блок интерфейсов ввода-вывода, блок обработки данных аэросъемки, блок детекции и базовой классификации объектов интереса, блок хранения данных, блок формирования данных для ИУС, блок вычисления векторов признаков, блок уточнения класса объекта интереса, а также содержит блок приема-передачи данных, блок приема-передачи данных пульта управления (ПУ), блок обработки и анализа данных ПУ. Обеспечивается повышение точности определения зон работы целевых нагрузок и их режимов за счет осуществления интеллектуальной обработки данных (ИОД) аэросъемки, согласованной с режимами работы БПЛА, определяемыми видом решаемой поисковой задачи. 1 з.п. ф-лы, 1 ил.

1. Авиационная система обработки данных аэросъемки для определения оптимальных зон и управления режимами работы целевых нагрузок беспилотного летательного аппарата, содержащая вычислительное устройство, включающее взаимосвязанные шиной данных блок интерфейсов ввода-вывода и блок обработки данных аэросъемки, отличающаяся тем, что в состав системы включены блок целевых нагрузок, который выполнен с возможностью получения данных от информационно-управляющей системы беспилотного летательного аппарата, взаимосвязанные блок приема-передачи данных и блок приема-передачи данных пункта управления, блок обработки и анализа данных пункта управления, вход-выход которого соединен с входом-выходом блока приема-передачи данных пункта управления, причем вход-выход блока приема-передачи данных соединен с входом-выходом блока интерфейсов ввода-вывода вычислительного устройства, которое дополнительно включает взаимосвязанные шиной данных блок детекции и базовой классификации объектов интереса, блок хранения данных, блок формирования данных для информационно-управляющей системы, блок вычисления векторов признаков и блок уточнения класса объекта интереса, вход-выход блока целевых нагрузок соединен с входом-выходом блока интерфейсов ввода-вывода, который выполнен с возможностью передачи данных в информационно-управляющую систему беспилотного летательного аппарата.

2. Система по п. 1, отличающаяся тем, что блок целевых нагрузок включает оптико-электронную систему, камеру цифровой аэрофотосъемки и бортовую радиолокационную станцию.