Устройство формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности Российский патент 2023 года по МПК G01S13/90 G01S13/86 G06T5/50 

Изобретение относится к бортовой многопозиционной технике и может быть использовано в системах комплексной цифровой обработки локационной информации.

Известно «Устройство дистанционного зондирования земли при помощи многопозиционной радиолокационной системы» (Патент РФ №103935, МПК G01S 13/90, опубл. 27.04.2011 г., Бюл. №12).

Устройство, содержит передающую позицию, включающую передатчики ортогональных зондирующих сигналов, и приемную позицию, расположенную на борту воздушного летательного аппарата (ВЛА), содержащую слабонаправленную антенну и антенную систему, формирующую М независимых неперекрывающихся лучей диаграммы направленности, диаграммы направленности слабонаправленной антенны и антенной системы ориентированы в сторону передатчиков передающей позиции и земной поверхности соответственно, антенная система подключена соответственно к приемникам отраженных навигационных сигналов, выходами соединенные с формирователями последовательности значений мощности указанных сигналов, выходами соединенными с формирователями полных радиоизображений, выходами соединенными с первым входом устройства визуализации текущих радиоизображений, со вторыми, третьими и четвертыми входами которого соединены выход бортового устройства хранения цифровой карты местности, бортового датчика высоты полета, тангажа и крена ВЛА, и навигационной аппаратуры потребителя, ко входу которой подключена слабонаправленная антенна, выходы устройств визуализации текущих радиоизображений соединены со входами средства радиосвязи. В процессе функционирования устройства формируются радиолокационные изображения. Далее происходит совмещения цифровой карты местности и полученных радиоизображений, после чего производят их анализ и определение координат целей на земной поверхности по их координатам на совмещенной цифровой карты местности.

Недостатком устройства является, низкая разрешающая способность по азимутальной координате, что влияет на синтезированное радиолокационное изображение, отсутствие возможности работы при воздействии активных помех на радиолокационный канал получения локационной информации и отсутствие возможности формировать комплексное изображение от источников локационной информации различной природы.

Известно «Устройство синтезированного видения» (Патент РФ №168333, МПК G06T 15/08, опубл. 30.01.2017 г., Бюл. №4).

Устройство синтезированного видения, включающее блок регистрация изображений, один выход которого соединен с входом модуля построение дерева изображений блока сегментатор, а второй соединен с входом модуля создание комплексного изображения блока совмещение, выход модуля построение дерева изображений соединен с пятью выполненными параллельными модулями простой сегментатор блока сегментатор, выходы модулей простой сегментатор соединены с входом модуля очередь блока классификатор, выход модуля очередь соединен с входом модуля дерево классификаторов блока классификатор, один из выходов модуля блок классификаторов соединен двухсторонней связью с входом модуля простой классификатор блока классификатор, а второй - с одним из входов блока визуализация, выход модуля создание комплексного изображения соединен с одним из входов модуля совмещение блока совмещение, другой вход модуля совмещение соединен с выходом модуля построение 3D модели местности блока совмещение, вход модуля построение 3D модели местности соединен с модулями баз данных цифровых карт местности и матриц высот, выход модуля совмещение соединен со вторым входом блока визуализация.

В блоке регистрации изображений исходные изображения от телевизионной, тепловизионной камер и радара объединяются и передаются в блоки сегментатор и совмещение. В блоке сегментатор, выполненном по пирамидальной схеме, производится сегментация соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена, а результат передается в блок классификатор. В блоке классификатор, состоящем из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети, производится классификация объектов изображения и результат передается в блок визуализации. В блоке совмещение производится совмещение трехмерной модели местности и комплексного изображения, полученного путем комплексирования различных спектральных каналов друг с другом, и результат - синтезированное изображение передается в блок визуализация. В блоке визуализация упорядочиваются результаты совмещения и классификации накладыванием их друг на друга и формируется улучшенное изображение, передаваемое по шине Ethernet на блок отображения информации.

Недостатком устройства является снижение точности формируемого комплексного изображения в случае если одно из нескольких локационных изображений оказывается зашумленным.

Наиболее близким из числа известных технических решений является «Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности» (Патент РФ №2756904 С1, МПК G01S 13/90, H04N 5/33, опубл. 06.10.2021 г., Бюл. №28), включающее в себя источник локационной информации, включающий в себя телевизионную камеру, тепловизионную камеру и радар, блок регистрации изображений, блок создания комплексного изображения и блок отображения информации, представляющий собой жидкокристаллический экран оператора, выходы блока источника локационной информации соединены с входом блока регистрации изображений, а три параллельных идентичных выходы блока регистрации изображений соединены с входом блока создания комплексного изображения, который содержит последовательно соединенные блок состыковки серии изображений в одно, блок кластеризации состыкованного изображения, блок разделения кластеризованного изображения, блок выделения контуров на каждом из разделенных изображений, блок поиска точек контура, блок подбора функционального преобразования, блок применения функционального преобразования к исходным зарегистрированным изображениям, блок оценки качества объединенного комплексного изображения, блок принятия решения о приемлемости качества объединенного комплексного изображения, первый выход которого соединен со входом дисплея, а второй выход - со вторым входом блока кластеризации состыкованного изображения. Входы блока соединены с блоком регистрации изображений. Их количество равно количеству элементов многопозиционной системы (1+N), которые обмениваются между собой зарегистрированными разноракурсными и разнородными изображениями, сформированными бортовой локационной аппаратурой, базирующейся на пространственно-распределенных летательных аппаратах. Устройство позволяет синтезировать комплексное изображение, на основе разноракурсных изображений различной природы, используя адаптивный (итерационный) механизм, позволяющий улучшить качество синтеза и увеличить точность комплексирования, а также информативность итогового комплексного изображения.

Устройство прототип работает следующим образом. Из центра управления и обработки информации бортовой аппаратуре, базирующейся на летательных аппаратах (ЛА), многопозиционной системы поступает управляющий сигнал для обеспечения взаимного обмена информацией между бортовыми аппаратами этой системы и задается зона мониторинга, а также полетное задание обеспечивающее наблюдение заданной зоны. По этим командам устройство управления формирует траекторию движения ЛА для достижения необходимого их расположения.

После чего осуществляется включение источников локационной информации, которые осуществляют синхронный мониторинг заданного участка земной поверхности с различных ракурсов бортовой локационной аппаратуры многопозиционной системы.

При этом сформированные источниками локационной информации одноракурсные изображения различной природы, снятые в один момент времени, поступают в блок регистрации изображений на каждую из позиций, где на своей позиции сохраняются, а на сторонние позиции передаются по высокоскоростному беспроводному каналу связи, между аналогичными пунктами многопозиционной системы. Далее, на каждом пункте многопозиционной системы разноракурсных изображений различной природы поступают в блок создания комплексного изображения, где осуществляется состыковка серии этих локационных изображений, и передача в блок кластеризации состыкованного изображения. Далее изображения преобразуются в кластеризованный вид, затем над кластеризованным изображением осуществляется разбиение серии кластеризованных изображений на отдельные изображения, после чего происходит выделение контуров характерных кластеризованных областей, и далее происходит поиск характерных точек контура схожих по структуре областей. Далее вычисляется функциональное преобразование, при применении которого к текущим кластеризованным изображениям, значение двумерной функции корреляции принимает максимальное значении, и применяется к исходным оригинальным разноракурсным и разнородным изображениям, в результате чего формируется объединенное синтезированное комплексное локационное изображение единой композиции земной поверхности, после чего производится проверка качества полученного изображения на предмет качества объединения синтезированного комплексного изображения.

В случае неудовлетворительной оценки качества объединенного итогового изображения, выбирается другая серия кластеризованных разнородных и разноракурсных изображений для их комплексирования и преобразования к одной сцене с большим количеством кластеров и, как следствие, с выделением большего количества ориентиров: контуров и точек контуров.

Недостатком известного устройства прототипа является невозможность синтеза комплексного изображения земной поверхности в случае зашумления одного из разнородных изображений, поступающих на вход блока создания комплексного изображения.

Задачей изобретения является создание устройства, позволяющего синтезировать комплексное локационное изображение земной поверхности в передней зоне обзора способного работать при воздействии активных помех или зашумлении одного из нескольких каналов получения локационной информации, а также совмещать полученное комплексное изображение с цифровой картой местности (ЦКМ).

Технический результатом предлагаемого изобретения является получение комплексного локационного изображения земной поверхности, а также повышение точности и помехозащищенности получаемого комплексного изображения земной поверхности в режиме реального времени.

Технический результат достигается тем, что устройство формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности содержащее блок отображения информации, телевизионную и тепловизизионную камеры, выходы которых соединены соответственно со вторым и третьим входами блока регистрации изображений, последовательно соединенные блок состыковки серии изображений в одно, блок кластеризации состыкованного изображения, блок разделения кластеризованного изображения, блок выделения контуров на каждом из разделенных изображений, блок поиска точек контура, блок подбора функционального преобразования, блок применения функционального преобразования к исходным зарегистрированным изображениям, блок оценки качества объединенного комплексного изображения, блок принятия решения о приемлемости качества объединенного комплексного изображения, первый выход которого соединен со вторым входом блока кластеризации состыкованного изображения дополнительно содержит блок разделения каналов, первый и второй выходы которого соединены соответственно с первыми и вторыми входами блока состыковки серии изображений в одно и блока применения функционального преобразования к исходным зарегистрированным изображениям, блок обеспечения приема-передачи данных, первый выход и первый вход которого соединены соответственно с первым входом и вторым выходом блока управления ППП, движением ЛА и получениям навигационных данных, первый выход и второй вход которого соединены соответственно с входом и третьим выходом блока синхронизации, первый и второй выходы которого соединены соответственно с входом блока передачи и вторым входом блока приема, выход блока передачи соединен с входом двухлучевой антенной системы с ФАР, выход которой соединен с первым входом блока приема, второй выход которого соединен со вторым входом блока обеспечения приема-передачи данных, а первый выход - с первым входом блока пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора, второй вход которого соединен со вторым выходом блока обеспечения приема-передачи, а выход - с первым входом блока регистрации изображений, четвертый вход и первый выход которого соединены соответственно с третьим выходом и третьим входом блока обеспечения приема-передачи данных, а второй выход соединен с блоком разделения каналов третий выход которого соединен с последовательно соединенными блоком определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по тепловизионному каналу, третьим блоком выбора наилучшего функционального преобразования для совмещения с ЦКМ, третьим блоком применения функционального преобразования, третий вход которого соединен с третьим выходом блока разделения каналов, при этом второй вход третьего блока применения функционального преобразования соединен с первым входом блока совмещения тепловизионного изображения с ЦКМ и, четвертым выходом блока разделения каналов, пятый выход которого соединен с последовательно соединенными блоком определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по оптическому каналу, вторым блоком выбора наилучшего функционального преобразования для совмещения с ЦКМ, вторым блоком применения функционального преобразования, третий вход которого соединен с пятым выходом блока разделения каналов, при этом второй вход второго блока применения функционального преобразования соединен с первым входом блока совмещения оптического изображения с ЦКМ и шестым выходом блока разделения каналов, седьмой выход которого соединен с последовательно соединенными блоком определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по радиолокационному каналу, первым блоком выбора наилучшего преобразования для совмещения с ЦКМ, первым блоком применения функционального преобразования, третий вход которого соединен с седьмым выходом блока разделения каналов, при этом второй вход первого блока применения функционального преобразования соединен с первым входом блока совмещения радиолокационного изображения с ЦКМ и, восьмым выходом блока разделения каналов, блок хранения цифровой карты местности, выход которого соединен со вторыми входами блоков совмещения радиолокационного изображения с ЦКМ, совмещения оптического изображения с ЦКМ, совмещения тепловизионного изображения с ЦКМ, выходы которых соответственно соединены со вторыми входами первого, второго и третьего блоков выбора наилучшего преобразования для совмещения с ЦКМ, и четвертым, пятым и шестым входами блока обеспечения приема-передачи данных блок совмещения комплексного изображения с ЦКМ, первый вход которого соединен с выходом блока хранения цифровой карты местности, а второй вход - со вторым выходом блока принятия решения о приемлемости качества объединенного комплексного изображения, выход блока совмещения комплексного локационного изображения с ЦКМ соединен с пятым входом блока принятия решения о выборе канала получения локационной информации, выходы первого, второго и третьего блока применения функционального преобразования соединены соответственно с первым, вторым и третьим входами блоков принятия решения о выборе канала получения локационной информации и формирования комплексного изображения совмещенного с ЦКМ, выход которого соединен с четвертым входом блока принятия решения о выборе канала получения локационной информации, выход которого соединен с блоком отображения информации (37) по беспроводному каналу связи.

Технический результат достигается за счет новых существенных отличий, заключающихся во введении дополнительного блока разделения каналов и введения дополнительных отдельных каналов обработки радиолокационной, тепловизионной и оптической информации. Дополнительного введения блоков формирования комплексного локационного изображения совмещенного с ЦКМ, блока принятия решения о выборе канала получения локационной информации и блока совмещения комплексного изображения с ЦКМ, соединенных особым образом, которые за счет разделения каналов позволяют снизить влияние деструктивных факторов на формируемое изображение и тем самым повысить помехоустойчивость системы.

Сущность изобретения поясняется чертежами, где

На фиг. 1 представлен пример обзора земной поверхности в передней полусфере.

На фиг. 2 представлена схема устройства формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности и введены следующие обозначения:

1 - Блок обеспечения приема-передачи данных;

2 - Блок управления ППП, движением ЛА и получения навигационных данных;

3 - Блок синхронизации;

4 - Блок передачи;

5 - Блок приема;

6 - Двухлучевая антенная система с ФАР;

7 - Блок пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора;

8 - Телевизионная камера;

9 - Тепловизионная камера;

10 - Блок регистрации изображений;

11 - Блок разделения каналов;

12 - Блок хранения цифровой карты местности;

13 - Блок совмещения радиолокационного изображения с ЦКМ;

14 - Блок определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по радиолокационному каналу;

15 - Первый блок выбора наилучшего функционального преобразования для совмещения с ЦКМ;

16 - Первый блок применения функционального преобразования;

17 - Блок совмещения оптического изображения с ЦКМ;

18 - Блок определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по оптическому каналу;

19 - Второй блок выбора наилучшего функционального преобразования для совмещения с ЦКМ;

20 - Второй блок применения функционального преобразования;

21 - Блок совмещения тепловизионного изображения с ЦКМ;

22 - Блок определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по тепловизионному каналу;

23 - Третий блок выбора наилучшего функционального преобразования для совмещения с ЦКМ;

24 - Третий блок применения функционального преобразования;

25 - Блок состыковки серии изображений в одно;

26 - Блок кластеризации состыкованного изображения;

27 - Блок разделения кластеризованного изображения;

28 - Блок выделения контуров на каждом из разделенных изображений;

29 - Блок поиска точек контура;

30 - Блок подбора функционального преобразования;

31 - Блок применения функционального преобразования к исходным зарегистрированным изображениям;

32 - Блок оценки качества объединенного комплексного изображения;

33 - Блок принятия решения о приемлемости качества объединенного комплексного изображения;

34 - Блок совмещения комплексного изображения с ЦКМ;

35 - Блок формирования комплексного изображения совмещенного с ЦКМ;

36 - Блок принятия решения о выборе канала получения локационной информации;

37 - Блок отображения информации.

На фиг. 3 представлена укрупненная структурная схема устройства. Устройство содержит ППП 1 и ППП 2 (см. фиг 3.)

Устройство (ППП 1) содержит блок обеспечения приема-передачи данных (1), блок управления ППП, движением ЛА и получения навигационных данных (2), блок синхронизации (3), блок передачи (4), блок приема (5), двухлучевую антенную систему с ФАР (6), блок пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора (7), телевизионную камеру (8), тепловизионную камеру (9), блок регистрации изображений (10), блок разделения каналов (11), блок хранения цифровой карты местности (12), блок совмещения радиолокационного изображения с ЦКМ (13), блок определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по радиолокационному каналу (14), первый блок выбора наилучшего преобразования для совмещения с ЦКМ (15), первый блок применения функционального преобразования (16), блок совмещения оптического изображения с ЦКМ (17), блок определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по оптическому каналу (18), второй блок выбора наилучшего функционального преобразования для совмещения с ЦКМ (19), второй блок применения функционального преобразования (20), блок совмещения тепловизионного изображения с ЦКМ (21), блок определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по тепловизионному каналу (22), третий блок выбора наилучшего функционального преобразования для совмещения с ЦКМ (23), третий блок применения функционального преобразования (24), блок состыковки серии изображений в одно (25), блок кластеризации состыкованного изображения (26), блок разделения кластеризованного изображения (27), блок выделения контуров на каждом из разделенных изображений (28), блок поиска точек контура (29), блок подбора функционального преобразования (30), блок применения функционального преобразования к исходным зарегистрированным изображениям (31), блок оценки качества объединенного комплексного изображения (32), блок принятия решения о приемлемости качества объединенного комплексного изображения (33), блок совмещения комплексного изображения с ЦКМ (34), блок формирования комплексного изображения совмещенного с ЦКМ (35), блок принятия решения о выборе канала получения локационной информации (36), блок отображения информации (37), причем первый выход блока обеспечения приема-передачи данных (1) соединен с первым входом блока управления ППП, движением ЛА и получения навигационных данных (2), а первый вход блока обеспечения приема-передачи данных (1) соединен со вторым выходом блока управления ППП, движением ЛА и получения навигационных данных (2), третий выход блока синхронизации (3) соединен со вторым входом блока управления ППП, движением ЛА и получения навигационных данных (2) первый выход которого соединен с входом блока синхронизации (3), первый и второй выходы которого соединены соответственно с входом блока передачи (4) и вторым входом блока приема (5). Выход блока передачи (4) соединен с входом двухлучевой антенной системы с ФАР (6) выход которой соединен с первым входом блока приема (5), первый выход которого соединен с первым входом блока пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора (7), а второй выход со вторым входом блока обеспечения приема-передачи данных (1) второй выход которого соединен со вторым входом блока пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора (7). Выходы телевизионной камеры (8) и тепловизионной камеры (9) соединены соответственно со вторым и третьим входами блока регистрации изображений (10), первый вход которого соединен с выходом блока пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора (7). Первый выход блока регистрации изображений (10) соединен с третьим входом блока обеспечения приема-передачи данных (1), третий выход которого соединен с четвертым входом блока регистрации изображений (10), второй выход которого соединен с входом блока разделения каналов (11). Восьмой выход блока разделения каналов (11) и выход блока хранения цифровой карты местности (12) соединены соответственно с первым и вторым входами блока совмещения радиолокационного изображения с ЦКМ (13), выход которого соединен с четвертым входом блока обеспечения приема-передачи данных (1) и вторым входом первого блока выбора наилучшего функционального преобразования для совмещения с ЦКМ (15). Седьмой выход блока разделения каналов (11) соединен с последовательно соединенными блоком определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по радиолокационному каналу (14), первым блоком выбора наилучшего функционального преобразования для совмещения с ЦКМ (15) и первым блоком применения функционального преобразования (16) второй и третий входы которого соединены соответственно с восьмым и седьмым выходами блока разделения каналов (11) соответственно. Шестой выход блока разделения каналов (11) и выход блока хранения цифровой карты местности (12) соединены соответственно с первым и вторым входами блока совмещения оптического изображения с ЦКМ (17) выход которого соединен с пятым входом блока обеспечения приема-передачи данных (1) и вторым входом второго блока выбора наилучшего функционального преобразования для совмещения с ЦКМ (19). Пятый выход блока разделения каналов (11) соединен с последовательно соединенными блоком определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по оптическому каналу (18), вторым блоком выбора наилучшего функционального преобразования для совмещения с ЦКМ (19) и вторым блоком применения функционального преобразования (20) второй и третий входы которого соединены соответственно с шестым и пятым выходами блока разделения каналов (11) соответственно. Четвертый выход блока разделения каналов (11) и выход блока хранения цифровой карты местности (12) соединены соответственно с первым и вторым входами блока совмещения тепловизионного изображения с ЦКМ (21) выход которого соединен с шестым входом блока обеспечения приема-передачи данных (1) и вторым входом третьего блока выбора наилучшего функционального преобразования для совмещения с ЦКМ (23). Третий выход блока разделения каналов (11) соединен с последовательно соединенными блоком определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по тепловизионному каналу (22), третьим блоком выбора наилучшего функционального преобразования для совмещения с ЦКМ (23) и третьим блоком применения функционального преобразования (24) второй и третий входы которого соединены соответственно с четвертым и третьим выходами блока разделения каналов (11). Первый и второй выходы блока разделения каналов (11) соединены соответственно со вторым и первым входами блока состыковки серии изображений в одно (25) который последовательно соединен с блоком кластеризации состыкованного изображения (26), блоком разделения кластеризованного изображения (27), блоком выделения контуров на каждом из разделенных изображений (28), блоком поиска точек контура (29), блоком подбора функционального преобразования (30), блоком применения функционального преобразования к исходным зарегистрированным изображениям (31), блоком оценки качества объединенного комплексного изображения (32) и блоком принятия решения о приемлемости качества объединенного комплексного изображения (33) второй выход которого соединен со вторым входом блока совмещения комплексного изображения с ЦКМ (34) первый вход которого соединен с выходом блока хранения цифровой карты местности (12), причем первый выход блока принятия решения о приемлемости качества объединенного комплексного изображения (33) соединен с вторым входом блока кластеризации состыкованного изображения (26), а первый и второй входы блока применения функционального преобразования к исходным зарегистрированным изображениям (31) соединены соответственно со вторым и первым выходами блока разделения каналов (11). Выходы первого (16), второго (20) и третьего (24) блоков применения функционального преобразования соединены соответственно с первыми, вторыми и третьими входами блоков формирования комплексного изображения совмещенного с ЦКМ (35) и принятия решения о выборе канала получения локационной информации (36) выход которого соединен с входом блока отображения информации (37) по беспроводному каналу связи, а четвертый и пятый входы с выходами блоков принятия решения о выборе канала получения локационной информации (35) и совмещения комплексного изображения с ЦКМ (34) соответственно.

Блоки (13)-(16) образуют канал обработки радиолокационной информации, блоки (17)-(20) образуют канал обработки оптической информации, блоки (21)-(24) образуют канал обработки тепловизионной информации, блоки (25)-(34) образуют совместный канал обработки информации.

При этом ППП 2 выполнена аналогично ППП 1.

Блоки обеспечения приема-передачи данных (1) и управления ППП движением ЛА и получения навигационных данных (2) выполнены в виде постоянного запоминающего устройства (ПЗУ), соединенного с одноплатным компьютером по шине PCI Express 3.0 и дуплексной системы передачи информации, выполненной по технологии wi-fi.

Блок синхронизации (3) описан в [1].

Блок передачи (4) описан в [2], блок приема (5) выполнен в виде приемника, описанного в [3] соединенного по шине Ethernet с процессором [4].

Двухлучевая антенная система с ФАР (6) выполнена в виде двухлучевой антенной системы с фазированной антенной решеткой [5].

Блок пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора (7) выполнен в виде процессора [4].

Телевизионная (8) и тепловизионная (9) камеры выполнены в виде комбинированного сенсора dji zenmuse Н20 [6].

Блок хранения цифровой карты местности (12) выполнен в виде твердотельного (SSD) накопителя. Блоки 10, 11, 13-36 выполнены в виде ПЛИС.

Блок отображения информации (37) выполнен в виде ЖК экрана 4К разрешения соединенного с симплексной системой связи.

Заявляемое устройство работает следующим образом.

По заданному полетному заданию оператором звена беспилотных ЛА формируются управляющие сигналы, которые по беспроводному каналу связи поступают на блок обеспечения приема-передачи данных (1) каждой ППП (см фиг. 3), откуда сигнал по шине Ethernet поступает на блок управления ППП, движением ЛА и получения навигационных данных (2) который формирует траекторию движения ЛА для достижения необходимого расположения ППП, в частности для достижения необходимого расстояния между ППП, а также посылает командный сигнал на блок синхронизации (3), который формирует управляющие синхросигналы для согласованной работы блока передачи (4) и блока приема (5), таким образом, чтобы излучение радиолокационных сигналов излучалось синхронно с двух позиций одновременно. Двухлучевая антенная система с ФАР (6) излучает зондирующие сигналы для формирования двух зон переднебокового обзора показанных на фиг 1, после синхронного излучения зондирующие радиолокационные сигналы с каждой ППП, переотразившиеся на двухлучевую антенную систему с ФАР (6), поступают в соответствующий блок приема (5), где на базе первого ЛА формируется РЛИ для левого и правого переднебокового обзора РЛИ_1,л и РЛИ_1,п, а на базе второго ЛА формируется РЛИ для левого и правого переднебокового обзора РЛИ_2,л и РЛИ_2,п (фиг. 1), причем РЛИ_1,п через блок обеспечения приема-передачи данных (1) поступает на борт второго ЛА, в соответствующий блок пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора (7), а РЛИ_2,л через блок обеспечения приема-передачи данных на базе второго ЛА поступает на идентичный блок пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора на базе первого ЛА. В блоке пересчета в СК ППП и формирования синтезированного РЛИ в передней полусфере обзора, РЛИ полученное от другого ЛА пересчитывается в систему координат ЛА, на котором находится данный блок, таким образом формируя синтезированное РЛИ в передней полусфере. С блока пересчета в СК ППП и формирования РЛИ в передней полусфере обзора синтезированное РЛИ поступает на блок регистрации изображений (10), куда дополнительно поступают изображения сформированные телевизионной (8) и тепловизионной (9) камерами, для первого ЛА - это соответственно ОИ₁ и ТИ₁, а для второго ЛА это ОИ₂ и ТИ₂.

Далее на базе первого ЛА с блока регистрации изображений (10) через блок разделения каналов (11) РЛИ_1,п поступает на блок совмещения радиолокационного изображения с ЦКМ (13), куда также поступает загруженная ЦКМ из блока хранения цифровой карты местности(12), ОИ₁ поступает на блок совмещения оптического изображения с ЦКМ (17) куда также поступает загруженная ЦКМ из блока хранения цифровой карты местности (12), а ТИ₁ поступает на блок совмещения тепловизионного изображения с ЦКМ (21) куда также поступает загруженная ЦКМ из блока хранения цифровой карты местности(12), где они совмещаются с ЦКМ по алгоритму [7] и затем совмещенные с ЦКМ изображения , , и поступают на блок обеспечения приема-передачи данных (1) для отправки на борт второго ЛА в блок регистрации изображений (10). На базе второго ЛА осуществляется аналогичный набор действий только с изображениями РЛИ_2,л, ОИ₂ и ТИ₂ и соответственно изображения , , отправляются на борт первого ЛА. Параллельно с этим с борта первого ЛА из блока регистрации изображений (10) на борт второго ЛА через блок обеспечения приема-передачи данных (1) по беспроводному каналу связи отправляется набор исходных изображений

а с борта второго ЛА из блока регистрации изображений (10) на борт первого ЛА через блок обеспечения приема-передачи данных (1) по беспроводному каналу связи отправляется набор исходных изображений

После того как на базе первого и второго ЛА в блоках регистрации изображений (10) собраны все необходимые данные - на базе первого ЛА с блока разделения каналов (11) изображение поступает в канал обработки радиолокационной информации на блок определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по радиолокационному каналу (14) где вычисляется функциональное преобразование для приведения изображения в СК данной ППП при применении которого к текущему изображению значение двумерной функции корреляции примет максимальное значение, откуда оно поступает на первый блок выбора наилучшего функционального преобразования (15) для совмещения с ЦКМ вместе с изображением с блока совмещения радиолокационного изображения с ЦКМ (13) где из двух функциональных преобразований входных изображений выбирается наилучшее с максимальным значением двумерной корреляционной функции, выбранное функциональное преобразование поступает в первый блок применения функционального преобразования (16) и применяется к исходным оригинальным разноракурсным изображениям РЛИ_1,п и .

Параллельно с этим с блока разделения каналов (11) изображение поступает в канал обработки оптической информации на блок определения функционального преобразования в СК ППП и оценки точности совмещения в ЦКМ по оптическому каналу (18) где вычисляется функциональное преобразование для приведения изображения в СК ППП при применении которого к текущему изображению значение двумерной функции корреляции примет максимальное значение, откуда оно поступает на второй блок выбора наилучшего функционального преобразования для совмещения с ЦКМ (19) вместе с изображением с блока совмещения оптического изображения с ЦКМ (17) где из двух функциональных преобразований входных изображений выбирается наилучшее с максимальным значением двумерной корреляционной функции, выбранное функциональное преобразование поступает во второй блок применения функционального преобразования (20) и применяется к исходным оригинальным разноракурсным изображениям ОИ₁ и . Параллельно с этим с блока разделения каналов (11) изображение поступает в канал обработки тепловизионной информации на блок определения функционального преобразования в СК ППП и оцени точности совмещения с ЦКМ по тепловизионному каналу (22) где вычисляется функциональное преобразование для приведения изображения в СК ППП при применении которого к текущему изображению значение двумерной функции корреляции примет максимальное значение, откуда оно поступает на третий блок выбора наилучшего функционального преобразования для совмещения с ЦКМ (23) вместе с изображением с блока совмещения тепловизионного изображения с ЦКМ (21) где из двух функциональных преобразований входных изображений выбирается наилучшее с максимальным значением двумерной корреляционной функции, выбранное функциональное преобразование поступает в третий блок применения функционального преобразования (24) и применяется к исходным оригинальным разноракурсным изображениям ТИ₁ и .

Параллельно с этим с блока разделения каналов (11) в совместный канал обработки информации на вход блока состыковки серии изображений в одно (25) поступают наборы разнородных разноракурсных изображений

и

где осуществляется состыковка серии этих локационных изображений, поступивших ранее, и передаются в блок кластеризации состыкованного изображения (26). В блоке кластеризации состыкованного изображения (26) состыкованные изображения преобразуются в кластеризованный вид, то есть осуществляется кластеризация пикселей этого составного изображения с требуемым значением суперпикселя SP трехэтапной процедурой квазиоптимальной кластеризации пикселей изображения. Затем кластеризованное изображение поступает в блок разделения кластеризованного изображения (27), где осуществляется разбиение серии кластеризованных изображений на отдельные изображения, после чего они поступают в блок выделения контуров на каждом из разделенных изображений (28), где происходит выделение контуров характерных кластеризованных областей, и далее в блоке поиска точек контура (29), на выделенных контурах происходит поиск характерных точек контура схожих по структуре областей. Расположение найденных точек и сами изображения передаются в блок подбора функционального преобразования (30). При этом рекомендуемое количество точек контура должно быть в пределах 15-25. Далее в блоке подбора функционального преобразования (30) для определенных ранее точек контура вычисляется функциональное преобразование, при применении которого к текущим кластеризованным изображениям, значение двумерной функции корреляции принимает максимальное значении. Вычисленное функциональное преобразование поступает в блок применения функционального преобразования к исходным зарегистрированным изображениям (31), которое применяется к исходным оригинальным разноракурсным и разнородным изображениям, поступающим в блок применения функционального преобразования к исходным зарегистрированным изображениям (31) с блока разделения каналов (11), в результате чего формируется объединенное синтезированное комплексное локационное изображение единой композиции наблюдаемой зоны земной поверхности. После чего это изображение по каналам связи между блоками передаются в блок оценки качества объединенного комплексного изображения (32).

В блоке оценки качества объединенного комплексного изображения (32) осуществляется оценка изображения на предмет качества объединения синтезированного комплексного изображения, результат оценки вместе с итоговым изображением поступает в блок принятия решения о приемлемости качества объединенного комплексного изображения (33).

В блоке принятия решения о приемлемости качества объединенного комплексного изображения (33), на основе оценки результатов работы блока оценки качества объединенного комплексного изображения (32), принимается решение о приемлемости качества объединенного комплексного изображения, и в случае неудовлетворительной оценки качества объединенного итогового изображения, решение о которой принимается в блоке принятия решения о приемлемости качества объединенного комплексного изображения (33), подается сигнал через обратную связь, осуществляющий переход к блоку кластеризации состыкованного изображения (26), где задаются новые начальные условия для значения суперпикселя SP и выбирается другая серия кластеризованных разнородных и разноракурсных изображений для их комплексирования и преобразования к одной сцене с большим количеством кластеров и, как следствие, с выделением большего количества ориентиров: контуров и точек контуров, реализуемых в блоках выделения контуров на каждом из разделенных изображений (28) и поиска точек контура (29). При этом на новой итерации диапазон поиска, как самих характерных точек контура, так и функционального преобразования в блоке подбора функционального преобразования (30) сужается и уточняется, поскольку количество опорных точек контура возрастает, вследствие увеличения детализации исходных изображений в блоке кластеризации состыкованного изображения (26) на текущей итерации. Также возрастает и точность определения их положения, за счет того, что положение точек контура на предыдущей итерации уточняется в блоке подбора функционального преобразования (30), а не ищется заново. В случае удовлетворительной оценки, на блок совмещения комплексного изображения с ЦКМ (34) поступает ЦКМ из блока хранения цифровой карты местности (12) и итоговое высокоинформативное изображение из блока принятия решения о приемлемости качества объединенного комплексного изображения (33), которое совмещается с ЦКМ по алгоритму [7], откуда совмещенное с ЦКМ комплексное изображение поступает в блок принятия решения о выборе канала получения локационной информации (36), куда также поступают разнородные изображения с первого (16), второго (20) и третьего (24) блоков применения функционального преобразования. Дополнительно разнородные изображения с первого (16), второго (20) и третьего (24) блоков применения функционального преобразования поступают на блок формирования комплексного локационного изображения совмещенного с ЦКМ (35), где на основе известных привязок к карте местности совмещаются в комплексное локационное изображение по алгоритму [8], полученное комплексное изображение поступает на блок принятия решения о выборе канала получения локационной информации (36), где комплексное изображение, совмещенное с ЦКМ полученное блоке совмещения комплексного изображения с ЦКМ (34), сверяется с комплексным изображением, полученным путем совмещения изображений из отдельных каналов в блоке формирования комплексного изображения (35), а также с изображениями полученными в радиолокационном, оптическом и тепловизионном каналах обработки, и выбирается наиболее информативное изображение наблюдаемого участка поверхности наименее подверженное влиянию деструктивных факторов. С блока принятия решения о выборе канала получения локационной информации (36) выбранное изображение по беспроводному каналу связи поступает на блок отображения информации (37).

На основании вышеизложенного следует, что заявляемое изобретение по сравнению с прототипом позволяет использовать различные каналы получения локационной информации, что позволяет снизить влияние деструктивных факторов на источники получения локационной информации, и тем самым повысить помехозащищенность системы.

Предлагаемое устройство целесообразно использовать на борту беспилотных воздушных летательных аппаратов, как вертолетного, так и самолетного типа.

Использованные источники информации

1. Крючков И.В., Нефедов С.И., Сапонов. А.В., Филатов А.А. Синхронизатор для макета распределенной РЛС метрового диапазона // Радиооптика МГТУ им Н.Э. Баумана. Электрон. Журн. 2015. №06. С. 1-12.

2. Справочник по радиолокации / Под ред. М.И. Сколника. Пер. с англ. Под общей ред. B.C. Вербы. В 2 книгах. Книга 1 М.: Техносфера, 2015 на стр. 543-557.

3. Справочник по радиолокации / Под ред. М.И. Сколника. Пер. с англ. Под общей ред. B.C. Вербы. В 2 книгах. Книга 1 М.: Техносфера, 2015 на стр. 282-285.

4. Радиолокационные станции с цифровым синтезированием апертуры антенны / Под ред. В.Т. Горяинова. - М.: Радио и связь, 1988 на стр. 210-219.

5. А.В. Шишлов, Б.А. Левитан, С.А. Топчиев, В.Р. Анпилогов, В.В. Денисенко. Многолучевые антенны для систем радиолокации и связи. Журнал радиоэлектроники [электронный журнал]. 2018. №7. Режим доступа: http://jre.cplire.ru/jre/jul18/6/text.pdf DOI 10.30898/1684-1719.2018.7.6 (дата обращения: 26.05.2022)

6. DJI Zenmuse H20N [Электронный ресурс].https://www.dji.com/ra/zenmuse-h20n?site=brandsite&from=nav (Дата обращения: 01.06.2020)

7. Совмещение сформированных радиолокационных изображений с цифровой картой местности в бортовых системах оперативного мониторинга земной поверхности / А.А. Сенцов, В.А. Ненашев, С.А. Иванов, Е.Л. Турнецкая // Труды МАИ. - 2021.-№117. - DOI 10.34759/trd-2021-117-08.

8. Ненашев В.А. Формирование комплексного изображения земной поверхности на основе кластеризации пикселей локационных снимков в многопозиционной бортовой системе / В.А. Ненашев, И.Г. Ханыков // Информатика и автоматизация. - 2021. - Т. 20. - №2. - С. 302-340. - DOI 10.15622/ia.2021.20.2.3.

Изобретение относится к бортовой многопозиционной технике и может быть использовано в системах комплексной цифровой обработки локационной информации. Техническим результатом изобретения является получение комплексного локационного изображения земной поверхности, а также повышение точности и помехозащищенности получаемого комплексного изображения земной поверхности в режиме реального времени. В состав заявленного устройства дополнительно введены блок разделения каналов и отдельные каналы обработки радиолокационной, тепловизионной и оптической информации, блоки формирования комплексного локационного изображения, совмещенного с цифровой картой местности (ЦКМ), блок принятия решения о выборе канала получения локационной информации и блок совмещения комплексного изображения с ЦКМ, соединенные между собой. Это позволяет за счет разделения каналов снизить влияние деструктивных факторов на формируемое изображение и тем самым повысить помехоустойчивость устройства. 3 ил.

Устройство формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности (ЦКМ), содержащее блок отображения информации, телевизионную и тепловизизионную камеры, выходы которых соединены соответственно со вторым и третьим входами блока регистрации изображений, последовательно соединенные блок состыковки серии изображений в одно, блок кластеризации состыкованного изображения, блок разделения кластеризованного изображения, блок выделения контуров на каждом из разделенных изображений, блок поиска точек контура, блок подбора функционального преобразования, блок применения функционального преобразования к исходным зарегистрированным изображениям, блок оценки качества объединенного комплексного изображения, блок принятия решения о приемлемости качества объединенного комплексного изображения, первый выход которого соединен со вторым входом блока кластеризации состыкованного изображения, отличающееся тем, что устройство дополнительно содержит блок разделения каналов, первый и второй выходы которого соединены соответственно с первыми и вторыми входами блока состыковки серии изображений в одно и блока применения функционального преобразования к исходным зарегистрированным изображениям, блок обеспечения приема-передачи данных, первый выход и первый вход которого соединены соответственно с первым входом и вторым выходом блока управления приемо-передающей позиции (ППП), движением летательного аппарата (ЛА) и получения навигационных данных, первый выход и второй вход которого соединены соответственно с входом и третьим выходом блока синхронизации, первый и второй выходы которого соединены соответственно с входом блока передачи и вторым входом блока приема, выход блока передачи соединен с входом двухлучевой антенной системы с фазированной антенной решеткой (ФАР), выход которой соединен с первым входом блока приема, второй выход которого соединен со вторым входом блока обеспечения приема-передачи данных, а первый выход - с первым входом блока пересчета в систему координат (СК) ППП и формирования синтезированного радиолокационного изображения (РЛИ) в передней полусфере обзора, второй вход которого соединен со вторым выходом блока обеспечения приема-передачи, а выход - с первым входом блока регистрации изображений, четвертый вход и первый выход которого соединены соответственно с третьим выходом и третьим входом блока обеспечения приема-передачи данных, а второй выход соединен с блоком разделения каналов, третий выход которого соединен с последовательно соединенными блоком определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по тепловизионному каналу, третьим блоком выбора наилучшего функционального преобразования для совмещения с ЦКМ, третьим блоком применения функционального преобразования, третий вход которого соединен с третьим выходом блока разделения каналов, при этом второй вход третьего блока применения функционального преобразования соединен с первым входом блока совмещения тепловизионного изображения с ЦКМ и четвертым выходом блока разделения каналов, пятый выход которого соединен с последовательно соединенными блоком определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по оптическому каналу, вторым блоком выбора наилучшего функционального преобразования для совмещения с ЦКМ, вторым блоком применения функционального преобразования, третий вход которого соединен с пятым выходом блока разделения каналов, при этом второй вход второго блока применения функционального преобразования соединен с первым входом блока совмещения оптического изображения с ЦКМ и шестым выходом блока разделения каналов, седьмой выход которого соединен с последовательно соединенными блоком определения функционального преобразования в СК ППП и оценки точности совмещения с ЦКМ по радиолокационному каналу, первым блоком выбора наилучшего преобразования для совмещения с ЦКМ, первым блоком применения функционального преобразования, третий вход которого соединен с седьмым выходом блока разделения каналов, при этом второй вход первого блока применения функционального преобразования соединен с первым входом блока совмещения радиолокационного изображения с ЦКМ и восьмым выходом блока разделения каналов, блок хранения цифровой карты местности, выход которого соединен со вторыми входами блоков совмещения радиолокационного изображения с ЦКМ, совмещения оптического изображения с ЦКМ, совмещения тепловизионного изображения с ЦКМ, выходы которых соответственно соединены со вторыми входами первого, второго и третьего блоков выбора наилучшего преобразования для совмещения с ЦКМ, и четвертым, пятым и шестым входами блока обеспечения приема-передачи данных, блок совмещения комплексного изображения с ЦКМ, первый вход которого соединен с выходом блока хранения цифровой карты местности, а второй вход – со вторым выходом блока принятия решения о приемлемости качества объединенного комплексного изображения, выход блока совмещения комплексного локационного изображения с ЦКМ соединен с пятым входом блока принятия решения о выборе канала получения локационной информации, выходы первого, второго и третьего блока применения функционального преобразования соединены соответственно с первым, вторым и третьим входами блоков принятия решения о выборе канала получения локационной информации и формирования комплексного изображения совмещенного с ЦКМ, выход которого соединен с четвертым входом блока принятия решения о выборе канала получения локационной информации, выход которого соединен с блоком отображения информации по беспроводному каналу связи.