Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности Российский патент 2021 года по МПК G01S13/90 H04N5/33 

Устройство относится к бортовой многопозиционной технике и может быть использовано для синтезирования комплексного изображения, по снятым локационными устройствами разноракурсным изображениям, а именно цифровыми датчиками фото-, видеокамерами, оптико-локационными датчиками, радиолокационными системами с синтезированной апертурой антенны может быть использовано в системах комплексной цифровой обработки изображений, в системах компьютерного зрения и т.п.

Известно «Устройство радиометрического комплексирования цифровых многоспектральных изображений земной поверхности» (Патент РФ №115884, МПК G01C 11/00, опубл. 10.05.2012 г., Бюл. №13).

Это устройство, включающее блоки улучшения характеристик исходного изображения, состоящие из блока адаптивной фильтрации и блока адаптивной коррекции яркости и контраста, блок комплексирования изображений, блок согласования яркостного диапазона, блок усиления спектрозональных отличий каждого исходного изображения относительно других исходных изображений, входы которого соединены с выходом каждого блока улучшения характеристик исходного изображения, а выходы - со входами блока комплексирования, при этом выход блока комплексирования соединен со входом блока согласования яркостного диапазона, и в каждом блоке улучшения характеристик исходного изображения выход блока адаптивной фильтрации соединен со входом блока адаптивной коррекции яркости и контраста, а количество блоков улучшения характеристик исходного изображения соответствует количеству исходных изображений.

Это устройство позволяет повысить информативность изображений за счет комплексирования измерительной информации от нескольких спектральных каналов на основе спектрозональных различий объектов на изображении.

Недостатком устройства является то, что часть полезной информации может быть удалена в результате предварительной адаптивной коррекции яркости и контраста, где происходит фильтрация шумов на изображениях и оптимизация характеристик яркости и контраста фильтрации изображения, что существенно может сказаться на качестве синтезированного итогового изображения.

Известно «Устройство дистанционного зондирования земли при помощи многопозиционной радиолокационной системы» (Патент РФ №103935, МПК G01S 13/90, опубл. 27.04.2011 г., Бюл. №12).

Устройство, содержит передающую позицию, включающую передатчики ортогональных зондирующих сигналов, и приемную позицию, расположенную на борту воздушного летательного аппарата (ВЛА), содержащую слабонаправленную антенну и антенную систему, формирующую М независимых неперекрывающихся лучей диаграммы направленности, диаграммы направленности слабонаправленной антенны и антенной системы ориентированы в сторону передатчиков передающей позиции и земной поверхности соответственно, антенная система подключена соответственно к приемникам отраженных навигационных сигналов, выходами соединенные с формирователями последовательности значений мощности указанных сигналов, выходами соединенными с формирователями полных радиоизображений, выходами соединенными с первым входом устройства визуализации текущих радиоизображений, со вторыми, третьими и четвертыми входами которого соединены выход бортового устройства хранения цифровой карты местности, бортового датчика высоты полета, тангажа и крена ВЛА, и навигационной аппаратуры потребителя, ко входу которой подключена слабонаправленная антенна, выходы устройств визуализации текущих радиоизображений соединены со входами средства радиосвязи. В процессе функционирования устройства формируются радиолокационные изображения. Далее происходит совмещения цифровой карты местности и полученных радиоизображений, после чего производят их анализ и определение координат целей на земной поверхности по их координатам на совмещенной цифровой карты местности.

Недостатком устройства является, низкая разрешающая способность по азимутальной координате, сложность формирования протяженного радиолокационного изображения и отсутствие возможности формировать комплексное изображение от источников локационной информации различной природы.

Наиболее близким по технической сущности к предлагаемому изобретению является «Устройство синтезированного видения» (Патент РФ №168333, МПК G06T 15/08, опубл. 30.01.2017 г., Бюл. №4).

Устройство представляет собой бортовую аппаратуру, которая состоит из последовательно соединенных источника локационной информации, блока регистрации изображений, блока создания комплексного изображения и дисплея, причем источник локационной информации, выполнен в виде телевизионной камеры, тепловизионной камеры и радара, выходы которых соединены с блоком регистрации изображений. Один выход блока регистрации изображений соединен с входом модуля построение дерева изображений блока сегментатор, а второй соединен с входом модуля создание комплексного изображения блока совмещение, выход модуля построение дерева изображений соединен с пятью выполненными параллельно модулями простой сегментатор блока сегментатор, выходы модулей простой сегментатор соединены с входом модуля очередь блока классификатор, выход модуля очередь соединен с входом модуля дерево классификаторов блока классификатор, один из выходов модуля блок классификаторов соединен двухсторонней связью с входом модуля простой классификатор блока классификатор, а второй - с одним из входов блока визуализация, выход модуля создание комплексного изображения соединен с одним из входов модуля совмещение блока совмещение, другой вход модуля совмещение соединен с выходом модуля построение 3D модели местности блока совмещение, вход модуля построение 3D модели местности соединен с модулями баз данных цифровых карт местности и матриц высот, выход модуля совмещение соединен со вторым входом блока визуализация.

В блоке регистрации изображений исходные изображения от телевизионной, тепловизионной камер и радара объединяются и передаются в блоки сегментатор и совмещение. В блоке сегментатор, выполненном по пирамидальной схеме, производится сегментация соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена, а результат передается в блок классификатор. В блоке классификатор, состоящем из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети, производится классификация объектов изображения и результат передается в блок визуализации. В блоке совмещение производится совмещение трехмерной модели местности и комплексного изображения, полученного путем комплексирования различных спектральных каналов друг с другом, и результат - синтезированное изображение передается в блок визуализация. В блоке визуализация упорядочиваются результаты совмещения и классификации накладыванием их друг на друга и формированием улучшенного изображения, передаваемого по шине Ethernet на дисплей системы улучшенного видения.

Недостатками устройства прототипа является отсутствие адаптивного (итерационного) механизма создания комплексного изображения, и как следствие обладание большой вычислительной сложностью устройства, что влечет трудности функционирования устройства в режиме реального времени.

Целью заявляемого изобретения является создание устройства, позволяющего синтезировать комплексное изображение земной поверхности в режиме реального времени.

Техническим результатом является улучшение качества синтеза, повышение точности и информативности итогового комплексного изображения.

Технический результат достигается тем, что в устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности, содержащее бортовую аппаратуру, которая состоит из последовательно соединенных источника локационной информации, блока регистрации изображений, блока создания комплексного изображения и дисплея, причем источник локационной информации, выполнен в виде телевизионной камеры, тепловизионной камеры и радара, выходы которых соединены с блоком регистрации изображений дополнительно введены 1+N позиций бортовой аппаратуры в каждой из которых блок создания комплексного изображения выполнен в виде последовательно соединенных блока состыковки серии изображений в одно, блока кластеризации состыкованного изображения, блока разделения кластеризованного изображения, блока выделения контуров на каждом из разделенных изображений, блока поиска точек контура, блока подбора функционального преобразования, блока применения функционального преобразования к исходным зарегистрированным изображениям, блока оценки качества объединенного комплексного изображения, блока принятия решения о приемлемости качества объединенного комплексного изображения, первый выход которого соединен с входом дисплея, а второй выход соединен со вторым входом блока кластеризации состыкованного изображения, при этом первый, второй и N-й входы блока применения функционального преобразования к исходным зарегистрированным изображениям соединены с выходами блока регистрации изображений, а блоки регистрации изображений на каждой из бортовой аппаратуры, соединены между собой высокоскоростным беспроводным каналом связи обмена зарегистрированных изображений.

Технический результат достигается за счет введения новых существенных признаков, заключающихся в дополнительно введенных пространственно-распределенных элементов многопозиционной системы, которые позволяют получить разноракурсные изображения с источников локационной информации различной природы, и за счет их взаимного обмена между блоками регистрации изображений и далее на общий блок создания комплексного изображения, по высокоскоростному беспроводному каналу связи, что позволяет синтезировать комплексное изображение за счет введения нового блока создания комплексного изображения, связей как в самом блоке, так и между элементами многопозиционной системы, а также за счет расширения устройства до многопозиционной системы на 1+N позиций.

Сущность изобретения поясняется чертежами, где

на фиг. 1 - схема устройства разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности;

на фиг. 2 - структурная схема многопозиционной системы бортовой локационной аппаратуры;

на фиг. 3 - вариант геометрии расположения бортовой локационной аппаратуры, и введены следующие обозначения:

1. - источник локационной информации;

1.1 - телевизионная камера;

1.2 - тепловизионная камера;

1.3 - радар;

2. - блок регистрации изображений;

3. - блок создания комплексного изображения;

3.1 - блок состыковки серии изображений в одно;

3.2 - блок кластеризации состыкованного изображения;

3.3 - блок разделения кластеризованного изображения;

3.4 - блок выделения контуров на каждом из разделенных изображений;

3.5 - блок поиска точек контура;

3.6 - блок подбора функционального преобразования;

3.7 - блок применения функционального преобразования к исходным зарегистрированным изображениям;

3.8 - блок оценки качества объединенного комплексного изображения;

3.9 - блок принятия решения о приемлемости качества объединенного комплексного изображения;

4. - дисплей.

Устройство состоит из источник локационной информации 1, включающее в себя телевизионная камеру 1.1, тепловизионная камеру 1.2 и радар 1.3, блок регистрации изображений 2, блок создания комплексного изображения 3 и дисплей 4, представляющий собой жидкокристаллический экран оператора, выходы блока источника локационной информации 1 соединены с входом блока регистрации изображения 2, а три параллельных идентичных выходы блока регистрации изображений соединены с входом блока создания комплексного изображения 3, который содержит последовательно соединенные блок состыковки серии изображений в одно 3.1, блок кластеризации состыкованного изображения 3.2, блок разделения кластеризованного изображения 3.3, блок выделения контуров на каждом из разделенных изображений 3.4, блок поиска точек контура 3.5, блок подбора функционального преобразования 3.6, блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7, блок применения функционального преобразования к исходным зарегистрированным изображениям 3.8, блок принятия решения о приемлемости качества объединенного комплексного изображения 3.9, первый выход которого соединен со входом дисплея 4, а второй выход - со вторым входом блока кластеризации состыкованного изображения 3.2. Входы блока 3.7 соединены с блоком регистрации изображений 2. Их количество равно количеству элементов многопозиционной системы (1+N), которые обмениваются между собой зарегистрированными разноракурсными и разнородными изображениями, сформированными бортовой локационной аппаратурой, базирующейся на пространственно-распределенных летательных аппаратах.

На фиг. 3 изображен вариант геометрии расположения бортовой локационной аппаратуры элементов многопозиционной системы с частичным перекрытием совместной зоны обзора земной поверхности под разными ракурсами.

Источник локационной информации 1 выполнен в виде телевизионной 1.1, тепловизионной камер 1.2 и радара 1.3.

Блок регистрации изображений 2, выполненный по технологии программируемой логической схемы (ПЛИС), получает на вход по шине Ethernet исходные изображения от телевизионной 1.1, тепловизионной камер 1.2 и радара 1.3, выполняет их сохранение в памяти, после чего передает сохраненные изображения по беспроводному каналу связи, выполненному по технологии wi-fi на вход сторонних блоков регистрации изображений и по шине Ethernet на вход блока своего блока создание комплексного изображения 3.

Блок создания комплексного изображения 3 осуществляет формирование синтезированного комплексного изображения и содержит 9 блоков.

Блок состыковки серии изображений в одно 3.1, выполнен в виде ПЛИС, получает на вход разноракурсные изображения различной природы с выхода блока регистрация изображений 2 по шине Ethernet и состыкует изображения путем записи пиксельных значений матричных структур в одну матрицу. После состыкованные изображения шине Ethernet передаются в блок кластеризации состыкованного изображения 3.2.

Блок кластеризации состыкованного изображения 3.2, выполнен в виде ПЛИС, в котором реализован механизм трехэтапной кластеризации пикселей изображений с заданным числом суперпикселя Nsp. После чего кластеризованное изображение шине Ethernet передаются в блок разделения кластеризованного изображения 3.3.

Блок разделения кластеризованного изображения 3.3, выполнен в виде ПЛИС, реализует операцию разделения состыкованного изображения на два отдельных и их передачу по шине Ethernet в блок выделения контуров на каждом из разделенных изображений 3.4.

Блок выделения контуров на каждом из разделенных изображений 3.4, выполнен в виде ПЛИС, осуществляет выделение контуров характерных областей кластеризованных изображений и их передачу по шине Ethernet в блок поиска точек контура 3.5.

Блок поиска точек контура 3.5, выполнен в виде ПЛИС, который на выделенных контурах осуществляет поиск характерных точек, запоминает расположения этих точек на изображениях и информацию о точках и сами изображения передает по шине Ethernet в блок подбора функционального преобразования 3.6.

Блок подбора функционального преобразования 3.6, выполнен в виде ПЛИС, осуществляет поиск функционального преобразования, которое соответствует максимальному значению корреляционной функции при вариантах их совмещения. Вычисленное функциональное преобразование передается по шине Ethernet в блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7.

Блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7, выполнен в виде ПЛИС, на первый вход блока поступает найденное функциональное преобразование, на второй -исходные изображения блока регистрации изображений 2, к которым и применяется найденное функциональное преобразование, в результате чего и синтезируется объединенное комплексное изображение одной сцены. После чего это итоговое изображение по шине Ethernet передаются в блок оценки качества объединенного комплексного изображения 3.8.

Блок оценки качества объединенного комплексного изображения 3.8, выполненный в виде ПЛИС, осуществляет оценку синтеза разноракурсных и разнородных изображений и результат оценки вместе в итоговым изображением передает по шине Ethernet в блок принятия решения о приемлемости качества объединенного комплексного изображения 3.9.

Блок принятия решения о приемлемости качества объединенного комплексного изображения 3.9, выполнен в виде ПЛИС, оценивает результаты качества синтеза, и передает по шине Ethernet итоговое комплексное изображение по шине Ethernet на дисплей 4, либо в блок кластеризации состыкованного изображения 3.2.

Дисплей 4, представляющий собой жидкокристаллический экран 4K разрешения, на который выводится итоговое комплексное изображения для оператора.

Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности работает следующим образом.

Из центра управления и обработки информации бортовой аппаратуре, базирующейся на летательных аппаратах (ЛА), многопозиционной системы поступает управляющий сигнал для обеспечения взаимного обмена информацией между бортовыми аппаратами этой системы и задается зона мониторинга, а также полетное задание обеспечивающее наблюдение заданной зоны. По этим командам устройство управления формирует траекторию движения ЛА для достижения необходимого их расположения.

После чего осуществляется включение источников локационной информации 1, а именно телевизионной камеры 1.1, тепловизионной камеры 1.2 и радар 1.3, которые осуществляют синхронный мониторинг заданного участка земной поверхности с различных ракурсов бортовой локационной аппаратуры многопозиционной системы.

При этом сформированные источниками локационной информации 1 одноракурсные изображения различной природы снятые в один момент времени поступают в блок регистрации изображений 2 на каждую из позиций, где на своей позиции сохраняются, а на сторонние позиции передаются по высокоскоростному беспроводному каналу связи, между аналогичными пунктами многопозиционной системы. Далее, на каждом пункте многопозиционной системы разноракурсных изображений различной природы поступают в блок создания комплексного изображения 3, где в блоке состыковки серии изображений в одно 3.1 осуществляется состыковка серии этих локационных изображений, поступивших ранее, и передаются в блок кластеризации состыкованного изображения 3.2.

В блоке кластеризации состыкованного изображения 3.2 состыкованные изображения преобразуются в кластеризованный вид, то есть осуществляется кластеризация пикселей этого составного изображения с требуемым значением суперпикселя Nsp трехэтапной процедурой квазиоптимальной кластеризации пикселей изображения.

Затем кластеризованное изображение поступает в блок разделения кластеризованного изображения 3.3, где осуществляется разбиение серии кластеризованных изображений на отдельные изображения, после чего они поступают в блок выделения контуров на каждом из разделенных изображений 3.4, где происходит выделение контуров характерных кластеризованных областей, и далее в блоке поиска точек контура 3.5, на выделенных контурах происходит поиск характерных точек контура схожих по структуре областей. Расположение найденных точек и сами изображения передаются в блок подбора функционального преобразования 3.6. При этом рекомендуемое количество точек контура должно быть в пределах 15-25.

Далее в блоке подбора функционального преобразования 3.6 для определенных ранее точек контура вычисляется функциональное преобразование, при применении которого к текущим кластеризованным изображениям, значение двумерной функции корреляции принимает максимальное значении. Вычисленное функциональное преобразование поступает в блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7, которое применяется к исходным оригинальным разноракурсным и разнородным изображениям, поступающим в блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7 с блоков регистрации изображений 2, в результате чего формируется объединенное синтезированное комплексное локационное изображение единой композиции земной поверхности. После чего это изображение по каналам связи между блоками передаются в блок оценки качества объединенного комплексного изображения 3.8.

В блоке оценки качества объединенного комплексного изображения 3.8 осуществляется оценка изображения на предмет качества объединения синтезированного комплексного изображения, результат оценки вместе с итоговым изображением поступает в блок принятия решения о приемлемости качества объединенного комплексного изображения 3.9.

В блоке принятия решения о приемлемости качества объединенного комплексного изображения 3.9, на основе оценки результатов работы блока оценки качества объединенного комплексного изображения 3.8, принимается решение о приемлемости качества объединенного комплексного изображения, и в случае удовлетворительной оценки, оператору на дисплей 4 выдается итоговое высокоинформативное изображение с повышенным качеством синтеза и точностью комплексирования, и на этом функционирование блока создания комплексного изображения земной поверхности завершается.

В случае неудовлетворительной оценки качества объединенного итогового изображения, решение о которой принимается в блоке принятия решения о приемлемости качества объединенного комплексного изображения 3.9, подается сигнал через обратную связь, осуществляющий переход к блоку кластеризации состыкованного изображения 3.2, где задаются новые начальные условия для значения суперпикселя Nsp и выбирается другая серия кластеризованных разнородных и разноракурсных изображений для их комплексирования и преобразования к одной сцене с большим количеством кластеров и, как следствие, с выделением большего количества ориентиров: контуров и точек контуров, реализуемых в блоках выделения контуров на каждом из разделенных изображений 3.4 и поиска точек контура 3.5. При этом на новой итерации диапазон поиска, как самих характерных точек контура, так и функционального преобразования в блоке подбора функционального преобразования 3.6 сужается и уточняется, поскольку количество опорных точек контура возрастает, вследствие увеличения детализации исходных изображений в блоке кластеризации состыкованного изображения 3.2 на текущей итерации. Также возрастает и точность определения их положения, за счет того, что положение точек контура на предыдущей итерации уточняется в блоке подбора функционального преобразования 3.6, а не ищется заново.

Таким образом, новые точки контура определяются на новых контурах, что влечет уточнение функционального преобразования, полученного корреляционно-экстремальным методом в блоке подбора функционального преобразования 3.6. После того, как положение точек контура уточнено, а также найдено новое уточненное функциональное преобразование исходных изображений, производится операция их объединения в блоке применения функционального преобразования к исходным зарегистрированным изображениям 3.7, после чего производится оценка качества в блоке оценки качества объединенного комплексного изображения, блока 3.8, а затем принимается решение о приемлемости качества итогового комплексного изображения в соответствующем блоке 3.9. Переход на новую итерацию в блок 3.2 осуществляется до тех пор, пока оценка качества комплексного изображения не станет удовлетворительной в блоке 3.9, что позволяет получить более точное итоговое комплексное синтезирование разнородных и разноракурсных локационных изображений.

На основании вышеизложенного следует, что заявляемое изобретение по сравнению с прототипом позволяет синтезировать комплексное изображение, на основе разноракурсных изображений различной природы, используя адаптивный (итерационный) механизм, позволяющий улучшить качество синтеза и увеличить точность комплексирования, а также информативность итогового комплексного изображения.

Предлагаемое устройство целесообразно использовать на борту малогабаритных воздушных летательных аппаратов, как самолетного типа, так и вертолетного, а также на борту беспилотных транспортных средств воздушного базирования, дирижаблей и т.д.

Изобретение было реализована на базе ФГАОУ ВО «Санкт-Петербургский государственный университет аэрокосмического приборостроения» в рамках НИР «Разработка и исследование высокоточных способов многопозиционного радиооптического мониторинга для экологической разведки, прогнозирования и оперативного предупреждения чрезвычайных ситуаций природного и техногенного характера» (Соглашение о предоставлении гранта от 30.07.2019 №19-79-00303, заключенным между Российским научным фондом, ГУАП, В.А. Ненашевым)

Изобретение относится к бортовой многопозиционной технике и может быть использовано для синтезирования комплексного изображения, по снятым локационными устройствами разноракурсным изображениям, а именно цифровыми датчиками фото-, видеокамерами, оптико-локационными датчиками, радиолокационными системами с синтезированной апертурой антенны может быть использовано в системах комплексной цифровой обработки изображений, в системах компьютерного зрения. Техническим результатом является улучшение качества синтеза и повышение точности, а также информативности итогового комплексного изображения. Технический результат достигается тем, что в устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности, содержащее бортовую аппаратуру, которая состоит из последовательно соединенных источника локационной информации, блока регистрации изображений, блока создания комплексного изображения и дисплея, причем источник локационной информации, выполнен в виде телевизионной камеры, тепловизионной камеры и радара, выходы которых соединены с блоком регистрации изображений, и введены 1+N позиций бортовой аппаратуры, в каждой из которых блок создания комплексного изображения выполнен в виде последовательно соединенных блока состыковки серии изображений в одно, блока кластеризации состыкованного изображения, блока разделения кластеризованного изображения, блока выделения контуров на каждом из разделенных изображений, блока поиска точек контура, блока подбора функционального преобразования, блока применения функционального преобразования к исходным зарегистрированным изображениям, блока оценки качества объединенного комплексного изображения и блока принятия решения о приемлемости качества объединенного комплексного изображения. 3 ил.

Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности, содержащее бортовую аппаратуру, которая состоит из последовательно соединенных источника локационной информации, блока регистрации изображений, блока создания комплексного изображения и дисплея, причем источник локационной информации выполнен в виде телевизионной камеры, тепловизионной камеры и радара, выходы которых соединены с блоком регистрации изображений, отличающееся тем, что в устройство дополнительно введены 1+N позиций бортовой аппаратуры, в каждой из которых блок создания комплексного изображения выполнен в виде последовательно соединенных блока состыковки серии изображений в одно, блока кластеризации состыкованного изображения, блока разделения кластеризованного изображения, блока выделения контуров на каждом из разделенных изображений, блока поиска точек контура, блока подбора функционального преобразования, блока применения функционального преобразования к исходным зарегистрированным изображениям, блока оценки качества объединенного комплексного изображения, блока принятия решения о приемлемости качества объединенного комплексного изображения, первый выход которого соединен с входом дисплея, а второй выход соединен со вторым входом блока кластеризации состыкованного изображения, при этом первый, второй и N-й входы блока применения функционального преобразования к исходным зарегистрированным изображениям соединены с выходами блока регистрации изображений, а блоки регистрации изображений на каждой из бортовой аппаратуры соединены между собой высокоскоростным беспроводным каналом связи обмена зарегистрированных изображений.