СПОСОБ ПОЛУЧЕНИЯ ИЗОБРАЖЕНИЙ ВЫСОКОГО ПРОСТРАНСТВЕННОГО РАЗРЕШЕНИЯ ОПТИКО-ЭЛЕКТРОННЫМ СРЕДСТВОМ НАБЛЮДЕНИЯ ЗА УДАЛЕННЫМИ ОБЪЕКТАМИ Российский патент 2023 года по МПК G01S17/06 

Изобретение относится к способам и методам оптического наблюдения, а более конкретно к оптическим способам получения и оптической информации, обнаружения и определения положения объектов в трехмерном пространстве оптико-электронной системой (ОЭС), позволяющей определить их геометрические признаки, дальность и координаты наблюдаемых объектов. Изобретение может быть использовано для решения задачи повышения разрешающей способности наблюдаемых объектов в наблюдаемом объеме пространства, что позволяет повысить возможности по обнаружению и определению положения объектов. Изобретение применимо в ОЭС и, в частности, в оптических информационных средствах наблюдения за удаленными объектами.

1. Известен способ получения полного пространственного разрешения наблюдаемого пространства с получением всей координатной информации об удаленных объектах с использованием двух и более одновременно сделанных изображений однотипными пространственно-разнесенными цифровыми источниками с оптическими системами 1 и 3 и фотоприемниками 2 и 4, имеющих плоские матричные фото сенсоры. Способ основан на вычислении компьютерной системой 5 координат положения соответствующих точек объектов в изображениях, полученных двумя пространственно-разнесенными системами [1]. Для осуществления этого в двух изображениях производят поиск соответствующих друг другу точек интересуемых объектов и производят расчет их пространственных координат (фиг. 1):

где разность d=x'-x''.

Недостатком известного способа является трудность поиска соответствующих точек в малоконтрастных изображениях наблюдаемых объектов. Для наблюдения протяженных объектов или объектов с большим объемом сцены требуется оптическая проектирующая система ОЭС с малым относительным отверстием, т.е. с большой глубиной резко отображаемого пространства, что обеспечивается снижением светосилы ОЭС. Существует трудность временной синхронизации нескольких ОЭС в быстро меняющейся сцене в области пространства с наблюдаемыми объектами. Известный способ не предусматривает возможность создания компактных устройств с достаточным полным пространственным разрешением. Ошибки в координатах проекций сильнее сказываются при малой диспарантности. При фиксированной дальности диспарантность пропорциональна размеру базы b, следовательно, точность измерений координат повышается с увеличением базы. Однако увеличение базы может привести к ошибкам, которые не компенсируются увеличением точности измерений.

2. Известен способ увеличения разрешения изображения из его аналога с более низким разрешением [2]. В способе используется алгоритм с более быстрыми и глубокими сверточными нейронными сетями, который позволяют иметь более высокую точность и скорость. Известно, что генеративно-состязательные сети (Generative Adversarial Network, GAN) повышают разрешение изображений (image superresolution). При этом все-таки остается нерешенной существенная проблема восстановление мелких детали текстуры при больших коэффициентах масштабирования. Способ повышения разрешения (SRGAN - Super-Resolution Using a Generative Adversarial Network) по результатам близки к значениям оригинальных изображений с высоким разрешением, чего не удавалось достичь с помощью других известных способов. В основе генеративной сети находятся в остаточных блоках с идентичной компоновкой. В каждом блоке находятся два сверочных слоя с небольшими ядрами 3×3 и 64 картами признаков, за которыми расположены слои пакетной нормализации. В качестве функции активации используется PReLU (Parametric Rectified Linear Unit). Входное изображение увеличивается попиксельно с помощью двух сверхточных слоев (фиг. 2).

Недостатком известного способа является трудоемкость построения систем трехмерного разрешения объектов, низкая надежность ввиду необходимости иметь базу изображений.

3. Известен способ цифровой системы формирования изображения с полным пространственным разрешением (Патент ЕР 2244484 А1: дата публ. 27 окт. 2010) [3]. Для синтеза изображения с использованием данных, записанных «пленоптической» камерой, содержащая линию фото сенсора, имеющую множество фото сенсоров; оптическое устройство (фиг. 3), включающее в себя основную линзу 2 и набор микролинз 6, расположенных по меньшей мере на линии фокусировки основной линзы 2, для направления света от объекта «у» на линию фото сенсора через основной объектив 2 и настройку линии микролинз 6; устройство управления для установки относительного расстояния между линией фото сенсора и настройкой микролинз; при этом для набора световых лучей, проходящих через определенный участок фокальной линии основного объектива 2, множество фотодатчиков расположены так, чтобы воспринимать различные из набора световых лучей, которые одновременно попадают на конкретный участок фокальной линии под разными углами падения, и для вывода данных об освещении, характеризующих воспринимаемые световые лучи; и процессор 5 в компьютерной настройке, программируемый для предоставления данных изображения, характеризующих синтезированное изображение в зависимости от света, воспринимаемого различными фотодатчиками, положения фотодатчиков относительно настройки микролинз 6 и угла падения воспринимаемого света на фокальную линию фото объектива основной объектив 2, в котором фокусные расстояния каждой из микролинз по меньшей мере в одномерной настройке отличаются друг от друга.

Недостатком известного способа является отсутствие возможности реализовать высоко детальное плоское разрешение в отдельных плоскостях наблюдаемого пространства, что ограничивает точность получения координатной и некоординатной информации наблюдаемых объектов.

4. Известен способ получения цифрового изображения сцены [4], включающий: генерацию данных изображения фото сенсора в ответ на обнаружение световых лучей, падающих на физическую фокальную плоскость, с использованием матрицы фото сенсоров, имеющей множество фотодатчиков (фиг. 4). При этом множество фотодатчиков одновременно обнаруживают световые лучи от сцены, которые падают на массив микролинз и передается в разные местоположения на физической фокальной плоскости. Определение угла падения световых лучей, падающих в разные местоположения на физической фокальной плоскости, с использованием данных изображения фото сенсора; и генерируют виртуальное выходное изображение, которое соответствует сцене, путем выборочного объединения данных изображения фото сенсора на основе угла падения световых лучей, так что, по меньшей мере, выбранная часть изображения перефокусируется посредством выборочной комбинации данных изображения фото сенсора, представляющих разные световые лучи. На фиг. 4 представлена схема устройство реализации способа захвата и обработки светового луча в соответствии с примером осуществления настоящего изобретения.

Недостатком известного способа является сравнительно низкая разрешающая способность плоских изображений, что не позволяет получать достаточно точной координатной и некоординатной информации об наблюдаемых объектах.

6. Известны способ и устройство получения изображений высокого разрешения [5]. Способ включает передачи световых лучей, отраженных от объекта посредством основного объектива и матрицы микролинз, сконфигурированных для фильтрации и передачи отраженных световых лучей в виде различных цветов на датчик изображения. Конфигурация схемы построена для восприятия световых лучей, сбора пикселей положений, соответствующих друг другу, из множества исходных изображений, обнаруженных датчиком изображения, генерации множества дополнительных изображений. Производится запоминание и хранение множества дополнительных изображений; обнаружения совпадения пикселей друг с другом во множестве дополнительных сохраненных изображений для получения информации о цвете и информации о глубине изображения объекта.

Устройство, реализующее способ включает в себя (фиг. 5): основной объектив 3, множество микролинз 6, датчик изображения 4, блок данных 7 и, процессор 8, сконфигурированный для сбора пикселей положений, соответствующих друг другу, из множества исходных изображений, обнаруженных датчиком изображения 4 и для генерации множества дополнительных изображений. Запоминающее устройство, сконфигурированное для хранения множества дополнительных изображений. Контроллер 9 сконфигурированный для обнаружения совпадения пикселей друг с другом во множестве дополнительных изображений, сохраненных в запоминающем устройстве, и для получения информации о цвете и информации о глубине изображения объекта. Информация о цвете и о глубине восстанавливаются без снижения разрешения. Блок данных и процессор, сконфигурированный для сбора пикселов положений, соответствующих друг другу, из множества исходных изображений, обнаруженных датчиком изображения, для генерации множества дополнительных изображений. Запоминающее устройств 7, сконфигурировано для хранения множества дополнительных изображений. Контроллер 9 сконфигурирован для обнаружения совпадения пикселей друг с другом во множестве дополнительных изображений, сохраненных в запоминающем устройстве и для получения информации о цвете и информации о глубине изображения объекта. Информация о цвете и информации о глубине восстанавливаются без снижения разрешения.

Недостатком известного способа является сравнительно низкая разрешающая способность плоских изображений, что не позволяет достаточно точного вычисления всех координатных и некоординатных признаков наблюдаемых объектов.

7. Известен способ и устройство регистрации объектов, обеспечивающий последовательное получение трехмерного изображения (светового поля) и обычного изображения высокого разрешения одной и той же наблюдаемой сцены одним устройством [6]. Способ реализуется путем механического перемещения блока микролинз 6 и оптического корректора 10 перед матрицей фотодиодов 4 (фиг. 6). Способ заключается путем последовательного переключения режима работы цифрового источника из обычного высокого разрешения в «пленооптический» регистрирующего направления хода лучей от пространственно расположенных наблюдаемых объектов.

Недостатком известного способа является низкое быстродействие и временной разрыв в получении изображений наблюдаемого пространства ввиду наличия механических подвижных частей устройства, что является ограничения на регистрацию динамических сцен наблюдаемых объектов. Нет возможности получения высокого полного пространственного разрешения.

8. Известен способ захвата световых полей с полным разрешением матричного фотоприемника [7], который состоит из механизма последовательного получения двух изображений на одном фотоприемнике двумя различными линзовыми системами (фиг. 7). Одна система фиксирует обычный сфокусированный в области фотоприемника изображение объекта, а другая с помощью дополнительного массива микролинз - в трехмерном (световом поле). Далее полученные изображения плоского и трехмерного изображения алгоритмически объединяются в одно изображение высокого пространственного разрешения. Для реализации этого способа предлагается устройство ОЭС с одним общим объективом 3 и полупроводниковым электронным блоком. Массив микролинз 6, который регистрирует световое поле, расположен за светочувствительным слоем матричного фотоприемника 4, что позволяет в один момент времени получить изображение высокого разрешения (2D) при помощи только основного объектива, а в следующий момент времени световой поток переключается 10 и отражаясь 11 выходит за пределы светочувствительного слоя и попадает на матрицу микролинз 6, а затем - на отражающий слой 11. Свет, переотражаясь обратно и проходя массив микролинз, формирует на матричном фотоприемнике массив субапертурных изображений. После этого полученные изображения объединяются, давая изображение слоев изображения с полным разрешением матричного фотоприемника. Способ основан на последовательном вычислении плоских изображений с заданными расстояниями фокусировки, получаемых «пленоптическим» способом для определения дальностных характеристик объектов. Плоское изображение с полным разрешением матричного фотоприемника служит для более точного определения геометрических характеристик наблюдаемых объектов.

Недостатком известного способа является потери света в каналах формирования изображения, неопределенность соотношения преобразования свет-сигнал, сложность конструкции устройства, реализующего способ. Конструктивное совмещение в одном устройстве двух цифровых источников на базе одной матрицы фотодиодов не обеспечивает эффективность комплексирования с повышением качества результирующего изображения, что снижает точность определения характеристик наблюдаемых объектов.

В качестве прототипа способа изобретения является способ комплексирования цифровых нескольких полутоновых изображений получаемых двумя независимыми цифровыми источниками различного разрешения, описанный в патенте [8]. Известный способ дает получение изображения повышенного качества, содержащего информативные элементы изображений одной и той же сцены, полученных в изображениях источников разного разрешения. Повышение разрешения изображения достигается тем, в способе производится комплексирование цифровых полутоновых изображений, включающем получение исходных изображений, разложение каждого исходного изображения на низкочастотные (НЧ) и высокочастотные (ВЧ) компоненты пространственного разрешения, раздельную обработку НЧ и ВЧ компонент изображений, комплексирование компонент, основанное на принципе взвешенного суммирования для каждого пикселя изображения. Для формирования результирующего изображения высокого разрешения каждое исходное изображение подвергают многоуровневой декомпозиции вейвлетом Хаара путем быстрого дискретного стационарного двумерного вейвлет-преобразования. Для получения аппроксимирующей составляющей используют НЧ компоненту изображения. Для семейства детализирующих составляющих, используют ВЧ компонентами изображения. Далее определяют значения матриц энергетических характеристик пикселей на всех уровнях разложения для каждого изображения. При их помощи осуществляют фильтрацию всех детализирующих составляющих, включающую коррекцию детализирующих составляющих, путем адаптивного изменения значений детализирующих составляющих в соответствии с межуровневой динамикой их энергетических характеристик и устранение шумовой микроструктуры путем адаптивного порогового ограничения значений детализирующих составляющих на каждом уровне разложения. После этого вычисляют для каждого разложения корректирующие функции яркости и корректирующие функции контраста, параметром которых является значение аппроксимирующей составляющей, производят выравнивание яркостных диапазонов каждого разложения путем преобразования аппроксимирующих составляющих корректирующими функциями яркости. Согласно этим вычислениям, преобразуют детализирующие составляющие корректирующей функцией контраста, которые вычисляют для каждого разложения на каждом уровне весовую функцию, параметром которой является значение энергетической характеристики для каждого пикселя на каждом уровне разложения. Вычисление компонент синтезированного изображения производят путем взвешенного суммирования значений соответствующих составляющих разложений исходных изображений, используя ранее вычисленным весовых функций. Далее производят фильтрацию всех детализирующих составляющих синтезированного изображения, включающую коррекцию детализирующих составляющих путем адаптивного изменения значений детализирующих составляющих в соответствии с межуровневой динамикой их энергетических характеристик. Устранение шумовой микроструктуры производят путем адаптивного порогового ограничения значений детализирующих составляющих на каждом уровне разложения, вычислением корректирующую функцию яркости и корректирующую функцию контраста, параметром которых является значение аппроксимирующей составляющей синтезированного изображения. Далее преобразуют аппроксимирующую составляющую корректирующей функцией яркости, преобразуют детализирующие составляющие корректирующей функцией контраста, формируют синтезированное изображение путем реконструкции при помощи обратного быстрого дискретного стационарного двумерного вейвлет-преобразования, применяемого к детализирующим составляющим синтезированного изображения и аппроксимирующей составляющей синтезированного изображения, согласуют яркостной диапазон результирующего изображения с параметрами видеосистемы.

Основа способа состоит последовательности действий алгоритмической декомпозиции исходных изображений на составляющие, их обработки и последующей реконструкции изображения (фиг. 8).

Декомпозицию и реконструкцию осуществляют при помощи быстрого дискретного стационарного двумерного вейвлет-преобразования (вейвлетом Хаара) для L уровней (L≈3), результатом которого являются:

1) cA_L- аппроксимирующая (низкочастотная) составляющая уровня L;

2) cH_n, cV_n, cD_n, n=1…L - детализирующие составляющие (горизонтальная, вертикальная и диагональная) для каждого уровня разложения.

Производят улучшение изображения путем преобразования полученных составляющих, включающее в себя фильтрацию и коррекцию значений составляющих с учетом особенностей параметров используемой видеосистемы. Фильтрация включает в себя следующие преобразования: коррекцию составляющих путем адаптивного изменения значений детализирующих составляющих в соответствии с межуровневой динамикой их энергетических характеристик; устранение шумовой микроструктуры путем адаптивного порогового ограничения значений детализирующих составляющих на каждом уровне разложения.

Для каждого уровня разложения вычисляют пространственное распределение энергетических характеристик вейвлет-коэффициентов в виде матрицы каждый элемент которой вычисляют по формуле:

где n - уровень разложения, i - номер строки, j - номер столбца.

Масштабируют матрицы энергетических характеристик для обеспечения геометрической сопоставимости энергетических характеристик разных уровней. Результатом является матрица , каждый элемент которой вычисляют по формуле:

где w_n+1 - линейный размер вейвлет-оператора на уровне n+1; Δ=w_n+1-1.

Недостатком прототипа является отсутствие непосредственного трехмерного разрешения объектов в наблюдаемом пространстве, что не позволяет проводить разрешение объектов расположенных на линии вблизи визирования цифровых источников. Также к недостаткам способа относится избыточная сложность применения алгоритмов обработки изображений в цифровых источниках, построенных в едином информационном поле.

Задачей, стоящей перед настоящим изобретением является повышение трехмерной пространственной разрешающей способности оптико-электронной системы, формирующей изображения объектов наблюдаемого пространства с целью дальнейшего повышения разрешения объектов и повышения точности определения координатных и некоординатных признаков наблюдаемых объектов, включая определение дальности до объектов вдоль линии визирования системы, в условиях их разно удаленности.

Поставленная задача решается следующим, образом. Предлагаемый способ получения изображений высокого пространственного разрешения оптико-электронным средством наблюдения за удаленными объектами позволяет решить задачу повышения разрешающей способности наблюдаемых объектов, расположенных в трехмерном пространстве и повысить точность определения координат объектов, расположенных в нем, а также повысить точность определения некоординатных признаков объектов. Для решения поставленной задачи в предлагаемом способе используется цифровая регистрация объектов наблюдаемого пространства двумя цифровыми источниками, имеющих разную информационную структуру и разное разрешение изображений в одной и той же область наблюдаемого пространства (фиг. 9).

Первый цифровой источник плоской проекции всего наблюдаемого объема пространства высокого разрешения изображений имеет объектив 1 и матрицу фотодиодов 2 высокого разрешения изображения, которые регистрируют интенсивность всех лучей, входящих в апертуру объектива цифрового источника:

Это обеспечивает получение изображения высокого пространственного разрешения в широком слое наблюдаемого пространства объектов, разно удаленных от оси визирования, определяемого глубиной резко отображаемого пространства (ГРИП) [9], определяемого параметрами используемого проектирующего объектива и размерами фотодиода матричного фотоприемника q (фиг. 10):

где Δ₁ - передняя граница ГРИП, Δ₂ - задняя граница ГРИП, s₀ - дистанция фокусировки, - фокусное расстояние объектива, - значение знаменателя (K) относительного отверстия (N) проектирующего объектива, - диаметр кружка рассеяния в плоскости изображения.

Второй цифровой источник имеет основной объектив 3 и дополнительную оптическую систему, например, в виде массива микролинз (ML) 6 расположенный на расстоянии фокусного расстояния микролинзы (ƒ_ML) перед матричным фотоприемником 4, который обеспечивает регистрацию направлений хода лучей из области объектов наблюдаемого пространства [10]. На матрице фотодиодов 4 устройства цифрового источника формируется двумерный малоразмерный массив субапертурных изображений:

Такой способ регистрации изображений от источника дает возможность алгоритмического формирование набора плоского изображения узких слоев наблюдаемого пространства с заданными параметрами (дистанция фокусировки, ГРИП, угол визирования, масштаб) [11]. Для определения дальностных характеристик наблюдаемых объектов производится формирование массива изображений разно удаленных слоев пространства, которое достигается путем алгоритмической обработки сигналов в группах фотодиодов, расположенных под микролинзами 6 (s_ij) матрицы источника, что обеспечивает получение набора изображений узких слоев наблюдаемого пространства. С учетом измененной информационной структуры второго источника указанным способом, изображение слоев имеет более низкого разрешение (NxM)₂>(KxL)₂<(NxM)₁, чем разрешение самого матричного фотоприемника второго источника (NxM)₂ на величину числа фотодиодов расположенных под микро линзами:

Ширина слоя или глубина резкости (d) и дистанция фокусировки (z) определяется алгоритмически и определяется виртуальной апертурой и количеством пикселей под микролинзой и определяет число резких слоев изображений. Для обеспечения оптимальных условий работы способа количество слоев изображений должно быть максимальным и обеспечивать бесшовное перекрытие глубину резкости первого цифрового источника. Путем известных алгоритмов обработки изображений в каждом слое наблюдаемого пространства [12] производится поиск находящихся в них объектов Ob_k&Im(z_k,d).

Далее производится расширение разращения изображений полученных узких слоев при помощи информационной структуры высокого разрешения первого источника, что обеспечивает формирование трехмерного массива изображений высокого разрешения:

где

В процессе мультиплексирования с целью обеспечения высокого качества и разрешения производят последовательное разложение на низкочастотные (НЧ) и высокочастотные (ВЧ) компоненты изображения с первого источника и разложение на низкочастотные (НЧ) и высокочастотные (ВЧ) компоненты набора изображений со второго источника, обеспечивая возможность получения высокого разрешения объектов в каждом узком слое пространства. Процесс разложения (splitting) дерева применен как для НЧ, так и ВЧ компонентам сигнала (фиг. 11, фиг. 12) [13]. Анализ яркостной структуры объектов в изображении каждого слоя обеспечивает получение дальностных координат объектов (фиг. 13, фиг. 14). Модифицированный дальностный слой изображения, содержащий обнаруженные объекты со второго цифрового источника мультиплексируют с изображением первого цифрового источника [8] известным способом и далее его используют для получения высокоточной координатной и некоординатной информации объекта известными алгоритмами (фиг. 15, фиг. 16) [14], что при более высоком разрешении и качестве изображения [15] обеспечивает повышение точности.

Сущность изобретения заключается в информационном совмещении различных информационных структур двух источников для соответствующих групп пикселей изображений наблюдаемых объектов при использовании наборов различные размеров и размерностей фотодиодов двух цифровых источников. В плоскости двух фотоприемников цифровых источников получается два изображения одной и той же области наблюдаемого пространства с объектами наблюдения в информационной структуре двухмерного и трехмерного отображения объектов наблюдаемого объема. На основе полученного цифрового файла второго источника, регистрирующего направления хода лучей от объектов наблюдаемого пространства, алгоритмически определяют набор изображений низкого разрешения в разно удаленных слоях пространства, позволяющих определить дальностную координату обнаруженных в них объектов, которое мультиплексируется с сигналами с фотодиодов высокого разрешения первого цифрового источника. Из анализа яркостной структуры и функций ее градиента границ, соответствующих наблюдаемых объектов, получают информацию о принадлежности объектов выделенному слою пространства, определяя тем самым его удаленность. Мультиплексирование изображение выделенного слоя пространства с изображением высокого разрешения дает изображение узкого слоя пространства значительно более высокого разрешения. Проводя групповой анализ яркостных сигналов полученной матрицы высокого разрешения, дает возможность максимально точно получать координатную и некоординатную информацию в плоской проекции слоев пространства с заданном удалении. Обнаружение объектов, определение их координат и геометрических признаков производится известной алгоритмической обработкой изображений слоев в найденном удалении.

Кроме того, при использовании предлагаемого способа получения изображений высокого пространственного разрешения оптико-электронным средством наблюдения пространства, реализуется ряд новых возможностей:

- повышение двухмерного разрешения оптического средства по отношению к разрешению одно матричных средств, за счет субпиксельного информационного сдвига в матрицах [1];

- вычисление геометрических размеров и координатного расположения объектов друг относительно друга и других объектов по трем координатам в наблюдаемом пространстве производится с более высокой точностью;

- имеет более точное определение расстояния до объектов наблюдения по сравнению со средством имеющих один информационный источник;

- регистрация наблюдаемого пространства производится в один момент времени, что повышает обнаружительную способность ОЭС и упрощает анализ трехмерного расположения объектов в наблюдаемом пространстве.

- разрешение нескольких объектов наблюдения расположенных близко к направлению визирования оптического средства;

- компактность по сравнению к многопозиционным оптическим средствам наблюдения.

Технический результат изобретения является получение изображений высокого пространственного разрешения оптико-электронным средством наблюдения за удаленными объектами, что позволит повысить разрешающую способность и точность определения координат и геометрических признаков объектов в наблюдаемом трехмерном пространстве, а также обеспечивает возможность быстрого поиска и детального распознавания объектов в наблюдаемой области пространства в каждый момент времени.

Для достижения технического результата предлагаемого способа получения изображений высокого пространственного разрешения оптико-электронным средством наблюдения за удаленными объектами производится одновременная цифровой регистрацией всей совокупности лучей от наблюдаемых объектов в полном телесном угле наблюдения первым цифровым источником изображения высокого разрешения и дополнительная цифровая регистрация наборов различных совокупностей направлений лучей от объектов в том же наблюдаемом пространстве вторым цифровым источником. Регистрация вторым цифровым источником посредством алгоритмической обработки обеспечивает формирование полного набора изображений узких слоев наблюдаемого пространства по дальности, что обеспечивает возможность обнаружения объектов в дальностных слоях пространства. Далее каждое изображение сформированных слоев пространства второго цифрового источника расширяются до разрешения изображения первого цифрового источника. Расширение разрешения в изображениях слоев дальности наблюдения осуществляется путем замещения детализирующих фильтров дискретного вейвлет преобразования известным способом. При этом второй цифровой источник визируется в тот же объем пространства и производит алгоритмическое формирование изображений объектов в каждом из полученных слоев пространства, производится обнаружение наблюдаемых объектов в них, определяется дальность объектов по удаленности слоя пространства. Формирование выделенных удаленных слоев пространства производится на базе линейных комбинаций субапертурных сигналов фотодиодов матричного фотоприемника второго цифрового источника, при этом обнаружение объектов производится выделением информационных признаков из массива полученных данных обработки. Вычисление координатных и геометрических признаков объектов содержащего информативные элементы изображений объектов одной и той же сцены производится после мультиплексирования изображений выделенных слоев с изображением высокого разрешения первого цифрового источника, что обеспечивает определение дальности объектов и повышение точности их координатных и геометрических признаков. Процесс мультиплексирования заключается в дополняющем объединении данных, полученных в различных информационных диапазонах первого и второго цифрового источника. Комплексирование в разных цифровых информационных диапазонах достигается, путем разложения изображения первого цифрового источника и каждого из набора изображений второго цифрового источника на низкочастотные (НЧ) и высокочастотные (ВЧ) компоненты, раздельную обработку НЧ и ВЧ компонент изображений, основанное на принципе взвешенного суммирования для каждого пикселя, формирование результирующего изображения. Все изображения подвергают многоуровневой декомпозиции вейвлетом Хаара путем быстрого дискретного стационарного двумерного вейвлет-преобразования с целью получения аппроксимирующей составляющей, представляющей из себя НЧ компоненту изображения, и семейства детализирующих составляющих, являющихся ВЧ компонентами изображения. Из значений матриц энергетических характеристик пикселей на всех уровнях разложения для каждого изображения, осуществляют фильтрацию всех детализирующих составляющих, устранение шумовой микроструктуры, вычисляют для каждого разложения корректирующие функции яркости и корректирующие функции контраста. Формирование синтезированного изображения слоя пространства высокого разрешения производиться путем реконструкции компонент с учетом взвешенного замещения составляющих компонент вейвлет декомпозиции при помощи обратного быстрого дискретного стационарного двумерного вейвлет-преобразования, применяемого к детализирующим составляющим синтезированного изображения и аппроксимирующей составляющей синтезированного изображения, при этом согласуют яркостной диапазон результирующего изображения с параметрами оптико-электронной системы.

Примером оптико-электронной системы, реализующей предлагаемый способ, является система, построенная по структурной схеме (фиг. 9). Система содержит два цифровых источника: первый на базе оптико-электронной системы высокого разрешения с проектирующим объективом 1, матрицы фотодиодов 2, второй - «пленооптический», имеющий: проектирующий объектив 3, матрицу фотодиодов 4 и массив микролинз 6 перед матрицей фотодиодов, которые создают одновременно два файла изображений и систему обработки информации 5.

На фиг. 9 приведена структурная схема оптико-электронной системы регистрации наблюдаемого пространства, реализующая предложенный способ, где 1 - объектив цифровой камеры высокого разрешения, 2 - матричный фотоприемник камеры высокого разрешения, 3 - основной объектив «пленооптической» цифровой камеры, матричный фотоприемник 4 - матричный фотоприемник «пленооптической» цифровой камеры, 5 - вычислительная система, 6 - массив микролинз. На фиг. 10 приведена оптическая схема регистрации объектов объема наблюдаемого пространства с высоким разрешением. На фиг. 11 структура вейвлет декомпозиции изображения, где A₁, - аппроксимирующая составляющая, D₁ детализирующая составляющая декомпозиции первого уровня, A_k D_n (…) - аппроксимирующие и детализирующие составляющие следующих уровней декомпозиции. На фиг. 12 алгоритм Мала разложения изображения на низкочастотные (НЧ - Lo) и высокочастотные (ВЧ - Hi) компоненты изображения. На фиг. 13 представлена иллюстрация вейвлет декомпозиции тестового изображения наблюдения с имитацией расфокусировки изображения. На фиг. 14 представлена иллюстрация дерево вейвлет декомпозиции тестового изображения. На фиг. 15 представлены функции программного средства для дискретного вейвлет анализа в среде программирования National Instruments. На фиг. 16 представлен интерфейс программы получения координатной и некоординатной информации по изображениям высокого разрешения.

Компьютерная система производит вычисление изображений слоев наблюдаемого пространства в малом разрешении МФП второй цифровой камеры, совмещение изображений с изображениями в полном разрешении, их дальнейшую обработку, определение координат и необходимых геометрических характеристик (размера, формы) объектов. Количество и глубина слоев наблюдаемого пространства определяются параметрами оптической схемы второго цифрового источника [16], вычисляемой виртуальной апертурой, определяющей глубину резко отображаемого слоя пространства, которая в несколько раз превышает основной проектирующий объектив [11].

Реализуемость предложенного способа обусловлена несколькими аспектами:

1. Возможностями предприятий промышленности по изготовлению цифровых «пленооптических» камер (светового поля) сочетающихся с различной оптикой [16]. Характеристики выпускаемых «пленооптических» камер представлены в таблице 1 [11], возможности их автоматической коммуникаций с компьютерной системой [17].

2. Возможностями предприятий промышленности по изготовлению цифровых камер высокого разрешения, сочетающихся с различными оптическими средствами удаленного наблюдения и соответствующими присоединительными размерами. Характеристики некоторых выпускаемых камер высокого разрешения представлены в таблице 2 [18].

3. Наличием алгоритмов и программного обеспечения получения высокоточной координатной и некоординатной информации [14], а также имеющегося прототипа программного обеспечения обработки файлов, полученных с «пленоптических» камер оптической системы с массивом микролинз [11].

4. Наличием прототипов алгоритмов мультиплексирования для изображений различного разрешения на базе вейвлет преобразований [19].

5. Наличием специального программного обеспечения ввода изображений с различных цифровых источников [17] (реализованных в среде программирования LabVIEW [20], с модулем технического зрения IMAQ Vision [21]), и алгоритмы измерений и обработки изображений с высокой глубиной проработки, [22] алгоритмами и программами калибровки цифровых камер [23] и цифровых камер светового поля [24].

Наличие вычислительных средств достаточной производительности для реализации средства заявляемого способа. Достаточная эффективность вычислительных средств для реализации алгоритмов на базе вейвлет-анализа [25].

Использование предложенного способа позволит повысить эффективность современных ОЭС обнаружения и идентификации объектов в каждый момент времени при минимальных массогабаритных размерах оптического средства.

В располагаемых источниках информации не обнаружено технических решений, содержащих в совокупности признаки, сходные с отличительными признаками заявляемого способа. Следовательно, изобретение соответствует критерию изобретательский уровень.

Наличие новых существенных признаков совместно с известными и общими с прототипом позволило создать новое изобретение - способ получения высокого пространственного разрешения оптико-электронным средством наблюдения за удаленными объектами.

Источники информации

[1] Sayyedbarzani S. A. and Emam S. М. Evaluation of the quantization error in convergence stereo cameras // Journal of Optical Technology Vol.87, Issue 8, pp.495-500. (2020).

[2] Аверин Д.С., Марков E.M. Разработка структуры нейронной сети для увеличения разрешения изображения // Информационные технологии в науке, промышленности и образовании: Сборник трудов региональной научно-технической конференции 31 мая 2018 г. - Ижевск: Ижевский государственный технический университет имени М.Т. Калашникова, 2018. - С. 107-113.

[3] Digital imaging method for synthesizing an image using data recorded with a plenoptic camera. Патент ЕР 2244484 A1: дата публ. 27 окт. 2010.

[4] Imaging arrangements and methods therefore. Patent No.: US 7936392 B2: 1 окт. 2004, 3 май 2011.

[5] Photographing device and photographing method for taking picture by using a plurality of microlenses. Patent No.: US20140204183 A1

[6] Patent No.: US 2014/00782 A1 Light field image capture device and image sensor. Pub. Date: Mar. 20, 2014.

[7] Patent No. 20140078259 Light field image capture device and image sensor. Pub. Date: Mar. 20, 2014.

[8] Способ комплексирования цифровых многоспектральных полутоновых изображений. Патент RU2342701C1 опубл. 27.12.2008.

[9] Махов В.Е., Потапов А.И., Шалдаев СЕ. Контроль геометрических параметров изделий методом светового поля // Контроль. Диагностика. 2017. №7. С. 12-24.

[10] Ng R. Digital light field photography // A dissertation submitted to the department of computer science and the committee on graduate studies of Stanford university in partial fulfillment of the requirements for the degree of doctor of philosophy. @ Copyright by Ren Ng 2006. - 187 p.

[11] Махов B.E., Потапов А.И., Закутаев A.A., Принципы работы цифровых камер светового поля с массивом микролинз // Компоненты и технологии. 2018. №1 (226). С. 66-72.

[12] Махов В.Е., Потапов А.И. Выделение информационных полей формы и дефектов поверхности методом регистрации светового поля // Контроль. Диагностика. 2018. №3. С. 28-38.

[13] Добеши И. Десять лекций по вейвлетам. - Ижевск: НИЦ «Регулярная и хаотическая динамика»2001. - 464 с.

[14] Махов В.Е., Петрушенко В.М., Емельянов А.В., Широбоков В.В., Потапов А.И. Технология разработки алгоритмов программного обеспечения оптико-электронных систем наблюдения за удаленными объектами // Вестник компьютерных и информационных технологий. 2021. Т. 18. №10 (208). С. 10-21.

[15] Махов В.Е., Шалдаев С.Е., Потапов А.И., Смородинский Я.Г. Влияние качества изображений в оптико-электронных системах на точность определения исследуемых параметров объектов // Дефектоскопия. 2020. №7. С. 28-43.

[16] 3D Light Field Camera Technology / Raytrix GmbH, Germany, 2013, [Электронный ресурс]. URL: http://www.isolutions.com.sg/Raytrix.pdf.

[17] Махов B.E. Орлов Д.В., Репин О.С, Потапов А.И. Построение оптических систем технического зрения с цифровыми камерами высокого разрешения // Вестни компьютерных и цифровых технологий, 2014. №9. С. 55 -22.

[18] Сайт компании: ZWO Cameras and Accessories | Astrophotography | Lowest Pricing URL: http://www.zwo-cameras.com

[19] Борисова, И.В. Применение вейвлет-преобразования для слияния многоспектральных изображений / И.В. Борисова // Компьютерная оптика. -2020. - Т. 44, №2. - С. 259-265.

[20] Travis J., Kring J. LabVIEW for Everyone: Graphical Programming Made Easy and Fun, Third Edition: Prentice Hall. 2007, - 981 p.

[21] Klinger T. Image processing with Labview and Imaq Vision (National Instruments Virtual Instrumentation Series). - Prentice Hall Professional, 2003. - 319 p.

[22] Махов B.E., Потапов А.И., Широбоков B.B., Емельянов А.В. Построение алгоритмов оптического контроля малоразмерных удаленных световых объектов // Контроль. Диагностик, №6 2021. С. 15-27.

[23] Махов В.Е. Репин О.С, Потапов А.И. Исследование алгоритмов автоматизированной калибровки оптико-электронных измерительных систем с матричными фотоприемниками // Контроль. Диагностика. №8, 2014. С. 67-74.

[24] Bok Y., Jeon H.-G., Kweon I.S. Geometric Calibration of micro-lensbased light field cameras using line features. // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, vol. 39, no. 2, pp. 287-300.

[25] Махов B.E. Использование алгоритмов вейвлет-анализа в исследовании кинетики формирования порошково-обжиговых покрытий // Конструкции из композиционных материалов, №3, 2010. С. 28-36.

Изобретение относится к методам оптического наблюдения, а более конкретно к получению информации оптическим методом, обеспечивающим обнаружение и определение положения объектов в трехмерном пространстве оптико-электронной системой, позволяющей определить их координаты и геометрические признаки, дальность до наблюдаемых объектов. Заявленный способ получения изображений высокого пространственного разрешения оптико-электронным средством наблюдения за удаленными объектами достигается одновременной регистрацией всей совокупности лучей от наблюдаемых объектов в полном телесном угле наблюдения первым цифровым источником высокого разрешения и дополнительной цифровой регистрацией наборов различных совокупностей направлений лучей от объектов в том же наблюдаемом пространстве второй оптической системой. Далее изображения сформированных слоев пространства дополнительной системы регистрации расширяются до разрешения первой оптической системы регистрации путем замещения детализирующих фильтров дискретного вейвлет-преобразования известным способом. При этом вторая оптическая система визируется в тот же объем пространства и производит алгоритмическое формирование изображений объектов в каждом из полученных слоев пространства, производит обнаружение наблюдаемых объектов в них, определяя дальность объектов по удаленности слоя пространства. Формирование выделенных удаленных слоев пространства производится на базе линейных комбинаций субапертурных сигналов фотодиодов матричного фотоприемника дополнительной системы регистрации, при этом обнаружение объектов производится выделением информационных признаков из массива полученных данных обработки. Вычисление координатных и геометрических признаков объектов содержащего информативные элементы изображений объектов одной и той же сцены производится после мультиплексирования изображений выделенных слоев с изображением высокого разрешения. Процесс мультиплексирования заключается в дополняющем объединении данных, полученных в различных информационных диапазонах первой и второй систем регистрации. Комплексирование в разных цифровых информационных диапазонах достигается путем разложения изображения первого цифрового источника и каждого из набора изображений второго цифрового источника на низкочастотные (НЧ) и высокочастотные (ВЧ) компоненты, раздельную обработку НЧ и ВЧ компонент изображений, основанное на принципе взвешенного суммирования для каждого пикселя, формирование результирующего изображения. Все изображения подвергают многоуровневой декомпозиции вейвлетом Хаара путем быстрого дискретного стационарного двумерного вейвлет-преобразования с целью получения аппроксимирующей составляющей. Из значений матриц энергетических характеристик пикселей на всех уровнях разложения для каждого изображения осуществляют фильтрацию всех детализирующих, устранение шумовой микроструктуры, вычисляют для каждого разложения корректирующие функции яркости и корректирующие функции контраста. Формирование синтезированного изображения слоя пространства высокого разрешения производится путем реконструкции компонент с учетом замещения при помощи обратного быстрого дискретного стационарного двумерного вейвлет-преобразования, при этом согласуют яркостный диапазон результирующего изображения с параметрами оптико-электронной системы. Технический результат - повышение разрешающей способности и точности определения координат и геометрических признаков объектов в наблюдаемом трехмерном пространстве, а также возможность быстрого поиска и детального распознавания объектов в наблюдаемой области пространства в каждый момент времени. 16 ил., 2 табл.

Способ получения изображений высокого пространственного разрешения оптико-электронным средством наблюдения за удаленными объектами, включающий получение нескольких исходных изображений с разных цифровых источников с разным разрешением, вычисление матрицы энергетических характеристик пикселей изображений на всех уровнях дискретной вейвлет-декомпозиции для каждого изображения, при помощи которой осуществляют фильтрацию яркостной микроструктуры путем адаптивного порогового ограничения значений детализирующих составляющих на каждом уровне дискретной вейвлет-декомпозиции и формирование результирующего изображения наблюдаемого пространства высокого пространственного разрешения, отличающийся тем, что первое исходное изображение получают с цифрового источника формирующего двумерную цифровую информационную структуру проекции широкого дальностного слоя объема наблюдаемого пространства в плоскость своего матричного фотоприемника путем регистрации всей совокупности лучей от наблюдаемых объектов в полном телесном угле наблюдения первого цифрового источника высокого разрешения, в качестве второго исходного изображения последовательно используют элементы массива изображений дальностных узких слоев наблюдаемого объема пространства полученного со второго цифрового источника регистрирующего массив различных совокупностей направлений хода лучей от объектов наблюдаемого пространства, позволяющего алгоритмически формировать изображения разноудаленных узких слоев наблюдаемого пространства в пределах дальностного слоя пространства наблюдения первым цифровым источником, в которых производят обнаружение объектов наблюдаемого пространства, при этом вычисление матриц энергетических характеристик пикселей изображений на всех уровнях вейвлет-декомпозиции для каждого изображения осуществляют на основе анализа энергетических характеристик пикселей в детализирующих составляющих дискретного вейвлет-преобразования для последовательного алгоритмического выделения яркостной структуры всех объектов наблюдения в массиве изображений узких слоев наблюдаемого пространства, после чего с учетом найденных яркостных структур объектов производят удаление соответствующих аппроксимирующих и детализирующих составляющих яркостных структур объектов, принадлежащих другим дальностным слоям наблюдаемого пространства, при этом формирование результирующего изображения наблюдаемого пространства высокого пространственного разрешения осуществляют путем последовательного формирования трехмерной информационной цифровой структуры высокого разрешения на основе дискретного вейвлет-мультиплексирования изображений высокого разрешения первого цифрового источника и модифицированных изображений слоев пространства низкого разрешения со второго цифрового источника.