СПОСОБ ПОЛУЧЕНИЯ ЧЕТЫРЕХМЕРНЫХ ЯРКОСТНО-СПЕКТРАЛЬНЫХ ПРОФИЛЕЙ УДАЛЕННЫХ ОБЪЕКТОВ И УСТРОЙСТВО ДЛЯ ЕГО РЕАЛИЗАЦИИ Российский патент 2024 года по МПК G01S17/06 

Область техники, к которой относится изобретение

Изобретение относится к области оптических наблюдений, а более конкретно к получению информации оптическими методами, обеспечивающими обнаружение и определение положения объектов в наблюдаемом пространстве оптико-электронной системой, позволяющей определить их координаты и геометрические признаки. Изобретение обеспечивает повышение вероятности обнаружения оптических средств наблюдения и может быть использовано для обнаружения и определения положения объектов в наблюдаемом объеме пространства, расширяет возможность и область применения оптических систем для решения задач автоматизированного поиска и идентификации объектов в наблюдаемом пространстве. Изобретение применимо, в частности, в оптических информационных средствах наблюдения за удаленными объектами.

Уровень техники

Известны способ получения яркостно-спектральных изображений объектов (гиперспектральной) информации [1] реализуемые различными схемными решениями наблюдения объектов оптико-электронной системой (ОЭС) (фиг. 1), включая получение спектральной яркостной структуры изображения объекта (1) проектирующим объективом (2) на фотоприемнике (3). Спектральную яркостную информацию получают дисперсией лучей света в ОЭС элементом (4) (фильтры, призма, дифракционная решетка).

Каждое схемное решение способа имеет ряд преимуществ и недостатков.

1. Известна схема получения яркостно-спектральных изображений объектов путем точечного сканирования поля зрения ОЭС [2] (фиг. 1а), при котором спектральная информация (по оси OZ) собирается для каждой пространственной координаты (х,у) в каждый момент времени (t). Этот схема предлагает самый высокий уровень спектрального разрешения (оси OZ - λ). Такой подход требует, чтобы устройство сканировала целевую область по обеим осям OX и ОУ, что значительно увеличивает общее время сбора данных. Устройства точечного сканирования могут иметь компактный размер, малый вес, более простое управление и более высокое отношение сигнал/шум.

Недостатком способа является то, что неправильное время экспозиции приведет к непостоянной насыщенности или недодержке спектральных полос.

2. Известна схема получения яркостно-спектральных изображений объектов на основе линейного сканирования поля зрения ОЭС [3] (фиг. 1б). В этой схеме требуется одна ось сканирования или пространственное перемещение ОЭС, поскольку линейный ряд пикселей сканирует область для захвата спектральной и позиционной информации.

Недостатком способа при линейном сканировании является невысокое быстродействие ввиду необходимости осуществлять линейное перемещение устройства.

3. Известна схема получения яркостно-спектральных изображений объектов на основе плоского сканирования поля зрения ОЭС [4] (фиг. 1в) В этой схеме отображается сразу вся двумерная область (OXY) в каждом интервале длин волн (Δλ). Способ включает в себя последовательные захваты изображений поля зрения для создания спектральной глубины куба (гиперспектральных данных). Метод захвата не требует перемещения датчика или всей системы, но следует учитывать расположение объекта так, чтобы объект не двигался во время захвата.

Недостатком способа на основе плоского сканировании является то, что в случае механической нестабильности точность позиционной и спектральной информации будет нарушена.

4. Известна схема способа получения яркостно-спектральных изображений объектов поля зрения ОЭС на основе моментального снимка [5]. В схеме моментального снимка (фиг. 1г) устройство собирает весь куб гиперспектральных данных за один период работы. Однократный снимок представляется предпочтительным для реализации гиперспектрального сбора информации (HSI),

Недостатком способа в схеме моментального снимка является то, что в настоящее время он ограничен сравнительно более низким пространственным и спектральным разрешением, поэтому требует дальнейшей разработки устройств реализации способа.

5. Известен способ одновременного получения координатных яркостных и спектральных данных (схема моментального снимка) посредством технологического внедрения спектральных фильтров в топологию матричного фотоприемника (МФП) [6]. Спектральные фильтры (4) расположены таким образом, что близко расположенные фотодиоды в группах МФП (2) (фиг. 2а) получают различную спектральную информацию, далее алгоритмически для каждой координаты фотодиода вычисляют интенсивность спектральной яркости. Данный способ реализован в ряде оптико-электронных устройств, например, в [7].

Недостатком способа является ограниченное количество спектральной информации, снижение качества координатной информации, прореживание геометрической информации, взывающее геометрический шум. Для датчиков изображения мозаичного типа характерна потеря пространственного разрешения в цветных деталях, риск возникновения эффектов муара и артефактов, а необходимость борьбы с этими эффектами приводит к необходимости дополнительного использования размывающего фильтра, который, в свою очередь, снижает разрешающую способность и микро контраст.

6. Известен способ одновременного получения координатных яркостных и спектральных данных (методом моментального снимка) использующий эффект длины проникновения изучения с разной длиной волны в полупроводник [8] включающий снятие сигналов с электродов полупроводника, интегрированных на разную глубину полупроводника (фиг. 2б). Такой способ позволяет получить полную информацию по разным диапазонам длин волн в одной точке.

Указанный способ реализуется в ОЭС с МФП типа Faveon. Фотодиоды, формирующие цветной элемент изображения, расположены друг над другом. Синяя часть спектра поглощается верхним слоем (толщина 0,4 мкм), зеленая средним (толщина 2 мкм) и красная нижним слоем (более 2 мкм), разделенных p-n-переходами и имеющими отдельные выводы сигнала. Это позволяет получить полную информацию по разным цветовым каналам в одной точке.

Такой способ отличается от способа с фильтрами, где каждый элемент спектрального изображения образуется комбинацией одноцветных сигналов с группы, рядом расположенных на поверхности сенсора фотодиодов-субпикселей, покрытых цветными фильтрами. В отличие от байеровских фото сенсоров в сенсорах Foveon цветные фильтры не используются и, благодаря сбору сигнала по трем цветовым каналам в одной точке, отпадает нужда в интерполяции сигналов цветных субпикселов при формировании изображения.

Недостатком способа является ограниченное количество спектральной информации. Благодаря малой (менее 5 мкм) толщине сенсора, возможное влияние хроматических аберраций на изображение минимально. Однако, поглощение красной части спектра происходит на максимальной глубине. В результате паразитной диффузии фотоэлектронов и засветки косыми лучами в области максимальных длин волн происходит дополнительное размытие изображения. Этот же эффект затрудняет уменьшение размера элемента и повышение разрешения. Также еще одним недостатком способа является снижение качества яркостно-координатной информации.

7. Известен способ визуализации для моментального много спектрального изображения [9, 10] (фиг. 3). В способе осуществляется получение многоспектрального изображения объектов (1) с использованием формирующего объектива (2), который сочетает в себе набор нескольких спектральных фильтров (4) и поляризационных фильтров (5), а также датчик изображения (3) с цветовой поляризацией по пикселям. На базе способа создан прототип девятидиапазонной мультиспектральной камеры [9], который охватывал диапазон от видимого до ближнего инфракрасного диапазона и имеет компактные размеры. Спектральные характеристики прототипа оценивались с помощью экспериментов.

Повысить количество спектральных слоев позволяет использование дифракционной оптической сети с использованием одновременной когерентной оптическую визуализация и спектральная маршрутизация/фильтрация для получения мультиспектральной визуализации путем создания периодического массива виртуальных фильтров на выходе [10].

В альтернативных реализациях способа известна дифракционная мультиспектральная сеть (фиг. 4) которая за плоскостью изображения камеры перед датчиком изображения (3), передает мультиспектральное изображение объекта на плоскость монохромного датчика изображения.

Недостатком способа является ограниченное количество получаемой спектральной информации, а также необходимость экспериментальной калибровки устройства.

8. Известен способ получения яркостных спектральных изображений объектов на базе различных конструктивных схемных решений оптических модулей интегрального светового поля [11] формирующих фрагменты изображений удаленных объектов наблюдаемого пространства для их последующего преобразования элементом диспергирующим длины волн в плоскость фотоприемника с получением координатно-спектральной информации, обеспечивающую формирование трехмерной яркостно-спектральной информации (куба). Схемные решения способа спектроскопии интегрального поля показаны на фиг. 5.

Первые три варианта схемных решений (фиг. 5а, 6, в) описаны в [12], а четвертое схемное решение (фиг. 5 г) описано в [13] как средство предоставления 1 млн. пикселей.

Недостатки способа, определяются ключевыми технологическими вопросами, определяющие показатель качества, относящийся к количеству пикселей детектора, так и доминирует в аппаратных затратах на реализацию устройства.

9. Известен способ получения четырехмерной информации, об объектах наблюдаемого ОЭС пространства посредством формирования информационной структуры в двухмерном массиве реализованными группами фотодиодов одного МФП входящего в состав ОЭС. Способ получения четырехмерной информации иллюстрируется (фиг. 6) [14, 15] осуществляется путем регистрации различных совокупностнй направления хода лучей от наблюдаемых объектов (1). Проекционная модель цифрового пленоптического устройства (светового поля - СП) на основе микролинз показана на фиг. 6. Согласно схеме с помощью массива микролинз, расположенного после проектирующего объектива (2) перед МФП (3), входящие лучи направляются на различные фотодиоды групп массива фотодиодов под микролинзами (6). В известном способе каждая микролинза распределяет падающие на нее световые лучи в разные фотодиоды под-линзовых групп фотодиодов [15].

В известном способе получение спектральной информации осуществляется дополнительными расположенными на поверхности матрицы фотодиодов (3) спектральными фильтрами (4), что реализовано в устройствах выполненных данным способом.

В настоящее время рядом фирм разрабатываются и серийно выпускаются однокамерные регистратора СП с микролинзами: «Raytrix GmbH» (Патент ЕР 2244484 А1: дата публ. 27 окт. 2010), «Lytro Inc.» (US 7936392 В2: 1 окт. 2004, 3 май 2011). Разработку аналогичных принципов регистраторов СП в настоящее время ведут многие известные фирмы, например «Samsnng Electronics Co., Ltd.» (Патент US20140204183 Al: дата публ.24 июл. 2014), «Pixar» (Патент US20110169994 Al, 14 июл. 2011), «Adobe Systems Inc. », «Sony Corporations, и др.

Недостатком способа является ограниченное количество спектральной информации, снижающее количество координатной информации, прореживание геометрической информации, взывающее геометрический шум.

10. Известен способ, при котором на матрице фотодиодов фиксируется информация о распределении направлений световых лучей, входящих в устройство цифровой камеры [16. Схема пленоптического устройства реализующее данный способ (фиг. 7) включает в себя основной объектив (2), который принимает лучи света от объектов (1), направляет полученный свет объективом (2) в плоскость фото сенсора (3). Устройство включает в себя также матрицу фотодиодов (3), расположенную в плоскости изображения наблюдаемых объектов, которая регистрирует лучи света создающих изображения. Пленоптическое устройство получения изображений дополнительно включает в себя массивы оптических элементов (4) и (5), расположенных между наблюдаемыми объектами (1) и основным объективом (2). Каждый оптический элемент в этом массиве получает лучи света от поля объекта (1) под другим углом, чем другие оптические элементы в массиве, следовательно, направляет другой вид поля зрения в основной объектив. Таким образом, матрица фотодетекторов получает различные виды поля объекта (1) от каждого оптического элемента в матрице. Вычислительное устройство формирует поле изображения с заданными параметрами.

Недостатком способа и устройства, является отсутствие спектральной информации в изображении, снижение разрешения получаемого изображения по отношению к размеру матрицы фотодиодов.

11. Известны способ и устройство получения изображений пространственного и спектрального разрешения объектов наблюдения ОЭС [17]. Способ включает передачи световых лучей, отраженных от объектов наблюдения (1) посредством основного объектива (2) и матрицы микролинз (6), сконфигурированных для фильтрации и передачи отраженных световых лучей в виде различных цветов на датчик изображения (4). Конфигурация схемы построена для восприятия световых лучей, сбора пикселей положений, соответствующих друг другу, из множества исходных изображений, обнаруженных датчиком изображения, генерации множества дополнительных изображений. Производится запоминание и хранение множества дополнительных изображений; обнаружения совпадения пикселей друг с другом во множестве дополнительных сохраненных изображений для получения информации о цвете и информации о глубине изображения объекта.

Структурная схема устройства реализующее способ получения изображений с определением информации цвета (фиг. 8), включает в себя: основной объектив (2), множество микролинз (6), датчик изображения (4), блок данных (9) и процессор (7), сконфигурированный для сбора пикселей положений, соответствующих друг другу, из множества исходных изображений, обнаруженных датчиком изображения (3) и для генерации множества дополнительных изображений. Запоминающее устройство (9), сконфигурированное для хранения множества дополнительных изображений. Контроллер (8) сконфигурированный для обнаружения совпадения пикселей друг с другом во множестве дополнительных изображений, сохраненных в запоминающем устройстве (9), и для получения информации о цвете и информации о глубине изображения объекта. Информация о цвете и о глубине восстанавливаются без снижения разрешения. Блок данных и процессор, сконфигурированный для сбора пикселей положений, соответствующих друг другу, из множества исходных изображений, обнаруженных датчиком изображения (3), для генерации множества дополнительных изображений. Запоминающее устройство (9), сконфигурировано для хранения множества дополнительных изображений. Контроллер (7) сконфигурирован для обнаружения совпадения пикселей друг с другом во множестве дополнительных изображений, сохраненных в запоминающем устройстве и для получения информации о цвете и информации о глубине изображения объекта. Информация о цвете и информации о глубине восстанавливаются без снижения разрешения.

Недостатком известного способа является сравнительно низкая спектральная разрешающая способность плоских изображений, что не позволяет достаточно точного вычисления всех координатных и некоординатных признаков интересуемых объектов.

12. Известен способ получения яркостных спектральных изображений объектов на основе получения и обработки спектрофотометрической информации (СФИ), которые позволяют определить оптимальные условия регистрации и обработки информации, полученной от удаленных объектов [18]. При регистрации удаленных световых объектов оптический дифракционный элемент расположен перед объективом цифровой камеры (фиг. 9). При этом на получаемом изображении будут наблюдаться как сами объекты, так и их спектры, что дает дополнительные возможности для повышения точности их идентификации.

Недостатком способа и устройства является невозможность одновременного получения яркостно-спектральной информации по двум координатам в одном устройстве, трудоемкость спектральной калибровки устройства, паразитное влияние дальности объекта наблюдения.

Наиболее близкий к изобретению является способ спектрометрии интегрального поля [19]. На фиг 10 изображена принципиальная оптическая схема мультиспектрального модуля интегрального поля с массивом микролинз. Регистрация яркостно-мультиспектральных изображений объектов (1) осуществляется путем получения спектральной информации от деленного на части массивом микролинз (6) двумерного поля зрения оптической системы (2) с последующим формированием массива коллимированных пучков лучей объективом (10), которые после диспергирующего элемента (4) и фокусирующего объектива (11) формируют на фотоприемнике 3 массив спектральных изображений [19].

Каждая микролинза массива (6) изображает зрачок оптической системы (2) очень маленького диаметра, который служит предметом для спектрального блока, формирующего массив яркостных информационных структур на матричном фотоприемнике. Световой пучок из фокальной" плоскости оптической системы (телескопа) (1) попадает на массив микролинз (2). Коллиматорныи объектив (10) формирует параллельный пучок, который далее раскладывается с помощью диспергирующего элемента (4) на монохроматические составляющие. Фокусирующий объектив (11) создает в плоскости приемника 1 монохроматические изображения входной щели.

Недостатком известного способа использующего деление двухмерного поля зрения массивом микролинз с последующим формированием яркостно-спектральной информационной структуры на приемнике является трудности исключения переналожения полей спектров на фотоприемнике, снижение пространственного разрешения из-за потери полезной площади фотоприемника, отсутствие возможности формировать слоев изображений в заданных спектральных диапазонах. Реализация известного способа является известный комплекс [19], именуемый дальше как устройство.

Наиболее близким к заявляемому устройству является устройство «OSIRIS» (Suppressing InfraRed Imaging Spectrograph) [20], использующее микролинзы в качестве элемента для деления поля (фиг. 11). Устройство «OSIRIS» работает с оптической системой телескопа обсерватории Кека II. Данный инструмент работает в спектральном диапазоне (1-2.4) мкм. Устройство «OSIRIS» преобразует поле размером 6.4ʺ при помощи 1 000-линзового массива микролинз размером 250 мкм. «OSIRIS» имеет два режима, а финальная щель получается размером 0.02-0.1ʺ.

Устройство прототипа (фиг. 11 содержит последовательно расположенные: объектив (2), массив микролинз (6), коллиматорную оптику (10), неподвижную дифракционную решетку (4), фокусирующую оптику (11), детектор (3).

Применение массива микролинз гарантирует независимость функции рассеяния точки (ФРТ) от исследуемого объекта, что значительно облегчает извлечение информации из экспонированных на приемнике данных. Умеренные оптические аберрации в оптической схеме после массива микролинз ухудшают спектральное разрешение и оставляют пространственное разрешение постоянным во всех случаях, когда соседние спектры не накладываются друг на друга.

К недостаткам известного устройства следует отнести высокие массогабаритные характеристики, значительный состав аппаратуры, размещенной на бортовой части комплекса, сравнительно низкое пространственное разрешение, а также отсутствует возможности формирования набора требуемых спектральных каналов.

Для устранения указанных недостатков способа спектрометрии интегрального поля, осуществляющего получение спектральной информации деленного на части массивом микролинз двумерного поля зрения оптической системы, в предлагаемом способе в проектирующей оптической системе осуществляется изменение конуса лучей в зависимости от длины волны, которые в обратном ходе лучей оптической системы строят разно удаленные спектральные изображения объектов наблюдения, что обеспечивает массиву микролинз получение в плоскости матричного фотоприемника четырехмерной яркостно-спектральной информационной структуры объектов наблюдения.

Для устранения указанных недостатков в устройстве использована проектирующая оптическая система совместно с расположенным соосно двухмерным радиальным дифракционным элементом, массив микролинз расположен вблизи фокуса проектирующей оптической системы, матричный фотоприемник расположен в фокальной плоскости массива микролинз, при этом количество микролинз и размер фотоприемника выбираются так чтобы обеспечить получение неперекрывающегося и бесшовного массива субапертурных изображений проектирующей оптической системы.

Раскрытие сущности изобретения

Задача, на решение которой направлено предлагаемое техническое решение, является сокращение количество операций по обработке оптического сигнала, реализация возможности формировать заданные спектральные диапазоны, исключение переналожения спектров на фотоприемнике. Задача, на решение которой направлено устройства, реализующего предлагаемый способ, является уменьшение массогабаритных параметров и упрощение конструкции.

Техническим результатом изобретения является повышение вероятности обнаружения и идентификации объектов в наблюдаемом пространстве, а также повышение точности определения координат и геометрических признаков объектов, что обеспечивает возможность быстрого поиска и распознавания объектов в наблюдаемой области пространства в каждый момент времени за счет селективного получения дополнительной информации из набора мультиспектральных изображений объектов в реализации оптико-электронного средства наблюдения с одним матричным фотоприемником, получающего всю информацию в один момент времени. Кроме того, использование предлагаемого устройства, реализующего предлагаемый способ, позволяет снизить массогабаритных характеристики, сократить состав аппаратуры и уменьшить количество операций по обработке оптического сигнала.

Сущность изобретения заключается в формировании оптических способом четырехмерной информационной структуры яркостно-спектральной информации на поверхности одного матричного фотоприемника в соответствующих группах пикселей субапертурных изображений наблюдаемых объектов посредством двумерного диспергирующего элемента, расположенного в основной оптической системе перед массивом микролинз. В плоскости фотоприемника формируется набор субапертурных изображений объектов наблюдения, содержащий спектральные данные в информационной структуре четырехмерного мультиспектрального отображения объектов наблюдаемого поля зрения в формате пленоптического файла светового поля (СП). На основе алгоритмической обработки цифрового файла СП, содержащего спектральную информацию в направлении хода лучей от объектов наблюдаемого пространства, алгоритмически определяют массив изображений в каждом спектральном диапазоне длин волн, позволяющих построить много спектральный куб данных объектов наблюдения и производить выделение и идентификацию объектов согласно их пространственным, геометрическим и спектральным характеристик. Из анализа яркостной структуры в спектральных слоях алгоритмически определяют спектральные координатные и некоординатные характеристики наблюдаемых объектов, на основе которых более достоверно идентифицируются объекты наблюдения. Дополнительная многоспектральная информация позволяет повысить вероятность обнаружения и идентификации интересуемых объектов. При этом определение координат и геометрических признаков объектов производится известными алгоритмами обработкой изображений спектральных слоев многоспектрального куба данных.

Использование предлагаемого способа обеспечивает получение более высокого пространственного разрешения оптико-электронным средством наблюдения объектов при этом реализует ряд новых возможностей:

- повышение двухмерного разрешения оптического средства по отношению к разрешению известных гиперспектральных и многоспектральных камер [1];

- вычисление геометрических размеров и координатного расположения объектов друг относительно друга и других объектов по двум координатам в наблюдаемом пространстве производится с более высокой точностью;

- имеет более точное определение спектральных характеристик объектов наблюдения по сравнению с аналогичными средствами за счет более эффективного и полного использования информационной структуры матричного фотоприемника;

- получение яркостно-спектральной информации объектов наблюдаемого пространства производится в один момент времени, что повышает вероятность обнаружения объектов и упрощает идентификацию объектов в наблюдаемом пространстве;

- компактность по сравнению с существующими гиперспектральными и многоспектральными средствами наблюдения;

- более простая конструкция, масштабируемость конструкции устройства и простота использования устройства.

Для достижения технического результата предлагаемого способа получения четырехмерных яркостно-спектральных профилей удаленных объектов одним оптико-электронным средством наблюдения в каждый момент времени и устройства для его реализации осуществляют формирование в основной оптической системе в полном телесном угле наблюдения характерных гелиоцентрических двухмерных совокупностей спектральных лучей от наблюдаемых объектов с последующей их преобразованием массивом микролинз в совокупность четырехмерных субапертурных спектральных изображений апертуры основной оптической системы на поверхность матричного фотоприемника. Путем алгоритмической обработкой сигналов по типу пленоптической камеры [21 с подмикролинзовых групп фотодиодов МФП субапертурных изображений обеспечивается формирование набора узких спектральных слоев наблюдаемого пространства, что дает возможность обнаружения объектов как в узких спектральных диапазонах, так и любом заранее заданном спектральном диапазоне. Формирование выделенных слоев спектрального диапазона пространства производится алгоритмом пленоптической цифровой камеры [21] с массивом микролинз на базе четырехмерного преобразования Фурье, при этом получение координатной, некоординатной информации и обнаружение объектов производится известными алгоритмами [22] обработки каждого спектрального изображения массива.

Для формирования гелиоцентрического пучка лучей с различным направлением распространения для различных длин волн используются двумерный радиальный осесимметричный дифракционный элемент (фиг. 11), принцип работы которого описан в [23]. Двумерный дифракционный элемент, изменяющий направления хода лучей в зависимости от длины волны расположен в оптической проектирующей системе, построенной по пленоптической схеме совместно с проектирующим объективом (фиг. 10). Дифракционный элемент выполняется концентрическим с пилообразным профилем [23], рассчитанным таким образом, чтобы обеспечить проектирующему объективу конус пуча лучей и фокусные расстояния в соответствии с параметрами необходимыми для работы схемы пленоптической камеры [15] (фиг. 13).

Массив микролинз обеспечивает построение в плоскости приемника массива субапертурных изображений основного объектива (1). Основной объектив с дифракционным элементом имеет фокусное расстояние, зависящее от длины волны ƒ'λ. Поэтому по формулам геометрической оптики [24] наблюдаемое спектральное положение объекта определяется по формулам:

где ƒ'λ - фокусное расстояние основной оптической системы для длины воны λ,zλ - положение плоскости фокусировки для длины воны λ,

При этом глубина резко отображаемого спектрального пространства (ГРОСП) по дальности [25], определяющая спектральную глубину слоев, описывается следующими формулами:

где Δ₁ - передняя граница резко отображаемого спектрального (ГРОС) пространства (ГРОСП),Δ2.- задняя граница ГРОСП,S₀ - исходная дистанция фокусировки основной оптической системы, ƒ'λ - фокусное расстояние основной оптической системы для длины волны значение знаменателя (K) относительного отверстия (N) объектива, δ' - диаметр кружка рассеяния в плоскости фотоприемника (размер пикселя).

Согласно принципам работы пленоптической схемы оптико-электронного регистратора [26] имеем формирование массива субапертурных энергетических яркостных структур в плоскости матричного фотоприемника. Формируемая энергетическая яркость двумерного изображения Im_2D определяет энергетический слой удаленного на расстоянии zλ отображаемого по заданной глубине Δλ пространства наблюдения [27, 28]:

где Im_3D - яркостно-спектральное четырехмерное изображение,ℑ - полный алгоритм преобразования исходного пленоптического (3D) файла в 2D изображение, Im_2D^D2 - изображение спектрального слоя наблюдаемого пространства.

Формирование массива энергетической яркости набора субапертурных изображений описывается выражением [28, 29]:

где Ioλ(x,y,λ) - спектральная яркость объекта точек наблюдения (х, у, z=λ), F_ДЭ(x,y,z) - оператор преобразования дифракционным элементом длины волны в дальность, - оператор преобразования направления лучей от объектов оптической системы [30], оператор преобразования направления лучей массивом микролинз.

Компьютерная система производит вычисление изображений спектральных слоев наблюдаемого пространства Im(λ,Δλ) путем алгоритмического суммирования сигналов с фотодиодов МФП [29],

где D_V - виртуальная апертура пленоптической оптико-электронной системы, которая вычисляется алгоритмом пленоптического файла, L_i - лучи света исходящие из точек с координатами (х,y) с направлением распространения (θ,ϕ), формирующих изображение заданного спектрального диапазона Im(λ,Δλ).

Компьютерная система производит дальнейшую необходимую обработку плоских изображений [30], которая позволяет более эффективно применять алгоритмы определения координат и необходимых геометрических характеристик (размера, формы) объектов [31].

Количество nλ и ширина спектральных слоев Δλ объектов наблюдения определяется оптическими и дисперсионными параметрами проектирующей оптической схемы, параметрами массива микролинз, разрешением фотоприемника [16, 24], вычисляемой виртуальной апертурой D_V пленоптической схемы регистратора с массивом микролинз. Виртуальная апертура определяет ширину спектрального отображаемого слоя наблюдаемого пространства, которая может в несколько раз превышает физическую апертуру основной проектирующий объектив [15].

Для синтеза плоского спектрального профиля изображения из пленоптического файла данных необходимо алгоритмически объединить сигналы с участков фотодиодов под микролинзами (фиг. 6а) [15]. Операция синтеза спектрального профиля для пленоптической схемы регистрации осуществляется алгоритмом на базе четырехмерного преобразования Фурье описанного в [21]. Алгоритм синтеза плоского изображения схемы пленопитеской регистрации показан на фиг. 14, который описывается уравнением:

где L^N_M - канонический оператор проектирования, который уменьшает N-мерная функция вплоть до M-мерностей путем интегрирования последних:

S^N_M- канонический оператор среза, который уменьшает N-мерный функцию до М-мерной путем обнуления последних N -Mdimension:

ℜ - оператор произвольной замены базиса NxM -мерной функции.

Указанный алгоритм реализован в известных пленоптических цифровых регистраторах, например LytroILUM и Raytrix.

При этом появляется новая не деструктивная возможность цифровой спектральной рефокусировки изображения в заданный спектральный диапазон, которая определяется выбором параметрами способа суммирования сигналов с участков фотодиодов под каждой микролинзой (фиг. 6б).

Устройство реализующее способ и именуемое как спектрограф светового поля включает оптико-электронную систему пленоптического типа, где основной проектирующий объектив дополнительно содержит двумерный осе симметричный диспергирующий элемент в виде радиальной дифракционной решетки, расположенной соосно проектирующему объективу перед массивом микролинз таким образом, что она обеспечивает при построении изображений наблюдаемых объектов существенное различие фокусного расстояния системы для разных длин волн. Массив микролинз расположен после фокусного расстояния объектива и обеспечивает получение в плоскости матричного фотоприемника массив субапертурных энергетических яркостей входящих лучей в апертуру проектирующего объектива в виде массива подлинзовых кластеров фотодиодов. Наличие в оптической схеме массива микролинз изменяет конус количества лучей входящих в объектив. Фотодиоды в подлинзовых кластерах соответствуют частям конуса входящих лучей, а распределение кластеров на поверхности фотоприемника координатам точек наблюдаемого пространства. Сигналы с матричного фотоприемника, полученные за время накопления заряда (экспозиция) передаются в компьютерную систему, где вычисляются изображения спектральных профилей объектов наблюдаемого пространства. Далее производятся вычисления координат и геометрических признаков объектов на основе известных алгоритмов обработки пикселей изображения

Краткое описание чертежей

На фиг. 1 приведены схемные решения способа получения яркостно-спектральной информации оптико-электронной системой: а - точечное сканирование, б - линейное сканирование, в - плоскостное сканирование или режим сканирования области, г - режим одиночного снимка, где 1 - объекты наблюдения, 2 - проектирующий объектив, 3 -матричный фотоприемник 4 - устройство спектрального разделения.

На фиг. 2 приведены схема способ одновременного получения яркостных и спектральных данных: а - внедрения спектральных фильтров в топологию матричного фотоприемника, 6 - снятие сигналов с различной глубины полупроводника, где 3 - матричный фотоприемник 4 -устройство спектрального разделения.

На фиг. 3 приведена оптическая схема девяти диапазонной мультиспектральной камеры, где 1 - объекты наблюдения, 2 - проектирующий объектив, 3 - матричный фотоприемник, 4- массив спектральных фильтров, 5 - массив поляризационных фильтров.

На фиг. 4 приведена схема дифракционного мультиспектрального формирователя изображения.

На фиг. 5 приведены схемные решения способа спектроскопии интегрального поля: а - массив микролинз; б - массив волокон; в - слайсер изображений; г - микрослайсер.

На фиг .6 приведена проекционная оптическая схема цифровой пленоптической камеры с массивом микролинз, где 1 - точки в плоскости наблюдения 2 - пректирующий объектив, 3 - матричный фотоприемник, 4 - спектральные фильтры, 6 - массив микролинз.

На фиг. 7 приведена оптическая схема пленоптической камеры с микролинзами и микропризмами, где 1 - объекты наблюдения, 2 - проектирующий объектив, 3 - матричный фотоприемник, 4 - массив микропризм, 6 - массив микролинз, 7 - устройство обработки.

На фиг. 8 приведена структурная схема устройства получения изображений с определением информации цвета, где 2 - проектирующий объектив, 3 - матричный фотоприемник, 4 -дифракционная решетка, 6 - массив микролинз.

На фиг. 9 приведена схема реализация СП достигается с использованием дифракционных элементов: а) - призмы, б) - дифракционная решетки, где 2 - проектирующий объектив, 3 - цифровая камера с матричным фотоприемником, 4 - устройство спектрального разделения.

На фиг. 10 приведена принципиальная оптическая схема мультиспектрального модуля интегрального поля с массивом микролинз, где 2 - фокальная плоскость приемной ОС, 6 - массив микролинз, 10 - коллиматорныи объектив, 4 - диспергирующий элемент, 11 - фокусирующий объектив, 3 - матричный фотоприемник.

На фиг. 11 приведена оптическая схема устройства «OSIRIS», где 2 - проектирующий объектив, 6- массив микролинз, 10- коллиматорная оптика, 4- неподвижная дифракционную решетку, 11- фокусирующую оптика, 3- детектор.

На фиг. 12 приведена оптические схемы дифракции света на двумерных дифракционных элементах: а - на двумерной решетке, б - на круговой решетке с постоянным периодом по радиусу, в - на круговые решетке со скважностью и постоянным периодом по радиусу.

На фиг. 13 приведена оптические схемы преобразования лучей двухмерным дисперсионным элементом (ДЭ) различной геометрией: а - бинарная ДЭ; 6 - пилообразная ДЭ; в - линзовый ДЭ.

На фиг. 14 приведена эквивалентная оптическая схема, строящая изображения в спектральных диапазонах пленоптическим способом, где 2 - проектирующий объектив, 3 - матричный фотоприемник, 4 -концентрическая двумерная дифракционная решетка, 6 - массив микролинз.

На фиг. 15 приведен основной алгоритм обработки сигналов при формировании плоских спектральных слоев изображения оптико-электронной системы с массивом микролинз.

На фиг. 16 приведена структурная схема оптико-электронной системы, реализующая предложенный способ, где 2 - проектирующий объектив цифровой камеры, 3 - матричный фотоприемник камеры, 4 - двухмерная дифракционная решетка, 6 - массив микролинз, 7 - вычислительная система.

На фиг. 17 приведены схемы: а - схема формирования плоского изображения пленоптическим регистратором, 6 - схема спектральной расфокусировки.

На фиг. 18 представлен макет экспериментальной установки пленоптической регистрации световых объектов, отраженных от дифракционной решетки пленоптическим регистратором, где 2 -проектирующий объектив цифровой пленоптической камеры, 3 - матричный фотоприемник камеры, 4 -дифракционная решетка, 6 - массив микролинз.

На фиг. 19 представлен макет экспериментальной установки регистрации объектов наблюдения пленоптическим регистратором с использованием отражающей дифракционной решетки: 4 -дифракционная решетка; 2- объектив пленоптической камеры LitroILLUM, 3 - матричный фотоприемник пленоптической камеры LitroILLUM, 6 -массив микролинз пленоптической камеры LitroILLUM.

Осуществление изобретения

Предлагаемый способ может быть реализован в устройстве спектрограф светового поля ввиду технологических возможностей изготовления всех его элементов, построения их связей друг с другом согласно заявляемому способу, что обеспечивает функционирование устройства согласно с заявляемому техническому результату. При этом требования к внешним условиям и механической стабильности конструкции устройства определяются аналогичными устройствами и проведенными экспериментам. Сведения, подтверждающие возможность получения при осуществлении изобретения предполагаемого технического результата, подтверждаются экспериментами (фиг. 17, фиг. 18, фиг. 19). Предлагаемое устройство может быть осуществлено ввиду наличия функционирующих основа образующих прототипов устройств пленоптического типа (например, фирмы LitroILLUM [27], Reytrix [33]), возможностей изготовления и существующих прототипов радиальных дифракционных элементов и возможностью их инсталляции в пленоптическую камеру известным способами.

Реализуемость предложенного способа и устройства обусловлена следующими аспектами:

1. Возможностями предприятий промышленности по изготовлению цифровых регистраторов пленоптического типа с массивом микролинз с различной проектирующей оптикой [32]. Характеристики выпускаемых цифровых регистраторов с массивом микролинз представлены в таблице 1 [15], возможностью автоматической коммуникаций с компьютерной системой [30].

2. Возможностями предприятий промышленности по изготовлению двухмерных дифракционных фильтров с требуемыми характеристиками и соответствующими размерами [23, 24].

3. Наличием алгоритмов [22, 33] и программного обеспечения получения высокоточной координатной и некоординатной информации [31, 33], а также имеющегося прототипа программного обеспечения обработки файлов формата пленоптической цифровой камеры СП с оптической системой с массивом микролинз [15, 29].

4. Наличием специального программного обеспечения автоматизированного ввода изображений с различных цифровых источников [34] реализованных в среде разработки приложений (например, Lab VIEW [35], с модулем технического зрения IMAQ Vision [36]), и алгоритмы обработки изображений с получением измерительной информации с высокой глубиной проработки [35], алгоритмами и программами калибровки цифровых камер светового поля [37].

5. Наличие вычислительных средств достаточной производительности для реализации средства заявляемого способа.

Использование предложенного способа позволит повысить эффективность современных ОЭС обнаружения и идентификации объектов по геометрическим и спектральным признакам в каждый момент времени при минимальных массогабаритных размерах оптического средства.

В располагаемых источниках информации не обнаружено технических решений, содержащих в совокупности признаки, сходные с отличительными признаками заявляемого способа.

Источники информации

[1]. Hyperspectral Imaging: A Review on UAV-Based Sensors, Data Processing and Applications for Agriculture and Forestry. // Remote Sens. 2017, 9, x; doi:10.3390/rs9111110

[2]. Sellar, R.G.; Boreman, G.D. Classification of imaging spectrometers for remote sensing applications. // Opt.Eng. 2005, 44, 13602-13602-3, doi: 10.1117/l.1813441

[3]. Yu John Hsu et al. Line-scanning hyperspectral imaging based on structured illumination optical sectioning // Biomedical Optics Express, Vol. 8, Issue 6, pp. 3005-3016 (2017) doi: 10.1364/BOE.8.003005

[4]. Бостынец И.П. и др. Состояние и перспективы применения гиперспек-триальной аппаратуры для обнаружения и распознавания различных объектов // Вестник Воронежского государственного технического университета. Т. 16. №4. 2020. С. 102-108. doi: 10.25987/VSTU.2020.16.4014

[5]. Еремеев В.В. и др. Повышение пространственного ращрегения мате-риалов гиперспектриальной съемки на основе их комплексирования с высокодетальными снимками // Цифровая Обработка Сигналов №3, 2014. С. 38-42.

[6]. Горбачев А.А., Коротаев В.В., Ярышев С.Н. Твердотельные матрич-ные фотопреобразователи и камеры на их основе - СПб.: НИУ ИТМО, 2013.-98 с.

[7]. Bayer В.Е., Color imaging array, U.S. patent application 3,971,065 (20 July 1976).

[8]. Merril R.B. Color separation in an active pixel cell imaging array using a triple-well structure. US patent 5,965,875, Oct. 12, 1999.

[9]. Shuji Ono. Snapshot multispectral imaging using a pixel-wise polarization color image sensor. Optics Express Vol. 28, Issue 23, pp. 34536-34573 (2020) doi.org/10.1364/OE.402947

[10]. Mengu D. et. al. Snapshot multispectral imaging using a diffractive optical network // Light: Science & Applications (2023) 12:86. doi.org/10.1038/s41377-023-01135-0

[11]. Allington-Smith Jeremy. Basic principles of integral field spectroscopy //New Astronomy Reviews 50(4-5):244-251 (June 2006).

[12]. Allington-Smith, J., Content, R., 1998. PASP 110, 1216-1234.

[13]. Allington-Smith, J. et al. 2002 PASP 114, 892.

[14]. Photographing device and photographing method for taking picture by us-ing a plurality of micro lenses. Patent No.: US20140204183 Al, Pub. Date: 2014-07-24.

[15]. Махов В., Потапов А., Закутаев А. Принципы работы цифровых камер светового поля с массивом микролинз // Компоненты и технологии. 2018. №1 (226). С.66-72.

[16]. Патент номер US20100020187A1. Plenoptic camera. Pub. Date: Jan. 28, 2010

[17]. Photographing device and photographing method for taking picture by using a plurality of microlenses. Patent No.: US20140204183 Al, Pub. Date: 2014-07-24.

[18] Махов В., Широбоков В., Емельянов А., Закутаев А., Петрушенко В. Перспективы развития оптико-электронных систем с пространственным разрешением // Компоненты и технологии. 2022. № 2 (247). С. 108-111.

[19]. Roland Bacon, Guy Monnet. Optical 3D-Spectroscopy for Astronomy. - John Wiley & Sons.: 2017. - 296 pp.

[20]. Allington-Smith, J., Content, R., 1998. PASP 110, 1216-1234.

[21] Ng R. Digital light field photography // A dissertation submitted to the department of computer science and the committee on graduate studies of Stanford university in partial fulfillment of the requirements for the degree of doctor of philosophy. @ Copyright by Ren Ng 2006. 187 p.

[22]. Махов B.E., Петрушенко B.M., Емельянов A.B., Широбоков В.В., Потапов А.И. Технология разработки алгоритмов программного обеспечения оптико-электронных систем наблюдения за удаленными объектами // Вестник компьютерных и информационных технологий. 2021. Т. 18. №10(208). С. 10-21.

[23]. Полещук А.Г., Малышев А.И., Харисов А.А, Черкашин В.В. Дифракционные фильтры для управления излучением мощных лазеров. // Автометрия, №6, 1998. - С. 38 - 46.

[24]. Полещук А.Г. Дифракционная оптика // Мир техники кино. 2008. Т. 2. №2 (8). С. 27-31.

[25]. Махов Е.М., Потапов А.И., Махов В.Е. Прикладная оптика: учеб. пособие / СПб., 2004.

[26]. Махов В.Е., Потапов А.И., Шалдаев СЕ. Контроль геометрических параметров изделий методом светового поля // Контроль. Диагностика. 2017. №7. С.12-24.

[27]. Kučera Jan. Computational photography of light-field camera and application to panoramic photography. Department of Software and Computer Science Education Supervisor of the master thesis: Ing. Filip Sroubek, Ph.D. Study programme: Computer Science, Software Systems Specialization: Computer Graphics, Prague, 2014. - 98 p.

[28]. Махов B.E., Широбоков В.В., Закутаев А.А., Петрушенко В.М., Олейников М.И. Способ анизотропной регистрации светового поля и устройство для его реализации. Патент на изобретение 2790049 С1, 14.02.2023. Заявка № 2022105486 от 28.02.2022.

[29]. Махов В.Е., Петрушенко В.М., Широбоков В.В. Возможности оптической локации средствами регистрации светового поля // Труды Военно-космической академии имени А.Ф. Можайского. 2021. №S680. С. 162-171.

[30] Грузман И.С., Киричук B.C., Косых В.П., [и др.] Цифровая обработка изображений в информационных системах: Уч. пособие -Новосибирск: Изд-во НГТУ, 2000.- 168 с.

[31]. Махов В.Е., Потапов А.И., Широбоков В.В., Емельянов А.В. Исследование томности измерения параметров удаленных объектов, наблюдаемых оптико-электронной системой с регистратором светового поля // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21. № 3. С. 342-351.

[32]. Махов В., Широбоков В., Емельянов А., Закутаев А., Петрушенко В. Перспективы развития оптико-электронных систем с пространственным разрешением // Компоненты и технологии. 2022. №2 (247). С.108-111.

[33]. 3D Light Field Camera Technology / Raytrix GmbH, Germany, 2013, [Электронный ресурс]. URL: http://www.isolutions.com.sg/Raytrix.pdf

[34]. Махов B.E., Потапов А.И., Широбоков В.В., Емельянов А.В. Построение алгоритмов оптического контроля малоразмерных удаленных световых объектов // Контроль. Диагностик, №6 2021. С. 15-27.

[35]. Махов В.Е. Орлов Д.В., Репин О.С., Потапов А.И. Построение оптических систем технического зрения с цифровыми камерами высокого разрешения. // Вестник компьютерных и цифровых технологий, 2014. № 9. С.55-22.

[36]. Travis J., Kring J. Lab VIEW for Everyone: Graphical Programming Made Easy and Fun, Third Edition: Prentice Hall. 2007, 981 p.

[37]. Klinger T. Image processing with Labview and Imaq Vision (National Instruments Virtual Instrumentation Series). - Prentice Hall Professional, 2003. - 319p.

[38]. Bok Y., Jeon H.-G., Kweon I.S. Geometric Calibration of micro-lensbased light field cameras using line features. // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, vol. 39, no. 2, pp. 287-300.

Изобретение относится к оптическим методам получения информации. Способ и устройство получения четырехмерных яркостно-спектральных профилей удаленных объектов реализуются за счет получения в основной оптической системе в полном телесном угле наблюдения характерных гелиоцентрических двухмерных совокупностей спектральных лучей от наблюдаемых объектов с последующим преобразованием массивом микролинз в совокупность четырехмерных субапертурных спектральных изображений апертуры основной оптической системы на поверхность матричного фотоприемника. Алгоритмическая обработка сигналов по типу пленоптической камеры с подмикролинзовых групп фотодиодов обеспечивают формирование набора спектральных слоев наблюдаемого пространства, что позволяет обнаруживать объекты как в узких, так и любом заранее заданном спектральном диапазоне. Получение координатной, некоординатной информации и обнаружение объектов производится алгоритмической обработкой массива спектральных изображений. Технический результат - повышение вероятности обнаружения и идентификации объектов, повышение точности определения координат и геометрических признаков объектов. 2 н.п. ф-лы, 19 ил., 1 табл.

1. Способ получения четырехмерных яркостно-спектральных профилей удаленных объектов, включающий формирование проектирующей оптической системой промежуточного изображения удаленных объектов наблюдения, формирование набора субапертурных изображений, изменение направления хода лучей, строящих изображение в оптической системе в зависимости от длины волны, вычисление и анализ требуемых спектральных слоев изображений, отличающийся тем, что формирование проектирующей оптической системой промежуточного изображения удаленных объектов наблюдения осуществляется с дополнительным осесимметричным изменением направления хода входящих лучей в зависимости от длины волны, при этом формирование набора субапертурных изображений осуществляется дополнительной оптической системой массива микролинз вблизи фокуса проектирующей оптической системы, без наложения и разрывов субапертурных изображений в плоскости фотоприемника, при этом изменение направления хода лучей, строящих изображение в промежуточной проектирующей оптической системе в зависимости от длины волны, осуществляется объективом совместно с двумерным осесимметричным диспергирующим элементом, который формирует в обратном ходе лучей разно удаленные спектральные изображения объектов наблюдения, обеспечивая массиву микролинз получение в плоскости матричного фотоприемника четырехмерной яркостно-спектральной информационной структуры объектов наблюдения, при этом вычисление и анализ требуемых спектральных слоев изображений осуществляется на основе обратного четырехмерного преобразования Фурье микроизображений.

2. Устройство спектрографа светового поля для реализации способа по п.1, состоящее из последовательно расположенной проектирующей оптической системы, массива микролинз, разбивающего конус пучка лучей проектирующего объектива на массив пучков лучей, диспергирующего элемента, изменяющих направление хода лучей в зависимости от длины волны, матричного фотоприемника, регистрирующего выходящее излучение, отличающееся тем, что проектирующая оптическая система выполнена в виде объектива совместно с соосно и близко расположенным двумерным радиальным диспергирующим элементом таким образом, что она обеспечивает при построении изображений наблюдаемых объектов существенное различие фокусного расстояния проектирующей системы для разных длин волн, при этом массив микролинз расположен в непосредственной близости к фокусному расстоянию проектирующей оптической системы перед матричным фотоприемником, при этом диспергирующий элемент выполнен в виде двухмерной осесимметричной радиальной дифракционной решетки на оптической оси проектирующего объектива в непосредственной близости к проектирующей оптической системе, при этом матричный фотоприемник, регистрирующий выходящее излучение, расположен на расстоянии, равном или меньшем фокусному расстоянию микролинз, обеспечивающем получение массива субапертурных изображений проектирующего объектива без разрывов и наложений, и имеет размерность, соответствующую кратному числу микролинз.