СПОСОБ АНИЗОТРОПНОЙ РЕГИСТРАЦИИ СВЕТОВОГО ПОЛЯ И УСТРОЙСТВО ДЛЯ ЕГО РЕАЛИЗАЦИИ Российский патент 2023 года по МПК G01S17/06 

Изобретение относится к способам и методам оптического наблюдения, а более конкретно к оптическим способам получения и обработки оптической информации, обнаружения и определения положения объектов в трехмерном пространстве оптико-электронной системой (ОЭС) в одном кадре и одной экспозиции, позволяющей определить их геометрические признаки, координаты и дальность. Изобретение может быть использовано для решения задачи повышения разрешающей способности в наблюдаемом объеме пространства, что позволяет повысить возможности по обнаружению и определению положения объектов. Изобретение применимо в ОЭС и, в частности, в оптических информационных средствах наблюдения за удаленными объектами.

1. Известен способ получения полной координатной информации об удаленных объектах с использованием двух и более одновременно сделанных снимков, полученных пространственно-разнесенными ОЭС, имеющих плоские сенсоры. Метод основан на вычисления координат положения соответствующих точек объектов в изображениях полученными различными двумя ОЭС [1]. Для этого в снимках производят поиск соответствующих точек интересуемых объектов и производят расчет их пространственных координат (фиг. 1).

Разность d=x'-х'' называется диспарантностью. Зная геометрические и оптические параметры каждой ОЭС, выполняют измерение координат проекции p₁ и р₂ одной и той же точки Р в плоскости изображения ОЭС, вычисляют глубину (координату Z) этой точки [2]:

По известным соотношениям [2] вычисляют другие трехмерные координаты точки:

Устройство, реализующее способ [3], включает в себя две цифровых камеры (фиг. 2), пространственно-ориентированные на заданном расстоянии друг от друга, визированные и сфокусированные на объект[3]. Для обеспечения требуемой глубины резкости используют перефокусируемые камеры с малым относительным отверстием. Ошибки в координатах проекции сильнее сказываются для малой диспарантности, то есть расстояние до более удаленных объектов измеряется более точно, чем до менее удаленных. Точность измерения расстояния повышается с увеличением базы (расстояния между ОЭС).

Недостатком известного способа является низкая надежность и точность измерения координат в связи трудностью поиска соответствующих точек в малоконтрастных снимках наблюдаемых объектов. Снижение точности происходит также в связи с неравномерностью чувствительности и шовностью фотодиодов матричных фотоприемников ОЭС. Для наблюдения протяженных объектов или объектов с большим объемом сцены требуется оптическая проектирующая система ОЭС с малым относительным отверстием, т.е. с большой глубиной резко отображаемого пространства, что обеспечивается снижением светосилы ОЭС. Существует также трудность временной синхронизации изображений нескольких ОЭС в быстро меняющейся сцене области пространства с наблюдаемыми объектами. Известный способ не предусматривает возможность создания компактных устройств.

2. Известен времяпролетный способ определения дальности и координат до поверхностей расположенных в пространстве объектов посредством измерения времени пролета световых лучей, испускаемых дополнительным источником, и отраженных каждой точкой поверхностей объектов (фиг. 3) [4].

Устройство на базе времяпролетной камеры 3 измеряет расстояние, используя активное освещение объектов 1 с помощью дополнительного источника модулированного света 2, такого как лазер, и использует датчик, чувствительный к длине волны лазера для помехозащищенного улавливания отраженного света.

Устройство времяпролетной камеры включает в себя оптическую систему с сенсором, собственным источником света и электронным блоком управления, блок анализа и интерфейс. Времяпролетная камера обеспечивает точность измерения глубины более 1 см. Матрица из 76800 фотодиодов обеспечивает точность измерения времени порядка 10-¹⁰ с.

В настоящее время известны промышленные образцы времяпролетных камер [5] (фирма Basler, фиг. 4), одна из которых имеет следующие характеристики: модель камеры - blaze-101, разрешение (Г × В) - 640×480 рх, разрешение - VGA, частота кадров - 30 fps, монохромная, интерфейс GigE.

Применение времяпролетного способа ограничено удаленностью объектов. Наличие углов и изогнутых поверхностей, приводит к возникновению ошибок вследствие многократного отражения луча света. Отклонение света на обратном пути препятствует правильному измерению расстояния до отражающей поверхности. Даже при оптимальных условиях точность измерения на основе времяпролетного способа определяется многочисленными факторами, включая геометрию объекта, посторонний свет и температуру. Рассеянный свет от других объектов сцены является причиной размытия изображения, а также снижения контрастности, что приводит к снижению точности определения координат и геометрических признаков объектов.

3. Известен способ, при котором на матрице фотодиодов фиксируется информация о распределении направлений световых лучей, входящих в камеру [6]. Схема устройства пленоптической камеры (фиг. 5), реализующая данный способ, включает в себя основной объектив 4, который принимает лучи света от объектов 1, направляет полученный свет в плоскость изображения сенсора камеры 5. Устройство сенсора включает в себя матрицу фотодетекторов 5, расположенную в плоскости изображения наблюдаемых объектов, которая регистрирует наборы лучей света, создающих изображение.

В отличие от обычной цифровой оптической камеры (фиг. 6), пленоптическое устройство (фиг. 5) получения изображений дополнительно включает в себя массивы оптических элементов 6 и 7, расположенных между наблюдаемыми объектами 1 и основным объективом 4. Каждый оптический элемент в этом массиве получает лучи света от поля объекта 1 под уникальным углом, отличающемся от углов падения для других оптических элементов в массиве, следовательно, направляет уникальный вид поля зрения в основной объектив. Таким образом, матрица фотодетекторов 5 получает множество различных видов поля объекта от каждого оптического элемента в матрице.

Недостатками известного способа и устройства для его реализации является сложность и значительные габариты конструкции, снижение разрешения получаемого выходного изображения по отношению к физическому разрешению матрицы фотодиодов.

4. Известен способ наблюдения за удаленными объектами ОЭС [7], включающий формирование рассеивающим оптическим элементом и регистрацию матричным фотоприемником, расположенным за ним, лучей от объектов пространства, элементы и алгоритмы, обеспечивающие процесс декодирования изображения после проведения калибровки устройства.

Вместо объектива и оптических элементов в схеме регистратора (фиг. 7) используется один рассеиватель излучения 8 от объектов сцены 1, который расположен перед матричным фотоприемником 5. Рассеиватель играет роль кодировщика информации о направлении хода лучей от объектов наблюдаемого пространства, именуемым световым полем, для ее дальнейшего восстановления по двумерному изображению с сенсора интенсивности и направления хода лучей от объектов.

Недостатком известного способа и устройства для его реализации является необходимость сложной калибровки устройства и значительное время декодирования и, как следствие очень низкое быстродействие, что исключает возможность определения характеристик динамических объектов в наблюдаемом объеме пространстве.

5. Известен способ трехмерной регистрации объектов одной ОЭС в одном кадре путем формирования на одном матричном фотоприемнике массива субапертурных изображений [8, 9]. Способ основан на вычислении плоского изображения с заданным расстоянием фокусировки и углом визирования ОЭС на базе четырехмерного преобразования Фурье [8].

Способ поясняется оптической схемой хода лучей, наблюдаемой сцены через ОЭС наблюдения на фиг.8 [10]. Оптическая схема, реализующая данный способ, состоит из следующих элементов: 4 - основной объектив, 5 - матричный фотоприемник, 9 - массив микролинз. Для каждой микролинзы 9 луч от изображения проходит через центры микролинзы и попадает на матрицу фотодиодов 5. Массив микролинз 9 проецирует каждую точку на множество участков матрицы фотодиодов 5. Схема устройства, реализующее данный способ, представлено на фиг. 9 [11].

Описанный способ реализуется в продукции фирм Lytro Inc. [12] и Reitrix Inc. [13]. Основные характеристики выпускаемых устройств, реализующих данный способ, представлены в таблице 1 [10].

Недостатком известного способа и устройства для его реализации является существенное снижение разрешения плоского изображения по отношению к разрешению матричного фотоприемника, вычислительная сложность при получении плоского изображения [8], что не позволяет осуществлять работу устройства в реальном масштабе времени.

6. Известен способ и устройство фотографирования [14], схема которого представлена на фиг. 10. Устройство включает в себя: основной объектив 4, сконфигурированный для пропускания световых лучей, отраженных от объекта; матрицу микролинз 9, которая включает в себя множество микролинз, сконфигурированных для фильтрации и передачи отраженных световых лучей разных цветов; датчик изображения 5, сконфигурированный для восприятия световых лучей, которые передаются множеством микролинз; процессор данных 11, сконфигурированный для сбора пикселей в положениях, соответствующих друг другу, из множества исходных изображений, воспринимаемых датчиком изображения, для генерации множества субизображений; запоминающее устройство 10, сконфигурированное для хранения множества субизображений; контроллер 12, сконфигурированный для обнаружения пикселей, совпадающих друг с другом, во множестве субизображений, хранящихся в запоминающем устройстве, и для получения информации о цвете и глубине изображения объекта. Информация о цвете и глубине восстанавливаются указанным устройством без снижения разрешения.

Недостатком известного способа и устройства для его реализации является низкое разрешение изображения, сложность конструкции и высокие требования к производительности вычислительной системы, что не позволяет осуществлять работу устройства в реальном масштабе времени.

7. Известен способ и устройство регистрации объектов в трехмерном пространстве [15], который включает две специально ориентированных пленоптических цифровых камеры включающих объективы 4, массивы микролинз 9 и матричные фотоприемники 5 (фиг. 11), которые располагаются либо параллельно друг другу (вариант I) или визируются в область исследуемого объекта 1 (вариант II). В первом варианте имеет место работа обеих камер светового поля по принципу единого регистратора светового поля, что приводит к возможности программного увеличения физической и виртуальной апертуры D₁₂ и уменьшению глубины резко отображаемого пространства, что увеличивает число слоев изображений в объеме наблюдаемого пространства, что обеспечивает повышение точности определения дальностных характеристик. Визирование регистраторов на объект 1 (II) эквивалентно режиму стереосъемки, но с возможностью регистрации большей глубины резко отображаемого пространства в каждом направлении, что обеспечивает получения резкого отображения объема наблюдаемого пространства.

В процессе наблюдения производится алгоритмическое изменение на вычислительных средствах 10, 11 поля зрения, углов визирования ОС, фокусировки и глубины резкости отображаемого пространства (ГРИП) расположения объектов в пространстве, что позволяет в одном кадре одной экспозиции проводить анализ разноудаленных объектов наблюдаемого пространства. Использование данного способа позволяет исключить оптические искажения оптической системы, дополнительно проводить пространственную калибровку ОЭС [16], что повышает точность измерений координат и геометрических характеристик, а также достоверность анализа наблюдаемых объектов.

Недостатком известного способа и реализующего его устройства является сравнительно низкое разрешение двухмерных изображений, сложность конструкции устройства, необходимость временной синхронизации получения изображений с пленоптических камер, низкое быстродействие.

8. Известен способ и устройство регистрации объектов, обеспечивающий получение изображения светового поля и обычного изображения высокого разрешения одной и той же наблюдаемой сцены одним устройством [17]. Способ реализуется перемещением блока микролинз 9 и оптического корректора 12 перед матрицей фотодиодов 5 (фиг. 12) переключая режим работы камеры из обычного в пленоптический.

Устройство цифровой камеры (ЦК), реализующей данный способ, конфигурируется для работы в режиме перефокусировки с низким разрешением (фиг. 12, «положение 1») и в режиме без перефокусировки с высоким разрешением (фиг. 12, «положение 2»). Устройство ЦК содержит: корпус камеры 3; датчик изображения 5, установленный в корпусе камеры, имеющий множество пикселей для захвата цифрового изображения; линзы основного объектива 4 для формирования изображения сцены в плоскости датчика, массив микролинз 9 для формирования субапертурных изображений; оптический адаптер 12, который может быть вставлен между объективом формирования изображения и датчиком изображения 5, для обеспечения режима перефокусировки низкого разрешения и может быть удален для обеспечения режима высокого разрешения без перефокусировки. Адаптер 12 включает в себя матрицу микролинз; при этом, когда адаптер вставляется для обеспечения режима перефокусировки с низким разрешением, матрица микролинз 9 располагается между линзой формирования изображения и датчиком изображения.

Недостатком известного способа и устройства для его реализации является низкое быстродействие ввиду механического переключателя режимов, отсутствие временной синхронности получения изображений, механическая сложность конструкции устройства, необходимость осуществлять совмещение полученных изображений.

9. Известен способ и устройство регистрации для обеспечения получения изображений объектов в трехмерном поле зрения без использования массива микролинз [18]. Для этого используется система, представляющая собой зеркальный «канал» с прямоугольным сечением (англ. «mirror Ьох») 13, где, благодаря объективу 4 и многократному отражению на гранях 13, происходит формирование так называемого калейдоскопического изображения, которое фиксируется сенсором цифровой камеры 5 обычным способом (фиг.13). В результате на сенсоре реализуется эффект стереосъемки, при этом получают «стереодевятку» (3×3 элементов). Изменяя геометрические параметры прямоугольного канала, мы можем получить размерность 5×5 или анизотропную размерность N×M, то есть анизотропную чувствительность регистрации объема в двух ортогональных направлениях.

Недостатком известного способа и устройства для его реализации являются малая светосила и низкое разрешение по дальности объектов наблюдаемого пространства.

10. Известен способ и устройство для получения и реконструкции 4D светового поля сцены. [19]. Световое поле сцены снимается с помощью двумерного цифрового датчика камеры посредством дополнительной узорчатой планарной маски, которая размещается на оптическом пути от объектива к сенсору камеры. Передающая маска пространственно модулирует 4D световое поле до того, как оно будет обнаружено. Световое поле 4D может быть построено из изображения 2D сенсора. Маска может иметь высокочастотный или широкополосный шаблон. Маска с рисунком частично ослабляет световые лучи. Вместо того, чтобы воспринимать каждый 4D луч по отдельности, конструкция позволяет определять линейно-независимые взвешенные суммы лучей. Затем лучи можно объединить в закодированное изображение. Закодированное изображение затем можно декодировать или демодулировать для восстановления лучей 4D светового поля. При отображении 4D-лучевого пространства на 2D-матрицу датчика также можно использовать методы гетеродинирования [20]. Используя модуляцию и теоремы конволюции в частотной области, можно определить маску. Маску можно поместить в оптический путь камеры для достижения переназначения области Фурье. При этом не нужно никаких дополнительных линз, а декодированные лучи могут быть вычислены по мере необходимости программным обеспечением.

Устройство камеры, реализующей способ (фиг. 14), включает в себя обычную линзу 4, обычную диафрагму 14 и обычный датчик (МФП) 5. Объектив может включать в себя несколько элементов, как в составной линзе, для коррекции аберраций, комы и искажений. При этом имеется один оптический путь света. Камера также включают микропроцессор 16. В основном микропроцессор получает входное 2D-изображение, которое кодирует в 4D световое поле и может генерировать выходное изображение, которое является реконструкцией светового поля. Таким образом, выходное изображение - это демодуляция входного изображения. Поскольку входное изображение кодирует световое поле, выходное изображение можно перефокусировать с другой или большей глубиной резкости, как если бы использовалась малая диафрагма или апертура с точечным отверстием. Выходное изображение также может быть очищено от размытия и стать новым изображением. Камера включает в себя узорную маску 15, расположенную в прямом оптическом пути между объективом и датчиком. Фактически, шаблон пространственно модулирует 4D световое поле сцены 1, полученное датчиком 5. Шаблон может быть аналитической 2D функцией, двоичной функцией или непрерывной 2D-функцией. На оптическом пути к датчику можно расположить несколько масок.

Недостатком известного способа и устройства для его реализации является сложность и низкая надежность конструкции за счет наличия управляемой маски, большое количество вычислений, что затрудняет работу устройства в реальном масштабе времени.

В качестве прототипа способа выбран способ захвата световых полей с полным разрешением матричного фотоприемника [21], который состоит из механизма последовательного получения двух изображений на одном фотоприемнике двумя различными линзовыми системами. Одна система фиксирует обычный сфокусированный в области фотоприемника снимок объекта, а другая с помощью дополнительного массива микролинз - в световом поле. Далее полученные изображения объединяются в одно изображение. Для реализации этого способа представлено устройство ОЭС с одним объективом. Массив микролинз, который регистрирует световое поле, расположен за светочувствительным слоем, что позволяет сначала сделать фотографию, а после создания 2D-снимка световой поток выходит за пределы светочувствительного слоя и попадает на матрицу микролинз, а затем - на отражающий слой. Последний слой переотражает свет обратно для формирования светового поля, создаваемого микролинзами, в следующий момент они объединяются, получая при этом фотографию светового поля с полным разрешением матричного фотоприемника.

Способ основан на последовательном вычислении плоских изображений с заданными расстояниями фокусировки, получаемых пленоптическим способом для определения дальностных характеристик объектов. Плоское изображение с полным разрешением матричного фотоприемника служит для более точного определения геометрических характеристик наблюдаемых объектов.

Недостатком прототипа известного способа является большое количество вычислений плоских изображений и последующее мультиплексирование, что затрудняет работу устройства в реальном масштабе времени, а также необходимость наличие ряда факторов, таких как необходимость получения временных диаграмм синтеза слоев трехмерных изображений, времени, затрачиваемого на обработку изображений для получения геометрических характеристик объектов наблюдаемой сцены, потери света в каналах формирования изображения, неопределенность соотношения преобразования свет-сигнал. К недостаткам относится также сложность конструкции устройства, реализующего способ.

В качестве прототипа устройства выбрано устройство, реализующее способ захвата световых полей с полным разрешением [21]. Принцип работы устройства поясняется фиг. 15. Устройство состоит из секции фотоэлектрического преобразования 22, твердотельного датчика преобразования, объектива 4, ИК-фильтра 17. Датчик изображения включает в себя: слой светочувствительных ячеек преобразования 5; отражающий слой 18 отражает свет прошедший через слой фотоэлектрического преобразования; слой микролинз 9, расположенных между слоем фотоэлектрического преобразования и отражающим слоем 18; слой управления проходящим светом 19, который расположен между слоем фотоэлектрического преобразования и отражающим слоем 18 и который может изменять оптическое пропускание в соответствии с командами, подаваемыми контроллером. Слой микролинз 9 устроен так, что свет, который прошел через одну из светочувствительных ячеек и затем отражен от отражающего слоя 18, снова падает на тот же светочувствительный элемент.

Недостатком прототипа известного устройства является сложность, и низкая надежность конструкции за счет наличия управляемого блока переключения матрицы фотодиодов на падающий от объектива свет в канал с микролинзами.

Задачей, стоящей перед настоящим изобретением, является повышение разрешающей способности и точности определения координат, а также точности определения геометрических характеристик объектов, расположенных в объеме наблюдаемого ОЭС пространства в условиях их разно удаленности.

Поставленная задача решается следующим образом. Способ анизотропной регистрации светового поля и устройство для его реализации позволяет решить задачу повышения разрешающей способности, и точности определения координат, а также точности определения геометрических характеристик объектов, расположенных в объеме наблюдаемого ОЭС пространства. Для решения этой задачи в предлагаемом способе используется цифровая регистрация объектов наблюдаемого пространства объективом с дополнительной цилиндрической линзой и двумя перпендикулярно-скрещенными линейными массивами цилиндрических микролинз, расположенными последовательно перед матрицей фотодиодов таким образом, что первый линейный массив параллельно расположенных цилиндрических линз удален от плоскости матрицы фотодиодов на таком расстоянии, на котором возможно осуществлять регистрацию направления хода лучей наблюдаемого объема пространства в виде массива линейных субапертурных изображений на матрице фотодиодов устройства. Второй линейный массив параллельно-расположенных цилиндрических микролинз, перпендикулярный первому, расположен после первого в непосредственной близости к массиву фотодиодов и обеспечивает перенаправление хода лучей на линейную группу фотодиодов матрицы. Дальнейшее формирование плоского изображения с заданными параметрами (дистанция фокусировки, глубина резко отображаемого пространства, угол визирования, масштаб) происходит алгоритмически путем суммирования сигналов с групп фотодиодов в направлении расположения цилиндрических линз первого массива длиной ограниченных вторыми цилиндрическими линзами с последующим мультиплексированием сигналов с перпендикулярно расположенных фотодиодов.

Алгоритм формирования плоского изображения задает расстояние фокусировки и глубины резко отображаемого пространства (ГРИП) оптической системы [22], которая позволяет определить дальностные характеристики наблюдаемых объектов.

Для реализации способа и устройства использована оптическая система (ОС), создающая анизотропное изображение и имеющая различный масштаб в двух взаимно-перпендикулярных направлениях (анаморфот) расположения пикселей на матрице фотодиодов с использованием системы двух последовательно расположенных взаимно перпендикулярных цилиндрически линз [23] (фиг. 16). Для предмета, расположенного в бесконечности, коэффициент анаморфозы [24] будет определяться выражением:

где f'_I - заднее фокусное расстояние системы в сечении I, f'_II - заднее фокусное расстояние системы в сечении II.

Компоненты 20 и 21 оптической системы анаморфота, формирующие анизотропное изображение на матричном фотоприемнике 5, представляют собой цилиндрические линзы, которые скрещены под углом 90° (фиг. 16). В сечениях I и II действуют различные схемы ОС, каждая из которых имеет свое линейное увеличение:

где d - расстояние между компонентами, a₁ - отрезок, определяющий положение предмета относительно 1-го компонента 20, а'₂ - отрезок определяющий положение изображения относительно 2-го компонента 21.

При использовании формулы отрезков геометрической оптики [25] получим:

- для сечения I

- для сечения II

Использование формул (4) и (6) позволяет получить уравнение

Трансформация формы входящего пучка лучей А-А' позволяет реализовать регистрацию изображения как группой пикселей в меридиальной, так и отдельными пикселями сенсора в саггитальной плоскости, что эквивалентно набору цифровых камер светового поля формируемых микролинзами 9 [8], регистрирующих направление хода лучей и линейных фрагментов матрицы фотодиодов 5, регистрирующих интенсивность всех лучей через объектив (фиг. 17).

Конструктивно это решение достигается двумя линейными массивами цилиндрических линз 20 и 21, расположенных на заданных расстояниях перед сенсором 5 (фиг. 18).

Дополнительно, как и в патенте [17], необходимо обеспечить разную фокусировку лучей основного объектива в двух ортогональных плоскостях. Работа оптической системы в двух плоскостях YOZ и XOZ представлена на фиг. 19 и фиг. 20 соответственно. Это достигается введением подобранной дополнительной цилиндрической линзы 22 для основного объектива 4 работающей как удлинитель фокуса или компенсатор.

Дополнительная цилиндрическая линза в меридиальной плоскости удлиняет фокусное расстояние основного объектива в меридиальной плоскости (фиг.19), а в саггитальной плоскости смещает его (фиг. 20).

Удлинение фокуса в зависимости от параметров элементов оптической схемы можно определить из уравнения двухкомпонентной ОС [25]

где d - расстояние между основным объективом 4 и

цилиндрической линзой 26.

Можно вычислить положение главной плоскости Н₁₂ и нового положения фокуса F12 и фокусных отрезков эквивалентной ОС (рис. 21) [25]:

В режиме смещения фокуса (компенсатора) оптический элемент работает как плоскопараллельная пластинка [25] (фиг. 22).

Оптическая схема формирования лучей на матрице фотоприемника для саггитальной плоскости соответствует принципу формирования лучей в пленоптической камере с массивом микролинз [26] (показана на фиг. 23 и фиг. 24).

Связь между координатами микролинз (Х_с, Z_c) и изображением (X, Z) описывается как [14]

Проецируемое изображение (х) вычисляется путем продолжения линии, соединяющей точку изображения и центра микролинзы С, следующим образом:

Уравнение (14) упрощается путем вычитания из него проекционного микролинзового центра С (х_с):

Подставляя (12) в уравнение (15), получим:

где K₁=1/F-1/L и K₂=L(L/l+1).

Из матрицы фотодиодов размерностью N×M таким образом можно формировать К плоских слоев изображения (фиг. 25), имеющих размерность (N)×(M/K), или обеспечивать формирование матрицы субапертурных изображений анизотропной цилиндрической системы микролинз.

Предлагаемое решение совмещает в себе две оптических системы, работающих одновременно на один фотоприемник [27], как показано на фиг. 26. Линейная ОС переносит объекты слоев наблюдаемого пространства 1 (XYZ) в плоскость МФП (X'Y') 3 [27]:

В ортогональной плоскости на основе массива микролинз объекты переносятся в массив субапертурных изображений [Im(ξ, ζ]_NM с учетом направления хода лучей (θ, ϕ), что можно записать как

Это реализуется устранением сигналов со строк, содержащих простые фотодиоды (фиг. 17).

В результате определяется возможность получения дальностных характеристики интересуемых объектов (z₁, z₂, …).

Для получения с большей точностью координат (X, Y) и геометрических характеристик объектов необходимо сформировать полноразмерные изображения слоев наблюдаемого пространства, т.е. необходимо синтезировать полноразмерное изображение, что достигается мультиплексированием сфокусированного и пленооптического изображений, имеющих разную размерность с учетом известных закономерностей поведения в изменении градиента формы границ наблюдаемых объектов.

Алгоритм получения полноразмерных изображений представлен на фиг. 27. Описанный алгоритм содержит погрешность дальнейшего определения координат и геометрических параметров объектов, которые зависят от формы объектов и его ориентации. Частичная потеря координатной информации зависит от свойств объектов. Она может быть восстановлена за счет корректного выбора алгоритма для анализа особенностей объектов.

Далее для определения координат и геометрических характеристик объектов в изображении могут быть использованы различные алгоритмы [28] на базе известных математических методов. Алгоритм измерения характеристик объектов использует методы анализа градиента яркости, яркостных измерений координат и формы объекта, поиска шаблонов в изображении, бинаризации изображений, анализа бинарных кластеров (определения их координат и геометрических параметров).

Все алгоритмы анализа и измерений координат и формы объектов реализуемы в модуле IMAQVision среды программирования фирмы National Instruments (NI) LabVIEW [29, 30] для создания целевого программного обеспечения, например, определения основных характеристик наблюдаемого в поле зрения объекта [28].

Для мультиплексирования изображения могут использоваться различные математические методы [31], в том числе методы кратномасштабного вейвлет-анализа [32].

Для определения координат и геометрических параметров объектов произвольной формы могут быть использованы различные математические методы на базе известных алгоритмов, программная реализация которых представлена в среде программирования фирмы NI LabVIEW (таблица 2), и методов вейвлет-анализа яркостной структуры объектов. Для этого разработаны алгоритм (фиг. 28) и интерфейс программного обеспечения [33], приведенный на фиг. 29, служащие для проверки точности определения координат и признаков наблюдаемых объектов предлагаемым способом и устройством.

Сущность изобретения заключается в анизотропном формировании плоского изображения в плоскости матричного фотоприемника, имеющего различную информационную структуру одиночных и групп пикселей в меридиальной и саггитальной плоскостях, используя различные размеры линейных наборов фотодиодов по горизонтали (строки) и вертикали (столбцы) матрицы фотодиодов. В плоскости одного фотоприемника устройство получает два изображения области наблюдаемого пространства с объектами наблюдения и изображение двухмерного или трехмерного отображения объектов. На основе полученного цифрового файла алгоритмически определяют в меридиальной плоскости набор изображений низкого разрешения, которое дополняется сигналами с фотодиодов, расположенных в саггитальной плоскости, далее из анализа функций градиента границ наблюдаемых объектов воссоздают недостающую информацию о точках изображения, соответствующих яркостные элементам матрицы в меридиальной плоскости, что дает возможность максимально точно получать геометрическую информацию в плоском изображении объектов в слоях пространства с заданном удалении. Выявление (обнаружение) объектов, их координат и геометрических признаков производится алгоритмической обработкой изображений в заданном удалении.

Кроме того, с использованием нового способа анизотропной регистрации объектов ОЭС в наблюдаемом пространстве путем формирования оптической системой анизотропной информационной структуры в двух ортогональных плоскостях и ее раздельной алгоритмической обработки, реализуется ряд новых возможностей:

- вычисление геометрических размеров и их координатного расположения относительно других объектов в наблюдаемом ОЭС пространстве с более высокой точностью;

- определение расстояния до объектов R в зависимости от установленной дистанции фокусировки и глубины резкоотображаемого пространства;

- регистрация наблюдаемого пространства в одном кадре в одной экспозиции, что повышает обнаружительную способность ОЭС и упрощает анализ трехмерного расположения объектов в наблюдаемом пространстве.

Технический результат изобретения заключается в повышении точности определения всех координат и геометрических характеристик объектов в наблюдаемом трехмерном пространстве с сохранением возможности поиска и распознавания объектов наблюдаемой области пространства в одной сцене, а также в наличии возможности определения расстояния до интересуемого объекта.

Для достижения технического результата предлагается способ анизотропной регистрации светового поля и устройство для его реализации на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве, который реализуется следующим образом.

Оптическая система производит упорядоченное перераспределение и регистрацию направления хода лучей, входящих в оптическую систему, на матрицу фотодиодов, алгоритмическое формирований изображений объектов в слое пространства, обнаружение объектов, вычисление линейных размеров наблюдаемых объектов и дальности до них, определение их геометрических признаков, при этом перераспределение совокупности хода лучей осуществляют отдельно в меридиальной и саггитальной плоскостях скрещенными массивами цилиндрических оптических систем, расположенными на различном расстоянии от матрицы фотодиодов, алгоритмическое формирование изображений слоев пространства осуществляют на основе сигналов фотодиодов в меридиальной плоскости и формирование выделенных слоев пространства на базе субапертурных линейных комбинаций сигналов фотодиодов саггитальной плоскости, соответствующих пленоптическому изображению, обнаружение объектов осуществляют по всей глубине наблюдаемого пространства по изображению, алгоритмически синтезируемому обработкой массива пиксельных и субапертурных изображений.

Устройство, реализующее предложенный способ, включает оптическую систему, одновременно регистрирующую сфокусированное и пленоптическое изображения наблюдаемого объема пространства на основе основного объектива и массива оптических элементов, расположенных перед матрицей фотодиодов, при этом массив микролинз перераспределения хода лучей выполнен в виде двух скрещенных линейных массивов цилиндрических линз, расположенных перед матричным фотоприемником на разном расстоянии таким образом, чтобы обеспечивать одновременное формирование основного изображения высокого разрешения в меридиальной плоскости и пленоптического субапертуроного в саггитальной плоскости, вычислительную систему, формирующую пленооптическое изображение и осуществляющую его мультиплексирование с изображением высокого разрешения, получаемым в меридиальной плоскости.

Предлагаемое устройство, реализующее способ и именуемое как анизотропный регистратор светового поля, позволяет создать анизотропное изображение с использованием системы двух последовательно расположенных взаимно перпендикулярных цилиндрически линз.

На фиг. 16 приведена оптическая схема скрещенных цилиндрических линз перед матричным фотоприемником, реализующая предложенный способ анизотропной регистрации, где 20 - цилиндрическая линза в меридиальной плоскости оптической системы, 21 - цилиндрическая линза в саггитальной плоскости оптической системы, 5 - матричный фотоприемник. На фиг. 17 приведена эквивалентная модель пленоптической и анизотропной регистрации. На фиг. 18 конструкция узла анизотропной регистрации, где 20 - массив цилиндрических линз в меридиальной плоскости, 21 - массив цилиндрических линз в саггитальной плоскости оптической, 5 - матричный фотоприемник. На фиг. 19 и фиг. 20 приведены оптические схемы устройства в двух плоскостях, реализующие предложенный способ анизотропной регистрации светового поля в меридиальной и саггитальной плоскости соответственно, где 4 - основной объектив, 22 - дополнительная корректирующая цилиндрическая линза, 20, 21 -скрещенные линейные массивы цилиндрических микролинз, 5 - матричный фотоприемник. На фиг. 21 представлена эквивалентная оптическая схема основного объектива и корректирующей цилиндрической линзы в меридиальной плоскости. На фиг. 22 представлена оптическая схема сдвига лучей корректирующей цилиндрической линзы в саггитальной плоскости оптической системы. На фиг. 23 и фиг. 24 представлены оптические схемы хода лучей в режиме пленооптической регистрации. На фиг. 25 представлена информационная модель матричного фотоприемника в режиме анизотропной регистрации. В плоскости фотоприемника размерностью N×M фотодиодов одновременно получают два изображения (обычное N×M и пленооптическое N×M/K) с находящимися в пространстве объектами. Из полученного пленооптического изображения синтезируют К слоев двухмерных изображений, соответствующих трехмерному образу наблюдаемого пространства. На фиг. 26 представлена структурная информационная модель анизотропной системы, где 1 - объекты наблюдаемого пространства, 4 - элементы оптической проектирующей системы (а) и 9 - эквивалентные элементы пленоптической системы (б), 5 - матричный фотоприемник, 16 - компьютерная система, 11 - программные средства обработки информации (виртуальный прибор). На фиг. 27 представлен алгоритм формирования изображения высокого разрешения и получения дальностной информации об объекте. На фиг. 28 представлена блок-схема алгоритма получения информации об объекте наблюдения в условиях анизотропной регистрации. На фиг. 29 представлен интерфейс программы, реализующей алгоритм получения информации об объекте наблюдения в условиях анизотропной регистрации.

Компьютерная система производит вычисление сечений изображений слоев наблюдаемого пространства в малом разрешении МФП в меридиальной плоскости ОС, совмещение изображений с сечениями в полном разрешении, их дальнейшую обработку, определение координат и необходимых геометрических характеристик (размера, формы) объектов. Количество и глубина слоев наблюдаемого пространства определяется параметрами оптической схемы [13], вычисляемой виртуальной апертурой [26], определяющей глубину резкоотображаемого пространства [21], которая во много раз превышает основной проектирующий объектив [15].

При этом устройство, реализующее предложенный способ, обеспечивает более высокое быстродействие по сравнению с пленоптическими цифровыми устройствами [8] и временное совпадение объектов наблюдаемого пространства, т.к. исключается синтез слоев изображений по двум координатам. Быстродействие также можно повысить либо путем синтеза изображений полного разрешения наиболее значимых фрагментов объектов (определяя, например, лишь контуры объекта, чего зачастую вполне достаточно для того, чтобы отличить один вид объекта от другого), либо за счет ограничения количества слоев изображения, выбирая их с заданным шагом. Реализуемость предложенного способа и устройства определяется:

1. Возможностями предприятий промышленности по изготовлению массивов высокоточных оптических цилиндрических микролинз [33, 34].

2. Наличием алгоритмов [8] и прототипа программного обеспечения [12] обработки пленоптических файлов светового поля [13], полученных оптической системой с массивом микролинз.

3. Наличием специального программного обеспечения [30], реализующего различные алгоритмы формирования и обработки изображений с высокой глубиной проработки (реализованных в среде программирования Lab VIEW [29], с модулем технического зрения IMAQ Vision [30]), алгоритмами и программами калибровки [16, 35].

Для проведения исследования формирования анизотропного изображения в камере светового поля использована экспериментальная установка. На фиг. 30 представлен макет устройства регистрации матричным фотоприемником световых объектов камерой светового поля с дополнительным цилиндрическим оптическим элементом, совмещенным с объективом, где 23 - полнофункциональный изотропная пленооптическая камера, 24 - экран отображения наблюдаемых объектов, 25 - держатель дополнительного цилиндрического элемента, 20 - цилиндрический оптический элемент, формирующий анизотропный пучок лучей, 26 - тестовый световой объект наблюдения. Цель экспериментальной проверки: показать возможность формирования на матрице фотоприемника ОЭС анизотропной информационной структуры изображения, включающее направленное перераспределение в структуре матричного фотоприемника многопиксельных субапертурных изображений в двух ортогональных плоскостях, одна из которых проходит через ось дополнительного цилиндрического оптического элемента, что обеспечивает возможность субапертурной алгоритмической обработки группы пикселей в плоскости оси цилиндра и использования полного физического разрешения матрицы в ортогональной оси цилиндра плоскости.

Принцип работы установки регистратор светового поля с массивом микролинз, регистрирую направления входящих лучей, формирует плоский массив субапертурных изображений, что снижает разрешение изображений по отношению к физическому разрешению матрицы фотоприемника, что дает возможность определить дальность до наблюдаемых объектов, Формирование линейных субапертурных изображений снижает расход пикселей матрицы, что повышает линейное разрешение в изображении для протяженных объектов, сохраняя возможность определения дальностных параметров. Массивы линейных изображений содержат более информацию о форме границ объектов. Дальностных параметров объектов происходит без потерь по отношению к светвоому полю.

Использование способа и устройства для его реализации позволит повысить эффективность современных средств обнаружения и идентификации объектов ОЭС в одном кадре и одной экспозиции.

В располагаемых источниках информации не обнаружено технических решений, содержащих в совокупности признаки, сходные с отличительными признаками заявляемого способа и устройства для его реализации. Следовательно, изобретение соответствует критерию изобретательский уровень.

Источники информации

[1] Sayyedbarzani S. A. and Emam S. М. Evaluation of the quantization error in convergence stereo cameras // Journal of Optical Technology Vol.87, Issue 8, pp. 495-500. (2020).

[2] Грузман И.С., Киричук B.C., Косых В.П., [и др.] Цифровая обработка изображений в информационных системах: Уч. пособие - Новосибирск: Изд-во НГТУ, 2000.- 168 с.

[3] Биометрические 2D и 3D технологии выделения и распознавания лиц. Сайт компании ЗАО «Институт информационных технологий».

[4] Бринкманн Ларе. Времяпролетные камеры: 2D- и 3D-изображения за один кадр // Системы безопасности" №2, 2016. Времяпролетные камеры: 2D- и 3D-изображения за один кадр.

[5] 3D-камеры Basler (baslerweb.com) Информационный ресурс.Режим доступа: https://\vww.baslenveb.com/ru/produk1y/kamery/3d-kamery/

[6] Патент номер US 20100020187 А1. Plenoptic camera. Pub. Date: Jan. 28, 2010

[7] Cai Z. et al. Light: Science & Applications (2020) 9:143, P. 1-9.

[8] Ng R. Digital light field photography // A dissertation submitted to the department of computer science and the committee degree of doctor of philosophy. @ Copyright by Ren Ng, 2006. - 187 p.

[9] Kučera Jan. Computational photography of light-field camera and application to panoramic photography. Department of Software and Computer Science Education Supervisor of the master thesis: Ing. Filip Šroubek, Ph.D. Study programme: Computer Science, Software Systems Specialization: Computer Graphics, Prague, 2014.-98 p.

[10] Махов B.E., Потапов А.И., Закутаев A.A., Принципы работы цифровых камер светового поля с массивом микролинз // Компоненты и технологии. 2018. №1 (226). С. 66-72.

[11] Patent No.: US 8.593,564 B2 including refocusable imaging mode adapt. Nov. 26, 2013.

[12] Andrew Couts, Digital Trends. "Lytro: The camera that could change photography forever." June 22, 2011. Retrieved July 21, 2011.

[13] 3D Light Field Camera Technology / Raytrix GmbH, Germany, 2013, [Электронный ресурс]. URL: http://www.isolutions.com.sg/Raytrix.pdf.

[14] Patent No.: US 20140204183 A1 Photographing device and photographing method for taking picture by using a plurality of microlenses. 2014-07-24.

[15] Ольт Ю., Максаров B.B., Махов B.E. Интеллектуальные системы оценки качества обработки резьбовых поверхностей и контроля дефектов на основе цифровой регистрации светового поля // Дефектоскопия. №11. 2020. С. 46-57.

[16] Bok Y. Geometric Calibration of Micro-Lens-Based Light-Field Cameras using Line Features / Yunsu Bok, Hae-Gon Jeon, In So Kweon // IEEE Transactions on Pattern Analysis and Machine Intelligence v. 39, Issue: 2, 2017. P. 287-300.

[17] Patent No.: US 2014/00782 Al Light field image capture device and image sensor. Pub. Date: Mar. 20, 2014.

[18] Информационный ресурс: Необычный объектив для обычной камеры или как перестать думать о фокусе / Хабр (habr.com) - Режим доступа: https://habr.com/ru/post/414877/.

[19] Patent No.: US 7,792.423 В2 4D Light field cameras. Date of Patent: Sep. 7, 2010.

[20] Махов B.E., Потапов А.И., Смородинский Я.Г., Маневич Е.Я. Использование двулучевой интерферометрии в системах контроля деформации поверхностей // Дефектоскопия. 2019. №8. С. 59-66.

[21] Patent No. 20140078259 Light field image capture device and image sensor. Pub. Date: Mar. 20, 2014.

[22] Махов B.E., Потапов А.И., Шалдаев С.Е. Контроль геометрических параметров изделий методом светового поля // Контроль. Диагностика. 2017. №7. С. 12-24.

[23] Цуканова Г.И., Карпова Г.В., Багдасарова О.В., Карпов В.Г., Кривопустова Е.В., Ежова К.В. Геометрическая оптика. Учебное пособие по курсу «Прикладная оптика» - СПб: СПб ГИТМО (ТУ), 2002 - 135 с.

[24] Заказнов Н.П. Кирюшин С.И., Кузичев В.Н. Теория оптических систем: Учебник для студентов приборостроительных специальностей вузов- 3-е изд., перераб. и доп. - М.: Машиностроение, 1992. - 448 с.

[25] Прикладная оптика: Учеб. пособие. / Е.М. Махов, А.И. Потапов, В.Е. Махов. - СПб.: СЗТУ, 2003.- 230 с.

[26] Махов В.Е., Потапов А.И., Закутаев А.А., Принципы работы цифровых камер светового поля с массивом микролинз // Компоненты и технологии. 2018. №1 (226). С. 66-72.

[27] Махов В.Е., Потапов А.И., Широбоков В.В., Емельянов А.В. Построение алгоритмов оптического контроля малоразмерных удаленных световых объектов // Контроль. Диагностика. 2021. Т.24. №6. С. 15-27.

[28] Махов В.Е., Широбоков В.В., Петрушенко В.М. Методика построения алгоритмов для определения параметров малоразмерных объектов // Компоненты и технологии. 2020. №4 (226). С. 110-114.

[29] Travis J., Kring J. LabVIEW for Everyone: Graphical Programming Made Easy and Fun, Third Edition: Prentice Hall. July 27, 2006. - 1032 p.

[30] Klinger T. Image processing with Labview and Imaq Vision (National Instruments Virtual Instrumentation Series). - Prentice Hall Professional, 2003. -319 p.

[31] Васильев A.C., Трушкина А.В. Методы комплексирования изображений в многоспектральных оптико-электронных системах 26-я Международная конференция (GraphiCon2016), Россия, Нижний Новгород, 19-23 сентября 2016 г. С. 314-318.

[32] Новиков И.Я., Протасов В.Ю., Скопина М.А. Теория Всплесков, М.: Физматлит, 2005. - 616 с.

[33] Махов В.Е., Петрушенко В.М., Емельянов А.В., Потапов А.И., Широбоков В.В. Технология разработки алгоритмов программного обеспечения оптико-электронных систем наблюдения за удаленными объектами // Вестник компьютерных и информационных технологий, №10, Том 18, 2021. С. 10-21.

[34] Уваров В.П. Ильичев В.А. Математические модели процесса вытяжки оптических стержней - СПб.: Химиздат, 2003. - 136 с.

[34] Полещук А.Г., Корольков В.П., Вейко В.П., Заколдаев Р.А., Сергеев М.М. Лазерные технологии в микрооптике. Ч. II. Изготовление элементов с трехмерным микрорельефом // Автометрия. 2018. Т. 54. №2. С. 3-19.

[35] Калибровка камеры и 3D реконструкция (реализация opencv-python). Информационный ресурс: https://russianblogs.com/article/427598482/.

Изобретение относится к способам и методам оптического наблюдения, а более конкретно к оптическим способам получения и обработки оптической информации, обнаружения и определения положения объектов в трехмерном пространстве оптико-электронной системой в одном кадре и одной экспозиции, позволяющей определить их геометрические признаки, координаты и дальность. Сущность изобретения заключается в анизотропном формировании плоского изображения в плоскости матричного фотоприемника, имеющего различную информационную структуру одиночных и групп пикселей в меридиальной и сагиттальной плоскостях, используя различные размеры линейных наборов фотодиодов по горизонтали (строки) и вертикали (столбцы) матрицы фотодиодов. В плоскости одного фотоприемника устройства получают два изображения области наблюдаемого пространства с объектами наблюдения и изображение двухмерного или трехмерного отображения объектов. На основе полученного цифрового файла алгоритмически определяют в меридиальной плоскости набор изображений низкого разрешения, которое дополняется сигналами с фотодиодов, расположенных в сагиттальной плоскости, далее из анализа функций градиента границ наблюдаемых объектов воссоздают недостающую информация точек изображения, соответствующих яркостным элементам матрицы в меридиальной плоскости, что дает возможность максимально точно получать геометрическую информацию в плоском изображении объектов в слоях пространства на заданном удалении. Выявление объектов, их координат и геометрических признаков производится алгоритмической обработкой изображений на заданном удалении. Технический результат заключается в повышении точности определения всех координат и геометрических характеристик объектов. 2 н.п. ф-лы, 30 ил., 2 табл.

1. Способ анизотропной регистрации светового поля, включающий в себя упорядоченное перераспределение и регистрацию направления хода лучей, входящих в оптическую систему на матрицу фотодиодов, алгоритмическое формирование изображений объектов в слое пространства, обнаружение объектов, вычисление линейных размеров наблюдаемых объектов и дальности до них, определение их геометрических признаков, отличающийся тем, что перераспределение совокупности хода лучей осуществляют отдельно в меридиальной и саггитальной плоскостях скрещенными массивами цилиндрических оптических систем, расположенными на различном расстоянии от матрицы фотодиодов, алгоритмическое формирование изображений слоев пространства осуществляют на основе сигналов фотодиодов в меридиальной плоскости и формирование выделенных слоев пространства на базе субапертурных линейных комбинаций сигналов фотодиодов саггитальной плоскости, соответствующих пленоптическому изображению, обнаружение объектов осуществляют по всей глубине наблюдаемого пространства по изображению, алгоритмически синтезируемому обработкой массива пиксельных и субапертурных изображений.

2. Устройство анизотропной регистрации светового поля для обнаружения и определения характеристик объектов на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве, включающее в себя оптическую систему, одновременно регистрирующую сфокусированное и пленоптическое изображения наблюдаемого объема пространства на основе основного объектива и массива оптических элементов, расположенных перед матрицей фотодиодов, отличающееся тем, что структура оптической системы массива микролинз перераспределения хода лучей выполнена в виде двух скрещенных линейных массивов цилиндрических линз, расположенных перед матричным фотоприемником на разном расстоянии таким образом, чтобы обеспечивать одновременное формирование основного изображения высокого разрешения в меридиальной плоскости и пленоптического субапертурного в саггитальной плоскости, при этом устройство обеспечивает одновременное получение суммарного объемного изображения наблюдаемой области пространства для определения местонахождения наблюдаемых объектов и их геометрических характеристик.