СИСТЕМА ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2022 года по МПК H04N5/225 H04N5/262 

Область техники, к которой относится изобретение

Предлагаемое изобретение относится к области оптических систем и более конкретно к способу и системе формирования изображений на основе оптимизированных параметров оптической системы, полученных с применением моделей оптической системы с различными уровнями абстракции.

Уровень техники

Реальная камера (далее также называемая в контексте настоящей заявки «физической» камерой, в противоположность «виртуальной» камере или модели камеры) формирует на своем датчике изображения двухмерное (2D) изображение на основе трехмерной (3D) сцены реального мира. Затем двухмерное изображение, зарегистрированное датчиком (приемником) изображения, обрабатывается блоком обработки изображения для повышения качества изображения. При разработке усовершенствованных камер для формирования изображений перед разработчиками стоит задача одновременной разработки и оптимизации оптической системы камеры с блоком обработки изображений (так называемое сквозное проектирование оптической системы), для решения которой предпочтительно иметь модель, основанную на физической камере. Это позволило бы исключить дорогостоящие работы по созданию прототипов камеры в процессе ее конструирования и доработки, а также отладить алгоритм обработки изображений перед созданием прототипа оптической системы физической камеры.

На решение данной задачи в настоящее время направлены усилия многих разработчиков оптических систем. Однако в уровне техники технологии компьютерного моделирования трехмерной сцены, формирования двухмерного изображения этой сцены оптической системой и последующей обработки двухмерного изображения по-прежнему основаны главным образом на модели точечной диафрагмы или модели тонкой линзы. Однако эти модели не способны надлежащим образом смоделировать оптическую систему физической камеры и объектива (в частности, такие параметры физической оптической системы, как глубина резкости, размытие, дисторсия). В частности, для моделирования оптической системы физической камеры и блока обработки изображения могут использоваться алгоритмы машинного обучения (ML), основанные на наборах данных в виде наборов изображений, представляющих собой эталонные (ground truth) изображения сцены и изображения после обработки блоком обработки изображений. В этой связи, алгоритмам машинного обучения, моделирующим работу блока обработки изображений, в настоящее время присущ ряд проблем, связанных, в частности, с неестественным размытием заднего и/или переднего плана (эффект «боке»), двоением и размытием в изображениях, формируемых моделируемым блоком обработки изображения. Неестественное размытие выражается в изображении точечных объектов в виде ореолов в форме овалов, колец или полуколец - «бубликов» (в англоязычной литературе известно как donut-shaped bokeh).

Оптическим системам с широким углом поля зрения, используемым в устройствах виртуальной реальности (VR), также присуща проблема, состоящая в необходимости обеспечения высокого разрешения изображения именно в той части изображения, на которую непосредственно направлен взгляд субъекта (иначе говоря, вокруг точки «фиксации» взгляда субъекта; в англоязычной литературе такое формирование изображения называется термином foveated imaging) при меньшем разрешении изображения на периферии поля зрения.

Кроме того, в настоящее время проблематичным является получение набора данных изображений для разработки алгоритма машинного обучения, основанных на параметрах физической оптической системы, на основании трехмерной сцены с учетом распространения оптического излучения от изображаемой сцены, особенностей трансформации изображения посредством конкретной оптической системы, датчика изображения и блока обработки изображения без необходимости изготовления реальной (физической) оптической системы.

В источнике US 6028606 (Leland Stanford Junior University, опубликован 22.02.2000) раскрыта система моделирования камеры для рендеринга изображений в компьютерной графике. В известном решении используются, в частности, модели на основе камеры для синтеза двухмерного изображения из данных, представляющих трехмерную сцену. Также известное решение относится к способу моделирования физической камеры в системе компьютерной графики. Основываясь на характеристиках линз физической камеры, включая их размеры, показатели преломления, значения диафрагмы и характеристики затвора, а также ориентацию поверхности фотопленки относительно системы линз и ориентацию камеры в пределах изображаемой сцены, известная модель воспроизводит физические принципы формирования изображений, создавая изображение, приближенное к изображению, формируемому реальной физической камерой. Однако данное известное решение имеет ряд недостатков, среди которых следует отметить отсутствие сведений о способе разработки модели оптической системы (камеры), использование в качестве основы для раскрытой модели камеры только лучевого приближения (без учета волновых свойств света), а также отсутствие возможности формирования набора данных формируемых изображений.

В источнике US 20090102841 (Sony Electronics Inc., опубликован 23.04.2009) раскрыта система виртуальной камеры и объектива в среде трехмерного компьютерного графического моделирования, которая основана на использовании номинального фокусного расстояния. В системе вычисляется истинное фокусное расстояние. Создается объект оптической оси, представляющий оптическую ось системы виртуальной камеры и объектива. К оптической оси прикрепляется объект, расположенный в местоположении, которое воспроизводит расположение системы виртуальной камеры и объектива, определяемое на основании истинного фокусного расстояния. Фокусное расстояние системы виртуальной камеры и объектива устанавливается на вычисленное истинное фокусное расстояние. При этом фокусное расстояние и значение диафрагмы могут определяться на основании ближней и дальней точек фокусировки. К недостаткам данного известного решения можно отнести то, что оно основано на модели идеальной оптической системы, а не реальной (физической) оптической системы. Кроме того, для формирования изображений в известной системе используется только фокальная линза.

В источнике US 7616842 (Ricoh Co. Ltd., опубликован 10.11.2009) раскрыт способ сквозного проектирования оптической системы, в котором прогнозируются характеристики формирования изображений с использованием пространственной модели для объекта-источника и моделей для оптической подсистемы, подсистемы детектора и подсистемы цифровой обработки изображения. Оптическую подсистему и подсистемы цифровой обработки изображений конструируют вместе с учетом параметров всей системы. Промежуточное изображение, формируемое оптической подсистемой, не требует высокого качества, поскольку качество может быть скорректировано подсистемой цифровой обработки изображения. К недостаткам данного известного решения можно отнести то, что с точки зрения определения показателей рабочих характеристик оптической системы объект-источник является лишь идеальным представлением (в частности, камерой с точечной диафрагмой), в то время как другие варианты компонентов оптической системы (линзы с конкретными параметрами, камеры и т.п.) не учитываются.

В источнике WO 2002044650 (Xygent (UK) Ltd., опубликован 06.06.2002) раскрыто устройство для моделирования измерения детали с использованием системы визуальных измерений, причем устройство содержит: компьютер, выполняющий программу, которая принимает цифровую модель детали и рендерирует (отрисовывает) изображение модели детали, причем изображение рендерируется на основании условий, моделирующих систему измерения, и оценивает изображение для получения значения, представляющего физическую характеристику детали. К недостаткам данного известного решения можно отнести то, что в его основе лежит модель, основанная на параметрах идеальной оптической системы, а не реальной (физической) оптической системы.

Известное решение по US 7616842 может быть рассмотрено в качестве ближайшего аналога (прототипа) для заявляемого изобретения.

Раскрытие изобретения

Данный раздел, раскрывающий различные аспекты и варианты выполнения заявляемого изобретения, предназначен для представления краткой характеристики заявляемых объектов изобретения и вариантов его выполнения. Подробная характеристика технических средств и методов, реализующих сочетания признаков заявляемых изобретений, приведена ниже. Ни данное раскрытие изобретения, ни нижеприведенное подробное описание и сопровождающие чертежи не следует рассматривать как определяющие объем заявляемого изобретения. Объем правовой охраны заявляемого изобретения определяется исключительно прилагаемой формулой изобретения.

Учитывая рассмотренные выше известные решения из уровня техники, объективная техническая проблема, решаемая изобретением, состоит в оптимизации параметров оптической системы без необходимости изготовления прототипов оптической системы для оптимизации параметров

Задача, решаемая настоящим изобретением, состоит в создании способа и системы формирования изображений с повышенным качеством итогового изображения, а также способа проектирования такой системы формирования изображений.

Технический результат, достигаемый при использовании настоящего изобретения, состоит в повышении качества изображения, восстановленного или обработанного на основе оптимизированных параметров оптической системы.

В первом аспекте настоящего изобретения указанная задача решается системой формирования изображений, которая содержит оптическую систему, датчик изображения и блок обработки изображений. При этом оптическая система выполнена с возможностью формирования промежуточного изображения. Блок обработки изображений выполнен с возможностью восстановления упомянутого промежуточного изображения. При этом система формирования изображений реализована посредством совместной оптимизации параметров оптической системы и блока обработки изображений посредством минимизации различия в парах изображений, причем различие в парах изображений формируется посредством по меньшей мере двух моделей оптической системы, причем по меньшей мере две модели оптической системы содержат две или более моделей оптической системы с различными уровнями абстракции, выполненные с возможностью формирования изображений, моделирование которых осуществляется путем расчета хода лучей или распространения световой волны через соответствующую оптическую систему. Уровни абстракции по меньшей мере двух моделей оптической системы различаются по количеству и типу параметров, используемых при описании прохождения света через оптическую систему. В одном или более вариантах выполнения изобретения по меньшей мере одно изображение в упомянутых парах изображений формируется с использованием алгоритма распространения световой волны (что иначе можно назвать волновым приближением) и/или алгоритма расчета хода лучей (что иначе можно назвать лучевым или геометрическим приближением) от объектов трехмерной сцены. Алгоритм расчета хода лучей представляет собой алгоритм прямой трассировки лучей или алгоритм обратной трассировки лучей. В одном или более вариантах выполнения изобретения упомянутые по меньшей мере две модели оптической системы содержат модель низкого уровня абстракции, более полно учитывающую поведение физической оптической системы, и по меньшей мере одну модель высокого уровня абстракции, менее полно учитывающую поведение физической оптической системы. Модель высокого уровня абстракции может представлять собой модель точечной диафрагмы, модель тонкой линзы, модель линзы с фовеолярной зоной, модель ахроматической оптической системы, модель дисторзирующей оптической системы без размытия изображения. В одном или более вариантах выполнения при формировании пар изображений могут дополнительно применяться по меньшей мере две модели датчика изображения с различными уровнями абстракции, причем по меньшей мере одна из двух моделей датчика изображения представляет собой модель, учитывающую шум, модель со спектральной селективностью, и/или модель, учитывающую параметры выборки, такие как дискретизация, попиксельное интегрирование и квантование.

Во втором аспекте настоящего изобретения предложен способ проектирования параметров системы формирования изображений, содержащей оптическую систему, датчик изображения и блок обработки изображений, содержащий этапы, на которых: формируют по меньшей мере один набор пар изображений и с использованием по меньшей мере двух моделей оптической системы с различными уровнями абстракции; и минимизируют различия между изображениями в наборе пар изображений и путем оптимизации параметров оптической системы, датчика изображения и/или блока обработки изображений.

Уровни абстракции упомянутых по меньшей мере двух моделей оптической системы различаются по количеству и типу параметров, используемых при описании прохождения света через оптическую систему. В одном или более вариантах выполнения изобретения по меньшей мере две модели оптической системы содержат модель низкого уровня абстракции, более полно учитывающую поведение физической оптической системы, и по меньшей мере одну модель высокого уровня абстракции, менее полно учитывающую поведение физической оптической системы. В одном или более вариантах выполнения этап минимизации различий между изображениями содержит этап, на котором применяют метрику (также называемую в контексте настоящей заявки нормой невязки, где невязка - разность между эталонным изображением и изображением, полученным физической моделью) для оценки качества изображения, формируемого системой формирования изображений, и получают оптимальные параметры оптической системы, оптимальные параметры датчика изображения и/или оптимальные параметры блока обработки изображений на основании минимизации метрики . По меньшей мере одно изображение в упомянутых парах изображений может формироваться с использованием алгоритма распространения световой волны и/или алгоритма расчета хода лучей от объектов трехмерной сцены.

В третьем аспекте настоящего изобретения предложен способ формирования изображений системой формирования изображений, содержащей оптическую систему, датчик изображения и блок обработки изображений. Способ содержит этапы, на которых: формируют по меньшей мере один набор пар изображений и с использованием по меньшей мере двух моделей оптической системы с различными уровнями абстракции; применяют метрику для оценки качества изображения, формируемого системой формирования изображений, и получают оптимальные параметры оптической системы, оптимальные параметры датчика изображения и оптимальные параметры блока обработки изображений на основании минимизации метрики ; применяют полученные оптимальные параметры оптической системы и оптимальные параметры датчика изображения для формирования промежуточного изображения; вводят промежуточное изображение в блок обработки изображений; применяют оптимальные параметры блока обработки изображений в блоке обработки изображений; и выполняют восстановление изображения на основании оптимальных параметров блока обработки изображений для получения изображения высокого качества. При формировании пар изображений могут дополнительно применяться по меньшей мере две модели датчика изображения с различными уровнями абстракции, причем по меньшей мере одна из двух моделей датчика изображения представляет собой модель, учитывающую шум, модель, учитывающую спектральную селективность, и/или модель, учитывающую параметры выборки.

Как будет очевидно специалистам в данной области техники, заявляемое изобретение может быть реализовано также в форме других объектов, таких как, в качестве неограничивающего примера, устройство формирования изображения, оптическая система, система дополненной реальности (AR) или виртуальной реальности (VR), устройство отображения и т.п.

Краткое описание чертежей

Чертежи приведены в настоящем документе для облегчения понимания сущности настоящего изобретения. Чертежи являются схематичными и выполнены не в масштабе. Чертежи служат исключительно в качестве иллюстрации и не предназначены для определения объема настоящего изобретения.

На Фиг. 1 приведена блок-схема системы формирования изображений согласно изобретению.

На Фиг. 2 проиллюстрирован пример наборов параметров для модели оптической системы низкого уровня абстракции (вид А) и модели оптической системы высокого уровня абстракции (вид В), соответственно.

На Фиг. 3 показана блок-схема способа формирования изображений согласно изобретению.

На Фиг. 4 схематично проиллюстрирована модель оптической системы с точечной диафрагмой согласно одному из вариантов осуществления изобретения.

На Фиг. 5 схематично проиллюстрирована модель «идеальной» линзы согласно одному из вариантов осуществления изобретения.

На Фиг. 6 схематично проиллюстрирован примерный профиль линзы с фовеолярной зоной и соответствующие зоны на формируемом изображении согласно одному из вариантов осуществления изобретения.

Осуществление изобретения

Предлагаемое изобретение основано на двухуровневой модели для получения оптимизированных параметров оптической системы и компенсации недостатков изображения, характерных для результата работы реальной («физической») оптической системы, таких как размытие (недостаточная резкость), геометрические и хроматические аберрации, дисторсия, двоение изображения, шум и т.п. Результатом применения настоящего изобретения является формирование восстановленного изображения с желаемым качеством за счет применения оптимизированных параметров оптической системы, датчика изображения и блока обработки изображений.

Для этого в основе концепции настоящего изобретения лежит подход, основанный на так называемом «сквозном» (называемом в англоязычной литературе термином end-to-end) проектировании оптимизированных параметров системы (устройства) формирования изображения с использованием в качестве источника исходных данных трехмерного (3D) объекта и/или сцены, а не двухмерного изображения, как в известных подходах из уровня техники, рассмотренных выше. В общем случае, в контексте настоящего изобретения для этого используется трехмерная сцена, содержащая геометрические модели одного или более трехмерных объектов с заданными материалами и свойствами поверхностей и один или более источников света с заданными характеристиками.

Трехмерная сцена для целей реализации настоящего изобретения может быть, в качестве неограничивающего примера, сценой, заранее созданной с использованием определенной компьютерной программы 3D моделирования, или готовой сценой, выбранной из одной или более баз данных трехмерных моделей и/или сцен. В качестве неограничивающего примера, конкретная трехмерная сцена может быть создана и/или выбрана для использования при реализации изобретения на основании назначения и требуемых характеристик системы (устройства) формирования изображений, для которого осуществляется проектирование параметров в соответствии с изобретением. В качестве неограничивающего примера и исключительно в целях иллюстрации, для устройства формирования изображений, представляющего собой фронтальную камеру телефона, предназначенную в основном для съемки лица человека, которое находится на расстоянии от 200 до 700 мм, трехмерная сцена может включать в себя трехмерную модель, соответствующую лицу человека, а также одну или более моделей трехмерных объектов, представляющих типичный фон, например деревья, здания и т.п., которые могут располагаться за лицом человека на расстоянии более 1000 мм. Взаимное расположение этих объектов в трехмерной сцене также устанавливается в соответствии с конкретной решаемой задачей, пример которой приведен выше.

При этом, согласно изобретательскому замыслу, для проектирования оптимизированных параметров системы формирования изображения не требуется изготовление прототипа реальной («физической») оптической системы и/или системы формирования изображения в целом с целью оценки качества получаемого изображения при рассматриваемом наборе параметров оптической системы. Вместо этого применяются модели оптической системы с различными уровнями абстракции и решается задача оптимизации параметров оптической системы, а также разрабатывается алгоритм обработки изображений для блока обработки изображений, как будет описано ниже.

В результате, кроме проектирования параметров системы формирования изображений, позволяющих получать изображение с желаемым уровнем качества на основе промежуточного изображения, предлагаемое техническое решение также может обеспечивать наборы данных изображений для использования в алгоритме машинного обучения, предназначенном для оптимизации параметров блока обработки изображений, которые в таких вариантах выполнения настоящего изобретения представляют собой параметры нейросети или алгоритма обработки изображений, и т.п. Работа предлагаемого технического решения будет описана ниже.

Следует отметить, что в контексте предлагаемого изобретения проектируемая система (устройство) формирования изображений содержит три основных компонента - оптическую систему (в частности, один или более объективов, одну или более линз или групп линз и т.п.), датчик изображения и блок обработки изображений. При проектировании параметров устройства формирования изображений с желаемыми показателями качества получаемых изображений учитываются характеристики части или всех из трех вышеупомянутых компонентов устройства формирования изображений.

В отношении показателей качества изображений, формируемых устройством формирования изображений после оптимизации параметров в соответствии с изобретением необходимо отметить следующее. В контексте настоящего изобретения под показателями качества в различных вариантах выполнения можно понимать различные параметры, в том числе подлежащие объективной количественной оценке. Однако объем настоящего изобретения не ограничен конкретным выбором параметров качества изображений, формируемых устройством (системой) формирования изображений в результате оптимизации параметров в соответствии с изобретением. В качестве неограничивающих примеров и для пояснения смыслового содержания понятия «показатели качества изображений» можно привести следующие критерии, подлежащие количественному выражению, которые наиболее часто используются в данной области техники:

- контраст изображения (коэффициент контраста) - контраст менее 30% считается указывающим на низкое качество изображения, более 70% - указывающим на высокое качество изображения;

- изменение освещенности по полю - для изображений высокого качества желательно, чтобы изображение было освещено равномерно, то есть чтобы падение освещенности не превышало 10%;

- дисторсия менее 2% указывает на высокое качество изображения. Однако для широкоугольных объективов допустимая величина дисторсии может быть значительно больше (>20%);

- хроматизм - для изображений высокого качества он должен быть меньше полпикселя.

- PSNR (пиковое отношение сигнала к шуму) - для изображений высокого качества этот показатель, как правило, больше 30 дБ.

Кроме вышеперечисленных неограничивающих примеров объективных количественных показателей оценки качества изображения, следует упомянуть также нечисленные (качественные) показатели качества изображения, которые тоже могут влиять на восприятие итогового изображения, формируемого системой формирования изображений. В качестве неограничивающего примера можно привести упомянутое выше в обзоре уровня техники боке в виде «бубликов», что формирует у наблюдателя ощущение неестественного размытия переднего и/или заднего плана, который находится за пределами области фокусировки. Кроме того, в контексте настоящего изобретения можно упомянуть такие показатели качества, влияющие на оценку итогового изображения наблюдателем, как минимизация «двоения» или размытия, выраженная, например, в том, что боковые лепестки на графике функции рассеяния, вызванные паразитными порядками дифракции от элементов дисплея в камере под дисплеем (UDC), не превышают, например, 10% от максимума функции рассеяния. Кроме вышеперечисленных, специалистам в данной области техники будут очевидны и другие возможные критерии оценки качества итогового изображения, как численные, так и нечисленные (качественные), влияющие на визуальное восприятие итогового изображения наблюдателем.

На Фиг. 1 схематично проиллюстрирована система формирования изображений в соответствии с первым аспектом настоящего изобретения, указанная в общем ссылочной позицией 100. Система содержит оптическую систему 110, датчик 120 изображения и блок 130 обработки изображений. Оптическая система 110 выполнена с возможностью формирования промежуточного изображения на датчике 120 изображения. Блок 130 обработки изображений выполнен с возможностью восстановления упомянутого промежуточного изображения с получением в результате выходного изображения 300.

При этом система 100 формирования изображений выполнена с возможностью совместной оптимизации параметров оптической системы 110 и блока 130 обработки изображений посредством минимизации различия в парах изображений, формируемого посредством по меньшей мере двух моделей 201 и 202 оптической системы, причем по меньшей мере две модели 201 и 202 оптической системы являются моделями оптической системы с различными уровнями абстракции, выполненными с возможностью формирования изображений, моделирование которых осуществляется путем расчета хода лучей или распространения световой волны через соответствующую модель 201 и 202 оптической системы 110. Уровни абстракции упомянутых по меньшей мере двух моделей 201 и 202 оптической системы различаются по количеству и типу параметров, используемых при описании прохождения света через оптическую систему 110. В дальнейшем модель низкого уровня абстракции также будет называться в настоящем описании физической моделью оптической системы, а модель высокого уровня абстракции -идеальной оптической системой. Следует отметить, что в общем случае под идеальной оптической системой в оптике принято понимать безаберрационную оптическую систему. Однако в контексте настоящего описания понятие «идеальной» оптической системы не ограничено безаберрационной оптической системой и, как будет подробно изложено ниже, в различных вариантах выполнения настоящего изобретения предусмотрены различные конкретные модели высокого уровня абстракции, которые также будут называться моделями идеальной оптической системы. Следует понимать, что чем выше уровень абстракции модели, тем меньшее количество параметров «реальной» (физической) оптической системы в ней учитывается, и наоборот.

Для минимизации различия в парах изображений применяют метрику для оценки качества изображения и получают оптимальные параметры системы 100 формирования изображений, минимизируя эту метрику , которые применяют к оптической системе 110, датчику 120 изображения и блоку 130 обработки изображений для восстановления промежуточного изображения с получением выходного изображения 300 с желаемым уровнем качества.

Специалистам в данной области техники будет очевидно, что система 100 формирования изображений может быть реализована на практике с применением различных сочетаний аппаратных и программных средств для реализации соответствующих блоков и/или выполнения соответствующих функций при работе системы. В качестве неограничивающего примера, помимо оптической системы 110, которая может быть выполнена в виде одной или более линзы, групп линз и т.п. в зависимости от конкретного варианта практической реализации настоящего изобретения, и датчика 120 изображения, который, в зависимости от конкретного варианта реализации системы, может представлять собой любой известный в данной области техники датчик изображения, такой как, в качестве неограничивающего примера, датчик CMOS или CCD, в системе может быть задействован по меньшей мере один блок обработки данных, такой как процессор общего назначения или графический процессор (GPU), микропроцессор, программируемая логическая интегральная схема (ASIC) и т.п. Кроме того, система может содержать по меньшей мере одно запоминающее устройство (RAM, ROM и т.п.), в котором хранится программное и/или микропрограммное обеспечение, реализующее соответствующие функции по обработке данных в рамках реализации системы, в частности упомянутые модели оптической системы, алгоритмы моделирования изображений и т.п.

Следует отметить, что объем испрашиваемой правовой охраны не ограничен конкретными материально-техническими средствами, реализующими систему формирования изображений или соответствующие способы, описанные в материалах настоящей заявки. Специалистам в данной области техники будут очевидны различные сочетания аппаратных и/или программных средств, позволяющих реализовать описываемое изобретение в зависимости от конкретных частных вариантов его практической реализации. Кроме того, следует отметить, что по меньшей мере программное и/или микропрограммное обеспечение, реализующее соответствующие функции и/или этапы заявляемых способов, может храниться на по меньшей мере одном машиночитаемом носителе, расположенном физически в том же местоположении, что и система формирования изображений или удаленном от нее и соединенном с ней посредством одной или более проводных или беспроводных сетей связи.

Сквозное проектирование оптической системы, датчика изображения и блока обработки изображений осуществляется с использованием двухуровневой модели оптической системы, в которой задействованы модель низкого уровня абстракции (соответствующая «физической» оптической системе), характеризуемой, в частности, параметрами оптических поверхностей , параметрами оптических материалов , положениями оптических элементов , габаритными характеристиками L), модель датчика изображения (характеризуемого такими параметрами, как спектральная селективность , параметры «шума» и параметры выборки (дискретизация, попиксельное интегрирование S, квантование), и модель блока обработки изображения (характеризуемая параметрами цифрового фильтра или весовыми коэффициентами слоев нейронной сети). В отношении оптической системы, помимо модели «физической» («реальной») оптической системы с низким уровнем абстракции, применяется также модель «идеальной» оптической системы с высоким уровнем абстракции, как будет более подробно описано ниже. Каждая из упомянутых двух моделей оптических систем с различными уровнями абстракции дает по одному изображению, т.е. получается пара изображений одного и того же трехмерного объекта или одной и той же трехмерной сцены с различным качеством, поскольку на изображение, получаемое моделью низкого уровня абстракции (моделью «физической» оптической системы, максимально приближенной к реальной оптической системе) влияют особенности данной оптической системы, в то время как модель высокого уровня абстракции (т.е. «идеальной» оптической системы) не имеет соответствующих особенностей и формирует изображение, лишенное ряда недостатков (таких как размытие, дисторсия, аберрации, шум), вносимых в изображение «физической» оптической системой.

Более конкретно, оптическая система и датчик изображения в модели низкого уровня абстракции, как и в реальной оптической системе устройства формирования изображений, вносят в изображение некоторое размытие, дисторсию и добавляют «шум». В частности, на датчике изображения упомянутые искажения могут быть вызваны нелинейностями, неравномерностью насыщения, потерями на этапе преобразования аналогового изображения, формируемого оптической системой, в цифровые данные изображения.

В соответствии с изобретением модель низкого уровня абстракции формирует промежуточное изображение. Далее блок обработки изображений восстанавливает изображение с использованием вышеупомянутых пар изображений, сформированных моделями оптической системы с разными уровнями абстракции.

Кроме того, в некоторых вариантах выполнения, как будет более подробно описано ниже, проектируемое устройство формирования изображений может применяться в таких конфигурациях, как «камера под дисплеем» (UDC) или камера с увеличенной глубиной резкости (EDoF), где на входе в оптическую систему также присутствует амплитудно-фазовая маска, которая расширяет функциональность устройства формирования изображений, но при этом также вносит вклад в снижение качества изображения, вызывая такие нежелательные явления, как размытие и двоение изображения (в случае с UDC) или размытие и ненатуральное «боке» (в случае с EDoF).

Другими словами, в основе предлагаемого изобретения лежит «двухуровневая» модель оптической системы. На первом «уровне» используется модель «физической» оптической системы (другими словами, модель низкого уровня абстракции, приближенная к «реальной» оптической системе), которая формирует изображение трехмерного объекта . Математически процесс формирования изображения может быть представлен в виде оператора от параметров , который отображает объект в изображение , причем функция имеет следующий вид:

(1),

где являются параметрами оптической системы, такими как радиусы кривизны поверхностей линз, расстояния между линзами, толщина линз и т.п.

Оператор получают с использованием алгоритма распространения света, который будет более подробно рассмотрен ниже.

Датчик изображения «физической» оптической системы преобразует изображение в изображение , характеризуемое следующим оператором:

(2),

где являются параметрами датчика изображения.

Алгоритм обработки изображений преобразует изображение в изображение с применением следующего оператора:

(3),

где являются параметрами алгоритма.

Упрощенная модель оптической системы (то есть модель «идеальной» оптической системы с высоким уровнем абстракции) строит опорное (эталонное) изображение объекта с помощью оператора:

(4),

где - параметры упрощенной модели.

В результате работы упомянутой выше двухуровневой модели формируются два изображения: опорное (эталонное) изображение и изображение , полученное на основе модели низкого уровня абстракции.

На основе минимизации различий (невязки) между изображением , полученным на основе модели низкого уровня абстракции, и опорным изображением , полученным моделью высокого уровня абстракции, получается выходное изображение , в котором компенсированы такие недостатки, присущие различным конфигурациям «физических» оптических систем и блоков обработки изображения, как размытие изображения, монохроматические и/или хроматические аберрации, двоение изображения, дисторсия, «шум» и т.п., Таким образом решается задача оптимизации для прогнозирования характеристик проектируемого «сквозным» методом устройства формирования изображений в соответствии с изобретением.

Опорное (эталонное) изображение , полученное на основе модели высокого уровня абстракции, и изображение , полученное на основе модели низкого уровня абстракции, формируются моделями с различными уровнями абстракции в одной и той же системе. Изображения используются в метрике для оценки качества изображения, формируемого камерой. Путем минимизации различия (выражаемого, например, нормой невязки) между упомянутыми двумя изображениями могут быть получены такие параметры проектирования , которые обеспечивают компенсацию размытия, аберраций и «шума» на получаемом изображении. Это позволяет спроектировать улучшенную систему формирования изображений, в которой уменьшено влияние размытия и «шума» на качество получаемого изображения. Сама по себе упомянутая выше норма невязки может рассматриваться в качестве критерия качества для сравнения итогового изображения, получаемого в соответствии с изобретением после оптимизации параметров оптической системы, с эталонным изображением. В качестве неограничивающего примера, при оптимизации параметров сравниваются один или более доступных алгоритмов обработки изображения для блока обработки изображений, при этом лучшим (и, следовательно, дающим наиболее высокое качество итогового изображения) считается тот алгоритм обработки изображения, который дает меньшее значение нормы невязки. В одном или более неограничивающих вариантах выполнения изобретения, норма невязки (L2 - евклидова) может быть связана со среднеквадратической ошибкой между эталонным изображением и получаемым изображением, при этом чем меньше упомянутая среднеквадратическая ошибка, тем выше качество получаемого изображения.

Следует отметить, что понятие невязки представляет собой математический термин (см., например, https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D0%B2%D1%8F%D0%B7%D0%BA%D0%B0), который в контексте настоящего изобретения по существу означает разность между эталонным и полученным изображением. Данный параметр является безразмерным, при этом чем ниже его значение, тем выше качество получаемого изображения и, таким образом, тем лучше тот или иной алгоритм обработки изображения для блока обработки изображений.

Невязка считается минимизированной, если она перестает существенно уменьшаться в процессе оптимизации. В качестве неограничивающего примера, это условие может считаться выполненным, если на последующем шаге оптимизации норма невязки изменяется не более чем на 1% по сравнению с предыдущим шагом оптимизации.

Алгоритм оптимизации, направленный на минимизацию различий (нормы невязки) между двумя изображениями (упомянутая выше метрика ), служит для прогнозирования параметров проектирования устройства формирования изображений что может быть записано следующим образом:

(5).

Как указано выше, модель «физической» оптической системы (модель низкого уровня абстракции, приближенная к реальной оптической системе) формирует промежуточное изображение объекта . Математически процесс формирования этого изображения может быть описан как следующий оператор от параметров оптической системы, которая отображает объект в изображение :

, (6)

где - параметры амплитудно-фазовой маски (если она имеется), - параметры оптической системы. Датчик изображения преобразует промежуточное изображение в изображение :

(7)

где - параметры датчика изображения.

Алгоритм обработки изображений преобразует изображение в изображение на основе модели низкого уровня абстракции :

(8)

где являются параметрами алгоритма.

Упрощенная модель оптической системы (модель высокого уровня абстракции) формирует опорное (эталонное) изображение объекта :

(9)

где являются параметрами упрощенной модели.

В качестве упрощенной модели (также называемой в настоящем документе моделью идеальной оптической системы или моделью высокого уровня абстракции) в различных неограничивающих вариантах выполнения изобретения могут использоваться, например, модель тонкой линзы, модель линзы с фовеолярной зоной, модель с точечной диафрагмой (в англоязычной литературе называемой термином pinhole). Применение упомянутых моделей будет описано ниже для различных неограничивающих вариантов выполнения настоящего изобретения.

В результате вышеописанных операций формируются два изображения: опорное изображение на основе модели высокого уровня абстракции и изображение на основе модели низкого уровня абстракции .

После этого для вышеописанных двух изображений осуществляется минимизация различия (нормы невязки) между двумя изображениями на основе метрики путем решения задачи оптимизации. В результате выполнения этой операции могут быть найдены параметры проектирования обеспечивающие оптимальную компенсацию вышеупомянутых недостатков изображения (размытия, аберраций, дисторсии, шума и т.п.), вносимых оптической системой, датчиком изображения и (при ее наличии) амплитудно-фазовой маской. Эти найденные параметры проектирования далее могут использоваться при проектировании усовершенствованного устройства формирования изображений, способного получать изображения, в которых вышеупомянутые недостатки минимизированы.

На основе вышеописанных двух моделей оптической системы (т.н. модели низкого уровня абстракции и модели высокого уровня абстракции) в способе согласно изобретению по существу формируется «виртуальная» камера, которая используется для формирования изображения на основе трехмерной сцены на этапе формирования алгоритма обработки изображений. Упомянутые модели оптической системы отличаются уровнями абстракции - от низшего уровня абстракции, который в наибольшей степени соответствует «реальной» оптической системе, до высшего уровня абстракции, который соответствует модели «идеальной» оптической системы или, иначе говоря, «упрощенной» модели оптической системы.

Уровни абстракции моделей определяют количество информации, содержащейся в модели, причем чем выше уровень абстракции, тем меньше информации содержит модель, и тем дальше эта модель от «реальной» оптической системы и ближе к «идеальной» оптической системе, соответственно. Количество информации в модели уменьшается по мере повышения уровня абстракции.

В качестве неограничивающих примеров моделей оптической системы с различными уровнями абстракции в различных вариантах выполнения изобретения могут использоваться одна или более из следующих моделей:

- модель камеры с точечной диафрагмой («камера-обскура»);

- модель идеальной (тонкой) линзы;

- модель ахроматической оптической системы;

- модель оптической системы с дисторсией без размытия изображения;

- модель реалистичной оптической системы.

Кроме того, в одном или более вариантах выполнения изобретения также могут использоваться одна или более моделей датчика изображения с различными уровнями абстракции, такие как:

- модель датчика изображения без формирования шума;

- модель датчика изображения с избирательностью по длинам волн (спектральной селективностью);

- модель датчика изображения, учитывающая параметры выборки.

Для моделирования рабочих характеристик модели оптической системы в соответствии с изобретением могут использоваться следующие методики расчета хода лучей:

- прямая трассировка лучей;

- обратная трассировка лучей;

- алгоритм волнового распространения света; и

- гибридное моделирование с использованием сочетания вышеупомянутых методик.

Применение упомянутых моделей с различными уровнями абстракции или различными способами моделирования позволяет сформировать пары изображений с размытием, дисторсией, хроматическими аберрациями, влиянием дифракции, зависимостью от глубины резкости, или без этих особенностей. Эти пары изображений могут быть использованы для целей машинного обучения (ML).

Алгоритм обратной трассировки лучей состоит в следующем. Для каждого пикселя датчика изображения выполняется трассировка лучей в направлении, ограниченном выходным зрачком оптической системы. Для каждого луча, пока луч не вышел за пределы оптической системы и не превысил установленное количество отражений повторяются следующие операции для каждого линзового элемента: находят точки встречи лучей на оптическими поверхностями линз, находят направление преломленного , отраженного и рассеянного лучей. Затем вычисляют энергию, связанную с соответствующими лучами.

Для каждого луча, пока он не попал на источник света, количество его отражений не превысило определенное число, или он не прошел мимо объектов в сцене для каждого объекта, присутствующего в сцене, повторяются следующие этапы: находят точки пересечения лучей с поверхностями объектов, находят направления преломления , отражения и рассеяния лучей, и вычисляют величины энергии, связанной с упомянутыми выше лучами.

Алгоритм прямой трассировки лучей выглядит следующим образом. Для каждого луча от источника света, пока луч не попал во входной зрачок оптической системы или не прошел мимо объектов, или количество его отражений не превысило определенное число, или он не поглощен поверхностями объектов, для каждого объекта в сцене повторяют следующие этапы: находят точки падения лучей на поверхности объектов; находят направления преломления , отражения и рассеяния лучей. Затем вычисляются величины энергии, связанной с упомянутыми лучами.

Для каждого луча, который попадает во входной зрачок оптической системы, пока данный луч не попал на датчик изображения или не было превышено определенное количество отражений, или он не был поглощен поверхностями объектов, для каждого линзового элемента повторяются следующие этапы: находят точки пересечения лучей с оптическими поверхностями линз; находят направления преломления , отражения и рассеяния лучей. Затем вычисляют величины энергии, связанной с упомянутыми выше лучами.

Для вычисления величин энергии, связанной с упомянутыми лучами, используются, в качестве неограничивающего примера, следующие способы.

Для оценки распространения света через среду используется закон Бугера-Ламберта-Бера, на основании которого оценивают ослабление света вследствие его поглощения в материале, через который распространяется свет:

(10)

Для непрозрачной поверхности используется уравнение рендеринга, которое описывает общее количество света, испускаемого из точки вдоль определенного направления наблюдения, учитывая функцию для падающего света и двулучевую функцию отражательной способности (BRDF):

(11)

где:

- полная спектральная плотность энергетической яркости, направленная во внешнем направлении ;

- излучаемая спектральная плотность энергетической яркости в направлении ;

- спектральная плотность энергетической яркости, обусловленная отражением излучения от поверхности в точке ;

- BRDF (определяемая свойствами непрозрачной поверхности);

- координаты точки пересечения с поверхностью, в которой свет падает на поверхность;

- координаты точки, в которой свет выходит из материала или поверхности;

- направление выходящего света;

- направление падающего света;

- длина волны;

- нормаль к поверхности в точке ;

Ω - полусфера;

- скалярное произведение (равно косинусу угла падения света);

- коэффициент ослабления; и

- длина оптического пути в среде.

В одном или более альтернативных вариантах выполнения изобретения может также использоваться поляриметрическая BRDF, позволяющая также учитывать эффекты поляризации.

Фиг. 2 иллюстрирует пример двух моделей оптической системой с разными уровнями абстракции - на виде A по Фиг. 2 схематично проиллюстрирована модель низкого уровня абстракции на примере «реальной» линзы, описываемой набором из 5 параметров, а на виде B по Фиг. 2 схематично проиллюстрирована модель высокого уровня абстракции на примере тонкой линзы, характеризуемой всего 1 параметром. Следует отметить, что пример, показанный на Фиг. 2, является лишь схематичным упрощенным примером, предназначенным для облегчения понимания сущности изобретения, и в действительности модель низкого уровня абстракции может быть основана на наборе характеристик не одной линзы, как показано на Фиг. 2, а по меньшей мере одной группы линз с определенным взаимным расположением, с возможностью перемещения с целью фокусировки и/или изменения фокусного расстояния и т.п., как это обычно имеет место в объективах реальных устройств формирования изображения.

Как указано выше, модель «физической» оптической системой характеризуется низким уровнем абстракции и набором из по меньшей мере 5 параметров. Эта модель формирует изображение, характеризующееся размытием, аберрациями, дисторсией и т.п.

Моделирование изображения в соответствии с изобретением в упомянутой модели низкого уровня абстракции выполняется на основе алгоритма распространения света.

Что касается модели «идеальной» оптической системы, которая, как указано выше, характеризуется высоким уровнем абстракции и описывается всего одним параметром - (фокусным расстоянием), данная модель формирует «идеальное» изображение, на котором отсутствуют размытие, аберрации, дисторсия и т.п., свойственные изображению, формируемому моделью «физической» оптической системы, как указано выше. Фокусное расстояние идеальной оптической системы определяется по формуле (12):

(12)

где - радиус первой поверхности;

- радиус второй поверхности;

- толщина;

- показатель преломления;

- фокусное расстояние.

Моделирование на основе распространения лучей в одном или более неограничивающих вариантах настоящего изобретения может быть описано следующим образом. Моделирование осуществляется на основе вычисления величины энергии для распространяющихся лучей. В частности, для полированных поверхностей объектов в трехмерной сцене может применяться уравнение Френеля, описывающее отражение и пропускание света, падающего на поверхность разделения различных оптических сред:

(13)

где R_S - коэффициент отражения для s-поляризованного света;

- коэффициент отражения для -поляризованного света;

- коэффициент пропускания для s-поляризованного света;

- коэффициент пропускания для -поляризованного света;

- показатели преломления сред, из которой падает излучение и в которую оно проходит, соответственно;

- угол падения луча;

- угол преломления луча;

- угол отражения луча;

- коэффициент пропускания;

- коэффициент отражения;

- интенсивность пропускаемого света;

- интенсивность отражаемого света;

- интенсивность падающего света.

Для учета эффектов поляризации при расчете интенсивности света необходимо использовать соответствующие составляющие коэффициентов отражения и пропускания для или поляризованного света, соответственно.

В случае, если на упомянутые объекты в трехмерной сцене нанесены отражающие покрытия, вместо вышеуказанных уравнений Френеля для каждого состояния поляризации используются следующие зависимости пропускающей и отражающей способности от длины волны и угла падения луча света:

Моделирование на основе алгоритма распространения света, в качестве неограничивающего примера, может быть основано на принципе Гюйгенса-Френеля; поле в точке может быть выражено через следующую формулу дифракции Рэлея-Зоммерфельда (см. Michael Bass “Handbook of optics”, volume I, second edition, New York: McGraw-Hill, 1995):

(14)

(15)

где - величины для поля на апертуре при ;

- расстояние между точкой в апертуре и точкой наблюдения

Для приблизительных вычислений могут быть использованы следующие формулы.

Аппроксимация Фраунгофера:

(16)

(17)

Аппроксимация Френеля:

(18)

Кроме того, в одном или более неограничивающих вариантах выполнения изобретения возможно использование так называемого «гибридного» моделирования, представляющего собой наиболее часто используемый алгоритм для оценки рабочих характеристик оптической системы и по существу являющегося сочетанием алгоритма трассировки лучей и алгоритма распространения света. В данном алгоритме на первом этапе выполняется трассировка лучей до выходного зрачка. Результатом первого этапа является функция зрачка, которая описывает то, каким образом на волну света влияет ее прохождение через оптическую систему. На втором этапе используется волновое распространение света от выходного зрачка к плоскости изображения. Используется одна из вышеприведенных формул дифракции. Для каждой точки объекта трассировка лучей выполняется через точки входного зрачка.

Как указано выше, на первом этапе вычисляется функция для зрачка по отношению к распространению лучей:

(19)

где - координаты в пределах входного зрачка, - пропускание вдоль оптического пути - волновая аберрация, i - мнимое число.

Поле в выходном зрачке пропорционально функции зрачка:

На втором этапе оценивается распространение света в волновом приближении. Здесь применяется одна из вышеуказанных формул дифракции. Для быстрой оценки формула дифракции может быть аппроксимирована через преобразование Фурье:

(20)

где F - оператор преобразования Фурье, квадрат представляет собой функцию рассеяния:

(21)

Кроме того, в соответствии с изобретением при моделировании изображений может выполняться быстрая оценка изображения для плоскостного объекта. Следует отметить, что уровень размытия изображения в оптике описывается функцией рассеяния где x, y - координаты на плоскости датчика изображения или на плоскости изображения. Как указано выше, определяется формой зрачка и аберрационными свойствами такими как волновые аберрации, выражаемыми как разность оптических путей (OPD) лучей в пучке. PSF описывает реакцию оптической системы на точечный объект. Изображение формируемое на части датчика изображения (что соответствует полю, в пределах которого PSF может считаться инвариантной), может быть представлено в виде свертки распределения интенсивностей для объектов и PSF:

(22)

где подстрочная означает зависимость от длин волн.

Учитывая спектральную чувствительность (избирательность) формируемое изображение вычисляется следующим образом:

(23)

Изображение , формируемое на датчике изображения, интегрируется по пикселям датчика с добавлением шума, который характеризуется величиной и в результате получается изображение, характеризуемое как:

(24)

где S - оператор выборки и интегрирования.

Полученное изображение передается в блок обработки изображений.

На Фиг. 3 схематично проиллюстрирован способ формирования изображений согласно изобретению в одном или более неограничивающих вариантах его выполнения. На этапе S1 формируют по меньшей мере один набор пар изображений и с использованием по меньшей мере одной модели оптической системы с различными уровнями абстракции. На этапе S2 применяют метрику для оценки качества изображения, формируемого системой формирования изображений, и получают оптимальные параметры оптической системы, оптимальные параметры датчика изображения и оптимальные параметры блока обработки изображений на основании минимизации метрики .

На этапе S3 применяют полученные оптимальные параметры оптической системы и оптимальные параметры датчика изображения. На этапе S4 формируют промежуточное изображение на основании оптимальных параметров оптической системы и оптимальных параметров датчика изображения. На этапе S5 вводят промежуточное изображение в блок обработки изображений и применяют оптимальные параметры блока обработки изображений в блоке обработки изображений. На этапе S6 выполняют восстановление изображения на основании оптимальных параметров блока обработки изображений для получения изображения высокого качества.

Ниже будут описаны некоторые неограничивающие варианты выполнения настоящего изобретения. Следует понимать, что, если явным образом не указывает иное, перечисленные варианты выполнения не должны рассматриваться как предпочтительные или иным образом ограничивающие объем испрашиваемой правовой охраны. Кроме того, следует понимать, что помимо описанных в явном виде вариантов выполнения, характеризуемых определенными сочетаниями признаков, возможны и другие варианты выполнения, объединяющие в себе признаки различных вариантов выполнения из тех, что описаны в явном виде, если иное не указано в явном виде или не следует явным образом из технической сущности конкретных признаков.

В одном или более вариантах выполнения в качестве модели «идеальной» оптической системы для формирования пар изображений может использоваться модель точечной диафрагмы (в англоязычной литературе называется pinhole), которую также можно охарактеризовать как модель «камеры-обскура», в которой свет, представляющий изображаемую сцену, проходит сквозь отверстие очень малого диаметра (0,01-5 мм), и создает перевернутое изображение на некотором экране (в качестве которого в контексте изобретения может рассматриваться, например, плоскость поверхности датчика изображения, и также называется в данном контексте плоскостью анализа).

Преимуществом данной модели является то, что она позволяет формировать изображение на основе трехмерной сцены, которое является резким на всю глубину изображаемой сцены (другими словами, вся трехмерная сцена «в фокусе»), в отличие от двумерного изображения, формируемого на основе той же трехмерной сцены обычной оптической системой, представляющей собой, например, группу линз. Принцип формирования изображения в данной модели схематично проиллюстрирован на Фиг. 4, где слева схематично показана трехмерная сцена, а справа - плоскость анализа.

Как проиллюстрировано на Фиг. 4, модель точечной диафрагмы работает следующим образом. Свет от изображаемой трехмерной сцены проходит через апертуру и проецирует перевернутое изображение на плоскости анализа. Для моделирования используются следующие параметры, проиллюстрированные на Фиг. 4:

- поле зрения (FoV) или угловой размер, соответствующий сцене, регистрируемой на плоскости анализа; - высота объекта в сцене; - высота изображения в плоскости анализа; - расстояние от объекта трехмерной сцены до апертуры; - расстояние от апертуры до плоскости анализа; - увеличение, при этом модель может быть описана следующим выражением:

(25)

В другом варианте выполнения в качестве модели высокого уровня абстракции при формировании пар изображений может использоваться модель «идеальной» линзы, схематично проиллюстрированная на Фиг. 5. В соответствии с данным вариантом выполнения изобретения модель «идеальной» линзы описывается следующими параметрами: (i) фокусным расстоянием или оптической силой , и (ii) величиной апертуры, ограниченной диаметром линзы D. Для любого луча, попадающего в апертуру, выполняется трассировка с использованием следующих формул:

где - угол падения;

- высота луча на линзе;

- угол за линзой;

- высота луча в плоскости анализа;

d - расстояние между линзой и плоскостью анализа.

Особенностью данной модели является то, что любой луч света, который не попадает в апертуру идеальной линзы, считается блокированным. При этом в данной модели, в отличие от варианта выполнения модели точечной диафрагмы по Фиг. 4, учитывается диаметр линзы (для оценки освещения). Кроме того, в данной модели также учитывается глубина резкости изображаемого пространства (DoF).

В другом варианте выполнения в качестве модели «идеальной» оптической системы для формирования пар изображений может использоваться модель ахроматической оптической системы. В отличие от модели низкого уровня абстракции, которой свойственны хроматические аберрации, проявляющиеся в снижении резкости изображения, в появлении цветных контуров, полос, пятен - артефактов изображения, в модели ахроматической оптической системы эти хроматические аберрации отсутствуют. Известно, что хроматические аберрации обусловлены зависимостью показателя преломления среды от длины волны проходящего через нее света. В данном варианте выполнения изобретения модель ахроматической оптической системы не учитывает упомянутую выше зависимость показателя преломления от длины волны. Благодаря этому, в отличие от изображения, формируемого моделью низкого уровня абстракции, модель ахроматической оптической системы формирует изображение без хроматических аберраций и, соответственно, получаемые пары изображений могут использоваться для проектирования оптических систем и/или устройств формирования изображений с исправленными хроматическими аберрациями, а также для разработки алгоритмов обработки изображений для компенсации хроматических аберраций, вносимых оптической системой.

Еще в одном неограничивающем варианте выполнения изобретения в качестве модели высокого уровня абстракции может быть использована модель, исключающая аберрации в формируемом изображении и сохраняющая только дисторсию. В данной модели высокого уровня абстракции в качестве апертурной диафрагмы используется точечная диафрагма, а сама система представляет собой обычную линзу или группу линз аналогично «физической» оптической системе. Такая модель высокого уровня абстракции позволяет формировать изображения без размытия, но с определенной дисторсией (что может быть желательно, например, в случае моделирования широкоугольного или сверхширокоугольного объектива). Получаемые пары изображений могут использоваться при проектировании оптических систем с минимизацией размытия изображения и для разработки алгоритмов для блока обработки изображений, позволяющих устранять размытие в получаемом промежуточном изображении. При этом в данном варианте выполнения размытие и дисторсия могут обрабатываться по отдельности (например, размытие может минимизироваться за счет оптимизации оптической системы, а дисторсия может компенсироваться путем формирования соответствующего алгоритма для блока обработки изображений).

Еще в одном варианте выполнения изобретения модель оптической системы может создаваться на основе сочетания алгоритмов волнового распространения света и трассировки лучей. Обе эти методики уже описаны выше. Следует отметить, что в методике на основе алгоритма волнового распространения света учитывается дифракция света, и в функции рассеяния (PSF) присутствуют боковые лепестки (пики или максимумы), вызванные, например, присутствием решетки перед линзой на пути распространения света. В то же время, в методике трассировки лучей дифракция света не учитывается, и упомянутые боковые лепестки (пики) отсутствуют. Таким образом, в данном варианте выполнения алгоритм распространения света учитывает эффекты, вызываемые наличием решетки на пути света перед линзой, а методика трассировки лучей не учитывает упомянутые эффекты, вызываемые наличием решетки. Это позволяет формировать изображения, в которых присутствует или не присутствует эффект дифракции света, вызываемый наличием решетки перед линзой, и на практике это может использоваться, например, при проектировании устройства формирования изображений типа «камера под дисплеем» (англ. Under Display Camera, UDC), где дисплей можно рассматривать в качестве решетки, расположенной перед объективом устройства формирования изображений.

В качестве неограничивающего примера, для проектирования UDC в качестве изображения, формируемого моделью низкого уровня абстракции, может использоваться изображение , моделируемое с применением алгоритма распространения света, а «опорное» изображение может моделироваться посредством алгоритма трассировки лучей. В таком случае в промежуточном изображении могут присутствовать упомянутые выше «боковые лепестки» или «пики», что вызывает размытие, двоение изображения и т.п., а алгоритм обработки изображения в блоке обработки изображений может быть разработан таким образом, чтобы минимизировать упомянутые «боковые лепестки» (пики), и таким образом в итоговом изображении, формируемом разрабатываемым устройством формирования изображений, будет минимизирован эффект затемнения и дифракции, вызываемый наличием дисплея перед устройством формирования изображений.

Еще в одном неограничивающем варианте выполнения в модели оптической системы может учитываться или не учитываться, соответственно, поляризация света, поступающего в проектируемое устройство формирования изображений. Для этого в оптической системе может быть предусмотрен зависящий от поляризации компонент (например, поляризатор или фазовая пластинка, в частности, полуволновая или четвертьволновая), расположенный на пути света на входе в оптическую систему (перед линзой). Принцип работы зависящего от поляризации компонента может быть основан на двойном лучепреломлении, дихроизме или поляризации света, возникающей на границе раздела сред. Данный компонент может по выбору пропускать и блокировать, соответственно, s-поляризованное или p-поляризованное оптическое излучение, в результате чего упомянутая выше пара изображений может формироваться, например, с наличием или отсутствием «естественной» поляризации (например, поляризации неба или бликов на поверхности воды), соответственно. Это позволяет моделировать пары изображений, в которых учитывается и не учитывается влияние поляризации, соответственно, которые могут быть использованы для разработки алгоритма для моделирования в блоке обработки изображений поляризационного фильтра без необходимости применения реального «физического» поляризационного фильтра в проектируемом устройстве формирования изображений.

Еще в одном варианте выполнения изобретения упомянутые моделируемые пары изображений получают путем моделирования получения изображения обычным датчиком изображения и датчиком изображения, выполненным по технологии «линза на чипе» (в англоязычной литературе называется On-Chip Lens (OCL)), в которой, в качестве неограничивающего примера, два или четыре соседних пикселя имеют общую линзу. Следует отметить, что в технологии OCL, в которой два или четыре пикселя имеют общую линзу, если изображение расфокусировано, датчик изображения обнаруживает двойное изображение (в случае с линзой на два пикселя) или четыре изображения одного и того же объекта (в случае с линзой на четыре пикселя), при этом датчики OCL с линзой на два или четыре пикселя используются, как правило, в системах фазовой автофокусировки (AF) и автофокусировка выполняется посредством минимизации упомянутых двоений изображений объектов. Моделирование датчика изображения с OCL позволяет моделировать работу системы автофокусировки в оптической системе, а формируемые пары изображений могут использоваться для компенсации расфокусировки.

В других вариантах выполнения настоящего изобретения может осуществляться формирование набора данных изображений с применением более двух различных моделей с разными уровнями абстракции. Так, например, помимо модели с низким и высоким уровнем абстракции может быть дополнительно использована модель со «средним» уровнем абстракции, представляющая собой, в качестве неограничивающего примера, модель, формирующую изображения с дисторсией, но без размытия, как описано выше. В результате различные пары изображений могут использоваться для проектирования различных компонентов устройства (системы) формирования изображений. Так, например, пара из изображения, полученного моделью низкого уровня абстракции (изображения 1) и изображения, полученного моделью высокого уровня абстракции (изображения n) может использоваться для проектирования оптической системы с компенсацией аберраций (размытия), а пара из изображения, полученного моделью «среднего» уровня абстракции (изображения n-1), и изображения n может использоваться для проектирования блока обработки изображений с компенсацией дисторсии.

Кроме того, следует также упомянуть возможные неограничивающие варианты выполнения, связанные с коррекцией ненатурального эффекта «боке», упомянутого выше. Это может быть реализовано способом, включающим в себя проектирование оптической системы и разработку алгоритма для блока обработки изображений, что, в частности, содержит этапы, на которых:

- формируют набор данных изображений с использованием моделей с различными уровнями абстракции (в частности, модель «физической» оптической системы и модель «идеальной» линзы или точечной диафрагмы, описанные выше);

- минимизируют различие (норму невязки) между изображениями набора данных путем оптимизации характеристик оптической системы, датчика и блока обработки изображений.

При этом изображение полученное моделью «физической» оптической системы имеет неестественный эффект «боке» в виде «бубликов», который отсутствует на опорном изображении получаемом посредством модели идеальной оптической системы, как описано выше. В результате в реконструированном изображении проявляется естественно выглядящий эффект «боке» с сохранением качества изображения как в областях, которые находятся «в фокусе», так и в тех областях, которые находятся за пределами глубины резкости.

В одном или более неограничивающих вариантах выполнения изобретение позволяет реализовать способ так называемой «визуализации на сетчатке» (в англоязычной литературе используется термин foveated imaging), что может быть использовано при применении изобретения в системах виртуальной реальности (VR). При этом в качестве модели с низким уровнем абстракции может быть использована модель любой линзы с любым конкретным уровнем абстракции в зависимости от конкретной решаемой задачи. В то же время, в качестве модели с высоким уровнем абстракции может быть использована специальная составная линза с фовеолярной зоной, которая имеет область (в частности, область определенного размера в центре круглой линзы) с оптической силой, отличной от оптической силы остальной части линзы. Такая конфигурация линзы позволяет формировать изображение, в котором резкость и разрешающая способность оптической системы в центральной части изображения, куда обращен взгляд наблюдателя, выше, чем в периферийных частях изображения. На Фиг. 6 схематично проиллюстрирован примерный профиль линзы с фовеолярной зоной и показаны две зоны на изображении - более плотно заштрихованная круглая зона в центре соответствует области с повышенной резкостью и разрешающей способностью, а менее плотно заштрихованная зона представляет собой периферийную область, где резкость и разрешающая способность меньше. Такая конфигурация в большей степени приближена к восприятию изображения глазом человека, когда в центре внимания (там, куда сфокусирован взгляд наблюдателя) резкость и разрешение выше, чем на периферии. Данный вариант выполнения изобретения позволяет формировать изображения с «визуализацией на сетчатке», что в особенности предпочтительно для применений в системах дополненной реальности (AR) и виртуальной реальности (VR).

Еще в одном варианте выполнения для проектирования устройства формирования изображений в системе VR может осуществляться оптимизация параметров блока обработки изображений в соответствии с изобретением на основе пары изображений, первое из которых создается моделью линзы, обычно применяемой в системах VR (модель с низким уровнем абстракции), а второе - моделью линзы с фовеолярной зоной (модель с высоким уровнем абстракции), описанной выше, при этом оптимизация параметров блока обработки изображений осуществляется на основе минимизации метрики , где - изображение, формируемое на сетчатке моделью с низким уровнем абстракции, а - «идеализированное» изображение, формируемое на сетчатке моделью с высоким уровнем абстракции. Применение изобретения при проектировании системы VR обеспечивает полезные эффекты, состоящие, в частности, в компенсации размытия изображения, минимизации «эффекта решетки», повышении разрешения изображения, демонстрируемого пользователю системой VR, обеспечение «визуализации на сетчатке».

В одном или более неограничивающих вариантах выполнения изобретения предлагаемое техническое решение может использоваться для проектирования дисплея системы дополненной реальности (AR). При этом согласно изобретению формируют набор данных изображений с использованием моделей оптической системы AR с разными уровнями абстракции, а также при моделировании используют различные методы оценки параметров оптической системы - алгоритм волнового распространения света и алгоритм трассировки лучей, как описано выше. Затем осуществляется оптимизация параметров путем минимизации различий в парах изображений, полученных моделированием, путем оптимизации проекционной линзы, комбайнера, который представляет собой устройство совмещения изображения реального мира и изображения, сформированного устройством AR, и в зависимости от конкретного варианта реализации, не ограничивающего объем изобретения, может быть выполнен в виде волновода или светоделительного куба или призмы с полупрозрачным покрытием и компенсатором, и блока обработки изображений. Далее оптимизированные параметры проекционной линзы, комбайнера и блока обработки изображений применяются при реконструкции соответствующих изображений, формируемых на дисплее системы AR, а также изображений реального мира, наблюдаемых пользователем через систему AR. Это позволяет получить в системе AR высокое качество изображения как для изображения реального мира, наблюдаемого через наголовное устройство системы AR, так и изображений дополненной реальности, формируемых на дисплее системы AR.

При реализации вышеописанных вариантов выполнения настоящего изобретения достигаются по меньшей мере следующие технические эффекты. При применении изобретения в камерах с увеличенной глубиной резкости изображаемого пространства (в англоязычной литературе используется термин Extended Depth of Field Camera, EDoF) в таких устройствах, как фронтальные и задние камеры смартфонов, планшетных компьютеров, камеры систем безопасности, изобретение позволяет компенсировать размытие изображения в областях сцены, которые не находятся в фокусе. В «камерах под дисплеем» (UDC) изобретение позволяет компенсировать эффекты дифракции и затемнения, вызываемые наличием дисплея перед устройством формирования изображения. В оптических системах дисплеев виртуальной реальности (VR) изобретение позволяет минимизировать аберрации и скорректировать параметры предварительной обработки изображений блоком обработки изображений. В системе дополненной реальности (AR) применение изобретения позволяет минимизировать аберрации, вносимые линзой, и эффекты дифракции, вносимые комбайнером (например, на основе волновода с дифракционными решетками). Следует отметить, что вышеописанные примеры не ограничивают спектр возможных применений изобретения, и специалистам в данной области техники будут очевидны различные другие примеры устройств и систем формирования изображений, которые могут проектироваться путем оптимизации параметров в соответствии с изобретением и реконструировать изображения с повышенным уровнем качества и компенсацией недостатков, вносимых в изображения известными оптическими системами, датчиками изображений и блоками обработки изображений.

Предлагаемое изобретение может быть использовано при проектировании устройств и систем формирования изображений для различных применений, в частности, в качестве неограничивающего примера, в портативных пользовательских устройствах, таких как смартфон, планшетный компьютер, портативный компьютер, ноутбук и т.п., в системах дополненной (AR) и виртуальной реальности (VR), в различных наголовных и нашлемных устройствах отображения, в проекционных дисплеях, в том числе в дисплеях на ветровом стекле и т.п.

Другие варианты выполнения, которые могут входить в объем настоящего изобретения, могут быть предусмотрены специалистами в данной области техники после внимательного прочтения вышеприведенного описания с обращением к сопровождающим чертежам, и все такие очевидные модификации, изменения и/или эквивалентные замены считаются входящими в объем настоящего изобретения. При том, что различные признаки изобретения, характеризующие частные варианты его выполнения, изложены в зависимых пунктах формулы изобретения, не исключается объединение признаков различных зависимых пунктов в других сочетаниях, не описанных в явном виде в настоящем документе.

Все источники из уровня техники, приведенные и рассмотренные в настоящем документе, настоящим включены в данное описание путем ссылки, насколько это применимо.

При том, что настоящее изобретение описано и проиллюстрировано с обращением к различным вариантам его выполнения, специалистам в данной области техники будет понятно, что в нем могут быть выполнены различные изменения в его форме и конкретных подробностях, не выходящие за рамки объема настоящего изобретения, который определяется только нижеприведенной формулой изобретения и ее эквивалентами.

Изобретение относится к системам захвата и обработки изображений. Техническим результатом является повышение качества изображения, восстановленного или обработанного на основе оптимизированных параметров оптической системы. Результат достигается тем, что система формирования изображений содержит оптическую систему, датчик изображения и блок обработки изображений, причем оптическая система выполнена с возможностью формирования промежуточного изображения. Блок обработки изображений выполнен с возможностью восстановления промежуточного изображения для получения выходного изображения с желаемым уровнем качества. Для восстановления промежуточного изображения в блок обработки изображений вводятся оптимизированные параметры, полученные на основании минимизации различия в парах изображений, формируемых посредством двух или более моделей оптической системы с различными уровнями абстракции. Уровни абстракции различаются по количеству и типу параметров, используемых при описании прохождения света через оптическую систему. Способ формирования изображений реализуется системой формирования изображений. Также предложен способ проектирования параметров системы формирования изображений, основанный на оптимизации параметров путем упомянутого уменьшения различий в парах изображений. 3 н. и 14 з.п. ф-лы, 6 ил.

1. Система формирования изображений, содержащая оптическую систему, датчик изображения и блок обработки изображений, причем:

оптическая система выполнена с возможностью формирования промежуточного изображения;

блок обработки изображений выполнен с возможностью восстановления упомянутого промежуточного изображения;

при этом система формирования изображений реализована посредством совместной оптимизации параметров оптической системы и блока обработки изображений посредством минимизации различия в парах изображений, причем

различие в парах изображений формируется посредством по меньшей мере двух моделей оптической системы, причем по меньшей мере две модели оптической системы содержат две или более моделей оптической системы с различными уровнями абстракции, моделирование которых осуществляется путем расчета хода лучей или распространения световой волны через соответствующую оптическую систему,

уровни абстракции по меньшей мере двух моделей оптической системы различаются по количеству и типу параметров, используемых при описании прохождения света через оптическую систему.

2. Система по п. 1, в которой по меньшей мере одно изображение в упомянутых парах изображений формируется с использованием алгоритма распространения световой волны и/или алгоритма трассировки лучей от объектов трехмерной сцены.

3. Система по п. 2, в которой алгоритм расчета хода лучей представляет собой алгоритм прямой трассировки лучей или алгоритм обратной трассировки лучей.

4. Система по п. 1, в которой упомянутые по меньшей мере две модели оптической системы содержат модель низкого уровня абстракции, более полно учитывающую поведение физической оптической системы, и по меньшей мере одну модель высокого уровня абстракции, менее полно учитывающую поведение физической оптической системы.

5. Система по п. 4, в которой модель высокого уровня абстракции представляет собой модель точечной диафрагмы.

6. Система по п. 4, в которой модель высокого уровня абстракции представляет собой модель тонкой линзы.

7. Система по п. 4, в которой модель высокого уровня абстракции представляет собой модель линзы с фовеолярной зоной.

8. Система по п. 4, в которой модель высокого уровня абстракции представляет собой модель ахроматической оптической системы.

9. Система по п. 4, в которой модель высокого уровня абстракции представляет собой модель дисторзирующей оптической системы без размытия изображения.

10. Система по п. 1, в которой при формировании пар изображений дополнительно применяются по меньшей мере две модели датчика изображения с различными уровнями абстракции, причем по меньшей мере одна из двух моделей датчика изображения представляет собой модель, учитывающую шум, модель со спектральной селективностью и/или модель, учитывающую параметры выборки, такие как дискретизация, попиксельное интегрирование и квантование.

11. Способ проектирования параметров системы формирования изображений, содержащей оптическую систему, датчик изображения и блок обработки изображений, содержащий этапы, на которых:

формируют по меньшей мере один набор пар изображений и с использованием по меньшей мере двух моделей оптической системы с различными уровнями абстракции и

минимизируют различия между изображениями в наборе пар изображений путем оптимизации параметров оптической системы, датчика изображения и/или блока обработки изображений.

12. Способ по п. 11, в котором уровни абстракции упомянутых по меньшей мере двух моделей оптической системы различаются по количеству и типу параметров, используемых при описании прохождения света через оптическую систему.

13. Способ по п. 11, в котором упомянутые по меньшей мере две модели оптической системы содержат модель низкого уровня абстракции, более полно учитывающую поведение физической оптической системы, и по меньшей мере одну модель высокого уровня абстракции, менее полно учитывающую поведение физической оптической системы.

14. Способ по п. 11, в котором этап минимизации различий между изображениями содержит этап, на котором применяют метрику в виде нормы невязки для оценки качества изображения, формируемого системой формирования изображений, и получают оптимальные параметры оптической системы, оптимальные параметры датчика изображения и/или оптимальные параметры блока обработки изображений на основании минимизации метрики .

15. Способ по п. 11, в котором по меньшей мере одно изображение в упомянутых парах изображений формируется с использованием алгоритма распространения световой волны и/или алгоритма расчета хода лучей от объектов трехмерной сцены.

16. Способ формирования изображений системой формирования изображений, содержащей оптическую систему, датчик изображения и блок обработки изображений, причем способ содержит этапы, на которых:

формируют по меньшей мере один набор пар изображений и с использованием по меньшей мере двух моделей оптической системы с различными уровнями абстракции;

применяют метрику для оценки качества изображения, формируемого системой формирования изображений, и получают оптимальные параметры оптической системы, оптимальные параметры датчика изображения и оптимальные параметры блока обработки изображений на основании минимизации метрики

применяют полученные оптимальные параметры оптической системы и оптимальные параметры датчика изображения для формирования промежуточного изображения;

вводят промежуточное изображение в блок обработки изображений;

применяют оптимальные параметры блока обработки изображений в блоке обработки изображений и

выполняют восстановление изображения на основании оптимальных параметров блока обработки изображений для получения изображения высокого качества.

17. Способ по п. 16, в котором при формировании пар изображений дополнительно применяются по меньшей мере две модели датчика изображения с различными уровнями абстракции, причем по меньшей мере одна из двух моделей датчика изображения представляет собой модель, учитывающую шум, модель со спектральной селективностью и/или модель, учитывающую параметры выборки, такие как дискретизация, попиксельное интегрирование и квантование.