УСТРОЙСТВО И СПОСОБ ДЛЯ ГЕНЕРИРОВАНИЯ ДАННЫХ, ХАРАКТЕРИЗУЮЩИХ ПИКСЕЛЬНЫЙ ПУЧОК Российский патент 2024 года по МПК H04N13/106 H04N13/296 G02B30/27 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к генерированию данных, представляющих световое поле.

УРОВЕНЬ ТЕХНИКИ

Сбор данных четырехмерных или 4D световых полей, который может рассматриваться как выборка 4-мерного светового поля, т.е., регистрация световых лучей, объясняется в статье «Выявление возможностей камеры с помощью байесовского анализа проекций световых полей» автора Anat Levin с соавт., опубликованной в трудах конференции ECCV 2008, и является предметом бурных исследований.

По сравнению с классическими двумерными или 2D изображениями, получаемыми с камеры, данные 4-мерных световых полей позволяют пользователю иметь доступ к большему числу характеристик постобработки, которые улучшают визуализацию изображений и интерактивность с пользователем. Например, при использовании данных 4-мерных световых полей можно выполнять перефокусировку изображений с произвольно выбираемыми расстояниями фокусирования, то есть, положение фокальной плоскости может задаваться/выбираться апостериори, а также может незначительно изменяться точка наблюдения в сцене изображения. С целью сбора данных 4-мерных световых полей могут использоваться несколько методов. Например, пленоптическая камера способна получать данные 4-мерных световых полей. Пленоптическая камера содержит главную линзу, матрицу микролинз, содержащую множество микролинз, расположенных в двумерной матрице, и датчик изображений. Еще один способ сбора данных 4-мерных световых полей состоит в использовании матрицы камеры, которая содержит матрицу линз и датчик изображений.

В примере пленоптической камеры, главная линза принимает свет от предмета в предметном поле главной линзы и пропускает свет через поле изображений главной линзы.

Наконец, еще один способ сбора 4-мерного светового поля состоит в использовании обычной камеры, которая выполнена с возможностью захвата последовательности 2-мерных изображений одной и той же сцены в различных фокальных плоскостях. Например, метод, описанный в документе «Захват поля световых лучей с помощью развертки фокальной плоскости и его оптическая реконструкция с помощью 3-мерных дисплеев» автора J.-H. Park с соавт., опубликованном в OPTICS EXPRESS, том 22, № 21 в октябре 2014 г., может использоваться для сбора данных 4-мерных световых полей с помощью обычной камеры.

Существуют несколько способов представления данных 4-мерных световых полей. Действительно, в Главе 3.3 докторской диссертации Ren Ng, озаглавленной «Цифровая фотография световых полей», которая опубликована в июле 2006 г., описаны три различных способа представления данных 4-мерных световых полей. Во-первых, при регистрации пленоптической камерой данные 4-мерных световых полей могут быть представлены набором формируемых микролинзами изображений. Данные 4-мерных световых полей в этом представлении называются необработанными изображениями или необработанными данными 4-мерных световых полей. Во-вторых, данные 4-мерных световых полей могут быть представлены при регистрации либо пленоптической камерой, либо матрицей камеры с помощью набора субапертурных изображений. Субапертурное изображение соответствует захваченному изображению сцены из точки наблюдения, причем, точка наблюдения несколько различается для двух субапертурных изображений. Эти субапертурные изображения дают информацию о параллаксе и глубине изображаемой сцены. В-третьих, данные 4-мерных световых полей могут быть представлены набором эпиполярных изображений, см., например, статью автора S. Wanner с соавт., озаглавленную «Генерирование EPI-представления 4-мерных световых полей с использованием пленоптической камеры с однолинзовой фокусировкой», опубликованную в трудах конференции ISVC 2011.

Устройства сбора данных световых полей являются чрезвычайно разнородными. Камеры световых полей бывают различных типов, например, пленоптические матрицы или матрицы камер. В каждом типе имеется множество различий, таких как разные оптические схемы или микролинзы с различным фокусным расстоянием. Каждая камера имеет свой собственный формат файла. В настоящее время отсутствует стандарт, поддерживающий сбор и передачу многомерной информации для исчерпывающего обзора различных параметров, от которых зависит световое поле. В этой связи, собираемые данные световых полей для различных камер имеют целый ряд форматов.

Настоящее изобретение сделано с учетом вышеизложенного.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В соответствии с первым аспектом изобретения, предлагается осуществляемый при помощи компьютера способ генерирования данных, характеризующих объем, занимаемый набором лучей света, проходящих через зрачок оптической системы, причем, упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, включающий в себя:

- сбор данных, характеризующих упомянутый пиксельный пучок в пространстве предметов первой оптической системы, причем, упомянутый пиксельный пучок занят набором лучей света, проходящих через зрачок упомянутой первой оптической системы и сопряженный элемент изображения - в упомянутом пространстве предметов первой оптической системы - по меньшей мере, одного пикселя датчика, связанного с упомянутой первой оптической системой;

- генерирование данных, характеризующих упомянутый пиксельный пучок, путем вычисления сопряженного элемента изображения упомянутого пиксельного пучка через вторую оптическую систему. Такой способ позволяет обеспечивать данные, характеризующие группу пиксельных пучков, описывающую первую оптическую систему, которая является инвариантной, т.е., независимой от камеры, в которую встроена оптическая система, поскольку получение этих данных осуществляется путем отображения группы пиксельных пучков через вторую оптическую систему. Такие данные, характеризующие группу пиксельных пучков, обеспечивают генерирование параметризованных выходных изображений, по которым может выполняться постобработка, такая как создание фокальных стопок, перефокусировка, изменения перспективы, смешивание контента световых полей, собираемого из различных систем сбора данных, и т.д.

Одна из целей вычисления изображения группы пиксельных пучков, описывающей оптические системы с первой по вторую, состоит в обеспечении представления пространства предметов нескольких оптических систем, встроенных в различные камеры, в двойственном и компактном пространстве, которое соответствует фокальному объему оптической системы. Такой фокальный объем может без труда проецироваться на плоскость изображения, например, во время операции перефокусировки.

Преимущество отображения группы пиксельных пучков, описывающих первую оптическую систему, через вторую оптическую систему состоит в том, что отображаемые пиксельные пучки расположены в одном фокальном объеме, и что группы пиксельных пучков, представляющих различные типы оптических устройств сбора данных, могут быть расположены в одном и том же фокальном объеме с использованием одной и той же оптической системы, что упрощает обработку данных, характеризующих различные группы пиксельных пучков.

В соответствии с еще одним вариантом осуществления изобретения, способ дополнительно включает в себя:

- вычисление пересечения - в пространстве предметов первой оптической системы - упомянутого пиксельного пучка с плоскостью, расположенной на расстоянии от центра зрачка,

- вычисление сопряженного элемента изображения упомянутого пересечения через упомянутую вторую оптическую систему для получения данных, характеризующих пиксельный пучок.

Такой способ позволяет выполнять перефокусировку синтезированной апертуры. Формирование изображений с синтезированием апертуры состоит в переупорядочении изображений, полученных встроенной в камеру оптической системой, с целью имитации другой камеры в целях перефокусировки. Пиксельные пучки, представляющие данные световых полей, собираемые первой камерой, при этом переупорядочиваются таким образом, что объекты, принадлежащие заданной плоскости, находятся в фокусе. Плоскость определяется своим аффинным уравнением в эталонной системе координат.

В соответствии с еще одним вариантом осуществления изобретения, первая оптическая система является реальной камерой, а вторая оптическая система является виртуальной камерой.

В таком варианте осуществления изобретения знание свойств входных зрачков первой оптической системы и свойств входных зрачков второй оптической системы требуется для вычисления сопряженного элемента пиксельного пучка в пространстве изображений второй оптической системы.

Поскольку вторая оптическая система, т.е. виртуальная камера, отображает в точности плоскость своего фокуса, точное знание свойств ее входных зрачков не требуется, так как изображение пиксельного пучка через вторую оптическую систему расположено на виртуальном датчике.

В соответствии с еще одним вариантом осуществления изобретения, предлагается способ, в котором первая оптическая система является виртуальной камерой, а вторая оптическая система является реальной камерой.

В таком варианте осуществления изобретения знание свойств входных зрачков первой оптической системы и свойств входных зрачков второй оптической системы, т.е., реальной камеры требуется для вычисления сопряженного элемента пиксельного пучка в пространстве изображений второй оптической системы.

Поскольку первая оптическая система, т.е. виртуальная камера, отображает в точности плоскость своего фокуса, точное знание свойств ее входных зрачков не требуется, так как пиксельные пучки являются сопряженными элементами объектов пикселей виртуального датчика, связанного с первой системой сбора данных.

Еще одной целью изобретения является устройство для визуализации изображения по данным светового поля, полученным в соответствии со способом в соответствии с различными вариантами осуществления изобретения.

Еще одной целью изобретения является устройство для генерирования данных, характеризующих объем, занимаемый набором лучей света, проходящих через зрачок оптической системы, причем, упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, причем, устройство содержит модуль генерирования данных световых полей, выполненный с возможностью:

- сбора данных, характеризующих упомянутый пиксельный пучок в пространстве предметов первой оптической системы, причем, упомянутый пиксельный пучок занят набором лучей света, проходящих через зрачок упомянутой первой оптической системы и сопряженный элемент изображения - в упомянутом пространстве предметов первой оптической системы - по меньшей мере, одного пикселя датчика, связанного с упомянутой первой оптической системой;

- генерирования данных, характеризующих упомянутый пиксельный пучок, путем вычисления сопряженного элемента изображения упомянутого пиксельного пучка через вторую оптическую систему.

Еще одной целью изобретения является устройство формирования световых полей, содержащее:

- матрицу микролинз, расположенных в структуре регулярной решетки;

- фотодатчик, выполненный с возможностью захвата света, проецируемого на фотодатчик от матрицы микролинз, причем, фотодатчик содержит наборы пикселей, причем, каждый набор пикселей оптически связан с соответствующей микролинзой матрицы микролинз; и

- устройство для генерирования метаданных по п. 8.

Еще одной целью изобретения является пакет данных для данных, характеризующих объем в пространстве предметов первой оптической системы, занимаемый набором лучей света, проходящих через зрачок упомянутой первой оптической системы и сопряженный элемент - в упомянутом пространстве предметов первой оптической системы - по меньшей мере, одного пикселя датчика, связанного с упомянутой первой оптической системой, причем, упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, причем, упомянутые данные, характеризующие пиксельный пучок, являются сопряженным элементом изображения упомянутого пиксельного пучка через вторую оптическую систему.

Некоторые процессы, реализуемые элементами изобретения, могут быть реализованы с помощью компьютера. В этой связи, такие элементы могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включая микропрограммные средства, резидентные программные средства, микрокод и т.д.) или варианта осуществления, комбинирующего программные и аппаратные аспекты, которые могут в общем смысле называться в данном документе «схемой», «модулем» или «системой». Кроме того, такие элементы могут принимать форму компьютерного программного продукта, осуществляемого в любой физической среде функционирования, содержащей используемый компьютером программный код, осуществляемый в среде.

Поскольку элементы настоящего изобретения могут быть реализованы в программных средствах, настоящее изобретение может быть осуществлено в виде компьютерно-читаемого кода для предоставления в программируемое устройство на любом подходящем носителе. Физический носитель может включать в себя запоминающий носитель, такой как гибкий диск, CD-ROM, накопитель на жестком диске, накопитель на магнитной ленте или твердотельное запоминающее устройство и т.п. Энергозависимый носитель может включать в себя сигнал, такой как электрический сигнал, электронный сигнал, оптический сигнал, акустический сигнал, магнитный сигнал или электромагнитный сигнал, например, сверхвысокочастотный сигнал или радиочастотный сигнал.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Далее варианты осуществления описываются исключительно для примера и со ссылкой на нижеследующие чертежи, на которых:

На фиг. 1 изображен объем, занимаемый набором лучей света, проходящих через зрачок оптической системы 11 камеры,

На фиг. 2 изображен однополостный гиперболоид, представляющий пиксельный пучок в соответствии с одним из вариантов осуществления изобретения,

На фиг. 3 изображен однополостный гиперболоид и его асимптотические конусы,

На фиг. 4 изображен пиксельный пучок, представленный двумя коаксиальными, частично перекрывающимися конусами, в соответствии с одним из вариантов осуществления изобретения,

Фиг. 5 представляет собой блок-схему, иллюстрирующую пример устройства для генерирования данных, характеризующих пиксельные пучки, в соответствии с одним из вариантов осуществления изобретения,

Фиг. 6 представляет собой структурную схему для объяснения процесса кодирования изображения, захваченного оптической системой сбора данных, в соответствии с одним из вариантов осуществления изобретения.

На фиг. 7 изображен пиксельный пучок, из группы пиксельных пучков, характеризующих пространство предметов первой оптической системы от сопряженного элемента изображения упомянутого пиксельного пучка через вторую оптическую систему, в соответствии с одним из вариантов осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

Специалистам в данной области техники следует понимать, что аспекты настоящих принципов могут быть осуществлены в виде системы, способа или компьютерно-читаемого носителя. В этой связи, аспекты настоящих принципов могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включая микропрограммные средства, резидентные программные средства, микрокод и т.д.) или варианта осуществления, комбинирующего программные и аппаратные аспекты, которые могут в общем смысле называться в данном документе «схемой», «модулем» или «системой». Кроме того, аспекты настоящих принципов могут принимать форму компьютерно-читаемого носителя хранения. Может использоваться любая комбинация одного или более компьютерно-читаемого носителя (носителей) хранения.

Для любой оптической системы сбора данных, будь то пленоптическая или нет, помимо необработанных изображений или эпиполярных изображений, представляющих данные 4-мерных световых полей, захватываемые оптической системой сбора данных, интересно получать информацию, относящуюся к соответствию между пикселями датчика упомянутой оптической системы сбора данных и пространством предметов упомянутой оптической системы сбора данных. Знание о том, какую часть пространства предметов оптической системы сбора данных воспринимает пиксель, принадлежащий датчику упомянутой оптической системы сбора данных, позволяет совершенствовать операции обработки сигналов, такие как демультиплексирование, демозаика, перефокусировка и т.д., и микширование изображений, захваченных различными оптическими системами с различными характеристиками. Кроме того, информация, относящаяся к соответствию между пикселями датчика оптической системы сбора данных и пространством предметов упомянутой оптической системы сбора данных, не зависит от оптической системы сбора данных.

В настоящем изобретении вводится понятие пиксельного пучка 10, изображенного на фиг. 1, который представляет объем, занимаемый набором лучей света, проходящих через зрачок оптической системы 11 камеры (не показанной на фиг. 1) и сопряженный элемент пикселя датчика камеры в пространстве предметов оптической системы в направлении, перпендикулярном поверхности зрачка.

Набор лучей света воспринимается пикселем 12 датчика 13 камеры через зрачок 14 упомянутой оптической системы 11. Оптическая система 11 может представлять собой комбинацию линз, пригодных для фотокамер или видеокамер. Зрачок оптической системы определяется как изображение апертурной диафрагмы, если смотреть через упомянутую оптическую систему, т.е., линзы оптической системы сбора данных, которые предшествуют упомянутой апертурной диафрагме. Апертурная диафрагма представляет собой отверстие, которое ограничивает количество света, проходящего через оптическую систему оптической системы сбора данных. Например, регулируемая диафрагма, расположенная внутри объектива камеры, является апертурной диафрагмой для данного объектива. Количество света, пропускаемое через диафрагму, регулируется диаметром отверстия диафрагмы, которое может подбираться в зависимости от количества света, которое желает пропускать пользователь камеры. Например, уменьшение апертуры уменьшает количество света, пропускаемое через диафрагму, и одновременно увеличивает глубину резкости. Эффективный размер диафрагмы может быть больше или меньше, чем ее физический размер, из-за преломляющего действия части объектива. Строго говоря, зрачок является изображением апертурной диафрагмы через все линзы оптической системы оптической системы сбора данных, расположенные меду физической диафрагмой и пространством наблюдения.

Пиксельный пучок 10 определяется как узкий параллельный пучок лучей света, которые достигают заданного пикселя 12 при распространении по оптической системе 11 через входной зрачок 14. Поскольку в свободном пространстве свет распространяется по прямым линиям, форма такого пиксельного пучка 10 может определяться двумя участками - один является сопряженным элементом 15 пикселя 12, а другой является входным зрачком 14. Пиксель 12 определяется своей ненулевой поверхностью и своей картой чувствительности.

В первом варианте осуществления изобретения пиксельный пучок 30 может быть представлен однополостным гиперболоидом, как показано на фиг. 2, опирающимся на два элемента: зрачок 24 и сопряженный элемент 25 пикселя 12 в пространстве предметов.

Однополостный гиперболоид представляет собой линейчатую поверхность, которая может поддерживать понятие узкого параллельного пучка лучей света и согласуется с понятием «оптического фактора» физических световых пучков, т.е., понятием, связанным с сохранением энергии во всех сечениях физических световых пучков.

Как представлено на фиг. 3, однополостный гиперболоид 30 в основном идентичен своим асимптотическим конусам 31, 32, кроме как в фундаментальной области своего наименьшего сечения, называемой перетяжкой 35, которая соответствует сопряженному элементу 15 в пространстве предметов. Для пленоптических систем, таких как камеры световых полей, это - та область, в которой осуществляется пространственная выборка с помощью многоходовых лучей. Пространство выборки с однозначно определяемыми конусами, вырождающимися в точку, в этой области не является приемлемым, поскольку чувствительность пикселя 12 на нескольких десятках квадратных микронов его поверхности значительна, и не может быть представлено математической точкой с бесконечно малой поверхностью, как было бы в случае вершины конуса.

В одном из вариантов осуществления изобретения каждый пиксельный пучок 10, 20, 30 определяется четырьмя независимыми параметрами: , определяющими положение и размер сопряженного элемента 15, 35 пикселя перед зрачком 14, 24, и шестью параметрами зрачка, которые определяют положение, ориентацию и радиус зрачка 14, 24. Эти шесть параметров зрачка являются общими для группы пиксельных пучков - когда она представлена однополостным гиперболоидом - совместно использующих один и тот же зрачок 14, 24. Действительно, пиксельный пучок представляет объем, занимаемый группой лучей света в пространстве предметов оптической системы 11, воспринимаемых пикселем 12 через зрачок 14, т.е., заданной паре «пиксель 12/зрачок 14, 24» соответствует однозначно определяемый пиксельный пучок 10, 20, 30, но множество отдельных пиксельных пучков может поддерживаться одним и тем же зрачком 14, 24.

Начало O системы () координат, в которой определяются параметры однополостного гиперболоида, представляющего пиксельный пучок 10, 20, 30, соответствует центру зрачка 14, как показано на фиг. 1, где ось задает направление, перпендикулярное поверхности зрачка 14, 24.

Параметры определяют направления главного луча по отношению к входу центра зрачка 14. Они зависят от положения пикселя 12 на датчике 13 и на оптических элементах оптической системы 11. Точнее, параметры представляют углы сдвига, определяющие направление сопряженного элемента 15 пикселя 12 от центра зрачка 14.

Параметр представляет расстояние перетяжки 35 пиксельного пучка 10, 20, 30 или сопряженного элемента 15 пикселя 12 вдоль оси .

Параметр представляет радиус перетяжки 35 пиксельного пучка 10, 20, 30.

Для оптических систем 11, у которых могут моделироваться оптические искажения и кривизна поля, параметры и могут зависеть от параметров и через параметрические функции.

Четыре независимых параметра связаны с пикселем 12 и его сопряженным элементом 15.

Шесть дополнительных параметров зрачка, определяющих пиксельный пучок 10, 20, 30:

- , который представляет радиус зрачка 14, 24,

- , которые представляют координаты центра зрачка 14, 24 в системе координат (), и

- , которые представляют ориентацию зрачка 14, 24 в эталонной системе координат ().

Эти шесть параметров зрачка связаны со зрачком 14, 24. Задается еще один параметр . Такой параметр зависит от параметров и , связанных с пикселем 12 и его сопряженным элементом 15, и от параметров , связанных со зрачком 14, 24. Параметр определяет угловую апертуру пиксельного пучка 10, 20, 30 и описывается формулой: .

При этом выражение для параметра описывается следующим уравнением:

(1)

Координаты - в пространстве предметов - точек, принадлежащих поверхности, ограничивающей пиксельный пучок 10, 20, 30, являются функцией определенных выше наборов параметров, относящихся к зрачку 14 и к сопряженному элементу 15 пикселя. При этом уравнение (2), обеспечивающее генерирование однополостного гиперболоида, представляющего пиксельный пучок 10, 20, 30, имеет вид:

(2)

Параметрическое уравнение (3) того же гиперболоида, представляющего пиксельный пучок 10, 20, 30, имеет вид:

(3)

где - угол в плоскости (), обеспечивающий генерирование пиксельного пучка 10, 20, 30 по генерирующей гиперболе, варьируется в интервале , а - координата вдоль оси , которая определяет направление, перпендикулярное поверхности зрачка 14, 24. Уравнения (2) и (3) записаны исходя из предположения, что сечение пикселя 12 и его сопряженного элемента 15 является круглым, и что сечение зрачка 14, 24 также является круглым.

Информация, относящаяся к соответствию между пикселями датчика упомянутой оптической системы сбора данных и пространством предметов упомянутой оптической системы сбора данных, может принимать форму как набора параметров, содержащего четыре независимых параметра: , определяющих положение и размер сопряженного элемента 15, 35 пикселя перед зрачком 14, 24, так и шести параметров зрачка , которые определяют положение, ориентацию и радиус зрачка 14, 24, когда пиксельный пучок должен быть представлен своим параметрическим уравнением.

При этом указанный набор параметров выдается в дополнение к необработанным изображениям или эпиполярным изображениям, представляющим данные 4-мерных световых полей, захваченные оптической системой сбора данных, для использования при обработке данных 4-мерных световых полей.

Во втором варианте осуществления изобретения пиксельный пучок 40 может быть представлен двумя коаксиальными, частично перекрывающимися конусами - передним конусом 41_F и задним конусом 41_R, как показано на фиг. 4, опирающимися на два элемента: зрачок 44 и сопряженный элемент 45 пикселя 42 в пространстве предметов, т.е., поверхность в пространстве предметов, которая отображается на пиксель.

Передний конус 41_F является отображением выпуклого усеченного конуса, определяемого пикселем 42 и зрачком 44. Вершина усеченного конуса находится за пределами датчика оптической системы сбора данных. По построению передний конус 41_F является сходящимся в пространстве предметов оптической системы сбора данных, при этом вершина переднего конуса 41_F находится между сопряженным элементом пикселя 45 - или перетяжкой пиксельного пучка 40 - и зрачком 44. Передний конус 41_F образуется из телесного угла, стягиваемого зрачком 44 в пикселе 42.

Задний конус 41_R является отображением конуса, определяемого пикселем 42 и зрачком 44, вершина которого находится между зрачком 44 и датчиком оптической системы сбора данных. По построению вершина заднего конуса 41_R расположена за пределами перетяжки 45 зрачка 40. Задний конус 41_R не обязательно сходится в пространстве предметов оптической системы сбора данных, в некоторых случаях он может вырождаться в цилиндр или расходящийся конус. В последнем случае вершина расходящегося конуса находится в пространстве изображений оптической системы сбора данных, т.е., перед входом зрачка 44.

Передний конус 41_F и задний конус 41_R имеют одну и ту же общую ось вращения, которой является линия, соединяющая центр зрачка 44 и центр перетяжки 45.

Конусы являются линейчатыми поверхностями, которые могут поддерживать понятие узкого параллельного пучка лучей света и при объединении двух конусов согласуются с понятием «оптического фактора» физических световых пучков, т.е., понятием, связанным с сохранением энергии во всех сечениях физических световых пучков. Пересечения конусов с плоскостями являются коническими кривыми, как для гиперболоидов, которые могут характеризоваться множеством коэффициентов. С учетом его вершины конус может быть представлен тремя угловыми параметрами: полярным углом, измеряемым от оси вращения конуса до угла вершины, и направлением оси вращения, задаваемым двумя углами.

Предположим, что является системой координат оптической системой сбора данных, обозначает оптическую ось оптической системы сбора данных, при этом в пространстве предметов оптической системы сбора данных, а центр зрачка 44 является началом упомянутой системы координат.

Оптика оптической системы сбора данных отображает пространство предметов оптической системы сбора данных из диапазона в пространства изображений оптической системы сбора данных, где - фокусное расстояние оптики оптической системы сбора данных. Местоположения зрачка 44 и перетяжки 45 пиксельного пучка 40 в системе координат оптической системы сбора данных известны по результатам калибровки оптической системы сбора данных. Зрачок 44 и перетяжка 45 считаются параллельными, при этом они перпендикулярны оси .

Обозначим главный луч пиксельного пучка 40. Главный луч представляет собой линию, соединяющую центр зрачка 44 и центр перетяжки 45 пиксельного пучка 40. Главный луч также является осью вращения и осью симметрии пиксельного пучка 40. При этом в системе координат пиксельный пучок 40 является телом вращения.

Вершины и переднего конуса 41_F, и заднего конуса 41_R расположены на главном луче пиксельного пучка 40. В приближении тонкой линзы координаты указанных двух вершин вычисляются в системе координат оптической системы сбора данных в следующем виде, исходя из того, что датчик оптической системы сбора данных не расположен в задней фокальной плоскости:

(4)

т.е.:

где и , соответственно, обозначают диаметр зрачка 44 при , его z-координату, диаметр сопряженного элемента 45 пикселя при и его z-координату .

-координата вершины заднего конуса 41_R может быть положительной, когда задней конус 41_R является сходящимся конусом, и отрицательной, когда задней конус 41_R является расходящимся конусом. Она может также быть бесконечной, если зрачок 44 и сопряженный элемент 45 зрачка пиксельного пучка имеют одинаковый размер.

Если датчик оптической системы сбора данных расположен в задней фокальной плоскости, то и . Поскольку их соотношение является постоянной величиной:

(6)

где и , соответственно, представляют диаметр пикселя 42 при и фокусное расстояние оптики оптической системы сбора данных при исходя из того, что оптика оптической системы сбора данных представляет собой собирающую линзу.

Углы вершин имеют вид:

(7)

С учетом вершины каждого конуса, объединение которых представляет пиксельный пучок 40, лучи могут определяться с использованием двух угловых параметров: полярного угла, измеряемого от оси вращения пиксельного пучка до угла вершины, и азимута в .

Указанной информацией, относящейся к пиксельным пучкам, являются метаданные, связанные с заданной оптической системой сбора данных. Они могут выдаваться в виде файла данных, хранящегося, например, на CD-ROM или флэш-накопителе, поставляемом вместе с оптической системой сбора данных. Файл данных, содержащий дополнительную информацию, связанную с пиксельными пучками, может также загружаться с сервера, принадлежащего изготовителю оптической системы сбора данных. В одном из вариантов осуществления изобретения эта дополнительная информация, связанная с пиксельными пучками, может также быть встроена в заголовок изображений, захваченных оптической системой сбора данных.

Знание этой информации, связанной с пиксельными пучками, позволяет обрабатывать изображения, захваченные любой оптической системой сбора данных, независимо от собственного формата файла и признаков оптической системы сбора данных, используемой для захвата подлежащих обработке изображений.

Фиг. 5 представляет собой блок-схему, иллюстрирующую пример устройства для генерирования данных, характеризующих пиксельные пучки, представляющие пространство предметов первой оптической системы путем отображения упомянутых пиксельных пучков через вторую оптическую систему в соответствии с одним из вариантов осуществления настоящего изобретения.

Устройство 500 содержит процессор 501, блок 502 хранения, устройство 503 ввода, устройство 504 отображения и блок 505 интерфейса, которые соединены шиной 506. Разумеется, составляющие элементы компьютерного устройства 500 могут быть соединены с помощью соединения, отличного от шинного соединения.

Процессор 501 управляет операциями устройства 500. Блок 502 хранения хранит, по меньшей мере, одну программу, выполненную с возможностью генерирования данных, характеризующих пиксельные пучки, представляющие пространство предметов первой оптической системы, когда эти пиксели отображаются через вторую оптическую систему, для исполнения процессором 501, и различные данные, включая параметры, относящиеся к положению пикселя 12 на датчике 13, или параметры, относящиеся к первой оптической системе 11 оптической системы сбора данных и второй оптической системы, параметры, используемые в вычислениях, выполняемых процессором 501, промежуточные данные вычислений, выполняемых процессором 501, и так далее. Процессор 501 может быть выполнен с помощью любых известных и подходящих аппаратных средств или программных средств, либо комбинации аппаратных средств и программных средств. Например, процессор 501 может быть выполнен с помощью специализированных аппаратных средств, таких как схема обработки, или с помощью программируемого блока обработки, такого как ЦП (Центральный Процессор), который исполняет программу, хранящуюся в его памяти.

Блок 502 хранения может быть выполнен с помощью любого подходящего хранилища или средства, выполненного с возможностью хранения программы, данных и т.п. компьютерно-читаемым способом. К примерам блока 502 хранения относятся энергонезависимые компьютерно-читаемые носители хранения, такие как полупроводниковые запоминающие устройства, а также магнитные, оптические или магнитооптические регистрирующие среды, загружаемые в блок считывания и записи. Программа заставляет процессор 501 выполнять процесс вычисления данных, характеризующих пиксельные пучки группы пиксельных пучков, характеризующих пространство предметов первой оптической системы от сопряженного элемента изображения упомянутого пиксельного пучка посредством пучка второй оптической системы в соответствии с одним из вариантов осуществления настоящего изобретения, как описывается ниже со ссылкой на фиг. 6.

Устройство 503 ввода может быть выполнено с помощью клавиатуры, указательного устройства, такого как мышь, и т.п. для применения пользователем с целью ввода команд для осуществления выбора пользователем параметров, используемых для генерирования параметрического представления объема, занимаемого набором лучей света в пространстве предметов оптической системы. Устройство 604 вывода может быть выполнено с помощью устройства отображения для отображения, например, Графического Интерфейса Пользователя (ГИП) и изображений, генерируемых в соответствии с одним из вариантов осуществления настоящего изобретения. Устройство 503 ввода и устройство 504 вывода могут быть выполнены как одно целое, например, с помощью сенсорной панели.

Блок 505 интерфейса обеспечивает интерфейс между устройством 500 и внешним устройством. Блок 505 интерфейса может быть выполнен с возможностью связи с внешним устройством посредством кабеля или беспроводной связи. В одном из вариантов осуществления внешним устройством может являться оптическая система сбора данных, такая как реальная камера.

Фиг. 6 представляет собой структурную схему для объяснения процесса кодирования изображения, захваченного оптической системой сбора данных в соответствии с одним из вариантов осуществления изобретения.

Процессор 501 устройства 500 исполняет программу, выполненную с возможностью вычисления данных, характеризующих, по меньшей мере, один пиксельный пучок 70 из группы пиксельных пучков, характеризующих пространство предметов первой оптической системы (не показана на чертеже) от сопряженного элемента 72 изображения упомянутого пиксельного пучка 70 через вторую оптическую систему 71, как показано на фиг. 7. В нижеследующем примере пиксельные пучки 70, 72 представлены однополостным гиперболоидом 20.

При этом процессор 501 вычисляет сопряженный элемент 72 изображения пиксельного пучка 70 через оптическую систему 71, которая, например, является тонкой линзой, для обеспечения данных, характеризующих пиксельный пучок 70 в фокальном объеме оптической системы 71.

Сопряженный элемент 72 изображения пиксельного пучка 70 через оптическую систему 71 может вычисляться, как объясняется ниже.

Как описывается со ссылкой на фиг. 1-3, пиксельный пучок, связанный со зрачком оптической системы, определяется шестью вторичными параметрами:

o :радиус входного зрачка первой оптической системы,

o : координаты центра входного зрачка первой оптической системы в эталонной системе координат, и

o : ориентация входного зрачка первой оптической системы в эталонной системе координат.

В эталонной системе координат и при сохранении для упрощения параметрическое уравнение гиперболоида, представляющего пиксельный пучок, имеет вид:

(8)

или, что то же:

(9)

В одном из вариантов осуществления изобретения значение, представляющее цвет, такое как RGB-значение, получаемое пикселем датчика первой оптической системы сбора данных, связано с соответствующим пиксельным пучком 70.

Параметры, определяющие плоскую поверхность, представляющую вторую оптическую систему 71, либо задаются, когда вторая оптическая система 71 является виртуальной оптической системой, либо выбираются, когда вторая оптическая система является реальной оптической системой:

o координаты оптического центра второй оптической системы 71 -

o координаты единичного вектора, перпендикулярного поверхности оптической системы 71:

o фокусное расстояние оптической системы 71.

o С целью упрощения объяснений оптический центр второй оптической системы 71 принимается в той же плоскости, что и центр зрачка первой оптической системы: , при этом оптическая система 71 считается параллельной зрачку, т.е. .

Координаты точки относительно центра оптической системы 71 обозначаются: . Координаты изображения точки через оптическую систему 71 обозначаются: . Каждая из этих координат является алгебраическим значением.

Координаты точки вычисляются с помощью ньютоновской формы «формулы линзы», которая имеет вид:

(10)

Поскольку точка расположена перед оптической системой 71, т.е., , а точка расположена за оптической системой 71, т.е., , то:

(11)

что дает

(12)

Когда оптическая система 71 является тонкой линзой, поскольку луч света, проходящий через ее оптический центр, не отклоняется, увеличение описывается следующим образом:

что дает:

(13) и наоборот: (14)

Когда является точкой, принадлежащей поверхности пиксельного пучка 70, координаты точки , расположенной на поверхности отображаемого пиксельного пучка, имеют вид:

(15)

Поскольку параксиальная линза преобразует лучи света (прямые линии) в пространстве предметов в лучи света в пространстве изображений, и поскольку пиксельные пучки 70 представлены линейчатой поверхностью, отображаемые пиксельные пучки 72 также представлены линейчатой поверхностью, поскольку отображение однополостного гиперболоида в пространстве предметов является однополостным гиперболоидом в пространстве изображений.

Определим параметры гиперболоида, представляющего отображаемый пиксельный пучок 72, по параметрам гиперболоида, представляющего пиксельный пучок 70, и по параметрам оптической системы 71.

Рассмотрим следующее уравнение:

(9)

представляющее пиксельный пучок 70, где , , а , с целью сведения анализа к пиксельному пучку на оси и к плоскости .

Определяемыми параметрами при этом являются , которые зависят от , где - -координата перетяжки отображаемого пиксельного пучка 72 ( не является сопряженной точкой посредством процесса отображения ввиду того, что апертура пучка - ), а - радиус перетяжки отображаемого пиксельного пучка 72.

Исходя из того, что , , а , уравнение 16, применяемое к точке , упрощается и принимает вид:

(16)

Используя преобразование параксиальной линзы в уравнении 14 для , мы получаем:

(17)

(18)

(19)

(20)

что является уравнением, представляющим отображаемый пиксельный пучок 72 в фокальном объеме оптической системы 71.

Получение уравнения (20) позволяет вычислять минимумы и\или максимумы гипербол, представляющих пиксельные пучки, путем нахождения перехода производной через нулевое значение.

Уравнение (20) при его раскрытии дает:

(21)

Производная уравнения (21) имеет вид:

(22)

(23)

Вычисление перехода производной (23) через ноль дает:

(24)

(25)

Поскольку известно, что , каждый член может быть разделен на . При этом, если , а , может быть получено приближенное выражение:

Поскольку является радиусом перетяжки отображаемого пиксельного пучка 72, эта величина также является минимальным значением положительной гиперболы для отображаемого пиксельного пучка 72, т.е., она соответствует значению , как определяется уравнением 20 для :

(27)

Это дает:

(29)

(30)

Рассмотрим точку и сопряженную ей точку через оптическую систему 71. Для луча света, проходящего через точку и центр оптической системы 71, законы оптики дают: (31).

Если луч света является лучом, падающим под углом при попадании в оптическую систему 71 на высоте , то: (32), и аналогичным образом: (33)

Таким образом:

(34)

Как известно из формулы линз: , поэтому получаем:

(35)

И аналогичным образом:

(36)

Следовательно, уравнение, представляющее отображаемый пиксельный пучок 72, имеет вид:

с параметрами:, получаемыми по параметрам пиксельного пучка 70 с помощью:

(38)

при

На этапе 6010 процессор 501 устройства 500 вычисляет пересечение - в пространстве предметов первой оптической системы - пиксельного пучка 70 из группы пиксельных пучков и заданной плоскости, определяемой своим аффинным уравнением в эталонной системе координат.

Затем на этапе 6020 процессор 501 вычисляет сопряженный элемент изображения данного пересечения через оптическую систему 71.

На этапе 6030 процессор 501 вычисляет отображаемый пиксельный пучок 72 по сопряженному элементу изображения пересечения, вычисляемому на этапе 6020.

На этапе 6040 процессор 501 устройства 500 после этого вычисляет пересечение отображаемого пиксельного пучка 72 с датчиком оптической системы 71.

Затем на этапе 6050 процессор 501 вычисляет интеграл интенсивности света по упомянутому пересечению.

Такой способ генерирования данных, характеризующих пиксельные пучки, обеспечивает точное знание и параметризацию группы пиксельных пучков в заданном фокальном объеме. Параметры, характеризующие отображаемые пиксельные пучки, которые связаны с RGB-значениями, связанными с упомянутыми пиксельными пучками, образуют параметрическую выборку фокального объема второй оптической системы 72, полезную для операций обработки изображений, поскольку параметрическая выборка фокального объема является однородной.

В одном из вариантов осуществления изобретения первая оптическая система, выборка пространства предметов которой осуществлено группой пиксельных пучков 70, является оптической системой реальной камеры, в то время как вторая оптическая система 71 является оптической системой виртуальной камеры.

Еще в одном варианте осуществления изобретения первая оптическая система, выборка пространства предметов которой осуществлено группой пиксельных пучков 70, является оптической системой виртуальной камеры, в то время как вторая оптическая система 71 является оптической системой реальной камеры.

Несмотря на то, что настоящее изобретение описано выше со ссылкой на конкретные варианты осуществления, настоящее изобретение не ограничено конкретными вариантами осуществления, при этом специалистам в данной области техники очевидны модификации, которые находятся в пределах объема настоящего изобретения.

Многие другие модификации и варианты представятся сведущим в данной области техники при упоминании вышеописанных иллюстративных вариантов осуществления, которые изложены лишь в качестве примера и которые не предполагают ограничения объема изобретения, определяемого исключительно прилагаемой формулой изобретения. В частности, различные признаки из различных вариантов осуществления при необходимости могут являться взаимозаменяемыми.

Изобретение относится к области обработки изображений и, в частности, к генерированию данных, представляющих световое поле. Технический результат заключается в обеспечении поддержки сбора и передачи многомерной информации для исчерпывающего обзора различных параметров, от которых зависит световое поле, где собираемые данные световых полей для различных камер имеют целый ряд форматов. Существует несколько типов пленоптических устройств, имеющих свой собственный формат файла. В настоящее время отсутствует стандарт, поддерживающий сбор и передачу многомерной информации для исчерпывающего обзора различных параметров, от которых зависит световое поле. Вводится понятие пиксельного пучка, который представляет объем, занимаемый набором лучей света в пространстве предметов оптической системы камеры. Способ позволяет обеспечивать данные, характеризующие группу пиксельных пучков, описывающую первую оптическую систему, которая является инвариантной, поскольку получение этих данных осуществляется путем отображения группы пиксельных пучков через вторую оптическую систему. Такие данные, характеризующие группу пиксельных пучков, обеспечивают генерирование параметризованных выходных изображений, по которым может выполняться постобработка. 4 н. и 6 з.п. ф-лы, 7 ил.

1. Осуществляемый при помощи компьютера способ генерирования данных, характеризующих объем, занимаемый набором лучей света, проходящих через зрачок оптической системы, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, содержащий:

сбор данных, характеризующих упомянутый первый пиксельный пучок в пространстве предметов первой оптической системы, причем упомянутый первый пиксельный пучок занят набором лучей света, проходящих в указанном пространстве предметов первой оптической системы через зрачок упомянутой первой оптической системы и сопряженный элемент изображения по меньшей мере одного пикселя датчика, связанного с упомянутой первой оптической системой;

получение пересечения первого пиксельного пучка с плоскостью в указанном пространстве предметов первой оптической системы;

определение сопряженного элемента изображения упомянутого пересечения через вторую оптическую систему и генерирование данных, характеризующих указанный пиксельный пучок на основании упомянутого сопряженного элемента изображения указанного пересечения.

2. Способ по п. 1, в котором генерирование данных, характеризующих указанный пиксельный пучок из сопряженного элемента изображения указанного пересечения, включает в себя:

вычисление отображаемого пиксельного пучка из указанного сопряженного элемента изображения указанного пересечения;

вычисление пересечения указанного отображаемого пиксельного пучка с датчиком указанной второй оптической системы;

вычисление интеграла интенсивности света по упомянутому пересечению указанного отображаемого пиксельного пучка с датчиком указанной второй оптической системы.

3. Способ по п. 1, в котором первая оптическая система является оптической системой реальной камеры, а вторая оптическая система является оптической системой виртуальной камеры.

4. Способ по п. 1, в котором первая оптическая система является оптической системой виртуальной камеры, а вторая оптическая система является оптической системой реальной камеры.

5. Устройство генерирования данных, характеризующих объем, занимаемый набором лучей света, проходящих через зрачок оптической системы, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, содержащее модуль генерирования данных световых полей, выполненный с возможностью:

сбора данных, характеризующих упомянутый первый пиксельный пучок в пространстве предметов первой оптической системы, причем упомянутый первый пиксельный пучок занят набором лучей света, проходящих в указанном пространстве предметов первой оптической системы через зрачок упомянутой первой оптической системы и сопряженный элемент изображения по меньшей мере одного пикселя датчика, связанного с упомянутой первой оптической системой, и определения, в пространстве предметов первой оптической системы;

получения пересечения первого пиксельного пучка с плоскостью в указанном пространстве предметов первой оптической системы;

определения сопряженного элемента изображения упомянутого пересечения через вторую оптическую систему и генерирования данных, характеризующих указанный пиксельный пучок на основании упомянутого сопряженного элемента изображения указанного пересечения.

6. Устройство по п. 5, в котором для генерирования данных, характеризующих указанный пиксельный пучок из сопряженного элемента изображения указанного пересечения, модуль генерирования данных световых полей дополнительно выполнен с возможностью:

вычисления отображаемого пиксельного пучка из указанного сопряженного элемента изображения указанного пересечения;

вычисления пересечения указанного отображаемого пиксельного пучка с датчиком указанной второй оптической системы;

вычисления интеграла интенсивности света по упомянутому пересечению указанного отображаемого пиксельного пучка с датчиком указанной второй оптической системы.

7. Устройство по п. 5, в котором первая оптическая система является оптической системой реальной камеры, а вторая оптическая система является оптической системой виртуальной камеры.

8. Устройство по п. 5, в котором первая оптическая система является оптической системой виртуальной камеры, а вторая оптическая система является оптической системой реальной камеры.

9. Устройство формирования световых полей, содержащее:

матрицу микролинз, расположенных в структуре регулярной решетки;

фотодатчик, выполненный с возможностью захвата света, проецируемого на фотодатчик от матрицы микролинз, причем фотодатчик содержит наборы пикселей, причем каждый набор пикселей оптически связан с соответствующей микролинзой матрицы микролинз; и

устройство генерирования данных согласно п. 5.

10. Энергонезависимый машиночитаемый носитель данных, содержащий подлежащие исполнению процессором инструкции для:

сбора данных, характеризующих первый пиксельный пучок в пространстве предметов первой оптической системы, причем упомянутый первый пиксельный пучок занят набором лучей света, проходящих через зрачок упомянутой первой оптической системы, и сопряженный элемент изображения в упомянутом пространстве предметов первой оптической системы по меньшей мере одного пикселя датчика, связанного с упомянутой первой оптической системой; определения, в пространстве предметов первой оптической системы, пересечения упомянутого первого пиксельного пучка с плоскостью;

при этом упомянутая плоскость расположена на первом расстоянии от упомянутого зрачка;

определения сопряженного элемента изображения упомянутого пересечения через вторую оптическую систему; и

генерирования данных, характеризующих второй отображаемый пиксельный пучок на основании упомянутого сопряженного элемента изображения.