СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ СИГНАЛА, ПРЕДСТАВЛЯЮЩЕГО СОДЕРЖИМОЕ СВЕТОВОГО ПОЛЯ Российский патент 2021 года по МПК H04N19/463 G06T7/557 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение имеет отношение к передаче наборов данных и метаданных и, более конкретно, к передаче содержимого световых полей.

УРОВЕНЬ ТЕХНИКИ

Сбор четырехмерных или 4D данных светового поля, что можно рассматривать как выборку 4D светового поля, т.е. запись световых лучей, объясняется в статье "Understanding camera trade-offs through a Bayesian analysis of light field projections" ("Представления о плюсах и минусах камеры на основе байесовского анализа проекций светового поля"), авторов Анат Левин (Anat Levin) и др., которая была опубликована в материалах конференции ECCV 2008.

По сравнению с классическими двумерными или 2D изображениями, полученными с камеры, 4D данные светового поля дают пользователю возможность получить доступ к большему количеству средств последующей обработки, которые улучшают визуализацию изображений и интерактивное взаимодействие с пользователем. Например, с учетом 4D данных светового поля, можно выполнить перефокусировку изображений со свободно выбранными расстояниями фокусирования, то есть положение фокальной плоскости может быть задано/выбрано эмпирически, а также немного изменить точку обзора в сцене изображения.

Существует несколько методов представления 4D данных светового поля. Так, в Главе 3.3 докторской диссертации, озаглавленной "Digital Light Field Photography" ("Цифровая Фотография Светового Поля", автора Рен Энджи (Ren Ng), опубликованной в июле 2006, описаны три разных метода представления 4D данных светового поля. Во-первых, 4D данные светового поля могут быть представлены, при записи пленоптической камерой, посредством совокупности изображений микролинз. 4D данные светового поля в этом представлении называют первичными изображениями или первичными 4D данными светового поля. Во-вторых, 4D данные светового поля могут быть представлены, при записи либо пленоптической камерой, либо массивом камер, посредством набора субапертурных изображений. Субапертурное изображение соответствует захваченному изображению сцены из точки обзора, причем точка обзора несколько отличается между двумя субапертурными изображениями. Эти субапертурные изображения дают информацию о параллаксе и глубине изображаемой сцены. В-третьих, 4D данные светового поля могут быть представлены с помощью набора эпиполярных изображений, см. например статью, озаглавленную: "Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera" ("Генерирование EPI-Представления 4D Световых Полей Фокусируемой Пленоптической Камерой с Одним Объективом"), автора С. Ваннер (S. Wanner) и др., опубликованную в материалах конференции ISVC 2011.

Данные светового поля занимают большие объемы пространства для хранения, что делает хранение проблематичным, а обработку менее эффективной. Помимо этого, устройства сбора светового поля чрезвычайно неоднородны. Камеры светового поля имеют разные типы, например, пленоптические или массивы камер. В рамках каждого типа есть много различий, таких как разные оптические схемы или микролинзы с разными фокусными расстояниями. Каждая камера имеет свой собственный закрытый формат файлов. В настоящее время нет стандарта, поддерживающего сбор и передачу многомерной информации, для исчерпывающего общего описания разных параметров, от которых зависит световое поле. Поскольку собранные данные светового поля от разных камер имеют разнородность форматов, на стороне принимающего устройства порождается сложная обработка.

Настоящее изобретение было разработано с учетом вышеизложенного.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Согласно первому аспекту настоящего изобретения, предоставляется компьютеризованный способ для кодирования сигнала, представляющего содержимое светового поля, причем упомянутый способ содержит этапы, на которых:

- кодируют, по меньшей мере, для одного пикселя датчика, первый набор параметров, представляющих луч света, воспринимаемый упомянутым пикселем,

- кодируют второй набор параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров.

Параметры, передаваемые согласно способу кодирования в соответствии с вариантом осуществления настоящего изобретения, не зависят от оптической системы сбора, используемой для сбора содержимого светового поля, предназначенного для передачи и обработки принимающим устройством.

В способе согласно варианту осуществления настоящего изобретения параметры, представляющие лучи света, воспринимаемые разными пикселями датчика оптической системы сбора, т.е. параметры из первого набора параметров, отображаются на датчике. Таким образом, эти параметры могут рассматриваться как снимок. Например, когда луч света, воспринимаемый пикселем оптической системы сбора, представляется четырьмя параметрами, параметры, представляющие лучи света, воспринимаемые пикселями датчика оптической системы сбора, группируются в четыре снимка.

Такие снимки могут кодироваться и передаваться в соответствии со стандартами видеоданных, такими как MPEG-4 часть 10 AVC (также называемый h264), h265/HEVC или их вероятный преемник h266, и передаваться в объединенном битовом потоке видеоданных. Второй кодированный набор может кодироваться с использованием сообщений информации для дополнительной оптимизации (SEI - Supplemental enhancement information). Формат, определяемый в способе согласно варианту осуществления настоящего изобретения, дает возможность сильного сжатия данных, подлежащих передаче, без внесения сильно выраженной ошибки (кодирование без потерь) или ограниченного количества ошибок (кодирование с потерями).

Способ согласно варианту осуществления настоящего изобретения не ограничивается данными светового поля, непосредственно собранными оптическим устройством. Этими данными может быть изображение компьютерной графики (CGI - Computer Graphics Image), которое полностью или частично моделируется компьютером для описания заданной сцены. Другим источником данных светового поля могут быть произведенные впоследствии данные, которые модифицированы, к примеру, отсортированы по цвету, данные светового поля, полученные из оптического устройства или CGI. В киноиндустрии сейчас также широко распространены данные, которые представляют собой сочетание как данных, собранных с использованием оптического устройства сбора, так и данных CGI. Следует понимать, что пиксель датчика может быть смоделирован системой машинно-генерируемых сцен и, если обобщить, весь датчик может быть смоделирован упомянутой системой. Отсюда следует, что любая отсылка к "пикселю датчика" или "датчику" может подразумевать либо физический объект, прикрепленный к оптическому устройству сбора, либо моделируемый элемент, полученный с помощью системы машинно-генерируемых сцен.

Согласно варианту осуществления способа кодирования, упомянутый способ кодирования дополнительно содержит этап, на котором:

- кодируют третий набор параметров, представляющих данные о цвете, соотнесенные с лучом света, представленным упомянутым первым набором параметров.

Согласно варианту осуществления способа кодирования, по меньшей мере, один параметр из первого набора параметров представляет расстояние между координатой упомянутого луча света и эмпирической плоскостью, подобранной по набору координат множества лучей света, воспринимаемых множеством пикселей оптической системы сбора, и, по меньшей мере, один параметр из второго набора параметров представляет координаты этой эмпирической плоскости.

Кодирование расстояния между координатой луча света и эмпирической плоскостью, подобранной по набору координат множества лучей света, воспринимаемых разными пикселями датчика, позволяет сжимать подлежащие передаче данные, поскольку амплитуда между разными значениями вычисленных расстояний обычно ниже, чем амплитуда между разными значениями координат.

Согласно варианту осуществления способа кодирования, по меньшей мере, один параметр из первого набора параметров представляет:

- разность между значением, представляющим луч света, воспринимаемый упомянутым пикселем, и значением, представляющим луч света, воспринимаемый другим пикселем, предшествующим упомянутому пикселю в строке датчика, или

- когда упомянутый пиксель является первым пикселем строки датчика, разность между значением, представляющим луч света, воспринимаемый упомянутым пикселем, и значением, представляющим луч света, воспринимаемый первым пикселем строки, предшествующей строке, которой принадлежит упомянутый пиксель.

Значение, представляющее луч света, может быть либо координатами, представляющими луч света, либо расстоянием между координатами или эмпирическими плоскостями, подобранными по наборам координат множества лучей света, воспринимаемых разными пикселями датчика.

Это дает возможность сжимать данные, уменьшая амплитуду между разными значениями подлежащих передаче параметров.

Согласно варианту осуществления способа кодирования, для кодирования параметров из первого набора параметров используются независимые средства кодирования-декодирования.

Согласно варианту осуществления способа кодирования, когда второй набор параметров содержит параметр, указывающий, что первый набор параметров не изменялся после последней передачи первого набора параметров, передается только упомянутый второй набор параметров.

Это дает возможность уменьшить объем данных, подлежащих передаче на устройства декодирования.

Согласно варианту осуществления способа кодирования, данные светового поля состоят из последовательности подмножеств данных светового поля. К примеру, подмножества временно индексируются для того, чтобы представлять динамическую или движущуюся сцену. Как правило, элемент (или подмножество) последовательности называют кадром. При этом условии скорость передачи, обычно характеризуемая, но не ограничиваясь этим, количеством кадров в секунду, сигнала, представляющего световое содержимое, выше, чем скорость передачи кодированного первого набора параметров и кодированного второго набора параметров.

Это дает возможность уменьшить объем данных, подлежащих передаче на устройства декодирования.

Другая задача настоящего изобретения касается устройства для кодирования сигнала, представляющего содержимое светового поля, содержащего обрабатывающее устройство, выполненное с возможностью:

- кодирования, по меньшей мере, для одного пикселя датчика, первого набора параметров, представляющих луч света, воспринимаемый упомянутым пикселем,

- кодирования второго набора параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров.

Другой аспект настоящего изобретения касается компьютеризованного способа для декодирования сигнала, представляющего содержимое светового поля, причем упомянутый способ содержит этапы, на которых:

- декодируют, по меньшей мере, для одного пикселя датчика, первый набор параметров, представляющих луч света, воспринимаемый упомянутым пикселем,

- декодируют второй набор параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров,

- реконструируют содержимое светового поля на основании декодированного первого набора параметров и декодированного второго набора параметров.

Согласно варианту осуществления способа декодирования, упомянутый способ декодирования дополнительно содержит этапы, на которых:

- декодируют третий набор параметров, представляющих данные о цвете, соотнесенные с лучом света, представленным упомянутым первым набором параметров,

- реконструируют содержимое светового поля на основании декодированного третьего набора параметров в сочетании с декодированным первым набором параметров и декодированным вторым набором параметров.

Другой аспект настоящего изобретения касается устройства для декодирования сигнала, представляющего содержимое светового поля, содержащего обрабатывающее устройство, выполненное с возможностью:

- декодирования, по меньшей мере, для одного пикселя датчика, первого набора параметров, представляющих луч света, воспринимаемый упомянутым пикселем,

- декодирования второго набора параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров,

- реконструкции содержимого светового поля на основании декодированного первого набора параметров и декодированного второго набора параметров.

Другой аспект настоящего изобретения касается сигнала, передаваемого устройством для кодирования сигнала, представляющего содержимое светового поля, на устройство для декодирования упомянутого сигнала, представляющего содержимое световое поле, причем упомянутый сигнал несет сообщение, содержащее:

- первый набор параметров, представляющих луч света, воспринимаемый, по меньшей мере, одним пикселем датчика,

- второй набор параметров, предназначенный для использования при реконструкции содержимого светового поля из первого набора параметров,

- при этом реконструкция содержимого светового поля устройством декодирования основывается на декодированном первом наборе параметров и декодированном втором наборе параметров.

Некоторые технологические процессы, реализуемые элементами настоящего изобретения, могут быть компьютеризованными. Соответственно, такие элементы могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включающего в себя встроенное программное обеспечение, резидентное программное обеспечение, набор микрокоманд, и т.д.) или варианта осуществления, сочетающего программные и аппаратные аспекты, которые все в целом могут упоминаться в данном документе как "контур", "модуль" или "система". Кроме того, такие элементы могут принимать форму компьютерного программного продукта, воплощенного в любой материальной среде выражения, имеющей пригодный для использования с компьютером программный код, воплощенный в этой среде.

Поскольку элементы настоящего изобретения могут быть реализованы в программном обеспечении, настоящее изобретение может быть воплощено в виде машиночитаемого кода для предоставления на программируемое оборудование на любой подходящей несущей среде. Материальная несущая среда может содержать носитель данных, такой как гибкий диск, CD-ROM, накопитель на жестких дисках, магнитное ленточное устройство или твердотельное запоминающее устройство, и тому подобное. Кратковременная несущая среда может включать в себя сигнал, такой как электрический сигнал, электронный сигнал, оптический сигнал, акустический сигнал, магнитный сигнал или электромагнитный сигнал, например сверхвысокочастотный или РЧ сигнал.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Далее будут описаны варианты осуществления настоящего изобретения, только в качестве примера, и со ссылкой на следующие чертежи, на которых:

Фиг. 1 является структурной схемой устройства с камерой светового поля в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 2 является структурной схемой, иллюстрирующей конкретный вариант осуществления потенциально возможной реализации модуля форматирования данных светового поля,

Фиг. 3 иллюстрирует луч света, проходящий через две опорные плоскости P₁ и P₂, используемые для параметризации,

Фиг. 4 иллюстрирует луч света, проходящий через опорную плоскость P₃, находящуюся на известных глубинах z₃,

Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей этапы способа для форматирования данных светового поля согласно варианту осуществления настоящего изобретения,

Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей этапы способа для форматирования данных светового поля согласно варианту осуществления настоящего изобретения,

Фиг. 7 представляет карты сопоставления , карты сопоставления или карты сопоставления при передаче на принимающее устройство с использованием четырех независимых монохромных средств кодирования-декодирования,

Фиг. 8 представляет карты сопоставления , карты сопоставления или карты сопоставления при группировании по одному изображению.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Как будет понятно специалисту в данной области техники, аспекты настоящих принципов могут быть воплощены в виде системы, способа или машиночитаемой среды. Соответственно, аспекты настоящих принципов могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включающего в себя встроенное программное обеспечение, резидентное программное обеспечение, набор микрокоманд, и т.д.) или варианта осуществления, сочетающего программные и аппаратные аспекты, которые все в целом могут упоминаться в данном документе как "контур", "модуль" или "система". Кроме того, аспекты настоящих принципов могут принимать форму машиночитаемого носителя данных. Может использоваться любая комбинация одного или нескольких машиночитаемых носителей данных.

Варианты осуществления настоящего изобретения обеспечивают форматирование данных светового поля для приложений дополнительной обработки, таких как преобразование формата, перефокусировка, изменение точки обзора, и т.д. Предлагаемое форматирование дает возможность правильной и легкой реконструкции данных светового поля на принимающей стороне для их обработки. Преимущество предлагаемого формата состоит в том, что он не зависит от устройства, используемого для сбора данных светового поля.

Фиг. 1 является структурной схемой устройства с камерой светового поля в соответствии с вариантом осуществления настоящего изобретения. Камера светового поля содержит диафрагму/затвор 102, главную (объективную) линзу 101, массив 110 микролинз и массив фотодатчиков. В некоторых вариантах осуществления камера светового поля включает в себя спуск затвора, который активируется для захвата изображения светового поля объекта или сцены.

Массив 120 фотодатчиков обеспечивает данные изображения светового поля, которые собраны модулем 140 сбора данных СП, для генерирования формата данных светового поля модулем 150 форматирования данных светового поля и/или для обработки устройством 155 обработки данных светового поля. Данные светового поля могут сохраняться, после сбора и после обработки, в памяти 190 в формате первичных данных, в виде субапертурных изображений или фокальных стеков, или в формате данных светового поля в соответствии с вариантами осуществления настоящего изобретения.

В проиллюстрированном примере модуль 150 форматирования данных светового поля и устройство 155 обработки данных светового поля размещаются в камере 100 светового поля или интегрируются в нее. В других вариантах осуществления настоящего изобретения модуль 150 форматирования данных светового поля и/или устройство 155 обработки данных светового поля могут быть предусмотрены в отдельном компоненте, внешнем по отношению к камере захвата светового поля. Отдельный компонент может быть локальным или удаленным относительно устройства захвата изображения светового поля. Следует понимать, что любой подходящий проводной или беспроводной протокол может использоваться для передачи данных изображения светового поля на модуль 150 форматирования или устройство 155 обработки данных светового поля; например, устройство обработки данных светового поля может переправлять захваченные данные изображения светового поля и/или другие данные при помощи сети Интернет, сотовой сети передачи данных, сети WiFi, протокола связи Bluetooth®, и/или любого другого подходящего средства.

Модуль 150 форматирования данных светового поля выполняется с возможностью генерирования данных, представляющих собранное световое поле, в соответствии с вариантами осуществления настоящего изобретения. Модуль 150 форматирования данных светового поля может быть реализован в программном обеспечении, аппаратном обеспечении или их комбинации.

Устройство 155 обработки данных светового поля выполняется с возможностью работы с первичными данными изображения светового поля, принятыми непосредственно от модуля 140 сбора данных СП, например, чтобы сгенерировать форматированные данные и метаданные в соответствии с вариантами осуществления настоящего изобретения. Могут быть сгенерированы выходные данные, например, такие как неподвижные изображения, 2D видеопотоки, и тому подобное, захваченной сцены. Устройство обработки данных светового поля может быть реализовано в программном обеспечении, аппаратном обеспечении или их комбинации.

По меньшей мере, в одном варианте осуществления камера 100 светового поля может также включать в себя пользовательский интерфейс 160 для того, чтобы дать пользователю возможность предоставить пользовательский ввод для операции управления камерой 100 посредством устройства 170 управления. Управление камерой может включать в себя одно или несколько из следующего: управление оптическими параметрами камеры, такими как скорость затвора или, в случае регулируемой камеры светового поля, управление относительным расстоянием между массивом микролинз и фотодатчиком, или относительным расстоянием между объективной линзой и массивом микролинз. В некоторых вариантах осуществления относительные расстояния между оптическими элементами камеры светового поля могут быть отрегулированы вручную. Управление камерой также может включать в себя управление другими параметрами сбора данных светового поля, параметрами форматирования данных светового поля или параметрами обработки светового поля камеры. Пользовательский интерфейс 160 может содержать любое подходящее устройство(а) пользовательского ввода, такое как сенсорный экран, кнопки, клавиатура, координатно-указательное устройство и/или тому подобное. Таким образом, ввод, принятый пользовательским интерфейсом, может использоваться для управления и/или конфигурирования модуля 150 форматирования данных СП для управления форматированием данных, устройства 155 обработки данных СП для управления обработкой собранных данных светового поля и устройства 170 управления для управления камерой 100 светового поля.

Камера светового поля включает в себя источник 180 энергии, такой как одна или несколько сменных или перезаряжаемых батарей. Камера светового поля содержит память 190 для хранения захваченных данных светового поля и/или обработанных данных светового поля или других данных, таких как программное обеспечение для реализации способов согласно вариантам осуществления настоящего изобретения. Память может включать в себя внешнюю и/или внутреннюю память. По меньшей мере, в одном варианте осуществления память может быть предусмотрена в обособленном от камеры 100 устройстве и/или местоположении. В одном варианте осуществления память включает в себя съемное/заменяемое устройство хранения данных, такое как карта памяти.

Камера светового поля может также включать в себя блок 165 отображения (например, ЖК-экран) для просмотра сцен перед камерой до захвата и/или для просмотра ранее захваченных и/или визуализированных изображений. Экран 165 также может использоваться для отображения пользователю одного или более меню или другой информации. Камера светового поля может дополнительно включать в себя один или несколько интерфейсов 195 ввода/вывода, таких как интерфейсы FireWire или Универсальная последовательная шина (USB - Universal Serial Bus), или проводные или беспроводные интерфейсы связи для обмена данными через сеть Интернет, сотовую сеть передачи данных, сеть WiFi, протокол связи Bluetooth®, и/или любое другое подходящее средство. Интерфейс 195 ввода/вывода может использоваться для пересылки данных, таких как репрезентативные данные светового поля, сгенерированные модулем форматирования данных СП в соответствии с вариантами осуществления настоящего изобретения, и данных светового поля, таких как первичные данные светового поля или данные, обработанные устройством 155 обработки данных СП, на внешние устройства, такие как компьютерные системы или блоки отображения, и от них, для приложений визуализации.

Фиг. 2 является структурной схемой, иллюстрирующей конкретный вариант осуществления потенциально возможной реализации модуля 250 форматирования данных светового поля и устройства 253 обработки данных светового поля.

Контур 200 включает в себя память 290, устройство 245 управления памятью и схему 240 обработки, содержащую один или несколько блоков обработки (ЦП). Один или несколько блоков 240 обработки выполняются с возможностью запуска различных программ из системы программного обеспечения и/или наборов инструкций, хранящихся в памяти 290, для выполнения различных функций, включающих в себя форматирование данных светового поля и обработку данных светового поля. Компоненты программного обеспечения, хранящиеся в памяти, включают в себя модуль 250 форматирования данных (или набор инструкций) для генерирования данных представляющих собранные световые данные в соответствии с вариантами осуществления настоящего изобретения и модуль 255 обработки данных светового поля (или набор инструкций) для обработки данных светового поля, в соответствии с вариантами осуществления настоящего изобретения. Другие модули могут заключаться в память для приложений устройства с камерой светового поля, такие как модуль 251 операционной системы для управления общими системными задачами (например, регулирование питания, распределение памяти) и для обеспечения связи между различными аппаратными и программными компонентами устройства 200, и интерфейсный модуль 252 для управления и регулирования связи с другими устройствами через порты интерфейса ввода/вывода.

Варианты осуществления настоящего изобретения обеспечивают представление данных светового поля на основе лучей света, воспринимаемых пикселями датчика камеры или моделируемых системой машинно-генерируемых сцен. В действительности, другим источником данных светового поля могут быть произведенные впоследствии данные, которые модифицированы, к примеру, отсортированы по цвету, данные светового поля, полученные из оптического устройства или CGI. В киноиндустрии сейчас также широко распространены данные, которые представляют собой смешение как данных, собранных с использованием оптического устройства сбора, так и данных CGI. Следует понимать, что пиксель датчика может быть смоделирован системой машинно-генерируемых сцен и, если обобщать, весь датчик может быть смоделирован упомянутой системой. Отсюда следует, что любая отсылка к "пикселю датчика" или "датчику" может подразумевать либо физический объект, прикрепленный к оптическому устройству сбора, либо моделируемый элемент, полученный с помощью системы машинно-генерируемых сцен.

Зная что, независимо от типа системы сбора, пикселю датчика упомянутой системы сбора соответствует, по меньшей мере, линейная траектория света, или луч света, в пространстве вне системы сбора, вычисляются данные, представляющие луч света в трехмерном (или 3D) пространстве.

В первом варианте осуществления, Фиг. 3 иллюстрирует луч света, проходящий через две опорные плоскости P₁ и P₂, используемые для параметризации, расположенные параллельно друг другу и находящиеся на известных глубинах z₁ и z₂, соответственно. Луч света пересекает первую опорную плоскость P₁ на глубине z₁ в точке пересечения (x₁, y₁) и пересекает вторую опорную плоскость P₂ на глубине z₂ в точке пересечения (x₂, y₂). Таким образом, с учетом z₁ и z₂, луч света может быть идентифицирован четырьмя координатами (x₁, y₁, x₂, y₂). В силу этого, световое поле может быть параметризовано парой опорных плоскостей для параметризации P₁, P₂, также упоминаемых в данном документе как плоскости параметризации, при этом каждый луч света представляется в виде точки в 4D пространстве лучей.

Во втором варианте осуществления, представленном на Фиг. 4, луч света параметризуется посредством точки пересечения между опорной плоскостью P₃, находящейся на известных глубинах z₃, и лучом света. Луч света пересекает опорную плоскость P₃ на глубине z₃ в точке пересечения (x₃, y₃). Нормализованный вектор , который предоставляет направление луча света в пространстве, имеет следующие координаты: , поскольку , считается положительным и его можно вычислить заново, зная и , вектор может быть описан только своими двумя первыми координатами .

Согласно этому второму варианту осуществления, луч света может быть идентифицирован четырьмя координатами . В силу этого, световое поле может быть параметризовано опорной плоскостью для параметризации P₃, также упоминаемой в данном документе как плоскость параметризации, при этом каждый луч света представляется в виде точки в 4D пространстве лучей.

Параметры, представляющие луч света в 4D пространстве лучей, вычисляются модулем 150 форматирования данных светового поля. Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей этапы способа для форматирования данных светового поля, собранных камерой 100, в соответствии с вариантом осуществления настоящего изобретения. Этот способ исполняется модулем 150 форматирования данных светового поля.

В случае если система сбора светового поля откалибрована с использованием модели точечной диафрагмы, базовая проекционная модель, без искажений, задается следующим уравнением:

где

является фокусным расстоянием главной линзы камеры 100,

и являются координатами пересечения оптической оси камеры 100 с датчиком,

является положением в системе координат камеры точки в пространстве, воспринимаемой камерой,

являются координатами, в системе координат датчика, проекции точки, координаты которой в системе координат камеры, на датчике камеры.

На этапе 501 модуль 150 форматирования данных светового поля вычисляет координаты вектора V, представляющего направление луча света в пространстве, который воспринимается пикселем датчика, координаты которого в системе координат датчика. В системе координат датчика координаты вектора V следующие:

В модели точечной диафрагмы координаты пересечения луча света, воспринимаемого пикселем, координаты которого , с плоскостью, расположенной в координате от точечной диафрагмы и параллельно плоскости датчика, следующие:

и вычисляются в ходе этапа 502.

Если смешивается несколько сборов данных, т.е. при сборе данных светового поля разными типами камер, используется единая система координат. В этой ситуации модификации координат точек и векторов должны быть соответствующим образом изменены.

Согласно варианту осуществления настоящего изобретения, наборы координат, определяющих лучи света, воспринимаемые пикселями датчика камеры, и вычисленные в ходе этапов 501 и 502, перегруппируются в карты сопоставления. В другом варианте осуществления лучи света непосредственно вычисляются системой машинно-генерируемых сцен, которая моделирует распространение лучей света.

В варианте осуществления настоящего изобретения эти карты сопоставления соотносятся с цветовой картой данных светового поля, подлежащих передаче на принимающее устройство. Таким образом, в этом варианте осуществления, для каждого пикселя датчика камеры, параметр, представляющий данные о цвете, соотнесен с лучом света, воспринимаемым данным пикселем, и квадруплетом значений с плавающей запятой , который соответствует либо , когда световое поле может быть при этом параметризовано парой опорных плоскостей для параметризации P₁, P₂, либо , когда луч света параметризуется посредством нормализованного вектора. В последующем описании квадруплет значений с плавающей запятой задается следующим образом:

В другом варианте осуществления система сбора не калибруется с использованием модели точечной диафрагмы, следовательно, параметризация двумя плоскостями не пересчитывается из модели. Вместо этого параметризация двумя плоскостями должна быть экспериментально найдена во время операции калибровки камеры. Это может, к примеру, иметь место для пленоптической камеры, которая включает в себя между главной линзой и датчиком камеры массив микролинз.

Еще в одном варианте осуществления эти карты сопоставления непосредственно моделируются системой машинно-генерируемых сцен или производятся впоследствии из собранных данных.

Поскольку луч света, воспринимаемый пикселем датчика камеры, представляется квадруплетом с плавающей запятой, можно поместить эти четыре параметра в четыре карты сопоставления параметров, например первую карту сопоставления, содержащую параметр каждого луча света, воспринимаемого пикселем датчика камеры, вторую карту сопоставления, содержащую параметр , третью карту сопоставления, содержащую параметр , и четвертую карту сопоставления, содержащую параметр . Каждая из четырех вышеупомянутых карт сопоставления, называемых картами сопоставления , имеет тот же размер, что и само собранное изображение светового поля, но имеет содержимое с плавающей запятой.

После некоторых адаптаций, учитывающих сильную корреляцию между параметрами, представляющими лучи света, воспринимаемые соседними пикселями, и упорядочивания совокупности лучей света, а следовательно, и параметров, которые их представляют, эти четыре карты сопоставления могут быть сжаты с использованием таких же инструментальных средств, как и для видеоданных.

Чтобы сжать значения с плавающими запятыми и тем самым уменьшить размер карт сопоставления , подлежащих передаче, модуль 150 форматирования данных светового поля вычисляет, на этапе 503, для всех карт сопоставления уравнение эмпирической плоскости, подобранной по значениям упомянутого параметра , содержащегося в карте сопоставления . Уравнение эмпирической плоскости для параметра задается следующим образом:

где u и v являются координатами заданного пикселя датчика камеры.

На этапе 504, для каждой карты сопоставления , вычисляются параметры для минимизации ошибки:

Результатом вычисления на этапе 504 является параметр:

который соответствует разности значения параметра с эмпирической плоскостью, подобранной по значениям упомянутого параметра , что приводит к значительно более низкому диапазону амплитуды значений, содержащихся в карте сопоставления .

Можно сжать значение , вычисляя на этапе 505.

Затем, на этапе 506, может быть вычислено значение предшествующего параметра , так что значение параметра изменяется от 0 до включительно, где N является выбранным числом битов, соответствующим емкости кодирующего устройства, предназначенного для использования при кодировании данных светового поля, которые должны быть отправлены. Значение параметра задается следующим образом:

На этапе 507 модуль 150 форматирования данных светового поля генерирует четыре карты сопоставления, карту сопоставления , карту сопоставления , карту сопоставления и карту сопоставления , соответствующие каждому из параметров , представляющих лучи света, воспринимаемые пикселями датчика камеры.

На этапе 508 модуль 150 форматирования данных светового поля генерирует сообщение SEI (информация для дополнительной оптимизации), содержащее следующие фиксированные параметры , предназначенные для использования во время обратного вычисления на стороне принимающего устройства для извлечения исходных карт сопоставления . Эти четыре параметра рассматривают как метаданные, транспортируемые в сообщении SEI, содержимое которого задается следующей таблицей:

Таблица 1

Длина (байты) Имя Комментарий 1 Тип сообщения Значение должно быть закреплено в комитете MPEG 1 Тип представления 'координаты 2 точек' или 'одна точка плюс один вектор' 4 z1 Координата Z первой плоскости 4 z2 Если тип='координаты 2 точек', координата Z второй плоскости 4 альфа_1 Коэффициент плоскости 4 бета_1 Коэффициент плоскости 4 гамма_1 Коэффициент плоскости 4 максимум_1 4 альфа_2 Коэффициент плоскости 4 бета_2 Коэффициент плоскости 4 гамма_2 Коэффициент плоскости 4 максимум_2 4 альфа_3 Коэффициент плоскости 4 бета_3 Коэффициент плоскости 4 гамма_3 Коэффициент плоскости 4 максимум_3 4 альфа_4 Коэффициент плоскости 4 бета_4 Коэффициент плоскости 4 гамма_4 Коэффициент плоскости 4 максимум_4

На стороне принимающего устройства обратное вычисление, позволяющее извлечь исходные карты сопоставления , задается следующим образом

i.

ii.

На этапе 509 карты сопоставления , цветовая карта и сообщение SEI передаются, по меньшей мере, на принимающее устройство, где эти данные обрабатываются для того, чтобы визуализировать содержимое светового поля.

Можно дополнительно уменьшить размер карт сопоставления, представляющих данные светового поля, перед их передачей на принимающее устройство. Следующие варианты осуществления дополняют вариант осуществления, заключающийся в минимизации ошибки:

В первом варианте осуществления, представленном на Фиг. 6, поскольку карты сопоставления содержат значения с низкими пространственными частотами, можно передавать только производную сигнала по направлению в пространстве.

Например, при , значении параметра , соотнесенном с пикселем с координатами (0,0), модуль 150 форматирования данных светового поля вычисляет, на этапе 601, разность между значением параметра , соотнесенным с пикселем с координатами (1,0), и значением параметра , соотнесенным с пикселем с координатами (0,0):

В более широком смысле, в ходе этапа 601, модуль 150 форматирования данных светового поля вычисляет разность между значением параметра , соотнесенным с заданным пикселем датчика, и значением параметра , соотнесенным с иным пикселем, предшествующим заданному пикселю в строке датчика оптической системы сбора или системы машинно-генерируемых сцен:

Если заданный пиксель является первым пикселем строки датчика, модуль 150 форматирования данных светового поля вычисляет разность между значением параметра , соотнесенным с заданным пикселем датчика, и значением параметра , соотнесенным с первым пикселем строки, предшествующей строке, которой принадлежит заданный пиксель:

На этапе 602 карты сопоставления , цветовая карта и сообщение SEI, сгенерированное в ходе этапа 508, передаются, по меньшей мере, на принимающее устройство, где эти данные обрабатываются для того, чтобы визуализировать содержимое светового поля.

Во втором варианте осуществления, поскольку карты сопоставления , карты сопоставления или карты сопоставления содержат значения, имеющие очень медленные пространственные частоты, можно выполнить пространственную субдискретизацию в обоих измерениях карты сопоставления , а затем восстановить всю карту сопоставления на стороне принимающего устройства, произведя линейную интерполяцию между переданными дискретными значениями упомянутых карт сопоставления .

К примеру, предположим, что мы можем уменьшить размер карт сопоставления с N_строк*M_столбцов до N_строк/2*M_столбцов/2. При приеме карты сопоставления могут быть расширены до первоначального размера; созданные пропуски могут быть заполнены с помощью способа интерполяции (или так называемого процесса повышающей дискретизации). Обычно достаточно простой билинейной интерполяции

В третьем варианте осуществления, представленном на Фиг. 7, каждая карта сопоставления , карта сопоставления или карта сопоставления может передаваться на принимающее устройство с использованием четырех независимых монохромных средств кодирования-декодирования, таких как h265/HEVC, например.

В четвертом варианте осуществления карты сопоставления , карты сопоставления или карты сопоставления могут быть сгруппированы по одному изображению, как представлено на Фиг. 8. Для достижения этой цели, один способ заключается в уменьшении размера карт сопоставления в 2 раза с использованием способа субдискретизации, как во втором варианте осуществления, и в последующем слиянии каждой из карт сопоставления , карт сопоставления или карт сопоставления в квадранте изображения, имеющего тот же размер, что и цветовая карта. Этот способ обычно называется "упаковка кадров", поскольку он упаковывает несколько кадров в один. Достаточные метаданные должны передаваться, например, в сообщении SEI, чтобы сигнализировать о том, как была выполнена упаковка кадров, чтобы средство декодирования могло надлежащим образом распаковать кадры. Упакованные в один кадр карты сопоставления могут быть затем переданы с использованием одного монохромного средства кодирования-декодирования, например, такого как h265/HEVC, но не ограничиваясь этим.

В этом случае сообщение SEI, как представленное в Таблице 1, также должно содержать флаг, указывающий на то, что способ упаковки кадров использовался для упаковки 4 карт сопоставления в одну (см. Таблицу 1b).

Таблица 1b

Длина (байты) Имя Комментарий 1 Тип сообщения Значение должно быть закреплено в комитете MPEG 1 Тип представления 'координаты 2 точек' или 'одна точка плюс один вектор' 4 z1 Координата Z первой плоскости 4 z2 Если тип='координаты 2 точек', координата Z второй плоскости 1 Режим упаковки 0: означает отсутствие упаковки кадров (отдельные одиночные карты сопоставления)
1: означает упаковку кадров (одна карта сопоставления с 4 квадрантами) 4 альфа_1 Коэффициент плоскости 4 бета_1 Коэффициент плоскости 4 гамма_1 Коэффициент плоскости 4 максимум_1 4 альфа_2 Коэффициент плоскости 4 бета_2 Коэффициент плоскости 4 гамма_2 Коэффициент плоскости 4 максимум_2 4 альфа_3 Коэффициент плоскости 4 бета_3 Коэффициент плоскости 4 гамма_3 Коэффициент плоскости 4 максимум_3 4 альфа_4 Коэффициент плоскости 4 бета_4 Коэффициент плоскости 4 гамма_4 Коэффициент плоскости 4 максимум_4

Когда несколько камер сгруппированы для формирования установки, лучше и более последовательно определить единую внешнюю систему координат и 2 плоскости параметризации, общие для всех камер. Тогда описательное сообщение (SEI, к примеру) может содержать общую информацию (тип представления, z1 и z2) плюс описательные параметры 4 карт сопоставления (карт сопоставления , карт сопоставления или ) для каждой камеры, как показано в таблице 2.

В этом случае карты сопоставления , карты сопоставления или карты сопоставления могут быть переданы на принимающее устройство с использованием монохромных средств кодирования-декодирования, учитывающих многовидовый аспект конфигурации, такой как многовидовое видеокодирование (MVC - Multiview Video coding) MPEG или многовидовое высокоэффективное видеокодирование (MV-HEVC - Multiview High Efficiency Video Coding) MPEG, например.

Таблица 2

Длина (байты) Имя Комментарий 1 Тип сообщения Значение должно быть закреплено в комитете MPEG 1 Тип представления 'координаты 2 точек' или 'одна точка плюс один вектор' 4 z1 Координата Z первой плоскости 4 z2 Если тип='координаты 2 точек', координата Z второй плоскости Для каждого набора из 4-компонентных карт сопоставления Длина (байты) Имя Комментарий 1 Режим упаковки 0: означает отсутствие упаковки кадров (одиночная карта сопоставления)
1: означает упаковку кадров (4 квадранта) 4 альфа_1 Коэффициент плоскости 4 бета_1 Коэффициент плоскости 4 гамма_1 Коэффициент плоскости 4 максимум_1 4 альфа_2 Коэффициент плоскости 4 бета_2 Коэффициент плоскости 4 гамма_2 Коэффициент плоскости 4 максимум_2 4 альфа_3 Коэффициент плоскости 4 бета_3 Коэффициент плоскости 4 гамма_3 Коэффициент плоскости 4 максимум_3 4 альфа_4 Коэффициент плоскости 4 бета_4 Коэффициент плоскости 4 гамма_4 Коэффициент плоскости 4 максимум_4

В пятом варианте осуществления, когда изменения карт сопоставления , карт сопоставления или карт сопоставления отсутствуют в течение некоторого промежутка времени, эти карты сопоставления , карты сопоставления или помечаются как пропущенные и не передаются на принимающее устройство. В этом случае сообщение SEI содержит флаг, указывающий принимающему устройству, что никакого изменения не происходило в картах сопоставления , картах сопоставления или с момента их последней передачи. Содержимое такого сообщения SEI показано в таблице 3:

Таблица 3

Длина (байты) Имя Комментарий 1 Тип сообщения Значение должно быть закреплено в комитете MPEG 1 Флаг_пропуска 0: означает присутствие дополнительных данных
1: означает сохранение предыдущих зарегистрированных параметров Если !флаг_пропуска Длина (байты) Имя Комментарий 1 Тип представления 'координаты 2 точек' или 'одна точка плюс один вектор' 4 z1 Координата Z первой плоскости 4 z2 Если тип='координаты 2 точек', координата Z второй плоскости Для каждого квадранта Длина (байты) Имя Комментарий 1 Режим упаковки 0: означает отсутствие упаковки кадров (одиночная карта сопоставления)
1: означает упаковку кадров (4 квадранта) 4 альфа_1 Коэффициент плоскости 4 бета_1 Коэффициент плоскости 4 гамма_1 Коэффициент плоскости 4 максимум_1 4 альфа_2 Коэффициент плоскости 4 бета_2 Коэффициент плоскости 4 гамма_2 Коэффициент плоскости 4 максимум_2 4 альфа_3 Коэффициент плоскости 4 бета_3 Коэффициент плоскости 4 гамма_3 Коэффициент плоскости 4 максимум_3 4 альфа_4 Коэффициент плоскости 4 бета_4 Коэффициент плоскости 4 гамма_4 Коэффициент плоскости 4 максимум_4

В шестом варианте осуществления, поскольку модификации параметров системы сбора, представленных в картах сопоставления , картах сопоставления или , медленно изменяются во времени, целесообразно передавать их на принимающее устройство с меньшей частотой кадров, чем частота кадров цветовой карты. Частота передачи карт сопоставления , карт сопоставления или должна составлять, по меньшей мере, частоту передачи кадров IDR.

В седьмом варианте осуществления цветовые карты используют формат YUV или RGB и кодируются средством кодирования видеоданных, таким как MPEG-4 AVC, h265/HEVC или h266, и т.д., либо средством кодирования изображений, таким как JPEG, JPEG2000, MJEG. Когда используется несколько камер для сбора содержимого светового поля, цветовые карты могут быть закодированы соответственно с использованием средства кодирования-декодирования MV-HEVC.

Хотя настоящее изобретение и описано выше со ссылкой на конкретные варианты осуществления, настоящее изобретение не ограничивается этими конкретными вариантами осуществления, и для специалиста в данной области техники будут очевидны модификации, которые лежат в пределах объема настоящего изобретения.

Многие дополнительные модификации и вариации будут самостоятельно предложены специалистами в данной области техники при обращении к приведенным выше иллюстративным вариантам осуществления, которые приведены лишь в качестве примера и не предназначены для ограничения объема настоящего изобретения, который устанавливается исключительно прилагаемой формулой изобретения. В частности, разные признаки из разных вариантов осуществления могут быть взаимозаменяемы, когда это целесообразно.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении кодирования с передаваемыми параметрами, которые не зависят от оптической системы сбора, используемой для сбора содержимого светового поля, предназначенного для передачи и обработки принимающим устройством. Компьютеризованный способ для кодирования сигнала, представляющего содержимое светового поля, в котором получают содержимое светового поля для по меньшей мере одного пикселя датчика, при этом свет, воспринимаемый пикселем датчика, представлен по меньшей мере первым набором параметров, кодируют для по меньшей мере одного пикселя датчика, первый набор параметров, представляющих луч света, воспринимаемый упомянутым пикселем, путем группировки соответствующих параметров, при этом параметры из первого набора параметров отображаются на датчике таким образом, что они могут появляться как изображения, и обеспечивают второй набор параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров, как отображено на датчике, при этом второй набор параметров содержит по меньшей мере параметры, относящиеся к множеству лучей света, попадающих на плоскость, используемую для получения первого набора параметров. 3 н. и 6 з.п. ф-лы, 8 ил., 4 табл.

1. Компьютеризованный способ для кодирования сигнала, представляющего содержимое светового поля, причем упомянутый способ содержит этапы, на которых:

- получают содержимое светового поля для по меньшей мере одного пикселя датчика, при этом свет, воспринимаемый пикселем датчика, представлен по меньшей мере первым набором параметров,

- кодируют для по меньшей мере одного пикселя датчика, первый набор параметров, представляющих луч света, воспринимаемый упомянутым пикселем, путем группировки соответствующих параметров, при этом параметры из первого набора параметров отображаются на датчике таким образом, что они могут появляться как изображения, и

- обеспечивают второй набор параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров, как отображено на датчике, при этом второй набор параметров содержит по меньшей мере параметры, относящиеся к множеству лучей света, попадающих на плоскость, используемую для получения первого набора параметров.

2. Способ по п. 1, дополнительно содержащий этап, на котором:

- кодируют третий набор параметров, представляющих данные о цвете, соотнесенные с лучом света, представленным упомянутым первым набором параметров.

3. Способ по п. 1 или 2, в котором по меньшей мере один параметр из первого набора параметров представляет расстояние между координатой упомянутого луча света и эмпирической плоскостью, подобранной по набору координат множества лучей света, воспринимаемых множеством пикселей оптической системы сбора, и по меньшей мере один параметр из второго набора параметров представляет координаты этой эмпирической плоскости.

4. Способ по любому из предыдущих пунктов, в котором по меньшей мере один параметр из первого набора параметров представляет:

- разность между значением, представляющим луч света, воспринимаемый упомянутым пикселем, и значением, представляющим луч света, воспринимаемый другим пикселем, предшествующим упомянутому пикселю в строке датчика, или

- когда упомянутый пиксель является первым пикселем строки датчика, разность между значением, представляющим луч света, воспринимаемый упомянутым пикселем, и значением, представляющим луч света, воспринимаемый последним пикселем строки, предшествующей строке, которой принадлежит упомянутый пиксель.

5. Способ по любому из предыдущих пунктов, в котором для кодирования параметров из первого набора параметров используются независимые средства кодирования-декодирования.

6. Способ по любому из предыдущих пунктов, в котором, когда второй набор параметров содержит параметр, указывающий, что первый набор параметров не изменялся после последней передачи первого набора параметров, передается только упомянутый второй набор параметров.

7. Способ по п. 2, в котором скорость передачи сигнала, представляющего содержимое светового поля, выше, чем скорость передачи кодированного первого набора параметров и обеспеченного второго набора параметров.

8. Устройство для кодирования сигнала, представляющего содержимое светового поля, содержащее обрабатывающее устройство, выполненное с возможностью:

- получения содержимого светового поля для по меньшей мере одного пикселя датчика, при этом свет, воспринимаемый пикселем датчика, представлен по меньшей мере первым набором параметров,

- кодирования для по меньшей мере одного пикселя датчика, первого набора параметров, представляющих луч света, воспринимаемый упомянутым пикселем, путем группировки соответствующих параметров, при этом параметры из первого набора параметров отображаются на датчике таким образом, что они могут появляться как изображения, и

- обеспечения второго набора параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров, как отображено на датчике, при этом второй набор параметров содержит по меньшей мере параметры, относящиеся к множеству лучей света, попадающих на плоскость, используемую для получения первого набора параметров.

9. Машиночитаемый носитель данных, отличающийся тем, что он содержит инструкции в виде программного кода для реализации способа для кодирования содержимого светового поля по любому из пп. 1-7 при исполнении программного кода обрабатывающим устройством.