СПОСОБ КОДИРОВАНИЯ СИГНАЛА ВИДЕОДАННЫХ ДЛЯ ИСПОЛЬЗОВАНИЯ С МУЛЬТИВИДОВЫМ СТЕРЕОСКОПИЧЕСКИМ УСТРОЙСТВОМ ОТОБРАЖЕНИЯ Российский патент 2017 года по МПК H04N19/597 H04N13/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения, способу декодирования сигнала видеоданных, сигналу видеоданных, кодеру сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения, декодеру сигнала видеоданных, компьютерному программному продукту, содержащему инструкции для кодирования сигнала видеоданных, и компьютерному программному продукту, содержащему инструкции для декодирования сигнала видеоданных.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

За последние два десятилетия технология трехмерного отображения достигла высокого уровня. Трехмерные (3D) устройства отображения добавляют к восприятию визуального изображения третье измерение (глубину), обеспечивая каждому глазу наблюдателя различные виды наблюдаемой сцены.

Вследствие этого в настоящее время существуют различные способы наблюдения видеосигналов/сигналов трехмерных изображений. С одной стороны, имеются очки, основанные на системе трехмерного отображения, в которой пользователю демонстрируются отдельные изображения для его/ее левого глаза и правого глаза. С другой стороны, существуют автостереоскопические трехмерные системы отображения, которые обеспечивают невооруженному глазу наблюдателя трехмерное изображение сцены.

В основанных на очках системах активные/пассивные очки обеспечивают фильтр для выделения отдельных изображений, демонстрируемых на экране, для соответствующего глаза наблюдателя. В не использующих очки автостереоскопических системах устройства довольно часто представляют собой мультивидовые дисплеи, в которых используются светонаправляющие средства, например, в виде барьера или линзообразного элемента для направления левого изображения в левый глаз и правого изображения в правый глаз.

С целью обеспечения контента для использования со стереоскопическими мультивидовыми устройствами отображения со временем были разработаны различные форматы ввода. Пример такого формата приведен в опубликованной заявке согласно PCT WO2006/137000(A1). В настоящем документе описывается формат обмена изображениями для информации об изображении и глубине в совокупности с дополнительной информацией, такой как глубина и/или глубина заграждения. Обеспеченная таким образом информация может использоваться для визуализации изображений для использования с автостереоскопическими мультивидовыми дисплеями на основе линзообразной или барьерной технологии.

В статье П.А. Редерт, Е.А. Хедрикс и Дж. Бьемонд «Синтез многоракурсных изображений в непромежуточных положениях» в Трудах Международной конференции по акустике, речи и обработке сигналов, том IV, ISBN 0-8186-7919-0, стр. 2749-2752, IEEE Computer Society, Лос-Аламитос (штат Калифорния), 1997 г. описывается способ извлечения информации о глубине и визуализации мультивидового изображения на основе входного изображения и карты глубин.

Чтобы улучшить результаты вышеупомянутых методов визуализации на основе изображений, были разработаны различные методы, в которых используются дополнительная текстура заграждения и глубина заграждения, как описано в WO2006/137000(A1). Однако добавление текстуры заграждения и карты глубин заграждения является относительно дорогостоящим в том отношении, что это может потребовать передачи дополнительной карты изображений и глубин для использования при визуализации.

Помимо добавления дополнительных данных изображений в виде дополнительных карт изображений и глубин, известно также, что могут обеспечиваться дополнительные метаданные с целью улучшения качества основанной на изображении визуализации. Пример таких метаданных обеспечен в заявке согласно PCT WO2011/039679(A1). В этом документе описывается способ кодирования сигнала видеоданных, предусматривающий указатель предпочтительного направления визуализации для использования при визуализации дополнительных изображений.

ЦЕЛЬ ИЗОБРЕТЕНИЯ

Авторы изобретения обнаружили, что всего лишь кодирование указателя направления визуализации может быть дополнительно усовершенствовано, в частности, при рассмотрении визуализации основанного на изображении и глубине контента для стереоскопических мультивидовых дисплеев.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В соответствии с первым аспектом изобретения, обеспечивается способ кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения, причем способ содержит: обеспечение первого изображения сцены, видимой из входной точки наблюдения, обеспечение карты глубин, связанной с первым изображением, обеспечение данных о предпочтениях, содержащих указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом, и генерирование сигнала видеоданных, содержащего кодированные данные, представляющие первое изображение, карту глубин и данные о предпочтениях.

Преимущество кодирования сигнала видеоданных, таким образом, состоит в том, что оно позволяет декодеру, который будет использовать контент для видовой визуализации для мультивидового дисплея, выбирать подходящий центральный вид для соответствующего конуса видимости. В результате можно выбирать приятное для восприятия, т.е. предпочтительное центральное положение для конуса видимости устройства отображения способом, являющимся независимым от выходного дисплея.

В этой заявке упоминается центральный вид. Мультивидовое стереоскопическое устройство отображения выполнено с возможностью визуализации видов конуса видимости, имеющего множество видов, причем центральный вид находится в центральном положении конуса видимости. Необходимо отметить, что существуют мультивидовые стереоскопические дисплеи, имеющие нечетное число видов, а также мультивидовые стереоскопические дисплеи, имеющие четное число видов. В случае мультивидового стереоскопического дисплея центральный вид соответствует среднему виду в конусе видимости; т.е. как правило, виду, который перпендикулярен панели дисплея. Центральный вид в случае четного числа видов соответствует положению посередине между двумя видами, ближайшими к центру конуса видимости.

Факультативно данные о предпочтениях содержат указатель, указывающий на предпочтительное положение центрального вида для использования при визуализации изображений для отображения на мультивидовом стереоскопическом дисплее.

Факультативно данные о предпочтениях содержат данные о предпочтениях в зависимости от отношения входной точки наблюдения к базовой линии, содержащие - для видеосигнала, имеющего лишь одиночный вид, составляющий входную точку наблюдения, в тех случаях, когда опорный левый вид и опорный правый вид представляют заданное положение левого вида и заданное положение правого вида относительно одиночного вида - значение смещения центра одиночного вида, обеспечиваемое в качестве упомянутого указателя, указывающего предпочтительное положение относительно одиночного вида. Данные о предпочтениях могут дополнительно включать в себя флаг смещения центра одиночного вида, который устанавливается в тех случаях, когда обеспечивается значение смещения центра одиночного вида.

Факультативно данные (30) о предпочтениях содержат данные о предпочтениях в зависимости от отношения входной точки наблюдения к базовой линии, содержащие - для видеосигнала, имеющего левый вид и правый вид, составляющие опорный левый вид и опорный правый вид;

- значение смещения центра обработки одиночного вида, обеспечиваемое в качестве упомянутого указателя, указывающего предпочтительное положение относительно центрального положения между левым и правым видами. Данные о предпочтениях могут дополнительно включать в себя по меньшей мере одно из следующего:

- флаг смещения центра обработки одиночного вида, устанавливаемый в тех случаях, когда обеспечивается значение смещения центра обработки одиночного вида;

- предпочтительный флаг одиночного вида, устанавливаемый в тех случаях, когда обработка одиночного вида является предпочтительной;

- указатель предпочтительного вида, указывающий, что левый вид является предпочтительным видом для обработки одиночного вида, либо что правый вид является предпочтительным видом для обработки одиночного вида.

Факультативно данные о предпочтениях указывают предпочтительное положение центрального вида относительно базовой линии между опорным левым видом и опорным правым видом с точностью 1/100-я базовой линии - так достигается компромисс между требованиями к точности и памяти.

Факультативно данные о предпочтениях указывают предпочтительное положение центрального вида посредством значения смещения относительно центра между левым опорным видом и правым опорным видом, причем значение смещения, равное нулю, соответствует входной точке наблюдения. Таким образом, представление положения центра может являться сингулярным значением, которое для выбранного входа относится к входной точке наблюдения, и к выходному предпочтительному положению для использования при визуализации.

Факультативно предпочтительное положение центрального вида определяется на основе оценки воспринимаемого качества изображения после визуализации контента для множества различных положений центрального вида для эталонного дисплея. Так может быть выбрано приятное для восприятия центральное положение таким образом, что, например, ошибки, возникающие в результате снятие заграждения, могут быть исправлены или значительно уменьшены, но с учетом персональных ограничений. Например, рассмотрим сцену, в которой человек стоит перед белой стеной с одной стороны и перед значительно текстурированной шторой с другой стороны. Благодаря выбору визуализации в определенном направлении артефакты заграждения, возникающие в результате снятия заграждения в виде шторы, могут быть уменьшены. Однако если человек в сцене смотрит за окно, продление сцены слишком далеко в этом направлении может стать раздражающим, поскольку это может повлиять на значительную интересующую область окна.

Способ в соответствии с данным вариантом осуществления обеспечивает обнаружение такой ситуации и обеспечивает выбор компромиссного решения, визуализация которого может надлежащим образом осуществляться на автостереоскопическом мультивидовом дисплее.

Факультативно данные о предпочтениях устанавливаются для одного из следующего: на кадр, на группу кадров или на снимок/сцену. Поскольку изменения в центральной точке наблюдения в сцене могут оказаться нежелательными, можно устанавливать данные о предпочтениях на каждый кадр, на каждую группу кадров или на каждый снимок или сцену. Последнее на практике оказывается наименее навязчивым. Кроме того, в случае необходимости покадровое кодирование данных о предпочтениях - либо прямо путем включения обновлений данных для каждого кадра, либо косвенно, например, путем указания набора увеличений значения данных о предпочтениях для ряда последовательных кадров, либо путем задания выходного значения для некоторого кадра в будущем - обеспечивает плавный переход данных о предпочтениях в течение некоторого времени.

В соответствии со вторым аспектом изобретения, обеспечивается способ декодирования сигнала видеоданных, причем сигнал видеоданных включает в себя кодированные данные, представляющие: первое изображение сцены, видимой из входной точки наблюдения, карту глубин, связанную с первым изображением, данные о предпочтениях, содержащие указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом, причем способ содержит: получение сигнала видеоданных, визуализацию множества видов на основе первого изображения, карты глубин и данных о предпочтениях таким образом, что визуализированные виды совпадают с предпочтительным положением центрального вида, кодированного в сигнале видеоданных, или находятся вблизи него.

В предпочтительном варианте осуществления способ декодирования дополнительно включает в себя последующее объединение визуализированных видов для использования управления стереоскопическим мультивидовым дисплеем.

В соответствии с третьим аспектом изобретения, обеспечивается сигнал видеоданных, причем сигнал видеоданных содержит кодированные данные, представляющие: первое изображение сцены, видимой из входной точки наблюдения, карту глубин, связанную с первым изображением, данные о предпочтениях, содержащие указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом.

Факультативно данные о предпочтениях дополнительно включают в себя предпочтительные положения множества видов, соотносящие предпочтительное положение соответствующего вида с входной точкой наблюдения и базовой линией между опорным левым видом и опорным правым видом.

В соответствии с четвертым аспектом изобретения, обеспечивается носитель данных для хранения сигнала видеоданных в долговременной форме, причем носитель данных может отличаться от известных устройств, таких как оптический диск, накопитель на жестком диске, твердотельный накопитель или твердотельная память.

В соответствии с пятым аспектом изобретения, предлагается кодер для кодирования сигнала видеоданных для использования в мультивидовом стереоскопическом устройстве отображения, причем кодирование содержит: первый блок получения для обеспечения первого изображения сцены, видимой из входной точки наблюдения, второй блок получения для обеспечения карты глубин, связанной с первым изображением, третий блок получения для обеспечения данных о предпочтениях, содержащих указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом, и генератор, выполненный с возможностью генерирования сигнала видеоданных, содержащего кодированные данные, представляющие первое изображение, карту глубин и данные о предпочтениях.

В соответствии с шестым аспектом изобретения, обеспечивается декодер для декодирования сигнала видеоданных, причем сигнал видеоданных содержит кодированные данные, представляющие: первое изображение сцены, видимой из входной точки наблюдения, карту глубин, связанную с первым изображением, данные о предпочтениях, содержащие указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом, причем декодер содержит демультиплексор для демультиплексирования данных первого изображения, карты глубин и данных о предпочтениях и средство визуализации видов, выполненное с возможностью визуализации множества видов на основе первого изображения, карты глубин и данных о предпочтениях таким образом, что визуализированные виды совпадают с предпочтительным положением центрального вида, кодированного в сигнале видеоданных, или находятся вблизи него.

Факультативно декодер дополнительно выполнен с возможностью визуализации равноудаленных друг от друга видов для использования с мультивидовым дисплеем на основе предпочтительного центрального положения и величины диспаратности, имеющейся для визуализации.

Факультативно данные о предпочтениях дополнительно включают в себя предпочтительные положения всех видов выходного дисплея, соотносящие предпочтительное положение соответствующего вида с входной точкой наблюдения и базовой линией между опорным левым видом и опорным правым видом.

В соответствии с седьмым аспектом изобретения, обеспечивается компьютерный программный продукт, содержащий инструкции для побуждения процессорной системы к выполнению способа кодирования в соответствии с изобретением.

В соответствии с восьмым аспектом изобретения, обеспечивается компьютерный программный продукт, содержащий инструкции для побуждения процессорной системы к выполнению способа декодирования в соответствии с изобретением.

Эти и другие аспекты изобретения понятны из описываемых ниже вариантов осуществления и поясняются применительно к ним.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На чертежах:

на фиг.1А изображено упрощенное представление конуса видимости стереоскопического 4-видового мультивидового дисплея,

на фиг.1В изображено упрощенное представление конуса видимости стереоскопического 5-видового мультивидового дисплея,

на фиг.2 изображена блок-схема кодера и декодера в соответствии с изобретением,

на фиг.3 изображен схематический общий вид представления данных о предпочтениях,

на фиг.4 изображен схематический общий вид возможных визуализированных видов на основе данных о предпочтениях,

на фиг.5 показана блок-схема способа кодирования,

на фиг.6 показана подробная блок-схема предпочтительного способа выбора предпочтительного положения, и

на фиг.7 показана блок-схема способа декодирования.

Необходимо отметить, что элементы, имеющие одинаковые ссылочные позиции на различных чертежах, имеют одинаковые структурные признаки и одинаковые функции или являются одинаковыми сигналами. В тех случаях, когда функция и/или структура такого элемента была объяснена, в подробном описании нет необходимости в ее повторном описании.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Перед тем, как обратиться к изобретению, сначала введем понятие конусов видимости, поскольку они повсеместно встречаются на мультивидовых автостереоскопических дисплеях. В отношении особенно предпочтительной формы такого мультивидового дисплея упоминается документ US6801243 B1, в котором приведен пример основанного на линзообразном элементе мультивидового автостереоскопического дисплея.

На фиг.1А изображено упрощенное представление конуса видимости стереоскопического 4-видового мультивидового дисплея, причем конус 26 видимости иллюстрирует виды, которые будет видеть наблюдатель. Когда наблюдатель сидит перед панелью дисплея в центре панели дисплея (не показана), наблюдатель воспринимает своим левым глазом вид -1, а своим правым глазом - вид 1. Благодаря обеспечению надлежащим образом визуализируемого вида, т.е. вида, визуализируемого для левого глаза, и вида, визуализируемого для правого глаза, наблюдатель 21 воспринимает стереоскопическое изображение. Однако когда наблюдатель 21 перемещается вдоль линии, параллельной плоскости дисплея, вправо в направлении положения, изображенного на фиг.1А, наблюдатель воспринимает виды 1 и 2. Отсюда следует, что виды 1 и 2 также должны представлять виды стереопары. В ситуации, изображенной на фиг.1А, конус видимости устройства отображения центрирован в точке посредине между видами -1 и 1. То есть считается, что эти виды центрированы в «виртуальном» виде 0, в данном случае этот вид считается виртуальным, поскольку дисплей не демонстрирует этот вид.

На фиг.1В изображено упрощенное представление конуса видимости стереоскопического 5-видового мультивидового дисплея. Наблюдатель 23 обращен к панели 24 дисплея, которая может, например, быть покрыта наклонной линзообразной фольгой или переключаемым барьером, чтобы направлять 5 видов, которые возникают из панели отображения, в 5 отдельных направлениях, как показано на фиг.1В. Правый глаз наблюдателя 23 расположен обращенным к панели дисплея в середине панели дисплея, в результате чего вид 0, который направлен под углом перпендикулярно экрану отображения, является видимым для правого глаза наблюдателя 23. Аналогичным образом, вид -1 является видимым для левого глаза наблюдателя 23. В случае, изображенном на фиг.1В, виды считаются центрированы в виде 0, который расположен в центре конуса видимости.

На фиг.2 изображена блок-схема кодера 200 и декодера 300 в соответствии с изобретением. Кодер 200, представленный на левой стороне чертежа, формирует сигнал 50 видеоданных, который далее передается передатчиком 70. Передатчик 70 может быть реализован в виде регистрирующего устройства для регистрации сигнала 50 видеоданных на носителе информации, как указано выше, либо, в соответствии с другим вариантом, может формировать сигнал видеоданных для передачи в проводной 73 или беспроводной 72 среде, либо в комбинации обеих (не показана).

Передаваемые данные принимаются в декодере 300, изображенном справа. Декодер 300 принимает сигнал видеоданных, демультиплексирует контент и использует его для визуализации видов в блоке 90 визуализации. Как показано на чертеже, декодер может быть реализован в устройстве 105, которое управляет внешним мультивидовым стереоскопическим дисплеем, либо декодер может быть реализован в устройстве 105’, которое также содержит мультивидовый стереоскопический дисплей.

Функциональные возможности декодера в устройстве 105 могут, например, быть реализованы в декодере каналов кабельного телевидения в случаях, когда управление устройством отображения осуществляется с помощью, например, интерфейса типа HDMI, DVI или DisplayPort, хорошо известного специалистам. В соответствии с другим вариантом, функциональные возможности декодера могут быть реализованы в портативном компьютере, планшетном компьютере или смартфоне, который передает визуализированный и перемежающийся видеоконтент по интерфейсу WirelessHD или WiGiG.

На фиг.2 более подробно показан кодер 200 для кодирования сигнала 50 видеоданных для использования с мультивидовым стереоскопическим устройством 100 отображения, причем кодер содержит первый блок 15 получения для получения первого изображения 10 сцены, видимой из входной точки наблюдения, второй блок 25 получения для получения карты 20 глубин, связанной с первым изображением 10, третий блок 35 получения для получения данных 30 о предпочтениях, указывающих на предпочтительное положение центрального вида для использования при видовой визуализации на основе первого изображения и карты глубин. Предпочтительное положение центрального вида соотносит входную точку наблюдения с базовой линией между опорным левым видом и опорным правым видом. Блоки получения могут быть выполнены с возможностью считывания входных сигналов для кодера со средства хранения данных или из сети.

После получения генератор 60 выполнен с возможностью генерирования сигнала 50 видеоданных, содержащего кодированные данные, представляющие первое изображение 10, карту 20 глубин и данные 30 о предпочтениях. Входные данные могут кодироваться в одном или более потоков, которые затем мультиплексируются в сигнал 50 видеоданных.

Аналогичным образом, на фиг.2 изображен декодер 300 для декодирования сигнала 50 видеоданных, который принимается из проводной сети 73, беспроводной сети 72 или, возможно, считывается с носителя 71 информации. Сигнал 50 видеоданных содержит кодированные данные, представляющие: первое изображение 10 сцены, видимой из входной точки наблюдения, карту 20 глубин, связанную с первым изображением 10, данные 30 о предпочтениях, указывающие на предпочтительное положение центрального вида для использования при видовой визуализации на основе первого изображения и карты глубин, причем предпочтительное положение центрального вида соотносит входную точку наблюдения с базовой линией между опорным левым видом и опорным правым видом. Изображенный декодер содержит демультиплексор 80 для демультиплексирования данных 10 первого изображения, карты 20 глубин и данных 30 о предпочтениях для последующей обработки. Далее средство 90 визуализации видов выполнено с возможностью видовой визуализации множества видов на основе первого изображения 10, карты 20 глубин и данных 30 о предпочтениях таким образом, что визуализированные виды визуализируются совпадающими с предпочтительным положением центрального вида, кодированного в сигнале 50 видеоданных, или находятся вблизи него.

При этом необходимо отметить, что при визуализации видов для дисплея с нечетным числом видов визуализируемый центральный вид совпадает с предпочтительным положением, на которое указывают данные 30 о предпочтениях, а остальные виды располагаются симметрично относительно предпочтительного положения центрального вида. Аналогичным образом, при визуализации видов для дисплея с четным числом видов все виды располагаются симметрично относительно предпочтительного положения центрального вида, а два вида, ближайшие к предпочтительному положению, располагаются симметрично относительно предпочтительного положения.

Кодирование предпочтительного положения в видеоинформации

В существующих системах кодирования сигнала видеоданных, в которых используется первое изображение и соответствующая карта глубин, реальные видеоданные довольно часто кодируются на основе либо стандарта AVC, либо стандарта HEVC.

В таких системах информация о глубине часто используется устройством отображения, которое стремится визуализировать сигнал видеоданных в совокупности с видеоинформацией и соответствующими метаданными для создания видов, не являющихся непосредственно доступными в кодированной видеопоследовательности (видеопоследовательностях). Глубина может присутствовать или не присутствовать в потоке кодированных данных. Если в кодированной видеопоследовательности (видеопоследовательностях) отсутствует глубина, карты глубин могут генерироваться по видеоинформации устройством отображения.

В тех случаях, когда глубина присутствует, она должна кодироваться в той форме, которую может декодировать устройство отображения. Хотя в большинстве обеспеченных в настоящем документе примеров демонстрируется видеоинформация, которая содержит моноскопическую (1-видовую) видеоинформацию, настоящее изобретение может также использоваться со стереоскопической (2-видовой) видеоинформацией, когда для визуализации видов используется лишь один из видов. В случае стереоскопической видеоинформации глубина может быть обеспечена для обоих видов или для одного из двух видов.

Изображение и информация о глубине могут быть упакованы в ряде форматов. Одним из таких форматов является формат, представленный выше в WO2006/137000(A1). В соответствии с другим вариантом, данные могут быть упакованы в другом формате совместимой с кадром 2-мерной видеоинформации и глубины.

При кодировании совместимой с кадром 2-мерной видеоинформации и глубины 2-мерная видеоинформация и соответствующие карты глубин упаковываются одним из нескольких возможных способов в кодированные видеокадры. Например, в параллельной конфигурации видеоинформация может быть горизонтально субдискретизирована в 2 раза и помещена в левой половине изображения, в то время как связанная с этим глубина кодируется в яркости правой половины изображения. Основные преимущества этого способа состоят в том, что для распространения доступны стандартизованные транспортные каналы AVC/HEVC, и для декодирования могут использоваться декодеры AVC/HEVC. Видеоинформация и глубина могут быть включены в единый видеопоток AVC или HEVC таким образом, что в декодере каждый кадр декодированного изображения содержит масштабированные версии 2-мерной видеоинформации и соответствующей глубины (Z). Предполагаются такие форматы, как параллельный и нисходящий.

В соответствии с другим вариантом, количество информации о глубине может быть дополнительно сокращено посредством дополнительной дискретизации или субдискретизации вертикально и/или горизонтально, посредством этого создавая более широкую полосу частот Storing depth.

Карты глубин, в свою очередь, могут кодироваться, например, с использованием 8-битовых или 16-битовых значений. В случае 8 битов это будет соответствовать диапазону от 0 до 255 включительно. В тех случаях, когда карты глубин сохраняются в части зоны изображения, значения глубины сохраняются в отсчетах сигнала яркости пикселей в зоне изображения, которая предназначена для хранения глубины.

Данные 30 о предпочтениях представляют метаданные, которые обеспечиваются в дополнение к информации об изображении и глубине, для улучшения качества визуализации. Такие метаданные могут входить в состав сообщений SEI в кодированных видеопоследовательностях на основе AVC или HEVC. Предпочтительно такие метаданные содержатся в незарегистрированных сообщениях SEI пользовательских данных. Эти сообщения SEI метаданных входят в элементарный поток, который содержит глубину. Это может быть единый элементарный поток с видеоинформацией и глубиной или отдельный элементарный поток глубины в зависимости от выбранного формата.

user_data_unregistered( payloadSize ) { C Дескриптор ... 5 u(8) metadataSize = payloadSize - 17 if( metadata_type = = 0) depth_processing_information( metadataSize) else if( metadata_type = = 1 ) view_rendering_assist_information( metadataSize) else for( i = 0; i < metadataSize; i++ ) reserved_metadata_byte 5 b(8) } Таблица 1
Синтаксис контейнера сообщений SEI метаданных

Метаданные могут быть включены в кодированную видеопоследовательность посредством одного или более незарегистрированных сообщений SEI пользовательских данных, которые однозначно идентифицируются посредством 128-битового идентификатора с постоянным значением. Было задано несколько типов метаданных. Метаданные одного и того же типа содержатся в едином сообщении SEI, тип которого указывается в поле metadata_type.

Множество сообщений SEI метаданных может быть связано с одним модулем доступа, но с этим модулем доступа может быть связано не более чем одно сообщение SEI метаданных определенного типа.

Ниже в Таблице 2 приведен пример синтаксиса информации depth_processing, указанной выше в Таблице 1.

depth_processing_information( metadataSize ) { C Дескриптор ... depth_coding_format 5 u(4) dual_depth 5 u(1) preferred_view 5 u(2) single_view_preferred 5 u(1) ... single_view_processing_center_offset_flag 5 u(1) single_view_center_offset_flag 5 u(1) ... if
(single_view_processing_center_offset_flag) { i = i + 1 single_view_center_offset 5 i(8) } if (single_view_center_offset_flag) { i = i + 1 single_view_center_offset 5 i(8) } ... } Таблица 2
Синтаксис информации об обработке глубины

Далее следует дополнительное объяснение различных элементов. depth_coding_format может использоваться для указания, какой конкретный формат кодирования используется при наличии множества форматов depth_coding.

dual_depth представляет собой флаг, который указывает, обеспечиваются ли одна или две карты глубин в случае стереоконтента, при этом значение, равное 1, указывает, что обеспечиваются две карты глубин. Примечательно, что когда имеется лишь одна карта глубин, настоящее изобретение может использоваться для визуализации дополнительных видов на основе вида, связанного с одной картой глубин.

preferred_view: когда preferred_view устанавливается равным 1, это означает, что левый вид является предпочтительным видом для обработки одиночного вида дисплеем. Это поле, установленное равным 2, означает, что правый вид является предпочтительным видом для обработки одиночного вида дисплеем.

Это значение особенно важно для устройств отображения, которые предназначены для генерирования видов по одному виду. Для устройств отображения, которые способны использовать множество видов для генерирования видов, preferred_view указывает на наилучший вид для видовой визуализации, когда single_depth_preferred устанавливается равным 1.

Если dual_depth равно 0, либо когда предпочтительный вид отсутствует, это поле устанавливается равным 0.

single_view_preferred: когда это поле установлено равным 1, это означает, что обработка одиночного вида устройством отображения является предпочтительной. Если dual_depth равно 0, это поле устанавливается равным 0.

Single_view_processing_center_offset содержит целочисленное значение, которое задает рекомендуемое положение визуализируемого центрального вида для мультивидовых устройств отображения, в которых не используется информация о двойной глубине. Это поле может присутствовать лишь в тех случаях, когда dual_depth установлено равным 1. single_view_processing_center_offset_flag устанавливается в тех случаях, когда обеспечивается значение для single_view_processing_center_offset, на что указывает условная функция “if” в таблице 2.

Параметры смещения центра содержат значения в диапазоне от -128 до 127 включительно и относятся к точному положению центра (представляющему собой значение смещения, равное 0) между левым и правым видами в единицах 1/100 базовой линии между левым и правым видами. Значения увеличиваются с положениями слева направо; при этом -50 соответствует исходному положению левого вида, а 50 соответствует исходному положению правого вида.

single_view_center_offset содержит целочисленное значение, которое задает рекомендуемое положение визуализируемого центрального вида для мультивидовых устройств отображения. Это поле может присутствовать лишь в тех случаях, когда dual_depth установлено равным 1, либо в тех случаях, когда single_view_preferred установлено равным 1. single_view_center_offset_flag устанавливается в тех случаях, когда обеспечивается значение для single_view_center_offset, на что указывает условная функция “if” в таблице 2.

Параметр смещения центра одиночного вида содержит значения в диапазоне от -128 до 127 включительно и относится к обеспечиваемому виду (соответствующему значению смещения, равному 0) в единицах 1/100 базовой линии между заданными левым и правым видами. Значения увеличиваются с положениями слева направо; при этом -50 соответствует заданному положению левого вида, а 50 соответствует заданному положению правого вида.

Несмотря на то, что настоящее изобретение описано применительно к сигналу видеоданных, который содержит первое изображение, карту глубин и данные о предпочтениях, оно не исключает наличия в сигнале видеоданных других данных. Например, настоящее изобретение может использоваться в полном объеме при визуализации контента, который обеспечивается в виде левого изображения и левой карты глубин, а также правого изображения и правой карты глубин. Хотя часто может оказаться возможным достижение лучшего результата визуализации с использованием данных как слева, так и справа, это не всегда может иметь место.

В связи с этим, даже в ситуации, когда имеются стереоданные и две карты глубин, может оказаться возможной визуализация множества видов только на основе первого изображения и карты глубин вместо того, чтобы использовать правое изображение и правую карту глубин.

Далее со ссылкой на фиг.3 и 4 подробнее рассматривается кодирование положения центрального вида. На фиг.3 наглядно изображено возможное целочисленное кодирование значения single_view_processing_center_offset или single_view_center_offset с использованием 8-битового целочисленного представления. Входная точка наблюдения отображается в смещение, равное 0, в то время как смещение -50 соответствует виду, при котором обычно визуализируется левое изображение. Смещение 50 соответствует виду, при котором обычно визуализируется правый вид стереопары.

Основополагающая идея этого кодирования состоит в том, что все мультивидовые дисплеи должны обеспечивать возможность визуализации стереоскопического контента таким образом, что общая величина параллакса, которая может быть визуализирована, т.е. разность в параллаксе между крайним левым видом и крайним правым видом должна использоваться для визуализации видеоконтента приемлемым для наблюдателя образом.

В связи с этим, высококачественный автостереоскопический дисплей должен обеспечивать возможность визуализации стереоскопического контента, в котором имеются левый вид и правый вид. Авторы настоящего изобретения поняли, что эта характеристика может использоваться для задания смещения с точки зрения базовой линии стереоскопического контента. В результате этого единственное задание может использоваться для целого ряда мультивидовых стереоскопических устройств отображения. В такой ситуации базовая линия может выбираться для согласования с базовой линией, используемой для съемки стереоскопического контента.

Опорный левый вид и опорный правый вид

Однако при визуализации на основе одного изображения и соответствующей глубины может возникнуть та же проблема, то есть нам необходимо задавать базовую линию для размещения центрального положения с целью улучшения визуализации видов. Однако в таком случае отсутствует строгое определение левого изображения и правого изображения.

Авторы изобретения поняли, что по этой причине, возможно, целесообразно задавать левый опорный вид и правый опорный вид на базовой линии и, исходя из этого, задавать центральное положение. Хотя это и решает проблему наличия возможности правильного выбора положения базовой линии, это все же переносит данную проблему на задание левого и правого опорных видов.

Авторы изобретения поняли, что для осуществления этого могут использоваться различные способы. Первый подход к осуществлению этого состоит в задании базовой линии на основе характеристик самого устройства отображения. Например, базовая линия может задаваться соответствующей базовой линии, используемой устройством при визуализации основанного на изображении+глубине контента для центральных видов. В случае четного числа видов это соответствует базовой линии, соответствующей двум видам, ближайшим к центру виртуального конуса видимости. Таким образом, значение -50 согласуется с центральным положением левого вида самой центральной пары видов конуса видимости. В этой ситуации опорный левый вид согласуется с левым видом самой центральной пары видов конуса видимости.

В соответствии с другим вариантом, базовая линия может задаваться на основе крайнего левого и крайнего правого видов конуса видимости. В таком сценарии -50 соответствует крайнему левому виду конуса видимости.

Еще в одном варианте базовая линия может задаваться на основе метаданных, которые относятся к диспаратности вида на экране, т.е. на основе размера экрана отображения, предпочтительного расстояния наблюдения и расстояния между зрачками наблюдателя.

Еще в одном варианте, если дисплей также поддерживает стереоскопический контент, то можно выбирать левый стереовид в качестве левого опорного вида и правый стереовид в качестве правого опорного вида. В мультивидовых автостереоскопических дисплеях, которые визуализируют стереоконтент, величина диспаратности между левым и правым, как правило, разделяется между различными видами, то есть величина диспаратности между двумя видами конуса видимости значительно меньше, чем у стереоскопического входного контента.

Однако для задания центра можно использовать базовую линию, задаваемую исходным стереоскопическим левым и правым видами.

Специалистам ясно, что возможно множество различных заданий, основанных на одной и той же концепции, при этом задаются левый и правый опорные виды и задается центр как доля базовой линии между этими двумя видами.

В действительности, то, какой конкретный тип задания эталонного вида выбирается, может предварительно задаваться или, в соответствии с другим вариантом, может быть закодировано в виде метаданных в самом сигнале видеоданных.

В соответствии с фиг.3, смещение -50 означает, что все виды, которые дисплей будет визуализировать, центрируются в том, что должно являться положением, в котором такое мультивидовое стереоскопическое устройство отображения визуализирует левое изображение стереоскопической пары изображений без смещения. Аналогичным образом, смещение 50 означает, что все виды, которые дисплей будет визуализировать, центрируются в том, что должно являться положением, в котором такое мультивидовое стереоскопическое устройство отображения визуализирует правое изображение стереоскопической пары изображений без смещения.

На фиг.4 изображена последовательность примеров размещений видов для 15 видов 510-550 относительно положения левого изображения 501 и правого изображения 502 стереопары. Входная точка (IV) 503 наблюдения указывает положение входной точки наблюдения относительно предпочтительного положения (РР) 504 центрального вида конуса видимости.

Размещение 510 видов соответствует смещению 0, то есть ситуации, в которой предпочтительное положение 504 совпадает со входным видом 503. Аналогичным образом, размещение 520 видов соответствует смещению -12 (приблизительно 12,5%). Размещение 530 видов, в свою очередь, соответствует смещению -25, размещение 540 видов соответствует смещению -37 (приблизительно 37,5%), а размещение 550 видов соответствует смещению -50, то есть, ситуации, в которой центральный вид совпадает с положением, в котором обычно осуществляется визуализация левого изображения.

Примечательно, что предлагаемое в этом случае задание смещения позволяет выходным устройствам отображения полностью управлять размещением отдельных видов в конусе видимости. Это чрезвычайно целесообразно, поскольку различные мультивидовые стереоскопические устройства отображения могут иметь различные способы назначения видов. На фиг.4, например, изображено равноудаленное (эквидистантное) расположение видов, при котором параллакс между соседними видами остается таким же, однако в соответствии с другим вариантом может оказаться возможным сокращение параллакса между видами по направлению к сторонам конусов видимости, чтобы склонять зрителей к перемещению в направлении центра конуса видимости, где параллакс является наибольшим.

На фиг.5 показана блок-схема способа кодирования сигнала 50 видеоданных для использования с мультивидовым стереоскопическим устройством 100 отображения, причем способ содержит: этап создания 401 первого изображения 10 сцены, видимой из входной точки наблюдения, второй этап создания 402 карты 20 глубин, связанной с первым изображением 10, этап создания 403 данных 30 о предпочтениях, указывающих на предпочтительное положение центрального вида для использования при видовой визуализации, на основе первого изображения и карты глубин, причем предпочтительное положение центрального вида соотносит входную точку наблюдения с базовой линией между опорным левым видом и опорным правым видом, и этап генерирования 404 сигнала 50 видеоданных, содержащего кодированные данные, представляющие первое изображение 10, карту 20 глубин и данные 30 о предпочтениях.

Как указано, факультативно данный способ дополнительно включает в себя объединение визуализированных видов для использования при управлении стереоскопическим мультивидовым дисплеем 100. Дополнительную информацию по объединению видов можно найти в US6801243 B1.

На фиг.6 показана блок-схема для использования при установлении предпочтительного положения центрального вида. Представленный здесь процесс может соблюдаться с целью получения данных (30) о предпочтениях. На этапе enc3_0 определяется набор смещений для визуализации. Далее на этапе enc3_1 выбирается неоцененное смещение, затем на этапе enc3_2 виды визуализируются для первого изображения и соответствующей карты глубин с помощью такой настройки смещений. На этапе enc3_3 визуализированные виды объединяются и отображаются. Далее на этапе enc3_4 визуализируемые виды ранжируются либо посредством ранжирования с помощью человека, либо с помощью метода машинного ранжирования, например, путем определения и оценки показателя для величины снятия заграждения вблизи значительно текстурированных структур.

Далее на этапе Q? оценивается, все ли смещения были проранжированы, и если нет, то процесс продолжается на этапе enc3_6, в противном случае процесс продолжается этапом enc3_5, на котором выбирается смещение с наилучшим рангом, используемое для генерирования данных 30 о предпочтениях.

На фиг.7 показана блок-схема способа декодирования сигнала 50 видеоданных, причем сигнал 50 видеоданных содержит кодированные данные, представляющие: первое изображение 10 сцены, видимой из входной точки наблюдения, карту 20 глубин, связанную с первым изображением 10, данные 30 о предпочтениях, указывающие на предпочтительное положение центрального вида для использования при видовой визуализации на основе первого изображения и карты глубин. Предпочтительное положение центрального вида соотносит входную точку наблюдения с базовой линией между опорным левым видом и опорным правым видом. Способ содержит: этап dec1 получения сигнала 50 видеоданных - это может быть считывание сигнала видеоданных из памяти, памяти на основе жесткого диска, либо получение данных из проводной или беспроводной сети.

Далее на этапе dec2 сигнал видеоданных демультиплексируется, в результате чего извлекаются отдельные компоненты, содержащиеся в сигнале 50 видеоданных, например, путем демультиплексирования формата контейнера поступающего видеопотока и/или путем последовательного демультиплексирования содержащихся в нем элементарных потоков. Примечательно, что такой этап демультиплексирования не всегда может быть необходим и зависит от входного формата декодируемого сигнала видеоданных.

После декодирования применяется этап визуализации dec3, на котором визуализируется множество видов 95 на основе первого изображения 10, карты 20 глубин и данных 30 о предпочтениях таким образом, что визуализируемые виды 95 визуализируются совпадающими с предпочтительным положением центрального вида, кодированным в сигнале 50 видеоданных, или находятся вблизи него.

Специалистам ясно, что глубина приблизительно обратно пропорциональна диспаратности, однако реальное отображение глубины в диспаратность в устройствах отображения обусловлено различными проектными решениями, такими как общая величина диспаратности, которая может генерироваться дисплеем, выбор выделения конкретного значения глубины нулевой диспаратности, величина допустимой сходящейся диспаратности и т.д. Однако данные о глубине, которые обеспечиваются вместе с входными данными, используются для деформации изображений в зависимости от глубины. Поэтому данные о диспаратности в данном случае качественно интерпретируются как данные о глубине.

Понятно, что изобретение также распространяется на компьютерные программы, в частности, компьютерные программы на носителе и в носителе, приспособленные для осуществления изобретения. Программа может быть в виде исходного кода, объектного кода, промежуточного исходного и объектного кода, например, в частично скомпилированном виде, либо в любом ином виде, подходящем для использования при реализации способа в соответствии с изобретением. Понятно также, что такая программа может иметь множество различных архитектурных решений. Например, программный код, реализующий функциональные возможности способа или системы в соответствии с изобретением, может быть разделен на одну или более подпрограмм.

Специалистам понятно множество различных способов распределения функциональных возможностей среди этих подпрограмм. Подпрограммы могут храниться вместе в одном исполнимом файле для формирования независимой программы. Такой исполнимый файл может содержать исполнимые компьютером инструкции, например, инструкции процессора и/или инструкции интерпретатора (например, инструкции Java-интерпретатора). В соответствии с другим вариантом, одна или более подпрограмм, либо все подпрограммы, могут храниться, по меньшей мере, в одном файле внешней библиотеки и быть связаны с главной программой либо статически, либо динамически, например, во время счета. Основная программа содержит по меньшей мере одно обращение, по меньшей мере, к одной из подпрограмм. Кроме того, подпрограммы могут содержать обращения функций друг к другу. Вариант осуществления, относящийся к компьютерному программному продукту, включает в себя исполнимые компьютером инструкции, соответствующие каждому из предыдущих этапов по меньшей мере одного из изложенных способов. Эти инструкции могут разделяться на подпрограммы и/или храниться в одном или более файлов, которые могут быть связаны статически или динамически.

Еще один вариант осуществления, относящийся к компьютерному программному продукту, включает в себя исполнимые компьютером инструкции, соответствующие каждому из средств по меньшей мере одной из изложенных систем и/или продуктов. Эти инструкции могут разделяться на подпрограммы и/или храниться в одном или более файлов, которые могут быть связаны статически или динамически.

Носитель компьютерной программы может представлять собой любую сущность или устройство, способное содержать программу. Например, носитель может содержать носитель данных, такой как постоянное запоминающее устройство (ПЗУ), например, ПЗУ на компакт-дисках (CD ROM) или полупроводниковое ПЗУ, либо магнитный носитель данных, например, гибкий диск или жесткий диск. Кроме того, носитель может представлять собой передающийся носитель, такой как электрический или оптический сигнал, который может передаваться с помощью электрического или оптического кабеля, либо с помощью радиовещания или иных средств. В тех случаях, когда программа содержится в таком сигнале, носитель может быть образован таким кабелем или иным устройством или средством. В соответствии с другим вариантом, носитель может представлять собой интегральную схему, в которой содержится программа, причем интегральная схема приспособлена для осуществления рассматриваемого способа или для использования при его осуществлении.

Необходимо отметить, что вышеупомянутые варианты осуществления скорее иллюстрируют, чем ограничивают изобретение, и что специалисты смогут создать множество альтернативных вариантов осуществления в пределах объема прилагаемой формулы изобретения. В формуле изобретения любые ссылочные позиции в скобках не должны рассматриваться как ограничивающие пункт формулы изобретения. Использование глагола «содержит» и его спряжений не исключает наличия элементов или этапов, отличающихся от заявляемых в пункте формулы изобретения. Неопределенный артикль, предшествующий элементу, не исключает наличия множества таких элементов. Изобретение может быть реализовано с помощью аппаратных средств, содержащих несколько отдельных элементов, и с помощью надлежащим образом запрограммированного компьютера. В пункте формулы изобретения на устройство, перечисляющем несколько средств, некоторые из этих средств могут быть реализованы с помощью одного и того же компонента аппаратных средств. Сам по себе тот факт, что некоторые критерии излагаются в различных зависимых пунктах формулы изобретения, не означает, что совокупность этих критериев не может использоваться с пользой.

Изобретение относится к области кодирования видеоданных для использования с мультивидовым стереоскопическим устройством отображения. Технический результат заключается в эффективной визуализации основанного на изображении и глубине контента. Предложен способ кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения, причем способ содержит: обеспечение первого изображения сцены, видимой из входной точки наблюдения, обеспечение карты глубин, связанной с первым изображением, обеспечение данных о предпочтениях, указывающих на предпочтительное положение центрального вида для использования при видовой визуализации на основе первого изображения и карты глубин, причем предпочтительное положение центрального вида и входной точки наблюдения относится к базовой линии между контрольным левым видом и контрольным правым видом, и генерирование сигнала видеоданных, содержащего кодированные данные, представляющие первое изображение, карту глубин и данные о предпочтениях. 6 н. и 7 з.п. ф-лы, 7 ил., 2 табл.

1. Способ кодирования сигнала (50) видеоданных для использования в мультивидовом стереоскопическом устройстве (100) отображения, которое выполнено с возможностью видовой визуализации множества видов с экрана отображения, причем способ содержит:

- обеспечение (401) первого изображения (10) сцены, видимой из входной точки наблюдения, причем входная точка наблюдения относится к базовой линии между опорным левым видом и опорным правым видом,

- обеспечение (402) карты (20) глубин, связанной с первым изображением (10),

- обеспечение (403) данных (30) о предпочтениях, содержащих указатель, указывающий на предпочтительное положение дополнительного вида для использования при видовой визуализации на основе первого изображения и карты глубин, и

- генерирование (404) сигнала (50) видеоданных, содержащего кодированные данные, представляющие первое изображение (10), карту (20) глубин и данные (30) о предпочтениях для обеспечения устройству возможности визуализации упомянутых видов, отличающийся тем, что

упомянутая визуализация содержит визуализацию видов, совпадающих с упомянутым предпочтительным положением центрального вида или находящихся вблизи него в конусе видимости, центрированном на центральном виде в центральном положении конуса видимости, причем центральный вид направлен под углом перпендикулярно экрану отображения, и

способ содержит, для обеспечения упомянутого указателя, обеспечение указателя, указывающего предпочтительное положение центрального вида, которое относится к базовой линии.

2. Способ кодирования по п. 1, причем данные (30) о предпочтениях содержат данные о предпочтениях в зависимости от отношения входной точки наблюдения к базовой линии, содержащие - для видеосигнала, имеющего лишь одиночный вид, составляющий входную точку наблюдения, где опорный левый вид и опорный правый вид представляют заданное положение левого вида и заданное положение правого вида относительно этого одиночного вида;

- значение смещения центра одиночного вида, обеспечиваемое в качестве упомянутого указателя, указывающего предпочтительное положение относительно одиночного вида.

3. Способ кодирования по п. 2, причем данные (30) о предпочтениях содержат флаг смещения центра одиночного вида, который устанавливается в тех случаях, когда обеспечивается значение смещения центра одиночного вида.

4. Способ кодирования по п. 1, в котором данные (30) о предпочтениях содержат данные о предпочтениях в зависимости от отношения входной точки наблюдения к базовой линии, содержащие - для видеосигнала, имеющего левый вид и правый вид, составляющие опорный левый вид и опорный правый вид

- значение смещения центра обработки одиночного вида, обеспечиваемое в качестве упомянутого указателя, указывающего предпочтительное положение относительно центрального положения между левым и правым видами.

5. Способ кодирования по п. 4, в котором данные (30) о предпочтениях содержат по меньшей мере одно из:

- флага смещения центра обработки одиночного вида, устанавливаемого, когда обеспечивается значение смещения центра обработки одиночного вида;

- флага предпочтительного одиночного вида, устанавливаемого , когда обработка одиночного вида является предпочтительной;

- указателя предпочтительного вида, указывающего, что левый вид является предпочтительным видом для обработки одиночного вида, либо что правый вид является предпочтительным видом для обработки одиночного вида.

6. Способ кодирования по любому из пп.1-5, в котором данные (30) о предпочтениях указывают предпочтительное положение центрального вида относительно базовой линии с точностью 1/100-я базовой линии между опорным левым видом и опорным правым видом.

7. Способ кодирования по любому из пп.1-5, в котором предпочтительное положение центрального вида определяется на основе оценки воспринимаемого качества изображения после визуализации контента для множества различных положений центрального вида для эталонного дисплея и/или в котором данные (30) о предпочтениях устанавливаются для одного из следующего: на кадр; на группу кадров; на сцену.

8. Способ декодирования сигнала (50) видеоданных для использования в мультивидовом стереоскопическом устройстве (100) отображения, которое выполнено с возможностью видовой визуализации множества видов с экрана отображения, причем сигнал (50) видеоданных содержит кодированные данные, представляющие:

- первое изображение (10) сцены, видимой из входной точки наблюдения, причем входная точка наблюдения относится к базовой линии между опорным левым видом и опорным правым видом,

- карту (20) глубин, связанную с первым изображением (10),

- данные (30) о предпочтениях, содержащие указатель, указывающий на предпочтительное положение дополнительного вида для использования при видовой визуализации на основе первого изображения и карты глубин,

причем способ содержит:

получение сигнала (50) видеоданных,

визуализацию множества видов (95) с экрана отображения на основе первого изображения (10) и карты (20) глубин и данных (30) о предпочтениях, отличающийся тем, что

упомянутое получение сигнала (50) видеоданных содержит получение предпочтительного положения центрального вида, кодированного в сигнале (50) видеоданных, и

упомянутая визуализация содержит визуализацию видов, совпадающих с предпочтительным положением центрального вида или находящихся вблизи него в конусе видимости, центрированном на центральном виде в центральном положении конуса видимости, причем центральный вид направлен под углом перпендикулярно экрану отображения.

9. Кодер для кодирования сигнала (50) видеоданных для использования в мультивидовом стереоскопическом устройстве (100) отображения, которое выполнено с возможностью видовой визуализации множества видов с экрана отображения,

причем кодирование содержит:

- первый блок (15) получения для обеспечения первого изображения (10) сцены, видимой из входной точки наблюдения, причем входная точка наблюдения относится к базовой линии между опорным левым видом и опорным правым видом,

- второй блок (25) получения для обеспечения карты (20) глубин, связанной с первым изображением (10),

- третий блок (35) получения для обеспечения данных (30) о предпочтениях, содержащих указатель, указывающий на предпочтительное положение дополнительного вида для использования при видовой визуализации на основе первого изображения и карты глубин, и

- генератор (60), выполненный с возможностью генерирования сигнала (50) видеоданных, содержащего кодированные данные, представляющие первое изображение (10), карту (20) глубин и данные (30) о предпочтениях для обеспечения устройству возможности визуализации видов, отличающийся тем, что

упомянутая визуализация содержит визуализацию видов, совпадающих с предпочтительным положением центрального вида или находящихся вблизи него в конусе видимости, центрированном на центральном виде в центральном положении конуса видимости, причем центральный вид направлен под углом перпендикулярно экрану отображения, и

третий блок получения, для обеспечения упомянутого указателя, выполнен с возможностью обеспечения указателя, указывающего предпочтительное положение центрального вида, причем этом предпочтительное положение относится к упомянутой базовой линии.

10. Декодер для декодирования сигнала (50) видеоданных для использования в мультивидовом стереоскопическом устройстве (100) отображения, которое выполнено с возможностью видовой визуализации множества видов с экрана отображения, причем сигнал (50) видеоданных содержит кодированные данные, представляющие:

- первое изображение (10) сцены, видимой из входной точки наблюдения, причем входная точка наблюдения относится к базовой линии между опорным левым видом и опорным правым видом,

- карту (20) глубин, связанную с первым изображением (10),

- данные (30) о предпочтениях, содержащие указатель, указывающий на предпочтительное положение дополнительного вида для использования при видовой визуализации на основе первого изображения и карты глубин,

причем декодер содержит:

- демультиплексор (80) для демультиплексирования данных первого изображения (10), карты (20) глубин и данных (30) о предпочтениях, и

- средство (90) визуализации видов, выполненное с возможностью визуализации упомянутого множества видов на основе первого изображения (10) и карты (20) глубин и данных (30) о предпочтениях, отличающийся тем, что

упомянутое демультиплексирование сигнала (50) видеоданных содержит получение предпочтительного положения центрального вида, кодированного в сигнале (50) видеоданных, и

упомянутая визуализация содержит визуализацию видов, совпадающих с предпочтительным положением центрального вида или находящихся вблизи него в конусе видимости, центрированном на центральном виде в центральном положении конуса видимости, причем центральный вид направлен под углом перпендикулярно экрану отображения.

11. Декодер по п.10, причем декодер дополнительно выполнен с возможностью визуализации равноудаленных друг от друга видов.

12. Носитель данных, хранящий компьютерную программу, содержащую инструкции для побуждения процессорной системы к выполнению способа по любому из пп.1-7.

13. Носитель данных, хранящий компьютерную программу, содержащую инструкции для побуждения процессорной системы к выполнению способа по п.8.