ДАННЫЕ СИГНАЛИЗАЦИИ ГЛУБИНЫ Российский патент 2017 года по МПК G06T15/00 H04N13/02 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к 3D-устройству-источнику для обеспечения трехмерного (3D) видеосигнала для передачи к 3D-устройству-адресату. 3D-видеосигнал содержит первую видеоинформацию, представляющую левый вид на 3D-дисплее, и вторую видеоинформацию, представляющую правый вид на 3D-дисплее. 3D-устройство-адресат содержит приемник для приема 3D-видеосигнала и процессор глубины адресата для обеспечения карты глубины адресата для обеспечения возможности деформирования видов для 3D-дисплея. 3D-устройство-источник содержит блок вывода для формирования 3D-видеосигнала и для передачи 3D-видеосигнала 3D-устройству-адресату.

Изобретение дополнительно относится к способу обеспечения 3D-видеосигнала для передачи 3D-устройству-адресату.

Изобретение относится к области формирования и передачи 3D-видеосигнала на устройстве-источнике, например широковещательной станции, сервере веб-сайта в интернет, системе разработки, производителе дисков Blu-ray, к 3D-устройству-адресату, например, проигрывателю дисков Blu-ray, 3D-телевизору, 3D-дисплею, мобильному вычислительному устройству и т.д., которому требуется карта глубины для визуализации множества видов.

УРОВЕНЬ ТЕХНИКИ

Документ “Real-time free-viewpoint viewer from multiview video plus depth representation coded by H.264/AVC MVC extension” за авторством Shinya Shimizu, Hideaki Kimata и Yoshimitsu Ohtai, NTT Cyber Space Laboratories, NTT Corporation, 3DTV-CON, IEEE 2009 описывает технологии 3D-видео в дополнение к кодированным по MPEG видеосигналам передачи, в частности, расширения кодирования многоракурсных видов (MVC) для включения в видеоформат карт глубины. Расширения MVC для включения в видеокодирование карт глубины допускают создание битовых потоков, которые представляют собой множество видов со связанными дополнительными видами, т.е. видами карт глубины. В соответствии с документом карты глубины могут добавляться к потоку 3D-видеоданных, имеющему первую видеоинформацию, представляющую левый вид на 3D-дисплее, и вторую видеоинформацию, представляющую правый вид на 3D-дисплее. Карта глубины на стороне декодера обеспечивает возможность формирования дополнительных видов, являющихся дополнительными к левому и правому виду, например, для авто-стереоскопического дисплея.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Видеоматериал может быть обеспечен картами глубины. Также существует большое количество существующего 3D-видеоматериала, который не имеет данных по картам глубины. Для такого материала устройство-адресат может иметь конвертор из стерео в глубину для формирования сформированной карты глубины на основании первой и второй видеоинформации.

Задача изобретения состоит в создании системы для обеспечения информации о глубине и передачи информации о глубине, которая является более гибкой для повышения качества визуализации 3D видео.

Для этого в соответствии с первым аспектом изобретения устройство-источник, описанное во вступлении, содержит процессор глубины источника для обеспечения данных сигнализации глубины, причем данные сигнализации глубины представляют собой условие обработки для адаптирования к 3D-дисплею карты глубины адресата или деформирования видов, и блок вывода выполнен с возможностью включения в 3D-видеосигнал данных сигнализации глубины.

Способ содержит формирование 3D-видеосигнала, обеспечение данных сигнализации глубины, причем данные сигнализации глубины представляют собой условие обработки для адаптирования к 3D-отображению карты глубины адресата или деформирования видов, и включение в 3D-видеосигнал данных сигнализации глубины.

3D-видеосигнал содержит данные сигнализации глубины, причем данные сигнализации глубины представляют собой условие обработки для адаптации к 3D-отображению карты глубины адресата или деформирования видов.

В устройстве-адресате приемник выполнен с возможностью извлечения данных сигнализации глубины из 3D-видеосигнала. Процессор глубины источника выполнен с возможностью адаптирования к 3D-отображению карты глубины адресата или деформирования видов в зависимости от данных сигнализации глубины.

Эти меры приводят к тому, что устройству-адресату обеспечивается возможность адаптировать карту глубины адресата или деформирование видов к 3D-отображению, используя данные сигнализации глубины в 3D-видеосигнале. Следовательно, когда и где это является доступным, применяются данные сигнализации глубины для того, чтобы улучшить карту глубины адресата или деформирование. Эффективным образом устройство-адресат обеспечивается дополнительными данными сигнализации глубины под управлением источника, например, параметрами обработки или инструкциями, причем данные обеспечивают возможность источнику управлять и улучшать деформирование видов в 3D-дисплее на основании карты глубины адресата.

Предпочтительно данные сигнализации глубины формируются на источнике, где доступны обрабатывающие ресурсы и возможно формирование в автономном режиме. Требования по обработке на стороне адресата снижаются, и 3D-эффект улучшается, потому что карта глубины и деформирование видов оптимизируются для соответствующего дисплея.

Изобретение также основано на следующем утверждении. Авторы изобретения заметили, что обработка или формирование карты глубины на стороне адресата, и последующее деформирование вида, обычно обеспечивает очень приемлемый результат. Однако, принимая во внимание функциональные возможности 3D-дисплея, такие как резкость изображения на различных глубинах, в какие-то моменты времени или каких-то положениях фактический видеоконтент может лучшим образом представляться зрителю при помощи воздействия на глубины, например, при помощи применения смещения к карте глубины адресата. Необходимость, объем и/или параметры для такого воздействия на конкретный 3D-дисплей могут предусматриваться на источнике, и добавление упомянутых данных сигнализации глубины в качестве условия обработки обеспечивает возможность для улучшения карты глубины или деформирования видов на стороне адресата, в то время как объем данных сигнализации глубины, которые должны передаваться, является ограниченным.

При необходимости в 3D-устройстве-источнике процессор глубины источника выполнен с возможностью обеспечения данных сигнализации глубины, включающих в себя по меньшей мере одно из смещения; усиления; типа масштабирования; типа границ, в качестве условия обработки. Смещение, при применении к карте глубины адресата, эффективным образом перемещает объекты назад или вперед по отношению к плоскости дисплея. Преимущественным образом сигнализация смещения обеспечивает возможность стороне источника перемещать важные объекты на положение около плоскости 3D-дисплея. Усиление, при применении к карте глубины адресата, эффективным образом перемещает объекты от или к плоскости 3D-дисплея. Преимущественным образом сигнализация усиления обеспечивает возможность стороне источника управлять перемещением важных объектов по отношению к плоскости 3D-дисплея, т.е. размером глубины на картинке. Тип масштабирования обозначает то, каким образом значения в карте глубины должны переводиться в фактические значения, которые должны использоваться при деформировании видов, например, билинейное масштабирование, бикубическое масштабирование, или каким образом адаптировать конус просмотра. Тип границ в информации о глубине обозначает свойство объектов в 3D-видео, например, резкие границы, например, из глубины, извлеченной из контента, сформированного компьютером, плавные границы, например, из естественных источников, размытые границы, например, из обработанного видеоматериала, и т.д. Преимущественным образом, свойства 3D-видео могут использоваться при обработке данных глубины адресата для деформирования видов.

При необходимости процессор глубины источника выполнен с возможностью обеспечения данных сигнализации глубины за период времени в зависимости от кадра в 3D-видеосигнале. Эффективным образом данные сигнализации глубины применяются к периоду 3D-видеосигнала, который имеет ту же самую 3D-конфигурацию, например конкретную конфигурацию камеры и масштабирования. Обычно конфигурация в значительной степени является постоянной в течение кадра видеопрограммы. Границы кадра могут быть известными или могут запросто обнаруживаться на стороне источника, и набор данных сигнализации глубины преимущественным образом собирается за период времени, соответствующий кадру.

При необходимости процессор глубины источника выполнен с возможностью обеспечения данных сигнализации глубины, включающих в себя данные области по интересующей области в качестве условия обработки для того, чтобы обеспечить возможность осуществить отображение интересующей области в предпочтительном пределе глубины 3D-дисплея. Эффективным образом интересующая область составляется из элементов или объектов в 3D-видеоматериале, которые, как предполагается, привлекут внимание зрителя. Интересующая область может быть известной или может запросто обнаруживаться на стороне источника, и набор данных сигнализации глубины преимущественно собирается для обозначения положения, зоны или предела глубины, соответствующих интересующей области, что обеспечивает возможность того, чтобы деформирование видов являлось адаптированным к тому, чтобы отображать интересующую область близко к оптимальному пределу глубины 3D-дисплея (например, близко к плоскости дисплея).

При необходимости процессор глубины источника может быть дополнительно выполнен с возможностью обновления данных области в зависимости от изменения интересующей области, превышающей пороговое значение, такого как значительное изменение глубины положения лица. Помимо всего прочего, процессор глубины источника может быть дополнительно выполнен с возможностью обеспечения, в качестве данных области, данных глубины для области, указывающих предел глубины интересующей области. Данные глубины для области позволяют устройству-адресату деформировать виды во время перемещения объекта в таком пределе глубины до предпочтительного предела глубины устройства 3D-отображения. Процессор глубины источника может быть дополнительно выполнен с возможностью обеспечения, в качестве данных по области, данных по зоне области, обозначающих зону интересующей области, которая совмещена по меньшей мере с одним макроблоком в 3D-видеосигнале, причем макроблок представляет собой заданный блок сжатых видеоданных. Такие данные по зоне области будут эффективным образом кодироваться и обрабатываться.

При необходимости 3D-видеосигнал содержит данные глубины. Процессор глубины источника может быть дополнительно выполнен с возможностью обеспечения данных сигнализации глубины, включающих в себя тип данных глубины в качестве условия обработки, которое должно применяться к карте глубины адресата для регулировки деформирования видов. Тип данных глубины может включать в себя по меньшей мере одно из:

- индикатора фокуса, обозначающего данные глубины, сформированные на основании данных фокуса;

- индикатора перспективы, обозначающего данные глубины, сформированные на основании данных перспективы;

- индикатора перемещения, обозначающего данные глубины, сформированные на основании данных перемещения;

- индикатора источника, обозначающего данные глубины, исходящие от конкретного источника;

- индикатора алгоритма, обозначающего данные глубины, обработанные по конкретному алгоритму;

- индикатора расширения, обозначающего величину расширения, используемого на границах объектов в данных глубины. Соответствующие индикаторы обеспечивают возможность процессору глубины на стороне адресата соответствующим образом интерпретировать и обрабатывать данные глубины, включенные в 3D-видеосигнал.

Другие предпочтительные варианты осуществления устройств и способов в соответствии с изобретением приводятся в прилагаемой формуле изобретения, раскрытие которой включено в настоящее описание путем ссылки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения станут очевидными и дополнительно разъясненными со ссылкой на варианты осуществления, описанные в качестве примера в следующем описании и со ссылкой на сопровождающие чертежи, на которых

На Фиг. 1 показана система для обработки 3D-видеоданных и отображения 3D-видеоданных,

На Фиг. 2 показан 3D-декодер, использующий данные сигнализации глубины,

На Фиг. 3 показан 3D-кодер, обеспечивающий данные сигнализации глубины,

На Фиг. 4 показано устройство авто-стерео отображения и деформирование множества видов,

На Фиг. 5 показано устройство двойного стерео отображения и деформирование улучшенных видов,

На Фиг. 6 показаны данные сигнализации глубины в 3D-видеосигнале,

На Фиг. 7 показаны данные сигнализации глубины для интересующей области в 3D-видеосигнале,

На Фиг. 8 показаны данные сигнализации глубины для множества 3D-дисплеев, и

На Фиг. 9 показано масштабирование для адаптирования конуса просмотра.

Чертежи являются чисто схематичными и выполненными не в масштабе. На чертежах элементы, которые соответствуют уже описанным элементам, могут иметь одни и те же ссылочные обозначения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Существует множество различных способов, которыми 3D-видеосигнал может форматироваться и передаваться, в соответствии с так называемым 3D-видео форматом. Некоторые форматы основаны на использовании 2D-канала для того, чтобы также переносить стерео информацию. В 3D-видеосигнале изображение представляется при помощи значений изображения в двухмерной матрице пикселов. Например, левый и правый виды могут перемежаться или размещаться бок о бок или сверху-вниз (над или под друг другом) в кадре. Также может передаваться карта глубины, и возможно, дополнительные 3D-данные, такие как данные затемнения или прозрачности. Карта диспарантности в этом тексте также считается типом карты глубины. Карта глубины имеет значения глубины также в двухмерной матрице, соответствующей изображению, хотя карта глубины может иметь другое разрешение. 3D-видеоданные могут сжиматься в соответствии с известными способами сжатия, такими как, например, MPEG. Любая 3D-видеосистема, такая как интернет или Blu-ray Disc (BD), может выигрывать от предложенных улучшений.

3D-дисплей может представлять собой относительно маленький блок (например, мобильный телефон), большой стерео дисплей (STD), требующий стереоскопические очки, любой стереоскопический дисплей (STD), усовершенствованный STD, учитывающий переменную базовую линию, активный STD с целевыми видами L и R для глаз зрителя на основании слежения за поворотом головы, или авто-стереоскопический многовидовой дисплей (ASD) и т.д.

Как правило, все компоненты, необходимые для управления различными типами 3D-дисплеев, передаются, что обычно влечет за собой сжатие и передачу более одного вида (сигнала камеры) и его соответствующих глубин, например, как это обсуждается в «Call for Proposals on 3D Video Coding Technology» - документе N12036 по MPEG, март 2011 г., Женева, Швейцария. Авто-конверсия в декодере (глубина, автоматически извлеченная из стерео) сама по себе является известной, например, из “Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI”, документа N22668 по MPEG, ноябрь 2011 г., Женева, Швейцария. Виды необходимо деформировать для упомянутых различных типов дисплеев, например, для ASD и усовершенствованного STD для переменной базовой линии, на основании данных глубины в 3D-сигнале. Однако качество видов, деформированных на основании различных типов данных глубины, является ограниченным.

На Фиг. 1 показана система для обработки 3D-видеоданных и отображения 3D-видеоданных. Первое 3D-видеоустройство, называемое 3D-устройством-источником 40, обеспечивает и передает 3D-видеосигнал 41 дополнительному устройству обработки 3D-изображения, называемому 3D-устройством-адресатом50, которое объединено с устройством 60 3D-отображения для передачи сигнала 56 3D-отображения. Видеосигнал может, например, представлять собой телевизионный широковещательный 3D-сигнал, такой как стандартная стерео передача с использованием совместимого с ½ HD кадром, многовидового закодированного (MVC) или совместимого кадра полного разрешения (например, FCRF как предложено со стороны Dolby Laboratories, Inc.). Выстраивая уровень на основании совместимости по кадрам, Dolby создал усовершенствованный уровень для того, чтобы восстанавливать 3D-изображения полного разрешения. Этот технический прием был предложен для MPEG для стандартизации, и требует только ~10% увеличения в битовой скорости. Традиционный 3D-видеосигнал улучшается при помощи данных сигнализации глубины, как это разъясняется ниже.

На Фиг. 1 дополнительно показан носитель 54 записи в качестве носителя 3D-видеосигнала. Носитель записи имеет форму диска и имеет дорожку и центральное отверстие. Дорожка, составленная при помощи схемы физически-обнаруживаемых меток, расположена в соответствии со спиральной или концентрической схемой поворотов, составляющей практически параллельные дорожки на одном или более информационных слоях. Носитель записи может являться оптически-читаемым, называемым оптическим диском, например, DVD или BD (Blue-ray Disc). Информация реализуется на информационном слое при помощи оптически-обнаруживаемых меток вдоль дорожки, например, микроскопических углублений и плоских участков. Структура дорожки также содержит позиционную информацию, например, заголовки и адреса, для определения положения информационных единиц, обычно называемых информационными блоками. Носитель 54 записи несет информацию, представляющую собой закодированные цифровым образом данные 3D-изображения, такие как видео, например, закодированные в соответствии с системой кодирования MPEG2 или MPEG4, в заданном записывающем формате, таком как формат DVD или BD.

3D-устройство-источник имеет процессор 42 источника глубины для обработки 3D-видеоданных, принятых посредством блока 47 ввода. Входные 3D-видеоданные 43 могут быть доступными из системы хранения, записывающей студии, из 3D-камер и т.д. Система источника может обрабатывать карту глубины, обеспеченную для данных 3D-изображения, причем карта глубины может или изначально присутствовать на входе системы, или может автоматическим образом формироваться при помощи системы обработки высоко качества, как описывалось выше, например, из левых/правых кадров в стерео (L+R) видеосигнале или из 2D-видео, и, возможно, дополнительно обрабатываться или регулироваться для того, чтобы обеспечить карту глубины источника, которая точным образом представляет значения глубины, соответствующие сопровождающим данным 2D-изображения или левым/правым кадрам.

Процессор 42 источника глубины формирует 3D-видеосигнал 41, содержащий 3D-видеоданные. 3D-видеосигнал имеет первую видеоинформацию, представляющую левый вид на 3D-дисплее, и вторую видеоинформацию, представляющую правый вид на 3D-дисплее. Устройство-источник может быть выполнен с возможностью передачи 3D-видеосигнала от видео процессора посредством блока 46 вывода и к дополнительному 3D-видеоустройству, или для обеспечения 3D-видеосигнала для распространения, например, через посредство носителя записи. 3D-видеосигнал основан на обработке входных 3D-видеоданных 43, например, при помощи кодирования и форматирования 3D-видеоданных в соответствии с заданным форматом.

3D-устройство-источник может иметь конвертор 48 стерео-в-глубину источника для формирования сформированной карты глубины на основании первой и второй видеоинформации. Конвертор стерео-в-глубину для формирования карты глубины в процессе функционирования принимает стерео 3D-сигнал, также называемый левый-правый видеосигнал, имеющий временную последовательность левых кадров L и правых кадров R, представляющих собой левый вид и правый вид, которые должны отображаться для соответствующих глаз зрителя для формирования 3D-эффекта. Блок вырабатывает сформированную карту глубины при помощи расчета диспарантности левого вида и правого вида, и может дополнительно обеспечить 2d-изображение на основании левого вида и/или правого вида. Расчет диспарантности может быть основан на алгоритмах расчета перемещения, используемых для сравнения кадров L и R, или свойствах перспективы, извлеченных из данных изображения, и т.д. Большие разницы между L и R видами объекта преобразуются в значения глубины спереди или сзади экрана дисплея в зависимости от направления разницы. Выходными данными блока формирования является сформированная карта глубины.

Сформированная карта глубины, и/или карта глубины источника высокого качества может использоваться для того, чтобы определить данные сигнализации глубины, требуемые на стороне адресата. Процессор 42 источника глубины выполнен с возможностью обеспечения данных сигнализации глубины, как было описано выше.

Данные сигнализации глубины могут формироваться там, где обнаружены ошибки глубины, например, когда разница между картой глубины источника и сформированной картой глубины превышает заданное пороговое значение. Например, заданная разница глубины может составлять упомянутое пороговое значение. Пороговое значение также может быть зависимым от дополнительных свойств изображения, которые воздействуют на видимость ошибок глубины, например, локальной яркости или контрастности изображения или текстуры. Пороговое значение также может определяться при помощи определения уровня качества сформированной карты глубины так, как описывается ниже. Сформированная карта глубины используется для того, чтобы деформировать вид, имеющий ориентацию, соответствующую заданному другому виду. Например, вид R основан на данных изначального изображения L и сформированной карте глубины. Как следствие, разница вычисляется между видом R’ и исходным видом R, например, при помощи хорошо известной функции PSNR (пиковое отношение сигнал-шум). PSNR представляет собой отношение между максимально возможной мощностью сигнала и мощностью вредоносного шума, который воздействует на правильность его представления. Поскольку многие сигналы имеют очень широкий динамический диапазон, PSNR обычно выражается в терминах логарифмической шкалы в децибелах. PSNR может использоваться теперь в качестве показателя качества сформированной карты глубины. В этом случае сигнал представляет собой изначальные данные R, и шум представляет собой ошибку, представленную при помощи деформирования R на основании сформированной карты глубины. Кроме того, пороговое значение также может оцениваться на основании дополнительного критерия контрастности, или при помощи редакторской разработки или пересмотра результатов на основании сформированной карты глубины, и регулирования того, какие секции и/или периоды 3D-видео должны дорабатываться при помощи данных сигнализации глубины.

Данные сигнализации глубины представляют собой условия обработки глубины для регулирования деформирования видов на стороне адресата. Деформирование может регулироваться, чтобы соответствовать 3D-видеоконтенту, который переносится 3D-видеосигналом к конкретному 3D-дисплею, т.е. для того, чтобы оптимальным образом использовать свойства 3D-дисплея для того, чтобы обеспечивать 3D-эффект для зрителя в зависимости от конкретного 3D-видеоконтента и возможностей 3D-видеодисплея. Например, 3D-дисплей может иметь ограниченный предел глубины вокруг экрана дисплея, где резкость отображаемого изображения является высокой, в свою очередь изображение на положении глубины в передней части экрана или далеко за пределами экрана является менее резким.

Данные сигнализации глубины могут включать в себя различные параметры, например, один или более из: смещение; усиление; тип масштабирования; тип границ, в качестве условия обработки, которое должно применяться к карте глубины адресата для регулирования деформирования видов. Смещение, при применении к карте глубины адресата, эффективным образом перемещает объекты назад или вперед по отношению к плоскости дисплея. Сигнализация смещения обеспечивает возможность стороне источника перемещать важные объекты на положение рядом с плоскостью 3D-дисплея. Усиление, при применении к карте глубины адресата, эффективным образом перемещает объекты от и к плоскости 3D-дисплея. Например, карта глубины источника может определяться имеющей нулевое значение для глубины на плоскости дисплея, и усиление может применяться в виде умножения значений. Сигнализация усиления обеспечивает возможность стороне источника управлять перемещением важных объектов по отношению к плоскости 3D-дисплея. Усиление определяет разницу между ближайшим и наиболее далеким элементом при отображении 3D-изображения.

Тип масштабирования определяет то, каким образом значения в карте глубины должны переводиться в конкретные значения, которые должны использоваться при деформировании видов, например, би-линейное масштабирование, би-кубическое масштабирование, или заданный тип нелинейного масштабирования. Дополнительный тип масштабирования относится к масштабированию формы конуса просмотра, который описывается ниже со ссылкой на Фиг. 9.

Тип границ в информации глубины может обозначать свойства объектов в 3D-видео: резкие границы, например, из контента, сформированного компьютером, плавные границы, например, из естественных источников, размытые границы, например, из обработанного видеоматериала, и т.д. Свойства 3D-видео могут использоваться при обработке данных глубины источника для деформирования видов.

Блок 46 вывода выполнен с возможностью включения в 3D-видеосигнал данных сигнализации глубины. Блок процессора, имеющий функции процессора 42 глубины, возможного конвертора 48 стерео-в-глубину и блока 46 вывода, может называться 3D-кодером.

3D-источник может представлять собой сервер, широковещательное устройство, записывающее устройство или систему разработки и/или производства для изготовления оптических носителей записи, таких как Blue-ray Disc. Blu-ray Disc обеспечивает интерактивную платформу для распространения видео для создателей контентов. Информация на формате Blue-ray Disc является доступной с вэбсайтов ассоциации Blue-ray Disc в документах по формату аудио-видео приложений, например, http://www.blue-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication-0305-12955-15269.pdf. Процесс производства оптического носителя записи дополнительно содержит этапы обеспечения физической схемы меток на дорожках, причем схема реализует 3D-видеосигнал, который включает в себя данные сигнализации глубины, и вслед за этим формирование материала носителя записи в соответствии со схемой для того, чтобы обеспечить дорожки меток по меньшей мере на одном слое хранения.

3D-устройство-адресат 50 имеет приемник для приема 3D-видеосигнала 41, причем приемник имеет один или более блоков согласования сигналов и блок 51 ввода для анализа входящего видеосигнала. Например, приемник может включать в себя блок 58 оптического диска, связанный с блоком ввода для считывания 3D-видео информации с оптического носителя 54 записи, подобного DVD или диска Blue-ray. Альтернативно (или дополнительно) приемник может включать в себя блок 59 сетевого интерфейса для присоединения к сети 45, например, интернет или широковещательной сети, причем такое устройство представляет собой абонентскую приставку или мобильное вычислительное устройство, такое как мобильный телефон или планшетный компьютер. 3D-видеосигнал может считываться с удаленного вэб-сайта или медиа-сервера, например, 3D-устройства-источника 40. Устройство обработки 3D-изображения может представлять собой конвертор, который преобразует входной сигнал изображения в выходной сигнал изображения, имеющий требуемую информацию о глубине. Подобный конвертор может использоваться для преобразования различных входных 3D-видеосигналов для конкретного типа 3D-дисплея, например стандартного 3D-контента в видеосигнал, подходящий для авто-стереоскопических дисплеев конкретного типа или производителя. Практически устройство может представлять собой усилитель или приемник с 3D-возможностями, 3D-проигрыватель оптических дисков, или спутниковый приемник или абонентскую приставку, или любой тип медиа-проигрывателя.

3D-устройство-адресат имеет процессор 52 глубины, связанный с блоком 51 ввода для обработки 3D-информации для формирования сигнала 56 3D-дисплея, который должен передаваться посредством блока 55 интерфейса вывода устройству отображения, например сигнал отображения в соответствии со стандартом HDMI, см. “High Definition Multimedia Interface; Specification Version 1.4a of March 2, 2010”, 3D часть которого является доступной на http://hdmi.org/manufacturer/specification.aspx для общедоступного скачивания.

3D-устройство-адресат может иметь конвертор 53 стерео-в-глубину для формирования сформированной карты глубины адресата на основании первой и второй видеоинформации. Функционирование конвертора стерео-в-глубину является аналогичным конвертору стерео-в-глубину в устройстве-источнике, описанному выше. Блок, имеющий функции процессора 52 глубины адресата, конвертора 53 стерео-в-глубину и блока 51 ввода, может называться 3D-декодером.

Процессор 52 глубины адресата выполнен с возможностью формирования данных изображения, включенного в сигнал 56 3D-дисплея для отображения на устройстве 60 отображения. Процессор глубины выполнен с возможностью обеспечения карты глубины адресата для обеспечения возможности деформирования видов для 3D-дисплея. Блок 51 ввода выполнен с возможностью считывания данных сигнализации глубины из 3D-видеосигнала, причем данные сигнализации глубины основаны на информации о глубине источника, относящейся к видеоинформации, и представляют собой условия для обработки глубины для регулирования деформирования видов. Процессор глубины адресата выполнен с возможностью адаптирования карты глубины адресата для деформирования видов в зависимости от данных сигнализации глубины, считанных из 3D-видеосигнала. Осуществление обработки данных сигнализации глубины дополнительно разъясняются ниже.

Устройство 60 3D-отображения для отображения данных 3D-изображений. Устройство имеет блок 61 интерфейса ввода для приема сигнала 56 3D-дисплея, включающего в себя 3D-видеоданные и карту глубины источника, переданные от 3D-устройства-адресата 50. Устройство имеет процессор 62 видов для формирования множества видов 3D-видеоданных на основании первой и второй видеоинформации в зависимости от карты глубины адресата, и 3D-дисплей 63 для отображения множества видов 3D-видеоданных. Переданные 3D-видеоданные обрабатываются в блоке 62 обработки для деформирования видов для отображения на 3D-дисплее 63, например, многовидовом LCD. Устройство 60 отображения может представлять собой любой тип стереоскопического дисплея, также называемого 3D-дисплеем.

Видеопроцессор 62 в устройстве 60 для 3D-отображения выполнен с возможностью обработки 3D-видеоданных для формирования управляющих сигналов дисплея для визуализации одного или более новых видов. Виды формируются из данных 3D-изображения с использованием 2D-видов в известном положении и карты глубины адресата. Процесс формирования видов для различных положений глаз для 3D-отображения на основании использования видов в известном положении и карты глубины обычно называется деформированием видов. Альтернативным образом, видеопроцессор 52 в устройстве 3D-проигрывателя может быть выполнен с возможностью выполнять упомянутую обработку карты глубины. Множество видов, сформированных для конкретного 3D-дисплея, могут передаваться при помощи сигнала 3D-изображения через посредство специализированного интерфейса к 3D-дисплею.

В дополнительном варианте осуществления устройство-адресат и устройство отображения объединены в одно устройство. Функции процессора 52 глубины и блока 62 обработки и оставшиеся функции блока 55 вывода и блока 61 ввода, могут выполняться одним блоком видеопроцессора.

Следует отметить, что принцип данных сигнализации глубины может применяться на каждом этапе передачи 3D-видео, например, между студией или автором и широковещательным устройством, который в дальнейшем кодирует улучшенные теперь карты глубины для передачи потребителю. Также система данных сигнализации глубины может выполняться на последовательных передачах, например, дополнительная усовершенствованная версия может создаваться на изначальной версии при помощи включения вторых данных сигнализации глубины на основании дополнительной усовершенствованной карты глубины источника. Это придает большую гибкость в терминах достижимого качества на 3D-дисплеях, битовых скоростей, необходимых для передачи информации о глубине, или стоимостей для создания 3D-контента.

На Фиг. 2 показан 3D-декодер, использующий данные сигнализации глубины. 3D-декодер 20 показан схематически с наличием входа для 3D-видеосигнала, помеченным BS3 (основной 3D-сигнал). Входной демультиплексор 21 (DEMUX) разбивает входящие данные на битовые потоки для левого и правого видов (LR-bitstr) и данных (DS-bitstr). Первый декодер (DEC) декодирует левый и правый виды в выходные данные L и R, которые также связываются с конвертором (CE-S2D) стерео-в-глубину потребительского типа, который формирует первую левую карту LD1 глубины и первую правую карту RD1 глубины. Альтернативным образом, формируется только одна первая карта глубины, или карта глубины является непосредственным образом доступной во входящем сигнале. Второй декодер 23 декодирует DS-bitstr и обеспечивает один или более управляющих сигналов 26, 27 глубины. Управляющие сигналы глубины связываются с процессором 25 карты глубины, который формирует карту глубины адресата, например, на основании флажка, обозначающего присутствие данных сигнализации глубины. В примере левая карта LD3 глубины адресата и правая карта RD3 глубины адресата обеспечиваются при помощи использования данных сигнализации глубины для того, чтобы модифицировать изначальную карту LD1, RD1 глубины. Окончательные выходные данные по карте глубины адресата от 3D-декодера (LD3/RD3) затем передаются блоку по деформированию видов, как это обсуждалось по Фиг. 4 или 5, в зависимости от типа дисплея.

3D-декодер может быть частью абонентской приставки (STB) на стороне клиента, которая получает битовый поток в соответствии с системой (BS3) данных сигнализации глубины, которая де-мультиплексируется на 2 потока: один видео поток имеет L и R виды, и один поток глубины имеет данные сигнализации глубины (DS), которые затем оба отправляются соответствующим декодерам (например, MVC/H.264).

На Фиг. 3 показан 3D-кодер, обеспечивающий данные сигнализации глубины. 3D-кодер 30 показан схематически с наличием входа (L, R) для приема 3D-видеосигнала. Конвертор стерео-в-глубину (например, профессиональный высокого качества типа HQ-S2D) может быть выполнен с возможностью формировать левую карту LD4 глубины и правую карту RD4 глубины, называемые сформированной картой глубины источника. Альтернативным образом, дополнительный вход может принимать карту глубины источника (помеченной LD-man, RD-man), которая может обеспечиваться в автономном режиме (например, от ввода камеры, вручную отредактированную или исправленную, или вычисленную в случае контента, сформированного компьютером), или может являться доступной при помощи входного 3D-видеосигнала. Блок 32 обработки глубины принимает одну или обе из сформированных карт LD4, RD4 глубины источника и карту LD-man и RD-man глубины источника и определяет, должны ли формироваться данные сигнализации глубины. В примере два сигнала 36, 37 данных сигнализации глубины связываются с кодером 34. Различные дополнительные средства для данных сигнализации глубины приводятся ниже.

После кодирования данные сигнализации глубины включаются в выходной сигнал выходным мультиплексором 35 (MUX). Мультиплексор также принимает закодированный битовый поток (BS1) видеоданных от первого кодера 33 и закодированный битовый поток (BS2) видеоданных от второго кодера 34 и формирует 3D-видеосигнал, помеченный BS3.

При необходимости процессор глубины источника выполнен с возможностью формирования данных сигнализации глубины за период времени в зависимости от кадра в 3D-видеосигнале. Эффективным образом данные сигнализации глубины применяются к периоду 3D-видеосигнала, который имеет ту же самую 3D-конфигурацию, например, конкретную конфигурацию камеры и масштабирования. Обычно конфигурация является в значительной степени постоянной в течение кадра видеопрограммы. Границы кадра могут быть известными или могут запросто обнаруживаться на стороне источника, и набор данных сигнализации глубины преимущественно собирается за период времени, соответствующий кадру.

Процессор глубины источника может быть выполнен с возможностью формирования данных сигнализации глубины за период времени в зависимости от кадра в 3D-видеосигнале. Известно подобное автоматическое обнаружение границ кадра. Также границы могут быть уже помеченными или могут определяться в течение процесса редактирования видео на источнике. Данные сигнализации глубины могут обеспечиваться за один кадр, и могут изменяться за следующий кадр. Например, за значением автономного режима, которое дается для близкого кадра лица, может следовать следующее значение автономного режима для следующего кадра удаленного ландшафта.

Процессор глубины источника может быть выполнен с возможностью формирования данных сигнализации глубины, включающими в себя данные области по интересующей области. Интересующая область, когда она известна на стороне адресата, может использоваться в качестве условия обработки, которое должно применяться к карте глубины адресата, и деформирование видов может регулироваться для того, чтобы обеспечить возможность осуществлять отображение интересующей области в предпочтительном пределе глубины 3D-дисплея. Эффективным образом интересующая область составляется из элементов или объектов в 3D-видеоматериале, которые, как предполагается, привлекут внимание зрителя. Например, данные интересующей области могут указывать зону изображения, которая имеет множество деталей, которые, возможно, привлекут внимание зрителя. Процессор глубины адресата может теперь адаптировать карту глубины таким образом, что значения глубины в указанной зоне отображаются в диапазоне высокого качества 3D-дисплея, обычно вблизи экрана дисплея, или в диапазоне сразу за экраном, в то же время, избегая выступления элементов перед экраном. Интересующая область может быть известной или может обнаруживаться на стороне источника, например, при помощи автоматического детектора лица или студийного редактора, или в зависимости от перемещения или детальной структуры объектов в изображении. Соответствующий набор данных сигнализации глубины может автоматически формироваться для обозначения положения, зоны или предела глубины, соответствующих интересующей области. Данные по интересующей области обеспечивают возможность того, чтобы деформирование видов являлось адаптированным для того, чтобы отображать интересующую область вблизи оптимального предела глубины 3D-дисплея.

Процессор глубины источника может дополнительно быть выполнен с возможностью обновления данных области в зависимости от изменения интересующей области, превышающей заданное пороговое значение, такое как значительное изменение положения глубины или расположение лица, которое составляет интересующую область. Помимо всего прочего, процессор глубины источника может быть выполнен с возможностью обеспечения в качестве данных области данных глубины области, обозначающие предел глубины интересующей области. Данные глубины области обеспечивают возможность устройству-адресату деформировать виды во время перемещения объекта в таком пределе глубины в предпочтительный предел глубины устройства 3D-отображения. Процессор глубины источника может быть дополнительно выполнен с возможностью обеспечения в качестве данных области данных по зоне области, обозначающих зону интересующей области, которая совмещена по меньшей мере с одним макроблоком в 3D-видеосигнале, причем макроблок представляет собой заданный блок сжатых видеоданных. Макроблоки представляют собой заданный блок сжатых видеоданных, например, в видеосигнале, закодированном по MPEG. Такие данные зоны области будут эффективным образом закодированы и обработаны. Зона интересующей области, которая совмещена с макроблоком, может включать в себя дополнительные данные глубины для местоположений, которые не являются частью интересующей области. Такая зона интересующей области также содержит пикселы, для которых значения глубины или значения изображения не являются критичными для 3D-практики. Выбранное значение, например, 0 или 255, может обозначать, что такие пикселы не являются частью интересующей области.

3D-видеосигнал может включать в себя данные глубины, например, карту глубины, в дополнение к данным изображения. Карта глубины может включать в себя по меньшей мере одни из данных глубины, соответствующих левому виду, данных глубины, соответствующих правому виду, и/или данных глубины, соответствующих центральному виду. 3D-видеосигнал может также включать в себя параметр (например, num_of_views), обозначающий количество видов, для которых присутствует информация глубины. Также данные глубины могут иметь разрешение более низкое, чем первая видеоинформация или вторая видеоинформация. Процессор глубины источника может быть выполнен с возможностью формирования данных сигнализации глубины, включающих в себя тип данных глубины в качестве условия обработки, которое должно применяться к карте глубины адресата для регулирования деформирования видов. Тип данных глубины обозначает свойства данных глубины, которые включены в 3D-видеосигнал, причем свойства определяют то, каким образом данные глубины были сформированы, и какая повторная обработка может являться подходящей для адаптирования данных глубины на стороне адресата. Тип данных глубины может включать в себя один или более из следующих индикаторов свойств: индикатор фокуса, обозначающий данные глубины, сформированные на основании данных фокуса; индикатор перспективы, обозначающий данные глубины, сформированные на основании данных перспективы; индикатор перемещения, обозначающий данные глубины, сформированные на основании данных по перемещению; индикатор источника, обозначающий данные глубины, исходящие из конкретного источника; индикатор алгоритма, обозначающий данные глубины, обработанные по конкретному алгоритму; индикатор расширения, обозначающий величину расширения, используемую на границах объектов в данных глубины, например от 0 до 128. Соответствующие индикаторы обеспечивают возможность процессору глубины на стороне адресата соответствующим образом интерпретировать и обрабатывать данные глубины, включенные в 3D-видеосигнал.

В варианте осуществления 3D-видеосигнал отформатирован таким образом, чтобы включать в себя закодированный поток видеоданных, и является приспособленным для доставки информации декодирования в соответствии с заданным стандартом, например, стандартом BD. Данные сигнализации глубины являются включенными в 3D-видеосигнал в соответствии с расширением такого стандарта, как информация декодирования, например, в сообщение с пользовательскими данными или сигнализации сообщения с информацией (SEI) элементарного потока, поскольку эти сообщения переносятся в элементарном видео потоке. Альтернативным образом, отдельная таблица или описание на основании XML может включаться в 3D-видеосигнал. Поскольку требуется, чтобы данные сигнализации глубины использовались при интерпретировании карты глубины, сигнализация может включаться в дополнительные, так называемые блоки NAL, которые формируют часть видеопотока, который переносит данные глубины. Такие блоки NAL описаны в документе “Working Draft on MVC extensions”, как упоминается во вступительной части. Например, блок depth_range_update NAL может расширяться при помощи таблицы, в которую вписаны данные сигнализации глубины.

На Фиг. 4 показано устройство авто-стерео отображения и деформирование множества видов. Авто-стерео дисплей (ASD) 403 принимает множество видов, сформированных при помощи процессора 400 глубины. Процессор глубины имеет блок 401 деформирования видов для формирования набора видов 405 из полного L левого вида и карты LD3 глубины адресата, как это показано в нижней части чертежа. Данные сигнализации глубины могут передаваться отдельно, или могут включаться в карту LD3 глубины. Интерфейс 406 ввода дисплея может соответствовать стандарту HDMI, расширенный для того, чтобы передавать RGB и глубину (RRGBD HDMI), и включать в себя полный L левый вид и карту LD3 глубины на основании данных HD сигнализации глубины. После формирования виды передаются через посредство блока 402 перемежения к дисплею 403. Карта глубины адресата может обрабатываться при помощи пост-процессора Z-PP 404 глубины на основании данных сигнализации глубины для регулирования деформирования видов, например, при помощи применения смещения или усиления, как описывалось выше.

В дополнение к сигнализации для правильной интерпретации данных глубины также обеспечивается сигнализация, связанная с дисплеем. Параметры в конструкции дисплея, такие как количество видов, оптимальное расстояние просмотра, размер экрана и оптимальный 3D-объем, могут влиять на то, каким образом контент будет смотреться на дисплее. Для достижения наилучших эксплуатационных качеств для визуализации требуется адаптировать визуализацию изображения и информацию глубины к характеристикам дисплея. Для обеспечения возможности этого конструкции дисплея могут классифицироваться по нескольким категориям (A, B, C и т.д.), в видео передачи включена таблица параметров с различными значениями параметров, которые могут привязываться к определенной категории дисплеев. Визуализация на дисплее затем может выбирать, какие значения параметров должны использоваться на основании ее собственной классификации. Альтернативным образом, визуализация на дисплее может вовлекать пользователя, тем самым пользователь выбирает, какая комбинация соответствует вкусу пользователя.

На Фиг. 5 показано устройство двух-видового стерео отображения и деформирование улучшенных видов. Двух-видовой стерео дисплей (STD) 503 принимает два улучшенных видов (new_L, new_R), сформированные при помощи процессора 501 глубины. Процессор глубины имеет функцию деформирования видов для формирования улучшенных видов из изначального полного левого вида L и полного вида R и карты глубины адресата, как это показано в нижней части чертежа. Интерфейс 502 ввода дисплея может соответствовать стандарту HDMI, расширенный для того, чтобы передавать информацию IF по видам (HDMI IF). Новые виды деформируются в соответствии с параметром BL, обозначающим базовую линию в течение отображения. Базовая линия 3D-видеоматериала изначально представляет собой действительное расстояние между L и R положениями камеры (скорректированные для оптики, коэффициенты масштабирования и т.д.). При отображении материала базовая линия будет эффективным образом передаваться при помощи конфигурации дисплея, такой как размер, разрешение, расстояние просмотра или предпочтительные для зрителя установки. В частности, базовая линия может регулироваться на основании данных сигнализации глубины после передачи их процессору 501 глубины. Для того чтобы изменить базовую линию во время отображения, положения видов L и R могут сдвигаться при помощи деформирования новых видов, называемых new_L и new_R, формируя новое расстояние базовой линии, которое может быть больше (>100%) или меньше (<100%), чем изначальная базовая линия. Новые виды являются сдвинутыми внутрь или наружу по отношению к изначальным полным L и R видам на BL=100%. Третий пример (0%<BL<50%) имеет оба новых вида, деформированные на основании одного вида (FULL_L). Деформирование новых видов близко к полному виду предотвращает артефакты при деформировании. При помощи показанных трех примеров расстояние между деформированным новым видом и изначальным видом является менее чем 25%, в то же время обеспечивается возможность диапазон управления в 0%<BL<150%.

На Фиг. 6 показаны данные сигнализации глубины в 3D-видеосигнале. На чертеже показана таблица с данными сигнализации глубины, переданными в 3D-видеосигнале, например, в пакетах, имеющих заголовок пакета, обозначающий, что содержимое пакета является данными сигнализации глубины. Чертеж иллюстрирует включение в 3D-видеосигнал различных данных сигнализации глубины. Первая таблица 61 имеет следующие элементы: смещение, усиление, индикатор типа масштабирования, индикатор типа границ, индикатор типа алгоритмы глубины и индикатор расширения. Вторая таблица 62 имеет кодирование, которое определяет тип масштабирования: первое значение, обозначающее би-линейное, второе значение, определяющее би-кубическое, и т.д. Третья таблица 63 имеет кодирование, которое определяет тип границ: первое значение, определяющее резкие границы, второе значение, определяющее плавные границы, третье значение, определяющее размытые границы, и т.д. Четвертая таблица 64 имеет кодирование, которое определяет тип алгоритма глубины, используемый для формирования карты глубины: первое значение, обозначающее созданную вручную карту глубины, второе значение, обозначающее глубину от перемещения, третье значение, обозначающее глубину от фокуса, четвертое значение, обозначающее глубину от перспективы. Может использоваться любая комбинация вышеупомянутых элементов.

На Фиг. 7 показаны данные сигнализации глубины интересующей области в 3D-видеосигнале. На чертеже показана таблица 71 с данными интересующей области, переданными в 3D-видеосигнале, например, в пакетах, имеющих заголовок пакета, обозначающий то, что содержимое пакета представляет собой данные сигнализации глубины интересующей области. Интересующая область определяется при помощи предела глубины с использованием двух значений, которые должны сравниваться с картой глубины, lower_luma_value определяет нижнюю границу и upper_luma_value определяет верхнюю границу. Таким образом, обозначается, что значения глубины между упомянутыми границами содержат интересующую область, и следовательно карта глубины предпочтительным образом должна обрабатываться таким образом, что такие значения глубины отображаются в предпочтительном пределе глубины 3D-дисплея.

Кроме того, интерпретация значений данных глубины может обозначаться при помощи знака разницы: lower_luma_value<upper_luma_value может обозначать фактическую интерпретацию информации о глубине, например, в том смысле, что высокие значения яркости определяют в положении перед нулевой плоскостью (глубиной экрана) 3D-объема 3D-дисплея.

Данные интересующей области отличаются от значений смещения и усиления, поскольку частота, с которой последние изменяются, является намного меньшей, также тип данных различается. В предпочтительном варианте осуществления интересующая область, подобная той, что в Таблице 71, содержится в блоке NAL, который содержит другие данные глубины, такие как «обновление предела глубины».

На Фиг. 8 показаны данные сигнализации глубины для множества 3D-дисплеев. На чертеже показана Таблица 81 с данными сигнализации глубины для многочисленных различных типов 3D-дисплеев, которые передаются в 3D-видеосигнале, например, в пакетах, имеющих заголовок пакета, обозначающий то, что содержимое пакета представляет собой данные сигнализации глубины множества 3D-дисплеев. Сначала задается количество входов, причем каждый вход присваивается конкретному типу дисплея. Тип дисплея может также добавляться в таблицу в виде закодированного значения. После этого для каждого входа задается количество параметров сигнализации глубины, в примере это смещение глубины и усиление глубины, которые оптимизируются для соответствующего типа 3D-дисплея.

В устройстве-источнике процессор 42 глубины источника может быть выполнен с возможностью формирования множества различных данных сигнализации глубины для соответствующего множества различных типов 3D-дисплея. Блок вывода выполнен с возможностью включения в 3D-видеосигнал множества различных данных сигнализации глубины. В устройстве-адресате процессор глубины адресата выполнен с возможностью выбирать из таблицы 81, имеющей множество наборов данных сигнализации глубины, соответствующий набор, который является подходящим для конкретного 3D-дисплея, для которого должны деформироваться виды.

На Фиг. 9 показано масштабирование для адаптирования конуса просмотра. Конус просмотра относится к последовательности деформированных видов для многовидового 3D-дисплея. Тип масштабирования обозначает способ, которым конус просмотра адаптируется в сравнении с обычным конусом, в котором каждый последовательный вид имеет одинаковую с предыдущим видом разницудиспарантности. Видоизменение формы конуса означает изменение относительной диспарантности соседних видов на величину меньшую, чем упомянутая одинаковая разница диспарантности.

На Фиг. 9 наверху слева показана обычная форма конуса. Обычная форма 91 конуса в большинстве случаев используется в обычных многовидовых устройствах визуализации. Форма имеет равный стерео объем для большей части конуса и резкий переход по отношению к следующему повторению конуса. Пользователь, расположенный в этой области перехода, получит большой объем переходных помех и инверсивного видео. На чертеже пилообразная кривая обозначает то, что обычная форма 91 конуса имеет диспарантность, связанную линейным образом с ее положением в конусе. Определено, что положение видов в пределах конуса просмотра является равным нулю для центра конуса, -1 для всей левой части и +1 для всей правой части.

Следует понимать, что преобразование формы конуса изменяет только визуализацию контента на дисплее (т.е. объединение видов, расслоение) и не требует физических корректировок для дисплея. При помощи адаптирования конуса просмотра артефакты могут уменьшаться, и может создаваться зона уменьшенного 3D-эффекта для приспосабливания людей, которые не имеют совсем или имеют ограниченную возможность стерео просмотра, или предпочитают смотреть ограниченное 3D или 2D-видео. Данные сигнализации глубины могут включать в себя тип масштабирования, который отслеживается таким образом, чтобы являться подходящим для 3D-видеоматериала на стороне источника для преобразования формы конуса. Например, набор возможных масштабирующих форм конуса для адаптирования конуса просмотра может быть заданным, и каждой форме может придаваться индекс, с учетом того, что фактическое значение индекса включается в данные сигнализации глубины.

В дополнительных трех графах чертежа вторая кривая показывает адаптированную форму конуса. Виды на второй кривой имеют уменьшенную разницу диспарантности с соседними видами. Форма конуса просмотра является адаптированной для того, чтобы уменьшить различимость артефактов при помощи уменьшения максимального положения визуализации. В центральном положении сменяющиеся формы конуса могут иметь тот же самый наклон, как и обычный конус. Вдалеке от центра форма конуса преобразуется (по отношению к обычному конусу) для того, чтобы ограничить деформирование изображения.

На фиг. 9 вверху справа показана циклическая форма конуса. Циклическая форма 92 конуса является адаптированной для того, чтобы избежать острого перехода при помощи создания более большой, но менее сильной области инверсивного стерео.

На фиг. 9 внизу слева показан ограниченный конус. Форма 93 ограниченного конуса представляет собой пример формы конуса, которая ограничивает положение максимальной визуализации до около 40% обычного конуса. Когда пользователь перемещается по конусу, то он/она ощущает цикл стерео, уменьшенное стерео, инверсивное стерео и снова уменьшенное стерео.

На фиг. 9 внизу справа показан 2D-3D-конус. Форма 94 2D-3D-конуса также ограничивает положение максимальной визуализации, но повторно использует внешнюю часть конуса для того, чтобы предложить ощущение моно (2D) просмотра. Когда пользователь перемещается по конусу, то он/она ощущает цикл стерео, инверсивное стерео, моно и снова инверсивное стерео. Эта форма конуса позволяет группе людей, из которой только некоторые члены предпочитают стерео вместо моно, смотреть 3D-фильм.

Подводя итог вышесказанному, данные сигнализации глубины обеспечивают возможность процессу визуализации получать улучшенные результаты из данных глубины для конкретного 3D-дисплея, в то время как регулировки все равно управляются стороной источника. Данные сигнализации глубины могут состоять из параметров изображения или характеристик глубины, являющихся важными для регулирования деформирования видов в 3D-дисплее, например, таблиц, показанных на Фиг. 6-8. Например, тип границ в информации о глубине, включенные в таблицы, обозначают конкретный тип границы для того, чтобы способствовать устройству визуализации в получении максимальных результатов из данных глубины. Также алгоритм, используемый для формирования данных глубины, может включаться для обеспечения возможности системе визуализации интерпретировать это значение, и из этого сделать заключение о том, как визуализировать данные глубины и деформировать виды.

Следует отметить, что настоящее изобретение может использоваться для любого типа данных 3D-изображения, или фотографии, или движущегося видео. Предполагается, что данные 3D-изображения являются доступными в виде электронных, закодированных цифровым способом, данных. Настоящее изобретение относится к таким данным изображения и оперирует с данными изображения в цифровом домене.

Изобретение может быть реализовано аппаратными и/или программными средствами с использованием программируемых компонентов. Способы реализации изобретения имеют этапы, соответствующие функциям, определенным для системы, как описано со ссылкой на Фиг. 1-5.

Следует принимать во внимание, что в вышеупомянутом описании для ясности описаны варианты осуществления со ссылкой на различные функциональные блоки и процессоры. Однако является очевидным, что любое подходящее распределение функциональных возможностей между различными функциональными блоками или процессорами может использоваться без отклонения от изобретения. Например, функциональные возможности, проиллюстрированные таким образом, что они выполняются отдельными блоками, процессорами или контроллерами, могут выполняться теми же самыми процессором или контроллерами. Вследствие этого, упоминание конкретных функциональных блоков должно рассматриваться только как упоминание подходящих средств для обеспечения описанных функциональных возможностей, а не как обозначающие строгую логическую или физическую структуру или организацию. Изобретение может быть реализовано в любой подходящей форме, включающей в себя аппаратные средства, программные средства, аппаратно реализованное программное обеспечение или любую их комбинацию.

Следует отметить, что в этом документе слово «содержащий» не исключает присутствия других элементов или этапов, кроме тех, которые перечислены, а единственное число не исключает присутствия множества подобных элементов, что любые ссылочные позиции не ограничивают объема формулы изобретения, что изобретение может быть реализовано при помощи обоих аппаратных и программных средств, и что несколько «средств» или «блоков» могут представляться одним и тем же элементом аппаратных средств или программных средств, и процессор может выполнять функцию одного или более блоков, возможно, в кооперации с элементами аппаратных средств. Кроме того, изобретение не ограничивается вариантами осуществления, и изобретение лежит в основании всех без исключения новых признаках или комбинации признаков, описанных выше или перечисленных в различных зависимых пунктах формулы изобретения.

Изобретение относится к технологиям предоставления трехмерного видеосигнала от устройства-источника к устройству-адресату. Техническим результатом является повышение качества визуализации трехмерного видео за счет включения данных сигнализации глубины в трехмерный сигнал. Предложено 3D-устройство-источник для обеспечения трехмерного видеосигнала для передачи 3D-устройству-адресату. Причем 3D-видеосигнал содержит первую видеоинформацию, представляющую левый вид на 3D-дисплее, вторую видеоинформацию, представляющую правый вид на 3D-дисплее. Причем 3D-устройство-адресат содержит приемник для приема 3D-видеосигнала, процессор глубины адресата для обеспечения карты глубины адресата для обеспечения возможности деформирования видов для 3D-дисплея, выполненный с возможностью адаптирования карты глубины адресата или деформирования видов в зависимости от данных сигнализации глубины с учетом возможностей 3D-дисплея. 4 н. и 9 з.п. ф-лы, 9 ил.

1. 3D-устройство-источник (40) для обеспечения трехмерного (3D) видеосигнала (41) для передачи 3D-устройству-адресату (50),

причем 3D-видеосигнал содержит:

первую видеоинформацию, представляющую левый вид на 3D-дисплее,

вторую видеоинформацию, представляющую правый вид на 3D-дисплее,

причем 3D-устройство-адресат содержит:

приемник (51, 58, 59) для приема 3D-видеосигнала,

процессор (52) глубины адресата для обеспечения карты глубины адресата для обеспечения возможности деформирования видов для 3D-дисплея, выполненный с возможностью адаптирования карты глубины адресата или деформирования видов в зависимости от данных сигнализации глубины с учетом возможностей 3D-дисплея,

причем 3D-устройство-источник содержит:

блок (46) вывода для формирования 3D-видеосигнала и для передачи 3D-видеосигнала 3D-устройству-адресату,

причем 3D-устройство-источник содержит:

процессор (42) глубины источника для обеспечения данных сигнализации глубины в видеоинформации, причем данные сигнализации глубины представляют параметры или инструкции обработки для адаптирования карты глубины адресата или деформирования видов к конкретному 3D-дисплею,

и блок вывода выполнен с возможностью включения в 3D-видеосигнал данных сигнализации глубины.

2. 3D-устройство-источник по п. 1, в котором процессор (42) глубины источника выполнен с возможностью обеспечения данных сигнализации глубины, включающих в себя по меньшей мере одно из:

смещения;

усиления;

типа масштабирования;

типа границ,

в качестве параметров или инструкций обработки.

3. 3D-устройство-источник по п. 1 или 2, в котором процессор (42) глубины источника выполнен с возможностью обеспечения множества различных данных сигнализации глубины для соответствующего множества различных типов 3D-дисплея и блок вывода выполнен с возможностью включения в 3D-видеосигнал множества различных данных сигнализации глубины.

4. 3D-устройство-источник по п. 1 или 2, в котором процессор (42) глубины источника выполнен с возможностью обеспечения данных сигнализации глубины за период времени в зависимости от кадра в 3D-видеосигнале.

5. 3D-устройство-источник по п. 1, в котором процессор (42) глубины источника выполнен с возможностью обеспечения данных сигнализации глубины, включающих в себя данные области для интересующей области в качестве параметров или инструкций обработки для обеспечения возможности отображения интересующей области в предпочтительном пределе глубины 3D-дисплея.

6. 3D-устройство-источник по п. 5, в котором процессор (42) глубины источника выполнен с возможностью по меньшей мере одного из:

обновления данных области в зависимости от изменения интересующей области, превышающей заданное пороговое значение;

обеспечения в качестве данных области данных глубины области, обозначающих диапазон глубины интересующей области;

обеспечения в качестве данных области данных зоны области, обозначающих зону интересующей области, которая совмещена по меньшей мере с одним макроблоком в 3D-видеосигнале, причем макроблок представляет собой заданный блок сжатых видеоданных.

7. 3D-устройство-источник по п. 1, в котором 3D-видеосигнал содержит данные глубины и процессор (42) глубины источника выполнен с возможностью обеспечения данных сигнализации глубины, включающих в себя тип данных глубины в видеоинформации в качестве параметров или инструкций обработки, причем тип данных глубины включают в себя по меньшей мере одно из:

индикатора фокуса, обозначающего данные глубины, сформированные на основании данных фокуса;

индикатора перспективы, обозначающего данные глубины, сформированные на основании данных перспективы;

индикатора перемещения, обозначающего данные глубины, сформированные на основании данных перемещения;

индикатора источника, обозначающего данные глубины, исходящие из конкретного источника;

индикатора алгоритма, обозначающего данные глубины, обработанные по конкретному алгоритму;

индикатора расширения, обозначающего величину расширения, используемого на границах объектов в данных глубины.

8. 3D-устройство-адресат (50) для приема трехмерного (3D) видеосигнала от 3D-устройства-источника по п. 1,

причем 3D-устройство-адресат содержит:

приемник (51, 58, 59) для приема 3D-видеосигнала,

процессор (52) глубины адресата для обеспечения карты глубины адресата для обеспечения возможности деформирования видов для 3D-дисплея,

причем приемник выполнен с возможностью извлечения данных сигнализации глубины в видеоинформации из 3D-видеосигнала, причем данные сигнализации глубины представляют собой параметры или инструкции обработки для адаптирования карты глубины адресата или деформирования видов к конкретному 3D-дисплею, и

процессор (52) глубины адресата выполнен с возможностью адаптирования карты глубины адресата или деформирования видов в зависимости от данных сигнализации глубины с учетом возможностей 3D-дисплея.

9. Устройство-адресат по п. 8, в котором процессор (52) глубины адресата выполнен с возможностью обработки данных сигнализации глубины, включающих в себя по меньшей мере одно из: смещение; усиление; тип масштабирования; тип границ в качестве параметров или инструкций обработки,

или процессор глубины адресата выполнен с возможностью выбора одних из множества различных данных сигнализации глубины для соответствующего множества различных типов 3D-дисплея,

или процессор глубины адресата выполнен с возможностью обработки данных сигнализации глубины, включающих в себя данные области для интересующей области в качестве параметров или инструкций обработки для обеспечения возможности отображения интересующей области в предпочтительном пределе глубины 3D-дисплея,

или в котором 3D-видеосигнал содержит данные глубины и процессор глубины адресата выполнен с возможностью обработки данных сигнализации глубины, включающих в себя тип данных глубины в видеоинформации в качестве параметров или инструкций обработки, причем тип данных глубины включает в себя по меньшей мере одно из:

индикатора фокуса, обозначающего данные глубины, сформированные на основании данных фокуса;

индикатора перспективы, обозначающего данные глубины, сформированные на основании данных перспективы;

индикатора перемещения, обозначающего данные глубины, сформированные на основании данных перемещения;

индикатора источника, обозначающего данные глубины, исходящие от конкретного источника;

индикатора алгоритма, обозначающего данные глубины, обработанные по конкретному алгоритму;

индикатора расширения, обозначающего величину расширения, используемого на границах объектов в данных глубины.

10. Устройство-адресат по п. 8, в котором приемник содержит блок (58) считывания для считывания носителя записи для приема 3D-видеосигнала или устройство содержит:

процессор (62) видов для формирования множества видов 3D-видеоданных на основании первой и второй видеоинформации в зависимости от карты глубины адресата и

3D-дисплей (63) для отображения множества видов 3D-видеоданных.

11. Способ обеспечения трехмерного (3D) видеосигнала для передачи 3D-устройству-адресату по п. 8,

причем 3D-видеосигнал содержит:

первую видеоинформацию, представляющую левый вид на 3D-дисплее,

вторую видеоинформацию, представляющую правый вид на 3D-дисплее,

причем способ содержит этапы, на которых:

формируют 3D-видеосигнал,

обеспечивают данные сигнализации глубины в видеоинформации, причем данные сигнализации глубины представляют параметры или инструкции обработки для адаптирования глубины адресата или деформирования видов к конкретному 3D-дисплею, и

включают в 3D-видеосигнал данные сигнализации глубины.

12. Способ по п. 11, причем способ содержит этап, на котором изготавливают носитель записи, причем носитель записи обеспечивается оптически обнаруживаемой дорожкой меток, представляющей 3D-видеосигнал.

13. Носитель (54) записи, на котором сохранен компьютерный программный продукт для обеспечения трехмерного (3D) видеосигнала для передачи 3D-устройству-адресату, причем упомянутый компьютерный программный продукт выполнен с возможностью побуждать процессор выполнять соответствующие этапы способа по п. 11.