ПЕРЕДАЧА ДАННЫХ 3D ИЗОБРАЖЕНИЯ Российский патент 2015 года по МПК G06T15/00 H04N13/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу передачи сигнала 3D отображения для передачи данных трехмерного [3D] изображения на устройство 3D отображения, причем сигнал 3D отображения содержит последовательность кадров, составляющих данные 3D изображения в соответствии с форматом передачи 3D видео, последовательность кадров содержит блоки, причем каждый блок соответствует кадрам, содержащим видео информацию, при этом информация видео предназначается для объединения и отображения в качестве 3D изображения.

Изобретение дополнительно относится к вышеупомянутому устройству источника 3D, сигналу 3D отображения и устройству 3D отображения.

Изобретение относится к области передачи с помощью высокоскоростного цифрового интерфейса, например HDMI, данных трехмерного изображения, например 3D видео для отображения на устройстве 3D отображения.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Устройства для выдачи данных 2D видео известны, например устройства воспроизведения видео, такие как устройства воспроизведения DVD или телевизионные приставки, которые выдают цифровые видео сигналы. Устройство источника должно быть подсоединено к устройству отображения, такому как телевизор или монитор. Данные изображения передаются от устройства источника с помощью подходящего интерфейса, предпочтительно высокоскоростного цифрового интерфейса, такого как HDMI. В настоящее время предлагаются устройства с расширением 3D для выдачи данных трехмерного (3D) изображения. Аналогично, предлагаются устройства для отображения данных 3D изображения. Для передачи сигналов 3D видео от устройства источника к устройству отображения разрабатываются новые стандарты высокоскоростной передачи данных, например на основании и совместно с существующим стандартом HDMI. Передача 2D цифровых сигналов изображения к устройству отображения обычно вовлекает посылку пиксельных данных видео кадр за кадром, где кадры должны быть отображены последовательно. Такие кадры могут как представлять видео кадры прогрессивного видео сигнала (полные кадры), или могут представлять видео кадры чередующегося видео сигнала (на основании известного чередования строк, один кадр, выдающий нечетные строки, и следующий кадр, выдающий строки, которые должны быть отображены последовательно).

Документ US 4,979,033 описывает пример традиционного видео сигнала, имеющего формат чередования. Традиционный сигнал включает в себя сигналы горизонтальной и вертикальной синхронизации для отображения строк и кадров четных и нечетных кадров на традиционном телевизоре. Предлагаются система и способ стереоскопического видео, которые обеспечивают синхронизацию стереоскопического видео с дисплеем, который использует очки с активным затвором. Четные и нечетные кадры используются для передачи соответствующих левого и правого изображений сигнала стереоскопического видео. Предложенное устройство 3D отображения содержит традиционный детектор огибающей для обнаружения традиционных нечетных/четных кадров, но вместо этого генерирует сигналы отображения для левого и правого блоков дисплея LCD. В частности, импульсы уравнивания, имеющие место во время интервала вертикального сигнала гашения, который отличается для четных и нечетных кадров в традиционном аналоговом видео сигнале с чересстрочной разверткой, подсчитываются для идентификации соответствующей левой или правой области. Система использует эту информацию для синхронизации пары очков с активным затвором таким образом, что очки с активным затвором поочередно открываются и закрываются синхронно со стерео видео.

Имеется множество различных способов, которыми стерео изображения могут быть отформатированы, называемых форматом 3D изображения. Некоторые форматы основываются на использовании 2D канала, чтобы также переносить стерео информацию. Например, левый и правый вид могут чередоваться или могут быть помещены рядом, и выше, и ниже. Эти способы жертвуют разрешением для переноса информации стерео. Другая опция состоит в том, чтобы пожертвовать цветом, этот подход называется анаглифическим стерео.

Разрабатываются новые форматы для передачи 3D информации для отображения. MVD стандартизирован в вызовах MPEG для передачи {Видео+Глубина} для М видов, для обеспечения больших наложений графики конуса обзора (например, меню или субтитры в устройствах воспроизведения BED или STBs) должны быть переданы на дисплей.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задачей изобретения является предоставление более гибкой и надежной системы для передачи сигналов 3D видео на устройство отображения.

С этой целью, согласно первому аспекту изобретения, в способе, как описано во вводном параграфе, формат 3D видео содержит период данных видео, во время которого передаются пиксели активного видео, и период изолированных данных, во время которого передаются аудио и вспомогательные данные, используя последовательность пакетов, причем пакеты включают в себя пакет кадра информации, и вывод сигнала 3D отображения; и, в устройстве 3D отображения, прием сигнала 3D отображения и обработку сигнала 3D отображения для генерирования сигналов управления отображением для визуализации данных 3D изображения на 3D дисплее, при этом последовательность кадров содержит блоки, блок является периодом от сигнала вертикальной синхронизации до следующего сигнала вертикальной синхронизации, каждый блок соответствует количеству кадров, располагающихся в соответствии со схемой мультиплексирования, это количество кадров содержит видео информацию, предназначенную для объединения и отображения в качестве 3D изображения; каждый кадр в блоке имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру 3D данных, и причем способ содержит, на устройстве источника 3D, включение информации передачи 3D в дополнительный пакет кадра информации, причем информация передачи 3D содержит по меньшей мере информацию о схеме мультиплексирования, включающей в себя количество видео кадров в блоке для объединения в единственное 3D изображение в сигнале 3D отображения, схема мультиплексирования выбирается из группы схем мультиплексирования, содержащих по меньшей мере мультиплексирование с чередованием кадров, при этом чередование кадров указывает упомянутое количество кадров, последовательно скомпонованных в упомянутом периоде видео данных; и упомянутое генерирование сигналов управления отображением выполняется в зависимости от информации 3D передачи.

С этой целью, согласно второму аспекту изобретения, обеспечивается устройство источника 3D для передачи данных изображения устройству 3D отображения, как описано в вводном параграфе, причем устройство источника 3D содержит средство генерирования для обработки данных источника изображения для генерирования сигнала 3D отображения, при этом сигнал 3D отображения содержит последовательность кадров, составляющих данные 3D изображения в соответствии с форматом передачи 3D видео, формат 3D видео содержит период данных видео, во время которого передаются пиксели активного видео, и период изолированных данных, во время которого передаются аудио и вспомогательные данные, используя последовательность пакетов, эти пакеты включают в себя пакет кадра информации, и средство интерфейса вывода для вывода сигнала 3D отображения, при этом каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру данных 3D, последовательность кадров содержит блоки, блок является периодом от сигнала вертикальной синхронизации до следующего сигнала вертикальной синхронизации, причем каждый блок соответствует количеству кадров, расположенных в соответствии со схемой мультиплексирования, это количество кадров содержит видео информацию для видео информации, предназначенной для объединения и отображения в качестве 3D изображения; при этом средства интерфейса вывода приспособлены для передачи информации передачи 3D в дополнительном пакете кадра информации, информация передачи 3D содержит по меньшей мере информацию о схеме мультиплексирования, включающей количество видео кадров в блок для объединения в единственное 3D изображение в сигнале 3D отображения, схема мультиплексирования выбирается из группы схем мультиплексирования, содержащих по меньшей мере мультиплексирование с чередованием кадров, чередование кадров указывает упомянутое количество кадров, последовательно располагающихся в упомянутом периоде данных видео; для, в устройстве отображения, генерирования сигналов управления отображением в зависимости от информации 3D передачи.

С этой целью, в соответствии с дополнительным аспектом изобретения, данные устройства отображения 3D, как описано в вводном параграфе, содержат 3D дисплей для отображения данных 3D изображения, средство интерфейса ввода для приема сигнала 3D отображения, причем сигнал 3D отображения содержит кадры, составляющие данные 3D изображения в соответствии с форматом передачи 3D видео, формат 3D видео содержит период видео данных, во время которого передаются пиксели активного видео, и период изолированных данных, во время которого передаются аудио данные и вспомогательные данные, используя последовательность пакетов, причем пакеты включают в себя пакет кадра информации, и средство обработки для генерирования сигналов управления отображением для визуализации данных 3D изображения на 3D дисплее, при этом каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру 3D данных, и последовательность кадров содержит блоки, блок является периодом от сигнала вертикальной синхронизации до следующего сигнала вертикальной синхронизации, причем каждый блок соответствует количеству кадров, располагающихся в соответствии со схемой мультиплексирования, где количество кадров содержит видео информацию, предназначенную для объединения и отображения в качестве 3D изображения; в котором информация передачи 3D в дополнительном пакете кадра информации содержит по меньшей мере информацию о схеме мультиплексирования, включающую в себя количество видео кадров в блоке для объединения в единственное 3D изображение в сигнале 3D отображения, схема мультиплексирования выбирается из группы схем мультиплексирования, содержащих по меньшей мере мультиплексирование с чередованием кадров, причем мультиплексирование с чередованием кадров указывает упомянутое количество кадров, последовательно располагаемых в упомянутом периоде данных видео; и средства обработки выполнены с возможностью генерирования сигналов управления отображением в зависимости от информации 3D передачи.

Изобретение также основывается на следующем заключении. В отличие от информации 2D видео, имеется множество возможностей для форматирования данных 3D видео, например стереоскопическое, изображение + глубина, возможно включающая в себя заслонение и прозрачность, множественный вид. Более того, предполагается, что множественные уровни данных 3D видео могут быть переданы по интерфейсу для объединения перед отображением. Это множество опций приводит к опции множества видео форматов, зависящих от формата данных, доступных на устройстве источника, и формата 3D видео, принятого дисплеем. Большинство этих форматов характеризуются большим объемом информации, нуждающимся в передаче в виде сложной структуры для каждого 3D изображения, которое должно быть отображено. Согласно изобретению, когда данные посылаются в блоках, и информация о блоках является доступной в сигнале 3D дисплея, система передачи является более гибкой в обработке различных форматов 3D данных, поскольку больше данных могут быть включены в блок. Современные высокоскоростные интерфейсы позволяют посылать кадры, частота которых намного выше, чем фактическая частота 3D изображений, обычно 24 Гц, используемые кинематографической промышленностью. При использовании блоков кадра более высокий объем данных в гибком формате для каждого 3D изображения может быть послан по интерфейсу.

В варианте осуществления группа схем мультиплексирования дополнительно содержит по меньшей мере одно мультиплексирование с чередованием полей; мультиплексирование с чередованием строк; мультиплексирование кадров «бок о бок», причем это мультиплексирование кадров «бок о бок» указывает количество кадров, расположенных рядом в упомянутом периоде данных видео; мультиплексирование кадров 2D и глубины; и мультиплексирование кадров 2D, глубины, графики и глубины графики.

В общем виде, передача данных 3D видео может быть характеризована 3 параметрами:

- скоростью повторения пикселей

- количеством кадров в блоке кадров единственного 3D изображения

- форматом: способом мультиплексирования каналов

В предпочтительном варианте осуществления изобретения информация по всем этим параметрам включается в информацию 3D передачи. Для максимальной гибкости в соответствии с изобретением они должны быть переданы в трех отдельных полях.

В варианте осуществления изобретения используется HDMI в качестве интерфейса, и информация передачи 3D посылается в кадрах информации AVI и/или в кадрах информации конкретного производителя HDMI. В самом предпочтительном варианте осуществления, который обеспечивает максимальную гибкость, информация передачи 3D посылается в отдельном кадре информации.

Дополнительные предпочтительные варианты осуществления способа, устройства 3D и сигнала в соответствии с изобретением предоставлены в прилагаемой формуле изобретения, описание которой включено в настоящее описание посредством ссылки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения должны быть очевидны из и объяснены дополнительно со ссылкой на варианты осуществления, описанные посредством примера в нижеследующем описании и со ссылкой на сопроводительные чертежи, на которых:

Фиг. 1 показывает систему для передачи данных трехмерного (3D) изображения;

Фиг. 2 показывает пример данных 3D изображения;

Фиг. 3 показывает комбинацию устройства воспроизведения и устройства отображения;

Фиг. 4 схематически показывает возможные блоки кадров, которые должны быть посланы по видео интерфейсу для данных 3D изображения, соответствующих 2D+Стерео+DOT;

Фиг. 5 схематически показывает дополнительные детали возможных блоков кадров, которые должны быть посланы по видео интерфейсу для данных изображения 3D, соответствующих 2D+СТЕРЕО+DOT;

Фиг. 6 схематически показывает время вывода кадров по видео интерфейсу, для данных изображения 3D, соответствующих 2D+СТЕРЕО+DOT;

Фиг. 7 схематически показывает возможные блоки компоновки кадров для стерео сигнала;

Фиг. 8 показывает сигналы горизонтального и вертикального гашения и сигнализацию для формата а*D+DOT@1920 пикселей;

Фиг. 9 показывает сигналы горизонтального и вертикального гашения и сигнализацию для формата а*D+DOT 720 пикселей, посланного в качестве прогрессивной 1920 @ 30Hz;

Фиг. 10 показывает таблицу кадра информации AVI, расширенной индикатором синхронизации типа кадра для данных изображения 3D стерео;

Фиг. 11 показывает таблицу форматов 3D видео;

Фиг. 12 показывает сигнал синхронизации кадров, и

Фиг. 13 показывает значения для дополнительных уровней видео.

На чертежах элементы, которые соответствуют элементам, уже описанным, имеют те же самые ссылочные позиции.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг. 1 показывает систему для передачи данных трехмерного (3D) изображения, таких как видео, графика или другая визуальная информация. Устройство 10 источника 3D подсоединяется к устройству 13 отображения 3D для передачи сигнала 56 отображения 3D. Устройство источника 3D имеет блок 51 ввода для приема информации изображения. Например, устройство ввода блока может включать в себя блок 58 оптического диска для извлечения различных типов информации изображения из носителя 54 оптической записи, такого как диск DVD или BluRay. Альтернативно, блок ввода может включать в себя блок 59 интерфейса сети для подсоединения к сети 55, например Интернет или широковещательной сети, такое устройство обычно называется телевизионной приставкой. Данные изображения могут быть извлечены из удаленного медиа сервера 57. Устройство источника может также быть спутниковым приемником, или медиа сервером, непосредственно выдающим сигналы отображения, т.е. любым подходящим устройством, которое выводит сигнал 3D отображения, которое непосредственно подсоединяется к блоку отображения.

Устройство источника 3D имеет блок 52 обработки, подсоединенный к блоку 51 ввода для обработки информации изображения для генерирования сигнала 56 отображения 3D, который должен быть передан с помощью блока 12 интерфейса вывода на устройство отображения. Блок 52 обработки скомпонован для генерирования данных изображения, включенных в сигнал 56 отображения 3D для отображения на устройстве 13 отображения. Устройство источника снабжается пользовательскими элементами 15 управления для управления параметрами отображения данных изображения, такими как параметры контрастность или цвет. Пользовательские элементы управления являются хорошо известными и могут включать в себя блок удаленного управления, имеющий различные функции управления кнопки и/или курсора для управления различными функциями устройства источника 3D, такими как функции воспроизведения и записи, и для установки упомянутых параметров отображения, например, с помощью графического пользовательского интерфейса и/или меню.

Устройство источника имеет блок 11 синхронизации передачи для выдачи по меньшей мере одного индикатора синхронизации типа кадра в сигнале 3D отображения, этот индикатор включается в сигнал 3D отображения в блоке 12 интерфейса вывода, который дополнительно скомпонован для передачи сигнала 3D отображения с данными изображения и индикаторами синхронизации типа кадра из устройства источника на устройство отображения, в качестве сигнала 56 3D отображения. Сигнал 3D отображения содержит последовательность кадров, причем кадры организованы в группы кадров, таким образом составляя данные 3D изображения в соответствии с форматом передачи 3D видео, где формат кадров содержат по меньшей мере два различных типа кадра. Каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, обычно скомпонованных в качестве последовательности горизонтальных строк множества пикселей, в соответствии с заранее определенным разрешением. Каждый тип кадра представляет частичную структуру 3D данных. Например, частичная структура 3D данных в типах кадра формата передачи 3D видео может быть левым и правым изображениями, или 2D изображением и дополнительной глубиной, и/или дополнительными 3D данными, такими как информация заслонения или прозрачности, как описано ниже. Следует отметить, что тип кадра может также быть комбинацией типа кадра, указывающей комбинацию подкадров вышеупомянутых типов кадра, например 4 подкадров, имеющих более низкое разрешение, расположенных в единственном кадре с полным разрешением. Также множество изображений с многими видами могут быть закодированы в видео потоке кадров, которые должны быть отображены одновременно.

Устройство источника адаптировано для включения информации передачи 3D, содержащей по меньшей мере информацию о количестве видео кадров в блоке, которые должны быть объединены в единственное 3D изображение, в сигнал 3D отображения. Это может быть достигнуто посредством добавления соответствующих функциональных возможностей в блок 11 синхронизации.

Устройство 13 отображения 3D служит для отображения данных 3D изображения. Это устройство имеет блок 14 интерфейса ввода для приема сигнала 56 отображения 3D, включающего в себя данные 3D изображения в кадрах и индикаторы синхронизации типа кадра, переданные от устройства 10 источника. Каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру 3D данных. Устройство отображения снабжается дополнительными элементами 16 пользовательского управления для установки параметров отображения дисплея, таких как параметры контрастности, цвета или глубины. Переданные данные изображения обрабатываются в блоке 18 обработки в соответствии с командами установки от элементов пользовательского управления и генерирования сигналов управления отображением для визуализации данных 3D изображения на 3D дисплее, на основании различных типов кадра. Устройство имеет 3D дисплей 17, принимающий сигналы управления отображением для отображения обработанных данных изображения, например двойной LCD. Устройство 13 отображения является стереоскопическим дисплеем, также называемым 3D дисплеем, имеющим диапазон глубины отображения, обозначенной стрелкой 44. Отображение данных 3D изображения выполняется в зависимости от различных кадров, причем каждый обеспечивает соответствующую частичную структуру данных 3D изображения.

Устройство отображения дополнительно включает в себя блок 19 обнаружения, подсоединенный к блоку 18 обработки, для извлечения индикатора синхронизации типа кадра из сигнала отображения 3D и для обнаружения различных типов кадра в принятом сигнале отображения 3D. Блок 18 обработки скомпонован для генерирования сигналов управления отображением на основании различных типов данных изображения, как определено частичными структурами 3D данных соответствующего формата 3D видео, например 2D изображения и кадра глубины. Соответствующие кадры распознаются и синхронизируются во времени, как обозначено соответствующими индикаторами синхронизации типа кадра.

Устройство отображения адаптировано для обнаружения информации 3D передачи, содержащей по меньшей мере информацию о количестве видео кадров в блоке, которые должны быть объединены в единственное 3D изображение в сигнале отображения 3D; и использования информации передачи 3D для генерирования сигналов управления отображением в зависимости от информации 3D передачи. Это может быть достигнуто, например, посредством приспособления блока 19 обнаружения для обнаружения информации передачи 3D и адаптации средства (18) обработки для генерирования сигналов управления отображением, в зависимости от информации 3D передачи.

Индикаторы синхронизации типа кадра позволяют обнаруживать, какие из кадров должны быть объединены для отображения в одно и то же время, и также указывают тип кадра таким образом, чтобы соответствующие частичные 3D данные могли быть извлечены и обработаны. Сигнал отображения 3D может быть передан по подходящему высокоскоростному цифровому видео интерфейсу, такому как известный интерфейс HDMI (например, см. "High Definition Multimedia Interface Specification Version 1.3a от 10 ноября 2006).

Фиг. 1 дополнительно показывает носитель 54 записи в качестве носителя данных 3D изображения. Носитель записи имеет форму диска и имеет дорожку и центральное отверстие. Дорожка, составленная последовательностью физически обнаружимых меток, располагается в соответствии с спиральным или концентрическим шаблоном поворотов, составляющих по существу параллельные дорожки на информационном слое. Носитель записи может быть оптически считываемым, называемым оптическим диском, например компакт-диском, DVD или BD (Диском Blue-ray). Информация представляется на информационном слое оптически обнаруживаемыми метками вдоль дорожки, например углублениями и плоскими участками. Структура дорожки также содержит информацию позиции, например заголовки и адреса для индикации местоположения блоков информации, обычно называемых информационными блоками. Носитель 54 записи переносит информацию, представляющую закодированные в цифровой форме данные изображения, такие как видео, например закодированное в соответствии с системой кодирования MPEG2 или MPEG4, в заранее заданном формате записи, таком как формат BD или DVD. Следует отметить, что устройство воспроизведения может поддерживать воспроизведение различных форматов, но не в состоянии перекодировать видео форматы, и устройство отображения может быть способным к воспроизведению ограниченного набора видео форматов. Это означает, что имеется обычный блок разделения, который может воспроизводиться. Следует отметить, что в зависимости от диска или контента формат может измениться во время воспроизведения/работы системы. Синхронизация в реальном времени формата должна иметь место, и переключение в реальном времени форматов обеспечивается индикатором синхронизации типа кадра.

Следующий раздел предоставляет краткий обзор трехмерных дисплеев и восприятия глубины людьми. 3D дисплеи отличаются от 2D дисплеев в том смысле, что они могут предоставить более яркое восприятие глубины. Это достигается, потому что они выдают больше оттенков (информации) глубины, чем 2D дисплеи, которые могут только показать монокулярные оттенки (монокулярную информацию) глубины и оттенки, основанные на движении.

Монокулярные (или статические) оттенки глубины могут быть получены из статического изображения, используя единственный глаз. Художники часто используют монокулярные оттенки для создания эффекта глубины в своих картинах. Эти оттенки включают в себя относительный размер, высоту относительно горизонта, заслонение, перспективы, градиенты текстуры и освещения/тени. Оттенки движения, улавливаемые глазом, являются оттенками глубины, полученными вследствие напряженности в мускулах глаз смотрящего. Глаза имеют мускулы для вращения глаз, так же как для сокращения хрусталика. Сокращение и расслабление хрусталика называется аккомодацией и осуществляется при фокусировании на изображении. Степень сокращения или расслабления мускулов хрусталика обеспечивают оттенок (информацию) для того, как далеко или близко находится объект. Вращение глаз производится таким образом, что оба глаза фокусируются на одном и том же объекте, что называют схождением. Наконец, параллаксом движения является эффект того, что близкий к зрителю объект кажется перемещающимся быстрее, чем объекты, находящиеся дальше.

Бинокулярным различием является оттенок глубины, который получается из того факта, что оба наших глаза видят немного отличное изображение. Монокулярные оттенки глубины могут быть и использоваться в любом типе 2D визуального дисплея. Для воссоздания бинокулярного различия на дисплее требуется, чтобы дисплей мог сегментировать вид для левого и правого глаза таким образом, чтобы каждый видел немного отличное изображение на дисплее. Дисплеи, которые могут воссоздать бинокулярное различие, являются специальными дисплеями, которые будут называться 3D или стереоскопическими дисплеями. 3D дисплеи в состоянии отображать изображения вдоль размерности глубины, фактически воспринятого человеческими глазами, называемые 3D дисплеем, имеющим диапазон глубины отображения, в этом документе. Следовательно, 3D дисплеи обеспечивают различный вид левому и правому глазу.

3D дисплеи, которые могут обеспечить два различных вида, были распространены долгое время. Большинство из них было основано на использовании очков для разделения вида левого и правого глаза. Теперь с расширением технологии дисплеев новые дисплеи вышли на рынок, которые могут выдавать стерео вид, не используя очки. Эти дисплеи называют автостереоскопическими дисплеями.

Первый подход основывается на дисплеях LCD, которые позволяют пользователю видеть стерео видео без очков. Они основываются на любом из двух методов, лентикулярного экрана и дисплеев с барьерным слоем. С лентикулярным экраном LCD покрывается листом лентикулярных линз. Эти линзы рассеивают свет от дисплея таким образом, что левый и правый глаза принимают свет от различных пикселей. Это позволяет показать два различных изображения, один вид для левого и один вид для правого глаза.

Альтернативой лентикулярному экрану является дисплей с барьерным слоем, который использует барьер параллакса позади LCD и впереди лампы подсветки для разделения света от пикселей в LCD. Барьер таков, что из установленной позиции перед экраном левый глаз видит другие пиксели, чем правый глаз. Барьер может также находиться между LCD и человеком-зрителем таким образом, чтобы пиксели в строке отображения поочередно были видимы левым и правым глазом. Проблемой с дисплеем с барьерным слоем является потеря в яркости и разрешении, но также и очень узком угле обзора. Это делает его менее привлекательным в качестве телевизора гостиной комнаты по сравнению с лентикулярным экраном, который, например, имеет 9 видов и множественные зоны просмотра.

Дополнительный подход все еще основывается на использовании очков с активным затвором в комбинации с мультимедийным проектором с высоким разрешением, который может отображать кадры с высокой скоростью обновления (например, 120 Гц). Высокая скорость обновления требуется, так как в способе с очками с активным затвором вид левого и правого глаза отображается поочередно. Для зрителя, носящего очки, воспринимается стерео видео при 60 Гц. Способ с использованием очков с активным затвором позволяет воспроизводить видео высокого качества и с большим уровнем глубины.

Автостереоскопические дисплеи и способ с очками с активным затвором действительно оба страдают от несоответствия аккомодации-схождения. Это действительно ограничивает степень глубины и время, когда может быть удобно просматриваемым с использованием этих устройств. Есть другие технологии отображения, такие как голографические и объемные дисплеи, которые не страдают от этой проблемы. Следует отметить, что настоящее изобретение может использоваться для любого типа 3D дисплея, который имеет диапазон глубины.

Данные изображения для 3D дисплеев предполагаются как доступные в качестве электронных, обычно цифровых, данных. Настоящее изобретение относится к таким данным изображения и управляет данными изображения в цифровой области. Данные изображения, при передаче от источника, могут уже содержать 3D информацию, например при использовании сдвоенных камер или специализированной системы предварительной обработки, может быть вовлечена для (повторного) создания информации 3D из 2D изображений. Данные изображения могут быть статическими, как слайды, или могут включать в себя движущееся видео, как фильмы. Другие данные изображения, обычно называемые графическими данными, могут быть доступны в качестве объектов, хранящихся или генерируемых «на лету», как требуется приложением. Например, пользовательская информация управления, такая как меню, элементы навигации или текст и аннотации помощи, могут быть добавлены к другим данным изображения.

Имеется множество различных способов, которыми стерео изображения могут быть отформатированы, называемых форматом 3D изображения. Некоторые форматы основываются на использовании 2D канала, чтобы также переносить информацию стерео. Например, левый и правый вид могут чередоваться или могут быть помещены рядом, и выше, и ниже. Эти способы жертвуют разрешением для переноса информации стерео. Другая опция состоит в жертвовании цветом, этот подход называют анаглифическим стерео. Анаглифическое стерео использует спектральное мультиплексирование, которое основывается на отображении двух раздельных наложенных изображений в дополнительных цветах. При использовании очков с цветными фильтрами каждый глаз видит только изображение того же самого цвета, что и фильтр перед глазом. Таким образом, например, правый глаз видит только красное изображение и левый глаз - только зеленое изображение.

Различный формат 3D основывается на двух видах, используя 2D изображение и дополнительное изображение глубины, так называемую карту глубины, которая передает информацию о глубине объектов в 2D изображении. Формат, называемый изображение + глубина, отличается в том, что он является комбинацией 2D изображения с так называемой "глубиной" или картой различий. Он является изображением со шкалой уровней серого, посредством чего значение шкалы уровней серого пикселя указывает величину различия (или глубину в случае карты глубины) для соответствующего пикселя в ассоциированном 2D изображении. Устройство отображения использует эти различие, глубину или карту параллакса для вычисления дополнительных видов, принимающих 2D изображение в качестве ввода. Это может быть сделано множеством способов, в самой простой форме это способ смещения пикселей влево или вправо, в зависимости от значения различия, связанного с этими пикселями. Статья, названная " Depth image based rendering, compression and transmission for a new approach on 3D TV" от Christoph Fen дает превосходный краткий обзор этой технологии (см. http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf).

Фиг. 2 показывает пример данных 3D изображения. Левая часть данных изображения является 2D изображением 21, обычно в цвете, и правая часть данных изображения является картой 22 глубины. Информация 2D изображения может быть представлена в любом подходящем формате изображения. Информация карты глубины может быть дополнительным потоком данных, имеющим значение глубины для каждого пикселя, возможно с уменьшенным разрешением по сравнению с 2D изображением. На карте глубины значения шкалы уровней серого указывают глубину ассоциированного пикселя в 2D изображении. Белый указывает близко к зрителю, и черный указывает большую глубину, дальше от зрителя. 3D дисплей может вычислить дополнительный вид, требуемый для стерео, посредством использования значения глубины из карты глубины и вычисляя требуемые преобразования пикселя. Заслонения могут быть преодолены, используя оценку или способы заполнения пустот. Дополнительные кадры могут быть включены в поток данных, например дополнительно добавлены к изображению и карте формата глубины, в качестве карты заслонения, карты параллакса и/или карты прозрачности для прозрачных объектов, перемещающихся перед фоном.

Добавление стерео к видео также воздействует на формат видео, когда его посылают от устройства воспроизведения, такого как устройство воспроизведения дисков Blu-ray, на стерео дисплей. В случае 2D посылается только поток 2D видео (декодированные данные картинки). С видео стерео он увеличивается, так как теперь второй поток должен быть послан, содержащий второй вид (для стерео) или карту глубины. Это может удвоить требуемую скорость передачи битов по электрическому интерфейсу. Другой подход должен пожертвовать разрешением и отформатировать поток таким образом, что второй вид или карта глубины чередовались или располагались рядом с 2D видео.

Фиг. 2 показывает пример 2D данных и карты глубины. Глубина отображает параметры, которые посылаются на дисплей, чтобы позволить дисплею правильно интерпретировать информацию глубины. Примеры включения дополнительной информации в видео описаны в стандарте 23002-3 ISO "Представление вспомогательного видео и дополнительной информации" (например, см. ISO/IEC JTC1/SC29/WG11 N8259, июль 2007). В зависимости от типа вспомогательного потока дополнительные данные изображения состоят как из 4, так и из двух параметров. Индикатор синхронизации типа кадра может содержать индикатор формата 3D видео, указывающий соответствующий формат передачи 3D видео в последующей секции сигнала отображения 3D. Это позволяет указывать или изменять формат передачи 3D видео, или сбрасывать последовательность передачи, или устанавливать, или сбрасывать дополнительные параметры синхронизации.

В варианте осуществления индикатор синхронизации типа кадра включает в себя индикатор последовательности кадра, указывающий частоту по меньшей мере одного типа кадра. Следует отметить, что некоторые типы кадра допускают более низкую частоту передачи без существенного ухудшения воспринятого 3D изображения, например данных заслонения. Более того, порядок различных типов кадров может быть обозначен в качестве последовательности различных типов кадров, которые должны быть повторены.

В варианте осуществления индикатор синхронизации типа кадра и информация передачи 3D включают в себя порядковый номер кадра. Индивидуальные кадры могут также выдаваться с порядковым номером кадра. Порядковый номер регулярно увеличивается, например, когда все кадры, составляющие единственное 3D изображение, посылаются, и последующие кадры принадлежат следующему 3D изображению. Следовательно, номер различен для каждого цикла синхронизации, или может меняться только для большей секции. Следовательно, когда переход выполняется, последовательность кадров, имеющих одинаковые соответствующее порядковые номера, должна быть передана прежде, чем отображение изображения может быть возобновлено. Устройство отображения обнаруживает отклоняющийся порядковый номер кадра и будет только объединять полный набор кадров. Это предотвращает использование ошибочной комбинации кадров после перехода к новому местоположению.

При добавлении графики к видео, дополнительные отдельные потоки данных могут использоваться для наложения дополнительных уровней в блоке отображения. Такие данные уровня включаются в различные типы кадра, которые маркируются отдельно посредством добавления соответствующих индикаторов синхронизации типа кадра в сигнале отображения 3D, как более подробно описано ниже. Формат передачи 3D видео теперь содержит главное видео и по меньшей мере один дополнительный уровень видео, переданный с помощью соответствующих типов кадра, и индикатор синхронизации типа кадра содержит по меньшей мере одно из: индикатора типа главного кадра и индикатора типа кадра дополнительного уровня. Дополнительный уровень видео может, например, быть субтитрами или другой графической информацией, такой как меню или любыми другими данными экрана (OSD).

Возможный формат для блоков кадров описывается со ссылками на фиг. 4-7. Этот формат был также описан в заявке ЕР 09150947.1 (Номер PH 012841 заявителя), приоритет которой испрашивается и который включается в настоящее описание по ссылке.

Принятый сжатый поток содержит 3D информацию, которая позволяет объединять и визуализировать как на стереоскопическом, так и на автостереоскопическом дисплее, то есть сжатый поток содержит левый и правый видео кадр, и информацию глубины (D), прозрачности (T) и заслонения (O) для обеспечения визуализации на основании информации 2D + глубины. Далее информация глубины (D), прозрачности (T) и заслонения (O) будут сокращенно называться DOT.

Наличие как Стерео, так и DOT в качестве сжатых потоков допускает объединение и визуализацию, которая оптимизируется дисплеем, в зависимости от типа и размера дисплея, в то время как составление все еще управляются контентом автора. Следующие компоненты передаются по интерфейсу дисплея:

- Декодированные видео данные (не смешанные с PG и IG/BD-J)

- Данные презентационной графики (PG)

- Данные интерактивной графики (IG) или графики, генерируемой BD-Java (BD-J)

- Декодированное Видео DOT

- презентационная графика (PG) DOT

- Интерактивная графика (IG) или графика, генерируемая BD - Java (BD-J)

Фиг. 4 и 5 показывают схематично блоки кадров для посылки по видео интерфейсу.

Этап вывода посылает по интерфейсу (Предпочтительно HDMI) блоки из 6 кадров, организованных следующим образом.

Кадр 1: компоненты YUV Левого (L) видео и DOT видео объединяются в одном выходном кадре RGB 24 Гц, компоненты, как иллюстрировано в верхней части чертежа фиг. 9. YUV определяют обычным образом в поле видео обработки стандартных компонентов яркости (Y) и цветоразностного сигнала (UV).

Кадр 2: Правое (R) видео посылается не модифицированным, предпочтительно при 24 Гц, как иллюстрировано в нижней части фиг. 9.

Кадр 3: цвет PC (PG-C) посылается не модифицированным, как компоненты RGB, предпочтительно при 24 Гц.

Кадр 4: прозрачность цвета PG скопирована в отдельную графическую плоскость вывода DOT и объединена с компонентами глубины и заслонения 960x540 и глубины заслонения (OD) для различных плоскостей, как иллюстрировано в верхней части чертежа фиг. 10.

Кадр 5: BD-J/IG цвет (C) посылается не модифицированным предпочтительно при 24 Гц.

Кадр 6: прозрачность Цвета BD-J/IG копируется в отдельную плоскость вывода графики DOT и объединяется с компонентами глубины и заслонения 960x540 и глубиной заслонения (OD), как иллюстрировано внизу на фиг. 10.

Фиг. 6 схематично показывает время вывода кадров по видео интерфейсу, согласно предпочтительному варианту осуществления изобретения. В настоящем описании посылаются чередующиеся компоненты при 24 Гц во времени по интерфейсу HDMI на частоте интерфейса 144 Гц к дисплею.

Преимущества этого формата 3D видео:

- формат гибкого 3D стерео полного разрешения + DOT и выход HDMI 3D, который разрешает возможности расширенного 3D видео (возможную базовую линию для зависимости от размера дисплея) и расширенной 3D графики (меньше графических ограничений, 3D телевидение OSD) для различных 3D дисплеев (стерео и авто стереоскопических).

- Без компромиссов к качеству создание гибкости и с минимальными денежными затратами на аппаратное обеспечение устройства отображения. Объединение и визуализация выполняются в 3D дисплее.

- Требуемая более высокая скорость видео интерфейса определяется в HDMI для форматов 4k2k и может уже быть реализована с HDMI с двойной линией связи. HDMI с двойной линией связи также поддерживает более высокоскоростные передачи кадра, такие как 30 Гц и т.д.

Индикатор 3D информации передачи может содержать, для дополнительного уровня видео, параметры сигнализации уровня. Параметры могут быть указывающими по меньшей мере одно из:

- тип и/или формат дополнительного уровня;

- местоположение отображения дополнительного уровня относительно отображения главного видео;

- размер отображения дополнительного уровня;

- время появления, исчезновения и или продолжительности отображения дополнительного уровня;

- дополнительные настройки 3D дисплея или параметры 3D дисплея.

Дополнительно подробные примеры описаны ниже.

Фиг. 3 показывает комбинацию устройства воспроизведения и устройства отображения. Устройство 10 отображения считывает возможности дисплея 13 и настраивает формат и параметры тактирования видео для посылки видео с самым высоким разрешением, в пространстве, а также во времени, которые дисплей может обрабатывать. На практике используется стандарт, называемый EDID. Расширенные идентификационные данные отображения (EDID) является структурой данных, выдаваемой устройством отображения для описания его возможностей источнику изображения, например графической карте. Это позволяет современному персональному компьютеру узнать, какой монитор подсоединен. EDID определяется по стандарту, опубликованному Video Electronics Standards Association (VESA). Подробности см. VESA DisplayPort Standard версии 1, выпуск 1a, 11 января 2008, доступной на http://www.vesa.org/.

EDID включает в себя название изготовителя, тип продукта, тип люминофора или фильтра, тактирования, поддерживаемые дисплеем, размер дисплея, данные яркости и (только для цифровых отображений) данные отображения пикселей. Канал для передачи EDID от дисплея к графической карте является обычно так называемой шиной I²C. Комбинацию EDID и I²C называют Каналом Отображения Данных версии 2 или DDC2. Эти 2 отличия и отличают его от оригинального DDC VESA, которая использует другой последовательный формат. EDID часто хранится в мониторе в устройстве памяти, называемом последовательной PROM (программируемая постоянная память) или EEPROM (электрически стираемая PROM), которая совместима с шиной I²C.

Устройство воспроизведения посылает запрос E-EDID на дисплей по каналу DDC2. Дисплей отвечает посылкой информации E-EDID. Устройство воспроизведения определяет наилучший формат и начинает передавать по каналу видео. В старых типах дисплеев дисплей непрерывно посылает информацию E-EDID по каналу DDC. Никакой запрос не посылается. Для дополнительного задания формата видео при использовании по интерфейсу, дополнительная организация (Ассоциация Электронных Товаров Широкого Потребления; CEA), определила несколько дополнительных ограничений и дополнений к E-EDID, чтобы сделать его более подходящим для использования с телевизионным типом дисплеев. Стандарт HDMI (на который имеется ссылка выше) в дополнение к конкретным требованиям E-EDID поддерживает коды идентификации и относится к информации тактирования для многих различных форматов видео. Например, стандарт CEA 861-D принимается в стандарте интерфейса HDMI. HDMI определяет физическую линию связи, и он поддерживает стандарты CEA 861-D и VESA E-EDID для обработки сигнализации более высокого уровня. Стандарт VESA E-EDID позволяет дисплею указывать, поддерживает ли он передачу стереоскопического видео и в каком формате. Следует отметить, что такая информация о возможностях дисплея передается назад к устройству источника. Известные стандарты VESA не определяют какую-либо 3D передачу информации, которая управляет обработкой на 3D дисплее.

В варианте осуществления информация передачи 3D в сигнале отображения 3D передается асинхронно, например в качестве отдельного пакета в потоке данных, идентифицируя соответствующий кадр, к которому он относится. Пакет может включать в себя дополнительные данные для кадра, точно синхронизируя с видео, и может быть вставлен в подходящее время в интервалы сигналов гашения между последовательными видео кадрами. В практическом варианте осуществления информация передачи 3D вставляется в пакеты в изолированные данные HDMI.

Пример включения информации передачи 3D во Вспомогательную Видео Информацию (AVI), как определено в HDMI в потоке аудио видео данных (AV), заключается в следующем. AVI переносится в потоке AV от устройства источника к Монитору цифрового телевидения (DTV) в качестве Кадра Информации. Если устройство источника поддерживает передачу Вспомогательной Видео Информации (AVI), и если оно определяет, что Монитор DTV способен к приему этой информации, то оно должно посылать AVI в Монитор DTV единожды в период VSYNC. Данные относятся к следующему полному кадру данных видео.

В следующем разделе представлено краткое описание сигнализации HMDI. В HDMI устройство с выходом HDMI известно как источник, в то время как устройство с входом HDMI известно как приемник. Кадром информации является структура данных, определенная в CEA-861-D, которая разработана для переноса множества вспомогательных элементов данных, относящихся к аудио или видео потокам или устройству источника, и переносится от Источника к Приемнику по HDMI. Полем видео является период от одного активного фронта VSYNC до следующего активного фронта VSYNC. Формат видео достаточно определяется таким образом, что, когда он принимается в мониторе, монитор имеет достаточно информации, чтобы должным образом отобразить видео пользователю. Определение каждого формата включает в себя Тактирование Формата Видео, соотношение сторон картинки и колориметрическое пространство. Тактирование Видео Формата имеет форму волны, ассоциированной с видео форматом. Следует отметить, что конкретное Тактирование Формата Видео может быть ассоциировано больше чем с одним Форматом Видео (например, 720X480p@4:3 и 720X480p@16:9).

HDMI включает в себя три отдельных канала связи: TMDS, DDC и опциональный CEC. TMDS используется для переноса всех аудио и видео данных, а также вспомогательных данных, включающих в себя AVI и кадры аудио информации, которые описывают активные аудио и видео потоки. Канал DDC используется Источником HDMI для определения возможностей и характеристик приема, считывая структуру данных E-EDID.

Предполагается, что источники HDMI служат для считывания E-EDID приемника и доставки только аудио и видео форматов, которые поддерживаются приемником. В дополнение, предполагается, что приемник HDMI служит для обнаружения кадров информации и для обработки принятых аудио и видео данных соответствующим образом.

Канал CEC опционально используется для пользовательских функций более высокого уровня, таких как задачи автоматические установки или задачи, обычно ассоциированные с использованием инфракрасного удаленного устройства управления.

Линия связи HDMI работает в одном из трех режимов: Период Данных Видео, период Изолированных Данных и период Управления. Во время Периода Данных Видео передаются активные пиксели активной видео линии. Во время периода Изолированных Данных аудио и вспомогательные данные передаются, используя последовательность пакетов. Период Управления используется, когда видео, аудио или вспомогательные данные не должны быть переданы. Период Управления требуется между любыми двумя периодами, которые не являются Периодами Управления.

Таблица 1 Иллюстрирует типы пакетов в изолированных данных HDMI Значение типа пакета Тип пакета 0х00 Пустой (Null) 0х01 Регенерация тактовых импульсов Аудио (N/CTS) 0х02 Выборка аудио (сжатые форматы L-PCM и IEC 61935) 0х03 Общее управление 0х04 Пакет ACP 0х05 Пакет ISRC1 0х06 Пакет ISRC2 0х07 Однобитный пакет выборки аудио 0х08 Пакет аудио DST 0х09 Пакет (IEC 61937) аудио потока c высокой скоростью передачи данных (HBR) 0х0А Пакет метаданных цветовой гаммы 0х80+тип кадра информации Пакет кадра информации   0х81 Кадр информации конкретного производителя 0х82 Кадр информации AVI 0х83 Кадр информации дескриптора исходного продукта 0х84 Кадр информации аудио 0х85 Кадр информации источника MPEG

Изобретателями было идентифицировано, что современные Пакет кадра Информации, кадр информации AVI и т.д. не являются подходящими для обработки данных 3D видео.

Обычно передача данных 3D видео может быть охарактеризована 3-мя параметрами:

- VIC (скоростью повторения пикселя) из таблицы 8.7 в спецификации HDMI, например 1920x1080p@60 Гц

- количеством кадров в блоке кадров единственного 3D изображения

N=1 для моноскопического изображения

N=2 для стерео и видео+глубина

N=3 для видео+глубина+графика

N=4 для MVD @ M=2 и т.д.

N=6 для блока, определенного с ссылкой на фиг. 4-6

- форматом: путем мультиплексирования каналов

- с чередованием кадров

- с чередованием полей

- с чередованием строк

- находящихся рядом (бок о бок)

- находящимся в шахматном порядке и т.д.

Фиг. 8 показывает сигнал горизонтального и вертикального гашения и сигнализацию для Формата а*D+DOT@1920 пикселей. Этот чертеж показывает схему мультиплексирования для мультиплексирования с чередованием кадров. На примере 5 кадры, обозначенные Vactive/5, составляют 3D изображение формата 3D+DOT, где кадры последовательно располагаются в блоке между импульсами вертикальной синхронизации VSYNC 3D сигнала, обозначенного Vfreq. Импульсы вертикальной синхронизации указывают период Vactive данных видео, начинающийся после сигнала гашения Vblank, в периоде которого последовательно располагаются кадры. Аналогично, импульсы сигнала горизонтального гашения HSYNC указывают период Hactive строк, начинающийся после сигнала горизонтального гашения Hblank. Следовательно схема мультиплексирования с чередованием кадров указывает количество кадров, последовательно располагающихся в упомянутом периоде данных видео.

Фиг. 9 показывает сигнал горизонтального и вертикального гашения и сигнализацию для формата a*D+DOT 720 пикселей, посланных в качестве 1920 прогрессивной развертки @30Hz. Этот чертеж показывает схему мультиплексирования для мультиплексирования находящихся рядом кадров. На примере 5 кадры, обозначенные Hactive/5, составляют 3D изображение формата 3D+DOT, где кадры располагаются бок о бок в блоке между вертикальным импульсом VSYNC синхронизации 3D сигнала, обозначенного Vfreq. Импульсы вертикальный синхронизации указывают период данных видео Vactive, начинающийся после сигнала вертикального гашения Vblank, в периоде которого кадры размещаются бок о бок. Аналогично импульсы сигнала горизонтального гашения HSYNC указывают период Hactive строк, начинающийся после сигнала горизонтального гашения Hblank. Следовательно, схема мультиплексирования находящихся рядом кадров указывает упомянутое количество кадров, последовательно располагаемых в упомянутом периоде данных видео.

Для максимальной гибкости, в соответствии с изобретением, вышеупомянутые параметры схемы мультиплексирования должны быть переданы в трех отдельных полях.

В варианте осуществления настоящего изобретения их посылают в кадрах информации AVI и/или Кадрах Информации конкретного Производителя HDMI.

В следующем подробном варианте осуществления в случае интерфейсов HDMI представлены:

Таблица 2, описывающая релевантный байт пакета кадра информации в соответствии с предпочтительным вариантом осуществления настоящего изобретения.

В ней HDMI_VIC0... HDMI_VIC7 описывают Код Идентификации Формата Видео. При передаче любого формата видео, определенного в этом разделе, Источник HDMI должен установить поле HDMI_VIC в Коде Видео для этого формата.

В ней HDMI_3D_FMT0... HDMI_3D_FMT описывают Код 3D Формата. При передаче любого формата видео, определенного в этом разделе, Источник HDMI должен устанавливать поле 3D Формата HDMI в Коде Видео для этого формата.

Таблица 2 № Байта пакета 7 6 5 4 3 2 1 0 PB0 Идентификатор (0х000С03)) регистрации IEEE 24 бит
(Наименьший значащий байт первый) PB1 PB2 PB3 HDMI_
VIC7 HDMI_
VIC6 HDMI_
VIC5 HDMI_
VIC4 HDMI_
VIC3 HDMI_
VIC2 HDMI
VIC1 HDMI
VIC0 PB4 HDMI_
3D_FM
T7 HDMI_
3D_FM
T6 HDMI_
3D_FM
T5 HDMI_
3D_FM
T4 HDMI_
3D_FM
T3 HDMI_
3D_FM
T2 HDMI_
3D_FM
T1 HDMI_
3D_FM
T0 PB5~(Nv-4) Зарезервированный (0)        

Согласно изобретению, дополнительные значения формата тактирования видео, которые идентифицируются номерами HDMI_VIC, определены для передачи 3D (стереоскопической).

Следующие форматы видео используются для 3D передачи. Левая и правая картинка для наблюдения каждым глазом могут уникально отличаться, используя определение формата видео этого раздела таким образом, чтобы любой другой дополнительный пакет информации не был необходим. Таблица 3 показывает значение HDMI_VIC, которое описывается в связанном EDID и Кадре Информации.

Таблица 3 HDMI_VIC для передачи 3D       (Гц)     HDMI_VIC Hactive Vactive V freq Нет каналов Описание 1 1920 1080 60 1 Полное HD 1080i 60Гц 2 1920 1080 50 1 Полное HD 1080i 50Гц 3 1920 1080 60 1 Полное HD 1080p 60Гц 4 1920 1080 50 1 Полное HD 1080p 50Гц 5 1920 1080 24 1 Полное HD 1080p 24Гц 6 1920 1080 60 2 Полное HD 1080i 60Гц 7 1920 1080 50 2 Полное HD 1080i 50Гц 8 1920 1080 60 2 Полное HD 1080p 60Гц 9 1920 1080 50 2 Полное HD 1080p 50Гц 10 1920 1080 24 2 Полное HD 1080p 24Гц 11 1920 1080 60 3 Полное HD 1080i 60Гц и т.д. и т.д. и т.д. и т.д. и т.д. и т.д.

Согласно изобретению формат частного мультиплексирования HDMI 3D каналов идентифицируется номерами HDMI_3D_FMT, пример которых определяется в таблице 4.

Для передачи 3D (стереоскопической)

Следующие форматы 3D используются для 3D передачи. Формат мультиплексирования информации в каналах передачи 3D может быть уникально отличен от использования определения 3D формата этого раздела таким образом, чтобы любой другой дополнительный пакет информации не был необходим. Таблица 4 показывает значение HDMI_3D_Format, который описывается в EDID и относящемся Кадре Информации.

Таблица 4 HDMI_3D_FMT для передачи 3D Код HDMI_3D FMT Описание 1 Чередование кадров 2 Чередование полей 3 Чередование строк 4 Бок о бок 5 2D+D 6 2D+D+gfx1 7 L+DL+R+DR

Таблица 5 HDMI_VIC для расширенной передачи разрешения           Гц мГц   HDMI_VIC Hactive Vactive Hblank VBlank Vfreq Частота пикселей Описание 14 1920 5400 280 45 24 287.496 FullHD 1080p 24Гц DOT 15 6400 720 370 30 60 304.650 FullHD 1280p 60Гц DOT 16 9600 1080 280 45 30 333.450 FullHD 1080p 30Гц DOT

В соответствии с изобретением, устройство воспроизведения в состоянии посылать Метаданные 3D от Источника к приемнику (помимо прочего):

- формат контента

- Сигнализацию 2D/3D в реальном времени

- Синхронизацию

- Рекомендуемое поле обзора

- Информацию субтитров

В соответствии с настоящим изобретением, дополнительные Метаданные 3D контента могут быть включены в передаваемые данные 3D видео, при этом метаданные предпочтительно согласованы с главным форматом 3D SMPTE.

Перечислены несколько опций; метаданные могут быть включены в одно из следующего:

- тип (CEA) кадра 3D информации,

- кадр информации AVI,

- кадр информации конкретного производителя (VSIF), CEC.

В следующем разделе секции представлены конкретные варианты осуществления для посылки информации стерео или случая, в котором блоки содержат два кадра. Предложено использовать информацию черной полосы в кадрах информации AVI для вмещения индикатора синхронизации типа кадра, например для сигнализации лево - право и дополнительной информации для надлежащей визуализации 3D видео на дисплее. Кадром информации AVI является блок данных, который посылается по меньшей мере в каждых двух полях. По этой причине существует единственный кадр информации, который может передавать сигнализацию на основании кадров, что является требованием, если он должен использоваться для синхронизации стереоскопического видео сигнала. Преимущество этого решения заключается в том, что по сравнению с другими решениями, которые полагаются на относительную сигнализацию или которые полагаются на кадры информации конкретного производителя, заключается в том, что оно совместимо с текущими наборами микросхем для HDMI, и что оно выдает точную кадровую синхронизацию и достаточный размер (8 байт) для сигнализации.

В альтернативном варианте осуществления предлагается использовать биты преамбулы, как определено в HDMI, для сигнализации, что данные видео, которые следуют, являются левым или правым кадром видео. Глава 5.2.1.1 HDMI определяет, что непосредственно предшествующей каждому Периоду Видео данных или Периоду изолированных Данных является Преамбула. Это последовательность из восьми идентичных символов Управления, которые указывают, является ли наступающий период данных Периодом Данных Видео или является Изолированными Данными. Значения CTL0, CTL1, CTL2 и CTL3 указывают тип периода данных, который следует далее. Остающиеся сигналы Управления HSYNC и VSYNC могут изменяться во время этой последовательности. Преамбула в настоящее время составляет 4 бита, CTL0, CTL1 CLT3 и CTL4. В настоящее время только 1000 и 1010 используются в качестве значений. Например, значения 1100 или 1001 теперь могут определяться для указания, что данные видео содержат или левый, или правый видео кадр или чередование кадров, которые содержат изображение и/или информацию глубины. Также биты преамбулы могут только указывать тип 3D кадра или первый 3D кадр последовательности, в то время как дополнительное различение типов кадра может быть согласно последовательности синхронизации типа кадра, заданной дополнительным кадром данных. Кроме того, сигнализация HSYNC и VSYNC может быть адаптирована для передачи по меньшей мере части синхронизации типа кадра, например, является ли кадр левым или правым видео кадром. HSYNC размещается для предшествования данным видео левого кадра и VSYNC - правого кадра информации видео. Тот же самый принцип может быть применен к другим типам кадра, таким как 2D изображение и информация глубины.

Фиг. 10 показывает таблицу кадров информации AVI расширенной индикатором синхронизации типа кадра. Кадр информации AVI определяется CEA и принятым HDMI и другими стандартами передачи видео для выдачи сигнализации кадра в цвете и осуществления выборки насыщенности цвета, растяжения или сжатия развертки при просмотре и формата изображения. Дополнительная информация была добавлена для реализации индикатора синхронизации типа кадра следующим образом.

Последний бит байта данных 1; F17 и последний бит байта данных 4; F47 зарезервированы в стандартном кадре информации AVI. В варианте осуществления индикатора синхронизации типа кадра они используются для указания наличия стереоскопической сигнализации в информации черной полосы. Информация черной полосы обычно содержится в байтах 6-13 Данных. Байты 14-27 обычно зарезервированы в HDMI и поэтому могут быть неправильно переданы с современным аппаратным обеспечением. Поэтому эти поля используются для обеспечения менее критичной информации местоположения OSD. Синтаксис таблицы следующий. Если F17 установлен (=1), то байт данных вплоть до 13 содержит информацию 3D параметра. Случаем по умолчанию является то, когда F17 не установлен (=0), что значит, что информации 3D параметра нет.

Байты 12-19 данных указывают местоположение наложения OSD/субтитров. Дополнительный уровень может быть меньше, чем главный уровень видео, и размещаться на основании данных местоположения байтов 12-19. Это позволяет дисплею 3D выполнять конкретную визуализацию в области экрана, обозначенной индикатором синхронизации типа кадра. Индикатор синхронизации типа кадра может дополнительно включать в себя информацию тактирования синхронизации для указания того, когда информация субтитров/OSD должна появиться и/или исчезнуть, например в байтах 20-27 данных, названных параметрами Визуализации на Фиг. 10.

Фиг. 11 показывает таблицу форматов 3D видео. Значения, которые находятся в левой колонке, каждое указывает конкретный формат видео, имеющий соответствующие различные типы кадра. Выбранное значение включено в индикатор синхронизации кадров, например Байт 7 Данных в Таблице на фиг. 10. Байт 7 Данных описывает формат стереоскопического видео, который передается источником (устройством воспроизведения). Таблица на фиг. 11 перечисляет некоторые из возможных значений. Значение 0 указывает, что ассоциированный кадр является 2D, это полезно при передаче сегментов 2D видео во время заголовка 3D. Устройство отображения (3D-телевизор) может адаптировать свою внутреннюю обработку изображения к этому изменению формата 3D видео, например выключать временно преобразование с повышением частоты в случае формата последовательности кадров.

Фиг. 12 показывает сигнал синхронизации кадров. Сигнал синхронизации может быть включен в индикатор синхронизации кадров, например Байт 8 Данных на Фиг. 10. Байт 8 данных переносит сигнал синхронизации стерео, в то время как Фиг. 12 показывает формат синхронизации сигнала. Сигнал синхронизации указывает формат контента видео кадра видео.

Значения байтов 9 и 10 данных на Фиг. 10 зависят от формата видео. Например для (авто)стереоскопического видео они указывают максимальный и минимальный параллакс видео контента. Альтернативно, они могут указывать смещение и коэффициент масштабирования информации "глубины". В случае более высокого требования к точности в битах (то есть 10-битовой глубины) могут использоваться дополнительные регистры для сохранения более младших битов.

Фиг. 13 показывает значения для дополнительных уровней видео. Формат видео может быть расширен, посредством разрешения отдельно включать кадры для дополнительных уровней, подобных субтитрам или меню (Данные На Экране OSD) в сигнал 3D видео. На Фиг. 4 байт 11 Данных может указывать наличие наложения OSD или субтитров. Фиг. 13 показывает количество значений параметра формата видео для указания дополнительных уровней. Остающиеся байты 20-27 на Фиг. 10 могут использоваться для обеспечения конкретных параметров для указания информации для масштабирования глубины и информации заслонения, относящейся к 3D дисплеям.

Следует отметить, что изобретение может быть реализовано в аппаратном обеспечении и/или программном обеспечении, используя программируемые компоненты. Способ для реализации изобретения имеет этапы обработки, соответствующие передаче данных 3D изображения, описанных со ссылками на фиг. 1. Хотя изобретение было главным образом пояснено вариантами осуществления, использующими оптические несущие записи или Интернет, изобретение является также подходящим для любой среды сопряжения изображений, такой как интерфейс отображения 3D персонального компьютера [PC], или медиа центр 3D PC, подсоединенный к беспроводному устройству отображения 3D.

Изобретение может быть подытожено следующим образом: описывается система передачи данных трехмерного (3D) изображения. Устройство источника 3D обеспечивает сигнал отображения 3D для отображения с помощью высокоскоростного цифрового интерфейса, такого как HDMI. Сигнал отображения 3D содержит последовательность кадров, составляющих данные 3D изображения согласно формату передачи 3D видео. Последовательность кадров содержит блоки, каждый блок соответствует кадрам, содержащим информацию видео, предназначающуюся для объединения и отображения в качестве 3D изображения; каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и представляет частичную структуру 3D данных. Устройство источника 3D включает в себя информацию 3D передачи, содержащую по меньшей мере информацию о количестве видео кадров в блоке, которые должны быть объединены в единственное 3D изображение в сигнале отображения 3D. Дисплей обнаруживает информацию передачи 3D и генерирует сигналы управления отображением на основании зависимости от информации 3D передачи. Информация передачи 3D предпочтительно дополнительно содержит информацию о схеме мультиплексирования для мультиплексирования кадров в сигнале отображения 3D и наиболее предпочтительно содержит информацию о размере в пикселях и значение частоты для кадров.

Следует отметить, что в этом документе слово «содержащий» не исключает наличие других элементов или этапов, чем те, что перечислены, и слово ”a” или ”an” перед элементом не исключает наличия множества таких элементов, что любые признаки ссылки не ограничивают объем формулы изобретения, что изобретение может быть реализовано и аппаратным обеспечением, и программным обеспечением, и что несколько «средств» или «блоков» могут быть представлены одним и тем же элементом аппаратного обеспечения или программного обеспечения, и процессор может выполнять функцию одного или более блоков, возможно совместно с элементами аппаратного обеспечения. Дополнительно, изобретение не ограничивается вариантами осуществления и заключается в каждом новом признаке или комбинации признаков, описанных выше.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении гибкости передачи сигналов 3D видео на устройство отображения. Способ передачи данных трехмерного [3D] изображения, в котором устройство источника 3D выдает сигнал отображения 3D на дисплей с помощью высокоскоростного цифрового интерфейса, такого как HDMI. Сигнал отображения 3D содержит последовательность кадров. Последовательность кадров содержит блоки, каждый блок соответствует кадрам, содержащим видео информацию, предназначенную для объединения и отображения в качестве 3D изображения. Устройство источника 3D включает в себя информацию передачи 3D, содержащую по меньшей мере информацию о видео кадрах в блоке. Дисплей обнаруживает информацию передачи 3D и генерирует сигналы управления отображением на основании зависимости от информации передачи 3D. Информация передачи 3D в дополнительном пакете кадра информации содержит информацию о схеме мультиплексирования кадров для мультиплексирования в сигнале отображения 3D, причем схема мультиплексирования выбирается из группы схем мультиплексирования, включающих в себя мультиплексирование с чередованием кадров, чередование кадров указывает упомянутое количество кадров, последовательно располагаемых в упомянутом периоде данных видео. 4 н. и 11 з.п. ф-лы, 13 ил., 5 табл.

1. Способ передачи данных трехмерного [3D] изображения, причем способ содержит в устройстве источника 3D:
- обработку данных изображения источника для генерирования сигнала отображения 3D, причем сигнал отображения 3D содержит последовательность кадров, составляющих данные 3D изображения согласно формату передачи 3D видео, причем формат 3D видео содержит период данных видео, во время которого передаются пиксели активного видео, и период изолированных данных, во время которого передаются аудио и вспомогательные данные, используя последовательность пакетов, причем пакеты включают в себя пакет кадра информации, и
- вывод сигнала отображения 3D;
и, на устройстве отображения 3D:
- прием сигнала отображения 3D, и
- обработку сигнала отображения 3D для генерирования сигналов управления отображением для визуализации данных 3D изображения на 3D дисплее, причем последовательность кадров содержит блоки, блок является периодом от сигнала вертикальной синхронизации до следующего сигнала вертикальной синхронизации, при этом каждый блок соответствует количеству кадров, располагаемых согласно схеме мультиплексирования, количество кадров содержит видео информацию, предназначенную для объединения и отображения в качестве 3D изображения;
- каждый кадр в блоке имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру 3D данных, и
при этом способ содержит в устройстве источника 3D:
- включение информации передачи 3D в дополнительный пакет кадра информации, при этом информация передачи 3D содержит по меньшей мере информацию о схеме мультиплексирования, включающую в себя количество кадров видео в блоке, которые должны быть объединены в единственное 3D изображение в сигнале отображения 3D, причем схема мультиплексирования выбирается из группы схем мультиплексирования, содержащих по меньшей мере мультиплексирование с чередованием кадров, причем чередование кадров указывает упомянутое количество кадров, последовательно располагаемых в упомянутом периоде данных видео; и
- выполнение упомянутого генерирования сигналов управления отображением в зависимости от информации передачи 3D.

2. Способ по п.1, в котором в информации о схеме мультиплексирования группа схем мультиплексирования дополнительно содержит по меньшей мере одно из:
- мультиплексирования с чередованием полей;
- мультиплексирования с чередованием строк;
- мультиплексирования кадров, находящихся бок о бок, где мультиплексирование кадров, находящихся бок о бок, указывает упомянутое количество кадров, располагающихся бок о бок в упомянутом периоде данных видео;
- мультиплексирования кадров 2D и глубины;
- мультиплексирования кадров 2D, глубины, графики и глубины графики.

3. Способ по п.1, в котором информация передачи 3D включает в себя информацию размера в пикселях и значение частоты для кадров.

4. Способ по п.3, в котором форматом передачи видео является HDMI.

5. Способ по п.4, в котором информация передачи 3D включается в кадр информации AVI.

6. Способ по п.4, в котором информация передачи 3D включается в кадр информации конкретного производителя.

7. Устройство источника 3D для передачи данных трехмерного [3D] изображения на устройство отображения 3D, причем устройство содержит:
- средство (52) генерирования для обработки данных источника изображения для генерирования сигнала (56) отображения 3D, причем сигнал отображения 3D содержит последовательность кадров, составляющих данные 3D изображения в соответствии с форматом передачи 3D видео, формат 3D видео содержит период данных видео, во время которого передаются пиксели активного видео, и период изолированных данных, во время которого передаются аудио и вспомогательные данные, используя последовательность пакетов, при этом пакеты включают в себя пакет кадра информации, и
- средства (12) интерфейса вывода для вывода сигнала отображения 3D, причем каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру 3D данных, последовательность кадров содержит блоки, блок является периодом от сигнала вертикальной синхронизации до следующего сигнала вертикальной синхронизации, каждый блок соответствует количеству кадров, располагающихся в соответствии со схемой мультиплексирования, количество кадров содержит информацию видео для информации видео, предназначенной для объединения и отображения в качестве 3D изображения;
в котором средства интерфейса вывода адаптированы для передачи информации передачи 3D в дополнительном пакете кадра информации, информация передачи 3D содержит по меньшей мере информацию о схеме мультиплексирования, включающей в себя количество кадров видео в блоке, которые должны быть объединены в единственное 3D изображение в сигнале отображения 3D, схема мультиплексирования выбирается из группы схем мультиплексирования, содержащих по меньшей мере мультиплексирование с чередованием кадров, чередование кадров указывает упомянутое количество кадров, последовательно располагаемых в упомянутом периоде данных видео; для, в устройстве отображения, генерирования сигналов управления отображением в зависимости от информации передачи 3D.

8. Устройство источника 3D по п.7, в котором средства интерфейса вывода адаптированы для выдачи дополнительной информации о схеме мультиплексирования посредством группы схем мультиплексирования, дополнительно содержащих по меньшей мере одно из:
- мультиплексирования с чередованием полей;
- мультиплексирования с чередованием строк;
- мультиплексирования находящих бок о бок кадров, причем мультиплексирование находящихся бок о бок кадров указывает упомянутое количество кадров, располагающихся бок о бок в упомянутом периоде данных видео;
- мультиплексирования кадров 2D и глубины;
- мультиплексирования кадров 2D, глубины, графики и глубины графики.

9. Устройство отображения 3D, содержащее:
- 3D дисплей (17) для отображения данных 3D изображения,
- средства (14) интерфейса ввода для приема сигнала отображения 3D, причем сигнал отображения 3D содержит кадры, составляющие данные 3D изображения в соответствии с форматом передачи 3D видео, при этом формат 3D видео содержит период данных видео, во время которого передаются пиксели активного видео, и период изолированных данных, во время которого передаются аудио и вспомогательные данные, используя последовательность пакетов, причем пакеты включают в себя пакет кадра информации, и
- средство (18) обработки для генерирования сигналов управления для визуализации данных 3D изображения на 3D дисплее,
- каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру 3D данных, и последовательность кадров содержит блоки, причем блок является периодом от сигнала вертикальной синхронизации до следующего сигнала вертикальной синхронизации, каждый блок соответствует количеству кадров, располагающихся в соответствии со схемой мультиплексирования, при этом количество кадров содержит информацию видео, предназначенную для объединения и отображения в качестве 3D изображения;
- в котором информация передачи 3D в дополнительном пакете кадра информации содержит по меньшей мере информацию о схеме мультиплексирования, включающей в себя количество видео кадров в блоке, которые должны быть составлены в единственное 3D изображение в сигнале отображения 3D, при этом схема мультиплексирования выбирается из группы схем мультиплексирования, содержащих по меньшей мере мультиплексирование с чередованием кадров, где чередование кадров указывает упомянутое количество кадров, последовательно располагаемых в упомянутом периоде данных видео; и
- средства (18) обработки скомпонованы для генерирования сигналов управления отображением в зависимости от информации передачи 3D.

10. Устройство отображения 3D по п.9, в котором средства (18) обработки скомпонованы для генерирования сигналов управления отображением в зависимости от дополнительной информации о схеме мультиплексирования посредством группы схем мультиплексирования, дополнительно содержащих по меньшей мере одно из:
- мультиплексирования с чередованием полей;
- мультиплексирования с чередованием строк;
- мультиплексирования кадров, находящихся бок о бок, причем упомянутое мультиплексирование указывает упомянутое количество находящихся бок о бок кадров в упомянутом количестве кадров, располагающихся бок о бок в упомянутом периоде данных видео;
- мультиплексирования кадров 2D и глубины;
- мультиплексирования кадров 2D, глубины, графики и глубины графики.

11. Устройство отображения 3D по п.10, в котором форматом передачи видео является HDMI.

12. Устройство отображения 3D по п.11, в котором информация передачи 3D включается в кадр информации AVI.

13. Устройство отображения 3D по п.11, в котором информация передачи 3D включается в кадр информации конкретного производителя.

14. Сигнал отображения 3D для передачи данных трехмерного [3D] изображения к устройству отображения 3D, при этом сигнал отображения 3D содержит последовательность кадров, составляющих данные 3D изображения в соответствии с форматом передачи 3D видео, причем формат 3D видео содержит период данных видео, во время которого передаются пиксели активного видео, и период изолированных данных, во время которого передаются аудио и вспомогательные данные, используя последовательность пакетов, причем пакеты включают в себя пакет кадра информации, последовательность кадров содержит блоки, блок является периодом от сигнала вертикальной синхронизации до следующего сигнала вертикальной синхронизации, каждый блок соответствует количеству кадров, располагаемых в соответствии со схемой мультиплексирования, количество кадров содержит информацию видео, предназначенную для объединения и отображения 3D изображения; в котором
- каждый кадр имеет структуру данных для предоставления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру 3D данных, причем сигнал отображения 3D содержит:
- информацию передачи 3D в дополнительном пакете кадра информации, информация передачи 3D содержит по меньшей мере информацию о схеме мультиплексирования, включающей в себя количество видео кадров в блоке, которые должны быть составлены в единственное 3D изображение в сигнале отображения 3D, схема мультиплексирования выбирается из группы схем мультиплексирования, содержащих по меньшей мере мультиплексирование с чередованием кадров, причем чередование кадров указывает упомянутое количество кадров, последовательно располагаемых в упомянутом периоде данных видео; для, в устройстве отображения, генерирования сигналов управления отображением в зависимости от информации передачи 3D.

15. Сигнал отображения 3D по п.14, в котором в информации о схеме мультиплексирования группа схем мультиплексирования дополнительно содержит по меньшей мере одно из:
- мультиплексирования с чередованием полей;
- мультиплексирования с чередованием строк;
- мультиплексирования кадров, находящихся бок о бок, упомянутое мультиплексирование указывает упомянутое количество находящихся бок о бок в упомянутом количестве кадров, располагаемых бок о бок в упомянутом периоде данных видео;
- мультиплексирования кадров 2D и глубины;
- мультиплексирования кадров 2D, глубины, графики и глубины графики.