Область техники, к которой относится изобретение
Данное изобретение относится к устройству передачи данных стереоизображения, способу передачи данных стереоизображения, устройству приема данных стереоизображения, способу приема данных стереоизображения, устройству передачи данных изображения и устройству приема данных изображения, в частности к способу передачи данных стереоизображения или тому подобному, выполненному с возможностью отображения предпочтительным образом информации наложения, такой как графическая информация и текстовая информация.
Уровень техники
Например, в PTL 1 предложен режим передачи для стереоскопических данных изображения, используя радиоволны широковещательной передачи. В этом случае передают данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, и отображение стереоизображения, используя бинокулярное несоответствие/параллакс, выполняют в телевизионном приемнике.
На фиг.42 показана взаимосвязь между положениями отображения левого и правого изображений объекта на экране и реконструированными положениями получаемых в результате стереоскопических изображений в дисплее стереоизображения, используя бинокулярное несоответствие. Например, что касается объекта А, левое изображение La, и правое изображение Ra отображаются со смещением в правую сторону и в левую сторону, соответственно, на экране, как показано на фигуре, при этом левая и правая линии обзора пересекаются перед плоскостью экрана, и таким образом, полученное стереоизображение реконструируют в положении перед плоскостью экрана.
Кроме того, например, что касается объекта В, левое изображение Lb и правое изображение Rb которого отображаются в одном и том же положении на экране, как показано на фигуре, левая и правая линии обзора пересекаются на поверхности экрана, и таким образом полученное стереоизображение реконструируют в определенном положении на плоскости экрана. Кроме того, например, что касается объекта С, левое изображение Lc и правое изображение Re которого отображаются со смещением в левую сторону и в правую сторону, соответственно, на экране, как показано на фигуре, левая и правая линии обзора пересекаются позади поверхности экрана, и таким образом, полученное стереоизображение реконструируют в положении позади плоскости экрана.
Список литературы
Патентная Литература
PTL 1: Публикация No. 2005-6114 находящейся на экспертизе заявки на японский патент
Сущность изобретения
Техническая задача
Как описано выше, на дисплее, отображающем стереоизображение, зритель обычно распознает перспективу стереоизображения, используя бинокулярное несоответствие. Что касается информации наложения, которая должна быть наложена на изображение, например информации графического изображения и текстовой информации, ожидается, что информация наложения будет представлена вместе с отображением стереоизображения не только в форме двумерного пространства, но также и в трехмерной иллюзии глубины.
Например, в случае выполнения отображения с наложением субтитров в качестве информации графики на изображении, пока субтитры не будут отображаться перед объектом в изображении, самым близким в том, что касается перспективы, зритель иногда может ощущать несоответствие перспективы. Кроме того, также в случае выполнения отображения с наложением на изображение другой информации графического изображения или текстовой информации, ожидается, что регулирование несоответствия должно быть выполнено в соответствии с перспективой каждого объекта в изображении, чтобы таким образом поддерживать согласованность перспективы.
Цель настоящего изобретения состоит в том, чтобы поддерживать согласованность перспективы с каждым объектом в изображении при отображении информации наложения, такой как информация графического изображения и текстовая информация.
Решение задачи
Концепция данного изобретения относится к устройству передачи данных стереоизображения, включающему в себя:
модуль вывода данных стереоизображения, который выводит данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза;
модуль вывода информации несоответствия, который выводит информацию несоответствия для придания несоответствия путем смещения информации наложения, которая должна быть наложена на изображения, на основе данных изображения левого глаза и данных изображения правого глаза; и
модуль передачи данных, который передает информацию несоответствия, выводимую из модуля вывода информации несоответствия, вместе с данными стереоизображения, выводимыми из модуля вывода данных стереоизображения.
Кроме того, другая концепция настоящего изобретения относится к способу передачи данных стереоизображения, включающему в себя:
получают информацию несоответствия для придания несоответствия путем смещения информации наложения, которая должна быть наложена на изображения, на основе данных изображения левого глаза и данных изображения правого глаза; и
передают полученную информацию несоответствия вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза.
Кроме того, другая концепция настоящего изобретения относится к способу передачи данных стереоизображения, включающему в себя:
получают, на основе данных изображения левого глаза и данных изображения правого глаза для отображения стереоизображения, информацию несоответствия для одного из изображения левого глаза и изображения правого глаза относительно друг друга, в заданном положении в пределах изображения; и
передают полученную информацию несоответствия вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза.
В данном изобретении данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, выводят с помощью модуля вывода данных стереоизображения. Кроме того, информацию несоответствия, для придания несоответствия путем смещения информации наложения, которая должны быть наложена на изображения, на основе данных изображения левого глаза и данных изображения правого глаза, выводят с помощью модуля вывода информации несоответствия. Например, информация несоответствия представляет собой информацию несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, и ее рассчитывают на основе данных изображения левого глаза и данных изображения правого глаза для отображения стереоизображения. В этом случае в заданном положении в пределах изображения рассчитывают вектор обзора, как информацию несоответствия, используя, например, способ сопоставления блоков. Затем информацию несоответствия передают с помощью модуля передачи данных, вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза.
Например, информацию несоответствия передают как цифровую информацию. В этом случае на стороне приема, на основе этой цифровой информации, задают несоответствие для одной и той же информации наложения, которая должна быть наложена на данные изображения левого глаза и данные изображения правого глаза. Здесь информация наложения означает информацию, которая должна быть отображена с наложением на изображении, такую, как графическая информация, предназначенная для отображения субтитров, или текстовая информация для отображения электронной программы передач (EPG) или информация телетекста. Кроме того, информацию несоответствия передают, включая ее в данные информации наложения, которые должны быть наложены на изображения, на основе данных изображения левого глаза и данных изображения правого глаза. В этом случае, на стороне приема такую информацию наложения используют в том виде, как она есть.
Таким образом, информацию несоответствия, полученную в заданном положении в пределах изображения, передают вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза. Таким образом, на стороне приема, в качестве той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, можно использовать информацию наложения, для которой была применена регулировка несоответствия, в соответствии с перспективой каждого объекта в пределах изображения, делая, таким образом, возможным поддержание соответствия перспективы при отображении информации наложения.
Кроме того, концепция настоящего изобретения относится в устройству приема данных стереоизображения, включающему в себя:
модуль приема данных изображения, который принимает данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза; и
модуль обработки данных изображения, который придает несоответствие для одной и той же информации наложения, коротая должна быть наложена на изображение левого глаза и изображение правого глаза, на основе информации несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, и получает данные изображения левого глаза, на которое была наложена информация наложения, и данные изображения правого глаза, на которое была наложена информация наложения, причем информацию несоответствия получают в результате обработки данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принятые модулем приема данных изображения.
В данном изобретении данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, принимают с помощью модуля приема данных изображения. Кроме того, на основе информации несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга задают несоответствие для одной и той же информации наложения, которая должны быть наложена на изображение левого глаза и изображение правого глаза с помощью модуля обработки данных изображения. Такую информацию несоответствия получают путем обработки данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принятые модулем приема данных изображения.
Например, информацию несоответствия принимают с помощью модуля приема информации несоответствия в синхронизации с данными стереоизображения, принимаемыми модулем приема данных изображения. В этом случае нет необходимости получать информацию несоответствия на основе данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принимаемые модулем приема данных изображения, и, таким образом, упрощается обработка на стороне приема. Кроме того, например, информацию несоответствия получают с помощью модуля получения информации несоответствия. В этом модуле получения информации несоответствия, на основе данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принятые модулем приема данных изображения, информацию несоответствия одного из изображения левого глаза и изображения правого глазного относительно друг друга получают в заданном положении в пределах изображения. В этом случае становится возможной обработка с использованием информации несоответствия, даже если информация несоответствия не будет передана.
Кроме того, данные изображения левого глаза, на которые была наложена информация наложения, и данные изображения правого глаза, на которые была наложена информация наложения, получают с помощью модуля обработки данных изображения. (Например, данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, полученные модулем обработки данных изображения, передают во внешнее устройство с помощью модуля передачи данных изображения. Кроме того, например, с помощью модуля дисплея изображения отображают изображения для отображения стереоизображения на основе данных изображения левого глаза и данных изображения правого глаза, полученных с помощью модуля обработки данных изображения.
Таким образом, на основе информации несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, задают несоответствие одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза. Поэтому, в качестве той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, информацию наложения, в которой применили регулировку несоответствия, в соответствии с перспективой каждого объекта в пределах изображения, можно использовать, делая, таким образом, возможным поддержание соответствия перспективы при отображении информации наложения.
Следует отметить, что в данном изобретении, например, модуль обработки данных изображения может задавать несоответствие для одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, в соответствии с положением наложения этой информации наложения. В этом случае, поскольку несоответствие в соответствии с положением наложения задают для каждой информации наложения, например, становится возможным придать информации наложения перспективу, эквивалентную перспективе объекта, присутствующего в положении наложения.
Кроме того, в данном изобретении, например, может быть дополнительно предусмотрен многоканальный громкоговоритель и модуль управления, который управляет выходом многоканального громкоговорителя на основе информации несоответствия одного из данных изображения левого глаза и данных изображения правого глаза относительно друг друга. В этом случае стереоэффект может быть сделан еще более выраженным.
Предпочтительные эффекты изобретения
В соответствии с данным изобретением, на стороне приема данных стереоизображения, в качестве одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, можно использовать информацию наложения, для которой применяли регулировку несоответствия в соответствии с перспективой каждого объекта в пределах изображения, таким образом делая возможным поддержание соответствия перспективы при отображении информации наложения.
Краткое описание чертежей
На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации системы отображения стереоизображения в соответствии с вариантом осуществления настоящего изобретения.
На фиг.2 показана блок-схема, иллюстрирующая пример Конфигурации модуля генерирования данных передачи в станции широковещательной передачи.
На фиг.3 показана схема, иллюстрирующая данные изображения в формате 1920 на 1080 пикселей.
На фиг.4 показана схема для пояснения режима "сверху и снизу", режим "рядом друг с другом" и режим "последовательных кадров", которые представляют собой режимы передачи для данных стереоизображения (данных 3D изображения).
На фиг.5 показана схема для пояснения примера детектирования вектора обзора изображения правого глаза относительно изображения левого глаза.
На фиг.6 показана схема для пояснения того, что вектор обзора рассчитывают в режиме сопоставления блоков.
На фиг.7 показана схема, иллюстрирующая пример вектора W обзора в заданном положении в пределах изображения, которое детектируют с помощью модуля детектирования вектора обзора.
На фиг.8 показана схема, иллюстрирующая информацию передачи о векторе обзора.
На фиг.9 показана схема, иллюстрирующая пример блоков детектирования несоответствия и передачи информации о векторе обзора в этом случае.
На фиг.10 показана схема для пояснения примера моментов времени детектирования и передачи вектора обзора.
На фиг.11 показана схема для пояснения примера моментов времени детектирования и передачи вектора обзора.
На фиг.12 показана схема, иллюстрирующая пример потоков данных, мультиплексированных в модуле генерирования данных передачи.
На фиг.13 показана блок-схема, иллюстрирующая другой пример конфигурации модуля генерирования данных передачи в станции широковещательной передачи.
На фиг.14 показана схема, предназначенная для пояснения положений наложения графической информации левого глаза и графической информации правого глаза, и тому подобное, в случае, когда режим передачи представляет собой первый режим передачи (режим "сверху и снизу").
На фиг.15 показана схема для пояснения способа генерирования графической информации левого глаза и графической информации правого глаза в случае, в котором режим передачи представляет собой первый режим передачи (режим " сверху и снизу").
На фиг.16 показана схема для пояснения способа генерирования графической информации левого глаза и графической информации правого глаза в случае, когда режим передачи представляет собой второй режим передачи (режим "рядом друг с другом").
На фиг.17 показана схема для пояснения способа генерирования графической информации левого глаза и графической информации правого глаза в случае, когда режим передачи представляет собой второй режим передачи (режим "рядом друг другом").
На фиг.18 показана блок-схема, иллюстрирующая другой пример конфигурации модуля генерирования данных передачи в станции широковещательной передачи.
На фиг.19 показана схема, иллюстрирующая положения наложения графической информации левого глаза и графической информации правого глаза в случае, когда режим передачи представляет собой второй режим передачи (режим "рядом друг с другом").
На фиг.20 показана схема, иллюстрирующая состояние, в котором графическое изображение на основе графических данных, выделенных из данных потока битов и передаваемых с помощью способа в соответствии с предшествующим уровнем техники, накладывают на каждое из изображения левого глаза и изображение правого глаза в том виде, как есть.
На фиг.21 показана схема, иллюстрирующая векторы обзора в трех положениях объекта в моменты времени Т0, T1, T2 и Т3.
На фиг.22 показана схема, иллюстрирующая пример отображения субтитров (графической информации) для изображения, и вид в перспективе фонового изображения, объекта переднего плана и субтитров.
На фиг.23 показана схема, иллюстрирующая пример отображения субтитров (графической информации) на изображении и графической информации LGI левого глаза и графической информации RGI правого глаза, для отображения субтитров.
На фиг.24 показана схема для пояснения, что, в качестве вектора обзора, среди векторов обзора, детектируемых во множестве положений в пределах изображения, используется вектор, соответствующий положению наложения.
На фиг.25 показана схема, иллюстрирующая, что объекты А, В и С существуют в пределах изображения, и текстовая информация, обозначающая аннотацию на каждый объект, наложена в положении рядом с каждым из этих объектов.
На фиг.26 показана блок-схема, иллюстрирующая пример конфигурации телевизионной приставки.
На фиг.27 показана блок-схема, иллюстрирующая пример конфигурации модуля обработки потоков битов, который составляет телевизионную приставку.
На фиг.28 показан пример управления выходом громкоговорителя в случае, когда вектор W1 обзора больше для видеообъектов с левой стороны, если рассматривать их, будучи обращенным к телевизионному дисплею.
На фиг.29 показана блок-схема, иллюстрирующая другой пример конфигурации модуля обработки потока битов, который составляет телевизионную приставку.
На фиг.30 показана блок-схема, иллюстрирующая другой пример конфигурации модуля обработки потока битов, который составляет телевизионную приставку.
На фиг.31 показана схема, иллюстрирующая пример конфигурации телевизионного приемника.
На фиг.32 показана блок-схема, иллюстрирующая пример конфигурации модуля передачи HDMI (источника HDMI) и модуля приема HDMI (потребителя HDMI).
На фиг.33 показана блок-схема, иллюстрирующая пример конфигурации передатчика HDMI, который составляет модуль передачи HDMI, и приемника HDMI, который составляет модуль приема HDMI.
На фиг.34 показана схема, иллюстрирующая пример структуры данных передачи TMDS (в случае, когда передают данные изображения, размер которых по горизонтали х на вертикаль составляет 1920 пикселей ×1080 строк).
На фиг.35 показана схема, иллюстрирующая компоновку вывода (Типа-А) разъемов HDMI устройства источника и устройства потребителя, к которым подключен кабель HDMI.
На фиг.36 показана схема, иллюстрирующая пример данных передачи TMDS в первом режиме передачи (режим "сверху и снизу").
На фиг.37 показана схема, иллюстрирующая пример данных передачи TMDS во втором режиме передачи (режим "рядом друг с другом").
На фиг.38 показана схема, иллюстрирующая пример данных передачи TMDS в третьем режиме передачи данных (режим "последовательных кадров").
На фиг.39 показан схема для пояснения режима "последовательных кадров" в HDMI 1.4 (новый HDMI), и режима "последовательных кадров" в HDMI 1.3 (существующий HDMI).
На фиг.40 показана блок-схема, иллюстрирующая другой пример конфигурации модуля обработки потока битов, который составляет телевизионную приставку
На фиг.41 показана схема, иллюстрирующая другой пример конфигурации системы отображения стереоизображения.
На фиг.42 показана схема, иллюстрирующая взаимосвязь между положениями отображения левого и правого изображений объектов на экране и реконструированными положениями получаемых в результате стереоскопических изображений на дисплее стереоизображения с использованием бинокулярного несоответствия.
Подробное описание изобретения
Ниже будет описан режим для выполнения изобретения (ниже называется "вариантом осуществления"). Следует отметить, что описание будет приведено в следующем порядке.
1. Первый вариант осуществления
2. Модификации
<1. Первый вариант осуществления>
[Пример конфигурации системы передачи/приема стереоизображения]
На фиг.1 представлен пример конфигурации системы 10 передачи/приема стереоизображения, в качестве варианта осуществления. Система 10 передачи/приема стереоизображения имеет станцию 100 широковещательной передачи, телевизионную приставку (STB) 200 и телевизионный приемник 300.
Телевизионная приставка 200 и телевизионный приемник 300 подключены друг к другу через кабель 400 HDMI (мультимедийный интерфейс высокой четкости). В телевизионной приставке 200 предусмотрен разъем 202 HDMI. В телевизионном приемнике 300 предусмотрен разъем 302 HDMI. Один конец кабеля 400 HDMI соединен с разъемом 202 HDMI телевизионной приставки 200, и другой конец кабеля 400 HDMI соединен с разъемом 302 HDMI телевизионного приемника 300.
[Описание станции широковещательной передачи]
Станция 100 широковещательной передачи передает данные потока битов по радиоволнам широковещательной передачи. Такие данные потока битов включают в себя данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, аудиоданные, графические данные, текстовые данные и, кроме того, векторы обзора/векторы несоответствия, в качестве информации несоответствия/параллакса.
На фиг.2 иллюстрируется пример конфигурации модуля 110 генерирования данных передачи, который генерирует описанные выше данные потока битов в станции 100 широковещательной передачи. Этот пример конфигурации представляет собой пример, в котором вектор обзора передают как цифровые данные. Модуль 110 генерирования данных передачи имеет камеры 111L и 111R, модуль 112 формирования видеокадра, кодер 113 видеоданных, кодер 113 видеоданных, модуль 114 детектирования вектора обзора и кодер 115 вектора обзора. Кроме того, модуль 110 генерирования данных передачи имеет микрофон 116, аудиокодер 117, модуль 118 генерирования графических изображений, кодер 119 графических изображений, модуль 120 генерирования текста, кодер 121 текста и мультиплексор 122.
Камера 111L снимает изображение левого глаза для получения данных изображения левого глаза для отображения стереоизображения. Камера 111R снимает изображения правого глаза для получения данных изображения правого глаза для отображения стереоизображения. Модуль 112 формирования видеокадра манипулирует и обрабатывает данные изображения левого глаза, полученные камерой 111L, и данные изображения правого глаза, полученные камерой 111R в состоянии в соответствии с режимом передачи.
[Пример режима передачи для данных стереоизображения]
Здесь, в то время как приведены примеры с первого по третий режимы, в качестве режимов передачи для данных стереоизображения (данных 3D изображения) также можно использовать другие режимы передачи, кроме этих. Здесь, как показано на фиг.3, описание направлено на случай, в котором каждые данные изображения левого глаза (L) и правого глаза (R) представляют данные изображения с заданным разрешением, например, в формате 1920 на 1080р пикселей.
Первый режим передачи представляет собой режим "сверху и снизу", в котором, как показано на фиг.4 (а), данные каждой строки данных изображения левого глаза передают в первой половине в вертикальном направлении, и данные в каждой строке данных изображения левого глаза передают во второй половине в вертикальном направлении. В этом случае строки данных изображения левого глаза и данных изображения правого глаза прорежены до 1/2 так, что вертикальное разрешение составляет половину относительно исходного сигнала.
Второй режим передачи представляет собой режим "рядом друг с другом", в котором, как показано на фиг.4 (b), данные пикселя данных изображения левого глаза передают из первой половины горизонтального направления, и данные пикселя данных изображения правого глаза передают во второй половине горизонтального направления. В этом случае данные пикселя в горизонтальном направлении прореживают до 1/2 в каждых из данных изображения левого глаза и данных изображения правого глаза. Разрешение по горизонтали составляет половину от текущего сигнала.
Третий режим передачи представляет собой режим "последовательных кадров", в котором, как показано на фиг.4 (с), данные изображения левого глаза и данные изображения правого глаза передают с их последовательным переключением поле за полем.
Возвращаясь к фиг.2, кодер 113 видеоданных применяет кодирование со сжатием, такое как MPEG4-AVC или MPEG2 к данным стереоизображения, которыми манипулируют и обрабатывают в модуле 112 формирования видеокадра, и генерирует элементарный поток видеоданных. Кроме того, кодер 113 видеоданных разделяет этот элементарный поток видеоданных для генерирования пакетов PES (пакетизированного элементарного потока) видеоданных и, в конечном итоге, генерирует пакеты TS (транспортный поток) видеоданных. В качестве альтернативы, элементарный поток генерируют так, чтобы он был мультиплексирован в файловом контейнере, таком как МР4, или передан в пакетах в режиме реального времени, в качестве контейнеров.
Модуль 114 детектирования вектора обзора детектирует, на основе данных изображения левого глаза и данных изображения правого глаза, вектор обзора, как информацию несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, в заданном положении в пределах изображения. Здесь заданное положение в пределах изображения представляет собой положение каждого пикселя, представительное положение в каждой из областей, составленных из множества пикселей, представительное положения в области, где должно быть произведено наложение графической информация или текстовой информации, или тому подобное.
[Детектирование вектора обзора]
Пример детектирования вектора обзора будет описан ниже. Здесь будет приведено описание примера, в котором детектируют вектор обзора изображения правого глаза относительно изображения левого глаза. Как представлено на фиг.5, изображение левого глаза принимается как изображение детектирования, и изображение правого глаза принимается как опорное изображение. В этом примере детектируют вектор обзора в каждом из положений (xi, yi) и (xj, yj).
Случай детектирования вектора обзора в положении (xi, yi) будет описан, как пример. В этом случае в изображении левого глаза установлен, например, блок bi из 8×8 или 16×16 пикселей (блок детектирования несоответствия/параллакса) с пикселем в положении (xi, yi) в его верхнем левом углу. Затем, в изображении правого глаза, выполняют поиск блока пикселей, который соответствует блоку bi пикселей.
В этом случае в изображении правого глаза устанавливают диапазон поиска, с центром вокруг положения (xi, yi). В каждом из пикселей в пределах диапазона поиска, последовательно выбираемых, как целевой пиксель, например, последовательно устанавливают блок сравнения размером 8×8 или 16×16, который представляет собой то же, что и блок bi пикселей, описанный выше.
Сумму абсолютных разностей рассчитывают для каждого соответствующего пикселя между блоком bi пикселя и блоком сравнения, который был последовательно установлен. Здесь, как показано на фиг.6, в результате задания значения пикселя в блоке bi пикселя равным L (х, у), и задания значения пикселя в блоке сравнения равным R (х, у), сумма абсолютных разностей между блоком bi пикселя и данным блоком сравнения представляется как Σ|L(x,y)-R(x,y)|.
Когда n пикселей включены в диапазон поиска, который установлен в изображении правого глаза, n сумм S1-Sn, рассчитывают в конечном итоге, среди которых выбирают наименьшую сумму Smin. Затем положение левого верхнего пикселя, представляющее собой (xi', yi'), получают из блока сравнения, для которого получают эту минимальную сумму Smin. Таким образом, вектор обзора в положении (xi, yi) детектируют как (xi'-xi), (yi'-yi). Хотя это не описано подробно, для вектора обзора в положении (xj, yj) также, в изображении левого глаза, например, устанавливают блок Bj размером 8×8 или 16×16 пикселей с пикселем в положении (xj, yj) в его верхнем левом углу, и вектор обзора детектируют, используя тот же процесс.
На фиг.7 (а) иллюстрируется пример вектора W обзора в заданном положении в пределах изображения, которое детектируют с помощью модуля 114 детектирования вектора обзора. Это означает, что, в данном случае, как показано на фиг.7 (b), в заданном положении в пределах изображения, на изображение левого глаза (изображение детектирования) накладывают изображение правого глаза (опорное изображение), со смещением на величину вектора W обзора.
Возвращаясь к фиг.2, кодер 115 вектора обзора генерирует элементарный поток вектора обзора, включающий в себя вектор обзора или тому подобное, детектируемый модулем 114 детектирования вектора обзора. Элементарный поток вектора обзора составляет пакет TS, вместе с элементарным потоком видеоизображения или тому подобное.
Здесь элементарный поток вектора обзора содержит следующую информацию. Таким образом, ID блока детектирования несоответствия (ID_Block), информация вертикального положения блока детектирования несоответствия (Vertical_Position), информация горизонтального положения блока детектирования несоответствия (Horizontal_Position) и вектор обзора (View_Vector) составляют один набор. Затем этот набор повторяют для количества N блоков детектирования несоответствия.
Следует отметить, что вертикальное и горизонтальное положения блока детектирования несоответствия представляют собой смещенные значения в вертикальном направлении и горизонтальном направлении от исходной точки в верхнем левом углу изображения до верхнего левого пикселя в блоке. Причина, по которой ID блока детектирования несоответствия назначают для каждой передачи вектора обзора, состоит в том, чтобы обеспечить связь со структурой информации наложения, такой как графическая информация и информация текста, которая должна отображаться с наложением на изображения.
Например, как показано на фиг.9 (а), когда существуют от А до F блоков детектирования несоответствия, информация передачи включает в себя, как показано на фиг.9 (b), ID, информацию вертикального и горизонтального положения и векторы обзора блоков A-F детектирования несоответствия. Например, на фиг.9 (b), в том, что касается блока А детектирования несоответствия, ID2 обозначает ID блока А детектирования несоответствия, (На, Va) обозначают информацию вертикального и горизонтального положения блока А детектирования несоответствия и вектор обзора обозначает вектор обзора блока А детектирования несоответствия.
Моменты времени детектирования и передачи вектора обзора будут описаны ниже.
Что касается моментов времени, например, можно рассмотреть следующие с первого по четвертый примеры.
В первом примере, как показано на фиг.10 (а), момент времени синхронизован с кодированием изображений. В этом случае вектор обзора передают в модулях изображения. Модули изображения представляют собой наименьшие модули, в которых передают вектор обзора. Во втором примере, как представлено на фиг.10 (b), момент времени синхронизирован со сценами видеоизображения. В этом случае вектор обзора передают в модулях сцены.
В третьем примере, как показано на фиг.10 (с), моменты времени синхронизируют с I-изображениями (внутрикадровыми изображениями) кодированных видеоданных. В четвертом примере, как показано на фиг.11, моменты времени синхронизируют с моментами времени начала отображения графической информации, текстовой информации и т.п., которая должна отображаться с наложением на изображение.
Возвращаясь к фиг.2, микрофон 116 получает аудиоданные путем детектирования звука, соответствующего изображениям, снятым с помощью камера 111L и 111R. Аудиокодер 117 применяет кодирование со сжатием, такое как MPEG-2 Аудио ААС к аудиоданным, полученным с помощью микрофона 116, и генерирует элементарный поток аудиоданных. Кроме того, аудиокодер 117 разделяет этот элементарный поток аудиоданных для генерирования пакетов PES аудиоданных, и, в конечном итоге, генерирует пакеты TS.
Модуль 118 генерирования графических изображений генерирует данные графической информации (графические данные), которые должны быть наложены на изображение. Графическая информация представляет собой, например, субтитры. Такие графические данные представляют собой данные растрового изображения. Информацию смещения в состоянии покоя, обозначающую положение наложения на изображение, прикрепляют к этим графическим данным. Такая информация смещения в состояния покоя обозначает, например, значения смещения в вертикальном направлении и горизонтальном направлении от исходной точки в верхнем левом углу изображения до пикселя в верхнем левом углу в положении наложения графической информации. Следует отметить, что стандарт для передачи данных субтитров в виде растровых данных был принят и воплощен, как DVB_Subtitling в DVB, который представляет собой стандарт цифровой широковещательной передачи в Европе.
Кодер 119 графических изображений генерирует элементарный поток графических данных, генерируемых модулем 118 генерирования графики. Затем кодер 119 графических изображений, в конечном итоге, генерирует описанные выше пакеты TS.
Модуль 120 генерирования текста генерирует данные текстовой информации (текстовые данные), которые должны быть наложены на изображение. Текстовая информация представляет собой, например, электронную программу передач или информацию телетекста. Аналогично графическим данным, описанным выше, информация смещения в состоянии покоя, обозначающая положение наложения на изображение, прикреплена к этим текстовым данным. Такая информация смещения в состоянии покоя обозначает, например, значения смещения в вертикальном направлении и в горизонтальном направлении от исходной точки в верхнем левом углу изображения до исходного левого верхнего пикселя в положении наложения текстовой информации. Следует отметить, что в качестве примеров передачи текстовых данных, в Соединенных Штатах Америки существует EPG, воплощенная, как программа передач, и CC_data (кодированные субтитры) цифрового наземного стандарта ATSC.
Текстовый кодер 121 генерирует элементарный поток текстовых данных, генерируемых модулем 120 генерирования текста.
Мультиплексор 122 мультиплексирует соответствующие пакетированные элементарные потоки, выводимые из кодера 113 видеоданных, кодера 115 вектора обзора, аудиокодера 117, кодера 119 графических изображений и кодера 121 текста. Затем мультиплексор 122 выводит данные потока битов (транспортного потока) BSD, как данные передачи.
Операция модуля 110 генерирования данных передачи, представленная на фиг.2, будет описана кратко. Изображение левого глаза снимают с помощью камеры 111L. Данные изображения левого глаза для отображения стереоизображения, полученные камерой 111L, подают в модуль 112 формирования видеокадра. Кроме того, изображение правого глаза снимают с помощью камеры 111R. Изображение правого глаза для отображения стереоизображения, получаемого с помощью камеры 111R, подают в модуль 112 формирования видеокадра. В модуле 112 формирования видеокадра данными изображения левого глаза и данными изображения правого глаза манипулируют и их обрабатывают в состоянии, соответствующем режиму передачи, и получают данные стереоизображения (см. фиг.4(а)-4(с)).
Данные стереоизображения, полученные в модуле 112 формирования видеокадра, подают в кодер 113 видеоданных. В кодере 113 видеоданных применяют кодирование со сжатием, такое как MPEG4-AVC или MPEG2, для данных стереоизображения, для генерирования элементарного потока видеоданных, и, в конечном итоге, пакеты видеоданных подают в мультиплексор 122.
Кроме того, данные изображения левого глаза и данные изображения правого глаза, получаемые с помощью камер 111L и 111R, подают в модуль 114 детектирования вектора обзора через модуль 112 формирования видеокадра. В модуле 114 детектирования вектора обзора, на основе данных изображения левого глаза и данных изображения правого глаза, устанавливают блок детектирования несоответствия в заданном положении в пределах изображения и детектируют вектор обзора в качестве информации несоответствия данных изображения левого глаза и данных изображения правого глаза относительно друг друга.
Вектор обзора в заданном положении в пределах изображения, которое детектируют с помощью модуля 114 детектирования вектора обзора, подают в кодер 115 вектора обзора. В таком случае ID блока детектирования несоответстви информацию о вертикальном положении блока детектирования несоответствия, информацию о горизонтальном положении блока детектирования несоответствия и вектор обзора передают как один набор. В кодере 115 вектора обзора элементарный поток вектора обзора, включающий в себя информацию передачи о векторе обзора (см. фиг.8), генерируют и подают в мультиплексор 122.
Кроме того, с помощью микрофона 116 детектируют звук, соответствующий изображениям, снятым с помощью камер 111L и 111R. В аудиокодер 117 подают аудиоданные, полученные с помощью микрофона 116. В аудиокодере 117 выполняют кодирование со сжатием, такое как MPEG-2 Аудио ААС, применяемое к аудиоданным, и элементарный поток аудиоданных генерируют и подают в мультиплексор 122.
Кроме того, в модуле 118 генерирования графических изображений генерируют данные графической информации (данные графики), которые должны быть наложены на изображение. Такие графические данные (растровые данные) подают в кодер 119 графических изображений. Информацию смещения в состоянии покоя, обозначающую положение наложения на изображение, прикрепляют к этим графическим данным. В кодере 119 графических изображений применяют заданное кодирование сжатия к этим графическим данным для генерирования элементарного потока, который подают в мультиплексор 122.
Кроме того, в модуле 120 генерирования текста генерируют данные текстовой информации (текстовые данные), которые должны быть наложены на изображение. Эти текстовые данные подают в кодер 121 текста. Также как и графические данные, описанные выше, информацию смещения в состоянии покоя, обозначающую положение наложения изображения, прикрепляют к этим текстовым данным. В кодере 121 текста, применяют заданное кодирование со сжатием к этим текстовым данным для генерирования элементарного потока, и, в конечном итоге, получают пакеты TS из текста. Пакеты TS из текста подают в мультиплексор 122.
В мультиплексоре 122 пакеты элементарных потоков, подаваемых из соответствующих кодеров, мультиплексируют, и получают данные BSD потока битов (транспортного потока), как данные передачи.
На фиг.12 иллюстрируется пример потоков данных, мультиплексированных в модуле 110 генерирования данных передачи, показанном на фиг.2. Следует отметить, что этот пример представляет случай, в котором вектор обзора детектируют в модулях видеосцены (см. фиг.10 (b)). Следует отметить, что пакетам соответствующих потоков назначают временные штампы для обозначения синхронизация, которая позволяет управлять на стороне приема моментами времени наложения графической информации, текстовой информации или подобной на изображение.
Следует отметить, что модуль 110 генерирования данных передачи, иллюстрируемый на фиг.2, описанной выше, выполнен с возможностью передачи информации передачи о векторе обзора (см. фиг.8) в виде независимого элементарного потока на сторону приема. Однако также можно рассмотреть возможность передачи информации передачи о векторе обзора путем вставки информации передачи в другой поток. Например, информацию передачи о векторе обзора передают с ее внедрением в видеопоток в качестве данных пользователя. Кроме того, например, информацию передачи о векторе вида передают в виде, встроенном в поток графических данных или в текстовые данные.
На фиг.13 иллюстрируется пример конфигурации модуля 110А генерирования данных передачи. Этот пример также представляет собой пример, в котором вектор обзора передают как цифровую информацию. Модуль 110А генерирования данных передачи выполнен с возможностью передачи информации передачи о векторе обзора путем внедрения в видеопоток информации передачи в качестве данных пользователя. На фиг.13 участки, соответствующие показанным на фиг.2, обозначены теми же номерами ссылочных позиций, и их подробное описание исключено.
В модуле 110А генерирования данных передачи модуль 123 формирования кадров потока вставлен между кодером 113 видеоданных и мультиплексором 122. Вектор обзора в заданном положении в пределах изображения, которое детектируют с помощью детектирования 114 вектора обзора, подают в модуль 123 формирования кадров потока. В таком случае ID блока детектирования несоответствия, информацию о вертикальном положении блока детектирования несоответствия, информацию о горизонтальном положении блока детектирования несоответствия и вектор обзора передают как один набор.
В модуле 123 формирования кадров потока, информацию передачи о векторе обзора (см. фиг.8) встраивают как данные пользователя в видеопоток.
Хотя подробное описание здесь не приведено, модуль 110А генерирования данных передачи, показанный на фиг.13, в остальном выполнен так же, как модуль 110 генерирования данных передачи, показанный на фиг.2.
Кроме того, модуль 110 генерирования данных передачи, показанный на фиг.2, описанной выше, и модуль 110А генерирования данных передачи, показанный на фиг.13, описанной выше, каждый передает вектор обзора как цифровую информацию (см. фиг.8). Однако вместо передачи вектора обзора в виде цифровой информации, также возможна передача вектора обзора, включая вектор обзора в информацию наложения (например, графическую информацию или текстовую информацию), которая должна быть наложена на изображение.
Например, в случае, когда вектор обзора передают, когда он включен в данные графической информации, на стороне передачи генерируют данные графической информации, соответствующие как графической информации левого глаза, которая должна быть наложена на изображение левого глаза, так и графической информации правого глаза, которая должна быть наложена на изображение правого глаза. В этом случае, графическая информация левого глаза и графическая информация правого глаза представляют собой одну и ту же графическую информацию. Однако их положения отображения в изображениях установлены так, что, например, относительно графической информации левого глаза графическая информация правого глаза смещена в горизонтальном направлении в соответствии с направленным горизонтальным компонентом вектора обзора, соответствующего его положению отображения.
Кроме того, например, в случае, когда вектор обзора передают, так, что он включен в данные текстовой информации на стороне передачи, генерируют данные текста, соответствующие как текстовой информации левого глаза, которая должна быть наложена на изображение левого глаза, так и текстовой информации правого глаза, которая должна быть наложена на изображение правого глаза. В этом случае информация текста левого глаза и информация текста правого глаза представляют собой одну и ту же текстовую информацию. Однако положения их наложения в изображениях определены таким образом, что, например, в том, что касается информации текста левого глаза, информация текста правого глаза смещена в горизонтальном направлении на горизонтальный направленный компонент вектора обзора.
Например, в качестве вектора обзора, среди векторов обзора, детектируемых во множестве положений в пределах изображения, используется вектор обзора, соответствующий положению наложения. Кроме того, например, в качестве вектора обзора, среди векторов обзора, детектируемых во множестве положений в пределах изображения, используется вектор обзора в положении, распознанном как самое дальнее в перспективе.
На фиг.14 (а) показаны положения наложения графической информации левого глаза и графической информации правого глаза, в случае, когда режим передачи представляет собой первый режим передачи (режим "сверху и снизу"), описанный выше. Эта графическая информация левого глаза и графическая информация правого глаза представляет собой одну и ту же информацию. Следует отметить, однако, что в том, что касается графической информации LGI левого глаза, которая должна быть наложена на изображение IL левого глаза, графическая информация RGI правого глаза, которая должна быть наложена на изображение IR правого глаза, установлена в положении со смещением в горизонтальном направлении на компонент VVT горизонтального направления вектора обзора.
Графические данные генерируют таким образом, что на изображения IL и IR, как показано на фиг.14 (а), соответственно, наложена графическая информация LGI и RGI. Таким образом, как показано на фиг.14 (b), зритель может наблюдать, вместе с изображениями IL и IR, графическую информацию LGI и RGI с несоответствием, что делает возможным воспринимать также перспективу графической информации.
Например, как показано на фиг.15 (а), графические данные графической информации LGI и RGI генерируют, как данные одной области. В этом случае данные другого участка, кроме графической информации LGI и RGI, могут быть сгенерированы как прозрачные данные. Кроме того, например, как показано на фиг.15 (b), графические данные каждой из графической информации LGI и RGI, генерируют как данные отдельной области.
На фиг.16 (а) иллюстрируются положения наложения графической информации левого глаза и графической информации правого глаза, в случае, когда режим передачи представляет собой второй режим передачи (режим "рядом друг с другом"), описанный выше. Эта графическая информация левого глаза и графическая информация правого глаза представляют собой одинаковую информацию. Следует отметить, однако, что в отношении графической информации LGI левого глаза, которая должна быть наложена на изображение IL левого глаза, графическая информация RGI правого глаза, которая должна быть наложена на изображение IR правого глаза, установлена в положении со смещением в горизонтальном направлении на компонент VVT горизонтального направления вектора обзора. Следует отметить, что IT обозначает значение смещения в состоянии покоя.
Графические данные генерируют таким образом, что на изображения IL и IR, как показано на фиг.16 (а), соответственно, накладывается графическая информация LGI и RGI. Таким образом, как показано на фиг.16 (b), зритель может наблюдать, вместе с изображениями IL и IR, графическую информацию LGI и RGI с несоответствием, в результате чего становится возможным воспринимать перспективу также и в отношении графической информации.
Например, как показано на фиг.17, графические данные графической информации LGI и RGI генерируют как данные одной области. В этом случае данные другого участка, кроме графической информации LGI и RGI, могут быть сгенерированы, как прозрачные данные.
На фиг.18 иллюстрируется пример конфигурации модуля 110В генерирования данных передачи, Модуль 110В генерирования данных передачи выполнен с возможностью передачи вектора обзора, включая вектор обзора в данные графической информации или текстовой информации. На фиг.18, участки, соответствующие показанным на фиг.2, обозначены теми же символами, и их подробное описание исключено.
В модуле 110В генерирования данных передачи модуль 124 обработки графических изображений вставлен между модулем 118 генерирования графических изображений и кодером 119 графических данных. Кроме того, в модуле 110В генерирования данных передачи модуль 125 обработки текста вставлен между модулем 120 генерирования текста и кодером 121 текста. Затем вектор обзора в заданном положении в пределах изображения, которое детектируют с помощью детектирования 114 вектора обзора, подают в модуль 124 обработки графических изображений и модуль 125 обработки текста.
В модуле 124 обработки графических изображений, на основе графических данных, генерируемых модулем 118 генерирования графических изображений, генерируют данные графической информации LGI левого глаза, которые должны быть наложены на изображение IL левого глаза, и данные графической информации RGI правого глаза, которые должны быть наложены на изображение правого глаза. В этом случае, в то время как графическая информация левого глаза и графическая информация правого глаза представляют собой одну и ту же графическую информацию, положения их наложения в изображениях таково, что, например, в отношении графической информации левого глаза, графическая информация правого глаза смещена в горизонтальном направлении на компонент VVT горизонтального направления вектора обзора (см. фиг.14 (а) и фиг.16 (а)).
Графические данные, генерируемые в модуле 124 обработки графических изображений, таким образом, подают в кодер 119 графических изображений. Следует отметить, что информация смещения в состоянии покоя, обозначающая положение наложения на изображение, прикреплена к этим графическим данным. В кодере 119 графических данных генерируют элементарный поток графических данных, генерируемый в модуле 124 обработки графических изображений.
Кроме того, в модуле 125 обработки текста на основе данных текста, генерируемых в модуле 120 генерирования текста, генерируют данные текстовой информации левого глаза, предназначенные для наложения на изображение левого глаза, и данные текстовой информации правого глаза, предназначенные для наложения на изображение правого глаза. В этом случае в то время как текстовая информация левого глаза и текстовая информация правого глаза представляют собой одну и ту же текстовую информацию, их положения наложения в пределах изображений таковы, что, например, в отношении текстовой информации левого глаза, текстовая информация правого глаза смещена в горизонтальном направлении на компонент VVT горизонтального направления вектора обзора.
Текстовые данные, генерируемые в модуле 125 обработки текста, таким образом, подают в кодер 121 текста. Следует отметить, что информация смещения в состоянии покоя, обозначающая положение наложения на изображение, прикреплена к этим текстовым данным. В кодере 121 текста генерируют элементарный поток данных текста, генерируемых в модуле обработки текста.
Хотя подробное описание изобретения здесь не представлено, модуль 110В генерирования данных передачи, показанный на фиг.18, в остальном выполнен так же, как и модуль 110 генерирования данных передачи, показанный на фиг.2.
[Описание телевизионной приставки]
Возвращаясь к фиг.1, телевизионная приставка 200 принимает данные потока битов (транспортный поток), передаваемые из станции 100 широковещательной передачи на волнах широковещательной передачи. Такие данные потока битов включают в себя данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, аудиоданные, графические данные, текстовые данные и векторы дополнительного обзора в качестве информации несоответствия.
Телевизионная приставка 200 имеет модуль 201 обработки потока битов. Модуль 201 обработки потока битов выделяет данные стереоизображения, аудиоданные, графические данные, текстовые данные, векторы обзора и т.п. из данных потока битов. Кроме того, модуль 201 обработки потока битов генерирует данные изображения левого глаза и данные изображения правого глаза, на которые была наложена информация наложения, путем использования данных стереоизображения, графических данных, текстовых данных и т.п.
Здесь, в случае, когда вектор обзора передают как цифровые данные, на основе вектора обзора и графических данных генерируют графическую информацию левого глаза и графическую информацию правого глаза, которая должна быть наложена на изображение левого глаза и изображение правого глаза, соответственно. В этом случае графическая информация левого глаза и графическая информация правого глаза представляют собой одну и ту же с графическую информацию. Однако их положения наложения в пределах изображений таковы, что, например, в отношении графической информации левого глаза, графическая информация правого глаза смещена в горизонтальном направлении на компонент горизонтального направления вектора обзора,
На фиг.19 (а) показаны положения наложения графической информации левого глаза и графической информации правого глаза, в случае в котором режим передачи представляет собой второй режим передачи (режим "рядом друг с другом"), описанный выше.
Что касается графической информации LGI левого глаза, которая должна быть наложена на изображение IL левого глаза, графическая информация RGI правого глаза, которая должна быть наложена на изображение IR правого глаза, находится в положении со смещением в горизонтальном направлении на компонент WT горизонтального направления вектора обзора. Следует отметить, что IT обозначает значение смещения в режиме покоя.
Графические данные генерируют таким образом, что на изображения IL и IR соответствующим образом наложена графическая информация LGI и RGI, как показано на фиг.19 (а).
Модуль 201 обработки потока битов синтезирует генерируемые графические данные левого глаза и графические данные правого глаза с данными стереоизображения (данными изображения левого глаза и данными изображения правого глаза), выделенными из данных потока битов, получая, таким образом, обработанные данные стереоизображения. В соответствии с такими данными стереоизображения, как показано на фиг.19 (b), зритель может наблюдать, вместе с изображениями IL и IR графическую информацию LGI и RGI с несоответствием, что, таким образом, позволяет также воспринимать перспективу графической информации.
Следует отметить, что на фиг.20 (а) иллюстрируется состояние, в котором графическое изображение на основе графических данных, выделенных из данных потока битов, наложено на каждое из изображений IL и IR в том виде, как они есть. В этом случае, как показано на фиг.20 (b), зритель наблюдает левую половину графической информации вместе с изображением IL левого глаза и правую половину графической информации вместе с изображением IR правого глаза. Следовательно, графическая информация больше не может быть распознана соответствующим образом.
Здесь, в случае, когда вектор обзора передают, как цифровые данные, на основе вектора обзора и текстовых данных, генерируют текстовую информацию левого глаза и текстовую информацию правого глаза, которая должна быть наложена на изображение левого глаза и изображение правого глаза, соответственно. В этом случае текстовая информация левого глаза и текстовая информация правого глаза представляют собой одну и та же текстовую информацию. Однако их положения наложения в пределах изображений таковы, что, например, в отношении текстовой информации левого глаза текстовая информация правого глаза смещена в горизонтальном направлении на компонент горизонтального направления вектора обзора.
Модуль 201 обработки потока битов синтезирует данные (растровые данные), генерируемых текстовых данных левого глаза и текстовых данных правого глаза, с использованием данных стереоизображения (данных изображения левого глаза и данных изображения правого глаза), выделенных из данных потока битов, получая, таким образом, обработанные данные стереоизображения. В соответствии с такими данными стереоизображения, как и в случае графической информации, описанной выше, зритель может наблюдать, вместе с каждым из изображения левого глаза и изображения правого глаза, текстовую информацию с несоответствием, что, таким образом, позволяет воспринимать перспективу также для текстовой информации.
В этом случае можно рассмотреть использование следующего вектора обзора в качестве вектора обзора, который придает несоответствие между графической информацией левого глаза и графической информацией правого глаза, или между текстовой информацией левого глаза и текстовой информацией правого глаза.
Например, в качестве вектора обзора, можно рассмотреть возможность использования, вместе с векторами обзора, детектируемыми во множестве положений в пределах изображения, вектора обзора в положении, распознаваемом, как находящееся дальше всего в перспективе. На фиг.21 (а), 21 (b), 21 (с) и 21 (d) иллюстрируются векторы обзора в трех положениях объекта в каждый из моментов времени Т0, T1, T2 и Т3.
В момент времени Т0 вектор VV0-1 обзора в положении (Н0, V0), соответствующем объекту 1, представляет собой наибольший вектор MaxVV (T0) обзора. В момент времени T1 вектор VV1-1 обзора в положении (HI, VI), соответствующем объекту 1, представляет собой наибольший вектор MaxW (T1) обзора. В момент времени T2 вектор VV2-2 обзора в положении (Н2, V2), соответствующем объекту 2, представляет собой наибольший вектор MaxVV (T2) обзора. В момент времени Т3 вектор VV3-3 обзора в положении (Н3, V3), соответствующем объекту 3, представляет собой наибольший вектор MaxVV (Т3) обзора.
Таким образом, путем использования в качестве вектора обзора, вектор обзора в положении, распознанном как находящемся дальше всего в перспективе среди векторов обзора, детектируемых во множестве положений в пределах изображения, становится возможным отображать графическую информацию или текстовую информацию перед объектом в пределах изображения, который является самым ближним в перспективе.
На фиг.22 (а) иллюстрируется пример отображения субтитров (графической информация) для изображения. Этот пример отображения представляет собой пример, в котором субтитры накладывают на изображение, составленное из фонового объекта и объекта переднего плана. На фиг.22 (b) иллюстрируется перспектива фона, объект переднего плана и субтитры, обозначающие, что субтитры были распознаны как находящиеся ближе всего.
На фиг.23 (а) иллюстрируется пример отображения субтитров (графической информация) для изображения. На фиг.23 (b) иллюстрируется графическая информация LGI левого глаза и графическая информация RGI правого глаза для отображения субтитров. Затем на фиг.23 (с) представлено, что несоответствие задано для каждой графической информации LGI и RGI так, что субтитры были распознаны, как находящиеся ближе всего.
Кроме того, в качестве вектора обзора предусматривается возможность использования, среди векторов обзора детектированных во множестве положений в пределах изображения вектора обзора, соответствующего положению наложения. На фиг.24 (а) иллюстрируется графическая информация на основе графических данных, выделенных из данных потока битов, и текстовая информация, основанная на текстовых данных, выделенных из данных потока битов.
На фиг.24 (b) иллюстрируется состояние, в котором графическая информация LGI левого глаза и текстовая информация LTI левого глаза наложены на изображение левого глаза. В этом случае положение наложения графической информации LGI левого глаза регулируют с помощью значения (IT-0) смещения в состоянии покоя в горизонтальном направлении. Кроме того, положение наложения текстовой информации LTI левого глаза регулируют с помощью значения (IT-1) смещения в состоянии покоя в горизонтальном направлении.
На фиг.24 (с) иллюстрируется состояние, в котором графическая информация RGI правого глаза и текстовая информация RTI правого глаза наложены на изображение правого глаза. В этом случае положение наложения графической информации RGI правого глаза регулируют с помощью значения (IT-) смещения в состоянии покоя в горизонтальном направлении, и дополнительно сдвигают из положения наложения графической информации левого LGI глаза на компонент VVT-0 горизонтального направления вектора обзора, соответствующего этому положению наложения. Кроме того, положение наложения текстовой информации RTI правого глаза регулируют с помощью значения (IT-1) смещения в состоянии покоя в горизонтальном направлении, и дополнительно сдвигают от положения наложения текстовой информации LTI левого глаза на компонент VVT-1 в горизонтальном направлении вектора обзора, соответствующего этому положению наложения.
Следует отметить, что представленное выше описание направлено на случай, в котором графическую информацию, основанную на графических данных, выделенных из данных потока битов, или текстовую информацию на основе текстовых данных, выделенных из данных потока битов, накладывают на изображение левого глаза и изображение правого глаза. В качестве альтернативы, также можно рассмотреть случай, в котором графические данные или текстовые данные генерируют в пределах телевизионной приставки 200, и информацию, основанную на этих данных, накладывают на изображение левого глаза и изображение правого глаза.
В этом случае также путем использования вектора обзора в заданном положении в пределах изображения, которое выделяют из данных потока битов, можно получать значение несоответствия между графической информацией левого глаза и графической информацией правого глаза, или между текстовой информацией левого глаза и текстовой информацией правого глаза. Таким образом, при отображении графической информации или текстовой информации становится возможным задать соответствующую перспективу при поддержании соответствия перспективы с перспективой каждого объекта в изображении.
На фиг.25 (а) иллюстрируется, что объекты А, В и С существуют в пределах изображения, и, например, текстовую информацию, обозначающую аннотацию каждого объекта, накладывают в положении рядом с каждым из этих объектов.
На фиг.25 (b) иллюстрируется, что список векторов обзора, который обозначает соответствие между положениями объектов А, В и С и векторов обзора в этих положениях, и отдельные вектора обзора используются в случае задания несоответствия для текстовой информации, обозначающей аннотацию на каждом из объектов А, В и С. Например, текстовую информацию "Текст" накладывают рядом с объектом А, и несоответствие, соответствующе вектору W-A обзора в положении (На, Va) объекта А, задают между его текстовой информацией левого глаза и текстовой информацией правого глаза. Следует отметить, что то же относится к текстовой информации, накладываемой рядом с каждым из объектов В и С.
Далее будет описан случай, в котором вектор обзора передают так, что он включен в данные графической информации или текстовой информации. В этом случае графические данные, выделенные из данных потока битов, включают в себя данные графической информации левого глаза и графической информации правого глаза, которой задано несоответствие с помощью вектора обзора. Аналогично, текстовые данные, выделенные из данных потока битов, включают в себя данные текстовой информации левого глаза и данные текстовой информации правого глаза, несоответствие которых задано с помощью вектора обзора.
В соответствии с этим модуль 201 обработки потока битов просто синтезирует графические данные или текстовые данные, выделяемые из данных потока битов, с данными стереоизображения (данные изображения левого глаза и данные изображения правого глаза), выделенными из данных потока битов, в результате чего получают обработанные данные стереоизображения. Следует отметить, что для текстовых данных необходимо преобразовывать текстовые данные (данные кода) в растровые данные.
[Пример конфигурации телевизионной приставки]
Пример конфигурации телевизионной приставки 200 будет описан ниже. На фиг.26 иллюстрируется пример конфигурации телевизионной приставки 200. Телевизионная приставка 200 имеет модуль 201 обработки потока битов, разъем 202 HDMI, антенный разъем 203, цифровой тюнер 204, схему 205 обработки видеосигнала, модуль 206 передачи HDMI и схему 207 обработки данных аудиосигнала. Кроме того, телевизионная приставка 200 имеет CPU 211, ROM 212 типа флэш, DRAM 213, внутреннюю шину 214, модуль 215 приема сигнала пульта дистанционного управления и передатчик 216 пульта дистанционного управления.
Антенный разъем 203 представляет собой разъем, через который вводят телевизионный сигнал широковещательной передачи с помощью приемной антенны (не показана). Цифровой тюнер 204 обрабатывает телевизионный сигнал широковещательной передачи, введенный в антенный разъем 203, и выводит заданные данные потока битов (транспортный поток), соответствующие выбранному пользователем каналу.
Как описано выше, модуль 201 обработки потока битов выделяет данные стереоизображения (данные изображения левого глаза и данные изображения правого глаза), аудиоданные, графические данные, текстовые данные, векторы обзора и т.п. из данных потока битов. Затем, как описано выше, модуль 201 обработки потока битов синтезирует данные информации наложения (графическая информация или текстовая информация) с данными стереоизображения с тем, чтобы, таким образом, получить данные стереоизображения для отображения. Кроме того, модуль 201 обработки потока битов выводит аудиоданные. Подробная конфигурация модуля 201 обработки потока битов будет описана ниже.
Схема 205 обработки видеосигнала выполняет обработку регулирования качества изображения или тому подобное, как требуется для данных стереоизображения, выводимых из модуля 201 обработки потока битов, и подает обработанные данные стереоизображения в модуль 206 передачи HDMI. Схема 207 обработки аудиосигнала выполняет процесс регулирования качества звука или тому подобное, в соответствии с необходимостью, для аудиоданных, выведенных из модуля 201 обработки потока битов, и подает обработанные аудиоданные в модуль 206 передачи HDMI.
Модуль 206 передачи HDMI передает изображение (видеоизображение) в основной полосе пропускания и аудиоданные из разъема 202 HDMI, используя передачу данных, соответствующую HDMI. В этом случае, поскольку передача осуществляется по каналу TMDS HDMI, каждые из данных изображения и аудиоданных упакованы, и их выводят из модуля 206 передачи HDMI в разъем 202 HDMI. Детали блока 206 передачи HDMI будут описаны ниже.
CPU 211 управляет операцией каждого модуля телевизионной приставки 200. ROM 212 типа флэш выполняет сохранение программного обеспечения управления и сохранение данных. DRAM 213 составляет рабочую область для CPU 211. CPU 211 расширяет программное обеспечение и данные, считываемые из ROM 212 типа флэш, в DRAM 213 для активации программного обеспечения, управляя, таким образом, каждым модулем телевизионной приставки 200.
Модуль 215 приема сигнала пульта дистанционного управления принимает сигнал пульта дистанционного управления (код дистанционного управления), передаваемый из передатчика 216 пульта дистанционного управления, и передает сигнал пульта дистанционного управления в CPU 211. CPU 211 управляет каждым модулем телевизионной приставки 200 на основе этого кода дистанционного управления. CPU 211, ROM 212 типа флэш и DRAM 213 соединены с внутренней шиной 214.
Далее будут кратко описаны операции телевизионной приставки 200. Телевизионный сигнал широковещательной передачи, вводимый в антенный разъем 203, подают в цифровой тюнер 204. В цифровом тюнере 204 телевизионный сигнал широковещательной передачи обрабатывают, и выводят заданные данные потока битов (транспортный поток), соответствующие выбранному пользователем каналу.
Данные потока битов, выводимые из цифрового тюнера 204, подают в модуль 201 обработки потока битов. В модуле 201 обработки потока битов, данные стереоизображения (данные изображения левого глаза и данные изображения правого глаза), аудиоданные, графические данные, текстовые данные, векторы обзора и т.п. выделяют из данных потока битов. Кроме того, в модуле 201 обработки потока битов данные информации наложения (графическая информация или текстовая информация) синтезируют с данными стереоизображения и генерируют данные стереоизображения для отображения.
После того, как данные стереоизображения для отображения, генерируемые модулем 201 обработки потока битов, подвергнут обработке регулирования качества изображения, или тому подобное, в соответствии с требованиями схемы 205 обработки видеосигнала, данные стереоизображения для отображения подают в модуль 206 передачи HDMI. Кроме того, после того, как аудиоданные, полученные в модуле 201 обработки потока битов, подвергнут обработке регулирования качества звука или подобное, в соответствии с необходимостью, в схеме 207 обработки аудиосигнала, эти аудиоданные передают в модуль 206 передачи HDMI. Данные стереоизображения и аудиоданные, передаваемые в модуль 206 передачи HDMI, передают в кабель 400 HDMI из разъема 202 HDMI.
[Пример конфигурации модуля обработки потока битов]
Пример конфигурации модуля 201 обработки потока битов будет описан выше. На фиг.27 иллюстрируется пример конфигурации модуля 201 обработки потока битов. Модуль 201 обработки потока битов выполнен так, что он соответствует модулю 110 генерирования данных передачи, показанному на фиг.2, описанной выше. Модуль 201 обработки потока битов имеет демультиплексор 220, видеодекодер 221, декодер 222 графических изображений, декодер 223 текста, аудиодекодер 224 и декодер 225 вектора обзора. Кроме того, модуль 201 обработки потока битов имеет модуль 226 генерирования графических изображений стереоизображения, модуль 227 генерирования текста стереоизображения, модуль 228 наложения видеоданных и модуль 229 управления многоканальным громкоговорителем.
Демультиплексор 220 выделяет пакеты TS видеоданных, аудиоданных, вектор обзора, графические данные и текст из данных BSD потока битов и передает эти пакеты TS в каждый декодер.
Видеодекодер 221 выполняет обработку, обратную выполненной кодером 113 видеоданных модуля 110 генерирования данных передачи, описанного выше. Таким образом, видеодекодер 221 реконструирует элементарный поток видеоданных из видеопакетов, выделенных демультиплексором 220, и выполняет обработку декодирования для получения данных стереоизображения, включающих в себя данные изображения левого глаза и данные изображения правого глаза. Режим передачи для этих стереоскопических данных представляет собой, например, первый режим передачи (режим "сверху и снизу"), второй режим передачи (режим "рядом друг с другом"), третий режим передачи (режим "последовательных кадров"), описанные выше, или тому подобное (см. фиг.4(а)-4(с)).
Декодер 222 графических изображений выполняет обработку, обратную обработке кодера 119 графических изображений модуля 110 генерирования данных передачи, описанную выше. Таким образом, декодер 222 графических изображений реконструирует элементарный поток графических данных из пакетов графических данных, выделенных демультиплексором 220, и выполняет обработку декодирования для получения графических данных.
Декодер 223 текста выполняет обработку, обратную обработке кодера текста 121 модуля 110 генерирования данных передачи, описанного выше. Таким образом, декодер 223 текста реконструирует элементарный поток текста из пакетов текста, выделенных демультиплексором 220, и выполняет обработку декодирования для получения текстовых данных.
Аудиодекодер 224 выполняет обработку, обратную обработке аудиокодера 117 модуля 110 генерирования данных передачи, описанного выше. Таким образом, аудиодекодер 224 реконструирует элементарный поток аудиоданных из пакетов аудиоданных, выделенных демультиплексором 220, и выполняет обработку декодирования для получения аудиоданных.
Декодер 225 вектора обзора выполняет обработку, обратную обработке кодера 115 вектора обзора, для модуля 110 генерирования данных передачи, описанного выше. Таким образом, декодер 225 вектора обзора реконструирует элементарный поток вектора обзора из пакетов вектора обзора, выделяемых демультиплексором 220, и выполняет обработку декодирования для получения вектора обзора в заданном положении, в пределах изображения.
Модуль 226 генерирования графических изображений стереоизображения генерирует графическую информацию левого глаза и графическую информацию правого глаза для наложения на изображение левого глаза и изображение правого глаза, соответственно, на основе графических данных, полученных декодером 222, и вектора обзора, полученного декодером 225. В этом случае в то время как графическая информация левого глаза и графическая информация правого глаза являются одной и той же графической информацией, положения ее наложения в пределах изображений таковы, что, например, в отношении графической информации левого глаза графическая информация правого глаза смещена в горизонтальном направлении на компонент горизонтального направления вектора обзора. Затем модуль 226 генерирования графических изображений стереоизображения выводит данные (растровые данные) сгенерированной графической информации левого глаза и графической информации правого глаза.
Модуль 227 генерирования текста стереоизображения генерирует текстовую информацию левого глаза и текстовую информацию правого глаза для наложения на изображение левого глаза и изображение правого глаза, соответственно, на основе текстовых данных, полученных декодером 223, и вектора обзора, полученного декодером 225. В этом случае в то время как текстовая информация левого глаза и текстовая информация правого глаза представляют собой одну и ту же текстовую информацию, положение их наложения в пределах изображений таково, что, например, что касается текстовой информации левого глаза, текстовая информация правого глаза смещена в горизонтальном направлении на компонент горизонтальной направленности вектора обзора. Затем модуль 227 генерирования текста стереоизображения выводит данные (растровые данные) сгенерированной информации текста левого глаза и информации текста правого глаза.
Модуль 228 наложения видеоданных накладывает данные, сгенерированные модулем 226 генерирования графических изображений, и данные, сгенерированные модулем 227 генерирования текста, на данные стереоизображения (данные изображения левого глаза и данные изображения правого глаза), полученные видеодекодером 221, получая, таким образом, данные стереоизображения для отображения Vout.
Модуль 229 управления многоканальным громкоговорителем применяет, например, процесс для генерирования аудиоданных многоканального громкоговорителя для реализации окружающего звука 5.1 каналов или тому подобное, процесс придания заданных характеристик звукового поля или тому подобное для аудиоданных, полученных аудиодекодером 224. Кроме того, модуль 229 управления многоканальным громкоговорителем управляет выходом многоканального громкоговорителя на основе вектора обзора, полученного декодером 225.
Больший вектор обзора обеспечивает более выраженный стереоэффект. Путем управления многоканальным громкоговорителем, выход которого соответствует степени стереоизображения, может быть реализовано улучшенное впечатление от просмотра стереоизображения.
На фиг.28 иллюстрируется пример управления выходом громкоговорителя в случае, в котором вектор VV1 обзора больше для видеообъектов левой стороны, если их рассматривать будучи обращенным к телевизионному дисплею. В этом примере управления громкость заднего левого громкоговорителя многоканального громкоговорителя устанавливают большей, громкость переднего левого громкоговорителя устанавливают в среднее значение и далее громкости переднего правого и заднего правого громкоговорителей устанавливают малыми. Таким образом, путем применения вектора обзора видеосодержания (данные стереоизображения) к другим мультимедийным данным, таким как аудиоданные на стороне приема, становится возможным обеспечить для зрителя впечатление от стереоэффекта в общем смысле.
Операция модуля 201 обработки потока битов, показанного на фиг.27, будет описана вкратце. Данные потока битов, выводимые из цифрового тюнера 204 (см. фиг.26), подают в демультиплексор 220. В демультиплексоре 220 TS пакеты видеоданных, аудиоданных, вектора обзора, графических данных и текста выделяют из данных BSD потока битов и подают в каждый декодер.
В видеодекодере 221 элементарный поток видеоданных реконструируют из пакетов видеоизображения, выделенного демультиплексором 220, и, кроме того, процесс декодирования выполняют для получения данных стереоизображения, включающего в себя данные изображения левого глаза и данные изображения правого глаза. Такие данные стереоизображения подают в модуль 228 наложения видеоданных. Кроме того, в декодере 225 вектора обзора элементарный поток вектора обзора реконструируют из пакетов вектора обзора, выделенных демультиплексором 220, и, кроме того, выполняют процесс декодирования для получения вектора обзора в заданном положении в пределах изображения (см. фиг.8).
В графическом декодере 222 элементарный поток графических изображений реконструируют из пакетов графических изображений, выделенных демультиплексором 220, и, кроме того, выполняют обработку декодирования для получения графических данных. Такие графические данные подают в модуль 226 генерирования графических изображений стереоизображения. Вектор обзора, полученный с помощью декодера 225 вектора обзора, также подают в модуль 226 генерирования стереоскопического, графического изображения.
В модуле 226 генерирования графических изображений стереоизображения на основе данных графики, полученных декодером 222, и вектора обзора, полученного декодером 225, генерируют графическую информацию левого глаза и графическую информацию правого глаза, которые могут быть наложены на изображение левого глаза и изображение правого глаза, соответственно. В этом случае в то время как графическая информация левого глаза и графическая информация правого глаза представляют собой одну и ту же графическую информацию, их положения наложения в пределах изображений выбирают таким образом, чтобы, например, в отношении графической информации левого глаза графическая информация правого глаза была смещена в горизонтальном направлении на компонент горизонтального направления вектора обзора. Данные (растровые данные) генерируемой графической информации левого глаза и графической информации правого глаза выводят из модуля 226 генерирования графических данных стереоизображения.
Кроме того, в декодере 223 текста элементарный поток текста реконструируют из пакетов текста, выделяемых демультиплексором 220 и, кроме того, выполняют обработку декодирования для получения текстовых данных. Эти текстовые данные передают в модуль 227 генерирования текста стереоизображения. Вектор обзора, получаемый декодером 225 вектора обзора, также прикладывают к модулю 227 генерирования текста стереоизображения.
В модуле 227 генерирования текста стереоизображения, на основе текстовых данных, получаемых декодером 223, и вектора обзора, получаемого с помощью декодера 225, генерируют текстовую информацию левого глаза и текстовую информацию правого глаза, которая должна быть наложена на изображение левого глаза и изображение правого глаза, соответственно. В этом случае в то время как текстовая информация левого глаза и текстовая информация правого глаза являются одной и той же текстовой информацией, их положение наложения в пределах изображений таково, что, например, относительно текстовой информации левого глаза текстовая информация правого глаза смещена в горизонтальном направлении на компонент горизонтального направления вектора обзора. Данные (растровые данные) генерируемой информации текста левого глаза и информации текста правого глаза выводят из модуля 227 генерирования текста стереоизображения.
В дополнение к данным стереоизображения (данные изображения левого глаза и данные изображения правого глаза) из видеодекодера 221, описанного выше, данные, выводимые из каждого из модуля 226 генерирования графических изображений и модуля 227 генерирования текста, подают в модуль 228 наложения на видеоизображения. В модуле 228 наложения на видеоизображения данные, генерируемые в каждом из модуля 226 генерирования графических изображений и модуля 227 генерирования текста, накладывают на данные стереоизображения (данные изображения левого глаза и данные изображения правого глаза), получая, таким образом, данные стереоизображения для отображения Vout. Эти данные стереоизображения для отображения Vout подают в модуль 206 передачи HDMI (см. фиг.26), как данные изображения передачи, через схему 205 обработки видеосигнала.
Кроме того, в аудиодекодере 224 элементарный поток аудиоданных реконструируют из пакетов аудиоданных, выделенных демультиплексором 220 и, кроме того, выполняют процесс декодирования для получения аудиоданных. Такие аудиоданные передают в модуль управления многоканальным громкоговорителем 229. В модуле 229 управления многоканальным громкоговорителем, например, выполняют процесс генерирования аудиоданных многоканального громкоговорителя для реализации окружающего звука 5.1 каналов или тому подобное, обработку придания заданных характеристик звуковому полю или тому подобное в отношении аудиоданных.
Вектор обзора, получаемый декодером 225 вектора обзора, также применяют к модулю 229 управления многоканальным громкоговорителем. Затем в модуле 229 управления многоканальным громкоговорителем выходом многоканального громкоговорителя управляют на основе вектора обзора. Многоканальные аудиоданные, получаемые модулем 229 управления многоканальным громкоговорителем, подают в модуль 206 передачи HDMI (см. фиг.26), как аудиоданные передачи, через схему 207 обработки аудиосигнала.
Следует отметить, что модуль 201 обработки потока битов, показанный на фиг.27, описанной выше, выполнен так, что он соответствует модулю 110 генерирования данных передачи по фиг.2, описанной выше. Модуль 201А обработки потока битов, показанный на фиг.29, выполнен в соответствии с модулем 110А генерирования данных передачи по фиг.13, описанной выше. На фиг.29 участки, соответствующие показанным на фиг.27, обозначены теми же номерами ссылочных позиций, и их подробное описание исключено.
В модуле 201А обработки потока битов предусмотрен модуль 231 выделения вектора обзора вместо декодера 225 вектора обзора модуля 201 обработки потока битов, показанного на фиг.27. Модуль 231 выделения вектора обзора выделяет из потока видеоданных, получаемых из декодера 221 видеоданных, вектор обзора, внедренный в его данные пользователя. Затем модуль 231 выделения вектора обзора подает выделенный вектор обзора в модуль 206 генерирования графического стереоизображения, модуль 227 генерирования текста стереоизображения и модуль 229 управления многоканальным громкоговорителем.
Хотя подробное описание здесь исключено, модуль 201А обработки потока битов, показанный на фиг.29 в остальном выполнен так же, как и модуль 201 обработки потока битов, показанный на фиг.27.
Кроме того, модуль 201В обработки потока битов, показанный на фиг.30, выполнен аналогично модулю 110В генерирования данных передачи по фиг.18, описанной выше. На фиг.30, участки, соответствующие показанным на фиг.27, обозначены теми же номерами ссылочных позиций, и их подробное описание исключено.
В модуле 201В обработки потока битов декодер 225 вектора обзора, модуль 206 генерирования графических изображений стереоизображения и модуль 207 генерирования текста стереоизображения исключены из модуля 201 обработки потока битов, показанного на фиг.27. В этом случае вектор обзора передают, включая его в данные графической информации или текстовой информации. Кроме того, как описано выше, передаваемые графические данные включают в себя данные графической информации левого глаза, которая должна быть наложена на изображение левого глаза, и данные графической информации правого глаза, которая должна быть наложена на изображение правого глаза. Аналогично описанному выше, передаваемые текстовые данные включают в себя данные текстовой информации левого глаза, которая должна быть наложена на изображение левого глаза, и данные текстовой информации правого глаза, которая должна быть наложена на изображение правого глаза. Поэтому декодер 225 вектора обзора, модуль 206 генерирования графических изображений стереоизображения и модуль 207 генерирования текста стереоизображения становятся ненужными.
Следует отметить, что поскольку текстовые данные, полученные текстовым декодером 223, представляют кодовые данные, требуется процесс преобразования их в растровые данные. Этот процесс выполняют, например, в последнем каскаде декодера 223 текста, или выполняют во входном каскаде модуля 228 наложения видеоданных.
[Описание телевизионного приемника]
Возвращаясь к фиг.1, телевизионный приемник 300 принимает данные стереоизображения, передаваемые из телевизионной приставки 200 через кабель 400 HDMI. Телевизионный приемник 300 имеет модуль 301 обработки 3D сигнала. Модуль 301 обработки 3D сигнала выполняет обработку (обработку декодирования), соответствующую режиму передачи для данных стереоизображения, и генерирует данные изображения левого глаза и данные изображения правого глаза. Таким образом, модуль 301 обработки 3D сигнала получает данные изображения левого глаза и данные изображения правого глаза, которые составляют данные стереоизображения, выполняя обработку, обратную выполняемой модулем 112 формирования видеокадра, в модулях 110, 110А, 110В генерирования данных передачи, показанных на фиг.2, 13, 18.
[Пример конфигурации телевизионного приемника]
Пример конфигурации телевизионного приемника 300 будет описан ниже. На фиг.31 показан пример конфигурации телевизионного приемника 300. Телевизионный приемник 300 имеет модуль 301 обработки 3D сигнала, разъем 302 HDMI, модуль 303 приема HDMI, антенный разъем 304, цифровой тюнер 305 и модуль 306 обработки потока битов. Кроме того, телевизионный приемник 300 имеет схему 307 обработки видеосигнала, схему 308 управления панелью, панель 309 дисплея, схему 310 обработки аудиосигнала, схему 311 усиления аудиосигнала и громкоговоритель 312. Кроме того, телевизионный приемник 300 имеет CPU 321, ROM 322 типа флэш, DRAM 323, внутреннюю шину 324, модуль 325 приема сигналов пульта дистанционного управления и передатчик 326 пульта дистанционного управления.
Антенный разъем 304 представляет собой разъем, в который подают сигнал телевизионной широковещательной передачи, принятый приемной антенной (не показана). Цифровой тюнер 305 обрабатывает сигнал телевизионной широковещательной передачи, введенный в антенный разъем 304, и выводит заданные данные потока битов (транспортный поток), соответствующие выбранному пользователем каналу.
Модуль 306 обработки потока битов выполнен так же, как и модуль 201 обработки потока битов телевизионной приставки 200, показанной на фиг.26. Модуль 306 обработки потока битов выделяет данные стереоизображения (данные изображения левого глаза и данные изображения правого глаза), аудиоданные, графические данные, текстовые данные, векторы обзора и т.п., из данных потока битов. Затем данные 306 потока битов синтезируют данные информации наложения (графической информации или текстовой информации) на данные стереоизображения и получают данные стереоизображения для отображения. Кроме того, модуль 306 обработки потока битов выводит аудиоданные.
Модуль 303 приема HDMI принимает несжатые данные изображения (данные стереоизображения) и аудиоданные, подаваемые в разъем 302 HDMI через кабель 400 HDMI, используя передачу данных, совместимую с HDMI. Детали модуля 303 приема HDMI будут описаны ниже. Модуль 301 обработки 3D сигнала выполняет обработку (обработку декодирования), соответствующую режиму передачи, для данных стереоизображения, которые были принятые модулем 303 приема HDMI, или получены модулем 306 обработки потока битов, генерируя, таким образом, данные изображения левого глаза и данные изображения правого глаза.
Схема 307 обработки видеосигнала генерирует данные изображения для отображения стереоизображения на основе данных изображения левого глаза и данных изображения правого глаза, генерируемых модулем 301 обработки 3D сигнала. Кроме того, схема обработки видеосигнала выполняет обработку регулирования качества изображения для данных изображения в соответствии с необходимостью. Схема 308 управления панелью осуществляет управление панелью 309 дисплея на основе данных изображения, выведенных из схемы 307 обработки видеосигнала. Панель 309 дисплея сформирована, например, из LCD (жидкокристаллического дисплея), PDP (плазменной панели дисплея), или тому подобное.
Схема 310 обработки аудиосигнала выполняет необходимую обработку, такую как D/A преобразование аудиоданных, которые принимает модуль 303 приема HDMI или которые получает модуль 306 обработки потока битов. Схема 311 усиления аудиоданных усиливает аудиосигнал, выводимый из схемы 310 обработки аудиосигнала, и подает этот аудиосигнал в громкоговоритель 312.
CPU 321 управляет операцией каждого модуля телевизионного приемника 300. ROM 322 типа флэш выполняет сохранение программного обеспечения управления и сохранение данных, DRAM 323 составляет рабочую область для CPU 321. CPU 321 расширяет программное обеспечение и данные, считанные из 322 типа флэш в DRAM 323 для активации этого программного обеспечения, управляя, таким образом, каждым модулем телевизионного приемника 300.
Модуль 325 приема сигналов дистанционного управления принимает сигнал пульта дистанционного управления (код пульта дистанционного управления), передаваемого из передатчика 326 пульта дистанционного управления, и подает сигнал пульта дистанционного управления в CPU 321. CPU 321 управляет каждым модулем телевизионного приемника 300 на основе этого кода пульта дистанционного управления. CPU 321, ROM 322 типа флэш и DRAM 323 соединены с внутренней шиной 324.
Далее будет кратко описана операция телевизионного приемника 300, показанного на фиг.31. В модуле 303 приема HDMI принимают данные стереоизображения и аудиоданные, которые передают из телевизионной приставки 200, подключенной к разъему 302 HDMI через кабель 400 HDMI. Данные стереоизображения, принимаемые модулем 303 приема HDMI, подают в модуль 301 обработки 3D сигнала. Кроме того, аудиоданные, принимаемые модулем 303 приема HDMI, подают в схему 310 обработки аудиосигнала.
Сигнал телевизионной широковещательной передачи, подаваемый в антенный разъем 304, подают в цифровой тюнер 305. В цифровом тюнере 305 сигнал телевизионной широковещательной передачи обрабатывают и выводят данные заданного потока битов (транспортного потока), соответствующего выбранному пользователем каналу.
Данные потока битов, выводимые из цифрового тюнера 305, подают в модуль 306 обработки потока битов. В модуле 306 обработки потока битов данные стереоизображения (данные изображения левого глаза и данные изображения правого глаза), аудиоданные, графические данные, текстовые данные, векторы обзора и т.п. выделяют из данных потока битов. Кроме того, в модуле 306 обработки потока битов, данные информации наложения (графической информация или текстовой информации) синтезируют с данными стереоизображения и генерируют данные стереоизображения для отображения.
Данные стереоизображения для отображения, генерируемые модулем 306 обработки потока битов, подают в модуль 301 обработки 3D сигнала. Кроме того, аудиоданные, полученные модулем 306 обработки потока битов, подают в схему 310 обработки аудиосигнала.
В модуле 301 обработки 3D сигнала обработку (процесс декодирования), соответствующую режиму передачи, выполняют для данных стереоизображения, принятых модулем 303 приема HDMI или полученных модулем 306 обработки потока битов, и генерируют данные изображения левого глаза и данные изображения правого глаза. Данные изображения левого глаза и данные изображения правого глаза подают в схему 307 модуля обработки видеосигнала. В схеме 307 обработки видеосигнала, на основе данных изображения левого глаза и данных изображения правого глаза, генерируют данные изображения для отображения стереоизображения. Затем стереоскопическое изображение отображают на панели 309 дисплея.
Кроме того, в схеме 310 обработки аудиосигнала необходимую обработку, такую как D/A преобразование, применяют к аудиоданным, которые были приняты модулем 303 приема HDMI или получены модулем 306 обработки потока битов. Эти аудиоданные подают в громкоговоритель 312 после их усиления в схеме 311 усиления звука. Затем звук выводят через громкоговоритель 312.
[Пример конфигурации модуля передачи HDMI и модуля приема HDMI]
На фиг.32 иллюстрируется пример конфигурации модуля 206 передачи HDMI (источника HDMI) телевизионной приставки 200 и модуля 303 приема HDMI (потребителя HDMI) телевизионного приемника 300, в системе 10 отображения стереоизображения по фиг.1.
Модуль 206 передачи HDMI однонаправлено передает дифференциальные сигналы, соответствующие несжатым данным пикселя, составляющим один экран изображения, в модуль 303 приема HDMI по множеству каналов в течение активного периода изображения (ниже также называется периодом активного видео в соответствующих случаях). Здесь период активного изображения представляет собой период от одного сигнала вертикальной синхронизации до следующего сигнала вертикальной синхронизации, минус период гашения горизонтального обратного хода луча и период гашения вертикального обратного хода луча. Кроме того, модуль 206 передачи HDMI однонаправлено передает дифференциальные сигналы, соответствующие, по меньшей мере, аудиоданным и данным управления, сопровождающим изображение, другие вспомогательные данные и т.п. в модуль 303 приема HDMI по множеству каналов в течение периода гашения горизонтального обратного хода луча или периода гашения вертикального обратного хода луча.
Следующие каналы передачи присутствуют как каналы передачи для системы HDMI, включающие в себя модуль 206 передачи HDMI и модуль 303 приема HDMI. Таким образом, существуют три канала №0-№2 TMDS, как каналы передачи, для однонаправленной передачи данных пикселя и аудиоданных из модуля 206 передачи HDMI в модуль 303 приема HDMI в синхронизации с тактовой частотой пикселей. Кроме того, существует канал тактовой частоты TMDS, как канал передачи, предназначенный для передачи тактовой частоты пикселя.
Модуль 206 передачи HDMI имеет передатчик 81 HDMI. Передатчик 81 преобразует, например, несжатые данные пикселя изображения в соответствующие дифференциальные сигналы, и однонаправлено передает эти дифференциальные сигналы последовательно в модуль 303 приема HDMI, подключенный через кабель 400 HDMI, по множеству каналов, которые представляют собой три канала №0, №1 и №2 TMDS.
Кроме того, передатчик 81 преобразует несжатые аудиоданные, сопровождающие изображение, и дополнительно необходимые данные управления, другие вспомогательные данные и т.п., в соответствующие дифференциальные сигналы, и однонаправлено передает эти дифференциальные сигналы последовательно в модуль 303 приема HDMI, по трем каналам №0, №1 и №2 TMDS.
Кроме того, передатчик 81 передает тактовую частоту пикселя, синхронизированную с данными пикселя, передаваемыми по трем каналам №0, №1 и №2 TMDS, в модуль 303 приема HDMI, подключенный через кабель 400 HDMI, по каналу тактовой частоты TMDS. Здесь по одному каналу №1 (i=0,1,2) TMDS 10-битовые данные пикселя передают в течение одного цикла тактовой частоты для тактовой частоты пикселя.
Во время активного видеопериода модуль 303 приема HDMI принимает дифференциальные сигналы, соответствующие данным пикселя, однонаправлено передаваемым из модуля 206 передачи HDMI по множеству каналов. Кроме того, во время периода гашения горизонтального обратного хода луча или периода гашения вертикального обратного хода луча, модуль 303 приема HDMI принимает дифференциальные сигналы, соответствующие аудиоданным и данным управления, однонаправлено передаваемым из модуля 206 передачи HDMI по множеству каналов.
Таким образом, модуль 303 приема HDMI имеет приемник 82 HDMI. Приемник 82 HDMI принимает дифференциальные сигналы, соответствующие данным пикселя, и дифференциальные сигналы, соответствующие аудиоданным и данным управления, которые однонаправлено передают из модуля 206 передачи HDMI, по каналам №0, №1 и №2 TMDS. В этом случае дифференциальные сигналы принимают синхронно с тактовой частотой пикселя, которую передают из модуля 206 передачи HDMI по каналу тактовой частоты TMDS.
В дополнение к описанным выше каналам №0 - №2 TMDS и каналу тактовой частоты TMDS, каналы передачи в системе HDMI, включающие в себя модуль 206 передачи HDMI и модуль 303 приема HDMI, включают в себя каналы передачи, называемые DDC (канал данных дисплея) 83 и линию 84 СЕС (управление электронными устройствами потребителя). DDC 83 сформирован двумя непоказанными линиями сигналов, включенными в кабель 400 HDMI, и используется для модуля 206 передачи HDMI, для считывания улучшенных расширенных идентификационных данных дисплея (E-EDID) из модуля 303 приема HDMI, который подключен через кабель 400 HDMI.
Таким образом, в дополнение к приемнику 81 HDMI, модуль 303 приема HDMI имеет EDID ROM (постоянное запоминающее устройство) 85, которое содержит E-EDID, которые представляют собой информацию рабочих характеристик, относящуюся к рабочим характеристикам (конфигурация/возможности) самого модуля 303 приема HDMI. Модуль 206 передачи HDMI считывает через DDC 83 E-EDID модуля 303 приема HDMI из модуля 303 приема HDMI, подключенного через кабель 400 HDMI, в ответ, например, на запрос из CPU 211 (см. фиг.26). Модуль 206 передачи HDMI передает считанный E-EDID в CPU 211. CPU 211 сохраняет эти E-EDID в ROM 212 типа флэш или в DRAM 213.
CPU 211 может распознавать установки рабочих характеристик модуля 303 приема HDMI на основе этих E-EDID. Например, CPU 211 распознает формат данных изображения (разрешение, частоту кадров, аспект и так далее), которые могут поддерживаться телевизионным приемником 300, имеющим модуль 303 приема HDMI.
Линия 84 СЕС сформирована с использованием непоказанной одиночной линии сигнала, включенной в кабель 400 HDMI, и используется для выполнения двунаправленной передачи данных управления между модулем 206 передачи HDMI и модулем 303 приема HDMI. Линия 84 СЕС составляет линию данных управления.
Кроме того, кабель 400 HDMI включает в себя линию (линию HPD) 86, которая подключена к выводу, называемому HPD (детектирование оперативного подключения). Используя линию 86, устройство источника может детектировать подключение устройства потребителя. Кроме того, кабель 400 HDMI включает в себя линию 87 (линию питания), которая используется для подачи энергии питания из устройства источника в устройство потребителя. Кроме того, кабель 400 HDMI включает в себя зарезервированную линию 88.
На фиг.33 показан пример конфигурации передатчика 81 HDMI и приемника 82 HDMI по фиг.32. Передатчик 81 HDMI имеет три кодера/параллельно - последовательных преобразователя 81А, 81В и 81C, которые соответствуют трем каналам №0, №1, и №2 TMDS, соответственно. Кроме того, каждый из трех кодеров/параллельно-последовательных преобразователей 81А, 81В и 81C кодирует данные изображения, вспомогательные данные и данные управления, подаваемые в них, для выполнения преобразования из параллельных данных в последовательные данные, и передает эти последовательные данные с использованием дифференциального сигнала. Здесь, если данные изображения имеют три компонента, R (Красный), G (Зеленый) и В (Синий), например, компонент В подают в кодер/параллельно-поеледовательный преобразователь 81А, компонент G подают в кодер/параллельно-последовательный преобразователь 81В, и компонент R подают в кодер/параллельно последовательный преобразователь 81C.
Кроме того, вспомогательные данные включают в себя, например, аудиоданные и пакеты управления. Например, пакеты управления подают в кодер/параллельно-последовательный преобразователь 81А, и аудиоданные подают в кодеры/параллельно-последовательные преобразователи 81В и 81С. Кроме того, данные управления включают в себя 1-битный сигнал вертикальной синхронизации (VSYNC), 1-битный сигнал горизонтальной синхронизации (HSYNC) и биты CTL0, CTL1, CTL2 и CTL3 управления, каждый из которых имеет 1 бит.Сигнал вертикальной синхронизации и сигнал горизонтальной синхронизации подают в кодер/параллельно-последовательный преобразователь 81А. Биты CTL0 и CTL1 управления подают в кодер/параллельно-последовательный преобразователь 81В, и биты CTL2 и CTL3 управления подают в кодер/параллельно-последовательный преобразователь 81С.
Кодер/параллельно-последовательный преобразователь 81А передает компонент В данных изображения, сигнал вертикальной синхронизации и сигнал горизонтальной синхронизации, и вспомогательные данных, которые подают в него в режиме разделения времени. Таким образом, кодер/параллельно-последовательный преобразователь 81А преобразует компонент В данных изображения, переданных в него, в параллельные данные, в единицах по 8 битов как фиксированное количество битов. Кроме того, кодер/параллельно-последовательный преобразователь 81А кодирует и преобразует параллельные данные в последовательные данные и передает эти последовательные данные в канал №0 TMDS.
Кроме того, кодер/параллельно-последовательный преобразователь 81А кодирует и преобразует 2-битные параллельные данные с сигнал вертикальной синхронизации и сигнал горизонтальной синхронизации, подаваемые в него, в последовательные данные и передает последовательные данные в канал №0 TMDS. Кроме того, кодер/параллельно-последовательный преобразователь 81А преобразует вспомогательные данные, подаваемые в него, в параллельные данные в единицах по 4 бита. Затем кодер/параллельно-последовательный преобразователь 81А кодирует и преобразует параллельные данные в последовательные данные и передает последовательные данные по каналу №0 TMDS.
Кодер/параллельно-последовательный преобразователь 81В передает компонент G данных изображения, биты CTL0 и CTL1 управления и вспомогательные данные, которые были переданы в него, используя режим разделения по времени. Таким образом, кодер/параллельно-последовательный преобразователь 81В преобразует компонент G данных изображения, подаваемых в него, в параллельные данные в единицах по 8 битов как фиксированное количество битов. Кроме того, кодер/параллельно-последовательный преобразователь 81В кодирует и преобразует параллельные данные в последовательные данные и передает эти последовательные данные по каналу №1 TMDS.
Кроме того, кодер/параллельно-последовательный преобразователь 81В кодирует и преобразует 2-битные параллельные данные битов CTL0 и CTL1 управления, подаваемых в него, в последовательные данные и передает последовательные данные по каналу №1 TMDS. Кроме того, кодер/параллельно-последовательный преобразователь 81В преобразует вспомогательные данные, подаваемые в него, в параллельные данные в единицах по 4 бита. Затем кодер/параллельно-последовательный преобразователь 81В кодирует и преобразует параллельные данные в последовательные данные и передает последовательные данные по каналу №1 TMDS.
Кодер/параллельно-последовательный преобразователь 81C передает компонент R данных изображения, биты CTL2 и CTL3 управления и вспомогательные данные которые были переданы в него, в режиме разделения времени. Таким образом, кодер/параллельно-последовательный преобразователь 81C преобразует компонент R данных изображения, подаваемых в него, в параллельные данные и выводит в единицах по 8 бит, в качестве фиксированного количества битов. Кроме того, кодер/параллельно-последовательный преобразователь 81C кодирует и преобразует параллельные данные в последовательные данные, и передает эти последовательные данные по каналу №2 TMDS.
Кроме того, кодер/параллельно-последовательный преобразователь 81C кодирует и преобразует 2-битные параллельные данные битов CTL2 и CTL3 управления, подаваемые в него, в последовательные данные, и передает эти последовательные данные по каналу №2 TMDS. Кроме того, кодер/параллельно-последовательный преобразователь 81C преобразует вспомогательные данные, подаваемые в него, в параллельные данные в единицах по 4 бита. Затем кодер/параллельно-последовательный преобразователь 81C кодирует и преобразует параллельные данные в последовательные данные и передает эти последовательные данные по каналу №2 TMDS.
Приемник 82 HDMI имеет три восстановителя/декодера 82А, 82В и 82С, соответствующие трем каналам №0, №1 и №2 TMDS, соответственно. Каждый из восстановителей/декодеров 82А, 82В и 82С принимает данные изображения, вспомогательные данные и данные управления, передаваемые с помощью дифференциальных сигналов по каналам №0, №1 и №2 TMDS. Кроме того, каждый из восстановителей/декодеров 82А, 82В и 82С преобразует принимаемые данные изображения, вспомогательные данные и данные управления из последовательных данных в параллельные данные, и декодирует и выводит эти параллельные данные.
Таким образом, восстановитель/декодер 82А принимает компонент В данных изображения, сигнал вертикальной синхронизации, сигнал горизонтальной синхронизации и вспомогательные данные, которые были переданы с помощью дифференциальных сигналов по каналу №0 TMDS. Затем восстановитель/декодер 82А преобразует компонент В данных изображения, сигнал вертикальной синхронизации, сигнал горизонтальной синхронизации и вспомогательные данные из последовательных данных в параллельные данные, и декодирует и выводит эти параллельные данные.
Восстановитель/декодер 82В принимает компонент G данных изображения, биты CTL0 и CTL1 управления и вспомогательные данные, которые были переданы с помощью дифференциальных сигналов по каналу №1 TMDS. Затем восстановитель/декодер 82В преобразует компонент G данных изображения, биты CTL0 и CTL1 управления, и вспомогательные данные из последовательных данных в параллельные данные, и декодирует и выводит эти параллельные данные.
Восстановитель/декодер 82С принимает компонент R данных изображения, биты CTL2 и CTL3 управления, и вспомогательные данные, которые были переданы с помощью дифференциальных сигналов по каналу №2 TMDS. Затем восстановитель/декодер 82С преобразует компонент R данных изображения, биты CTL2 и CTL3 управления и вспомогательные данные из последовательных данных в параллельные данные, и декодирует и выводит эти параллельные данные.
На фиг.34 иллюстрируется пример структуры данных передачи TMDS. На фиг.34 представлены различные периоды данных передачи в случае, когда данные изображения, горизонтальный × вертикальный размеры которых составляют 1920 пикселей × 1080 строк, передают по трем каналам №0, №1 и №2 TMDS.
В течение видеополя, при котором данные передачи передают по трем каналах №0, №1 и №2 TMDS HDMI, существуют три виды периодов, период видеоданных, период острова данных и период управления, в зависимости от вида данных передачи.
Здесь период видеополя представляет собой период от переднего фронта данного сигнала вертикальной синхронизации до переднего фронта следующего сигнала вертикальной синхронизации, и он разделен на периоды гашения горизонтального обратного хода луча, периоды гашения вертикального обратного хода луча и активного видео. Такой период активного видео представляет собой период в периоде видеополя минус периоды гашения горизонтального обратного хода луча и гашения вертикального обратного хода луча.
Период видеоданных назначают в период активного видео. В такой период видеоданных передают данные размером 1920 пикселей ×1080 строк активных пикселей, составляющих один экран несжатых данных изображения.
Период острова данных и период управления назначают для периода гашения горизонтального обратного хода луча и гашения вертикального обратного хода луча. В течение такого периода острова данных и периода управления передают вспомогательные данные. Таким образом, период острова данных назначают для участка каждого из периода гашения горизонтального обратного хода луча и гашения вертикального обратного хода луча. В этот период острова данных вспомогательные данные передают данные, не относящиеся к управлению, например пакет аудиоданных и т.п.
Период управления назначают для другого участка каждого из периода гашения горизонтального обратного хода луча и периода гашения вертикального обратного хода луча. В такой период управления передают вспомогательные данные, данные, относящиеся к управлению, например сигнал вертикальной синхронизации, сигнал горизонтальной синхронизации, пакет управления и т.п.
На фиг.35 иллюстрируется пример компоновки выводов разъемов 211 и 251 HDMI. Компоновка выводов, показанная на фиг.35, называется Типом А.
Две линии, используемые как дифференциальные линии, по которым передают данные TMDS № i+ и данные TMDS №i-, как дифференциальные сигналы, по двум каналам №i TMDS, соединены с выводами (выводы, номера выводов которых представляют собой 1, 4 и 7), которым назначены данные № i+TMDS, и выводами (выводы, номера которых представляют собой 3, 6 и 9), которым назначены данные № i-TMDS.
Кроме того, линия 84 СЕС, по которой передают сигнал СЕС, как данные управления, соединена с выводом, номер вывода которого представляет собой 13. Вывод, номер вывода которого представляет собой 14, является зарезервированным выводом. Кроме того, линия, по которой передают сигнал SDA (последовательные данные), такие как E-EDID, соединен с выводом, номер вывода которого представляет собой 16. Линия, по которой SCL (последовательная тактовая частота) передают как сигнал тактовой частоты, используемый для синхронизации во время передачи и приема сигнала SDA, соединена с выводом, номер вывода которого представляет собой 15. Описанные выше DDC 83 формируются из линии, по которой передают сигнал SDA, и линии, по которой передают сигнал SCL.
Кроме того, линия 86 HPD для устройства источника, для детектирования подключения устройства потребителя, как описано выше, соединена с выводом, номер вывода которого представляет собой 19. Кроме того, линия 87 для подачи питания, как описано выше, подключена к выводу с номером вывода 18.
[Пример данных передачи TMDS в каждом режиме для данных стереоизображения]
Здесь будет описан пример данных передачи TMDS в каждом режиме для данных стереоизображения. На фиг.36 иллюстрируется пример данных передачи TMDS в первом режиме передачи (режим "сверху и снизу"). В этом случае данные размером 1920 пикселей ×1080 строк из активных пикселей (синтезируемые данных изображения левого глаза (L) и данные изображения правого глаза (R)) размещают в активном видеопериоде из 1920 пикселей ×1080 строк. В случае такого первого режима, как описано выше, строки в вертикальном направлении каждых из данных изображения левого глаза и данных изображения правого глаза прореживают до 1/2. Здесь данные изображения левого глаза, предназначенные для передачи, представляют собой либо строки с нечетными номерами, или строки с четными номерами и, аналогично, данные изображения правого глаза, предназначенные для передачи, представляют собой либо строки с нечетными номерами или строки с четными номерами.
На фиг.37 представлен пример данных передачи TMDS во втором режиме передачи (режим "рядом друг с другом"). В этом случае данные размером 1920 пикселей ×1080 строк активных пикселей (синтезированные данные для данных изображения левого глаза (L) и данных изображения правого глаза (R)) помещены в период активного видео размером 1920 пикселей ×1080 строк. В случае такого второго режима, как описано выше, строки в горизонтальном направлении каждого из данных изображения левого глаза и данных изображения правого глаза прорежены до 1/2.
На фиг.38 показан пример данных передачи TMDS в третьем режиме передачи (режим "последовательных кадров"). В этом случае данные изображения левого глаза (L) размером 1920 пикселей ×1080 строк активных пикселей помещены в поля с нечетными номерами активного видеопериода размером 1920 пикселей ×1080 строк. Кроме того, данные изображения правого глаза (R) размером 1920 пикселей ×1080 строк активных пикселей помещены в полях с четными номерами поля активного видеопериода размером 1920 пикселей ×1080 строк.
Следует отметить, что пример данных передачи TMDS в режиме "последовательных кадров", иллюстрируемый на фиг.38, представляет режим "последовательных кадров" в HDMI 1.4 (Новый HDMI). В этом случае, как показано на фиг.39 (а), в каждый период Vfreq кадра, данные изображения левого глаза помещают в полях с нечетными номерами, и данные изображения правого глаза помещают в полях с четными номерами.
Однако в случае режима "последовательных кадров" в HDMI 1.3 (обычный HDMI), как показано на фиг.39 (b), данные изображения левого глаза и данные изображения правого глаза передают поочередно для каждого периода Vfreq кадра. В этом случае необходимо, чтобы устройство-источник передавало в устройство потребитель информацию, обозначающую, являются ли передаваемые данные изображения данными изображения левого глаза или данными изображения правого глаза для каждого кадра (информация сигналов L, R).
Во время передачи данных стереоизображения в режиме "сверху и снизу", в режиме "рядом друг с другом" или в режиме "последовательных кадров" в устройстве потребителя режим устанавливают на стороне устройства источника и, кроме того, в случае режима "последовательных кадров", выполняют передачу сигналов L, R для каждого кадра.
Например, следующий синтаксис передают в соответствии с вновь определяемой спецификацией одних из данных, специфичных для поставщика, AVI InfoFrame и зарезервированных данных, определенных в период гашения обратного хода луча обычного HDMI.
В случае HDMI 1.3, следующее определено, как информация, которая должна быть передана в период гашения обратного хода луча.
InfoFrame Type # (8 битов)
0×01: Специфичный для поставщика
0×02: AVI InfoFrame
0×03: Описание продукта источника
0×04: Аудио InfoFrame
0×05: MPEGSource
0×06 - 0×FF Зарезервированы
Из них одна из областей, специфичных для поставщика, AVI InfoFrame, и зарезервированных вновь, определена следующим образом.
3DVideoFlag 1 бит (0:2D, 1:3D)
if(3DVideoFlag) {
3DVideoFormat 3 бита (0×0: Упаковка кадра левого обзора
0×1: Упаковка кадра правого обзора
0×2: Рядом друг с другом
0×4: Сверху и снизу на кадр
0×6: Сверху и снизу на поле
0×3, 5, 7: Зарезервированы)
Зарезервированы 4 бита (0×0)
} else {
Зарезервированы 7 битов (0×0)
}
Описанная выше информация включает в себя информацию о переключении между данными трехмерного изображения и данными двумерного изображения (1 бит из информации 3DVideoFlag), и информацию в отношении спецификации формата данных трехмерного изображения или переключения между данными изображения левого глаза и данными изображения правого глаза (3 бита информации 3DVideoFormat).
Следует отметить, что эта информация должна быть определена в заголовке изображения или как вспомогательная информация, передаваемая через эквивалентные периоды времени в потоке битов, по которым выполняют широковещательную передачу той же информации. В этом случае данные трехмерного изображения (данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза) или данные двумерного изображения поочередно включают в этот поток битов.
В приемнике (телевизионной приставке 200), при приеме потока, такую информацию сигналов передают в цифровой интерфейс в следующем каскаде, для обеспечения того, что точное трехмерное преобразование может быть выполнено на дисплее (в телевизионном приемнике 300).
Кроме того, когда информация о переключении (1 бит из информации 3DVideoFlag) обозначает данные трехмерного изображения, то есть когда поток данных включает в себя данные трехмерного изображения, приемник может загружать и устанавливать программное обеспечение для обработки этих данных трехмерного изображения из внешнего устройства, такого как сервер широковещательной передачи.
Например, для передачи 3D информации, описанной выше, становится необходимой дополнительная поддержка по системе, которая поддерживает HDMI 1.3, или обновление программного обеспечения системы, которая поддерживает HDMI 1.4. Поэтому, во время обновления программного обеспечения, обновления выполняют, например, в отношении программного обеспечения, относящегося к встроенному программному обеспечению, или промежуточному программному обеспечению, для передачи 3D информации, описанной выше.
Как описано выше, в системе 10 отображения стереоизображения, показанной на фиг.1, на основе информации несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, несоответствие задают для одной и той же информации наложения (графической информации или текстовой информации), которая должна быть наложена на изображение левого глаза и изображение правого глаза. Поэтому в качестве одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, можно использовать информацию наложения, в которой применяли регулировку несоответствия в соответствии с перспективой каждого объекта в пределах изображения, делая, таким образом, возможным поддержание соответствия перспективы с каждым объектом в изображении при отображении информации наложения.
<2. Модификации>
Следует отметить, что в описанном выше варианте осуществления вектор обзора в заданном положении в пределах изображения передают со стороны станции 100 широковещательной передачи в телевизионную приставку 200. В этом случае телевизионная приставка 200 не обязательно должна получать вектор обзора на основе принятых данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, и, таким образом, обработка в телевизионной приставке 200 упрощается.
Однако также можно предусмотреть размещение модуля детектирования вектора обзора, эквивалентного модулю 114 детектирования вектора обзора, в модуле 110 генерирования данных передачи на фиг.2, на стороне приема данных стереоизображения, которая представляет собой телевизионную приставку 200 в описанном выше варианте осуществления. В этом случае обработка с использованием вектора обзора становится возможной, даже если вектор обзора не будет передан.
На фиг.40 иллюстрируется пример конфигурации модуля 201C обработки потока битов, предусмотренного, например, в телевизионной приставке 200. На фиг.40 участки, соответствующие показанным на фиг.27, обозначены теми же номерами ссылочных позиций, и их подробное описание исключено. В модуле 201C обработки потока битов, модуль 233 детектирования вектора обзора установлен вместо декодера 225 вектора обзора в модуле 201 обработки потока битов, показанном на фиг.27.
Модуль 233 детектирования вектора обзора детектирует вектор обзора в заданном положении в пределах изображения, на основе данных изображения левого глаза и данных изображения правого глаза, которые составляют данные стереоизображения, полученные видеодекодером 221. Затем модуль 233 детектирования вектора обзора передает детектируемый вектор обзора в модуль 206 генерирования графических изображений стереоизображения, модуль 227 генерирования текста стереоизображения, и модуль 229 управления выходом многоканального громкоговорителя.
Хотя подробное описание не приведено, модуль 201C обработки потока битов, показанный на фиг.40, в остальном, выполнен так же, как и модуль 201 обработки потока битов, показанный на фиг.27.
Кроме того, описанный выше вариант осуществления направлен на случай, в котором система 10 отображения стереоизображения сформирована на основе станции 100 широковещательной передачи, телевизионной приставки 200 и телевизионного приемника 300. Однако, как показано на фиг.31, телевизионный приемник 300 включает в себя модуль 201 обработки потока битов, который функционирует эквивалентно модулю 201 обработки потока битов в телевизионной приставке 200. Поэтому, как показано на фиг.41, также возможна система 10А отображения стереоизображения, сформированная из станции 100 широковещательной передачи и телевизионного приемника 300.
Кроме того, описанный выше вариант осуществления направлен на случай, в котором поток данных (данные потока битов), включающий в себя данные стереоизображения, передают в режиме широковещательной передачи из станции 100 широковещательной передачи. Однако, конечно, данное изобретение аналогично можно применять в системе, выполненной таким образом, что этот поток данных будет распределен в разъем приема, используя сеть, такую как Интернет.
Промышленная применимость
Настоящее изобретение можно применять в системе отображения стереоизображения или тому подобное, в которой информация наложения, такая как графическая информация или текстовая информация, отображаются с наложением на изображение.
Список номеров ссылочных позиций
10, 10А система отображения стереоизображения
100 станция широковещательной передачи
110, 110А, 110В модуль генерирования данных передачи
111L, 111R камера
112 модуль формирования видеокадра
113 видеокодер
114 модуль детектирования вектора обзора
115 кодер вектора обзора
116 микрофон
117 аудиокодер
118 модуль генерирования графических изображений
119 кодер графических изображений
120 модуль генерирования текста
121 кодер текста
122 мультиплексор
123 модуль формирования кадров потока
124 модуль обработки графических изображений
125 модуль обработки текста
200 телевизионная приставка
201, 201А, 201В, 201C модуль обработки потока битов
202 разъем HDMI
203 антенный разъем
204 цифровой тюнер
205 схема обработки видеосигнала
206 модуль передачи HDMI
207 схема обработки аудиосигнала
211 CPU
212 ROM типа флэш
213 DRAM
214 внутренняя шина
215 модуль приема сигнала пульта дистанционного управления
216 передатчик пульта дистанционного управления
220 демультиплексор
221 видеодекодер
222 декодер графических изображений
223 декодер текста
224 аудиодекодер
225 декодер вектора обзора
226 модуль генерирования графических изображений стереоизображения
227 модуль генерирования текста стереоизображения
228 модуль наложения видеоизображений
229 модуль управления многоканальным громкоговорителем
231 модуль выделения вектора обзора
233 модуль детектирования вектора обзора
300 телевизионный приемник
301 модуль обработки 3D сигнала
302 разъем HDMI
303 модуль приема HDMI
304 антенный разъем
305 цифровой тюнер
306 модуль обработки потока битов
307 схема обработки видеосигнала
308 схема управления панелью
309 панель дисплея
310 схема обработки аудиосигнала
311 схема усиления звука
312 громкоговоритель
321 CPU
322 ROM типа флэш
323 DRAM
324 внутренняя шина
325 модуль приема сигналов пульта дистанционного управления
326 передатчик пульта дистанционного управления
400 кабель HDMI
Изобретение относится к средствам обработки стереоизображения. Техническим результатом является поддержание соответствия перспективы с каждым объектом в изображении при отображении информации наложения. Результат достигается тем, что модуль 112 формирования видеокадра выполняет манипуляции с данными изображения левого глаза и данными изображения правого глаза в состоянии в соответствии с режимом передачи, получая, таким образом, данные стереоизображения для передачи. На основе данных изображения левого глаза и данных изображения правого глаза, в заданном положении в пределах изображения, модуль 114 детектирования вектора обзора детектирует вектор обзора, который представляет собой информацию несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга. Кодер 115 вектора обзора генерирует элементарный поток вектора обзора. С помощью мультиплексора 122 генерируют и передают данные потока битов, в которых поток вектора обзора мультиплексирован в дополнение к видеопотоку, аудиопотоку или графическому потоку и т.п. На стороне приема, в качестве той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, можно использовать информацию наложения, в которой применяли регулировку несоответствия, в соответствии с перспективой каждого объекта в изображении. 8 н. и 9 з.п. ф-лы, 42 ил.
1. Устройство передачи данных стереоизображения, содержащее: модуль вывода данных стереоизображения, который выводит данные
стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза;
модуль вывода информации несоответствия, который выводит информацию несоответствия для придания несоответствия путем смещения информации наложения, которая должна быть наложена на изображения, на основе данных изображения левого глаза и данных изображения правого глаза; и
модуль передачи данных, который передает информацию несоответствия, выводимую из модуля вывода информации несоответствия, вместе с данными стереоизображения, выводимыми из модуля вывода данных стереоизображения.
2. Устройство передачи данных стереоизображения по п.1, в котором модуль передачи данных передает информацию несоответствия как цифровую информацию.
3. Устройство передачи данных стереоизображения по п.1, в котором модуль передачи данных передает информацию несоответствия, включая в себя информацию несоответствия в данные информации наложения, которая должна быть наложена на изображения, на основе на данных изображения левого глаза и данных изображения правого глаза.
4. Способ передачи данных стереоизображения, содержащий этапы, на которых:
получают информацию несоответствия для придания несоответствия путем смещения информации наложения, которая должна быть наложена на изображения, на основе данных изображения левого глаза и данных изображения правого глаза; и
передают полученную информацию несоответствия вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза.
5. Способ передачи данных стереоизображения, содержащий этапы, на которых:
получают, на основе данных изображения левого глаза и данных изображения правого глаза для отображения стереоизображения, информацию несоответствия для одного из изображения левого глаза и изображения правого глаза относительно друг друга, в заданном положении в пределах изображения; и
передают полученную информацию несоответствия вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза.
6. Устройство приема данных стереоизображения, содержащее:
модуль приема данных изображения, который принимает данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза; и
модуль обработки данных изображения, который придает несоответствие для одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, на основе информации несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, и получает данные изображения левого глаза, на которое была наложена информация наложения, и данные изображения правого глаза, на которое была наложена информация наложения, причем информацию несоответствия получают в результате обработки данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принятые модулем приема данных изображения.
7. Устройство приема данных стереоизображения по п.6, в котором модуль обработки данных изображения задает для одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, несоответствие в соответствии с положением наложения информации наложения.
8. Устройство приема данных стереоизображения по п.6, дополнительно содержащее модуль приема информации несоответствия, который принимает информацию несоответствия синхронно с данными стереоизображения, принимаемыми модулем приема данных изображения.
9. Устройство приема данных стереоизображения по п.6, дополнительно содержащее модуль получения информации несоответствия, который получает информацию несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга в заданном положении в пределах изображения на основе данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принятые модулем приема данных изображения.
10. Устройство приема данных стереоизображения по п.6, дополнительно содержащее модуль передачи данных изображения, который передает данные стереоизображения, включенные в данные изображения левого глаза, и данные изображения правого глаза, полученные модулем обработки данных изображения, во внешнее устройство.
11. Устройство приема данных стереоизображения по п.10, в котором модуль передачи данных изображения передает данные изображения левого глаза и данные изображения правого глаза во внешнее устройство в режиме последовательных кадров, и дополнительно передает во внешнее устройство сигнал для отличия, являются ли данные изображения, переданные в каждом кадре, данными изображения левого глаза или данными изображения правого глаза.
12. Устройство приема данных стереоизображения по п.6, дополнительно содержащее модуль отображения изображения, который отображает изображение для отображения стереоизображения на основе данных изображения левого глаза и данных изображения правого глаза, полученных модулем обработки данных изображения.
13. Устройство приема данных стереоизображения по п.6, дополнительно содержащее:
многоканальный громкоговоритель; и
модуль управления, который управляет выходом многоканального громкоговорителя на основе информации несоответствия одних из данных изображения левого глаза и данных изображения правого глаза относительно друг друга.
14. Способ приема данных стереоизображения, содержащий:
этап приема данных изображения, состоящий в приеме данных стереоизображения, включающих в себя данные изображения левого глаза и данные изображения правого глаза; и
этап обработки данных изображения, состоящий в задании несоответствия одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, на основе информации несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, и получения данных для изображения левого глаза, на которое была наложена информация наложения, и данных изображения правого глаза, на которое была наложена информация наложения.
15. Устройство передачи данных изображения, содержащее:
модуль передачи потока данных, который передает поток данных, поочередно включающий в себя данные трехмерного изображения или данные двумерного изображения; и
модуль внедрения информации, который внедряет в поток данных информацию о переключении между данными трехмерного изображения и данными двумерного изображения, и информацию о спецификации формата данных трехмерного изображения или переключения между данными изображения левого глаза и данными изображения правого глаза.
16. Устройство приема данных изображения, содержащее:
модуль приема потока данных, который принимает поток данных, поочередно включающий в себя данные трехмерного изображения или данные двумерного изображения и включающий в себя информацию о переключении между данными трехмерного изображения и данными двумерного изображения, и информацию о спецификации формата данных трехмерного изображения или переключения между данными изображения левого глаза и данными изображения правого глаза;
модуль передачи данных изображения, который передает данные изображения, включенные в поток данных, принимаемый модулем приема данных, во внешнее устройство через цифровой интерфейс; и
модуль передачи информации, который передает информацию о переключении между данными трехмерного изображения и данными двумерного изображения, и информацию о спецификации формата данных трехмерного изображения или переключения между данными изображения левого глаза и данными изображения правого глаза, которые включены в поток данных, во внешнее устройство через цифровой интерфейс.
17. Устройство приема данных изображения, содержащее:
модуль приема потока данных, который принимает поток данных, поочередно включающий в себя данные трехмерного изображения или данные двумерного изображения; и
модуль загрузки, который загружает программное обеспечение для обработки данных трехмерного изображения из внешнего устройства, когда модуль приема потока данных принимает поток данных, включающий в себя данные трехмерного изображения.
| JP 2009135686 A, 2009.06.18 | |||
| JP 2004274125 A, 2004.09.30 | |||
| JP 11289555 A, 1999.10.19 | |||
| JP 6301390 A, 1994.10.28 | |||
| JP 2000078611 A, 2000.03.14 | |||
| СПОСОБ ПОЛУЧЕНИЯ И ВОСПРОИЗВЕДЕНИЯ ОБЪЕМНОГО ИЗОБРАЖЕНИЯ И УСТРОЙСТВО ДЛЯ ЕГО РЕАЛИЗАЦИИ | 1995 |
|
RU2097940C1 |
