НОСИТЕЛЬ ЗАПИСИ, УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ, УСТРОЙСТВО КОДИРОВАНИЯ, ИНТЕГРАЛЬНАЯ СХЕМА И УСТРОЙСТВО ВЫВОДА ДЛЯ ВОСПРОИЗВЕДЕНИЯ Российский патент 2014 года по МПК H04N13/04 G06T15/00 G11B20/12 

Область техники, к которой относится изобретение

Настоящее изобретение относится к технологии для воспроизведения стереоскопического, т.е. трехмерного (3D) видео, и в частности, к структуре потоковых данных на носителе записи.

Уровень техники

В последние годы общий интерес к трехмерному видео возрастает. Например, аттракционы парков развлечений, которые включают трехмерные видеоизображения, являются популярными. Кроме того, по всей стране число кинотеатров, показывающих трехмерные фильмы, увеличивается. Наряду с этим повышением интереса к трехмерному видео также развиваются технологические разработки, которые обеспечивают воспроизведение трехмерных видеоизображений дома. Имеется спрос на такие технологии, чтобы сохранять трехмерное видеосодержимое на портативном носителе записи, таком как оптический диск, при сохранении высокого качества изображений для трехмерного видеосодержимого. Кроме того, имеется спрос на совместимость носителя записи с устройством двумерного (2D) воспроизведения. Таким образом, предпочтительно, чтобы устройство двумерного воспроизведения могло воспроизводить двумерные видеоизображения, а устройство трехмерного воспроизведения могло воспроизводить трехмерные видеоизображения из одинакового трехмерного видеосодержимого, записанного на носитель записи. Здесь "устройство двумерного воспроизведения" означает традиционное устройство воспроизведения, которое может воспроизводить только моноскопические видеоизображения, т.е. двумерные видеоизображения, в то время как "устройство трехмерного воспроизведения" означает устройство воспроизведения, которое может воспроизводить трехмерные видеоизображения. Следует отметить, что в настоящем описании предполагается, что устройство трехмерного воспроизведения также может воспроизводить традиционные двумерные видеоизображения.

Фиг.113 является схематичным представлением, иллюстрирующим механизм для обеспечения совместимости оптического диска, сохраняющего трехмерные видеоизображения, с устройствами двумерного воспроизведения (см. патентный документ 1). Оптический диск PDS сохраняет два типа видеопотоков. Один - это двумерный/для просмотра левым глазом видеопоток, а другой - это видеопоток для просмотра правым глазом. "Двумерный/для просмотра левым глазом видеопоток" представляет двумерное видеоизображение, которое должно показываться для левого глаза зрителя во время трехмерного воспроизведения, т.е. "вид для просмотра левым глазом". Во время двумерного воспроизведения этот поток составляет двумерное видеоизображение. "Видеопоток для просмотра правым глазом" представляет двумерное видеоизображение, которое должно показываться для правого глаза зрителя во время трехмерного воспроизведения, т.е. "вид для просмотра правым глазом". Видеопотоки для просмотра левым и правым глазом имеют одинаковую частоту кадров, но различные времена представления, сдвинутые друг от друга наполовину периода кадра. Например, когда частота кадров каждого видеопотока составляет 24 кадра в секунду, кадры двумерного/для просмотра левым глазом видеопоток и видеопотока для просмотра правым глазом поочередно отображаются каждые 1/48 секунды.

Как показано на фиг.113, видеопотоки для просмотра левым глазом и правым глазом разделяются на множество экстентов EX1A-C и EX2A-C, соответственно, на оптическом диске PDS. Каждый экстент содержит, по меньшей мере, одну группу изображений (GOP), причем GOP считываются совместно посредством накопителя на оптических дисках. В дальнейшем в этом документе экстенты, принадлежащие двумерному/для просмотра левым глазом видеопотоку, упоминаются как "двумерные/для просмотра левым глазом экстенты", а экстенты, принадлежащие видеопотоку для просмотра правым глазом, упоминаются как "экстенты для просмотра правым глазом". Двумерные/для просмотра левым глазом экстенты EX1A-C и экстенты EX2A-C для просмотра правым глазом поочередно компонуются на дорожке TRC оптического диска PDS. Каждые два смежных экстента EX1A+EX2A, EX1B+EX2B и EX1C+EX2C имеют идентичную продолжительность воспроизведения. Данная компоновка экстентов называется "перемеженной компоновкой". Группа экстентов, записанная в перемеженной компоновке на носитель записи, используется как при воспроизведении трехмерного видео, так и при воспроизведении двумерных видеоизображений, как описано ниже.

Из экстентов, записанных на оптическом диске PDS, устройство PL2 двумерного воспроизведения инструктирует накопителю DD1 на оптических дисках считывать только двумерные/для просмотра левым глазом экстенты EX1A-C последовательно с начала при пропуске считывания экстентов EX2A-C для просмотра правым глазом. Кроме того, декодер VDC изображений последовательно декодирует экстенты, считанные посредством накопителя DD2 на оптических дисках, в видеокадр VFL. Таким образом, дисплейное устройство DS2 отображает только виды для просмотра левым глазом, и зрители могут просматривать обычные двумерные видеоизображения.

Устройство PL3 трехмерного воспроизведения инструктирует накопителю DD3 на оптических дисках поочередно считывать двумерные/для просмотра левым глазом экстенты и экстенты для просмотра правым глазом с оптического диска PDS. Когда выражаются как коды, экстенты считываются в порядке EX1A, EX2A, EX1B, EX2B, EX1C и EX2C. Кроме того, из считанных экстентов экстенты, принадлежащие двумерному/для просмотра левым глазом видеопотоку, предоставляются в левый видеодекодер VDL, тогда как экстенты, принадлежащие видеопотоку для просмотра правым глазом, предоставляются в правый видеодекодер VDR. Видеодекодеры VDL и VDR поочередно декодируют каждый видеопоток в видеокадры VFL и VFR, соответственно. Как результат, виды для просмотра левым глазом и виды для просмотра правым глазом поочередно отображаются на дисплейном устройстве DS3. Синхронно с переключением видов посредством дисплейного устройства DS3 очки SHG с затвором инструктируют левым и правым линзам становиться непрозрачными поочередно. Следовательно, зритель с надетыми очками SHG с затвором видит виды, отображаемые посредством дисплейного устройства DS3, как трехмерные видеоизображения.

Когда трехмерное видеосодержимое сохраняется на любом носителе записи, не только на оптическом диске, вышеописанная перемеженная компоновка экстентов используется. Носитель записи тем самым может использоваться для воспроизведения двумерных видеоизображений и трехмерных видеоизображений.

Список библиографических ссылок

Патентные документы

Патентный документ 1. Патентная публикация (Япония) номер 3935507

Сущность изобретения

Техническая проблема

В дополнение к видеопотоку видеосодержимое, в общем, включает в себя один или более графических потоков, представляющих графические изображения, таких как субтитры или интерактивные экраны. Эти графические изображения также подготавливаются посредством рендеринга в трехмерном представлении, когда видеоизображения воспроизводятся из содержимого трехмерных видеоизображений. Режим 2 плоскостей и режим 1 плоскости+смещения являются способами для рендеринга графических изображений в трехмерном режиме. Содержимое трехмерных видеоизображений в режиме 2 плоскостей включает в себя пару графических потоков, соответственно, представляющих графические изображения для просмотра левым глазом и для просмотра правым глазом. Устройство воспроизведения в режиме 2 плоскостей формирует отдельную графическую плоскость для просмотра левым глазом и правым глазом из графических потоков. Содержимое трехмерных видеоизображений в режиме 1 плоскости+смещения включает в себя информацию смещения, соответствующую графическому потоку, который представляет двумерные графические изображения. Устройство воспроизведения в режиме 1 плоскости+смещения сначала формирует одну графическую плоскость из графического потока и затем предоставляет горизонтальное смещение в графической плоскости в соответствии с информацией смещения. Пара графических плоскостей для просмотра левым глазом и правым глазом тем самым формируется из графического потока. В любом режиме графика для просмотра левым глазом и правым глазом поочередно отображается на экране дисплейного устройства. Как результат, зритель воспринимает графические изображения как трехмерные видеоизображения.

В традиционной структуре данных для содержимого трехмерных видеоизображений графический поток и информация смещения включаются в отдельные файлы для содержимого в режиме 1 плоскости+смещения. В этом случае устройство воспроизведения в режиме 1 плоскости+смещения формирует пару графических изображений для просмотра левым глазом и правым глазом на основе данных, полученных при обработке этих файлов отдельно. Чтобы повышать качество воспроизведения этих графических изображений, необходимо поддерживать более близкое соответствие между графическим потоком и информацией смещения. Обработка для этих файлов является асинхронной. Графические изображения и информация смещения, тем не менее, в общем, изменяются в циклах кадров. Кроме того, одна сцена, в общем, имеет множество графических изображений. Соответственно, трудно поддерживать еще более близкое соответствие между графическим потоком и информацией смещения в структуре данных, в которой они сохраняются как отдельные файлы. Как результат, трудно повышать качество воспроизведения трехмерных графических изображений.

Дополнительно, устройство воспроизведения в режиме 1 плоскости+смещения должно иметь достаточную емкость внутреннего запоминающего устройства, чтобы загружать файл, содержащий информацию смещения. Поскольку каждый графический поток имеет большой объем информации смещения, тем не менее, размер файла быстро увеличивается, когда содержимое трехмерных видеоизображений имеет возрастающее множество графических потоков. Это затрудняет уменьшение емкости внутреннего запоминающего устройства.

Когда устройство воспроизведения в режиме 1 плоскости+смещения предоставляет большое смещение в графическую плоскость, чтобы формировать пару графических плоскостей, область на правом или левом краю одной графической плоскости не может быть включена на правый или левый край другой графической плоскости. Кроме того, поля зрения в фактическом содержимом трехмерных видеоизображений представления для просмотра правым глазом и для просмотра левым глазом, в общем, не совмещены, причем область на внешней границе одного вида не включена во внешнюю границу другого вида. Эти области являются видимыми только посредством одного из глаз зрителя, что может вызывать чувство некомфортности у зрителей. Как результат, трудно повышать качество трехмерных видеоизображений.

Между тем, имеется растущая необходимость со стороны поставщиков содержимого в содержимом трехмерных видеоизображений, в котором графические изображения автономно подготавливаются посредством рендеринга в трехмерном представлении и накладываются на двумерные видеоизображения. Традиционная технология трехмерных видеоизображений, тем не менее, не предусматривает такое содержимое. Соответственно, для устройства воспроизведения трудно воспроизводить трехмерные видеоизображения с достаточно высоким качеством из такого содержимого.

Цель настоящего изобретения заключается в том, чтобы разрешать вышеуказанные проблемы, в частности, посредством предоставления носителя записи, который может инструктировать устройству воспроизведения воспроизводить трехмерные графические изображения более высокого качества в комбинации с видеоизображениями, представленными посредством видеопотока.

Решение проблемы

На носителе записи согласно первому аспекту настоящего изобретения записываются видеопоток для воспроизведения основного вида, видеопоток для воспроизведения субвида, графический поток и информация списка воспроизведения. Видеопоток для воспроизведения основного вида включает в себя изображения для воспроизведения основного вида, которые составляют основные виды стереоскопических видеоизображений. Видеопоток для воспроизведения субвида включает в себя изображения для воспроизведения субвида и метаданные, причем изображения для воспроизведения субвида составляют субвиды стереоскопических видеоизображений. Графический поток включает в себя графические данные, которые составляют моноскопические графические изображения. Каждое из изображений для воспроизведения основного вида подготавливается посредством рендеринга на видеоплоскости для воспроизведения основного вида при воспроизведении, каждое из изображений для воспроизведения субвида подготавливается посредством рендеринга на видеоплоскости для воспроизведения субвида при воспроизведении, и графические данные подготавливаются посредством рендеринга на графической плоскости при воспроизведении. Метаданные предоставляются в каждой группе изображений (GOP), составляющей видеопоток для воспроизведения субвида, и включают в себя множество фрагментов информации смещения и множество идентификаторов смещения, соответствующих фрагментам информации смещения. Фрагменты информации смещения являются управляющей информацией, задающей управление смещением для множества изображений, составляющих GOP. Управление смещением является процессом, чтобы предоставлять смещение влево и смещение вправо для горизонтальных координат в графической плоскости, чтобы формировать пару графических плоскостей, и затем комбинировать пару графических плоскостей, соответственно, с видеоплоскостью для воспроизведения основного вида и видеоплоскостью для воспроизведения субвида. Информация списка воспроизведения включает в себя, по меньшей мере, один фрагмент информации секции воспроизведения. Каждый фрагмент информации секции воспроизведения включает в себя (i) информацию, указывающую начальную позицию и конечную позицию в секции воспроизведения, и (ii) таблицу выбора потока, соответствующую секции воспроизведения. Таблица выбора потока является таблицей соответствия, ассоциирующей номера потоков с идентификаторами пакетов для потоковых данных, воспроизведение которых разрешено в секции воспроизведения. При ассоциировании номера потока с идентификатором пакета графического потока таблица выбора потока выделяет один из идентификаторов смещения для номера потока.

На носителе записи согласно второму аспекту настоящего изобретения записываются видеопоток для воспроизведения основного вида и видеопоток для воспроизведения субвида. Видеопоток для воспроизведения основного вида включает в себя изображения для воспроизведения основного вида, которые составляют основные виды стереоскопических видеоизображений. Видеопоток для воспроизведения субвида включает в себя изображения для воспроизведения субвида и метаданные, причем изображения для воспроизведения субвида составляют субвиды стереоскопических видеоизображений. Метаданные включают в себя информацию для идентификации совместно используемой области, в которой углы обзора видеоизображений перекрываются, причем видеоизображения, соответственно, представляются посредством изображения для просмотра левым глазом и изображения для просмотра правым глазом стереоскопических видеоизображений, состоящих из изображений для воспроизведения основного вида и изображений для воспроизведения субвида.

На носителе записи согласно третьему аспекту настоящего изобретения записываются видеопоток для воспроизведения основного вида, видеопоток для воспроизведения субвида и графический поток. Видеопоток для воспроизведения основного вида включает в себя изображения для воспроизведения основного вида, которые составляют основные виды стереоскопических видеоизображений. Видеопоток для воспроизведения субвида включает в себя изображения для воспроизведения субвида и метаданные, причем изображения для воспроизведения субвида составляют субвиды стереоскопических видеоизображений. Графический поток включает в себя графические данные, которые составляют моноскопические графические изображения. Каждое из изображений для воспроизведения основного вида подготавливается посредством рендеринга на видеоплоскости для воспроизведения основного вида при воспроизведении, каждое из изображений для воспроизведения субвида подготавливается посредством рендеринга на видеоплоскости для воспроизведения субвида при воспроизведении, и графические данные подготавливаются посредством рендеринга на графической плоскости при воспроизведении. Метаданные включают в себя информацию, задающую активную область в графической плоскости. "Активная область" упоминается как область в рамках графической плоскости, которая фактически отображается на экране.

На носителе записи согласно третьему аспекту настоящего изобретения записываются видеопоток для воспроизведения основного вида, видеопоток для воспроизведения субвида, графический поток для воспроизведения основного вида и графический поток для воспроизведения субвида. Видеопоток для воспроизведения основного вида включает в себя изображения для воспроизведения основного вида, которые составляют моноскопические видеоизображения. Графический поток для воспроизведения основного вида включает в себя графические данные, составляющие основные виды стереоскопических графических изображений. Графический поток для воспроизведения субвида включает в себя графические данные, составляющие субвиды стереоскопических графических изображений. Видеопоток для воспроизведения субвида включает в себя изображения, составляющие моноскопические видеоизображения, идентичные моноскопическим видеоизображениям изображений для воспроизведения основного вида.

Преимущества изобретения

Носитель записи согласно первому аспекту настоящего изобретения может инструктировать устройству воспроизведения считывать информацию смещения из метаданных параллельно с декодированием видеопотока для воспроизведения субвида. Соответственно, носитель записи может инструктировать устройству воспроизведения поддерживать еще более близкое соответствие между графическим потоком и информацией смещения. Как результат, носитель записи может инструктировать устройству воспроизведения воспроизводить трехмерные графические изображения наряду с видеоизображениями, представленными посредством видеопотока, с более высоким качеством.

Носитель записи согласно второму аспекту настоящего изобретения может инструктировать устройству воспроизведения обрабатывать каждую видеоплоскость параллельно с декодированием видеопотока для воспроизведения субвида и маскировать области, отличные от совместно используемых областей. Как результат, носитель записи может инструктировать устройству воспроизведения воспроизводить трехмерные графические изображения наряду с видеоизображениями, представленными посредством видеопотока, с более высоким качеством.

Носитель записи согласно третьему аспекту настоящего изобретения может инструктировать устройству воспроизведения обрабатывать графическую плоскость параллельно с декодированием видеопотока для воспроизведения субвида и надлежащим образом отображать активную область графической плоскости. Как результат, носитель записи может инструктировать устройству воспроизведения воспроизводить трехмерные графические изображения наряду с видеоизображениями, представленными посредством видеопотока, с более высоким качеством.

В носителе записи согласно четвертому аспекту настоящего изобретения, моноскопические видеоизображения, представленные посредством видеопотока для воспроизведения субвида, являются идентичными моноскопическим видеоизображениям, представленным посредством видеопотока для воспроизведения основного вида. Соответственно, если устройство трехмерного воспроизведения обычно воспроизводит носитель записи, трехмерные графические изображения воспроизводятся из графического потока одновременно с двумерными видеоизображениями, воспроизводимыми из видеопотока. Следовательно, носитель записи может инструктировать устройству воспроизведения воспроизводить трехмерные графические изображения наряду с видеоизображениями, представленными посредством видеопотока, с более высоким качеством.

Краткое описание чертежей

Фиг.1 является схематичным представлением, показывающим систему домашнего кинотеатра, которая использует носитель записи согласно варианту осуществления 1 настоящего изобретения.

Фиг.2 является схематичным представлением, показывающим структуру данных BD-ROM-диска 101, показанного на фиг.1.

Фиг.3A является списком элементарных потоков, мультиплексированных в основном TS на BD-ROM-диске 101, показанном на фиг.2, фиг.3B является списком элементарных потоков, мультиплексированных в суб-TS на BD-ROM-диске 101, а фиг.3C является списком элементарных потоков, мультиплексированных в потоке текстовых субтитров на BD-ROM-диске 101.

Фиг.4 является схематичным представлением, показывающим компоновку TS-пакетов в мультиплексированных потоковых данных 400.

Фиг.5A является схематичным представлением, показывающим структуру данных TS-заголовка 501H, фиг.5B является схематичным представлением, показывающим формат последовательности TS-пакетов, содержащей мультиплексированные потоковые данные, фиг.5C является схематичным представлением формата последовательности исходных пакетов, состоящей из последовательности TS-пакетов в мультиплексированных потоковых данных, а фиг.5D является схематичным представлением, показывающим группу секторов, в которую последовательно записана последовательность исходных пакетов 502, в области 202B тома BD-ROM-диска 101.

Фиг.6 является схематичным представлением, показывающим, в порядке времени представления, три изображения 601, 602 и 603, включенные в видеопоток.

Фиг.7 является схематичным представлением, показывающим изображения в видеопотоке 701 для воспроизведения базового вида и в видеопотоке 902 для просмотра правым глазом в порядке времени представления.

Фиг.8 является схематичным представлением, показывающим подробности относительно структуры данных видеопотока 800.

Фиг.9 является схематичным представлением, показывающим опорные взаимосвязи заголовков между VAU включенными в видеопоток 910 для воспроизведения базового вида и видеопоток 920 для воспроизведения зависимого вида.

Фиг.10 является схематичным представлением, показывающим подробности относительно способа для сохранения видеопотока 1001 в последовательность 1002 PES-пакетов.

Фиг.11 является схематичным представлением, показывающим соответствие между PTS и DTS, назначаемыми каждому изображению в видеопотоке 1101 для воспроизведения базового вида и в видеопотоке 1102 для воспроизведения зависимого вида.

Фиг.12A является схематичным представлением, показывающим структуру данных информации 1250 переключения декодирования, которая включает в себя дополнительные данные 831D и 832D, показанные на фиг.8, фиг.12B является схематичным представлением, показывающим последовательности счетчиков 1210 и 1220 декодирования, выделяемых каждому изображению в видеопотоке 1201 для воспроизведения базового вида и в видеопотоке 1202 для воспроизведения зависимого вида, а фиг.12C является схематичным представлением, показывающим другие примеры счетчиков 1230 и 1240 декодирования.

Фиг.13 является схематичным представлением, показывающим структуру данных для метаданных 1310 смещения, включенных в видеопоток 1300 для воспроизведения зависимого вида.

Фиг.14 является таблицей, показывающей синтаксис метаданных 1310 смещения, показанных на фиг.13.

Фиг.15A и 15B являются схематичными представлениями, показывающими управление смещениями для PG-плоскости 1510 и IG-плоскости 1520, соответственно, а фиг.15C является схематичным представлением, показывающим трехмерные графические изображения, которые зритель 1530 должен воспринимать из двумерных графических изображений, представленных посредством графических плоскостей, показанных на фиг.15A и 15B.

Фиг.16A и 16B являются графиками, показывающими примеры последовательностей смещений, а фиг.16C является схематичным представлением, показывающим трехмерные графические изображения, воспроизводимые в соответствии с последовательностями смещений, показанными на фиг.16A и 16B.

Фиг.17 является схематичным представлением, показывающим структуру данных потока 1700 текстовых субтитров.

Фиг.18 является схематичным представлением, показывающим структуру данных PMT 1810.

Фиг.19 является схематичным представлением, показывающим физическую компоновку мультиплексированных потоковых данных на BD-ROM-диске 101, показанном на фиг.2.

Фиг.20A является схематичным представлением, показывающим компоновку основного TS 2001 и суб-TS 2002, записанных отдельно и последовательно на BD-ROM-диске, фиг.20B является схематичным представлением, показывающим компоновку блоков D[0], D[1], D[2], … данных для воспроизведения зависимого вида и блоков B[0], B[1], B[2], … данных для воспроизведения базового вида, записанных поочередно на BD-ROM-диске 101 согласно варианту осуществления 1 настоящего изобретения, фиг.20C является схематичным представлением, показывающим пример ATC-времен экстента для группы D[n] блоков данных для воспроизведения зависимого вида и группы B[n] блоков данных для воспроизведения базового вида, записанных в перемеженной компоновке (n=0, 1, 2), а фиг.20D является схематичным представлением, показывающим другой пример ATC-времен экстента.

Фиг.21 является схематичным представлением, показывающим путь 2101 воспроизведения в режиме двумерного воспроизведения и путь 2102 воспроизведения в L/R-режиме для группы 1901-1903 блоков экстентов, показанной на фиг.19.

Фиг.22 является схематичным представлением, показывающим структуру данных первого файла 231 информации о двумерных клипах (01000.clpi), показанного на фиг.2.

Фиг.23A является схематичным представлением, показывающим структуру данных карты 2230 вхождений, показанной на фиг.22, фиг.23B является схематичным представлением, показывающим исходные пакеты в группе 2310 исходных пакетов, принадлежащей файлу 2D 241, которые ассоциированы с каждым EP_ID 2305 посредством карты 2230 вхождений, а фиг.23C является схематичным представлением, показывающим группу D[n], B[n] блоков данных (n=0, 1, 2, 3, …) на BD-ROM-диске 101, соответствующую группе 2310 исходных пакетов.

Фиг.24A является схематичным представлением, показывающим структуру данных начальных точек 2242 экстентов, показанных на фиг.22, фиг.24B является схематичным представлением, показывающим структуру данных начальных точек 2420 экстентов, включенных во второй файл 232 информации о клипах (02000.clpi), фиг.24C является схематичным представлением, представляющим блоки B[0], B[1], B[2], … данных для воспроизведения базового вида, извлеченные из первого файла SS 244A посредством устройства 102 воспроизведения в режиме трехмерного воспроизведения, фиг.24D является схематичным представлением, представляющим соответствие между экстентами EXT2[0], EXT2[1], … для воспроизведения зависимого вида, принадлежащими файлу DEP (02000.m2ts) 242, и SPN 2422, показанными посредством начальных точек 2420 экстентов, а фиг.24E является схематичным представлением, показывающим пример соответствия между экстентом SS EXTSS[0], принадлежащим первому файлу SS 244A, и блоком экстентов на BD-ROM-диске 101.

Фиг.25 является схематичным представлением, показывающим соответствие между блоком 2500 экстентов и каждой группой экстентов в файле 2D 2510, файле base 2511, файле DEP 2512 и файле SS 2520, записанных на BD-ROM-диске 101, показанном на фиг.2.

Фиг.26 является схематичным представлением, показывающим пример точек входа, заданных в видеопотоке 2610 для воспроизведения базового вида и в видеопотоке 2620 для воспроизведения зависимого вида.

Фиг.27 является схематичным представлением, показывающим структуру файла 221 списков для двумерного воспроизведения, показанного на фиг.2.

Фиг.28 является схематичным представлением, показывающим структуру данных PI #N (N=1, 2, 3), показанного на фиг.27.

Фиг.29A и 29B являются схематичными представлениями, показывающими соответствие между двумя секциями 2901 и 2902 воспроизведения, которые должны соединяться, когда CC 2904 равно "5" или "6".

Фиг.30 является схематичным представлением, показывающим соответствие между PTS, указываемыми посредством файла 221 списков для двумерного воспроизведения (00001.mpls), показанного на фиг.2, и секциями, воспроизводимыми из файла 2D (01000.m2ts) 241, показанного на фиг.2.

Фиг.31 является схематичным представлением, показывающим структуру файла 222 списков для трехмерного воспроизведения, показанного на фиг.2.

Фиг.32 является схематичным представлением, показывающим STN-таблицу 3205, включенную в основной путь 3101 файла списков для трехмерного воспроизведения, показанного на фиг.31.

Фиг.33 является схематичным представлением, показывающим структуру данных STN-таблицы SS 3130, показанной на фиг.31.

Фиг.34 является схематичным представлением, показывающим соответствие между PTS, указываемыми посредством файла 222 списков для трехмерного воспроизведения (00002.mpls), показанного на фиг.2, и секциями, воспроизводимыми из первого файла SS (01000.ssif) 244A, показанного на фиг.2.

Фиг.35 является схематичным представлением, показывающим структуру данных индексного файла (index.bdmv) 211, показанного на фиг.2.

Фиг.36 является блок-схемой последовательности операций способа обработки, посредством которой устройство 102 воспроизведения, показанное на фиг.1, выбирает файл списков воспроизведения для воспроизведения.

Фиг.37 является функциональной блок-схемой устройства 3700 двумерного воспроизведения.

Фиг.38 является списком SPRM.

Фиг.39 является блок-схемой последовательности операций способа обработки воспроизведения по списку для двумерного воспроизведения посредством модуля 3735 управления воспроизведением, показанного на фиг.37.

Фиг.40 является функциональной блок-схемой декодера 3725 системных целевых объектов, показанного на фиг.37.

Фиг.41 является функциональной блок-схемой устройства 4100 трехмерного воспроизведения.

Фиг.42 является таблицей, показывающей структуру данных SPRM(27) и SPRM(28).

Фиг.43 является блок-схемой последовательности операций способа обработки воспроизведения по списку для трехмерного воспроизведения посредством модуля 4135 управления воспроизведением, показанного на фиг.41.

Фиг.44 является функциональной блок-схемой декодера 4125 системных целевых объектов, показанного на фиг.41.

Фиг.45 является функциональной блок-схемой сумматора 4126 плоскостей, показанного на фиг.41.

Фиг.46 является блок-схемой последовательности операций способа управления смещением посредством модулей 4531-4534 кадрирования, показанных на фиг.45.

Фиг.47 является схематичным представлением, показывающим данные PG-плоскости, для которых второй модуль 4532 кадрирования, показанный на фиг.45, предоставляет управление смещением.

Фиг.48 является схематичным представлением, показывающим STN-таблицу 4805, в которой задается множество значений регулирования смещения для одного фрагмента потоковых данных.

Фиг.49 является блок-схемой последовательности операций способа обработки, чтобы выбирать значение регулирования смещения на основе размера экрана дисплейного устройства 103, показанного на фиг.1.

Фиг.50 является блок-схемой последовательности операций способа обработки, чтобы регулировать смещение, которое модуль 4135 управления воспроизведением, показанный на фиг.41, должен предоставлять в графическую плоскость.

Фиг.51 является схематичным представлением, показывающим (i) структуру данных файла 5100 списков для трехмерного воспроизведения, который включает в себя множество подпутей, и (ii) структуру данных файла 2D 5110 и двух файлов DEP 5121 и 5122, к которым обращается файл 5100 списков для трехмерного воспроизведения.

Фиг.52 является схематичным представлением, показывающим идентификаторы опорного смещения, включенные в файл 5200 списков для трехмерного воспроизведения.

Фиг.53A является схематичным представлением, показывающим структуру данных видеопотока 5300 для воспроизведения зависимого вида, представляющего только неподвижные изображения, а фиг.53B является схематичным представлением, показывающим последовательность 5321 видеоплоскостей для просмотра левым глазом, последовательность 5322 видеоплоскостей для просмотра правым глазом и последовательность 5330 графических плоскостей, которые воспроизводятся в соответствии с файлом списков для трехмерного воспроизведения, к примеру, как на фиг.53A.

Фиг.54A является схематичным представлением, показывающим структуру данных для метаданных 5400 смещения, которые используют функцию выполнения, фиг.54B является графиком, показывающим типы элементов в функции выполнения, а фиг.54C является графиком, показывающим значения смещения, вычисляемые посредством устройства трехмерного воспроизведения из идентификаторов последовательностей смещений=0, 1, 2, показанных на фиг.54A.

Фиг.55A, 55B и 55C являются схематичными представлениями, показывающими (i) последовательности 5501, 5502 и 5503 символов, указываемые посредством записей текстовых данных #1, #2 и #3, которые являются последовательными в одном потоке текстовых субтитров, и (ii) данные 5511, 5512 и 5513 кэша, сохраненные в буфере битовой карты, когда каждая запись текстовых данных декодируется.

Фиг.56A является видом сверху, схематично показывающим горизонтальные углы обзора HAL и HAR для пары видеокамер CML и CMR, снимающих трехмерные видеоизображения, фиг.56B является схематичным представлением, показывающим вид LV для просмотра левым глазом, снимаемый посредством левой видеокамеры CML, фиг.56C является схематичным представлением, показывающим вид RV для просмотра правым глазом, снимаемый посредством правой видеокамеры CMR, а фиг.56D и 56E являются схематичными представлениями, соответственно, показывающими вид LV для просмотра левым глазом, представленный посредством левой видеоплоскости, и вид RV для просмотра правым глазом, представленный посредством правой видеоплоскости, причем видеоплоскости обработаны посредством модуля 4510 формирования параллактического видео.

Фиг.57A является видом сверху, схематично показывающим вертикальные углы обзора VAL и VAR для пары видеокамер CML и CMR, снимающих трехмерные видеоизображения, фиг.57B является схематичным представлением, показывающим вид LV для просмотра левым глазом, снимаемый посредством левой видеокамеры CML, и вид RV для просмотра правым глазом, снимаемый посредством правой видеокамеры CMR, а фиг.57C является схематичным представлением, показывающим вид LV для просмотра левым глазом, представленный посредством левой видеоплоскости, и вид RV для просмотра правым глазом, представленный посредством правой видеоплоскости, причем видеоплоскости обработаны посредством модуля 4510 формирования параллактического видео, показанного на фиг.45.

Фиг.58A является схематичным представлением, показывающим пример графических изображений, представленных посредством графической плоскости GPL, фиг.58B и 58C являются схематичными представлениями, соответственно, показывающими смещение вправо и влево, предоставленное для графической плоскости GPL, а фиг.58D и 58E являются схематичными представлениями, показывающими графические изображения, представленные посредством графических плоскостей GP1 и GP2, в которые смещение вправо и влево предоставлено.

Фиг.59 является схематичным представлением, показывающим условие, касающееся компоновки графических элементов для графической плоскости, воспроизводимой из PG-потока, IG-потока и потока текстовых субтитров на BD-ROM-диске, и для графической плоскости, сформированной посредством устройства воспроизведения.

Фиг.60 является конфигурационной схемой, показывающей пример устройства вывода для воспроизведения согласно варианту осуществления 2.

Фиг.61A является списком элементарных потоков, мультиплексированных в первом суб-TS на BD-ROM-диске 101, а фиг.61B является списком элементарных потоков, мультиплексированных во втором суб-TS на BD-ROM-диске 101.

Фиг.62 является схематичным представлением, показывающим структуру данных STN-таблицы SS 3130 согласно варианту осуществления 2.

Фиг.63 является функциональной блок-схемой декодера 6225 системных целевых объектов согласно варианту осуществления 2.

Фиг.64 является частичной функциональной блок-схемой сумматора 6226 плоскостей в режиме 2 плоскостей.

Фиг.65 является схематичным представлением, показывающим изображения в видеопотоке 6401 для воспроизведения базового вида и в видеопотоке 6402 для просмотра правым глазом в порядке времени представления.

Фиг.66 является таблицей, показывающей синтаксис заголовка серии последовательных макроблоков и данных серии последовательных макроблоков при кодировании группы изображения для просмотра правым глазом в секции псевдодвумерного воспроизведения в соответствии с MVC.

Фиг.67 является схематичным представлением, показывающим (i) пару из файла 2D 6610 и файла DEP 6620, которые составляют как секцию трехмерного воспроизведения, так и секцию псевдодвумерного воспроизведения, и (ii) два типа файлов 6630 и 6640 списков для трехмерного воспроизведения, которые задают каждую из секций воспроизведения.

Фиг.68 является схематичным представлением, показывающим пару из файла 2D 6710 и файла DEP #1 6721, которые составляют секцию трехмерного воспроизведения, файл DEP #2 6722, который составляет секцию псевдодвумерного воспроизведения в комбинации с файлом 2D 6710, и файл 6730 списков для трехмерного воспроизведения, который задает каждую из секций воспроизведения.

Фиг.69 является схематичным представлением, показывающим последовательность 6810 видеоплоскостей и последовательность 6820 PG-плоскостей, которые устройство 102 воспроизведения в режиме трехмерного воспроизведения воспроизводит в соответствии с файлом 6730 списков для трехмерного воспроизведения.

Фиг.70 является блок-схемой последовательности операций способа обработки, посредством которой устройство трехмерного воспроизведения выбирает рабочий режим в зависимости от того, существует или нет секция обычного двумерного воспроизведения в рамках последовательных секций воспроизведения.

Фиг.71 является блок-схемой последовательности операций способа обработки, посредством которой устройство трехмерного воспроизведения с функцией воспроизведения с дубляжом выбирает рабочий режим в зависимости от того, существует или нет секция обычного двумерного воспроизведения в рамках последовательных секций воспроизведения.

Фиг.72A является схематичным представлением, показывающим последовательность 7110 видеоплоскостей, последовательность 7120 IG-плоскостей/плоскостей изображений и последовательность 7130 PG-плоскостей, когда всплывающее меню отображается во время воспроизведения трехмерных графических изображений в режиме 1 плоскости+смещения, фиг.72B является схематичным представлением, показывающим пример последовательности 7110 видеоплоскостей, последовательности 7120 IG-плоскостей/плоскостей изображений и последовательности 7140 PG-плоскостей, когда всплывающее меню отображается во время воспроизведения трехмерных графических изображений в режиме 2 плоскостей, а фиг.72C является схематичным представлением, показывающим другой пример.

Фиг.73A, 73B и 73C являются схематичными представлениями, показывающими различия в позиции представления графического элемента в режиме представления B-D и режиме представления B-B, а фиг.73D, 73E и 73F являются схематичными представлениями, соответственно, показывающими обработку, чтобы компенсировать смещение графического элемента в режиме представления B-B, показанном на фиг.73A, 73B и 73C.

Фиг.74 является функциональной блок-схемой устройства 7300 записи согласно варианту осуществления 4 настоящего изобретения.

Фиг.75 является блок-схемой последовательности операций способа для записи киносодержимого на BD-ROM-диске с использованием устройства 7300 записи, показанного на фиг.74.

Фиг.76 является функциональной блок-схемой видеокодера 7302 и процессора 7306 мультиплексирования, которые показаны на фиг.74.

Фиг.77 является блок-схемой последовательности операций способа обработки посредством модуля 7502 кодирования, показанного на фиг.76, чтобы кодировать последовательность видеокадров.

Фиг.78 является блок-схемой последовательности операций способа обработки, чтобы определять тип секции воспроизведения, которая должна состоять из последовательности видеокадров.

Фиг.79A и 79B являются схематичными представлениями, соответственно, показывающими изображение в виде для просмотра левым глазом и виде для просмотра правым глазом, используемое для того, чтобы отображать одну сцену трехмерных видеоизображений, а фиг.79C является схематичным представлением, показывающим информацию глубины, вычисляемую из этих изображений посредством модуля 7505 формирования информации глубины кадра, показанного на фиг.76.

Фиг.80 является схематичным представлением, показывающим способ, чтобы совмещать ATC-времена экстента между последовательными блоками данных.

Фиг.81 является примером структуры, которая использует интегральную схему, чтобы реализовывать устройство двумерного/трехмерного воспроизведения.

Фиг.82 является функциональной блок-схемой, показывающей характерную структуру процессора потоков.

Фиг.83 является концептуальной схемой модуля 53 переключения и окружающих модулей, когда модулем переключения является DMAC.

Фиг.84 является функциональной блок-схемой, показывающей характерную структуру модуля AV-вывода.

Фиг.85 является подробным примером структуры модуля вывода данных либо в модуле AV-вывода, либо в устройстве воспроизведения.

Фиг.86 показывает компоновку шины управления и шины данных в интегральной схеме.

Фиг.87 показывает компоновку шины управления и шины данных в интегральной схеме.

Фиг.88 является примером структуры, которая использует интегральную схему, чтобы реализовывать дисплейное устройство.

Фиг.89 является функциональной блок-схемой, показывающей характерную структуру модуля AV-вывода в дисплейном устройстве.

Фиг.90 является концептуальной схемой обработки наложения изображений в модуле наложения изображений.

Фиг.91 является концептуальной схемой обработки наложения изображений в модуле наложения изображений.

Фиг.92 является концептуальной схемой обработки наложения изображений в модуле наложения изображений.

Фиг.93 является концептуальной схемой обработки наложения изображений в модуле наложения изображений.

Фиг.94 является простой блок-схемой последовательности операций способа, показывающей последовательности операций устройства воспроизведения.

Фиг.95 является блок-схемой последовательности операций способа, показывающей подробности относительно последовательностей операций устройства воспроизведения.

Фиг.96A, 96B и 96C являются схематичными представлениями, иллюстрирующими принцип в отношении воспроизведения трехмерных видеоизображений (стереоскопических видеоизображений) в способе с использованием параллактических видеоизображений.

Фиг.97 является схематичным представлением, показывающим пример составления вида LVW для просмотра левым глазом и вида RVW для просмотра правым глазом из комбинации двумерного видеоизображения MVW и карты DPH глубины.

Фиг.98 является блок-схемой, показывающей обработку воспроизведения в устройстве 102 воспроизведения в режиме двумерного воспроизведения.

Фиг.99A является графиком, показывающим изменения объема DA данных, сохраненного в буфере 3721 считывания, показанном на фиг.98, в ходе работы в режиме двумерного воспроизведения, фиг.99B является схематичным представлением, показывающим соответствие между блоком 8310 экстентов для воспроизведения и путем 8320 воспроизведения в режиме двумерного воспроизведения.

Фиг.100 является примером таблицы соответствия между расстояниями S_JUMP перехода и максимальными временами T_{JUMP_MAX} перехода для BD-ROM-диска.

Фиг.101 является блок-схемой, показывающей обработку воспроизведения в устройстве 102 воспроизведения в режиме трехмерного воспроизведения.

Фиг.102A и 102B являются графиками, показывающими изменения объемов DA1 и DA2 данных, сохраненных в буферах 4121 и 4122 считывания, показанных на фиг.101, когда трехмерные видеоизображения воспроизводятся плавно из одного блока экстентов, а фиг.102C является схематичным представлением, показывающим соответствие между блоком 8610 экстентов и путем 8620 воспроизведения в режиме трехмерного воспроизведения.

Фиг.103A является графиком, показывающим изменения объемов DA1 и DA2 данных, сохраненных в буферах 4121 и 4122 считывания, показанных на фиг.101, а также изменения суммы DA1+DA2, когда трехмерные видеоизображения воспроизводятся плавно с M-того (буква M представляет целое число, превышающее или равное 2) и (M+1)-вого последовательных блоков 8701 и 8702 экстентов, а фиг.103B является схематичным представлением, показывающим соответствие между блоками 8701 и 8702 экстентов и путем 8720 воспроизведения в режиме трехмерного воспроизведения.

Фиг.104A и 104B являются графиками, показывающими изменения объемов DA1 и DA2 данных, сохраненных в буферах 4121 и 4122 считывания, когда трехмерные видеоизображения воспроизводятся плавно из двух последовательных блоков 8701 и 8702 экстентов, показанных на фиг.103B.

Фиг.105 является схематичным представлением, показывающим первый пример физической компоновки группы блоков данных, записанной до или после межслойной границы LB на BD-ROM-диске 101.

Фиг.106 является схематичным представлением, показывающим путь 9010 воспроизведения в режиме двумерного воспроизведения и путь 9020 воспроизведения в режиме трехмерного воспроизведения для группы блоков данных в компоновке 1, показанной на фиг.105.

Фиг.107 является схематичным представлением, показывающим второй пример физической компоновки группы блоков данных, записанной до или после межслойной границы LB на BD-ROM-диске 101.

Фиг.108 является схематичным представлением, показывающим путь 9210 воспроизведения в режиме двумерного воспроизведения и путь 9220 воспроизведения в режиме трехмерного воспроизведения для группы блоков данных в компоновке 2, показанной на фиг.107.

Фиг.109 является схематичным представлением, показывающим точки 9310 и 9320 входа, заданные для экстентов EXT1[k], и EXT2[k] (буква k представляет целое число, превышающее или равное 0) в файле base 9301 и файле DEP 9302.

Фиг.110A является схематичным представлением, показывающим путь воспроизведения, когда ATC-времена экстента и времена воспроизведения видеопотока отличаются между смежными блоками данных для воспроизведения базового вида и блоками данных для воспроизведения зависимого вида, а фиг.110B является схематичным представлением, показывающим путь воспроизведения, когда времена воспроизведения видеопотока равны для смежных блоков данных для воспроизведения базового вида и зависимого вида.

Фиг.111A является схематичным представлением, показывающим путь воспроизведения для мультиплексированных потоковых данных с поддержкой многоракурсного режима, фиг.111B является схематичным представлением, показывающим группу 9501 блоков данных, записанную на BD-ROM-диске, и соответствующий путь 9502 воспроизведения в L/R-режиме, а фиг.111C является схематичным представлением, показывающим блок экстентов, сформированный посредством потоковых данных Ak, Bk и Ck для различных ракурсов.

Фиг.112 является схематичным представлением, показывающим (i) группу 9601 блоков данных, составляющих период многоракурсного режима, и (ii) путь 9610 воспроизведения в режиме двумерного воспроизведения и путь 9620 воспроизведения в L/R-режиме, которые соответствуют группе 9601 блоков данных.

Фиг.113 является схематичным представлением, показывающим технологию для обеспечения совместимости с устройствами двумерного воспроизведения для оптического диска, на который записывается трехмерное видеосодержимое.

Описание вариантов осуществления

Далее описывается носитель записи и устройство воспроизведения, относящиеся к вариантам осуществления настоящего изобретения, со ссылкой на чертежи.

Вариант осуществления 1

Фиг.1 является схематичным представлением, показывающим систему домашнего кинотеатра, которая использует носитель записи согласно варианту осуществления 1 настоящего изобретения. Эта система домашнего кинотеатра приспосабливает способ воспроизведения трехмерных видеоизображений (стереоскопических видеоизображений), который использует параллактические видеоизображения, и, в частности, приспосабливает способ поочередной последовательности кадров в качестве способа отображения (подробности см. в разделе "дополнительное пояснение"). Как показано на фиг.1, эта система домашнего кинотеатра воспроизводит носитель 101 записи и включает в себя устройство 102 воспроизведения, дисплейное устройство 103, очки 104 с затвором и пульт 105 дистанционного управления.

Носителем 101 записи является неперезаписываемый диск Blu-Ray (BD)™, т.е. BD-ROM-диск. Носителем 101 записи может быть другой портативный носитель записи, такой как оптический диск с другим форматом, к примеру, DVD и т.п., съемный жесткий диск (HDD) или полупроводниковое запоминающее устройство, такое как карта памяти в формате SD. Этот носитель записи, т.е. BD-ROM-диск 101, сохраняет киносодержимое как трехмерные видеоизображения. Это содержимое включает в себя видеопотоки, представляющие вид для просмотра левым глазом и вид для просмотра правым глазом для трехмерных видеоизображений. Содержимое дополнительно может включать в себя видеопоток, представляющий карту глубины для трехмерных видеоизображений. Эти видеопотоки компонуются на BD-ROM-диске 101 в единицах блоков данных, и доступ к ним осуществляется с использованием структуры файлов, описанной ниже. Видеопотоки, представляющие вид для просмотра левым глазом или вид для просмотра правым глазом, используются посредством как устройства двумерного воспроизведения, так и устройства трехмерного воспроизведения, чтобы воспроизводить содержимое как двумерные видеоизображения. В отличие от этого пара видеопотоков, представляющих вид для просмотра левым глазом и вид для просмотра правым глазом, либо пара видеопотоков, представляющих или вид для просмотра левым глазом, или вид для просмотра правым глазом и карту глубины, используется посредством устройства трехмерного воспроизведения, чтобы воспроизводить содержимое как трехмерные видеоизображения.

BD-ROM-накопитель 121 устанавливается на устройстве 102 воспроизведения. BD-ROM-накопитель 121 является накопителем на оптических дисках, соответствующим формату BD-ROM. Устройство 102 воспроизведения использует BD-ROM-накопитель 121, чтобы считывать содержимое из BD-ROM-диска 101. Устройство 102 воспроизведения дополнительно декодирует содержимое в видеоданные/аудиоданные. Устройство 102 воспроизведения является устройством трехмерного воспроизведения и может воспроизводить содержимое как двумерные видеоизображения и как трехмерные видеоизображения. В дальнейшем в этом документе рабочие режимы устройства 102 воспроизведения при воспроизведении двумерных видеоизображений и трехмерных видеоизображений, соответственно, называются "режимом двумерного воспроизведения" и "режимом трехмерного воспроизведения". В режиме двумерного воспроизведения видеоданные включают в себя только видеокадр либо для просмотра левым глазом, либо для просмотра правым глазом. В режиме трехмерного воспроизведения видеоданные включают в себя видеокадры для просмотра левым глазом и правым глазом.

Режим трехмерного воспроизведения дополнительно разделяется на левый/правый (L/R) режим и режим глубины. В "L/R-режиме" пара видеокадров для просмотра левым глазом и правым глазом формируется из комбинации видеопотоков, представляющих вид для просмотра левым глазом и вид для просмотра правым глазом. В "режиме глубины" пара видеокадров для просмотра левым глазом и правым глазом формируется из комбинации видеопотоков, представляющих либо вид для просмотра левым глазом, либо вид для просмотра правым глазом, и карты глубины. Устройство 102 воспроизведения содержит L/R-режим. Устройство 102 воспроизведения дополнительно может содержать режим глубины.

Устройство 102 воспроизведения подключается к дисплейному устройству 103 через кабель 122 на основе мультимедийного интерфейса высокой четкости (HDMI). Устройство 102 воспроизведения преобразует видеоданные/аудиоданные в видеосигнал/аудиосигнал в HDMI-формате и передает сигналы на дисплейное устройство 103 через HDMI-кабель 122. В режиме двумерного воспроизведения только один из видеокадра для просмотра левым глазом или для просмотра правым глазом мультиплексируется в видеосигнале. В режиме трехмерного воспроизведения видеокадры для просмотра левым глазом и для просмотра правым глазом мультиплексируются во времени в видеосигнале. Дополнительно, устройство 102 воспроизведения обменивается CEC-сообщениями с дисплейным устройством 103 через HDMI-кабель 122. Таким образом, устройство 102 воспроизведения может опрашивать дисплейное устройство 103 на предмет того, поддерживает оно или нет воспроизведение трехмерных видеоизображений.

Дисплейное устройство 103 является жидкокристаллическим дисплеем. Альтернативно, дисплейное устройство 103 может быть другим типом плоскопанельного дисплея, таким как плазменный дисплей, органический EL-дисплей и т.д. или проектор. Дисплейное устройство 103 отображает видео на экране 131 в ответ на видеосигнал и инструктирует динамикам формировать аудиоответ на аудиосигнал. Дисплейное устройство 103 поддерживает воспроизведение трехмерных видеоизображений. Во время воспроизведения двумерных видеоизображений либо вид для просмотра левым глазом, либо вид для просмотра правым глазом отображаются на экране 131. Во время воспроизведения трехмерных видеоизображений вид для просмотра левым глазом и вид для просмотра правым глазом поочередно отображаются на экране 131.

Дисплейное устройство 103 включает в себя передающий модуль 132 левых/правых сигналов. Передающий модуль 132 левых/правых сигналов передает левый/правый сигнал LR в очки 104 с затвором через инфракрасные лучи или посредством радиопередачи. Левый/правый сигнал LR указывает то, является изображение, в настоящий момент отображаемое на экране 131, изображением для просмотра левым глазом или правым глазом. Во время воспроизведения трехмерных видеоизображений дисплейное устройство 103 обнаруживает переключение кадров посредством различения кадра для просмотра левым глазом и кадра для просмотра правым глазом на основе управляющего сигнала, который сопровождает видеосигнал. Кроме того, дисплейное устройство 103 инструктирует передающему модулю 132 левых/правых сигналов переключать левый/правый сигнал LR синхронно с обнаруженным переключением кадров.

Очки 104 с затвором включают в себя две жидкокристаллических дисплейных панели 141L и 141R и приемный модуль 142 левых/правых сигналов. Жидкокристаллические дисплейные панели 141L и 141R, соответственно, составляют каждую из левых и правых частей линзы. Приемный модуль 142 левых/правых сигналов принимает левый/правый сигнал LR и в соответствии с изменениями в нем передает сигнал в левую и правую жидкокристаллические дисплейные панели 141L и 141R. В ответ на сигнал каждая из жидкокристаллических дисплейных панелей 141L и 141R либо позволяет свету проходить через всю панель, либо не пропускает свет. Например, когда левый/правый сигнал LR указывает отображение для просмотра левым глазом, жидкокристаллическая дисплейная панель 141L для левого глаза позволяет свету проходить, при этом жидкокристаллическая дисплейная панель 141R для правого глаза не пропускает свет. Когда левый/правый сигнал LR указывает отображение для просмотра правым глазом, дисплейная панель выполняет противоположные действия. Две жидкокристаллических дисплейных панели 141L и 141R тем самым поочередно позволяют свету проходить синхронно с переключением кадров. Как результат, когда зритель смотрит на экран 131 с надетыми очками 104 с затвором, вид для просмотра левым глазом показывается только для левого глаза зрителя, а вид для просмотра правым глазом показывается только для правого глаза. Зритель принудительно воспринимает разность между изображениями, видимыми посредством каждого глаза, как бинокулярный параллакс для одного стереоскопического изображения, и тем самым видеоизображение кажется стереоскопическим.

Пульт 105 дистанционного управления включает в себя функциональный модуль и передающий модуль. Функциональный модуль включает в себя множество кнопок. Кнопки соответствуют каждой из функций устройства 102 воспроизведения и дисплейного устройства 103, к примеру, включение и выключение питания, начало или остановка воспроизведения BD-ROM-диска 101 и т.д. Функциональный модуль обнаруживает, когда пользователь нажимает кнопку, и передает идентификационную информацию для кнопки в передающий модуль как сигнал. Передающий модуль преобразует этот сигнал в сигнал IR и выводит его через инфракрасные лучи или радиопередачу в устройство 102 воспроизведения или на дисплейное устройство 103. С другой стороны, устройство 102 воспроизведения и дисплейное устройство 103 принимают этот сигнал IR, определяют кнопку, указанную посредством этого сигнала IR, и выполняют функцию, ассоциированную с кнопкой. Таким образом, пользователь может удаленно управлять устройством 102 воспроизведения или дисплейным устройством 103.

Структура данных BD-ROM-диска

Фиг.2 является схематичным представлением, показывающим структуру данных BD-ROM-диска 101. Как показано на фиг.2, служебная область 201 заготовки (BCA) предоставляется в крайней внутренней части области записи данных на BD-ROM-диске 101. Только BD-ROM-накопителю 121 разрешено осуществлять доступ к BCA, а доступ посредством прикладных программ запрещается. BCA 201 тем самым может использоваться в качестве технологии для защиты авторского права. В области записи данных за пределами BCA 201 дорожки идут по спирали от внутренней к внешней окружности. На фиг.2 дорожка 202 схематически идет в поперечном направлении. Левая сторона представляет внутреннюю периферическую часть диска 101, а правая сторона представляет внешнюю периферическую часть. Как показано на фиг.2, дорожка 202 содержит начальную область 202A, область 202B тома и конечную область 202C по порядку от внутренней окружности. Начальная область 202A предоставляется непосредственно на внешней границе BCA 201. Начальная область 202A включает в себя информацию, необходимую для BD-ROM-накопителя 121, чтобы осуществлять доступ к области 202B тома, такую как размер, физический адрес и т.д. данных, записанных в область 202B тома. Конечная область 202C предоставляется на крайней внешней периферической части области записи данных и указывает конец области 202B тома. Область 202B тома включает в себя данные приложения, такие как видеоизображения, аудио и т.д.

Область 202B тома разделяется на небольшие области 202D, называемые "секторами". Секторы имеют общий размер, например, 2048 байтов. Каждому сектору 202D последовательно назначается порядковый номер по порядку с начала области 202B тома. Эти порядковые номера называются номерами логических блоков (LBN) и используются в логических адресах на BD-ROM-диске 101. В ходе считывания данных из BD-ROM-диска 101 данные, предназначенные для того, чтобы считываться, указываются через обозначение LBN для целевого сектора. К области 202B тома тем самым может осуществляться доступ в единицах секторов. Кроме того, на BD-ROM-диске 101 логические адреса являются практически идентичными физическим адресам. В частности, в области, в которой LBN являются последовательными, физические адреса также являются практически последовательными. Соответственно, BD-ROM-накопитель 121 может последовательно считывать данные из секторов, имеющих последовательные LBN, без инструктирования оптической головке воспроизведения выполнять поиск дорожек.

Данные, записанные в область 202B тома, управляются согласно предварительно определенной файловой системе. Универсальный формат диска (UDF) приспосабливается в качестве этой файловой системы. Альтернативно, файловой системой может быть ISO9660. Данные, записанные в области 202B тома, представляются в формате каталогов/файлов в соответствии с файловой системой (подробности см. в разделе "дополнительное пояснение"). Другими словами, данные доступны в единицах каталогов или файлов.

Структура каталогов/файлов на BD-ROM-диске

Фиг.2 дополнительно показывает структуру каталогов/файлов данных, хранимых в области 202B тома на BD-ROM-диске 101. Как показано на фиг.2, в этой структуре каталогов/файлов каталог 210 (BDMV) BD-фильмов находится непосредственно в рамках каталога 203 ROOT. В рамках каталога 210 BDMV располагаются индексный файл (index.bdmv) 211 и файл 212 кинообъектов (MovieObject.bdmv).

Индексный файл 211 содержит информацию для управления как единым целым содержимым, записанным на BD-ROM-диске 101. В частности, эта информация включает в себя как информацию, чтобы инструктировать устройству 102 воспроизведения распознавать содержимое, так и индексную таблицу. Индексная таблица является таблицей соответствия между тайтлом, составляющим содержимое, и программой, чтобы управлять работой устройства 102 воспроизведения. Эта программа называется "объектом". Типами объекта являются кинообъект и BD-J-объект (BD Java™).

Файл 212 кинообъектов, в общем, сохраняет множество кинообъектов. Каждый кинообъект включает в себя последовательность навигационных команд. Навигационная команда - это команда управления, инструктирующая устройству 102 воспроизведения выполнять процессы воспроизведения аналогично общим DVD-проигрывателям. Типами навигационных команд являются, например, команда считывания, чтобы считывать файл списков воспроизведения, соответствующий тайтлу, команда воспроизведения, чтобы воспроизводить потоковые данные из файла AV-потока, указанного посредством файла списков воспроизведения, и команда перехода, чтобы выполнять переход к другому тайтлу. Навигационные команды записываются на интерпретируемом языке и расшифровываются посредством интерпретатора, т.е. программы управления заданиями, включенной в устройство 102 воспроизведения, тем самым инструктируя модулю управления выполнять требуемое задание. Навигационная команда состоит из кода операции и операнда. Код операции описывает тип операции, которую устройство 102 воспроизведения должно выполнять, такую как деление, воспроизведение или вычисление тайтла и т.д. Операнд указывает идентификационную информацию, предназначенную посредством операции, такую как номер тайтла и т.д. Модуль управления устройства 102 воспроизведения вызывает кинообъект в ответ, например, на пользовательскую операцию и выполняет навигационные команды, включенные в вызываемый кинообъект, в порядке последовательности. Способом, аналогичным общим DVD-проигрывателям, устройство 102 воспроизведения сначала отображает меню на дисплейном устройстве 103, чтобы давать возможность пользователю выбирать команду. Устройство 102 воспроизведения затем выполняет начало/остановку воспроизведения тайтла или переключение на другой тайтл в ответ на выбранную команду, тем самым динамически изменяя ход выполнения воспроизведения видео.

Как показано на фиг.2, каталог 210 BDMV дополнительно содержит каталог 220 списков воспроизведения (PLAYLIST), каталог 230 информации о клипах (CLIPINF), каталог 240 потока (STREAM), каталог 250 BD-J-объектов (BDJO: объект BD Java), каталог 260 Java-архива (JAR: Java-архив) и каталог 270 вспомогательных данных (AUXDATA).

Три типа файлов AV-потока, (01000.m2ts) 241, (02000.m2ts) 242 и (03000.m2ts) 243, а также каталог 244 стереоскопических перемежающихся файлов (SSIF) находятся непосредственно в рамках каталога 240 STREAM. Два типа файлов AV-потока, (01000.ssif) 244A и (02000.ssif) 244B, находятся непосредственно в рамках каталога 244 SSIF.

"Файл AV-потока" означает файл из фактического видеосодержимого, записанного на BD-ROM-диске 101, который соответствует формату файла, определенному посредством файловой системы. Такое фактическое видеосодержимое, в общем, означает потоковые данные, в которых мультиплексированы различные типы потоковых данных, представляющие видео, аудио, субтитры и т.д. Эти мультиплексированные потоковые данные могут широко разделяться на три типа: основной транспортный поток (TS), суб-TS и поток текстовых субтитров.

"Основной TS" - это мультиплексированные потоковые данные, которые включают в себя видеопоток для воспроизведения базового вида в качестве потока первичного видео. "Видеопоток для воспроизведения базового вида" - это видеопоток, который может воспроизводиться независимо и который представляет двумерные видеоизображения. Эти двумерные видеоизображения упоминаются как "базовый вид" или "основной вид".

"Суб-TS" - это мультиплексированные потоковые данные, которые включают в себя видеопоток для воспроизведения зависимого вида в качестве потока первичного видео. "Видеопоток для воспроизведения зависимого вида" - это видеопоток, который требует видеопотока для воспроизведения базового вида для воспроизведения и представляет трехмерные видеоизображения посредством комбинирования с видеопотоком для воспроизведения базового вида. Типами видеопотоков для воспроизведения зависимого вида являются видеопоток для просмотра правым глазом, видеопоток для просмотра левым глазом и поток карт глубины. Когда базовый вид - это вид для просмотра левым глазом трехмерных видеоизображений, "видеопоток для просмотра правым глазом" - это видеопоток, представляющий вид для просмотра правым глазом трехмерных видеоизображений. Обратное применимо к "видеопотоку для просмотра левым глазом". Когда базовый вид - это проекция трехмерных видеоизображений на виртуальном двумерном экране, "поток карт глубины" - это потоковые данные, представляющие карту глубины для трехмерных видеоизображений. В частности, когда базовый вид - это вид для просмотра левым глазом трехмерных видеоизображений, поток карт глубины, который используется, упоминается как "поток карт глубины для просмотра левым глазом" а когда базовый вид - это вид для просмотра правым глазом, поток карт глубины, который используется, упоминается как "поток карт глубины для просмотра правым глазом". Двумерные видеоизображения или карта глубины, представленная посредством видеопотока для воспроизведения зависимого вида, упоминается как "зависимый вид" или "субвид".

"Поток текстовых субтитров" (поток textST(субтитров)) - это потоковые данные, содержащие строку текстовых символов, представляющую субтитры фильма, которые записаны на конкретном языке. "Строка текстовых символов" - это последовательность данных, представляющая каждый символ, включенный в субтитры, с помощью конкретного кода символа. В отличие от других TS поток текстовых субтитров включает в себя только один элементарный поток.

В зависимости от типа сохраненных мультиплексированных потоковых данных файлы AV-потока разделяются на четыре типа: файл 2D, файл dependent (в дальнейшем в этом документе сокращенно как "файл DEP"), файл текстовых субтитров и перемежающийся файл (в дальнейшем в этом документе сокращенно как "файл SS"). "Файл 2D" является файлом AV-потока для воспроизведения двумерных видеоизображений в режиме двумерного воспроизведения и включает в себя основной TS. "Файл DEP" является файлом AV-потока, который включает в себя суб-TS. "Файл текстовых субтитров" является файлом AV-потока, который включает в себя поток текстовых субтитров. "Файл SS" является файлом AV-потока, который включает в себя основной TS и суб-TS, представляющие идентичные трехмерные видеоизображения. В частности, файл SS совместно использует свой основной TS с определенным файлом 2D и совместно использует свой суб-TS с определенным файлом DEP. Другими словами, в файловой системе на BD-ROM-диске 101 к основному TS доступ может осуществляться посредством как файла SS, так и файла 2D, а к суб-TS доступ может осуществляться посредством как файла SS, так и файла DEP. Эта настройка, посредством которой последовательность данных, записанных на BD-ROM-диске 101, является общей для различных файлов, и доступ к которой может осуществляться посредством всех файлов, называется "перекрестной связью файлов".

В примере, показанном на фиг.2, первый файл 241 AV-потока (01000.m2ts) является файлом 2D, второй файл 242 AV-потока (02000.m2ts) является файлом DEP, а третий файл 243 AV-потока (03000.m2ts) является файлом текстовых субтитров. Таким образом, файлы 2D, файлы DEP и файлы текстовых субтитров находятся непосредственно в рамках каталога 240 STREAM. Первый файл AV-потока, т.е. видеопоток для воспроизведения базового вида, который включает в себя файл 2D 241, представляет вид для просмотра левым глазом трехмерных видеоизображений. Второй файл AV-потока, т.е. видеопоток для воспроизведения зависимого вида, который включает в себя файл DEP 242, включает в себя как видеопоток для просмотра правым глазом, так и поток карт глубины.

В примере, показанном на фиг.2, четвертый файл 244A AV-потока (01000.ssif) и пятый файл 244B AV-потока (02000.ssif) являются файлом SS. Таким образом, файлы SS находятся непосредственно в рамках каталога 244 SSIF. Четвертый файл AV-потока, т.е. первый файл SS 244A, совместно использует основной TS и, в частности, видеопоток для воспроизведения базового вида, с файлом 2D 241 и совместно использует суб-TS, в частности, видеопоток для просмотра правым глазом с файлом DEP 242. Пятый файл AV-потока, т.е. второй файл SS 244B, совместно использует основной TS и, в частности, видеопоток для воспроизведения базового вида с файлом 2D 241 и совместно использует суб-TS, в частности, поток карт глубины с файлом DEP 242.

Три типа файлов информации о клипах, (01000.clpi) 231, (02000.clpi) 232 и (03000.clpi) 233, находятся в каталоге 230 CLIPINF. "Файл информации о клипах" является файлом, ассоциированным на основе "один-к-одному" с файлом 2D, файлом DEP и файлом текстовых субтитров, и, в частности, содержит карту вхождений для каждого файла. "Карта вхождений" - это таблица соответствия между временем представления для каждой сцены или субтитра, представленного посредством файла, и адресом в рамках каждого файла, в который записана сцена или субтитр. Из файлов информации о клипах файл информации о клипах, ассоциированный с файлом 2D, называется "файлом информации о двумерных клипах", а файл информации о клипах, ассоциированный с файлом DEP, называется "файлом информации о клипах для воспроизведения зависимого вида". В примере, показанном на фиг.2, первый файл 231 информации о клипах (01000.clpi) является файлом информации о двумерных клипах и ассоциирован с файлом 2D 241. Второй файл 232 информации о клипах (02000.clpi) является файлом информации о клипах для воспроизведения зависимого вида и ассоциирован с файлом DEP 242. Третий файл 233 информации о клипах (03000.clpi) ассоциирован с файлом 243 текстовых субтитров.

Три типа файлов списков воспроизведения, (00001.mpls) 221, (00002.mpls) 222 и (00003.mpls) 223, находятся в каталоге 220 PLAYLIST. "Файл списков воспроизведения" является файлом, указывает который путь воспроизведения файла AV-потока, т.е. часть файла AV-потока для воспроизведения и порядок воспроизведения. Типами файлов списков воспроизведения являются файл списков для двумерного воспроизведения и файл списков для трехмерного воспроизведения. "Файл списков для двумерного воспроизведения" указывает путь воспроизведения файла 2D. "Файл списков для трехмерного воспроизведения" указывает, для устройства воспроизведения в режиме двумерного воспроизведения - путь воспроизведения файла 2D, а для устройства воспроизведения в режиме трехмерного воспроизведения - путь воспроизведения файла SS. Как показано в примере на фиг.2, первый файл 221 списков воспроизведения (00001.mpls) является файлом списков для двумерного воспроизведения и указывает путь воспроизведения файла 2D 241. Второй файл 222 списков воспроизведения (00002.mpls) является файлом списков для трехмерного воспроизведения, который указывает, для устройства воспроизведения в режиме двумерного воспроизведения - путь воспроизведения файла 2D 241, а для устройства трехмерного воспроизведения в L/R-режиме - путь воспроизведения первого файла SS 244A. Третий файл 223 списков воспроизведения (00003.mpls) является файлом списков для трехмерного воспроизведения, который указывает, для устройства воспроизведения в режиме двумерного воспроизведения - путь воспроизведения файла 2D 241, а для устройства трехмерного воспроизведения в режиме глубины - путь воспроизведения второго файла SS 244B.

Файл 251 BD-J-объектов (XXXXX.bdjo) находится в каталоге 250 BDJO. Файл 251 BD-J-объектов включает в себя один BD-J-объект. BD-J-объект - это программа в байтовом коде, чтобы инструктировать виртуальной машине Java, установленной на устройстве 102 воспроизведения, воспроизводить тайтл и подготавливать посредством рендеринга графические изображения. BD-J-объект пишется на языке компилятора, таком как Java и т.п. BD-J-объект включает в себя таблицу управления приложениями и идентификационную информацию для файла списков воспроизведения, к которому следует обращаться. "Таблица управления приложениями" - это список Java-приложений, которые должны выполняться посредством виртуальной машины Java, и их периода выполнения, т.е. жизненного цикла. "Идентификационная информация файла списков воспроизведения, к которому обращаются", идентифицирует файл списков воспроизведения, который соответствует тайтлу, который должен воспроизводиться. Виртуальная машина Java вызывает BD-J-объект в ответ на пользовательскую операцию или прикладную программу и выполняет Java-приложение согласно таблице управления приложениями, включенной в BD-J-объект. Следовательно, устройство 102 воспроизведения динамически изменяет ход выполнения видео для каждого воспроизводимого тайтла или инструктирует дисплейному устройству 103 отображать графические изображения независимо от видеотайтлов.

Файл 261 JAR (YYYYY.jar) находится в каталоге 260 JAR. Каталог 261 JAR, в общем, включает в себя множество фактических Java-приложений, которые должны выполняться в соответствии с таблицей управления приложениями, показанной в BD-J-объекте. Java-приложение - это программа в байтовом коде, написанная на таком языке компилятора, как Java и т.п., аналогично BD-J-объекту. Типы Java-приложений включают в себя программы, инструктирующие виртуальной машине Java выполнять воспроизведение процесса тайтла, и программы, инструктирующие виртуальной машине Java подготавливать посредством рендеринга графические изображения. Файл 261 JAR является архивным файлом Java, и когда он считывается посредством устройства 102 воспроизведения, он загружается во внутреннем запоминающем устройстве. Таким образом, Java-приложение сохраняется в запоминающем устройстве.

Набор (11111.oft) 271 шрифтов находится в каталоге 270 AUXDATA. Набор 271 шрифтов включает в себя информацию шрифтов, связанную с потоком текстовых субтитров. Для каждого кода символа информация шрифтов включает в себя растровые данные, представляющие начертание шрифта. Коды символов выделяются, например, числам, буквам алфавита и японской слоговой азбуке. Набор шрифтов структурируется отдельно посредством начертания шрифта и языка и включает в себя, например, шрифты OpenType.

Структура мультиплексированных потоковых данных

Фиг.3A является списком элементарных потоков, мультиплексированных в основном TS на BD-ROM-диске 101. Основной TS является цифровым потоком в формате транспортного потока (TS) MPEG-2 и включает в себя файл 2D 241, показанный на фиг.2. Как показано на фиг.3A, основной TS включает в себя поток 301 первичного видео, потоки 302A и 302B первичного аудио и потоки 303A и 303B презентационной графики (PG). Основной TS дополнительно может включать в себя поток 304 интерактивной графики (IG), поток 305 вторичного аудио и поток 306 вторичного видео.

Поток 301 первичного видео представляет первичное видеофильма, а поток 306 вторичного видео представляет вторичное видеофильма. Первичное видео является основным видео, относящимся к содержимому, таким как основной признак фильма, и отображается, например, во весь экран. С другой стороны, вторичное видео отображается на экране одновременно с первичным видео с использованием, например, способа "картинка-в-картинке", так что изображения вторичного видео отображаются в меньшем окне в рамках изображений первичного видео. Поток 301 первичного видео и поток 306 вторичного видео являются видеопотоками для воспроизведения базового вида. Каждый из видеопотоков 301 и 306 кодируется посредством способа кодирования со сжатием видео, такого как MPEG-2, MPEG-4 AVC или SMPTE VC-1.

Потоки 302A и 302B первичного аудио представляют первичное аудиофильма. В этом случае два потока 302A и 302B первичного аудио заданы на различных языках. Поток 305 вторичного аудио представляет вторичное аудио, которое должно смешиваться с первичным аудио, таким как звуковые эффекты, сопровождающие работу интерактивного экрана. Каждый из аудиопотоков 302A, 302B и 305 кодируется посредством такого способа как AC-3, Dolby Digital Plus ("Dolby Digital" является зарегистрированной торговой маркой), Meridian Lossless Packing™ (MLP), Digital Theater System™ (DTS), DTS-HD или линейная импульсно-кодовая модуляция (PCM).

Каждый из PG-потоков 303A и 303B представляет графические изображения, такие как субтитры, сформированные посредством графики, которые должны отображаться наложенными на видеоизображения, представленные посредством потока 301 первичного видео. Два PG-потока 303A и 303B представляют, например, субтитры на различном языке. IG-поток 304 представляет графические элементы графического пользовательского интерфейса (GUI) и их компоновку для составления интерактивного экрана на экране 131 в дисплейном устройстве 103.

Элементарные потоки 301-306 идентифицируются посредством идентификаторов пакетов (PID). PID назначаются, например, следующим образом. Поскольку один основной TS включает в себя только один поток первичного видео, потоку 301 первичного видео назначается шестнадцатеричное значение 0x1011. Когда до 32 других элементарных потоков могут быть мультиплексированы по типу в одном основном TS, потокам 302A и 302B первичного аудио назначается любое значение от 0x1100 до 0x111F. PG-потокам 303A и 303B назначается любое значение от 0x1200 до 0x121F. IG-потоку 304 назначается любое значение от 0x1400 до 0x141F. Потоку 305 вторичного аудио назначается любое значение от 0x1A00 до 0x1A1F. Потоку 306 вторичного видео назначается любое значение от 0x1B00 до 0x1B1F.

Фиг.3B является списком элементарных потоков, мультиплексированных в суб-TS на BD-ROM-диске 101. Суб-TS является мультиплексированными потоковыми данными в формате MPEG-2 TS и включается в файл DEP 242, показанный на фиг.2. Как показано на фиг.3B, суб-TS включает в себя два потока 311R и 311D первичного видео. 311R - это видеопоток для просмотра правым глазом, тогда как 311D - это поток карт глубины. Когда поток 301 первичного видео в основном TS представляет вид для просмотра левым глазом трехмерных видеоизображений, видеопоток 311R для просмотра правым глазом представляет вид для просмотра правым глазом трехмерных видеоизображений. Поток 311D карт глубины представляет трехмерные видеоизображения в комбинации с потоком 301 первичного видео в основном TS. Дополнительно, суб-TS может включать в себя потоки 312R и 312D вторичного видео. 312R - это видеопоток для просмотра правым глазом, тогда как 312D - это поток карт глубины. Когда поток 306 вторичного видео в основном TS представляет вид для просмотра левым глазом трехмерных видеоизображений, видеопоток 312R для просмотра правым глазом представляет вид для просмотра правым глазом трехмерных видеоизображений. Поток 312D карт глубины представляет трехмерные видеоизображения в комбинации с потоком 306 вторичного видео в основном TS.

PID назначаются элементарным потокам 311R, …, 312D, например, следующим образом. Потокам 311R и 311D первичного видео являются, соответственно, назначаются значения 0x1012 и 0x1013. Когда до 32 других элементарных потоков могут быть мультиплексированы по типу в одном суб-TS, потокам 312R и 312D вторичного видео назначается любое значение от 0x1B20 до 0x1B3F.

Фиг.3C является списком элементарных потоков, мультиплексированных в потоке текстовых субтитров на BD-ROM-диске 101. Поток текстовых субтитров - это потоковые данные в формате MPEG-2 TS. Как показано на фиг.3C, поток текстовых субтитров включает в себя только один элементарный поток 321. PID с постоянным значением 0x1800 назначается элементарному потоку 321.

Фиг.4 является схематичным представлением, показывающим компоновку TS-пакетов в мультиплексированных потоковых данных 400. Основной TS и суб-TS совместно используют эту структуру пакетов. Следует отметить, что структура пакетов потока текстовых субтитров описывается дополнительно ниже. В мультиплексированных потоковых данных 400, элементарные потоки 401, 402, 403 и 404, соответственно, преобразуются в последовательности TS-пакетов 421, 422, 423 и 424. Например, в видеопотоке 401, каждый кадр 401A или каждое поле сначала преобразуется в один пакет 411 пакетированных элементарных потоков (PES). Затем каждый PES-пакет 411, в общем, преобразуется во множество TS-пакетов 421. Аналогично, аудиопоток 402, PG-поток 403 и IG-поток 404, соответственно, сначала преобразуются в последовательность PES-пакетов 412, 413 и 414, после чего они преобразуются в последовательность TS-пакетов 422, 423 и 424. В завершение, TS-пакеты 421, 422, 423 и 424, полученные из элементарных потоков 401, 402, 403 и 404, мультиплексируются во времени в один фрагмент потоковых данных, т.е. основной TS 400.

Фиг.5B является схематичным представлением, показывающим последовательность TS-пакетов, составляющую мультиплексированные потоковые данные. Каждый TS-пакет 501 имеет длину в 188 байтов. Как показано на фиг.5B, каждый TS-пакет 501 включает в себя TS-заголовок 501H и либо одно, либо оба из рабочих TS-данных 501P и поля 501A адаптации (в дальнейшем сокращенно как "AD-поля"). Рабочие TS-данные 501P и AD-поле 501A вместе составляют область данных длиной в 184 байта. Рабочие TS-данные 501P используются в качестве области хранения для PES-пакета. PES-пакеты 411-414, показанные на фиг.4, типично разделяются на множество частей, и каждая часть сохраняется в различных рабочих TS-данных 501P. AD-поле 501A является областью для сохранения заполняющих байтов (т.е. фиктивных данных), когда объем данных в рабочих TS-данных 501P не достигает 184 байтов. Дополнительно, когда TS-пакетом 501 является, например, PCR, как описано ниже, AD-поле 501A используется для того, чтобы сохранять эту информацию. TS-заголовок 501H является областью данных длиной в четыре байта.

Фиг.5A является схематичным представлением, показывающим структуру данных TS-заголовка 501H. Как показано на фиг.5A, TS-заголовок 501H включает в себя TS-приоритет (transport_priority) 511, PID 512 и управление 513 AD-полем (adaptation_field_control). PID 512 указывает PID для элементарного потока, данные которого сохраняются в рабочих TS-данных 501P TS-пакета 501, содержащего PID 512. TS-приоритет 511 указывает степень приоритета TS-пакета 501 для TS-пакетов, которые совместно используют значение, указываемое посредством PID 512. Управление 513 AD-полем указывает то, содержит или нет TS-пакет 501 AD-поле 501A и/или рабочие TS-данные 501P. Например, если управление 513 AD-полем указывает "1", то TS-пакет 501 не включает в себя AD-поле 501A, но включает в себя рабочие TS-данные 501P. Если управление 513 AD-полем указывает "2", то применимо обратное. Если управление 513 AD-полем указывает "3", то TS-пакет 501 включает в себя как AD-поле 501A, так и рабочие TS-данные 501P.

Фиг.5C является схематичным представлением, показывающим формирование последовательности исходных пакетов, состоящей из последовательности TS-пакетов для мультиплексированных потоковых данных. Как показано на фиг.5C, каждый исходный пакет 502 имеет длину в 192 байта и включает в себя один TS-пакет 501, показанный на фиг.5B, и заголовок 502H длиной в четыре байта (TP_Extra_Header). Когда TS-пакет 501 записывается на BD-ROM-диске 101, исходный пакет 502 составляется посредством присоединения заголовка 502H к TS-пакету 501. Заголовок 502H включает в себя ATS (Arrival_Time_Stamp). "ATS" - это информация времени, используемая посредством устройства 102 воспроизведения следующим образом. Когда исходный пакет 502 отправляется из BD-ROM-диска 101 в декодер системных целевых объектов в устройстве 102 воспроизведения, TS-пакет 502P извлекается из исходного пакета 502 и передается в PID-фильтр в декодере системных целевых объектов. ATS в заголовке 502H указывает время, в которое должна начинаться эта передача. "Декодер системных целевых объектов" - это устройство, которое декодирует мультиплексированные потоковые данные один элементарный поток за один раз. Подробности, касающиеся декодера системных целевых объектов и его использования ATS, предоставляются ниже.

Фиг.5D является схематичным представлением группы секторов, в которую последовательно записана последовательность исходных пакетов 502, в области 202B тома BD-ROM-диска 101. Как показано на фиг.5D, 32 исходных пакета 502 записываются за один раз как последовательность в три последовательных сектора 521, 522 и 523. Это обусловлено тем, что объем данных для 32 исходных пакетов, т.е. 192 байта×32=6144 байтов, является идентичным общему размеру трех секторов, т.е. 2048 байтов×3=6144 байтов. 32 исходных пакета 502, которые записываются таким образом в трех последовательных секторах 521, 522 и 523, называются "совмещенной единицей" 520. Устройство 102 воспроизведения считывает исходные пакеты 502 из BD-ROM-диска 101 посредством каждой совмещенной единицы 520, т.е. 32 исходных пакета за один раз. Кроме того, группа 521, 522, 523, … секторов разделяется на 32 фрагмента по порядку с начала, и каждый из них формирует один блок 530 кодов коррекции ошибок. BD-ROM-накопитель 121 выполняет обработку коррекции ошибок для каждого ECC-блока 530.

Структура данных видеопотока

Каждое из изображений, включенных в видеопоток, представляет один кадр или одно поле и сжимается посредством способа кодирования со сжатием видео, такого как MPEG-2, MPEG-4 AVC и т.д. Это сжатие использует пространственную или временную избыточность изображения. Здесь кодирование изображений, которое использует только пространственную избыточность изображения, называется "внутрикадровым кодированием". С другой стороны, кодирование изображений, которое использует временную избыточность, т.е. подобие между данными для множества изображений, отображаемых последовательно, упоминается как "межкадровое прогнозирующее кодирование". При межкадровом прогнозирующем кодировании, прежде всего, изображение ранее или позднее по времени представления назначается изображению, которое должно быть кодировано, в качестве опорного изображения. Затем вектор движения обнаруживается между изображением, которое должно быть кодировано, и опорным изображением, и после этого компенсация движения выполняется для опорного изображения с использованием вектора движения. Кроме того, значение разности между изображением, полученным посредством компенсации движения, и изображением, которое должно быть кодировано, находится, и временная избыточность удаляется с использованием значения разности. Таким образом, объем данных для каждого изображения сокращается.

Фиг.6 является схематичным представлением, показывающим, в порядке времени представления, три изображения 601, 602 и 603, включенные в видеопоток. Как показано на фиг.6, изображения 601, 602 и 603 типично разделяются на множество серий 611, …, 621, 622, 623, …, 631, … последовательных макроблоков. "Серия последовательных макроблоков" - это лентовидная область, сформированная посредством множества макроблоков, которые типично выстраиваются в линию горизонтально. "Макроблок" - это пикселная матрица предварительно определенного размера, к примеру, 16×16. Хотя не показано на фиг.6, одна серия последовательных макроблоков может состоять из двух или более строк макроблоков. В вышеуказанном способе кодирования изображения сжимаются по одной серии последовательных макроблоков за раз. После сжатия серия последовательных макроблоков классифицируется на один из трех типов: серия последовательных I-макроблоков, серия последовательных P-макроблоков и серия последовательных B-макроблоков. "Серия последовательных I (внутренних) макроблоков" 621 упоминается как серия последовательных макроблоков, сжатая посредством внутрикадрового кодирования. "Серия последовательных P (прогнозирующих) макроблоков" 622 упоминается как серия последовательных макроблоков, сжатая посредством межкадрового прогнозирующего кодирования с использованием в качестве опорного изображения одного изображения 601, которое имеет более раннее время представления. "Серия последовательных B (двунаправленно прогнозирующих) макроблоков" 623 упоминается как серия последовательных макроблоков, сжатая посредством межкадрового прогнозирующего кодирования с использованием в качестве опорных изображений двух изображений 601, 603, которые имеют более раннее или более позднее время представления. На фиг.6 изображения, к которым обращается серия 622 последовательных P-макроблоков и серия 623 последовательных B-макроблоков, указываются посредством стрелок. В MPEG-4 AVC, как показано на фиг.6, одно изображение 602 может включать в себя различные типы серий последовательных макроблоков. В MPEG-2, тем не менее, одно изображение включает в себя только серии последовательных макроблоков одного типа.

Для удобства в следующем пояснении допускается, что одно изображение включает в себя только серии последовательных макроблоков одного типа, независимо от способа кодирования. В этом случае после сжатия изображение классифицируется на один из трех типов, в соответствии с типом серии последовательных макроблоков: I-изображение, P-изображение и B-изображение. Более того, B-изображения, которые используются в качестве опорного изображения для других изображений при межкадровом прогнозирующем кодировании, в частности, называются "Br (опорными B) изображениями".

Фиг.7 является схематичным представлением, показывающим изображения в видеопотоке 701 для воспроизведения базового вида и в видеопотоке 902 для просмотра правым глазом в порядке времени представления. Как показано на фиг.7, видеопоток 701 для воспроизведения базового вида включает в себя изображения 710, 711, 712, …, 719 (в дальнейшем "изображения для воспроизведения базового вида"), а видеопоток 702 для просмотра правым глазом включает в себя изображения 720, 721, 722, …, 729 (в дальнейшем "изображения для просмотра правым глазом"). Изображения 710-719 для воспроизведения базового вида типично разделяются на множество GOP 731 и 732. "GOP" упоминается как последовательность изображений, имеющая I-изображение в начале последовательности. В дополнение к I-изображению, GOP типично включает в себя P-изображения и B-изображения.

В примере, показанном на фиг.7, изображения для воспроизведения базового вида в GOP 731 и 732 сжимаются в следующем порядке. В первой GOP 731, первое изображение сжимается как I₀-изображение 710. Число в подстрочном индексе указывает порядковый номер, выделенный каждому изображению в порядке времени представления. Затем четвертое изображение для воспроизведения базового вида сжимается как P₃-изображение 713 с использованием I₀-изображения 710 в качестве опорного изображения. Стрелки, показанные на фиг.7, указывают то, что изображение на острие стрелки является опорным изображением для изображения на конце стрелки. Затем второе и третье изображения для воспроизведения базового вида, соответственно, сжимаются как Br₁-изображение 711 и Br₂-изображение 712 с использованием как I₀-изображения 710, так и P₃-изображения 713 в качестве опорных изображений. Кроме того, седьмое изображение для воспроизведения базового вида сжимается как P₆-изображение 716 с использованием P₃-изображения 713 в качестве опорного изображения. Затем четвертое и пятое изображения для воспроизведения базового вида, соответственно, сжимаются как Br₄-изображение 714 и Br₅-изображение 715 с использованием как P₃-изображения 713, так и P₆-изображения 716 в качестве опорных изображений. Аналогично, во второй GOP 732, первое изображение сначала сжимается как I₇-изображение 717. Затем третье изображение сжимается как P₉-изображение 719 с использованием I₇-изображения 717 в качестве опорного изображения. Затем второе изображение для воспроизведения базового вида сжимается как Br₈-изображение 718 с использованием как I₇-изображения 717, так и P₉-изображения 719 в качестве опорных изображений.

В видеопотоке 701 для воспроизведения базового вида каждая GOP 731 и 732 всегда содержит I-изображение в начале, и тем самым изображения для воспроизведения базового вида могут быть декодированы на основе GOP. Например, в первой GOP 731, I₀-изображение 710 сначала декодируется независимо. Затем P₃-изображение 713 декодируется с использованием декодированного I₀-изображения 710. Затем Br₁-изображение 711 и Br₂-изображение 712 декодируются с использованием как декодированного I₀-изображения 710, так и P₃-изображения 713. Последующая группа 714, 715, … изображений аналогично декодируется. Таким образом, видеопоток 701 для воспроизведения базового вида может быть декодирован независимо и, кроме того, к нему может произвольно осуществляться доступ в единицах GOP.

Как дополнительно показано на фиг.7, изображения 720-729 для просмотра правым глазом сжимаются посредством межкадрового прогнозирующего кодирования. Тем не менее, способ кодирования отличается от способа кодирования для изображений 710-719 для воспроизведения базового вида, поскольку в дополнение к избыточности во временной избыточности видеоизображений, избыточность между левыми и правыми видеоизображениями также используется. В частности, как показано посредством стрелок на фиг.7, опорное изображение для каждого из изображений 720-729 для просмотра правым глазом выбирается не из видеопотока 702 для просмотра правым глазом, а вместо этого из видеопотока 701 для воспроизведения базового вида. В частности, время представления является практически идентичным для каждого из изображений 720-729 для просмотра правым глазом и соответствующего изображения для воспроизведения базового вида, выбранного в качестве опорного изображения. Эти изображения представляют вид для просмотра правым глазом и вид для просмотра левым глазом для идентичной сцены трехмерного видеоизображения, т.е. параллактического видеоизображения. Изображения 720-729 для просмотра правым глазом и изображения 710-719 для воспроизведения базового вида находятся тем самым в соответствии "один-к-одному". В частности, GOP-структура является идентичной для этих изображений.

В примере, показанном на фиг.7, первое изображение для просмотра правым глазом в первой GOP 731 сжимается как P₀-изображение 720 с использованием I₀-изображения 710 в видеопотоке 701 для воспроизведения базового вида в качестве опорного изображения. Эти изображения 710 и 720 представляют вид для просмотра левым глазом и вид правым глазом первого кадра в трехмерных видеоизображениях. Затем четвертое изображение для просмотра правым глазом сжимается как P3-изображение 723 с использованием P₃-изображения 713 в видеопотоке 701 для воспроизведения базового вида и P₀-изображения 720 в качестве опорных изображений. Затем второе изображение для просмотра правым глазом сжимается как B₁-изображение 721 с использованием Br1-изображения 711 в видеопотоке 701 для воспроизведения базового вида в дополнение к P₀-изображению 720 и P3-изображению 723 в качестве опорных изображений. Аналогично, третье изображение для просмотра правым глазом сжимается как B₂-изображение 722 с использованием Br2-изображения 712 в видеопотоке 701 для воспроизведения базового вида в дополнение к P₀-изображению 720 и P₃-изображению 730 в качестве опорных изображений. Для каждого из оставшихся изображений 724-729 для просмотра правым глазом, изображение для воспроизведения базового вида со временем представления, практически идентичным времени представления изображения для просмотра правым глазом, аналогично используется в качестве опорного изображения.

Пересмотренные стандарты для MPEG-4 AVC/H.264, называемые кодированием многовидового видео (MVC), известны в качестве способа кодирования со сжатием видео, который использует корреляцию между левым и правым видеоизображениями, как описано выше. MVC создан в июле 2008 года объединенной группой по видеостандартам (JVT), совместным проектом ISO/IEC MPEG и ITU-T VCEG, и является стандартом для совместного кодирования видео, которое может быть видимым с множества ракурсов. В MVC предусмотрено не только временное подобие в видеоизображениях, используемых для межкадрового прогнозирующего кодирования видео, но также и подобие между видеоизображениями с различающихся ракурсов. Этот тип прогнозирующего кодирования имеет более высокий коэффициент сжатия видео, чем прогнозирующее кодирование, которое по отдельности сжимает данные видеоизображений, видимых с каждого ракурса.

Как описано выше, изображение для воспроизведения базового вида используется в качестве опорного изображения для сжатия каждого из изображений 720-729 для просмотра правым глазом. Следовательно, в отличие от видеопотока 701 для воспроизведения базового вида видеопоток 702 для просмотра правым глазом не может быть декодирован независимо. С другой стороны, тем не менее, разность между параллактическими видеоизображениями является, в общем, очень небольшой, т.е. корреляция между видом для просмотра левым глазом и видом для просмотра правым глазом является высокой. Соответственно, изображения для просмотра правым глазом, в общем, имеют значительно более высокую скорость сжатия, чем изображения для воспроизведения базового вида, что означает, что объем данных значительно меньше.

Карты глубины, включенные в поток карт глубины, находятся в соответствии "один-к-одному" с изображениями 710-719 для воспроизведения базового вида, и каждая представляет карту глубины для двумерного видеоизображения в соответствующем изображении для воспроизведения базового вида. Карты глубины сжимаются посредством способа кодирования со сжатием видео, такого как MPEG-2, MPEG-4 AVC и т.д., аналогичным образом изображениям 710-719 для воспроизведения базового вида. В частности, межкадровое прогнозирующее кодирование используется в этом способе кодирования. Другими словами, каждая карта глубины сжимается с использованием другой карты глубины в качестве опорного изображения. Боле того, поток карт глубины разделяется на единицы GOP способом, аналогичным видеопотоку 701 для воспроизведения базового вида, и каждая GOP всегда содержит I-изображение в начале. Соответственно, карты глубины могут быть декодированы на основе GOP. Тем не менее, поскольку сама карта глубины является информацией, представляющей только глубину каждой части двумерного видеоизображения попикселно, поток карт глубины не может использоваться независимо для воспроизведения видеоизображений.

Например, аналогично двум потокам 311R и 311D первичного видео, показанным на фиг.3B, видеопоток для просмотра правым глазом и поток карт глубины, которые соответствуют одному видеопотоку для воспроизведения базового вида, сжимаются с использованием одного способа кодирования. Например, если видеопоток для просмотра правым глазом кодируется в MVC-формате, поток карт глубины также кодируется в MVC-формате. В этом случае во время воспроизведения трехмерных видеоизображений устройство 102 воспроизведения может плавно переключаться между L/R-режимом и режимом глубины при сохранении постоянного способа кодирования.

Фиг.8 является схематичным представлением, показывающим подробности относительно структуры данных видеопотока 800. Эта структура данных является практически идентичной для видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида. Как показано на фиг.8, видеопоток 800 является, в общем, состоящим из множества видеопоследовательностей #1, #2, …. "Видеопоследовательность" - это комбинация изображений 811, 812, 813, 814, …, которые составляют одну GOP 810 и к которым по отдельности присоединена дополнительная информация, такая как заголовок. Комбинация этой дополнительной информации и изображения упоминается как "единица видеодоступа (VAU)". Таким образом, в GOP 810 и 820, одна VAU #1, #2, … формируется для каждого изображения. Каждое изображение может считываться из видеопотока 800 в единицах VAU.

Фиг.8 дополнительно показывает структуру VAU #1 831, расположенной в начале каждой видеопоследовательности в видеопотоке для воспроизведения базового вида. VAU #1 831 включает в себя идентификационный код 831A единицы доступа (AU), заголовок 831B последовательности, заголовок 831C изображения, дополнительные данные 831D и данные 831E сжатых изображений. За исключением невключения заголовка 831B последовательности, VAU со второй VAU #2 и далее имеет структуру, идентичную структуре VAU #1 831. Идентификационный код 831A AU является предварительно определенным кодом, указывающим начало VAU #1 831. Заголовок 831B последовательности, также называемый GOP-заголовком, включает в себя идентификационный номер для видеопоследовательности #1, которая включает в себя VAU #1 831. Заголовок 831B последовательности дополнительно включает в себя информацию, совместно используемую посредством всей GOP 810, к примеру, разрешение, частота кадров, соотношение сторон и скорость передачи битов. Заголовок 831C изображения указывает собственный идентификационный номер, идентификационный номер для видеопоследовательности #1 и информацию, необходимую для декодирования изображения, такую как тип способа кодирования. Дополнительные данные 831D включают в себя дополнительную информацию, касающуюся вопросов, отличных от декодирования изображения, например, текстовую информацию субтитров, информацию о GOP-структуре и информацию временного кода. В частности, дополнительные данные 831D включают в себя информацию переключения декодирования, описанную ниже. Данные 831E сжатых изображений включают в себя изображение для воспроизведения базового вида. Дополнительно, VAU #1 831 может включать в себя любое или все из дополняющих данных 831F, кода 831G конца последовательности и кода 831H конца потока в зависимости от необходимости. Дополняющие данные 831F являются фиктивными данными. Посредством регулирования размера дополняющих данных 831F в соответствии с размером данных 831E сжатых изображений скорость передачи битов VAU #1 831 может поддерживаться равной предварительно определенному значению. Код 831G конца последовательности указывает то, что VAU #1 831 находится в конце видеопоследовательности #1. Код 831H конца потока указывает конец видеопотока 800 для воспроизведения базового вида.

Фиг.8 также показывает структуру VAU #1 832, расположенной в начале каждой видеопоследовательности в видеопотоке для воспроизведения зависимого вида. VAU #1 832 включает в себя идентификационный код 832A суб-AU, заголовок 832B подпоследовательности, заголовок 832C изображения, дополнительные данные 832D и данные 832E сжатых изображений. За исключением невключения заголовка 832B подпоследовательности VAU со второй VAU #2 и далее имеет структуру, идентичную структуре VAU #1 832. Идентификационный код 832A суб-AU является предварительно определенным кодом, указывающим начало VAU #1 832. Заголовок 832B подпоследовательности включает в себя идентификационный номер для видеопоследовательности #1, которая включает в себя VAU #1 832. Заголовок 832B подпоследовательности дополнительно включает в себя информацию, совместно используемую посредством всей GOP 810, к примеру, разрешение, частота кадров, соотношение сторон и скорость передачи битов. Эти значения являются идентичными значениям, заданным для соответствующей GOP в видеопотоке для воспроизведения базового вида, т.е. значениям, показанным посредством заголовка 831B последовательности в VAU #1 831. Заголовок 832C изображения указывает собственный идентификационный номер, идентификационный номер для видеопоследовательности #1 и информацию, необходимую для декодирования изображения, такую как тип способа кодирования. Дополнительные данные 832D включают в себя дополнительную информацию, касающуюся вопросов, отличных от декодирования изображения, например, текстовую информацию субтитров, информацию о GOP-структуре и информацию временного кода. В частности, дополнительные данные 832D включают в себя метаданные смещения (подробности предоставлены ниже) в дополнение к информации переключения декодирования. Данные 832E сжатых изображений включают в себя изображение для воспроизведения зависимого вида. Дополнительно, VAU #1 832 может включать в себя любое или все из дополняющих данных 832F, кода 832G конца последовательности и кода 832H конца потока в зависимости от необходимости. Дополняющие данные 832F являются фиктивными данными. Посредством регулирования размера дополняющих данных 832F в соответствии с размером данных 832E сжатых изображений скорость передачи битов VAU #1 832 может поддерживаться равной предварительно определенному значению. Код 832G конца последовательности указывает то, что VAU #1 832 находится в конце видеопоследовательности #1. Код 832H конца потока указывает конец видеопотока 800 для воспроизведения зависимого вида.

Конкретное содержимое каждого компонента в VAU отличается согласно способу кодирования видеопотока 800. Например, когда способом кодирования является MPEG-4 AVC или MVC, компоненты в VAU, показанных на фиг.8, состоят из одного модуля уровня абстрагирования от сети (NAL). В частности, идентификационный код 831A AU, заголовок 831B последовательности, заголовок 831C изображения, дополнительные данные 831D, данные 831E сжатых изображений, дополняющие данные 831F, код 831G конца последовательности и код 831H конца потока надлежащим образом соответствуют разделителю единиц доступа (AU), набору параметров последовательности (SPS), набору параметров изображения (PPS), дополнительной улучшающей информации (SEI) компоненту вида, данным фильтрации, концу последовательности и концу потока.

Фиг.9 является схематичным представлением, показывающим опорное соответствие заголовков между VAU, включенными в видеопоток 910 для воспроизведения базового вида, и видеопоток 920 для воспроизведения зависимого вида. Как показано на фиг.9, в видеопотоке 910 для воспроизведения базового вида, первое изображение BPIC разделяется на серии последовательных макроблоков #1-#K (буква k представляет целое число, превышающее или равное 1) и сохраняется в данных 911 сжатых изображений для VAU. Заголовок 912 серии последовательных макроблоков присоединен к каждой из серий последовательных макроблоков #1-#K. Номер опорного изображения, который является идентификационной информацией, указывающей изображение, к которому обращается каждая серия последовательных макроблоков #1-#K, сохраняется в заголовке 912 серии последовательных макроблоков для каждой серии последовательных макроблоков. Каждое изображение для воспроизведения базового вида, к которому следует обращаться, тем самым может указываться из номера опорного изображения, указываемого посредством каждого заголовка серии последовательных макроблоков. Заголовок 912 серии последовательных макроблоков дополнительно включает в себя идентификационный номер (например, PPS-номер) для заголовка 913 изображения в этой VAU. Как показано посредством стрелки на пунктирных линиях на фиг.9, заголовок 913 изображения, к которому следует обращаться, тем самым может указываться из идентификационного номера, указываемого посредством каждого заголовка серии последовательных макроблоков. Аналогично, другое изображение разделяется на серии последовательных макроблоков #1-#L (буква L представляет целое число, превышающее или равное 1) и сохраняется в данных 914 сжатых изображений другой VAU. Заголовок серии последовательных макроблоков, присоединяемый к каждой из серий последовательных макроблоков #1-#L, включает в себя идентификационный номер для заголовка 915 изображения в этой VAU. Как показано посредством стрелки на пунктирных линиях на фиг.9, заголовок 915 изображения, к которому следует обращаться, тем самым может указываться из идентификационного номера, указываемого посредством каждого заголовка серии последовательных макроблоков. Кроме того, заголовки 913 и 915 изображений включают в себя идентификационный номер (например, SPS-номер) для заголовка 916 последовательности в этой видеопоследовательности. Как показано посредством стрелки на линиях с чередующимися длинным и коротким пунктиром на фиг.9, заголовок 915 последовательности, к которому следует обращаться, тем самым может указываться из идентификационного номера, указываемого посредством заголовков 913 и 915 изображений.

Дополнительно ссылаясь на фиг.9, в видеопотоке 920 для воспроизведения зависимого вида, первое изображение DPIC аналогично разделяется на серии последовательных макроблоков #1-#K и сохраняется в данных 921 сжатых изображений для VAU. Заголовок 922 серии последовательных макроблоков, присоединяемый к каждой из серий последовательных макроблоков #1-#K включает в себя номер опорного изображения. Изображение для воспроизведения базового вида и изображение для воспроизведения зависимого вида, к которым обращается серия последовательных макроблоков, могут указываться из номера опорного изображения. Каждый заголовок серии последовательных макроблоков дополнительно включает в себя идентификационный номер для заголовка 923 изображения в этой VAU. Как показано посредством стрелки на пунктирных линиях на фиг.9, заголовок 923 изображения, к которому следует обращаться, тем самым может указываться из идентификационного номера, указываемого посредством каждого заголовка 922 серии последовательных макроблоков. Другие изображения аналогично разделяются на серии последовательных макроблоков #1-#L и сохраняются в данных сжатых изображений 924 другой VAU. Заголовок серии последовательных макроблоков, присоединяемый к каждой из серий последовательных макроблоков #1-#L, включает в себя номер опорного изображения и идентификационный номер для заголовка 925 изображения в этой VAU. Как показано посредством стрелки на пунктирных линиях на фиг.9, заголовок 925 изображения, к которому следует обращаться, тем самым может указываться из идентификационного номера, указываемого посредством каждого заголовка 922 серии последовательных макроблоков. Кроме того, заголовки 923 и 925 изображений включают заголовок 926 подпоследовательности в одной видеопоследовательности. Как показано посредством стрелки на линиях с чередующимися длинным и коротким пунктиром на фиг.9, заголовок 926 подпоследовательности, к которому следует обращаться, тем самым может указываться из идентификационного номера, указываемого посредством заголовков 923 и 925 изображений.

Фиг.10 является схематичным представлением, показывающим подробности относительно способа для сохранения видеопотока 1001 в последовательность 1002 PES-пакетов. Этот способ хранения является идентичным для видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида. Как показано на фиг.10, в фактическом видеопотоке 1001 изображения мультиплексируются в порядке кодирования, а не в порядке времени представления. Например, в VAU в видеопотоке для воспроизведения базового вида, как показано на фиг.10, I₀-изображение 1010, P3-изображение 1011, B₁-изображение 1012, B₂-изображение 1013, … сохраняются по порядку с начала. Число в подстрочном индексе указывает порядковый номер, выделенный каждому изображению по порядку времени представления. I₀-изображение 1010 используется в качестве опорного изображения для кодирования P₃-изображения 1011, и I₀-изображение 1010 и P₃-изображение 1011 используются в качестве опорных изображений для кодирования B₁-изображения 1012 и B₂-изображения 1013. Каждая из этих VAU сохраняется как различный PES-пакет 1020, 1021, 1022, 1023, …. Каждый PES-пакет 1020, … включает в себя рабочие PES-данные 1020P и PES-заголовок 1020H. Каждая VAU сохраняется в рабочих PES-данных 1020P. Каждый PES-заголовок 1020H включает время представления (временную метку представления, или PTS) и время декодирования (временную метку декодирования, или DTS) для изображения, сохраненного в рабочих PES-данных 1020P, в один PES-пакет 1020.

Как и в случае с видеопотоком 1001, показанным на фиг.10, другие элементарные потоки, показанные на фиг.3 и 4, сохраняются в рабочих PES-данных в последовательности PES-пакетов. Кроме того, PES-заголовок в каждом PES-пакете включает в себя PTS для данных, хранимых в рабочих PES-данных для PES-пакета.

Фиг.11 является схематичным представлением, показывающим соответствие между PTS и DTS, назначаемыми каждому изображению в видеопотоке 1101 для воспроизведения базового вида и в видеопотоке 1102 для воспроизведения зависимого вида. Как показано на фиг.11, между видеопотоками 1101 и 1102, идентичные PTS и DTS назначаются паре изображений, представляющих идентичный кадр или поле в трехмерном видеоизображении. Например, первый кадр или поле в трехмерном видеоизображении подготавливаются посредством рендеринга из комбинации I₁-изображения 1111 в видеопотоке 1101 для воспроизведения базового вида и P₁-изображения 1121 в видеопотоке 1102 для воспроизведения зависимого вида. Соответственно, PTS и DTS для двух изображений 111 и 1121 являются идентичными. Числа в подстрочном индексе указывают порядковый номер, выделенный каждому изображению по порядку DTS. Кроме того, когда видеопоток 1102 для воспроизведения зависимого вида - это поток карт глубины, P₁-изображение 1121, заменяется I-изображением, представляющим карту глубины для I₁-изображения 1111. Аналогично, PTS и DTS для пары вторых изображений в видеопотоках 1101 и 1102, т.е. P₂-изображений 1112 и 1122, являются идентичными. PTS и DTS являются идентичными для пары третьих изображений в видеопотоках 1101 и 1102, т.е. Br₃-изображения 1113 и B₃-изображения 1123. Это также применимо к паре из Br₄-изображения 1114 и B₄-изображения 1124.

Пара VAU, которые включают в себя изображения, для которых PTS и DTS являются идентичными для видеопотока 1101 для воспроизведения базового вида и видеопотока 1102 для воспроизведения зависимого вида, называется "трехмерной VAU". Посредством использования выделения PTS и DTS, показанных на фиг.11, просто инструктировать декодеру в устройстве 102 воспроизведения в режиме трехмерного воспроизведения обрабатывать видеопоток 1101 для воспроизведения базового вида и видеопоток 1102 для воспроизведения зависимого вида параллельно в единицах трехмерных VAU. Таким образом, декодер определенно параллельно обрабатывает пару изображений, представляющих один кадр или поле в трехмерном видеоизображении. Кроме того, заголовок последовательности в трехмерной VAU в начале каждой GOP включает в себя одинаковое разрешение, одинаковую частоту кадров и одинаковое соотношение сторон. В частности, эта частота кадров равна значению, когда видеопоток 1101 для воспроизведения базового вида декодируется независимо в режиме двумерного воспроизведения.

Информация переключения декодирования

Фиг.12A является схематичным представлением, показывающим структуру данных информации 1250 переключения декодирования, которая включает в себя дополнительные данные 831D и 832D, показанные на фиг.8. В частности, в MPEG-4 AVC, дополнительные данные 831D и 832D соответствуют типу NAL-единицы, "SEI". Информация 1250 переключения декодирования включается в дополнительные данные 831D и 832D в каждой VAU как в видеопотоке для воспроизведения базового вида, так и в видеопотоке для воспроизведения зависимого вида. Информация 1250 переключения декодирования является информацией, чтобы инструктировать декодеру в устройстве 102 воспроизведения легко указывать следующую VAU, чтобы декодировать. Как описано ниже, декодер поочередно декодирует видеопоток для воспроизведения базового вида и видеопоток для воспроизведения зависимого вида в единицах VAU. При этом декодер, в общем, указывает следующую VAU, которая должна быть декодирована, в совмещении со временем, показанным посредством DTS, назначенной каждой VAU. Многие типы декодеров, тем не менее, продолжают декодировать VAU по порядку при игнорировании DTS. Для таких декодеров предпочтительно для каждой VAU включать в себя информацию 1250 переключения декодирования в дополнение к DTS.

Как показано на фиг.12A, информация 1250 переключения декодирования включает в себя тип 1251 следующей единицы доступа, размер 1252 следующей единицы доступа и счетчик 1253 декодирования. Тип 1251 следующей единицы доступа указывает то, принадлежит следующая VAU, которая должна быть декодирована, видеопотоку для воспроизведения базового вида или видеопотоку для воспроизведения зависимого вида. Например, когда значение типа 1251 следующей единицы доступа равно "1", следующая VAU, которая должна быть декодирована, принадлежит видеопотоку для воспроизведения базового вида, а когда значение типа 1251 следующей единицы доступа равно "2", следующая VAU, которая должна быть декодирована, принадлежит видеопотоку для воспроизведения зависимого вида. Когда значение типа 1251 следующей единицы доступа равно "0", текущая VAU находится в конце потока, предназначенного для декодирования, и следующей VAU, которая должна быть декодирована, не существует. Размер 1252 следующей единицы доступа указывает размер следующей VAU, которая должна быть декодирована. Посредством обращения к размеру 1252 следующей единицы доступа декодер в устройстве 102 воспроизведения может указывать размер VAU без анализа ее фактической структуры. Соответственно, декодер может легко извлекать VAU из буфера. Счетчик 1253 декодирования показывает порядок декодирования VAU, которой он принадлежит. Порядок подсчитывается с VAU, которая включает в себя I-изображение в видеопотоке для воспроизведения базового вида.

Фиг.12B является схематичным представлением, показывающим последовательности счетчиков 1210 и 1220 декодирования, выделенных каждому изображению в видеопотоке 1201 для воспроизведения базового вида и в видеопотоке 1202 для воспроизведения зависимого вида. Как показано на фиг.12B, счетчики 1210 и 1220 декодирования увеличиваются поочередно между двумя видеопотоками 1201 и 1202. Например, для VAU 1211, которая включает в себя I-изображение в видеопотоке 1201 для воспроизведения базового вида, значение "1" назначается счетчику 1210 декодирования. Затем значение "2" назначается счетчику 1220 декодирования для VAU 1221, которая включает в себя следующее P-изображение, которое должно быть декодировано в видеопотоке 1202 для воспроизведения зависимого вида. Кроме того, значение "3" назначается счетчику 1210 декодирования для VAU 1212, которая включает в себя следующее P-изображение, которое должно быть декодировано в видеопотоке 1201 для воспроизведения базового вида. Посредством такого назначения, даже когда декодер в устройстве 102 воспроизведения не может считывать одну из VAU вследствие некоторой ошибки, декодер может немедленно указывать пропущенное изображение с использованием счетчиков 1210 и 1220 декодирования. Соответственно, декодер может выполнять обработку ошибок надлежащим образом и быстро.

В примере, показанном на фиг.12B, ошибка возникает в ходе считывания третьей VAU 1212 в видеопотоке 1201 для воспроизведения базового вида, и Br-изображение отсутствует. Во время обработки декодирования P-изображения, содержащегося во второй VAU 1222 в видеопотоке 1202 для воспроизведения зависимого вида, тем не менее, декодер считывает счетчик 1220 декодирования для этой VAU 1222 и сохраняет значение. Соответственно, декодер может прогнозировать счетчик 1210 декодирования для следующей VAU, которая должна обрабатываться. В частности, счетчик 1220 декодирования в VAU 1222, которая включает в себя P-изображение, составляет "4". Следовательно, счетчик 1210 декодирования для следующей VAU, которая должна считываться, может быть прогнозирован как равный "5". Следующей VAU, которая фактически считывается, тем не менее, является четвертая VAU 1214 в видеопотоке 1201 для воспроизведения базового вида, счетчик 1210 декодирования которой равен "7". Декодер тем самым может обнаруживать, что он неудачно считывает VAU. Соответственно, декодер может выполнять следующую обработку: "пропускать обработку декодирования B-изображения, извлеченного из третьей VAU 1223 в видеопотоке 1202 для воспроизведения зависимого вида, поскольку Br-изображение, которое должно использоваться в качестве опорного, отсутствует". Таким образом, декодер проверяет счетчики 1210 и 1220 декодирования во время каждого процесса декодирования. Следовательно, декодер может быстро обнаруживать ошибки в ходе считывания VAU и может быстро выполнять соответствующую обработку ошибок. Как результат, декодер может препятствовать искажению воспроизводимого видео посредством шума.

Фиг.12C является схематичным представлением, показывающим другие примеры счетчиков 1230 и 1240 декодирования, выделяемых каждому изображению в видеопотоке 1201 для воспроизведения базового вида и в видеопотоке 1202 для воспроизведения зависимого вида. Как показано на фиг.12C, счетчики 1230 и 1240 декодирования увеличиваются отдельно в видеопотоках 1201 и 1202. Следовательно, счетчики 1230 и 1240 декодирования являются идентичными для пары изображений в одной трехмерной VAU. В этом случае, когда декодер декодирует VAU в видеопотоке 1201 для воспроизведения базового вида, он может прогнозировать, что "счетчик 1230 декодирования является идентичным счетчику 1240 декодирования для следующей VAU, которая должна быть декодирована в видеопотоке 1202 для воспроизведения зависимого вида". В отличие от этого, когда декодер декодирует VAU в видеопотоке 1202 для воспроизведения зависимого вида, он может прогнозировать, что "счетчик 1230 декодирования для следующей VAU, которая должна быть декодирована в видеопотоке 1201 для воспроизведения базового вида, является идентичным счетчику 1240 декодирования плюс один". Соответственно, в любой момент времени декодер может быстро обнаруживать ошибку в считывании VAU с использованием счетчиков 1230 и 1240 декодирования и может быстро выполнять соответствующую обработку ошибок. Как результат, декодер может препятствовать искажению воспроизводимого видео посредством шума.

Метаданные смещения

Фиг.13 является схематичным представлением, показывающим структуру данных для метаданных 1310 смещения, включенных в видеопоток 1300 для воспроизведения зависимого вида. Фиг.14 является таблицей, показывающей синтаксис этих метаданных 1310 смещения. Как показано на фиг.13, метаданные 1310 смещения сохраняются в дополнительных данных 1301 VAU #1, расположенной в начале каждой видеопоследовательности (т.е. каждой GOP). Как показано на фиг.13 и 14, метаданные 1310 смещения включают в себя таблицу соответствия между идентификаторами 1311 последовательностей смещений и последовательностями 1312 смещений.

Идентификаторы 1311 последовательностей смещений являются порядковыми номерами 0, 1, 2, …, M, выделяемыми по порядку для последовательностей 1312 смещений. Буква M представляет целое число, превышающее или равное 1, и указывает общее число последовательностей 1312 смещений (number_of_offset_sequence). Идентификатор 1311 последовательности смещений выделяется каждой графической плоскости, которая должна быть комбинирована в видеоплоскости, воспроизводимой из каждой видеопоследовательности. Таким образом, последовательность 1312 смещений ассоциирована с каждой графической плоскостью.

"Видеоплоскость" упоминается как данные плоскости, сформированные из изображения, включенного в видеопоследовательность. "Графическая плоскость" упоминается как данные плоскости, сформированные из графических данных, представляющих двумерное графическое изображение, или из строки текстовых символов, включенной в поток текстовых субтитров. "Данные плоскости" являются двумерным массивом пикселных данных. Размер матрицы является идентичным разрешению видеокадра. Набор пикселных данных формируется посредством комбинации значения координаты цветности и значения α (непрозрачности). Значение координаты цветности выражается как RGB-значение или YCrCb-значение. Типы графических плоскостей включают в себя PG-плоскость, IG-плоскость, плоскость изображений и плоскость экранного меню (OSD). PG-плоскость формируется из PG-потока в основном TS или из потока текстовых субтитров. IG-плоскость формируется из IG-потока в основном TS. Плоскость изображений формируется в соответствии с BD-J-объектом. OSD-плоскость формируется в соответствии с микропрограммным обеспечением в устройстве 102 воспроизведения.

Каждая последовательность 1312 смещений является таблицей соответствия между номерами 1321 кадров и информацией 1322 и 1323 смещения. Номера 1321 кадров являются порядковыми номерами 1, 2, …, N, выделяемыми в порядке представления для кадров #1, #2, …, N, представленных посредством одной видеопоследовательности (например, видеопоследовательности #1). На фиг.14 номер 1321 кадра представляется как целочисленная переменная "i". Буква N представляет целое число, превышающее или равное единице, и указывает общее число кадров, включенных в видеопоследовательность (number_of_displayed_frames_in_GOP). Фрагменты информации 1322 и 1323 смещения являются управляющей информацией, задающей управление смещением для одной графической плоскости.

"Управление смещением" упоминается как процесс, чтобы предоставлять смещения влево и вправо для горизонтальных координат в графической плоскости и комбинировать результирующие плоскости, соответственно, с видеоплоскостью для воспроизведения базового вида и видеоплоскостью для воспроизведения зависимого вида. "Предоставление горизонтальных смещений для графической плоскости" упоминается как горизонтальный сдвиг каждого фрагмента пикселных данных в графической плоскости. Из одной графической плоскости это формирует пару графических плоскостей, представляющих вид для просмотра левым глазом и вид для просмотра правым глазом. Позиция представления каждого элемента в двумерных графических изображениях, воспроизводимых из этой пары плоскостей, сдвигается влево или право от исходной позиции представления. Зритель принудительно воспринимает пару вида для просмотра левым глазом и вида для просмотра правым глазом как одно трехмерное графическое изображение вследствие бинокулярного параллакса, сформированного посредством этих сдвигов.

Смещение определяется посредством направления и размера. Соответственно, как показано на фиг.13 и 14, каждый фрагмент информации смещения включает в себя направление 1322 смещения (Plane_offset_direction) и значение 1323 смещения (Plane_offset_value). Направление 1322 смещения указывает то, ближе или дальше трехмерное графическое изображение к зрителю, чем экран. То, сдвинута или нет позиция представления в виде для просмотра левым глазом и виде для просмотра правым глазом влево или вправо от исходной позиции представления двумерного графического изображения, зависит от значения направления 1322 смещения. Значение 1323 смещения указывает число горизонтальных пикселов для расстояния между исходной позицией представления двумерного графического изображения и позицией представления каждого из вида для просмотра левым глазом и вида для просмотра правым глазом.

Фиг.15A и 15B являются схематичными представлениями, показывающими управление смещениями для PG-плоскости 1510 и IG-плоскости 1520, соответственно. Через это управление смещениями два типа графических плоскостей, 1510 и 1520, соответственно, комбинируются с видеоплоскостью 1501 для просмотра левым глазом и видеоплоскостью 1502 для просмотра правым глазом. "Видеоплоскость для просмотра левым глазом/для просмотра правым глазом" упоминается как видеоплоскость, которая представляет вид для просмотра левым глазом/вид для просмотра правым глазом и формируется из комбинации видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида. В последующем описании, допускается, что субтитр 1511, указываемый посредством PG-плоскости 1510, отображается ближе экрана, а кнопка 1521, указываемая посредством IG-плоскости 1520, отображается дальше экрана.

Как показано на фиг.15A, смещение вправо предоставляется в PG-плоскость 1510. В частности, позиция каждого фрагмента пикселных данных в PG-плоскости 1510 сначала сдвигается вправо (виртуально) от соответствующей позиции пикселных данных в видеоплоскости 1501 для просмотра левым глазом на число пикселов SFP, равное значению смещения. Затем полоса 1512, (виртуально) выступающая из правого края диапазона видеоплоскости 1501 для просмотра левым глазом", отрезается" от правого края PG-плоскости 1510. Другими словами, пикселные данные для этой области 1512 отбрасываются. Вместо этого прозрачная полоса 1513 добавляется к левому краю PG-плоскости 1510. Ширина этой полосы 1513 является шириной полосы 1512 на правом краю; т.е. ширина является идентичной значению SFP смещения. PG-плоскость, представляющая вид для просмотра левым глазом, тем самым формируется из PG-плоскости 1510 и комбинируется с видеоплоскостью 1501 для просмотра левым глазом. В частности, в этой PG-плоскости для просмотра левым глазом, позиция представления субтитра 1511 сдвигается вправо от исходной позиции представления посредством значения SFP смещения.

В отличие от этого смещение влево предоставляется в IG-плоскость 1520. В частности, позиция каждого фрагмента пикселных данных в IG-плоскости 1520 сначала сдвигается влево (виртуально) от соответствующей позиции пикселных данных в видеоплоскости 1501 для просмотра левым глазом на число пикселов SFI, равное значению смещения. Затем полоса 1522, (виртуально) выступающая из левого края диапазона видеоплоскости для просмотра левым глазом 1510, отрезается от левого края IG-плоскости 1520. В отличие от этого прозрачная полоса 1523 добавляется к правому краю IG-плоскости 1520. Ширина этой полосы 1523 является шириной полосы 1522 на левом краю; т.е. ширина является идентичной значению смещения SFI. IG-плоскость, представляющая вид для просмотра левым глазом, тем самым формируется из IG-плоскости 1520 и комбинируется с видеоплоскостью 1501 для просмотра левым глазом. В частности, в этой IG-плоскости для просмотра левым глазом, позиция представления кнопки 1521 сдвигается влево от исходной позиции представления посредством значения смещения SFI.

Как показано на фиг.15B, смещение влево предоставляется в PG-плоскость 1510, а смещение вправо добавляется к IG-плоскости 1520. Другими словами, вышеуказанные операции выполняются наоборот для PG-плоскости 1510 и IG-плоскости 1520. Как результат, данные плоскости, представляющие вид для просмотра правым глазом, формируются из данных 1510 и 1520 плоскости и комбинируются с видеоплоскостью 1520 для просмотра правым глазом. В частности, в PG-плоскости для просмотра правым глазом, позиция представления субтитра 1511 сдвигается влево от исходной позиции представления посредством значения SFP смещения. С другой стороны, в IG-плоскости для просмотра правым глазом, позиция представления кнопки 1521 сдвигается вправо от исходной позиции представления посредством значения смещения SFI.

Фиг.15C является схематичным представлением, показывающим трехмерные графические изображения, которые зрителю 1530 инструктируется воспринимать из двумерных графических изображений, представленных посредством графических плоскостей, показанных на фиг.15A и 15B. Когда двумерные графические изображения, представленные посредством этих графических плоскостей, поочередно отображаются на экране 1540, зритель 1530 воспринимает, что субтитр 1531 ближе экрана 1540, а кнопка 1532 дальше экрана 1540, как показано на фиг.15C. Расстояние между трехмерными графическими изображениями 1531 и 1532 и экраном 1540 может регулироваться через значения SFP и SFI смещения.

Фиг.16A и 16B являются графиками, показывающими примеры последовательностей смещений. На этих графиках значение смещения является положительным, когда направление смещения идет к зрителю от экрана. Фиг.16A является укрупнением графика для периода представления первой GOP на фиг.16B, т.е. GOP1. Как показано на фиг.16A, ступенчатая линия 1601 показывает значения смещения для последовательности смещений с идентификатором последовательности смещений, равным 0, т.е. для последовательности смещений [0]. С другой стороны, горизонтальная линия 1602 показывает значения смещения для последовательности смещений с идентификатором последовательности смещений, равным 1, т.е. для последовательности смещений [1]. Значение 1601 смещения в последовательности смещений [0] увеличивается пошагово в течение периода GOP1 представления первой GOP в порядке кадров FR1, FR2, FR3, …, FR15, …. Как показано на фиг.16B, пошаговое увеличение значения 1601 смещения аналогично продолжается в периоды GOP2, GOP3, …, GOP40, … представления для второй и последующих GOP. Величина увеличения в расчете на каждый кадр является достаточно небольшим для значения 1601 смещения на фиг.16B, чтобы казаться непрерывно увеличивающейся как линия. С другой стороны, значение 1602 смещения в последовательности смещений [1] поддерживается постоянным в течение периода GOP1 представления первой GOP. Как показано на фиг.16B, значение 1602 смещения увеличивается до положительного значения в конце периода GOP40 представления для 40-й GOP. Значения смещения тем самым могут демонстрировать прерывистое изменение.

Фиг.16C является схематичным представлением, показывающим трехмерные графические изображения, воспроизводимые в соответствии с последовательностями смещений, показанными на фиг.16A и 16B. Когда трехмерное видеоизображение 1603 субтитра отображается в соответствии с последовательностью смещений [0], трехмерное видеоизображение 1603, как кажется, начинается с точки непосредственно перед экраном 1604 и постепенно приближается к зрителю. С другой стороны, когда трехмерное видеоизображение 1605 кнопки отображается в соответствии с последовательностью смещений [1], трехмерное видеоизображение 1605, как кажется, внезапно перепрыгивает из фиксированной позиции за экраном 1604 в позицию перед экраном 1604. Как описано, шаблоны, посредством которых значения смещения увеличиваются или уменьшаются покадрово, изменяются множеством способов между последовательностями смещений. Отдельные изменения глубины множества трехмерных графических изображений тем самым могут представляться множеством способов.

Структура данных PG-потока

Снова ссылаясь на фиг.4, PG-поток 403 включает в себя множество функциональных сегментов. Эти функциональные сегменты включают в себя сегмент управления представлением (PCS), сегмент задания палитры (PDS), сегмент задания окна (WDS) и сегмент задания объекта (ODS). PCS задает набор для отображения в графическом потоке, а также структуру экрана, которая использует графические объекты. Типы структуры экрана включают в себя врезку/вырезку, выход из затемнения/затемнение, изменение цвета, прокрутку и вытеснение/стирание. Задание структуры экрана с PCS обеспечивает возможность эффекта отображения, посредством которого "определенный субтитр постепенно исчезает, а следующий субтитр отображается". PDS задает соответствие между пикселным кодом и значением координаты цветности (например, сигнал яркости Y, вычитание Cr из красного сигнала яркости, вычитание Cb из синего сигнала яркости, непрозрачность α). WDS задает прямоугольную область в графической плоскости, т.е. окно. ODS использует пикселный код и длину серии, чтобы задавать графический объект, к которому применено сжатие по длинам серий.

Структура данных IG-потока

Ссылаясь снова на фиг.4, IG-поток 404 включает в себя сегмент интерактивной структуры (ICS), PDS и ODS. PDS и ODS являются функциональными сегментами, идентичными функциональным сегментам, включенным в PG-поток 403. В частности, графический объект, который включает в себя ODS, представляет графический элемент GUI, такой как кнопка, всплывающее меню и т.д., который формирует интерактивный экран. ICS задает интерактивный режим работы, который использует эти графические объекты. В частности, ICS задает состояния, которые каждый графический объект, такой как кнопка, всплывающее меню и т.д., может принимать, когда изменяется в ответ на пользовательскую операцию, состояния, такие как обычное, выбранное и активное. ICS также включает в себя информацию кнопок. Информация кнопок включает в себя команду, которую должно выполнять устройство воспроизведения, когда пользователь выполняет определенную операцию с кнопкой и т.п.

Структура данных потока текстовых субтитров

Фиг.17 является схематичным представлением, показывающим структуру данных потока 1700 текстовых субтитров. Поток 1700 текстовых субтитров включает в себя множество записей 1710 текстовых данных. Каждая запись 1710 текстовых данных состоит из пары информации 1711 стиля и текстовой информации 1712. Текстовая информация 1712 представляет строку текстовых символов, которая должна отображаться. Информация 1711 стиля включает в себя PTS 1701, позицию 1702 представления, идентификатор 1703 шрифта, стиль 1704 отображения и размер 1705 шрифта. PTS 1701 отображает время представления строки текстовых символов, отображаемой посредством текстовой информации 1712 в одной паре. Позиция 1702 представления указывает позицию представления строки текстовых символов в графической плоскости. Идентификатор 1703 шрифта является идентификационной информацией по набору шрифтов, к которому следует обращаться при рендеринге строки текстовых символов в графической плоскости. Стиль 1704 отображения указывает начертание шрифта, такое как полужирный, курсивный и т.д. при отображении строки текстовых символов. Размер 1705 шрифта указывает размер символов при отображении строки текстовых символов.

Другие TS-пакеты, включенные в файл AV-потока

В дополнение к TS-пакетам, преобразованным из элементарного потока, как показано на фиг.3, типы TS-пакетов, включенных в файл AV-потока, включают в себя таблицу ассоциаций программ (PAT), таблицу структуры программ (PMT) и временную отметку программ (PCR). PCR, PMT и PAT указываются посредством европейского стандарта цифровой широковещательной передачи и имеют намерение упорядочивать частичный транспортный поток, составляющий одну программу. Посредством использования PCR, PMT и PAT файл AV-потока также может упорядочиваться способом, аналогичным частичному транспортному потоку. PAT показывает PID PMT, включенной в этот же файл AV-потока. PID самой PAT равен 0. PMT включает в себя PID для элементарных потоков, представляющих видео, аудио, субтитры и т.д., включенные в один файл AV-потока, а также информацию атрибутов для элементарных потоков. PMT также имеет различные дескрипторы, касающиеся AV-клипа. Дескрипторы, в частности, включают в себя информацию управления копированием, показывающую то, разрешено или нет копирование файла AV-потока. PCR включает в себя информацию, указывающую значение системного таймера (STC), которое должно быть ассоциировано с ATS, назначенной самой PCR. STC, упоминаемая здесь, является опорным синхросигналом, используемым в качестве опорного уровня для PTS и DTS посредством декодера в устройстве 102 воспроизведения. Этот декодер использует PCR, чтобы синхронизировать STC с ATC.

Фиг.18 является схематичным представлением, показывающим структуру данных PMT 1810. PMT 1810 включает в себя PMT-заголовок 1801, дескрипторы 1802 и фрагменты информации 1803 потока. PMT-заголовок 1801 указывает длину данных и т.д., сохраненных в PMT 1810. Каждый дескриптор 1802 относится ко всему файлу AV-потока, который включает в себя PMT 1810. Информация управления копированием включается в один из дескрипторов 1802. Каждый фрагмент информации 1803 потока относится к одному из элементарных потоков, включенных в файл AV-потока, и назначается различному элементарному потоку. Каждый фрагмент информации 1803 потока включает в себя тип 1831 потока, PID 1832 и дескрипторы 1833 потока. Тип 1831 потока включает в себя идентификационную информацию для кодека, используемого для сжатия элементарного потока. PID 1832 указывает PID элементарного потока. Дескрипторы 1833 потока включают в себя информацию атрибутов элементарного потока, такую как частота кадров и соотношение сторон.

Посредством использования PCR, PMT и PAT декодер в устройстве воспроизведения может быть задан так, чтобы обрабатывать файл AV-потока способом, аналогичным частичному транспортному потоку в европейском стандарте цифровой широковещательной передачи. Таким образом, можно обеспечивать совместимость между устройством воспроизведения для BD-ROM-диска 101 и терминалом, соответствующим европейскому стандарту цифровой широковещательной передачи.

Перемеженная компоновка мультиплексированных потоковых данных

Для плавного воспроизведения трехмерных видеоизображений физическая компоновка видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида на BD-ROM-диске 101 является важной. Это "плавное воспроизведение" означает воспроизведение видео и аудио из мультиплексированных потоковых данных без прерывания.

Фиг.19 является схематичным представлением, показывающим физическую компоновку мультиплексированных потоковых данных на BD-ROM-диске 101. Как показано на фиг.19, мультиплексированные потоковые данные разделяются на множество блоков D[n], B[n] данных (n=0, 1, 2, 3, …) и размещаются на BD-ROM-диске 101. "Блок данных" упоминается как последовательность данных, записанных в непрерывной области на BD-ROM-диске 101, т.е. множество физически смежных секторов. Поскольку физические адреса и логические адреса на BD-ROM-диске 101 являются практически идентичными, LBN в рамках каждого блока данных также являются непрерывными. Соответственно, BD-ROM-накопитель 121 может непрерывно считывать блок данных без инструктирования оптической головке воспроизведения выполнять поиск дорожек. В дальнейшем в этом документе блоки B[n] данных, принадлежащие основному TS, упоминаются как "блоки данных для воспроизведения базового вида", а блоки D[n] данных, принадлежащие суб-TS, упоминаются как "блоки данных для воспроизведения зависимого вида". В частности, блоки данных, которые включают в себя видеопоток для просмотра правым глазом, упоминаются как "блоки данных для просмотра правым глазом", а блоки данных, которые включают в себя поток карт глубины, упоминаются как "блоки данных карты глубины".

В файловой системе на BD-ROM-диске 101, к каждому блоку B[n] и D[n] данных может осуществляться доступ как к одному экстенту в файлах 2D или файлах DEP. Другими словами, логический адрес для каждого блока данных может быть известен из записи файла для файла 2D или файла DEP (подробности см. в разделе "дополнительное пояснение").

В примере, показанном на фиг.19, запись 1910 файла в файле 2D (01000.m2ts) 241 указывает размеры блоков B[n] данных для воспроизведения базового вида и LBN их начала. Соответственно, к блокам B[n] данных для воспроизведения базового вида может осуществляться доступ как к экстентам EXT2D[n] в файле 2D 241. В дальнейшем в этом документе экстенты EXT2D[n], принадлежащие файлу 2D 241, упоминаются как "двумерные экстенты". С другой стороны, запись 1920 файла в файла DEP (02000.m2ts) 242 указывает размеры блоков D[n] данных для воспроизведения зависимого вида и LBN их начала. Соответственно, к каждому блоку D[n] данных для воспроизведения зависимого вида может осуществляться доступ как к экстенту EXT2[n] в файле DEP 242. В дальнейшем в этом документе экстенты EXT2[n], принадлежащие файлу DEP 242, упоминаются как "экстенты для воспроизведения зависимого вида".

Как показано на фиг.19, группа блоков данных записывается непрерывно вдоль дорожки на BD-ROM-диске 101. Кроме того, блоки B[n] данных для воспроизведения базового вида и блоки D[n] данных для воспроизведения зависимого вида размещаются поочередно один за другим. Этот тип компоновки группы блоков данных упоминается как "перемеженная компоновка". В частности, одна последовательность блоков данных, записанных в перемеженной компоновке, упоминается как "блок экстентов". Три блока 1901, 1902 и 1903 экстентов показаны на фиг.19. Как показано в первых двух блоках 1901 и 1902 экстентов, область NAV хранения для данных, отличных от мультиплексированных потоковых данных, существует между блоками экстентов, тем самым разделяя блоки экстентов. Кроме того, когда BD-ROM-диск 101 является многоуровневым диском, т.е. когда BD-ROM-диск 101 включает в себя множество слоев для записи, блоки экстентов также могут разделяться межслойной границей LB между слоями для записи, как во втором и третьем блоках 1902 и 1903 экстентов, показанных на фиг.19. Таким образом, одна последовательность мультиплексированных потоковых данных, в общем, компонуется так, чтобы разделяться на множество блоков экстентов. В этом случае, чтобы устройство 102 воспроизведения плавно воспроизводило видеоизображения из мультиплексированных потоковых данных, необходимо, чтобы видеоизображения воспроизводились из блоков экстентов, которые должны быть плавно соединены. В дальнейшем в этом документе обработка, требуемая посредством устройства 102 воспроизведения для этой цели, упоминается как "плавное соединение между блоками экстентов".

Блоки 1901-1903 экстентов имеют идентичное число двух типов блоков D[n] и B[n] данных. Кроме того, ATC-время экстента является идентичным для n-ной пары D[n] и B[n] смежных блоков данных. В этом контексте "таймер поступления (ATC)" означает синхросигнал, который выступает в качестве стандарта для ATS. Кроме того, "ATC-время экстента" задается посредством значения ATC и представляет диапазон ATS, назначенного исходным пакетам в экстенте, т.е. интервал времени от ATS исходного пакета в начале экстента до ATS исходного пакета в начале следующего экстента. Другими словами, ATC-время экстента является идентичным времени, требуемому для того, чтобы передавать все исходные пакеты в экстенте из буфера считывания в устройстве 102 воспроизведения в декодер системных целевых объектов. "Буфер считывания" - это буферное запоминающее устройство в устройстве 102 воспроизведения, в котором блоки данных, считанные из BD-ROM-диска 101, временно сохраняются перед передачей в декодер системных целевых объектов. Подробности относительно буфера считывания предоставляются позднее. В примере, показанном на фиг.19, поскольку три блока 1901-1903 экстентов соединяются вместе плавно, ATC-времена экстента являются идентичными для пар блоков D[n], B[n] данных (n=0, 1, 2, …).

VAU, расположенные в начале смежных блоков D[n] и B[n] данных, принадлежат одной трехмерной VAU и, в частности, включают в себя первое изображение GOP, представляющей одно трехмерное видеоизображение. Например, начало блока D[n] данных для просмотра правым глазом включает в себя P-изображение для видеопотока для просмотра правым глазом, а начало блока B[n] данных для воспроизведения базового вида включает в себя I-изображение для видеопотока для воспроизведения базового вида. P-изображение для видеопотока для просмотра правым глазом представляет вид для просмотра правым глазом, когда двумерное видеоизображение, представленное посредством I-изображения в видеопотоке для воспроизведения базового вида, используется в качестве вида для просмотра левым глазом. В частности, P-изображение, как показано на фиг.7, сжимается с использованием I-изображения в качестве опорного изображения. Соответственно, устройство 102 воспроизведения в режиме трехмерного воспроизведения может начинать воспроизведение трехмерных видеоизображений от любой пары блоков D[n] и B[n] данных. Другими словами, обработка, которая требует произвольного доступа видеопотоков, такая как воспроизведение с прерываниями, возможна.

Кроме того, в перемеженной компоновке, в смежных парах блоков D[n] и B[n] данных, блоки D[n] данных для воспроизведения зависимого вида размещаются перед блоками B[n] данных для воспроизведения базового вида. Это обусловлено тем, что объем данных меньше в блоке D[n] данных для воспроизведения зависимого вида, чем в блоке B[n] данных для воспроизведения базового вида, т.е. скорость передачи битов является более низкой. Например, изображение, включенное в n-ный блок D[n] данных для просмотра правым глазом, сжимается с использованием изображения, включенного в n-ный блок B[n] данных для воспроизведения базового вида, в качестве опорного изображения. Соответственно, размер S_EXT2[n] блока D[n] данных для просмотра правым глазом равен или меньше размера S_EXT1[n] блока B[n] данных для воспроизведения базового вида: S_EXT2[n]≤S_EXT1[n]. С другой стороны, объем данных в расчете на пиксел в карте глубины, т.е. число битов значения глубины, в общем, меньше объема данных в расчете на пиксел изображения для воспроизведения базового вида, т.е. суммы числа битов значения координаты цветности и значения α. Кроме того, как показано на фиг.3A и 3B, в отличие от суб-TS основной TS включает в себя другие элементарные потоки, такие как поток первичного аудио, в дополнение к потоку первичного видео. Следовательно, размер блока данных карты глубины, S_EXT3[n], меньше или равен размеру блока B[n] данных для воспроизведения базового вида, S_EXT1[n]: S_EXT2[n]≤S_EXT1[n].

Значимость деления мультиплексированных потоковых данных на блоки данных

Чтобы воспроизводить трехмерные видеоизображения плавно из BD-ROM-диска 101, устройство 102 воспроизведения должно параллельно обрабатывать основной TS и суб-TS. Емкость буфера считывания, подходящая для использования в такой обработке, тем не менее, в общем, является ограниченной. В частности, предусмотрен предел на объем данных, который может непрерывно считываться в буфер считывания из BD-ROM-диска 101. Соответственно, устройство 102 воспроизведения должно считывать секции основного TS и суб-TS с идентичным ATC-временем экстента посредством деления секций.

Фиг.20A является схематичным представлением, показывающим компоновку основного TS 2001 и суб-TS 2002, записанных отдельно и последовательно на BD-ROM-диске. Когда устройство 102 воспроизведения параллельно обрабатывает основной TS 2001 и суб-TS 2002, как показано посредством стрелок (1)-(4) на сплошных линиях на фиг.20A, BD-ROM-накопитель 121 поочередно считывает секции основного TS 2001 и суб-TS 2002, которые имеют идентичное ATC-время экстента. В это время, как показано посредством стрелок в пунктирных линиях на фиг.20A, во время обработки считывания BD-ROM-накопитель 121 должен осуществлять большое изменение области, которая должна считываться на BD-ROM-диске. Например, после того, как первая секция основного TS 2001, показанная посредством стрелки (1), считана, BD-ROM-накопитель 121 временно прекращает операцию считывания посредством оптической головки воспроизведения и увеличивает скорость вращения BD-ROM-диска. Таким образом, BD-ROM-накопитель 121 быстро перемещает сектор на BD-ROM-диске, в котором записана первая секция суб-TS 2002, показанная посредством стрелки (2), в позицию оптической головки воспроизведения. Эта операция для того, чтобы временно прекращать считывание посредством оптической головки воспроизведения, и, в то время, когда считывание прекращено, позиция оптической головки воспроизведения выше следующей области считывалась, называется "переходом". Пунктирные линии со стрелкой, показанные на фиг.20A, указывают диапазон переходов, необходимых во время обработки считывания. В течение каждого периода перехода обработка считывания посредством оптической головки воспроизведения прекращается, и только обработка декодирования посредством декодера продолжается. Поскольку переход является чрезмерным в примере, показанном на фиг.20A, трудно инструктировать обработке считывания не отставать от обработки декодирования. Как результат, трудно устойчиво поддерживать плавное воспроизведение.

Фиг.20B является схематичным представлением, показывающим компоновку блоков B[0], B[1], B[2], … данных для воспроизведения базового вида и блоков D[0], D[1], D[2], … данных для воспроизведения зависимого вида, записанных поочередно на BD-ROM-диске 101 согласно варианту осуществления 1 настоящего изобретения. Как показано на фиг.20B, основной TS и суб-TS разделяются на множество блоков данных и размещаются поочередно. В этом случае во время воспроизведения трехмерных видеоизображений устройство 102 воспроизведения считывает блоки B[0], D[0], B[1], D[1], … данных по порядку с начала, как показано посредством стрелок (1)-(4) на фиг.20B. Посредством простого считывания этих блоков данных по порядку устройство 102 воспроизведения может плавно считывать основной TS и суб-TS поочередно. В частности, поскольку переход не осуществляется во время обработки считывания, плавное воспроизведение трехмерных видеоизображений может устойчиво поддерживаться.

Значимость предоставления для смежных блоков данных с идентичным ATC-временем экстента

Фиг.20C является схематичным представлением, показывающим пример ATC-времен экстента для группы D[n] блоков данных для воспроизведения зависимого вида и группы B[n] блоков данных для воспроизведения базового вида, записанных в перемеженной компоновке (n=0, 1, 2). Как показано на фиг.20C, ATC-время экстента является идентичным в каждой паре для блока D[n] данных для воспроизведения зависимого вида и непосредственно последующего блока B[n] данных для воспроизведения базового вида. Например, ATC-время экстента равно одной секунде для каждого из D[0] и B[0] в паре первого блока данных. Соответственно, когда блоки D[0] и B[0] данных считываются посредством буфера считывания в устройстве 102 воспроизведения, все TS-пакеты в них отправляются из буфера считывания в декодер системных целевых объектов в одном односекундном интервале. Аналогично, поскольку ATC-время экстента равно 0,7 секундам для каждого из D[1] и B[1] в паре второго блока данных, все TS-пакеты в каждом блоке данных передаются из буфера считывания в декодер системных целевых объектов в 0,7-секундном интервале.

Фиг.20D является схематичным представлением, показывающим другой пример ATC-времен экстента для группы D[n] блоков данных для воспроизведения зависимого вида и группы B[n] блоков данных для воспроизведения базового вида, записанных в перемеженной компоновке. Как показано на фиг.20D, ATC-времена экстента во всех блоках D[n] и B[n] данных равны одной секунде. Соответственно, в одном односекундном интервале, в котором любые из блоков D[n] и B[n] данных считываются посредством буфера считывания в устройстве 102 воспроизведения, все TS-пакеты в каждом из этих блоков данных передаются из буфера считывания в декодер системных целевых объектов.

Как описано выше, скорость сжатия блоков данных для воспроизведения зависимого вида превышает скорость сжатия блоков данных для воспроизведения базового вида. Соответственно, обработка декодирования блоков данных для воспроизведения зависимого вида, в общем, медленнее обработки декодирования блоков данных для воспроизведения базового вида. С другой стороны, когда ATC-времена экстента равны, блоки данных для воспроизведения зависимого вида имеют меньший объем данных, чем блоки данных для воспроизведения базового вида. Следовательно, когда ATC-времена экстента являются идентичными для смежных блоков данных, как на фиг.20C и 20D, скорость, с которой данные, которые должны быть декодированы, предоставляются в декодер системных целевых объектов, может легко поддерживаться одинаковой со скоростью обработки посредством декодера. Другими словами, декодер системных целевых объектов упрощает синхронизацию между обработкой декодирования блоков данных для воспроизведения базового вида и обработкой декодирования блоков данных для воспроизведения зависимого вида, в частности, при воспроизведении с прерываниями.

Значимость размещения блоков данных меньшего объема данных первыми

При считывании блока данных, расположенного в начале или в позиции начала воспроизведения каждого блока экстентов, устройство 102 воспроизведения в режиме трехмерного воспроизведения сначала считывает весь блок данных в буфер считывания. Блок данных не передается в декодер системных целевых объектов в течение того периода. После окончания считывания блока данных устройство 102 воспроизведения передает блок данных в декодер системных целевых объектов параллельно со следующим блоком данных. Эта обработка называется "предварительной загрузкой".

Техническая значимость предварительной загрузки является следующей. Во-первых, в L/R-режиме блоки данных для воспроизведения базового вида необходимы для декодирования блоков данных для воспроизведения зависимого вида. Следовательно, чтобы поддерживать минимально необходимую емкость буфера для сохранения декодированных данных до обработки вывода, предпочтительно одновременно предоставлять блоки данных в декодер системных целевых объектов, которые должны быть декодированы. С другой стороны, в режиме глубины требуется обработка для того, чтобы формировать пару видеоплоскостей, представляющую параллактические изображения, из пары декодированного изображения для воспроизведения базового вида и декодированной карты глубины. Соответственно, чтобы поддерживать минимально необходимую емкость буфера для сохранения декодированных данных до этой обработки, предпочтительно предоставлять в декодер системных целевых объектов блоки данных для воспроизведения базового вида одновременно с блоками данных карты глубины, которые должны быть декодированы. Следовательно, предварительная загрузка приводит к считыванию заранее всего блока данных в начале блока экстентов или в позиции начала воспроизведения в буфер считывания. Это предоставляет возможность одновременной передачи блока данных и следующего блока данных из буфера считывания в декодер системных целевых объектов и декодирования. Кроме того, последующие пары блоков данных также могут быть одновременно декодированы посредством декодера системных целевых объектов.

При предварительной загрузке весь блок данных, который считывается первым, сохраняется в буфере считывания. Соответственно, буфер считывания требует, по меньшей мере, емкости, равной размеру блока данных. Чтобы поддерживать минимальной емкость буфера считывания, размер блока данных, который должен быть предварительно загружен, должен быть как можно меньше. Между тем, для воспроизведения с прерываниями и т.д. любая пара блоков данных может выбираться в качестве позиции начала воспроизведения. По этой причине, блок данных, имеющий наименьший объем данных, размещается первым в каждой паре блоков данных. Это предоставляет возможность поддержания минимальной емкости буфера считывания.

Перекрестное связывание файлов AV-потока с блоками данных

Для группы блоков данных, показанной на фиг.19, файлы AV-потока перекрестно связываются следующим образом. Запись 1940 файла в первом файле SS (01000.ssif) 244A рассматривает каждый блок 1901-1903 экстентов как один экстент, указывая размер каждого и LBN их начала. Соответственно, к блокам 1901-1903 экстентов может осуществляться доступ как к экстентам EXTSS[0], EXTSS[1] и EXTSS[2] первого файла SS 244A. В дальнейшем в этом документе экстенты EXTSS[0], EXTSS[1] и EXTSS[2], принадлежащие первому файлу SS 244A, называются "экстентами SS". Каждый из экстентов SS EXTSS[0], EXTSS[1] и EXTSS[2] совместно использует блоки B[n] данных для воспроизведения базового вида с файлом 2D 241 и совместно использует блоки D[n] данных для воспроизведения зависимого вида с файлом DEP 242.

Путь воспроизведения для группы блоков экстентов

Фиг.21 является схематичным представлением, показывающим путь 2101 воспроизведения в режиме двумерного воспроизведения для группы 1901-1903 блоков экстентов. Устройство 102 воспроизведения в режиме двумерного воспроизведения воспроизводит файл 2D 241. Соответственно, как указано посредством пути 2101 воспроизведения в режиме двумерного воспроизведения, блоки B[n] данных для воспроизведения базового вида (n=0, 1, 2, …) считываются по порядку из блоков 1901-1903 экстентов как двумерные экстенты EXT2D[0], EXT2D[1] и EXT2D[2]. В частности, сначала, первый блок B[0] данных для воспроизведения базового вида считывается с первого блока 1901 экстентов, затем считывание непосредственно последующего блока D[0] данных для воспроизведения зависимого вида пропускается посредством первого перехода J_2D1. Затем второй блок B[1] данных для воспроизведения базового вида считывается, и после этого считывание непосредственно последующих данных NAV и блока D[1] данных для воспроизведения зависимого вида пропускается посредством второго перехода J_NAV. Затем считывание блоков данных для воспроизведения базового вида и переходы повторяются аналогично во втором и последующих блоках 1902 и 1903 экстентов.

Переход J_LY, осуществляемый между вторым блоком 1902 экстентов и третьим блоком 1903 экстентов, является длинным переходом через межслойную границу LB. "Длинный переход" является собирательным термином для переходов с длительным временем поиска дорожек и конкретно упоминается как расстояние перехода, которое превышает предварительно определенное пороговое значение. "Расстояние перехода" означает длину области на BD-ROM-диске 101, считывание которой пропускается в течение периода перехода. Расстояние перехода обычно выражается как число секторов соответствующей секции. Пороговое значение, используемое для того, чтобы задавать длинный переход, указывается, например, как 40000 секторов в стандарте BD-ROM. Это пороговое значение, тем не менее, зависит от типа BD-ROM-диска и характеристик обработки считывания BD-ROM-накопителя. Длинные переходы, в частности, включают в себя переходы к фокусу и переходы к дорожке. "Переход к фокусу" - это переход, вызываемый посредством переключения слоев для записи, и он включает в себя обработку, чтобы изменять расстояние фокуса оптической головки воспроизведения. "Переход к дорожке" включает в себя обработку, чтобы перемещать оптическую головку воспроизведения в радиальном направлении вдоль BD-ROM-диска 101.

Фиг.21 является схематичным представлением, показывающим путь 2102 воспроизведения в L/R-режиме для группы 1901-1903 блоков экстентов. Устройство 102 воспроизведения в L/R-режиме воспроизводит первый файл SS 244A. Соответственно, как указано посредством пути 2102 воспроизведения в L/R-режиме, блоки 1901-1903 экстентов считываются по порядку как экстенты SS EXTSS[0], EXTSS[1] и EXTSS[2]. В частности, блоки D[0], B[0], D[1] и B[1] данных сначала последовательно считываются с первого блока 1901 экстентов, затем считывание непосредственно последующих данных NAV пропускается посредством первого перехода J_NAV. Затем блоки D[2], …, B[3] данных последовательно считываются из второго блока 1902 экстентов. Непосредственно после этого длинный переход J_LY осуществляется одновременно с переключением слоя для записи, и затем блоки D[4], B[4], … данных последовательно считываются из третьего блока 1903 экстентов.

При считывании блоков 1901-1903 экстентов как экстентов первого файла SS 244A, устройство 102 воспроизведения считывает первый LBN экстентов SS EXTSS[0], EXTSS[1], … и их размер из записи 1940 файла в первом файле SS 244A и затем выводит LBN и размеры в BD-ROM-накопитель 121. BD-ROM-накопитель 121 непрерывно считывает данные, имеющие входной размер, из входного LBN. При такой обработке управление BD-ROM-накопителем 121 проще, чем при обработке, чтобы считывать группы блоков данных как экстенты в первом файле DEP 242 и файле 2D 241, по следующим причинам (A) и (B): (A) устройство 102 воспроизведения может обращаться по порядку к экстентам с использованием записи файла в одном местоположении, и (B) поскольку общее число экстентов, которые должны считываться, сокращается практически наполовину, общее число пар LBN и размер, который должен выводиться в BD-ROM-накопитель 121, сокращается наполовину. Тем не менее, после того, как устройство 102 воспроизведения считывает трехмерные экстенты EXTSS[0], EXTSS[1], …, оно должно разделять каждый из них на блок данных для просмотра правым глазом и блок данных для воспроизведения базового вида и выводить их в декодер. Файл информации о клипах используется для этой обработки разделения. Подробности предоставляются ниже.

Как показано на фиг.19, при фактическом считывании блоков 1901-1903 экстентов, BD-ROM-накопитель 121 выполняет переход J₀ через нуль секторов во время с начала блока данных до начала следующего блока данных. "Переход через нуль секторов" - это перемещение оптической головки воспроизведения между двумя последовательными блоками данных. В течение периода, в котором выполняется переход через нуль секторов (в дальнейшем называемым "периодом перехода через нуль секторов"), оптическая головка воспроизведения временно приостанавливает свою операцию считывания и ожидает. В этом смысле переход через нуль секторов считается "переходом, в котором расстояние перехода равно 0 секторам". Длина периода перехода через нуль секторов, т.е. период времени перехода через нуль секторов, может включать в себя, в дополнение ко времени для сдвига позиции оптической головки воспроизведения через вращение BD-ROM-диска 101, дополнительные затраты, вызываемые посредством обработки коррекции ошибок. "Дополнительные затраты, вызываемые посредством обработки коррекции ошибок" означает избыточное время, вызываемое посредством выполнения обработки коррекции ошибок два раза с использованием ECC-блока, когда граница между ECC-блоками не совпадает с границей между двумя блоками данных. Целый ECC-блок необходим для обработки коррекции ошибок. Соответственно, когда два последовательных блока данных совместно используют один ECC-блок, весь ECC-блок считывается и используется для обработки коррекции ошибок в ходе считывания любого блока данных. Как результат, каждый раз, когда один из этих блоков данных считывается, максимум 32 сектора избыточных данных дополнительно считывается. Дополнительные затраты, вызываемые посредством обработки коррекции ошибок, оцениваются как полное время для считывания избыточных данных, т.е. 32 сектора × 2048 байтов × 8 битов/байтов × 2 экземпляра/скорость считывания. Следует отметить, что посредством конфигурирования каждого блока данных в единицах ECC-блоков дополнительные затраты, вызываемые посредством обработки коррекции ошибок, могут исключаться из времени перехода через нуль секторов.

Файл информации о клипах

Фиг.22 является схематичным представлением, показывающим структуру данных первого файла информации о клипах (01000.clpi), т.е. файла 231 информации о двумерных клипах. Файл 232 информации о клипах для воспроизведения зависимого вида (02000.clpi) и файл 233 информации о клипах (03000.clpi), соответствующие потоку текстовых субтитров, имеют идентичную структуру данных. Далее сначала описывается структура данных, общая для всех файлов информации о клипах, с использованием структуры данных файла 231 информации о двумерных клипах в качестве примера. Впоследствии различия в структуре данных между файлом информации о двумерных клипах и файлом информации о клипах для воспроизведения зависимого вида описываются.

Как показано на фиг.22, файл 231 информации о двумерных клипах включает в себя информацию 2210 о клипах, информацию 2220 атрибутов потока, карту 2230 вхождений и трехмерные метаданные 2240. Трехмерные метаданные 2240 включают в себя начальные точки 2242 экстентов.

Информация 2210 о клипах включает в себя системную скорость 2211, время 2212 начала воспроизведения и время 2213 окончания воспроизведения. Системная скорость 2211 указывает системную скорость для файла 2D (01000.m2ts) 241. Устройство 102 воспроизведения в режиме двумерного воспроизведения передает TS-пакеты, принадлежащие файлу 2D 241, из буфера считывания в декодер системных целевых объектов. "Системная скорость" упоминается как верхний предел скорости передачи. Интервал между ATS исходных пакетов в файле 2D 241 задается так, что скорость передачи ограничена системной скоростью или меньшей скоростью. Время 2212 начала воспроизведения указывает PTS VAU, расположенной в начале файла 2D 241, к примеру, PTS первого видеокадра. Время 2212 окончания воспроизведения указывает то, что значение STC задержано на предварительно определенное время от PTS VAU, расположенной в конце файла 2D 241, к примеру, сумма PTS последнего видеокадра и времени воспроизведения одного кадра.

Информация 2220 атрибутов потока является таблицей соответствия между PID 2221 для каждого элементарного потока, включенного в файл 2D 241, и фрагментами информации 2222 атрибутов. Каждый фрагмент информации 2222 атрибутов является различным для видеопотока, аудиопотока, PG-потока, потока текстовых субтитров и IG-потока. Например, информация атрибутов, соответствующая PID 0x1011 для потока первичного видео, включает в себя тип кодека, используемый для сжатия видеопотока, а также разрешение, соотношение сторон и частоту кадров для каждого изображения, составляющего видеопоток. С другой стороны, информация атрибутов, соответствующая PID 0x1100 для потока первичного аудио, включает в себя тип кодека, используемый для сжатия аудиопотока, число каналов, включенное в аудиопоток, язык и частоту дискретизации. Устройство 102 воспроизведения использует эту информацию 2222 атрибутов, чтобы инициализировать декодер.

Карта вхождений

Фиг.23A является схематичным представлением, показывающим структуру данных карты 2230 вхождений. Как показано на фиг.23A, карта 2230 вхождений включает в себя таблицы 2300. Предусмотрено такое же число таблиц 2300, сколько предусмотрено видеопотоков, мультиплексированных в основном TS, и таблицы назначаются одна за другой каждому видеопотоку. На фиг.23A каждая таблица 2300 отличается посредством PID видеопотока, которому она назначается. Каждая таблица 2300 включает в себя заголовок 2301 карты вхождений и точку 2302 входа. Заголовок 2301 карты вхождений включает в себя PID, соответствующий таблице 2300, и общее число точек 2302 входа, включенных в таблицу 2300. Точка 2302 входа ассоциирует каждую пару из PTS 2303 и номера 2304 исходного пакета (SPN) с идентификатором 2305 одной из отдельно отличающихся точек входа (EP_ID). PTS 2303 является эквивалентной PTS для одного из I-изображений, включенных в видеопоток для PID, указанного посредством заголовка 2301 карты вхождений. SPN 2304 является эквивалентным SPN для начала группы исходных пакетов, сохраненной в соответствующем I-изображении. "SPN" означает порядковый номер, назначенный последовательно с начала группе исходных пакетов, принадлежащей одному файлу AV-потока. SPN используется как адрес для каждого исходного пакета в файле AV-потока. В карте 2230 вхождений в файле 231 информации о двумерных клипах, SPN означает номер, назначенный группе исходных пакетов, принадлежащей файлу 2D 241, т.е. группе исходных пакетов, составляющей основной TS. Соответственно, точка 2302 входа выражает соответствие между PTS и адресом, т.е. SPN, каждого I-изображения, включенного в файл 2D 241.

Точка 2302 входа не должна задаваться для всех I-изображений в файле 2D 241. Тем не менее, когда I-изображение находится в начале GOP, и TS-пакет, который включает в себя начало этого I-изображения, находится в начале двумерного экстента, точка 2302 входа должна задаваться для этого I-изображения.

Фиг.23B является схематичным представлением, показывающим исходные пакеты в группе 2310 исходных пакетов, принадлежащей файлу 2D 241, которые ассоциированы с каждым EP_ID 2305 посредством карты 2230 вхождений. Фиг.23C является схематичным представлением, показывающим группу D[n], B[n] блоков данных (n=0, 1, 2, 3, …) на BD-ROM-диске 101, соответствующую группе 2310 исходных пакетов. Когда устройство 102 воспроизведения воспроизводит двумерные видеоизображения из файла 2D 241, оно обращается к карте 2230 вхождений, чтобы указывать SPN для исходного пакета, который включает в себя кадр, представляющий случайную сцену, из PTS для этого кадра. В частности, когда, например, PTS=360000 указывается в качестве PTS для конкретной точки входа для позиции начала воспроизведения, устройство 102 воспроизведения сначала извлекает SPN=3200, выделенный этой PTS в карте 2230 вхождений. Затем устройство 102 воспроизведения находит частное SPN×192/2048, т.е. значение SPN, умноженное на 192 байта, объем данных в расчете на исходный пакет, и разделенное на 2048 байтов, объем данных в расчете на сектор. Как можно понять из фиг.5B и 5C, это значение является идентичным общему числу секторов, записанных в основной TS до исходного пакета, которому назначается SPN. В примере, показанном на фиг.23B, это значение равно 3200×192/2048=300 и равно общему числу секторов, в которые группы исходных пакетов 2311 записываются, от SPN 0 до 3199. Затем устройство 102 воспроизведения обращается к записи файла в файле 2D 241 и указывает LBN (общее число+1)-вого сектора при подсчете с начала для групп секторов, в которые записываются группы двумерных экстентов. В примере, показанном на фиг.23C, в рамках групп секторов, в которые записаны блоки B[0], B[1], …,B[2], … данных для воспроизведения базового вида, к которым может осуществляться доступ как к двумерным экстентам EXT2D[0], EXT2D[1], EXT2D[2], LBN 301-ого сектора при подсчете с начала указывается. Устройство 102 воспроизведения указывает этот LBN в BD-ROM-накопитель 121. Таким образом, группы блоков данных для воспроизведения базового вида считываются как совмещенные единицы по порядку из сектора для этого LBN. Кроме того, из первой совмещенной единицы, которая считывается, устройство 102 воспроизведения выбирает исходный пакет, указанный посредством точки входа для позиции начала воспроизведения, и декодирует I-изображение. Далее последующие изображения декодируются по порядку со ссылкой на уже декодированные изображения. Таким образом, устройство 102 воспроизведения может воспроизводить двумерные видеоизображения из файла 2D 241 от указанного PTS вперед.

Кроме того, карта 2230 вхождений является полезной для эффективной обработки во время быстрого воспроизведения мультимедиа, к примеру, ускоренной перемотки вперед, назад и т.д. Например, устройство 102 воспроизведения в режиме двумерного воспроизведения сначала обращается к карте 2230 вхождений, чтобы считывать SPN с началом в позиции начала воспроизведения, к примеру, считывать SPN=3200, 4800, … по порядку от точек входа EP_ID=2, 3, …, которые включают в себя PTS с началом в PTS=360000. Затем устройство 102 воспроизведения обращается к записи файла в файле 2D 241, чтобы указывать LBN секторов, соответствующих каждому SPN. Устройство 102 воспроизведения затем указывает каждый LBN в BD-ROM-накопитель 121. Совмещенные единицы тем самым считываются из сектора для каждого LBN. Кроме того, из каждой совмещенной единицы устройство 102 воспроизведения выбирает исходный пакет, указанный посредством каждой точки входа, и затем извлекает и декодирует I-изображение. Устройство 102 воспроизведения тем самым может избирательно воспроизводить I-изображение из файла 2D 241 без анализа самой группы двумерных экстентов EXT2D[n].

Начальная точка экстента

Фиг.24A является схематичным представлением, показывающим структуру данных начальных точек 2242 экстентов. Как показано на фиг.24A, "начальная точка экстента" 2242 включает в себя идентификаторы 2411 экстента для воспроизведения базового вида (EXT1_ID) и SPN 2412. EXT1_ID 2411 являются порядковыми номерами, назначенными последовательно с начала блокам данных для воспроизведения базового вида, принадлежащим первому файлу SS (01000.ssif) 244A. Один SPN 2412 назначается каждому EXT1_ID 2411 и является идентичным SPN для исходного пакета, расположенного в начале блока данных для воспроизведения базового вида, идентифицированного посредством EXT1_ID 2411. Этот SPN является порядковым номером, назначенным с начала исходным пакетам, включенным в группу блоков данных для воспроизведения базового вида, принадлежащую первому файлу SS 244A.

В блоках 1901-1903 экстентов, показанных на фиг.19, файл 2D 241 и первый файл SS 244A совместно используют блоки B[0], B[1], B[2], … данных для воспроизведения базового вида совместно. Тем не менее, группы блоков данных, размещенные в местоположениях, требующих длинного перехода, к примеру, на границах между слоями для записи, в общем, включают в себя блоки данных для воспроизведения базового вида, принадлежащие только одному из файла 2D 241 или первого файла SS 244A (подробности см. в разделе "дополнительное пояснение"). Соответственно, SPN 2412, который указывает начальную точку 2242 экстента, в общем, отличается от SPN для исходного пакета, расположенного в начале двумерного экстента, принадлежащего файлу 2D 241.

Фиг.24B является схематичным представлением, показывающим структуру данных начальных точек 2420 экстентов, включенных во второй файл информации о клипах (02000.clpi), т.е. файл 232 информации о клипах для воспроизведения зависимого вида. Как показано на фиг.24B, начальная точка 2420 экстента включает в себя идентификаторы 2421 экстентов для воспроизведения зависимого вида (EXT2_ID) и SPN 2422. EXT2_ID 2421 являются порядковыми номерами, назначенными с начала блокам данных для воспроизведения зависимого вида, принадлежащим первому файлу SS 244A. Один SPN 2422 назначается каждому EXT2_ID 2421 и является идентичным SPN для исходного пакета, расположенного в начале блока данных для воспроизведения зависимого вида, идентифицированного посредством EXT2_ID 2421. Этот SPN является порядковым номером, назначенным по порядку с начала исходным пакетам, включенным в группу блоков данных для воспроизведения зависимого вида, принадлежащую первому файлу SS 244A.

Фиг.24D является схематичным представлением, представляющим соответствие между экстентами EXT2[0], EXT2[1], … для воспроизведения зависимого вида, принадлежащими файлу DEP (02000.m2ts) 242, и SPN 2422, показанными посредством начальных точек 2420 экстентов. Как показано на фиг.19, файл DEP 242 и первый файл SS 244A совместно используют блоки данных для воспроизведения зависимого вида совокупно. Соответственно, как показано на фиг.24D, каждый SPN 2422, показанный посредством начальных точек 2420 экстентов, является идентичным SPN для исходного пакета, расположенного в начале каждого экстента EXT2[0], EXT2[1] для воспроизведения зависимого вида.

Как описано ниже, начальная точка 2242 экстента в файле 231 информации о двумерных клипах и начальная точка 2220 экстента в файле 232 информации о клипах для воспроизведения зависимого вида используются для того, чтобы обнаруживать границу блоков данных, включенных в каждый экстент SS в ходе воспроизведения трехмерных видеоизображений из первого файла SS 244A.

Фиг.24E является схематичным представлением, показывающим пример соответствия между экстентом SS EXTSS[0], принадлежащим первому файлу SS 244A, и блоком экстентов на BD-ROM-диске 101. Как показано на фиг.24E, блок экстентов включает в себя группы D[n] и B[n] блоков данных (n=0, 1, 2, …) в перемеженной компоновке. Следует отметить, что последующее описание также является применимым для других компоновок. К блоку экстентов может осуществляться доступ как к одному экстенту SS EXTSS[0]. Кроме того, в экстенте SS EXTSS[0], число исходных пакетов, включенных в n-ный блок B[n] данных для воспроизведения базового вида, в начальной точке 2242 экстента равно разности A(n+1)-An между SPN, соответствующими EXT1_ID=n+1 и n. В этом случае A0=0. С другой стороны, число исходных пакетов, включенных в блок D[n+1] данных для воспроизведения зависимого вида, в начальной точке экстента 2420 равно разности B(n+1)-Bn между SPN, соответствующими EXT2_ID=n+1 и n. В этом случае B0=0.

Когда устройство 102 воспроизведения в режиме трехмерного воспроизведения воспроизводит трехмерные видеоизображения из первого файла SS 244A, устройство 102 воспроизведения обращается к картам вхождений и начальным точкам 2242 и 2420 экстентов, соответственно, обнаруженным в файлах 231 и 232 информации о клипах. При выполнении этого устройство 102 воспроизведения указывает из PTS для кадра, представляющего вид для просмотра правым глазом случайной сцены, LBN для сектора, в котором записывается блок данных для воспроизведения зависимого вида, который включает в себя кадр. В частности, устройство 102 воспроизведения, например, сначала извлекает SPN, ассоциированный с PTS, из карты вхождений в файле 232 информации о клипах для воспроизведения зависимого вида. Допускается, что исходный пакет, указанный посредством SPN, включается в третий экстент EXT2[2] для воспроизведения зависимого вида в первом файле DEP 242, т.е. в блок D[2] данных для воспроизведения зависимого вида. Затем устройство 102 воспроизведения извлекает "B2", наибольший SPN перед целевым SPN, из SPN 2422, показанных посредством начальных точек 2420 экстентов в файле 232 информации о клипах для воспроизведения зависимого вида. Устройство 102 воспроизведения также извлекает соответствующий EXT2_ID "2". Затем устройство 102 воспроизведения извлекает значение "A2" для SPN 2412, соответствующего EXT1_ID, который является идентичным EXT2_ID "2", из начальных точек 2242 экстентов в файле 231 информации о двумерных клипах. Устройство 102 воспроизведения дополнительно находит сумму B2+A2 извлеченных SPN. Как можно видеть из фиг.24E, эта сумма B2+A2 является идентичной общему числу исходных пакетов, включенных в блоки данных, расположенные перед третьим блоком D[2] данных для воспроизведения зависимого вида, из блоков данных, включенных в экстент SS EXTSS[0]. Соответственно, эта сумма B2+A2, умноженная на 192 байта, объем данных в расчете на исходный пакет, и деленная на 2048 байтов, объем данных в расчете на сектор, т.е. (B2+A2)×192/2048, является идентичной числу секторов с начала экстента SS EXTSS[0] до элемента непосредственно перед третьим блоком D[2] данных для воспроизведения зависимого вида. С использованием этого частного, LBN для сектора, в котором записывается начало блока D[2] данных для воспроизведения зависимого вида, может указываться посредством обращения к записи файла для первого файла SS 244A.

После указания LBN через вышеописанную процедуру устройство 102 воспроизведения указывает LBN в BD-ROM-накопитель 121. Таким образом, часть экстента SS EXTSS[0], записанная с начала сектора для этого LBN, т.е. группа D[2], B[2], D[3], B[3], … блоков данных с началом в третьем блоке D[2] данных для воспроизведения зависимого вида, считывается как совмещенные единицы.

Устройство 102 воспроизведения дополнительно обращается к начальным точкам 2242 и 2420 экстентов, чтобы извлекать блоки данных для воспроизведения зависимого вида и блоки данных для воспроизведения базового вида поочередно из считанных экстентов SS. Например, допустим, что группа D[n], B[n] блоков данных (n=0, 1, 2, …) считывается по порядку из экстента SS EXTSS[0], показанного на фиг.24E. Устройство 102 воспроизведения сначала извлекает B1 исходных пакетов с начала экстента SS EXTSS[0] как блок D[0] данных для воспроизведения зависимого вида. Затем устройство 102 воспроизведения извлекает B1-вый исходный пакет и последующие (A1-1) исходных пакетов, всего A1 исходных пакетов, как первый блок B[0] данных для воспроизведения базового вида. Устройство 102 воспроизведения затем извлекает (B1+A1)-вый исходный пакет и последующие (B2-B1-1) исходных пакетов, всего (B2-B1) исходных пакетов, как второй блок D[1] данных для воспроизведения зависимого вида. Устройство 102 воспроизведения дополнительно извлекает (A1+B2)-вый исходный пакет и последующие (A2-A1-1) исходных пакетов, всего (A2-A1) исходных пакетов, как второй блок B[1] данных для воспроизведения базового вида. После этого устройство 102 воспроизведения тем самым продолжает обнаруживать границу между блоками данных в экстенте SS на основе числа считанных исходных пакетов, тем самым поочередно извлекая блоки данных для воспроизведения зависимого вида и для воспроизведения базового вида. Извлеченные блоки данных для воспроизведения базового вида и для воспроизведения зависимого вида передаются в декодер системных целевых объектов, чтобы декодироваться параллельно.

Таким образом, устройство 102 воспроизведения в режиме трехмерного воспроизведения может воспроизводить трехмерные видеоизображения из первого файла SS 244A с началом в конкретной PTS. Как результат, устройство 102 воспроизведения может фактически извлекать выгоду из вышеописанных преимуществ (A) и (B), касающихся управления BD-ROM-накопителем 121.

Файл base

Фиг.24C является схематичным представлением, представляющим блоки B[0], B[1], B[2], … данных для воспроизведения базового вида, извлеченные из первого файла SS 244A посредством устройства 102 воспроизведения в режиме трехмерного воспроизведения. Как показано на фиг.24C, при выделении SPN по порядку с начала группе исходных пакетов, включенной в блок B[n] данных для воспроизведения базового вида (n=0, 1, 2, …), SPN исходного пакета, расположенного в начале блока B[n] данных, равен SPN 2412, указывающему начальную точку 2242 экстента. Группа блоков данных для воспроизведения базового вида, извлеченная из одного файла SS посредством обращения к начальным точкам экстентов, аналогично группе B[n] блоков данных для воспроизведения базового вида, упоминается как "файл base". Кроме того, блоки данных для воспроизведения базового вида, включенные в файл base, называются "экстентами для воспроизведения базового вида". Как показано на фиг.24E, к каждому экстенту EXT1[0], EXT1[1], … для воспроизведения базового вида обращается начальная точка 2242 или 2420 экстента в файле информации о клипах.

Экстент EXT1[n] для воспроизведения базового вида совместно использует один блок B[n] данных для воспроизведения базового вида с двумерным экстентом EXT2D[n]. Соответственно, файл base включает в себя основной TS, идентичный основному TS файла 2D. В отличие от двумерного экстента EXT2D[n], тем не менее, к экстенту EXT1[n] для воспроизведения базового вида не обращается ни одна запись файла. Как описано выше, экстент EXT1[n] для воспроизведения базового вида извлекается из экстента SS EXTSS[·] в файле SS с использованием начальной точки экстента в файле информации о клипах. Файл base тем самым отличается от традиционного файла вследствие невключения записи файла и вследствие необходимости начальной точки экстента в качестве опорного уровня для экстента для воспроизведения базового вида. В этом смысле файл base является "виртуальным файлом". В частности, файл base не распознается посредством файловой системы и не отображается в структуре каталогов/файлов, показанной на фиг.2.

Фиг.23 является схематичным представлением, показывающим соответствие между одним блоком 2300 экстентов, записанным на BD-ROM-диске 101, и каждой из групп блоков экстентов в файле 2D 2310, файле base 2311, файле DEP 2312 и файле SS 2320. Как показано на фиг.23, блок 2300 экстентов включает в себя блоки D[n] данных для воспроизведения зависимого вида и блоки B[n] данных для воспроизведения базового вида (n=…, 0, 1, 2, 3, …). Блок B[n] данных для воспроизведения базового вида принадлежит файлу 2D 2310 как двумерный экстент EXT2D[n]. Блок D[n] данных для воспроизведения зависимого вида принадлежит файлу DEP 2312 как экстент EXT2[n] для воспроизведения зависимого вида. Весь блок 2300 экстентов принадлежит файлу SS 2320 как один экстент SS EXTSS[0]. Соответственно, экстент SS EXTSS[0] совместно использует блок B[n] данных для воспроизведения базового вида с двумерным экстентом EXT2D[n] и совместно использует блок D[n] данных для воспроизведения зависимого вида с экстентом EXT2[n] для воспроизведения зависимого вида. После считывания в устройство 102 воспроизведения, экстент SS EXTSS[0] разделяется на блок D[n] данных для воспроизведения зависимого вида и блок B[n] данных для воспроизведения базового вида. Эти блоки B[n] данных для воспроизведения базового вида принадлежат файлу base 2311 как экстенты EXT1[n] для воспроизведения базового вида. Граница в экстенте SS EXTSS[0] между экстентом EXT1[n] для воспроизведения базового вида и экстентом EXT2[n] для воспроизведения зависимого вида указывается с использованием начальной точки экстента в файле информации о клипах, соответствующем каждому из файла 2D 2310 и файла DEP 2312.

Файл информации о клипах для воспроизведения зависимого вида

Файл информации о клипах для воспроизведения зависимого вида имеет структуру данных, идентичную структуре данных файла информации о двумерных клипах, показанного на фиг.22-24. Соответственно, последующее описание охватывает различия между файлом информации о клипах для воспроизведения зависимого вида и файлом информации о двумерных клипах. Подробности относительно общих черт могут быть обнаружены в вышеприведенном описании.

Файл информации о клипах для воспроизведения зависимого вида отличается от файла информации о двумерных клипах главным образом в следующих двух аспектах: (i) условия задаются для информации атрибутов потока и (ii) условия задаются для точек входа.

(i) Когда видеопоток для воспроизведения базового вида и видеопоток для воспроизведения зависимого вида должны использоваться для воспроизведения трехмерных видеоизображений посредством устройства 102 воспроизведения в L/R-режиме, как показано на фиг.7, видеопоток для воспроизведения зависимого вида сжимается с использованием видеопотока для воспроизведения базового вида. Здесь атрибуты видеопотока для видеопотока для воспроизведения зависимого вида становятся эквивалентными видеопотоку для воспроизведения базового вида. Информация атрибутов видеопотока для видеопотока для воспроизведения базового вида ассоциирована с PID=0x1011 в информации 2220 атрибутов потока в файле информации о двумерных клипах. С другой стороны, информация атрибутов видеопотока для видеопотока для воспроизведения зависимого вида ассоциирована с PID=0x1012 или 0x1013 в информации атрибутов потока в файле информации о клипах для воспроизведения зависимого вида. Соответственно, элементы, показанные на фиг.22, т.е. кодек, разрешение, соотношение сторон и частота кадров, должны совпадать между двумя фрагментами информации атрибутов видеопотока. Если тип кодека совпадает, то опорная взаимосвязь между изображениями в видеопотоке для воспроизведения базового вида и в видеопотоке для воспроизведения зависимого вида устанавливается во время кодирования, и тем самым каждое изображение может быть декодировано. Если разрешение, соотношение сторон и частота кадров совпадают, то экранное отображение левого и правого видео может синхронизироваться. Следовательно, эти видео могут показываться как трехмерные видеоизображения без возникновения чувства некомфортности у зрителей.

(ii) Карта вхождений в файле информации о клипах для воспроизведения зависимого вида включает в себя таблицу, выделенную видеопотоку для воспроизведения зависимого вида. Аналогично таблице 2300, показанной на фиг.23A, эта таблица включает в себя заголовок карты вхождений и точки входа. Заголовок карты вхождений указывает PID для видеопотока для воспроизведения зависимого вида, выделенного таблице, т.е. либо 0x1012, либо 0x1013. В каждой точке входа пара из PTS и SPN ассоциирована с одним EP_ID. PTS для каждой точки входа является идентичной PTS для первого изображения в одной из GOP, включенных в видеопоток для воспроизведения зависимого вида. SPN для каждой точки входа является идентичным первому SPN группы исходных пакетов, сохраненной в изображении, указанном посредством PTS, принадлежащей идентичной точке входа. Этот SPN означает порядковый номер, назначенный последовательно с начала группе исходных пакетов, принадлежащей файлу DEP, т.е. группе исходных пакетов, составляющей суб-TS. PTS для каждой точки входа должна совпадать с PTS, в рамках карты вхождений в файле информации о двумерных клипах, для точки входа в таблице, выделенной видеопотоку для воспроизведения базового вида. Другими словами, каждый раз, когда точка входа задается как начало группы исходных пакетов, которая включает в себя одно из набора изображений, включенных в идентичную трехмерную VAU, точка входа всегда должна задаваться как начало группы исходных пакетов, которая включает в себя другое изображение.

Фиг.26 является схематичным представлением, показывающим пример точек входа, заданных в видеопотоке 2610 для воспроизведения базового вида и в видеопотоке 2620 для воспроизведения зависимого вида. В двух видеопотоках 2610 и 2620, GOP, которые имеют идентичный номер с начала, представляют видео в течение идентичного периода воспроизведения. Как показано на фиг.26, в видеопотоке 2610 для воспроизведения базового вида, точки 2601B, 2603B и 2605B входа задаются как начало GOP с нечетным номером при подсчете с начала, т.е. GOP #1, GOP #3 и GOP #5. Соответственно, в видеопотоке 2620 для воспроизведения зависимого вида, также, точки 2601D, 2603D и 2605D входа задаются как начало GOP с нечетным номером при подсчете с начала, т.е. GOP #1, GOP #3 и GOP #5. В этом случае, когда устройство 102 воспроизведения начинает воспроизведение трехмерных видеоизображений с GOP #3, например, оно может сразу вычислять адрес позиции начала воспроизведения в файле SS, из SPN соответствующих точек 2603B и 2603D входа. В частности, когда обе точки 2603B и 2603D входа задаются как начало блока данных, то, как можно понять из фиг.24E, сумма SPN точек 2603B и 2603D входа равна SPN позиции начала воспроизведения в рамках файла SS. Как описано со ссылкой на фиг.33E, из этого числа исходных пакетов можно вычислять LBN сектора, в который записывается часть файла SS для позиции начала воспроизведения. Таким образом, даже во время воспроизведения трехмерных видеоизображений можно повышать скорость реакции для обработки, которая требует произвольного доступа к видеопотоку, такой как воспроизведение с прерываниями и т.п.

Файл списков для двумерного воспроизведения

Фиг.27 является схематичным представлением, показывающим структуру данных файла списков для двумерного воспроизведения.

Первый файл 221 списков воспроизведения (00001.mpls), показанный на фиг.2, имеет эту структуру данных. Как показано на фиг.27, файл 221 списков для двумерного воспроизведения включает в себя основной путь 2701 и два подпути 2702 и 2703. Основной путь 2701 является последовательностью фрагментов информации элемента воспроизведения (PI), которая задает основной путь воспроизведения для файла 2D 241, т.е. секцию для воспроизведения и порядок воспроизведения секции. Каждый PI идентифицируется с помощью уникального идентификатора элемента воспроизведения ID #N (N=1, 2, 3, …). Каждый PI #N задает различную секцию воспроизведения вдоль основного пути воспроизведения с помощью пары из PTS. Одна из PTS в паре представляет начальное время (входное время) секции воспроизведения, и другая представляет конечное время (выходное время). Кроме того, порядок PI в основном пути 2701 представляет порядок соответствующих секций воспроизведения в пути воспроизведения.

Каждый из подпутей 2702 и 2703 является последовательностью фрагментов информации субэлемента воспроизведения (SUB_PI), которая задает путь воспроизведения, который может ассоциироваться параллельно с основным путем воспроизведения для файла 2D 241. Такой путь воспроизведения является секцией файла 2D 241, отличающейся от представленной посредством основного пути 2701, или является секцией потоковых данных, мультиплексированных в другом файле 2D, наряду с соответствующим порядком воспроизведения. Путь воспроизведения также может указывать потоковые данные, мультиплексированные в файле 2D, отличном от файла 2D 241, в качестве секции для воспроизведения, наряду с соответствующим порядком воспроизведения. Потоковые данные, указанные посредством пути воспроизведения, представляют другие двумерные видеоизображения, которые должны воспроизводиться одновременно с двумерными видеоизображениями, воспроизводимыми из файла 2D 241 в соответствии с основным путем 2701. Эти другие двумерные видеоизображения включают в себя, например, субвидео в формате "картинка-в-картинке", окно обозревателя, всплывающее меню или субтитры. В частности, путь воспроизведения для файла текстовых субтитров задается посредством подпути. Порядковые номера "0" и "1" назначаются подпутям 2702 и 2703 в порядке регистрации в файле 221 списков для двумерного воспроизведения. Эти порядковые номера используются в качестве идентификаторов подпутей, чтобы идентифицировать подпути 2702 и 2703. В подпутях 2702 и 2703, каждый SUB_PI идентифицируется посредством уникального идентификатора субэлемента воспроизведения=#M (M=1, 2, 3, …). Каждый SUB_PI #M задает различную секцию воспроизведения вдоль пути воспроизведения с помощью пары из PTS. Одна из PTS в паре представляет время начала воспроизведения секции воспроизведения, и другая представляет время окончания воспроизведения. Кроме того, порядок SUB_PI в подпутях 2702 и 2703 представляет порядок соответствующих секций воспроизведения в пути воспроизведения.

Фиг.28 является схематичным представлением, показывающим структуру данных PI #N. Как показано на фиг.28, PI #N включает в себя фрагмент ссылочной информации 2801 о клипах, время (In_Time) 2802 начала воспроизведения, время 2803 окончания воспроизведения (Out_Time), условие 2804 соединения и таблицу 2805 выбора потока (в дальнейшем называемую "STN-таблицей" (таблицей номеров потоков)). Ссылочная информация 2801 о клипах является информацией для идентификации файла 231 информации о двумерных клипах. Время 2802 начала воспроизведения и время 2803 окончания воспроизведения, соответственно, указывают PTS для начала и конца секции для воспроизведения файла 2D 241. Условие 2804 соединения указывает условие для соединения видео в секции воспроизведения, указанной посредством времени 2802 начала воспроизведения и времени 2803 окончания воспроизведения, с видео в секции воспроизведения, указанной посредством предыдущего PI #(N-1). STN-таблица 2805 является списком элементарных потоков, которые могут выбираться из файла 2D 241 посредством декодера в устройстве 102 воспроизведения от времени 2802 начала воспроизведения до времени 2803 окончания воспроизведения.

Структура данных SUB_PI является идентичной структуре данных PI, показанной на фиг.28, в том, что она включает в себя ссылочную информацию о клипах, время начала воспроизведения и время окончания воспроизведения. В частности, время начала воспроизведения и время окончания воспроизведения SUB_PI выражаются как значения вдоль временной оси, идентичной оси PI. SUB_PI дополнительно включает в себя поле "условия SP-соединения". Условие SP-соединения имеет смысл, совпадающий с условием соединения PI.

Условие соединения

Условию соединения (в дальнейшем сокращенно как "CC") 2804 может, например, назначаться три типа значений, "1", "5" и "6". Когда CC 2804 равно "1", видео, которое должно воспроизводиться из секции файла 2D 241, указываемой посредством PI #N, не должно плавно соединяться с видео, воспроизводимым из секции файла 2D 241, указываемой посредством непосредственно предыдущего PI #(N-1). С другой стороны, когда CC 2804 указывает "5" или "6", оба видеоизображения должны быть плавно соединены.

Фиг.29A и 29B являются схематичными представлениями, показывающими соответствие между двумя секциями 2901 и 2902 воспроизведения, которые должны соединяться, когда CC 2904 равно "5" или "6". В этом случае PI #(N-1) указывает первую секцию 2901 в файле 2D 241, и PI #N указывает вторую секцию 2902 в файле 2D 241. Как показано на фиг.29A, когда CC 2904 указывает "5", STC этих двух PI, PI #(N-1) и PI #N, могут быть непоследовательными. Таким образом, PTS #1 в конце первой секции 2901 и PTS #2 в начале второй секции 2902 могут быть непоследовательными. Тем не менее, должны удовлетворяться несколько ограничивающих условий. Например, первая секция 2901 и вторая секция 2902 должны создаваться так, что декодер может плавно продолжать декодировать данные, даже когда вторая секция 2902 предоставляется в декодер последовательно после первой секции 2901. Кроме того, последний кадр аудиопотока, содержащегося в первой секции 2901, должен перекрывать первый кадр аудиопотока, содержащегося во второй секции 2902. С другой стороны, как показано на фиг.29B, когда CC 2904 указывает "6", первая секция 2901 и вторая секция 2902 должны иметь возможность обработки как последовательных секций для декодера, чтобы должным образом декодировать. Таким образом, STC и ATC должны быть смежными между первой секцией 2901 и второй секцией 2902. Аналогично, когда условие SP-соединения составляет "5" или "6", STC и ATC должны быть смежными между секциями файла 2D, указанного посредством двух смежных SUB_PI.

STN-таблица

Снова ссылаясь на фиг.28, STN-таблица 2805 является матрицей информации регистрации потоков. "Информация регистрации потоков" - это информация, по отдельности перечисляющая элементарные потоки, которые могут выбираться для воспроизведения из основного TS между временем 2802 начала воспроизведения и временем 2803 окончания воспроизведения. Номер 2806 потока (STN) является порядковым номером, выделенным по отдельности информации регистрации потоков, и используется посредством устройства 102 воспроизведения, чтобы идентифицировать каждый элементарный поток. STN 2806 дополнительно указывает приоритет для выбора из элементарных потоков одного типа. Информация регистрации потоков включает в себя запись 2809 потока и информацию 2810 атрибутов потока. Запись 2809 потока включает в себя информацию 2807 пути потока и идентификационную информацию 2808 потока. Информация 2807 пути потока является информацией, указывающей файл 2D, которому принадлежит выбранный элементарный поток. Например, если информация 2807 пути потока указывает "основной путь", файл 2D соответствует файлу информации о двумерных клипах, указанному посредством ссылочной информации 2801 о клипах. С другой стороны, если информация 2807 пути потока указывает "идентификатор подпути = 1", файл 2D, которому принадлежит выбранный элементарный поток, соответствует файлу информации о двумерных клипах, указанному посредством ссылочной информации о клипах SUB_PI, включенного в подпуть с идентификатором подпути = 1. Время начала воспроизведения и время окончания воспроизведения, указанные посредством этого SUB_PI, включаются в интервал от времени 2802 начала воспроизведения до времени 2803 окончания воспроизведения, указанный посредством PI, включенного в STN-таблицу 2805. Идентификационная информация 2808 потока указывает PID для элементарного потока, мультиплексированного в файле 2D, указанном посредством информации 2807 пути потока. Элементарный поток, указанный посредством этого PID, может выбираться от времени 2802 начала воспроизведения до времени 2803 окончания воспроизведения. Информация 2810 атрибутов потока указывает информацию атрибутов для каждого элементарного потока. Например, информация атрибутов для каждого из аудиопотока, PG-потока, потока текстовых субтитров и IG-потока указывает языковой тип потока. Информация атрибутов потока текстовых субтитров также задает набор шрифтов, который может использоваться для того, чтобы подготавливать посредством рендеринга строку текстовых символов.

Воспроизведение двумерных видеоизображений в соответствии с файлом списков для двумерного воспроизведения

Фиг.30 является схематичным представлением, показывающим соответствие между PTS, указываемыми посредством файла 221 списков для двумерного воспроизведения (00001.mpls), и секциями, воспроизводимыми из файла 2D (01000.m2ts) 241. Как показано на фиг.30, в основном пути 2701 в файле 221 списков для двумерного воспроизведения PI #1 указывает PTS #1, которая указывает время IN1 начала воспроизведения, и PTS #2, которая указывает время OUT1 окончания воспроизведения. Ссылочная информация о клипах для PI #1 указывает файл 231 информации о двумерных клипах (01000.clpi). При воспроизведении двумерных видеоизображений в соответствии с файлом 221 списков для двумерного воспроизведения устройство 102 воспроизведения сначала считывает PTS #1 и PTS #2 из PI #1. Затем устройство 102 воспроизведения обращается к карте вхождений в файле 231 информации о двумерных клипах, чтобы извлекать из файла 2D 241 SPN #1 и SPN #2, которые соответствуют PTS #1 и PTS #2. Устройство 102 воспроизведения затем вычисляет соответствующие числа секторов из SPN #1 и SPN #2. Кроме того, устройство 102 воспроизведения обращается к этим числам секторов и записи файла для файла 2D 241, чтобы указывать LBN #1 и LBN #2 в начале и конце, соответственно, группы P1 секторов, в которую записана группа EXT2D[0], …, EXT2D[n] двумерных экстентов, которая должна воспроизводиться. Вычисление чисел секторов и задание LBN осуществляется согласно описанию фиг.23B и 23C. В завершение, устройство 102 воспроизведения указывает диапазон от LBN #1 до LBN #2 в BD-ROM-накопитель 121. Группа исходных пакетов, принадлежащая группе EXT2D[0], …, EXT2D[n] двумерных экстентов, тем самым считывается из группы P1 секторов в этом диапазоне. Аналогично, пара из PTS #3 и PTS #4, указываемая посредством PI #2, сначала преобразуется в пару из SPN #3 и SPN #4 посредством обращения к карте вхождений в файле 231 информации о двумерных клипах. Затем при обращении к записи файла для файла 2D 241 пара из SPN #3 и SPN #4 преобразуется в пару из LBN #3 и LBN #4. Кроме того, группа исходных пакетов, принадлежащая группе двумерных экстентов, считывается из группы P2 секторов в диапазоне от LBN #3 до LBN #4. Преобразование пары из PTS #5 и PTS #6, указываемой посредством PI #3, в пару из SPN #5 и SPN #6, преобразование пары из SPN #5 и SPN #6 в пару из LBN #5 и LBN #6 и считывание группы исходных пакетов из группы P3 секторов в диапазоне от LBN #5 до LBN #6 выполняется аналогично. Устройство 102 воспроизведения тем самым воспроизводит двумерные видеоизображения из файла 2D 241 в соответствии с основным путем 2701 в файле 221 списков для двумерного воспроизведения.

Файл 221 списков для двумерного воспроизведения может включать в себя метку 3001 входа. Метка 3001 входа указывает момент времени в основном пути 2701, в который должно фактически начинаться воспроизведение. Например, как показано на фиг.30, множество меток 3001 входа может задаваться для PI #1. Метка 3001 входа, в частности, используется для выполнения поиска позиции начала воспроизведения во время произвольного доступа. Например, когда файл 221 списков для двумерного воспроизведения указывает путь воспроизведения для тайтла фильма, метки 3001 входа назначаются началу каждой главы. Следовательно, устройство 102 воспроизведения может воспроизводить тайтл фильма по главам.

Файл списков для трехмерного воспроизведения

Фиг.31 является схематичным представлением, показывающим структуру данных файла списков для трехмерного воспроизведения. Второй файл 222 списков воспроизведения (00002.mpls), показанный на фиг.2, имеет эту структуру данных, как и второй файл 223 списков воспроизведения (00003.mpls). Как показано на фиг.31, файл 222 списков для трехмерного воспроизведения включает в себя основной путь 3101, подпуть 3102 и расширенные данные 3103.

Основной путь 3101 указывает путь воспроизведения основного TS, показанного на фиг.3A. Соответственно, основной путь 3101 является практически идентичным основному пути 2701 для файла 221 списков для двумерного воспроизведения, показанного на фиг.27. Другими словами, устройство 102 воспроизведения в режиме двумерного воспроизведения может воспроизводить двумерные видеоизображения из файла 2D 241 в соответствии с основным путем 3101 в файле 222 списков для трехмерного воспроизведения. Основной путь 3101 отличается от основного пути 2701, показанного на фиг.27, тем, что когда STN ассоциирован с PID в графическом потоке или потоке текстовых субтитров, STN-таблица для каждого PI выделяет идентификатор последовательности смещений для STN.

Подпуть 3102 указывает путь воспроизведения для суб-TS, показанного на фиг.3B, т.е. путь воспроизведения для файла DEP 242. Подпуть 3102 также может указывать путь воспроизведения для потока текстовых субтитров, показанного на фиг.3C. Структура данных подпути 3102 является идентичной структуре данных подпутей 2702 и 2703 в файле 241 списков для двумерного воспроизведения, показанном на фиг.27. Соответственно, подробности относительно этой аналогичной структуры данных могут быть обнаружены в описании по фиг.27, в частности, подробности относительно структуры данных SUB_PI.

SUB_PI #N (N=1, 2, 3, …) в подпути 3102 находятся в соответствии "один-к-одному" с PI #N в основном пути 3101. Кроме того, время начала воспроизведения и время окончания воспроизведения, указанные посредством каждого SUB_PI #N, являются идентичными времени начала воспроизведения и времени окончания воспроизведения, указанным посредством соответствующего PI #N. Подпуть 3102 дополнительно включает в себя тип 3110 подпути. "Тип подпути", в общем, указывает то, должна или нет обработка воспроизведения синхронизироваться между основным путем и подпутем. В файле 222 списков для трехмерного воспроизведения тип 3110 подпути, в частности, указывает тип режима трехмерного воспроизведения, т.е. тип видеопотока для воспроизведения зависимого вида, который должен воспроизводиться в соответствии с подпутем 3110. На фиг.31 значением типа 4021 подпути является "трехмерный L/R", тем самым указывая, что режимом трехмерного воспроизведения является L/R-режим, т.е. что видеопоток для просмотра правым глазом должен воспроизводиться. С другой стороны, значение "трехмерной глубины" для типа 3110 подпути указывает то, что режимом трехмерного воспроизведения является режим глубины, т.е. что поток карт глубины должен воспроизводиться. Когда устройство 102 воспроизведения в режиме трехмерного воспроизведения обнаруживает, что значением типа 3110 подпути является "трехмерный L/R" или "трехмерная глубина", устройство 102 воспроизведения синхронизирует обработку воспроизведения, которая соответствует основному пути 3101, с обработкой воспроизведения, которая соответствует подпути 3102.

Расширенные данные 3103 интерпретируются посредством устройства 102 воспроизведения только в режиме трехмерного воспроизведения; устройство 102 воспроизведения в режиме двумерного воспроизведения игнорирует расширенные данные 3103. В частности, расширенные данные 3103 включают в себя таблицу 3130 выбора расширенного потока. "Таблица выбора расширенного потока (STN_table_SS)" (в дальнейшем сокращенно как "STN-таблица SS") является матрицей информации регистрации потоков, которая должна добавляться к STN-таблицам, указываемым посредством каждого PI в основном пути 3101 во время трехмерного воспроизведения режим. Эта информация регистрации потоков указывает элементарные потоки, которые могут выбираться для воспроизведения из суб-TS.

STN-таблица

Фиг.32 является схематичным представлением, показывающим STN-таблицу 3205, включенную в основной путь 3101 файла 222 списков для трехмерного воспроизведения. Как показано на фиг.32, идентификационная информация 3208 потока, выделяемая для STN 3206=5, 6, …, 11, указывает PID для PG-потока, потока текстовых субтитров или IG-потока. В этом случае информация 3210 атрибутов потока, выделяемая для STN 3206=5, 6, …, 11, дополнительно включает в себя идентификатор 3201 опорного смещения и значение 3202 регулирования смещения.

В файле DEP 242, как показано на фиг.13, метаданные 1310 смещения размещаются в VAU #1 каждой видеопоследовательности. Идентификатор 3201 опорного смещения (stream_ref_offset_id) является идентичным одному из идентификаторов 1311 последовательностей смещений, включенных в метаданные 1310 смещения. Другими словами, идентификатор 3201 опорного смещения задает последовательность смещений, которая должна быть ассоциирована с каждым из STN 3206=5, 6, …, 11, из множества последовательностей смещений, включенных в метаданные 1310 смещения.

Значение 3202 регулирования смещения (stream_offset_adjustment) указывает значение, которое должно прибавляться к каждому значению смещения, включенному в последовательность смещений, заданную посредством идентификатора 3201 опорного смещения. Значение 3202 регулирования смещения, например, прибавляется посредством устройства 102 воспроизведения к каждому значению смещения, когда размер экрана дисплейного устройства 103 значительно отличается от размера, который предположен во время создания трехмерного видеосодержимого. Таким образом, бинокулярный параллакс между двумерными графическими изображениями для просмотра левым глазом и для просмотра правым глазом может поддерживаться в соответствующем диапазоне.

STN-таблица SS

Фиг.33 является схематичным представлением, показывающим структуру данных STN-таблицы SS 3130. Как показано на фиг.33, STN-таблица SS 3130 включает в себя последовательности 3301, 3302, 3303, … информации регистрации потоков. Последовательности 3301, 3302, 3303, … информации регистрации потоков по отдельности соответствуют PI #1, PI #2, PI #3, … в основном пути 3101 и используются посредством устройства 102 воспроизведения в режиме трехмерного воспроизведения в комбинации с последовательностями информации регистрации потоков, включенными в STN-таблицы в соответствующих PI. Последовательность 3301 информации регистрации потоков, соответствующая каждому PI, включает в себя смещение в ходе отображения всплывающего меню (Fixed_offset_during_Popup) 3311 и последовательность 3312 информации регистрации потоков для видеопотоков для воспроизведения зависимого вида.

Смещение в ходе отображения всплывающего меню 3311 указывает то, воспроизводится или нет всплывающее меню из IG-потока. Устройство 102 воспроизведения в режиме трехмерного воспроизведения изменяет режим представления видеоплоскости и графической плоскости в соответствии со значением смещения 3311. Предусмотрено два типа режимов представления для видеоплоскости: режим представления для воспроизведения базового вида (B) - для воспроизведения зависимого вида (D) и режим представления B-B. Предусмотрено два типа режимов представления для графической плоскости: режим 1 плоскости+смещения и режим 1 плоскости+нулевого смещения. Например, когда значение смещения в ходе отображения всплывающего меню 3311 равно "0", всплывающее меню не воспроизводится из IG-потока. Здесь режим представления B-D выбирается в качестве режима представления в видеоплоскости, а режим 1 плоскости+смещения выбирается в качестве режима представления для графической плоскости. С другой стороны, когда значение смещения в ходе отображения всплывающего меню 3311 равно "1", всплывающее меню воспроизводится из IG-потока. Здесь режим представления B-B выбирается в качестве режима представления в видеоплоскости, а режим 1 плоскости+нулевого смещения выбирается в качестве режима представления для PG-плоскости.

В "режиме представления B-D" устройство 102 воспроизведения поочередно выводит видеоплоскости для просмотра левым глазом и правым глазом. Соответственно, поскольку кадры для просмотра левым глазом и правым глазом поочередно отображаются на экране дисплейного устройства 103, зритель воспринимает эти кадры как трехмерные видеоизображения. В "режиме представления B-B" устройство 102 воспроизведения выводит данные плоскости, декодированные только из видеопотока для воспроизведения базового вида два раза для кадра, при сохранении рабочего режима в режиме трехмерного воспроизведения (в частности, при сохранении частоты кадров при значении для трехмерного воспроизведения, к примеру, 48 кадров/секунда). Соответственно, только либо видеоплоскость для просмотра левым глазом, либо видеоплоскость для просмотра правым глазом отображается на экране устройства 103 воспроизведения, и тем самым зритель воспринимает эти видеоплоскости просто как двумерные видеоизображения.

В "режиме 1 плоскости + смещения" устройство 102 воспроизведения формирует, через управление смещением, пару графических плоскостей для просмотра левым глазом и правым глазом из графического потока или потока текстовых субтитров в основном TS и поочередно выводит эти графические плоскости. Соответственно, графические плоскости для просмотра левым глазом и правым глазом поочередно отображаются на экране дисплейного устройства 103, и тем самым зритель воспринимает эти кадры как трехмерные графические изображения. В "режиме 1 плоскости+нулевого смещения" устройство 102 воспроизведения временно прекращает управление смещением и выводит графическую плоскость, декодированную из графического потока или потока текстовых субтитров в основном TS, два раза для кадра при сохранении рабочего режима в режиме трехмерного воспроизведения. Соответственно, только либо графические плоскости для просмотра левым глазом, либо графические плоскости для просмотра правым глазом отображаются на экране дисплейного устройства 103, и тем самым зритель воспринимает эти плоскости просто как двумерные графические изображения.

Устройство 102 воспроизведения в режиме трехмерного воспроизведения обращается к смещению в ходе отображения всплывающего меню 3311 для каждого PI и выбирает режим представления B-B и режим 1 плоскости+нулевого смещения, когда всплывающее меню воспроизводится из IG-потока. В то время, когда всплывающее меню отображается, другие трехмерные видеоизображения тем самым временно изменяются на двумерные видеоизображения. Это улучшает видимость, а также повышает и удобство, и простоту использования всплывающего меню.

Последовательность 3312 информации регистрации потоков для видеопотока для воспроизведения зависимого вида включает в себя информацию регистрации потоков, указывающую видеопотоки для воспроизведения зависимого вида, которые могут выбираться для воспроизведения из суб-TS. Эта последовательность 3312 информации регистрации потоков используется в комбинации с последовательностью информации регистрации потоков, из последовательностей информации регистрации потоков, включенных в STN-таблицу в соответствующем PI, который указывает видеопоток для воспроизведения базового вида. При считывании фрагмента информации регистрации потоков из STN-таблицы устройство 102 воспроизведения в режиме трехмерного воспроизведения также автоматически считывает последовательность информации регистрации потоков, расположенную в STN-таблице SS, которая комбинирована с фрагментом информации регистрации потоков. При простом переключении режима двумерного воспроизведения на режим трехмерного воспроизведения устройство 102 воспроизведения тем самым может поддерживать уже распознанные STN и атрибуты потока, такие как язык.

Как показано на фиг.33, последовательность 3312 информации регистрации потоков в видеопотоке для воспроизведения зависимого вида, в общем, включает в себя множество фрагментов информации 3320 регистрации потоков (SS_dependent_view_block). Их число является идентичным числу фрагментов информации регистрации потоков в соответствующем PI, которые указывают видеопоток для воспроизведения базового вида. Каждый фрагмент информации 3320 регистрации потоков включает в себя STN 3321, запись 3322 потока и информацию 3323 атрибутов потока. STN 3321 является порядковым номером, назначенным по отдельности фрагментам информации 3320 регистрации потоков, и является идентичным STN фрагмента информации регистрации потоков, расположенной в соответствующем PI, с которым комбинируется фрагмент информации 3320 регистрации потоков. Запись 3322 потока включает в себя ссылочную информацию 3331 идентификаторов подпутей (ref_to_Subpath_id), ссылочную информацию 3332 файлов потока (ref_to_subClip_entry_id) и PID (ref_to_stream_PID_subclip) 3333. Ссылочная информация 3331 идентификаторов подпутей указывает идентификатор подпути для подпути, который указывает путь воспроизведения видеопотока для воспроизведения зависимого вида. Ссылочная информация 3332 файлов потока является информацией, чтобы идентифицировать файл DEP, сохраняющий этот видеопоток для воспроизведения зависимого вида. PID 3333 является PID для этого видеопотока для воспроизведения зависимого вида. Информация 3323 атрибутов потока включает в себя атрибуты для этого видеопотока для воспроизведения зависимого вида, такие как частота кадров, разрешение и видеоформат. В частности, эти атрибуты являются идентичными атрибутам видеопотока для воспроизведения базового вида, показанного посредством фрагмента информации регистрации потоков, расположенной в соответствующем PI, с которым комбинируется каждый фрагмент информации регистрации потоков.

Воспроизведение трехмерных видеоизображений в соответствии с файлом списков для трехмерного воспроизведения

Фиг.34 является схематичным представлением, показывающим соответствие между PTS, указываемыми посредством файла 222 списков для трехмерного воспроизведения (00002.mpls), и секциями, воспроизводимыми из первого файла SS (01000.ssif) 244A. Как показано на фиг.34, в основном пути 3401 в файле 222 списков для трехмерного воспроизведения PI #1 указывает PTS #1, которая указывает время IN1 начала воспроизведения, и PTS #2, которая указывает время OUT1 окончания воспроизведения. Ссылочная информация о клипах для PI #1 указывает файл 231 информации о двумерных клипах (01000.clpi). В подпути 3402, который указывает то, что типом подпути является "трехмерный L/R", SUB_PI #1 указывает PTS #1 и PTS #2, идентичные PTS #1 и PTS #2 для PI #1. Ссылочная информация о клипах для SUB_PI #1 указывает файл 232 информации о клипах для воспроизведения зависимого вида (02000.clpi).

При воспроизведении трехмерных видеоизображений в соответствии с файлом 222 списков для трехмерного воспроизведения устройство 102 воспроизведения сначала считывает PTS #1 и PTS #2 из PI #1 и SUB_PI #1. Затем устройство 102 воспроизведения обращается к карте вхождений в файле 231 информации о двумерных клипах, чтобы извлекать из файла 2D 241 SPN #1 и SPN #2, которые соответствуют PTS #1 и PTS #2. Параллельно, устройство 102 воспроизведения обращается к карте вхождений в файле 232 информации о клипах для воспроизведения зависимого вида, чтобы извлекать из первого файла DEP 242 SPN #11 и SPN #12, которые соответствуют PTS #1 и PTS #2. Как описано со ссылкой на фиг.24E, устройство 102 воспроизведения затем использует начальные точки 2242 и 2420 экстентов в файлах 231 и 232 информации о клипах, чтобы вычислять, из SPN #1 и SPN #11, число исходных пакетов SPN #21 с начала первого файла SS 244A до позиции начала воспроизведения. Аналогично, устройство 102 воспроизведения вычисляет, из SPN #2 и SPN #12, число исходных пакетов SPN #22 с начала первого файла SS 244A до позиции начала воспроизведения. Устройство 102 воспроизведения дополнительно вычисляет числа секторов, соответствующих SPN #21 и SPN #22. Затем устройство 102 воспроизведения обращается к этим числам секторов и записи файла в первом файле SS 244A, чтобы указывать LBN #1 и LBN #2 в начале и конце, соответственно, группы P11 секторов, в которую записана группа EXTSS[0], …, EXTSS[n] экстентов SS, которая должна воспроизводиться. Вычисление чисел секторов и задание LBN осуществляется согласно описанию фиг.33E. В завершение, устройство 102 воспроизведения указывает диапазон от LBN #1 до LBN #2 в BD-ROM-накопитель 121. Группа исходных пакетов, принадлежащая группе EXTSS[0], …, EXTSS[n] экстентов SS, тем самым считывается из группы P11 секторов в этом диапазоне. Аналогично, пара из PTS #3 и PTS #4, указываемая посредством PI #2 и SUB_PI #2, сначала преобразуется в пару из SPN #3 и SPN #4 и пару из SPN #13 и SPN #14 посредством обращения к карте вхождений в файлах 231 и 232 информации о клипах. Затем число исходных пакетов SPN #23 с начала первого файла SS 244A до позиции начала воспроизведения вычисляется из SPN #3 и SPN #13, и число исходных пакетов SPN #24 с начала первого файла SS 244A до позиции окончания воспроизведения вычисляется из SPN #4 и SPN #14. Затем при обращении к записи файла для первого файла SS 244A, пара из SPN #23 и SPN #24 преобразуется в пару из LBN #3 и LBN #4. Кроме того, группа исходных пакетов, принадлежащая группе экстентов SS, считывается из группы P12 секторов в диапазоне от LBN #3 до LBN #4.

Параллельно с вышеописанной обработкой считывания, как описано со ссылкой на фиг.24E, устройство 102 воспроизведения обращается к начальным точкам 2242 и 2420 экстентов в файлах 231 и 232 информации о клипах, чтобы извлекать экстенты для воспроизведения базового вида из каждого экстента SS и декодировать экстенты для воспроизведения базового вида параллельно с оставшимися экстентами для воспроизведения зависимого вида. Устройство 102 воспроизведения тем самым может воспроизводить трехмерные видеоизображения из первого файла SS 244A в соответствии с файлом 222 списков для трехмерного воспроизведения.

Индексная таблица

Фиг.35 является схематичным представлением, показывающим структуру данных индексного файла (index.bdmv) 211, показанного на фиг.2. Как показано на фиг.35, индексный файл 211 включает в себя индексную таблицу 3510, флаг 3520 существования трехмерного режима и флаг 3530 предпочтения двумерного/трехмерного режима.

Индексная таблица 3510 сохраняет элементы "первый элемент воспроизведения" 3501, "главное меню" 3502 и "тайтл k" 3503 (k=1, 2, …, n; буква n представляет целое число, превышающее или равное 1). Каждый элемент ассоциирован либо с кинообъектом MVO-2D, MVO-3D, …, либо с BD-J-объектом BDJO-2D, BDJO-3D, …. Каждый раз, когда тайтл или меню вызывается в ответ на пользовательскую операцию или прикладную программу, модуль управления в устройстве 102 воспроизведения обращается к соответствующему элементу в индексной таблице 3510. Кроме того, модуль управления вызывает объект, ассоциированный с элементом из BD-ROM-диска 101, и, соответственно, выполняет множество процессов. В частности, элемент "первое воспроизведение" 3501 указывает объект, который должен вызываться, когда диск 101 загружается в BD-ROM-накопитель 121. Элемент "главное меню" 3502 указывает объект для отображения меню на дисплейном устройстве 103, когда команда "вернуться в меню" вводится, например, посредством пользовательской операции. В элементах "тайтл k" 3503, по отдельности выделяются тайтлы, которые составляют содержимое на диске 101. Например, когда тайтл для воспроизведения указывается посредством пользовательской операции, в элементе "тайтл k", в котором тайтл выделяется, объект для воспроизведения видеоизображений из файла AV-потока, соответствующего тайтлу, указывается.

В примере, показанном на фиг.35, элементы "тайтл 1" и "тайтл 2" выделяются тайтлам двумерных видеоизображений. Кинообъект, ассоциированный с элементом "тайтл 1", MVO-2D, включает в себя группу команд, связанных с процессами воспроизведения для двумерных видеоизображений с использованием файла 221 списков для двумерного воспроизведения (00001.mpls). Когда устройство 102 воспроизведения обращается к элементу "тайтл 1", затем в соответствии с кинообъектом MVO-2D, файл 221 списков для двумерного воспроизведения считывается из диска 101, и процессы воспроизведения для двумерных видеоизображений выполняются в соответствии с путем воспроизведения, указанным в нем. BD-J-объект, ассоциированный с элементом "тайтл 2", BDJO-2D, включает в себя таблицу управления приложениями, связанную с процессами воспроизведения для двумерных видеоизображений, с использованием файла 221 списков для двумерного воспроизведения. Когда устройство 102 воспроизведения обращается к элементу "тайтл 2", затем в соответствии с таблицей управления приложениями в BD-J-объекте BDJO-2D, Java-приложение вызывается из файла 261 JAR и выполняется. Таким образом, файл 221 списков для двумерного воспроизведения считывается из диска 101, и процессы воспроизведения для двумерных видеоизображений выполняются в соответствии с путем воспроизведения, указанным в нем.

Кроме того, в примере, показанном на фиг.35, элементы "тайтл 3" и "тайтл 4" выделяются тайтлам трехмерных видеоизображений. Кинообъект, ассоциированный с элементом "тайтл 3", MVO-3D, включает в себя, в дополнение к группе команд, связанных с процессами воспроизведения для двумерных видеоизображений с использованием файла 221 списков для двумерного воспроизведения, группу команд, связанных с процессами воспроизведения для трехмерных видеоизображений с использованием файла 222 списков для трехмерного воспроизведения (00002.mpls) или (00003.mpls) 223. В BD-J-объекте, ассоциированном с элементом "тайтл 4", BDJO-3D, таблица управления приложениями указывает, в дополнение к Java-приложению, связанному с процессами воспроизведения для двумерных видеоизображений с использованием файла 221 списков для двумерного воспроизведения, Java-приложение, связанное с процессами воспроизведения для трехмерных видеоизображений с использованием файла 222 или 223 списков для трехмерного воспроизведения.

Флаг 3520 существования трехмерного режима показывает то, записано или нет содержимое трехмерных видеоизображений на BD-ROM-диске 101. Когда BD-ROM-диск 101 вставляется в BD-ROM-накопитель 121, устройство 102 воспроизведения сначала проверяет флаг 3520 существования трехмерного режима. Когда флаг 3520 существования трехмерного режима снят, устройство 102 воспроизведения не должно выбирать режим трехмерного воспроизведения. Соответственно, устройство 102 воспроизведения может быстро переходить в режиме двумерного воспроизведения, без выполнения HDMI-аутентификации для дисплейного устройства 103. "HDMI-аутентификация" упоминается как обработка, посредством которой устройство 102 воспроизведения обменивается CEC-сообщениями с дисплейным устройством 103 через HDMI-кабель 122, чтобы проверять для дисплейного устройств 103 то, поддерживает оно или нет воспроизведение трехмерных видеоизображений. Посредством пропуска HDMI-аутентификации время между вставкой BD-ROM-диска 101 и началом воспроизведения двумерных видеоизображений сокращается.

Флаг 3530 предпочтения двумерного/трехмерного режима указывает то, должно или нет воспроизведение трехмерных видеоизображений приоритезироваться, когда как устройство воспроизведения, так и дисплейное устройство поддерживают воспроизведение как двумерных, так и трехмерных видеоизображений. Флаг 3530 предпочтения двумерного/трехмерного режима задается поставщиком содержимого. Когда флаг 3520 существования трехмерного режима на BD-ROM-диске 101 помечен, устройство 102 воспроизведения затем дополнительно проверяет флаг 3530 предпочтения двумерного/трехмерного режима. Когда флаг 3530 предпочтения двумерного/трехмерного режима помечен, устройство 102 воспроизведения не заставляет пользователя выбирать режим воспроизведения, а вместо этого выполняет HDMI-аутентификацию. На основе ее результатов устройство 102 воспроизведения работает либо в режиме двумерного воспроизведения, либо в режиме трехмерного воспроизведения. Таким образом, устройство 102 воспроизведения не отображает экран выбора режима воспроизведения. Соответственно, если результаты HDMI-аутентификации указывают то, что дисплейное устройство 103 поддерживает воспроизведение трехмерных видеоизображений, устройство 102 воспроизведения работает в режиме трехмерного воспроизведения. Это позволяет не допускать задержек в активации, вызываемых посредством обработки, чтобы переключаться из режима двумерного воспроизведения в режим трехмерного воспроизведения, к примеру, переключения частот кадров и т.д.

Выбор файла списков воспроизведения при выборе тайтла трехмерного видео

В примере, показанном на фиг.35, когда устройство 102 воспроизведения обращается к элементу "тайтл 3" в индексной таблице 3510, следующие процессы определения выполняются в соответствии с кинообъектом MVO-3D: (1) Флаг 3520 существования трехмерного режима помечен или снят? (2) Устройство 102 воспроизведения само поддерживает воспроизведение трехмерных видеоизображений? (3) Флаг 3530 предпочтения двумерного/трехмерного режима помечен или снят? (4) Пользователь выбрал режим трехмерного воспроизведения? (5) Дисплейное устройство 103 воспроизведения поддерживает трехмерные видеоизображения? и (6) Режим трехмерного воспроизведения устройства 102 воспроизведения - L/R-режим или режим глубин? Затем, в соответствии с результатами этих определений, устройство 102 воспроизведения выбирает один из файлов 221-223 списков воспроизведения для воспроизведения. С другой стороны, когда устройство 102 воспроизведения обращается к элементу "тайтл 4", Java-приложение вызывается из файла 261 JAR в соответствии с таблицей управления приложениями в BD-J-объекте BDJO-3D и выполняется. Вышеописанные процессы определения (1)-(6) тем самым выполняются, и файл списков воспроизведения затем выбирается в соответствии с результатами определения.

Фиг.36 является блок-схемой последовательности операций способа обработки выбора для файла списков воспроизведения, который должен воспроизводиться с использованием вышеуказанных процессов определения (1)-(6). Для этой обработки выбора допускается, что устройство 102 воспроизведения включает в себя первый флаг и второй флаг. Первый флаг указывает то, поддерживает или нет устройство 102 воспроизведения воспроизведение трехмерных видеоизображений. Например, значение "0" для первого флага указывает то, что устройство 102 воспроизведения поддерживает только воспроизведение двумерных видеоизображений, тогда как "1" указывает поддержку также трехмерных видеоизображений. Второй флаг указывает то, является режимом трехмерного воспроизведения L/R-режим или режим глубины. Например, значение "0" для второго флага указывает то, что режимом трехмерного воспроизведения является L/R-режим, тогда как "1" указывает режим глубины. Кроме того, соответствующие значения флага 3520 существования трехмерного режима и флага 3530 предпочтения двумерного/трехмерного режима задаются равными "1", когда эти флаги помечены, и "0", когда эти флаги сняты.

На этапе S3601 устройство 102 воспроизведения проверяет значение флага 3520 существования трехмерного режима. Если значение равно "1", обработка переходит к этапу S3602. Если значение равно "0", обработка переходит к этапу S3607.

На этапе S4501 устройство 102 воспроизведения проверяет значение первого флага. Если значение равно "1", обработка переходит к этапу S3603. Если значение равно "0", обработка переходит к этапу S3607.

На этапе S3603 устройство 102 воспроизведения проверяет значение флага 3530 предпочтения двумерного/трехмерного режима. Если значение равно "0", обработка переходит к этапу S3604. Если значение равно "1", обработка переходит к этапу S3605.

На этапе S3604 устройство 102 воспроизведения отображает меню на дисплейном устройстве 103 для пользователя, чтобы выбирать режим двумерного воспроизведения или режим трехмерного воспроизведения. Если пользователь выбирает режим трехмерного воспроизведения через операцию с пультом 105 дистанционного управления и т.п., обработка переходит к этапу S3605, при этом, если пользователь выбирает режим двумерного воспроизведения, обработка переходит к этапу S3607.

На этапе S3605 устройство 102 воспроизведения выполняет HDMI-аутентификацию, чтобы проверять то, поддерживает или нет дисплейное устройство 103 воспроизведение трехмерных видеоизображений. В частности, устройство 102 воспроизведения обменивается CEC-сообщениями с дисплейным устройством 103 через HDMI-кабель 122, чтобы проверять дисплейное устройство 103 на предмет того, поддерживает оно или нет воспроизведение трехмерных видеоизображений. Если дисплейное устройство 103 поддерживает воспроизведение трехмерных видеоизображений, обработка переходит к этапу S3606. Если дисплейное устройство 103 не поддерживает воспроизведение трехмерных видеоизображений, обработка переходит к этапу S3607.

На этапе S3606 устройство 102 воспроизведения проверяет значение второго флага. Если значение равно "0", обработка переходит к этапу S3608. Если значение равно "1", обработка переходит к этапу S3609.

На этапе S3607 устройство 102 воспроизведения выбирает для воспроизведения файл 221 списков для двумерного воспроизведения. Следует отметить, что, в это время, устройство 102 воспроизведения может инструктировать дисплейному устройству 103 отображать причину, по которой воспроизведение трехмерных видеоизображений не выбрано. Обработка затем завершается.

На этапе S3608 устройство 102 воспроизведения выбирает для воспроизведения файл 222 списков для трехмерного воспроизведения используемый в L/R-режиме. Обработка затем завершается.

На этапе S3609 устройство 102 воспроизведения выбирает для воспроизведения файл 222 списков для трехмерного воспроизведения, используемый в режиме глубины. Обработка затем завершается.

Структура устройства двумерного воспроизведения

При воспроизведении содержимого двумерного видеоизображения из BD-ROM-диска 101 в режиме двумерного воспроизведения, устройство 102 воспроизведения работает как устройство двумерного воспроизведения. Фиг.37 является функциональной блок-схемой устройства 3700 двумерного воспроизведения. Как показано на фиг.37, устройство 3700 двумерного воспроизведения включает в себя BD-ROM-накопитель 3701, модуль 3702 воспроизведения и модуль 3703 управления. Модуль 3702 воспроизведения включает в себя буфер 3721 считывания, буфер 3723 предварительной загрузки, буфер 3724 шрифтов, декодер 3725 системных целевых объектов и сумматор 3726 плоскостей. Модуль 3703 управления включает в себя запоминающее устройство 3731 динамических сценариев, запоминающее устройство 3732 статических сценариев, процессор 3733 пользовательских событий, модуль 3734 выполнения программ, модуль 3735 управления воспроизведением и модуль 3736 хранения переменных проигрывателя. Модуль 3702 воспроизведения и модуль 3703 управления реализованы на различных интегральных схемах, но альтернативно могут быть реализованы на одной интегральной схеме.

Когда BD-ROM-диск 101 загружается в BD-ROM-накопитель 3701, BD-ROM-накопитель 3701 испускает лазерное излучение на диск 101 и обнаруживает изменение в отраженном свете. Кроме того, с использованием изменения количества отраженного света, BD-ROM-накопитель 3701 считывает данные, записанные на диске 101. В частности, BD-ROM-накопитель 3701 имеет оптическую головку воспроизведения, т.е. оптическую головку. Оптическая головка имеет полупроводниковый лазер, коллимированную линзу, расщепитель луча, объектив, собирающую линзу и оптический детектор. Луч света, излучаемый из полупроводникового лазера, последовательно проходит через коллимированную линзу, расщепитель луча и объектив, чтобы собираться на слое для записи диска 101. Собранный луч отражается и дифрагируется посредством слоя для записи. Отраженный и дифрагированный свет проходит через объектив, расщепитель луча и собирающую линзу и собирается на оптическом детекторе. Оптический детектор формирует сигнал воспроизведения на уровне в соответствии с величиной собранного света. Кроме того, данные декодируются из сигнала воспроизведения.

BD-ROM-накопитель 3701 считывает данные из BD-ROM-диска 101 на основе запроса из модуля 3735 управления воспроизведением. Из считываемых данных экстенты в файле 2D, т.е. двумерные экстенты, передаются в буфер 3721 считывания; файл текстовых субтитров передается в буфер 3723 предварительной загрузки; набор шрифтов передается в буфер 3724 шрифтов; информация динамического сценария передается в запоминающее устройство 3731 динамических сценариев; и информация статического сценария передается в запоминающее устройство 3732 статических сценариев. "Информация динамического сценария" включает в себя индексный файл, файл кинообъектов и файл BD-J-объектов. "Информация статического сценария" включает в себя файл списков для двумерного воспроизведения и файл информации о двумерных клипах.

Буфер 3721 считывания, буфер 3723 предварительной загрузки, буфер 3724 шрифтов, запоминающее устройство 3731 динамических сценариев и запоминающее устройство 3732 статических сценариев являются буферными запоминающими устройствами. Запоминающие элементы в модуле 3702 воспроизведения используются как буфер 3721 считывания, буфер 3723 предварительной загрузки и буфер 3724 шрифтов. Запоминающие элементы в модуле 3703 управления используются как запоминающее устройство 3731 динамических сценариев и запоминающее устройство 3732 статических сценариев. Альтернативно, различные области в одном запоминающем элементе могут использоваться как часть или все эти буферные запоминающие устройства 3721-3723, 3731 и 3732.

Декодер 3725 системных целевых объектов считывает двумерные экстенты из буфера 3721 считывания в единицах исходных пакетов и демультиплексирует двумерные экстенты. Декодер 3725 системных целевых объектов затем декодирует каждый из элементарных потоков, полученных посредством демультиплексирования. Здесь информация, необходимая для декодирования каждого элементарного потока, такая как тип кодека и атрибуты потока, передается из модуля 3735 управления воспроизведением в декодер 3725 системных целевых объектов. Декодер 3725 системных целевых объектов выводит поток первичного видео, поток вторичного видео, IG-поток и PG-поток после декодирования, соответственно, как данные плоскости первичного видео, данные плоскости вторичного видео, данные IG-плоскости и данные PG-плоскости, в единицах VAU. С другой стороны, декодер 3725 системных целевых объектов смешивает декодированный поток первичного аудио и поток вторичного аудио и передает полученные в результате данные в устройство аудиовывода, такое как внутренний динамик 103A дисплейного устройства 103. Декодер 3725 системных целевых объектов также считывает поток текстовых субтитров из буфера 3723 предварительной загрузки посредством записи текстовых данных и интерпретирует строку текстовых символов, представленную в нем. Декодер 3725 системных целевых объектов затем обращается к набору шрифтов, сохраненному в буфере 3724 шрифтов, и выводит данные битовой карты, соответствующие строке текстовых символов, как данные PG-плоскости. Помимо этого декодер 3725 системных целевых объектов принимает графические данные из модуля 3734 выполнения программ. Графические данные используются для рендеринга графических элементов для GUI, таких как меню, на экране и имеют формат растровых данных, такой как JPEG и PNG. Декодер 3725 системных целевых объектов обрабатывает графические данные и выводит обработанные данные как данные плоскости изображений. Подробности относительно декодера 3725 системных целевых объектов предоставляются ниже.

Сумматор 3726 плоскостей принимает данные плоскости первичного видео, данные плоскости вторичного видео, данные IG-плоскости, данные PG-плоскости и данные плоскости изображений из декодера 3725 системных целевых объектов и накладывает эти фрагменты данных плоскости, чтобы формировать один комбинированный видеокадр или поле. Комбинированные видеоданные передаются на дисплейное устройство 103 для отображения на экране.

Процессор 3733 пользовательских событий обнаруживает пользовательскую операцию через пульт 105 дистанционного управления или переднюю панель устройства 102 воспроизведения. На основе пользовательской операции, процессор 3733 пользовательских событий запрашивает модуль 3734 выполнения программ или модуль 3735 управления воспроизведением, чтобы выполнять обработку. Например, когда пользователь инструктирует отображать всплывающее меню посредством нажатия кнопки на пульте 105 дистанционного управления, процессор 3733 пользовательских событий обнаруживает нажатие и идентифицирует кнопку. Процессор 3733 пользовательских событий дополнительно запрашивает модуль 3734 выполнения программ, чтобы выполнять команду, соответствующую кнопке, т.е. команду для того, чтобы отображать всплывающее меню. С другой стороны, когда пользователь нажимает кнопку ускоренной перемотки вперед или назад на пульте 105 дистанционного управления, например, процессор 3733 пользовательских событий обнаруживает нажатие и идентифицирует кнопку. Процессор 3733 пользовательских событий затем запрашивает модуль 3735 управления воспроизведением, чтобы ускоренно перематывать вперед или перематывать назад в настоящий момент воспроизводимый список воспроизведения.

Модуль 3734 выполнения программ является процессором, который считывает программы из файлов кинообъектов и файлов BD-J-объектов, сохраненных в запоминающем устройстве 3731 динамических сценариев, и выполняет эти программы. Кроме того, модуль 3734 выполнения программ выполняет следующие операции в соответствии с программами: (1) модуль 3734 выполнения программ командует модулю 3735 управления воспроизведением выполнять обработку воспроизведения по списку воспроизведения; (2) модуль 3734 выполнения программ формирует графические данные для меню или игры как растровые данные PNG или JPEG и передает сформированные данные в декодер 3725 системных целевых объектов, чтобы комбинироваться с другими видеоданными. Через разработку программ конкретные подробности относительно этих процессов могут проектироваться относительно гибко. Другими словами, во время процесса авторской разработки BD-ROM-диска 101, характер этих процессов определяется в ходе программирования файлов кинообъектов и файлов BD-J-объектов.

Модуль 3735 управления воспроизведением управляет передачей различных типов данных, таких как двумерные экстенты, индексный файл и т.д. из BD-ROM-диска 101 в буфер 3721 считывания, буфер 3723 предварительной загрузки, буфер 3724 шрифтов, запоминающее устройство 3731 динамических сценариев и запоминающее устройство 3732 статических сценариев. Файловая система, управляющая структурой каталогов/файлов, показанная на фиг.2, используется для этого управления. Таким образом, модуль 3735 управления воспроизведением инструктирует BD-ROM-накопителю 3701 передавать файлы в каждое из буферных запоминающих устройств 3721-3723, 3731 и 3732 с использованием системного вызова для открытия файлов. "Открытие файлов" состоит из последовательности следующих процессов. Прежде всего, имя файла, которое должно быть обнаружено, предоставляется в файловую систему посредством системного вызова, и осуществляется попытка обнаруживать имя файла из структуры каталогов/файлов. Когда обнаружение завершается удачно, запись файла для целевого файла, который должен быть передан, сначала передается в запоминающее устройство в модуле 3735 управления воспроизведением, и блок управления файлом (FCB) формируется в запоминающем устройстве. Затем описатель файла для целевого файла возвращается из файловой системы в модуль 3735 управления воспроизведением. Впоследствии модуль 3735 управления воспроизведением может инструктировать BD-ROM-накопителю 3701 передавать целевой файл из BD-ROM-диска 101 в каждое из буферных запоминающих устройств 3721-3723, 3731 и 3732 посредством показа описателя файла BD-ROM-накопителю 3701.

Модуль 3735 управления воспроизведением декодирует файл AV-потока, чтобы выводить видеоданные и аудиоданные, посредством управления BD-ROM-накопителем 3701 и декодером 3725 системных целевых объектов. Конкретно, модуль 3735 управления воспроизведением сначала считывает файл списков для двумерного воспроизведения из запоминающего устройства 3732 статических сценариев в ответ на инструкцию из модуля 3734 выполнения программ или запрос из процессора 3733 пользовательских событий и интерпретирует содержимое файла. В соответствии с интерпретированным содержимым, в частности, с путем воспроизведения, модуль 3735 управления воспроизведением затем указывает файл 2D, который должен воспроизводиться, и инструктирует BD-ROM-накопителю 3701 и декодеру 3725 системных целевых объектов считывать и декодировать этот файл. Такая обработка воспроизведения на основе файла списков воспроизведения называется "обработкой воспроизведения по списку воспроизведения". Когда поток текстовых субтитров включается в путь воспроизведения, модуль 3735 управления воспроизведением указывает необходимые наборы шрифтов из информации атрибутов потока в STN-таблице и передает наборы шрифтов из BD-ROM-диска 101 в буфер 3724 шрифтов.

Помимо этого модуль 3735 управления воспроизведением задает различные типы переменных проигрывателя в модуле 3736 хранения переменных проигрывателя с использованием информации статического сценария. В отношении переменных проигрывателя модуль 3735 управления воспроизведением дополнительно указывает для декодера 3725 системных целевых объектов элементарные потоки, которые должны быть декодированы, и предоставляет информацию, необходимую для декодирования элементарных потоков.

Модуль 3736 хранения переменных проигрывателя состоит из группы регистров для сохранения переменных проигрывателя. Типы переменных проигрывателя включают в себя параметры системы (SPRM) и общие параметры (GPRM). SPRM указывает состояние устройства 102 воспроизведения. Фиг.38 - это список SPRM. Каждому SPRM назначается порядковый номер 3801, и каждый порядковый номер 3801 ассоциируется с уникальным значением 3802 переменной. Содержимое основных SPRM приведено ниже. Здесь числа в круглых скобках указывают порядковые номера 3801.

SPRM(0) - языковой код

SPRM(1) - номер потока первичного аудио

SPRM(2) - номер потока субтитров

SPRM(3) - номер ракурса

SPRM(4) - номер тайтла

SPRM(5) - номер главы

SPRM(6) - номер программы

SPRM(7) - номер ячейки

SPRM(8) - имя ключа

SPRM(9) - таймер навигации

SPRM(10) - текущее время воспроизведения

SPRM(11) - режим аудиомикширования проигрывателя для караоке

SPRM(12) - код страны для родительского контроля

SPRM(13) - уровень родительского контроля

SPRM(14) - конфигурация проигрывателя для видео

SPRM(15) - конфигурация проигрывателя для аудио

SPRM(16) - языковой код для аудиопотока

SPRM(17) - расширение языкового кода для аудиопотока

SPRM(18) - языковой код для потока субтитров

SPRM(19) - расширение языкового кода для потока субтитров

SPRM(20) - региональный код проигрывателя

SPRM(21) - номер потока вторичного видео

SPRM(22) - номер потока вторичного аудио

SPRM(23) - состояние проигрывателя

SPRM(24) - зарезервировано

SPRM(25) - зарезервировано

SPRM(26) - зарезервировано

SPRM(27) - зарезервировано

SPRM(28) - зарезервировано

SPRM(29) - зарезервировано

SPRM(30) - зарезервировано

SPRM(31) - зарезервировано

SPRM(10) указывает PTS изображения, в данный момент декодированного, и обновляется каждый раз, когда изображение декодируется и записывается в запоминающее устройство плоскости первичного видео. Текущая точка воспроизведения может быть известна посредством обращения к SPRM(10).

Уровень родительского контроля в SPRM(13) указывает предварительно определенный ограниченный возраст и используется для родительского контроля просмотра тайтлов, записанных на BD-ROM-диске 101. Пользователь устройства 102 воспроизведения устанавливает значение SPRM(13) через, например, OSD устройства 102 воспроизведения. "Родительский контроль" означает ограничение просмотра тайтла в соответствии с возрастом зрителя. Ниже приводится пример того, как устройство 102 воспроизведения выполняет родительский контроль. Устройство 102 воспроизведения сначала считывает, из BD-ROM-диска 101, возраст, для которого просмотр тайтла разрешен, и сравнивает этот возраст со значением SPRM(13). Если этот возраст равен или меньше значения SPRM(13), устройство 102 воспроизведения продолжает воспроизведение тайтла. Если этот возраст превышает значение SPRM(13), устройство 102 воспроизведения прекращает воспроизведение тайтла.

Языковой код для аудиопотока в SPRM(16) и языковой код для потока субтитров в SPRM(18) показывают языковые коды по умолчанию устройства 102 воспроизведения. Эти коды могут изменяться пользователем с использованием OSD и т.п. устройства 102 воспроизведения, или коды могут изменяться посредством прикладной программы через модуль 3734 выполнения программ. Например, если SPRM(16) показывает "английский язык", то в ходе обработки воспроизведения списка воспроизведения, модуль 3735 управления воспроизведением сначала выполняет поиск в STN-таблице в PI, показывающем текущую секцию воспроизведения, т.е. текущем PI, на предмет записи потока, имеющей языковой код для "английского языка". Модуль 3735 управления воспроизведением затем извлекает PID из идентификационной информации потока записи потока и передает извлеченный PID в декодер 3725 системных целевых объектов. Как результат, аудиопоток, имеющий PID, выбирается и декодируется посредством декодера 3725 системных целевых объектов. Эти процессы могут выполняться посредством модуля 3735 управления воспроизведением с использованием файла кинообъектов или файла BD-J-объектов.

Во время обработки воспроизведения модуль 3735 управления воспроизведением обновляет переменные проигрывателя в соответствии с состоянием воспроизведения. Модуль 3735 управления воспроизведением, в частности, обновляет SPRM(1), SPRM(2), SPRM(21) и SPRM(22). Эти SPRM, соответственно, показывают, в заявленном порядке, STN для аудиопотока, потока субтитров, потока вторичного видео и потока вторичного аудио, которые в данный момент обрабатываются. Например, допустим, что SPRM(1) изменен посредством модуля 3734 выполнения программ. В этом случае модуль 3735 управления воспроизведением сначала обращается к STN, показанному посредством нового SPRM(1), и извлекает запись потока, которая включает в себя этот STN, из STN-таблицы в текущем PI. Модуль 3735 управления воспроизведением затем извлекает PID из идентификационной информации потока записи потока и передает извлеченный PID в декодер 3725 системных целевых объектов. Как результат, аудиопоток, имеющий идентичный PID, выбирается и декодируется посредством декодера 3725 системных целевых объектов. Именно так аудиопоток, который должен воспроизводиться, переключается. Поток субтитров и поток вторичного видео, которые должны воспроизводиться, могут аналогично переключаться.

Обработка воспроизведения по списку для двумерного воспроизведения

Фиг.39 является блок-схемой последовательности операций способа обработки воспроизведения по списку для двумерного воспроизведения посредством модуля 3735 управления воспроизведением. Обработка воспроизведения по списку для двумерного воспроизведения выполняется согласно файлу списков для двумерного воспроизведения и запускается посредством считывания посредством модуля 3735 управления воспроизведением файла списков для двумерного воспроизведения из запоминающего устройства 3732 статических сценариев.

На этапе S3901 модуль 3735 управления воспроизведением сначала считывает один PI из основного пути в файле списков для двумерного воспроизведения и затем задает PI в качестве текущего PI. Затем из STN-таблицы текущего PI модуль 3735 управления воспроизведением выбирает PID элементарных потоков, которые должны воспроизводиться, и указывает информацию атрибутов, необходимую для декодирования элементарных потоков. Выбранные PID и информация атрибутов указываются для декодера 3725 системных целевых объектов. Модуль 3735 управления воспроизведением дополнительно указывает SUB_PI, ассоциированный с текущим PI, из подпутей в файле списков для двумерного воспроизведения. Когда SUB_PI игнорирует секцию воспроизведения потока текстовых субтитров, модуль 3735 управления воспроизведением указывает необходимые наборы шрифтов из информации атрибутов потока в STN-таблице и передает наборы шрифтов из BD-ROM-диска 101 в буфер 3724 шрифтов. После этого обработка переходит к этапу S3902.

На этапе S3902 модуль 3735 управления воспроизведением считывает ссылочную информацию о клипах, PTS #1, указывающую время IN1 начала воспроизведения, и PTS #2, указывающую время OUT1 окончания воспроизведения, из текущего PI. Из этой ссылочной информации о клипах указывается файл информации о двумерных клипах, соответствующий файлу 2D, который должен воспроизводиться. Кроме того, когда существует SUB_PI, который ассоциирован с текущим PI, аналогичная информация также считывается из SUB_PI. После этого обработка переходит к этапу S3903.

На этапе S3903 в отношении карты вхождений файла информации о двумерных клипах, модуль 3735 управления воспроизведением извлекает SPN #1 и SPN #2 в файле 2D, соответствующем PTS #1 и PTS #2. Пара PTS, указываемых посредством SUB_PI, также преобразуется в пару SPN. После этого обработка переходит к этапу S3904.

На этапе S3904 из SPN #1 и SPN #2 модуль 3735 управления воспроизведением вычисляет число секторов, соответствующих каждому из SPN #1 и SPN #2. В частности, модуль 3735 управления воспроизведением сначала получает произведение каждого SPN #1 и SPN #2, умноженное на объем данных в расчете на исходный пакет, т.е. 192 байта. Затем модуль 3735 управления воспроизведением получает частное посредством деления каждого произведения на объем данных в расчете на сектор, т.е. 2048 байтов: N1=SPN #1×192/2048, N2=SPN #2×192/2048. Частные N1 и N2 являются идентичными общему числу секторов, в основном TS, записанном в части до исходных пакетов, которым выделяются SPN #1 и SPN #2, соответственно. Пара из SPN, преобразованных из пары из PTS, указываемых посредством SUB_PI, аналогично преобразуется в пару чисел секторов. После этого обработка переходит к этапу S3905.

На этапе S3905 модуль 3735 управления воспроизведением указывает из чисел секторов N1 и N2, полученных на этапе S3904, LBN начала и конца группы двумерных экстентов, которая должна воспроизводиться. В частности, в отношении записи файла для файла 2D, который должен воспроизводиться, модуль 3735 управления воспроизведением подсчитывает с начала группы секторов, в которую группа двумерных экстентов записана, так что LBN (N1+1)-вого сектора = LBN #1, а LBN (N2+1)-вого сектора = LBN #2. Модуль 3735 управления воспроизведением дополнительно указывает диапазон от LBN #1 до LBN #2 в BD-ROM-накопитель 121. Пара чисел секторов, преобразованных из пары из PTS, указываемых посредством SUB_PI, аналогично преобразуется в пару из LBN и указывается в BD-ROM-накопитель 121. Как результат, из группы секторов в указанном диапазоне, группа исходных пакетов, принадлежащая группе двумерных экстентов, считывается в совмещенных единицах. После этого обработка переходит к этапу S3906.

На этапе S3906 модуль 3735 управления воспроизведением проверяет то, остается или нет необработанный PI в основном пути. Когда необработанный PI остается, обработка повторяется с этапа S3901. Когда необработанных PI не остается, обработка завершается.

Декодер системных целевых объектов

Фиг.40 является функциональной блок-схемой декодера 3725 системных целевых объектов. Как показано на фиг.40, декодер 3725 системных целевых объектов включает в себя модуль 4010 депакетирования источников, ATC-счетчик 4020, первый синхросигнал 4030 на 27 МГц, PID-фильтр 4040, STC-счетчик (STC1) 4050, второй синхросигнал 4060 на 27 МГц, декодер 4070 первичного видео, декодер 4071 вторичного видео, PG-декодер 4072, IG-декодер 4073, декодер 4074 первичного аудио, декодер 4075 вторичного аудио, декодер 4076 текстовых субтитров, процессор 4080 изображений, запоминающее устройство 4090 плоскости первичного видео, запоминающее устройство 4091 плоскости вторичного видео, запоминающее устройство 4092 PG-плоскости, запоминающее устройство 4093 IG-плоскости, запоминающее устройство 4094 плоскости изображений и аудиомикшер 4095.

Модуль 4010 депакетирования источников считывает исходные пакеты из буфера 3721 считывания, извлекает TS-пакеты из считанных исходных пакетов и передает TS-пакеты в PID-фильтр 4040. Более того, модуль 4010 депакетирования источников синхронизирует время передачи со временем, показанным посредством ATS каждого исходного пакета. В частности, модуль 4010 депакетирования источников сначала отслеживает значение ATC, сформированного посредством ATC-счетчика 4020. В этом случае значение ATC зависит от ATC-счетчика 4020 и увеличивается в соответствии с импульсом синхросигнала из первого синхросигнала 4030 на 27 МГц. Затем в момент, когда значение ATC совпадает с ATS исходного пакета, модуль 4010 депакетирования источников передает TS-пакеты, извлеченные из исходного пакета, в PID-фильтр 4040. Посредством такого регулирования времени передачи средняя скорость передачи TS-пакетов из модуля 4010 депакетирования источников в PID-фильтр 4040 не превышает значение R_TS, указанное посредством системной скорости 2211 в файле 231 информации о двумерных клипах, показанном на фиг.231.

PID-фильтр 4040 сначала отслеживает PID, который включает в себя каждый TS-пакет, выводимый посредством модуля 4010 депакетирования источников. Когда PID совпадает с PID, заранее указываемым посредством модуля 3735 управления воспроизведением, PID-фильтр 4040 выбирает TS-пакет и передает его в декодер 4070-4075 соответствующий декодированию элементарного потока, указанного посредством PID (декодер 4076 текстовых субтитров, тем не менее, исключается). Например, если PID равен 0x1011, TS-пакеты передаются в декодер 4070 первичного видео. TS-пакеты с PID в рамках 0x1B00-0x1B1F, 0x1100-0x111F, 0x1A00-0x1A1F, 0x1200-0x121F и 0x1400-0x141F передаются в декодер 4071 вторичного видео, декодер 4074 первичного аудио, декодер 4075 вторичного аудио, PG-декодер 4072 и IG-декодер 4073, соответственно.

PID-фильтр 4040 дополнительно обнаруживает PCR из TS-пакетов с использованием PID TS-пакетов. При каждом обнаружении PID-фильтр 4040 задает значение STC-счетчика 4050 равным предварительно определенному значению. Далее, значение счетчика 4050 STC увеличивается в соответствии с импульсом синхросигнала для второго синхросигнала 4060 на 27 МГц. Помимо этого значение, равным которому задан счетчик 4050 STC, заранее указывается в PID-фильтр 4040 из модуля 3735 управления воспроизведением. Декодеры 4070-4076 используют значение STC-счетчика 4050 в качестве STC. В частности, декодеры 4070-4076 сначала восстанавливают TS-пакеты, принимаемые из PID-фильтра 4040, в PES-пакеты. Затем декодеры 4070-4076 регулируют синхронизацию декодирования данных, включенных в рабочие PES-данные, в соответствии с временами, указываемыми посредством PTS или DTS, включенных в PES-заголовки.

Декодер 4070 первичного видео, как показано на фиг.40, включает в себя буфер 4001 транспортных потоков (TB), буфер 4002 мультиплексирования (MB), буфер 4003 элементарных потоков (EB), декодер 4004 сжатого видео (DEC) и буфер 4005 декодированных изображений (DPB).

TB 4001, MB 4002 и EB 4003 являются буферными запоминающими устройствами и используют область запоминающего элемента, внутренне предоставленного в декодере 4070 первичного видео. Альтернативно, некоторые или все буферные запоминающие устройства могут разделяться на дискретные запоминающие элементы. TB 4001 сохраняет TS-пакеты, принимаемые из PID-фильтра 4040, как есть. MB 4002 сохраняет PES-пакеты, восстановленные из TS-пакетов, сохраненных в TB 4001. Следует отметить, что, когда TS-пакеты передаются из TB 4001 в MB 4002, TS-заголовок удаляется из каждого TS-пакета. EB 4003 извлекает кодированные VAU из PES-пакетов и сохраняет VAU. VAU включает в себя сжатое изображение, т.е. I-изображение, B-изображение или P-изображение. Следует отметить, что, когда данные передаются из MB 4002 в EB 4003, PES-заголовок удаляется из каждого PES-пакета.

DEC 4004 является аппаратным декодером специально для декодирования сжатых изображений и состоит из LSI, которая включает в себя, в частности, функцию, чтобы ускорять декодирование. DEC 4004 декодирует изображение из каждой VAU в EB 4003 во время, показанное посредством DTS, включенной в исходный PES-пакет. DEC 4004 также может обращаться к информации 1250 переключения декодирования, показанной на фиг.12, чтобы декодировать изображения из каждой VAU последовательно, независимо от DTS. Во время декодирования DEC 4004 сначала анализирует заголовок VAU, чтобы указывать сжатое изображение, способ кодирования со сжатием и атрибут потока, сохраненные в VAU, выбирая способ декодирования в соответствии с этой информацией. Способы кодирования со сжатием включают в себя, например, MPEG-2, MPEG-4 AVC и VC1. Кроме того, DEC 4004 передает декодированное несжатое изображение в DPB 4005.

Аналогично TB 4001, MB 4002 и EB 4003, DPB 4005 является буферным запоминающим устройством, которое использует область встроенного запоминающего элемента в декодере 4070 первичного видео. Альтернативно, DPB 4005 может находиться в запоминающем элементе, отдельном от других буферных запоминающих устройств 4001, 4002 и 4003. DPB 4005 временно сохраняет декодированные изображения. Когда P-изображение или B-изображение должно быть декодировано посредством DEC 4004, DPB 4005 извлекает опорные изображения, в ответ на инструкцию из DEC 4004, из сохраненных декодированных изображений. DPB 4005 затем предоставляет опорные изображения в DEC 4004. Кроме того, DPB 4005 записывает сохраненные изображения в запоминающее устройство 4090 плоскости первичного видео во время, показанное посредством PTS, включенной в исходные PES-пакеты.

Декодер 4071 вторичного видео включает в себя структуру, идентичную структуре декодера 4070 первичного видео. Декодер 4071 вторичного видео сначала декодирует TS-пакеты потока вторичного видео, принимаемого из PID-фильтра 4040, в несжатые изображения. Затем декодер 4071 вторичного видео записывает результирующие несжатые изображения в запоминающее устройство 4091 плоскости вторичного видео во время, показанное посредством PTS, включенных в PES-пакеты.

PG-декодер 4072 декодирует TS-пакеты, принимаемые из PID-фильтра 4040, в несжатые графические данные и записывает результирующие несжатые графические данные в запоминающее устройство 4092 PG-плоскости во время, показанное посредством PTS, включенных в PES-пакеты. В частности, PG-декодер 4072 сначала декодирует ODS, принадлежащий каждому набору для отображения в PG-потоке, в графические объекты и записывает графические объекты в буфер объектов. Затем PG-декодер 4072 считывает графический объект из буфера объектов и записывает его в запоминающее устройство плоскости. В частности, PG-декодер 4072 использует конвейер, чтобы одновременно выполнять процессы (i) записи графического объекта в буфер объектов и (ii) считывания другого графического объекта из буфера объектов и записи другого графического объекта в запоминающее устройство плоскости. PG-декодер 4072 тем самым может поддерживать точную синхронизацию с другими декодерами, такими как декодер 4070 первичного видео.

IG-декодер 4073 декодирует TS-пакеты, принимаемые из PID-фильтра 4040, в несжатые графические данные и записывает результирующие несжатые графические данные в запоминающее устройство 4093 IG-плоскости во время, показанное посредством PTS, включенных в PES-пакеты. Подробности относительно этих процессов являются идентичными PG-декодеру 4072.

Декодер 4074 первичного аудио сначала сохраняет TS-пакеты, принимаемые из PID-фильтра 4040, в буфер, предусмотренный в нем. Затем декодер 4074 первичного аудио удаляет TS-заголовок и PES-заголовок из каждого TS-пакета в буфере и декодирует оставшиеся данные в несжатые LPCM-аудиоданные. Кроме того, декодер 4074 первичного аудио передает полученные в результате аудиоданные в аудиомикшер 4095 во время, показанное посредством PTS, включенной в исходный PES-пакет. Декодер 4074 первичного аудио выбирает способ декодирования для сжатых аудиоданных в соответствии со способом кодирования со сжатием и атрибутами потока для потока первичного аудио, включенного в TS-пакеты. Способы кодирования со сжатием включают в себя, например, AC-3 и DTS.

Декодер 4075 вторичного аудио имеет структуру, идентичную структуре декодера 4074 первичного аудио. Декодер 4075 вторичного аудио сначала восстанавливает PES-пакеты из TS-пакетов потока вторичного аудио, принимаемого из PID-фильтра 4040, и затем декодирует данные, включенные в рабочие PES-данные, в несжатые LPCM-аудиоданные. Затем декодер 4075 вторичного аудио передает несжатые LPCM-аудиоданные в аудиомикшер 4095 во времена, показанные посредством PTS, включенных в PES-заголовки. Декодер 4075 вторичного аудио выбирает способ декодирования для сжатых аудиоданных в соответствии со способом кодирования со сжатием и атрибутами потока для потока вторичного аудио, включенного в TS-пакеты. Способы кодирования со сжатием включают в себя, например, Dolby Digital Plus и DTS-HD LBR.

Как показано на фиг.40, декодер 4076 текстовых субтитров включает в себя текстовый декодер (DEC) 4077 и буфер 4078 битовой карты. DEC 4077 является аппаратным декодером специально для процессов декодирования и рендеринга строк текстовых символов и состоит из LSI, который включает в себя, в частности, функцию, чтобы ускорять эти процессы. DEC 4077 сначала считывает каждую запись текстовых данных из потока текстовых субтитров в буфере 3723 предварительной загрузки и интерпретирует информацию стиля. Затем в соответствии с информацией стиля, DEC 4077 использует набор шрифтов в буфере 3724 шрифтов, чтобы декодировать текстовую информацию в данные битовой карты и записывать данные битовой карты в буфер 4078 битовой карты. Буфер 4078 битовой карты является буферным запоминающим устройством, которое использует область в запоминающем элементе, внутреннюю для декодера 4076 текстовых субтитров. Буфер 4078 битовой карты передает соответствующие данные битовой карты в запоминающее устройство 4092 PG-плоскости во время, указанное посредством PTS, включенной в каждую запись текстовых данных.

Когда одна запись текстовых данных представляет строку текстовых символов из n_C символов (буквы n_C представляют целое число, превышающее или равное 1), то время T_process, требуемое для DEC 4077, чтобы декодировать данные битовой карты из записи текстовых данных и записывать символы в запоминающее устройство 4092 PG-плоскости, выражается посредством следующего уравнения, которое использует скорость R_red рендеринга текстовых символов посредством DEC 4077 и скорость R_tr передачи данных из буфера 4078 битовой карты в запоминающее устройство 4092 PG-плоскости: T_process=n_C/R_red+n_C/R_tr. Например, если скорость R_red рендеринга и скорость R_tr передачи данных составляют 20 символов в секунду, то время T_process, требуемое для того, чтобы записывать 20 символов (n_C=20) в запоминающее устройство 4092 PG-плоскости, равно 20/20+20/20=2 секунды. Соответственно, если время T_process ограничено, например, двумя секундами или менее при использовании вышеприведенного уравнения, то объем данных для одной записи текстовых данных может быть ограничен. Соответственно, декодер 4076 текстовых субтитров может легко быть реализован.

Аудиомикшер 4095 принимает несжатые аудиоданные как из декодера 4074 первичного аудио, так и из декодера 4075 вторичного аудио и затем смешивает принимаемые данные. Аудиомикшер 4095 также передает синтезированный звук, получающийся посредством смешения аудиоданных, например, во внутреннем динамике 103A дисплейного устройства 103.

Процессор 4080 изображений принимает графические данные, т.е. растровые данные PNG или JPEG, из модуля 3734 выполнения программ. После приема графических данных процессор 4080 изображений подготавливает посредством рендеринга графические данные и записывает графические данные в запоминающее устройство 4094 плоскости изображений.

Структура устройства трехмерного воспроизведения

При воспроизведении содержимого трехмерных видеоизображений из BD-ROM-диска 101 в режиме трехмерного воспроизведения устройство 102 воспроизведения работает как устройство трехмерного воспроизведения. Фундаментальная часть структуры устройства является идентичной устройству двумерного воспроизведения, показанному на фиг.37 и 40. Следовательно, ниже приводится описание секций структуры устройства двумерного воспроизведения, которые укрупнены или модифицированы. Подробности относительно фундаментальных частей устройства трехмерного воспроизведения могут быть обнаружены в вышеприведенном описании устройства двумерного воспроизведения. Устройство трехмерного воспроизведения также использует структуру, идентичную структуре устройства двумерного воспроизведения, для обработки воспроизведения по списку для двумерного воспроизведения. Соответственно, подробности относительно этой структуры могут быть обнаружены в описании устройства двумерного воспроизведения. Последующее описание предполагает обработку воспроизведения трехмерных видеоизображений в соответствии с файлами списков для трехмерного воспроизведения, т.е. обработку воспроизведения по списку для трехмерного воспроизведения.

Фиг.41 является функциональной блок-схемой устройства 4100 трехмерного воспроизведения. Устройство 4100 трехмерного воспроизведения включает в себя BD-ROM-накопитель 4101, модуль 4102 воспроизведения и модуль 4103 управления. Модуль 4102 воспроизведения включает в себя переключатель 4120, первый буфер 4121 считывания, второй буфер 4122 считывания, буфер 4123 предварительной загрузки, буфер 4124 шрифтов, декодер 4125 системных целевых объектов и сумматор 4126 плоскостей. Модуль 4103 управления включает в себя запоминающее устройство 4131 динамических сценариев, запоминающее устройство 4132 статических сценариев, процессор 4133 пользовательских событий, модуль 4134 выполнения программ, модуль 4135 управления воспроизведением и модуль 4136 хранения переменных проигрывателя. Модуль 4102 воспроизведения и модуль 4103 управления реализованы на различных интегральных схемах, но альтернативно могут быть реализованы на одной интегральной схеме. В частности, буфер 4123 предварительной загрузки, буфер 4124 шрифтов, запоминающее устройство 4131динамических сценариев, запоминающее устройство 4132 статических сценариев, процессор 4133 пользовательских событий и модуль 4134 выполнения программ имеют идентичную структуру с устройством двумерного воспроизведения, показанным на фиг.37. Соответственно, их подробности могут быть обнаружены в вышеприведенном описании устройства двумерного воспроизведения.

Когда инструктировано посредством модуля 4134 выполнения программ или другого модуля, чтобы выполнять обработку воспроизведения по списку для трехмерного воспроизведения, модуль 4135 управления воспроизведением считывает PI из файла списков для трехмерного воспроизведения, сохраненного в запоминающем устройстве 4132 статических сценариев, по порядку, задавая считанный PI в качестве текущего PI. Каждый раз, когда модуль 4135 управления воспроизведением задает текущий PI, он задает рабочий режим для декодера 4125 системных целевых объектов и сумматора 4126 плоскостей в соответствии с STN-таблицей PI и STN-таблицей SS в файле списков для трехмерного воспроизведения. В частности, модуль 4135 управления воспроизведением выбирает PID элементарного потока для декодирования и передает PID, вместе с информацией атрибутов, необходимой для декодирования элементарного потока, в декодер 4125 системных целевых объектов. Если PG-поток, IG-поток или поток текстовых субтитров включаются в элементарный поток, указываемый посредством выбранного PID, модуль 4135 управления воспроизведением указывает идентификатор 3201 опорного смещения и значение 3202 регулирования смещения, выделяемое потоковым данным, задавая идентификатор 3201 опорного смещения и значение 3202 регулирования смещения для SPRM(27) и SPRM(28) в модуле 4136 хранения переменных проигрывателя. Модуль 4135 управления воспроизведением также выбирает режим представления каждого фрагмента данных плоскости в соответствии со смещением в ходе отображения всплывающего меню 3311, указываемым посредством STN-таблицы SS, указывая выбранный режим представления в декодер 4125 системных целевых объектов и сумматор 4126 плоскостей.

Затем, в соответствии с текущим PI, модуль 4135 управления воспроизведением указывает диапазон LBN в группе секторов, записанной в экстент SS, который должен считываться в BD-ROM-накопитель 4101 через процедуры в описании по фиг.24E. Между тем, модуль 4135 управления воспроизведением обращается к начальным точкам экстентов в файле информации о клипах, сохраненном в запоминающем устройстве 4132 статических сценариев, чтобы формировать информацию, указывающую границу блоков данных в каждом экстенте SS. Эта информация указывает, например, число исходных пакетов с начала экстента SS до каждой границы. Модуль 4135 управления воспроизведением затем передает эту информацию в переключатель 4120.

Модуль 4136 хранения переменных проигрывателя включает в себя SPRM, показанные на фиг.38, аналогично модулю 3736 хранения переменных проигрывателя в устройстве двумерного воспроизведения. Тем не менее, в отличие от фиг.38, SPRM(24) включает в себя первый флаг, и SPRM(25) включает в себя второй флаг, как показано на фиг.36. В этом случае, когда SPRM(24) равно "0", устройство 102 воспроизведения поддерживает только воспроизведение двумерных видеоизображений, а когда SPRM(24) равно "1", устройство 102 воспроизведения также поддерживает воспроизведение трехмерных видеоизображений. Устройство воспроизведения находится в L/R-режиме, когда SPRM(25) равно "0", и находится в режиме глубины, когда SPRM(25) равно "1".

Кроме того, в модуле 4136 хранения переменных проигрывателя, в отличие от фиг.38, SPRM(27) включает в себя область хранения для идентификатора опорного смещения для каждой графической плоскости, а SPRM(28) включает в себя область хранения для значения регулирования смещения для каждой графической плоскости. Фиг.42 является таблицей, показывающей структуру данных SPRM(27) и SPRM(28). Как показано на фиг.42, SPRM(27) включает в себя область для сохранения четырех типов идентификаторов 4210-4213 опорного смещения. Эти идентификаторы 4210, 4211, 4212 и 4213 опорного смещения, соответственно, предназначены для PG-плоскости (PG_ref_offset_id), IG-плоскости (IG_ref_offset_id), плоскости вторичного видео (SV_ref_offset_id) и плоскости изображений (IM_ref_offset_id). SPRM(28) включает в себя область для сохранения четырех типов значений 4220-4223 регулирования смещения. Эти значения 4220, 4221, 4222 и 4223 регулирования смещения, соответственно, предназначены для PG-плоскости (PG_offset_adjustment), IG-плоскости (IG_offset_adjustment), плоскости вторичного видео (SV_offset_adjustment) и плоскости изображений (IM_offset_adjustment).

Снова ссылаясь на фиг.41, BD-ROM-накопитель 4101 включает в себя структурные элементы, идентичные структурным элементам BD-ROM-накопителя 3701 в устройстве двумерного воспроизведения, показанном на фиг.37. При приеме из модуля 4135 управления воспроизведением индикатора диапазона LBN BD-ROM-накопитель 4101 считывает данные из секторов на BD-ROM-диске 101, указанных посредством диапазона. В частности, группа исходных пакетов, принадлежащая экстенту в файле SS, т.е. принадлежащая экстенту SS, передается из BD-ROM-накопителя 4101 в переключатель 4120. Каждый экстент SS включает в себя одну или более пар из блока данных для воспроизведения базового вида и зависимого вида, как показано на фиг.19. Эти блоки данных должны быть переданы параллельно в различные буферы 4121 и 4122 считывания. Соответственно, BD-ROM-накопитель 4101 должен иметь, по меньшей мере, такую же скорость доступа, как BD-ROM-накопитель 3701 в устройстве двумерного воспроизведения.

Переключатель 4120 принимает экстент SS из BD-ROM-накопителя 4101. С другой стороны, переключатель 4120 принимает, из модуля 4135 управления воспроизведением, информацию, указывающую границу в каждом блоке данных, включенном в экстент SS, т.е. число исходных пакетов с начала экстента SS до каждой границы. Переключатель 4120 затем обращается к этой информации, (i) чтобы извлекать экстенты для воспроизведения базового вида из каждого экстента SS и передавать экстенты в первый буфер 4121 считывания, и (ii) чтобы извлекать экстенты для воспроизведения зависимого вида и передавать экстенты во второй буфер 4122 считывания.

Первый буфер 4121 считывания и второй буфер 4122 считывания являются буферными запоминающими устройствами, которые используют запоминающий элемент в модуле 4102 воспроизведения. В частности, различные области в одном запоминающем элементе используются как буферы 4121 и 4122 считывания. Альтернативно, различные запоминающие элементы могут использоваться как буферы 4121 и 4122 считывания. Первый буфер 4121 считывания принимает экстенты для воспроизведения базового вида из переключателя 4120 и сохраняет эти экстенты. Второй буфер 4122 считывания принимает экстенты для воспроизведения зависимого вида из переключателя 4120 и сохраняет эти экстенты.

При обработке воспроизведения по списку для трехмерного воспроизведения декодер 4125 системных целевых объектов сначала принимает PID для потоковых данных, которые должны быть декодированы, а также информацию атрибутов, необходимую для декодирования потоковых данных, из модуля 4135 управления воспроизведением. Декодер 4125 системных целевых объектов затем считывает исходные пакеты поочередно из экстентов для воспроизведения базового вида, сохраненных в первом буфере 4121 считывания, и экстентов для воспроизведения зависимого вида, сохраненных во втором буфере 4122 считывания. Затем декодер 4125 системных целевых объектов отделяет, из каждого исходного пакета, элементарные потоки, указываемые посредством PID, принимаемых из модуля 4135 управления воспроизведением, и декодирует элементарные потоки. Декодер 4125 системных целевых объектов затем записывает декодированные элементарные потоки во внутреннее запоминающее устройство плоскости согласно типу этого. Видеопоток для воспроизведения базового вида записывается в запоминающее устройство левой видеоплоскости, а видеопоток для воспроизведения зависимого вида записывается в запоминающее устройство правой видеоплоскости. С другой стороны, поток вторичного видео записывается в запоминающее устройство плоскости вторичного видео, IG-поток - в запоминающее устройство IG-плоскости, а PG-поток - в запоминающее устройство PG-плоскости. Когда поток вторичного видео состоит из пары видеопотока для воспроизведения базового вида и зависимого вида, отдельные запоминающие устройства плоскости вторичного видео подготавливаются к фрагментам данных плоскости для просмотра левым глазом и правым глазом. Декодер 4125 системных целевых объектов также считывает каждую запись текстовых данных из буфера 4123 предварительной загрузки и использует набор шрифтов, сохраненный в буфере 4124 шрифтов, чтобы декодировать записи текстовых данных в данные битовой карты и записывать данные битовой карты в запоминающее устройство PG-плоскости. Декодер 4125 системных целевых объектов дополнительно подготавливает посредством рендеринга графические данные из модуля 4134 выполнения программ, такие как растровые данные JPEG, PNG и т.д., и записывает эти данные в запоминающее устройство плоскости изображений.

Декодер 4125 системных целевых объектов ассоциирует режим вывода данных плоскости из запоминающих устройств левой и правой видеоплоскости с режимом представления B-D и режимом представления B-B следующим образом. Когда модуль 4135 управления воспроизведением указывает режим представления B-D, декодер 4125 системных целевых объектов поочередно выводит данные плоскости из запоминающих устройств левой и правой видеоплоскости. С другой стороны, когда модуль 4135 управления воспроизведением указывает режим представления B-B, декодер 4125 системных целевых объектов выводит данные плоскости только из запоминающего устройства левой или правой видеоплоскости два раза в расчете на каждый кадр при сохранении рабочего режима в режиме трехмерного воспроизведения.

Когда модуль 4135 управления воспроизведением указывает режим 1 плоскости+смещения, то каждый раз, когда декодер 4125 системных целевых объектов считывает VAU в начале каждой видеопоследовательности из видеопотока для воспроизведения зависимого вида, декодер 4125 системных целевых объектов считывает метаданные 1310 смещения из VAU. В секции воспроизведения видеопоследовательности декодер 4125 системных целевых объектов сначала указывает PTS, сохраненную в идентичном PES-пакете вместе с каждой VAU, и указывает номер кадра, представленный посредством данных сжатых изображений VAU. Декодер 4125 системных целевых объектов затем считывает информацию смещения, ассоциированную с номером кадра, из метаданных смещения и передает информацию смещения в сумматор 4126 плоскостей во время, указываемое посредством указанной PTS.

Сумматор 4126 плоскостей принимает каждый тип данных плоскости из декодера 4125 системных целевых объектов и накладывает эти фрагменты данных плоскости друг на друга, чтобы создавать один комбинированный кадр или поле. В частности, в L/R-режиме данные левой видеоплоскости представляют видеоплоскость для просмотра левым глазом, а данные плоскости для просмотра правым глазом представляют видеоплоскость для просмотра правым глазом. Соответственно, сумматор 4126 плоскостей накладывает другие данные плоскости, представляющие вид для просмотра левым глазом, на данные левой видеоплоскости, и накладывает другие данные плоскости, представляющие вид для просмотра правым глазом, на данные правой видеоплоскости. С другой стороны, в режиме глубины данные правой видеоплоскости представляют карту глубины для видеоплоскости, представляющей данные левой видеоплоскости. Соответственно, сумматор 4126 плоскостей сначала формирует пару фрагментов для просмотра левым глазом и правым глазом для данных видеоплоскости из соответствующих фрагментов данных видеоплоскости. Затем сумматор 4126 плоскостей выполняет обработку комбинирования, идентичную обработке в L/R-режиме.

При приеме индикатора относительно режима 1 плоскости + смещения или режима 1 плоскости + нулевого смещения из модуля 4135 управления воспроизведением в качестве режима представления для плоскости вторичного видео, PG-плоскости, IG-плоскости или плоскости изображений сумматор 4126 плоскостей выполняет управление смещением для данных плоскости, принимаемых из декодера 4125 системных целевых объектов. Пара данных плоскости для просмотра левым глазом и данных плоскости для просмотра правым глазом тем самым формируется.

В частности, когда режим 1 плоскости + смещения указывается, сумматор 4126 плоскостей сначала считывает один из идентификаторов 4210-4213 опорного смещения, который соответствует каждой графической плоскости, из SPRM(27) в модуле 4136 хранения переменных проигрывателя. Затем сумматор 4126 плоскостей обращается к информации смещения, принимаемой из декодера 4125 системных целевых объектов, чтобы извлекать информацию смещения, а именно, направление 1322 смещения и значение 1323 смещения, принадлежащего последовательности 1312 смещений, указываемой посредством каждого идентификатора 4210-4213 опорного смещения. Затем сумматор 4126 плоскостей считывает одно из значений 4220-4223 регулирования смещения, которое соответствует каждой графической плоскости, из SPRM(28) в модуле 4136 хранения переменных проигрывателя и прибавляет каждое значение регулирования смещения к соответствующему значению смещения. Сумматор 4126 плоскостей затем использует каждое значение смещения, чтобы выполнять управление смещением для соответствующей графической плоскости.

С другой стороны, когда режим 1 плоскости+нулевого смещения указывается, сумматор 4126 плоскостей не обращается к SPRM(27) или SPRM(28), а вместо этого выполняет управление смещением для каждой графической плоскости со значением смещения "0". Соответственно, идентичные данные плоскости используются для графических плоскостей для просмотра левым глазом и правым глазом и комбинируются с другими фрагментами данных плоскости.

Обработка воспроизведения по списку для трехмерного воспроизведения

Фиг.43 является блок-схемой последовательности операций способа обработки воспроизведения по списку для трехмерного воспроизведения посредством модуля 4135 управления воспроизведением. Обработка воспроизведения по списку для трехмерного воспроизведения запускается посредством считывания посредством модуля 4135 управления воспроизведением файла списков для трехмерного воспроизведения из запоминающего устройства 4132 статических сценариев.

На этапе S4301 модуль 4135 управления воспроизведением сначала считывает один PI из основного пути в файле списков для трехмерного воспроизведения и затем задает PI в качестве текущего PI. Затем из STN-таблицы текущего PI модуль 4135 управления воспроизведением выбирает PID элементарных потоков, которые должны воспроизводиться, и указывает информацию атрибутов, необходимую для декодирования элементарных потоков. Модуль 4135 управления воспроизведением дополнительно выбирает, из элементарных потоков, соответствующих текущему PI в STN-таблице SS в файле списков для трехмерного воспроизведения, PID элементарных потоков, которые должны добавляться к элементарным потокам, которые должны воспроизводиться, и модуль 4135 управления воспроизведением указывает информацию атрибутов, необходимую для декодирования этих элементарных потоков. Выбранные PID и информация атрибутов указываются для декодера 4125 системных целевых объектов. Модуль 4135 управления воспроизведением дополнительно указывает, из подпутей в файле списков для трехмерного воспроизведения, SUB_PI, к которому следует обращаться одновременно с текущим PI, указывая этот SUB_PI в качестве текущего SUB_PI. После этого обработка переходит к этапу S4302.

На этапе S4302 модуль 4135 управления воспроизведением выбирает режим отображения для каждого фрагмента данных плоскости на основе смещения в ходе отображения всплывающего меню, указываемого посредством STN-таблицы SS, и указывает режим отображения в декодер 4125 системных целевых объектов и сумматор 4126 плоскостей. В частности, когда значение смещения в ходе отображения всплывающего меню равно "0", режим представления B-D выбирается в качестве режима представления в видеоплоскости, а режим 1 плоскости+смещения выбирается в качестве режима представления для графической плоскости. С другой стороны, когда значение смещения в ходе отображения всплывающего меню равно "1", режим представления B-B выбирается в качестве режима представления в видеоплоскости, а режим 1 плоскости+нулевого смещения выбирается в качестве режима представления для графической плоскости. После этого обработка переходит к этапу S4303.

На этапе S4303 модуль 4135 управления воспроизведением проверяет то, выбран режим 1 плоскости + смещения или режим 1 плоскости + нулевого смещения в качестве режима представления графической плоскости. Если режим 1 плоскости + смещения выбран, обработка переходит к этапу S4304. Если режим 1 плоскости+нулевого смещения выбран, обработка переходит к этапу S4305.

На этапе S4304 модуль 4135 управления воспроизведением обращается к STN-таблице текущего PI и извлекает PG-поток, IG-поток или поток текстовых субтитров из элементарных потоков, указываемых посредством выбранных PID. Кроме того, модуль 4135 управления воспроизведением указывает идентификатор опорного смещения и значение регулирования смещения, выделяемое фрагментам потоковых данных, задавая идентификатор опорного смещения и значение регулирования смещения для SPRM(27) и SPRM(28) в модуле 4136 хранения переменных проигрывателя. После этого обработка переходит к этапу S4305.

На этапе S4305 модуль 4135 управления воспроизведением считывает ссылочную информацию о клипах, PTS #1, указывающую время IN1 начала воспроизведения, и PTS #2, указывающую время OUT1 окончания воспроизведения, из текущего PI и SUB_PI. Из этой ссылочной информации о клипах указывается файл информации о клипах, соответствующий каждому из файла 2D и файла DEP, который должен воспроизводиться. После этого обработка переходит к этапу S4306.

На этапе S4306 в отношении карты вхождений в каждом из файлов информации о клипах, указываемых на этапе S4305, модуль 4135 управления воспроизведением извлекает SPN #1 и SPN #2 в файле 2D и SPN #11 и SPN #12 в файле DEP, соответствующие PTS #1 и PTS #2. Как описано со ссылкой на фиг.24, при обращении к начальным точкам экстентов каждого файла информации о клипах, модуль 4135 управления воспроизведением дополнительно вычисляет, из SPN #1 и SPN #11, число исходных пакетов SPN #21 с начала файла SS до позиции начала воспроизведения. Модуль 4135 управления воспроизведением также вычисляет, из SPN #2 и SPN #12, число исходных пакетов SPN #22 с начала файла SS до позиции окончания воспроизведения. В частности, модуль 4135 управления воспроизведением сначала извлекает, из SPN, показанных посредством начальных точек экстентов файлов информации о двумерных клипах, значение "Am", которое является наибольшим значением, меньшим или равным SPN #1, и извлекает, из SPN, показанных посредством начальных точек экстентов файлов информации о клипах для воспроизведения зависимого вида, значение "Bm", которое является наибольшим значением, меньшим или равным SPN #11. Затем модуль 4135 управления воспроизведением получает сумму извлеченных SPN Am+Bm и задает сумму как SPN #21. Затем модуль 4135 управления воспроизведением извлекает, из SPN, показанных посредством начальных точек экстентов файлов информации о двумерных клипах, значение "An", которое является наименьшим значением, которое превышает SPN #2. Модуль 4135 управления воспроизведением также извлекает, из SPN начальных точек экстентов файлов информации о клипах для воспроизведения зависимого вида, значение "Bn", которое является наименьшим значением, которое превышает SPN #12. Затем модуль 4135 управления воспроизведением получает сумму извлеченных SPN+Bn и задает сумму как SPN #22. После этого обработка переходит к этапу S4307.

На этапе S4307 модуль 4135 управления воспроизведением преобразует SPN #21 и SPN #22, определенные на этапе S4306, в пару чисел секторов N1 и N2. В частности, модуль 4135 управления воспроизведением сначала получает произведение SPN #21 и объема данных в расчете на исходный пакет, т.е. 192 байта. Затем модуль 4135 управления воспроизведением делит это произведение на объем данных в расчете на сектор, т.е. 2048 байтов: SPN #21×192/2048. Результирующее частное является идентичным числу секторов N1 с начала файла SS до элемента непосредственно перед позицией начала воспроизведения. Аналогично, из SPN #22, модуль 4135 управления воспроизведением вычисляет SPN #22×192/2048. Результирующее частное является идентичным числу секторов N2 с начала файла SS до элемента непосредственно перед позицией окончания воспроизведения. После этого обработка переходит к этапу S4308.

На этапе S4308 модуль 4135 управления воспроизведением указывает, из чисел секторов N1 и N2, полученных на этапе S4307, LBN начала и конца группы экстентов SS, которая должна воспроизводиться. В частности, в отношении записи файла для файла SS, который должен воспроизводиться, модуль 4135 управления воспроизведением подсчитывает с начала группы секторов, в которую группа экстентов SS записана, так что LBN (N1+1)-вого сектора = LBN #1, а LBN (N2+1)-вого сектора = LBN #2. Модуль 4135 управления воспроизведением дополнительно указывает диапазон от LBN #1 до LBN #2 в BD-ROM-накопитель 4101. Как результат, из группы секторов в указанном диапазоне, группа исходных пакетов, принадлежащая группе экстентов SS, считывается в совмещенных единицах. После этого обработка переходит к этапу S4309.

На этапе S4309 при обращении к начальным точкам экстентов файла информации о клипах, используемого на этапе S4306, модуль 4135 управления воспроизведением формирует информацию (в дальнейшем называемую "информацией границы блока данных"), указывающую границу между блоками для воспроизведения зависимого вида и блоками данных для воспроизведения базового вида, включенными в группу экстентов SS, передавая информацию границы блока данных в переключатель 4120. В качестве конкретного примера, допустим, что SPN #21, указывающий позицию начала воспроизведения, является идентичным сумме SPN, указывающих начальные точки экстентов, An+Bn, и что SPN #22, указывающий позицию окончания воспроизведения, является идентичным сумме SPN, указывающих начальные точки экстентов, Am+Bm. В этом случае модуль 4135 управления воспроизведением получает последовательность разностей между SPN от соответствующих начальных точек экстентов, A(n+1)-An, B(n+1)-Bn, A(n+2)-A(n+1), B(n+2)-B(n+1), …, Am-A(m-1) и Bm-B(m-1), и передает последовательность в переключатель 4120 как информацию границы блока данных. Как показано на фиг.24E, эта последовательность указывает число исходных пакетов блоков данных, включенных в экстент SS. Переключатель 4120 подсчитывает, с нуля, число исходных пакетов экстентов SS, принимаемых из BD-ROM-накопителя 4101. Каждый раз, когда счетчик является идентичным разности между SPN, указываемыми посредством информации границы блока данных, переключатель 4120 переключает назначение вывода исходных пакетов между этими двумя буферами 4121 и 4122 считывания и сбрасывает счетчик до нуля. Как результат, {B(n+1)-Bn} исходных пакетов с начала экстента SS выводятся во второй буфер 4122 считывания как первый экстент для воспроизведения зависимого вида, и следующие {A(n+1)-An} исходных пакетов передаются в первый буфер 4121 считывания как первый экстент для воспроизведения базового вида. После этого экстенты для воспроизведения зависимого вида и экстенты для воспроизведения базового вида извлекаются из экстента SS поочередно аналогичным образом, чередуясь каждый раз, когда число исходных пакетов, принимаемых посредством переключателя 4120, равно разности между SPN, указываемыми посредством информации границы блока данных.

На этапе S4310 модуль 4135 управления воспроизведением проверяет то, остается или нет необработанный PI в основном пути. Когда необработанный PI остается, обработка повторяется с этапа S4301. Когда необработанных PI не остается, обработка завершается.

Декодер системных целевых объектов

Фиг.44 является функциональной блок-схемой декодера 4125 системных целевых объектов. Структурные элементы, показанные на фиг.446 отличаются от структурных элементов устройства двумерного воспроизведения, показанного на фиг.40, тем, что система ввода из буфера считывания в каждый из декодеров дублируется. С другой стороны, декодер первичного аудио, декодер вторичного аудио, декодер текстовых субтитров, аудиомикшер, процессор изображений и запоминающие устройства плоскостей являются идентичными означенным элементам в устройстве двумерного воспроизведения, показанном на фиг.40. Соответственно, из структурных элементов, показанных на фиг.44, ниже описываются элементы, которые отличаются от структурных элементов, показанных на фиг.40. Подробности относительно аналогичных структурных элементов могут быть обнаружены в описании по фиг.40. Кроме того, поскольку все видеодекодеры имеют аналогичную структуру, только структура декодера 4415 первичного видео описывается ниже. Это описание также допустимо для структуры других видеодекодеров.

Первый модуль 4411 депакетирования источников считывает исходные пакеты из первого буфера 4121 считывания. Первый модуль 4411 депакетирования источников дополнительно извлекает TS-пакеты, включенные в исходные пакеты, и передает TS-пакеты в первый PID-фильтр 4413. Второй модуль 4412 депакетирования источников считывает исходные пакеты из второго буфера 4122 считывания, помимо этого, извлекая TS-пакеты, включенные в исходные пакеты, и передавая TS-пакеты во второй PID-фильтр 4414. Каждый из модулей 4411 и 4412 депакетирования источников дополнительно синхронизирует время передачи TS-пакеты со временем, показанным посредством ATS каждого исходного пакета. Этот способ синхронизации является идентичным способу в модуле 4010 депакетирования источников, показанном на фиг.40. Соответственно, его подробности могут быть обнаружены в описании, предоставленном на фиг.40. При таком типе регулирования времени передачи, средняя скорость R_TS1 передачи TS-пакетов из первого модуля 4411 депакетирования источников в первый PID-фильтр 4413 не превышает системную скорость, указываемую посредством файла информации о двумерных клипах. Аналогично, средняя скорость R_TS2 передачи TS-пакетов из второго модуля 4412 депакетирования источников во второй PID-фильтр 4414 не превышает системную скорость, указываемую посредством файла информации о клипах для воспроизведения зависимого вида.

Первый PID-фильтр 4413 сравнивает PID каждого TS-пакета, принимаемого из первого модуля 4411 депакетирования источников, с выбранным PID. Модуль 4135 управления воспроизведением обозначает выбранный PID заранее в соответствии с STN-таблицей в файле списков для трехмерного воспроизведения. Когда два PID совпадают, первый PID-фильтр 4413 передает TS-пакеты в декодер, назначенный для PID. Например, если PID равен 0x1011, TS-пакеты передаются в TB(1) 4401 в декодере 4415 первичного видео. С другой стороны, TS-пакеты с PID в рамках 0x1B00-0x1B1F, 0x1100-0x111F, 0x1A00-0x1A1F, 0x1200-0x121F и 0x1400-0x141F передаются в декодер вторичного видео, декодер первичного аудио, декодер вторичного аудио, PG-декодер или IG-декодер, соответственно.

Второй PID-фильтр 4414 сравнивает PID каждого TS-пакета, принимаемого из второго модуля 4412 депакетирования источников, с выбранным PID. Модуль 4135 управления воспроизведением обозначает выбранный PID заранее в соответствии с STN-таблицей SS в файле списков для трехмерного воспроизведения. Когда два PID совпадают, второй PID-фильтр 4414 передает TS-пакеты в декодер, назначенный для PID. Например, если PID равен 0x1012 или 0x1013, TS-пакеты передаются в TB(2) 4408 в декодере 4408 первичного видео. С другой стороны, TS-пакеты с PID в рамках 0x1B20-0x1B3F, 0x1220-0x127F и 0x1420-0x147F передаются в декодер вторичного видео, PG-декодер или IG-декодер, соответственно.

Декодер 4415 первичного видео включает в себя TB(1) 4401, MB(1) 4402, EB(1) 4403, TB(2) 4408, MB(2) 4409, EB(2) 4410, переключатель 4406 буферов, DEC 4404, DPB 4405 и переключатель 4407 изображений. TB(1) 4401, MB(1) 4402, EB(1) 4403, TB(2) 4408, MB(2) 4409, EB(2) 4410 и DPB 4405 являются буферными запоминающими устройствами. Каждое из этих буферных запоминающих устройств использует область запоминающего элемента, включенного в декодер 4415 первичного видео. Альтернативно, некоторые или все эти буферные запоминающие устройства могут разделяться на различные запоминающие элементы.

TB(1) 4401 принимает TS-пакеты, которые включают в себя видеопоток для воспроизведения базового вида, из первого PID-фильтра 4413 и сохраняет TS-пакеты как есть. MB(1) 4402 сохраняет PES-пакеты, восстановленные из TS-пакетов, сохраненных в TB(1) 4401. TS-заголовки TS-пакетов удаляются на этой стадии. EB(1) 4403 извлекает и сохраняет кодированные VAU из PES-пакетов, сохраненных в MB(1) 4402. PES-заголовки PES-пакетов удаляются на этой стадии.

TB(2) 4408 принимает TS-пакеты, которые включают в себя видеопоток для воспроизведения зависимого вида, из второго PID-фильтра 4414 и сохраняет TS-пакеты как есть. MB(2) 4409 сохраняет PES-пакеты, восстановленные из TS-пакетов, сохраненных в TB(2) 4408. TS-заголовки TS-пакетов удаляются на этой стадии. EB(2) 4410 извлекает и сохраняет кодированные VAU из PES-пакетов, сохраненных в MB(2) 4409. PES-заголовки PES-пакетов удаляются на этой стадии.

Переключатель 4406 буферов передает заголовки VAU, сохраненных в EB(1) 4403 и EB(2) 4410, в ответ на запрос из DEC 4404. Кроме того, переключатель 4406 буферов передает данные сжатых изображений для VAU в DEC 4404 во времена, указываемые посредством DTS, включенных в исходные PES-пакеты. В этом случае DTS равны между парой изображений, принадлежащих одной трехмерной VAU между видеопотоком для воспроизведения базового вида и видеопотоком для воспроизведения зависимого вида. Соответственно, для пары VAU, которые имеют идентичную DTS, переключатель 4406 буферов сначала передает VAU, сохраненную в EB(1) 4403, в DEC 4404. Дополнительно, переключатель 4406 буферов может инструктировать DEC 4404 возвращать информацию 1250 переключения декодирования в VAU. В таком случае переключатель 4406 буферов может определять то, должен он передавать следующую VAU из EB(1) 4403 или из EB(2) 4410, посредством обращения к информации переключения декодирования.

Аналогично DEC 4004, показанному на фиг.40, DEC 4404 является аппаратным декодером специально для декодирования сжатых изображений и состоит из LSI, которая включает в себя, в частности, функцию, чтобы ускорять декодирование. DEC 4404 декодирует данные сжатых изображений, передаваемые из переключателя 4406 буферов, по порядку. Во время декодирования DEC 4404 сначала анализирует каждый заголовок VAU, чтобы указывать сжатое изображение, способ кодирования со сжатием и атрибут потока, сохраненные в VAU, выбирая способ декодирования в соответствии с этой информацией. Способы кодирования со сжатием включают в себя, например, MPEG-2, MPEG-4 AVC, MVC и VC1. Кроме того, DEC 4404 передает декодированное несжатое изображение в DPB 4405.

Каждый раз, когда DEC 4404 считывает VAU в начале каждой видеопоследовательности в видеопотоке для воспроизведения зависимого вида, DEC 4404 также считывает метаданные смещения из VAU. В секции воспроизведения видеопоследовательности, DEC 4404 сначала указывает PTS, сохраненную в идентичном PES-пакете вместе с каждой VAU, и указывает номер кадра, представленный посредством данных сжатых изображений VAU. DEC 4404 затем считывает информацию смещения, ассоциированную с номером кадра, из метаданных смещения и передает информацию смещения в сумматор 4126 плоскостей во время, указываемое посредством указанной PTS.

DPB 4405 временно сохраняет несжатые изображения, декодированные посредством DEC 4404. Когда DEC 4404 декодирует P-изображение или B-изображение, DPB 4405 извлекает опорные изображения из сохраненных несжатых изображений в ответ на запрос из DEC 4404 и предоставляет извлеченные опорные изображения в DEC 4404.

Переключатель 4407 изображений записывает несжатые изображения из DPB 4405 либо в запоминающее устройство 4420 левой видеоплоскости, либо в запоминающее устройство 4421 правой видеоплоскости во время, указанное посредством PTS, включенной в исходный PES-пакет. В этом случае PTS равны между изображением для воспроизведения базового вида и изображением для воспроизведения зависимого вида, принадлежащим одной трехмерной VAU. Соответственно, для пары изображений, которые имеют идентичную PTS и которые сохраняются посредством DPB 4405, переключатель 4407 изображений сначала записывает изображение для воспроизведения базового вида в запоминающее устройство 4420 левой видеоплоскости, и затем записывает изображение для воспроизведения зависимого вида в запоминающее устройство 4421 правой видеоплоскости.

Сумматоры плоскостей

Фиг.45 является функциональной блок-схемой сумматора 4126 плоскостей. Как показано на фиг.45, сумматор 4126 плоскостей включает в себя модуль 4510 формирования параллактического видео, переключатель 4520, четыре модуля 4531-4534 кадрирования и четыре сумматора 4541-4544.

Модуль 4510 формирования параллактического видео принимает данные 4501 левой видеоплоскости и данные 4502 правой видеоплоскости из декодера 4125 системных целевых объектов. В устройстве 102 воспроизведения в L/R-режиме данные 4501 левой видеоплоскости представляют видеоплоскость для просмотра левым глазом, а данные 4502 правой видеоплоскости представляют видеоплоскость для просмотра правым глазом. Здесь модуль 4510 формирования параллактического видео передает данные 4501 левой видеоплоскости и данные 4502 правой видеоплоскости как есть в переключатель 4520. С другой стороны, в устройстве 102 воспроизведения в режиме глубины данные 4501 левой видеоплоскости представляют видеоплоскость для двумерных видеоизображений, а данные 4502 правой видеоплоскости представляют карту глубины для двумерных видеоизображений. В этом случае модуль 4510 формирования параллактического видео сначала вычисляет бинокулярный параллакс для каждого элемента в двумерных видеоизображениях с использованием карты глубины. Затем модуль 4510 формирования параллактического видео обрабатывает данные 4501 левой видеоплоскости, чтобы сдвигать позицию представления каждого элемента в видеоплоскости для двумерных видеоизображений влево или вправо согласно вычисленному бинокулярному параллаксу. Это формирует пару видеоплоскостей, представляющую вид для просмотра левым глазом и вид для просмотра правым глазом. Более того, модуль 4510 формирования параллактического видео передает пару видеоплоскостей в переключатель 4520 как пару фрагментов данных левой видео- и правой видеоплоскости.

Когда модуль 4135 управления воспроизведением указывает режим представления B-D, переключатель 4520 передает данные 4501 левой видеоплоскости и данные 4502 правой видеоплоскости с одинаковой PTS в первый сумматор 4541 в данном порядке. Когда модуль 4135 управления воспроизведением указывает режим представления B-B, переключатель 4520 передает одно из данных 4501 левой видеоплоскости и данных 4502 правой видеоплоскости с одинаковой PTS два раза в расчете на каждый кадр в первый сумматор 4541, отбрасывая другой фрагмент данных плоскости.

Первый модуль 4531 кадрирования включает в себя структуру, идентичную структуре пары из модуля 4510 формирования параллактического видео и переключателя 4520. Эти структуры используются, когда данные плоскости вторичного видео являются парой из вида для просмотра левым глазом и вида для просмотра правым глазом. В частности, в устройстве 102 воспроизведения в режиме глубины модуль формирования параллактического видео в первом модуле 4531 кадрирования преобразует данные плоскости вторичного видео в пару фрагментов для просмотра левым глазом и правым глазом для данных плоскости. Когда модуль 4135 управления воспроизведением указывает режим представления B-D, фрагменты для просмотра левым глазом и правым глазом для данных плоскости поочередно передаются в первый сумматор 4541. С другой стороны, когда модуль 4135 управления воспроизведением указывает режим представления B-B, один из фрагментов для просмотра левым глазом и правым глазом для данных плоскости передается два раза в расчете на каждый кадр в первый сумматор 4541, а другой фрагмент данных плоскости отбрасывается.

Когда модуль 4135 управления воспроизведением указывает режим 1 плоскости+смещения, первый модуль 4531 кадрирования выполняет следующее управление смещением для данных 4503 плоскости вторичного видео. Первый модуль 4531 кадрирования сначала принимает информацию 4507 смещения из декодера 4125 системных целевых объектов. Здесь первый модуль 4531 кадрирования считывает идентификатор 4212 опорного смещения (SV_ref_offset_id), соответствующий плоскости вторичного видео, из SPRM(27) 4551 в модуле 4136 хранения переменных проигрывателя. Затем первый модуль 4531 кадрирования извлекает информацию смещения, принадлежащую последовательности смещений, указываемой посредством идентификатора опорного смещения, из информации 4507 смещения, принимаемой из декодера 4125 системных целевых объектов. Затем первый модуль 4531 кадрирования считывает значение 4222 регулирования смещения (SV_offset_adjustment), соответствующее плоскости вторичного видео, из SPRM(28) 4552 в модуле 4136 хранения переменных проигрывателя и прибавляет значение регулирования смещения к извлеченному значению смещения. После этого первый модуль 4531 кадрирования обращается к значению смещения, чтобы выполнять управление смещением для данных 4503 плоскости вторичного видео. Как результат, данные 4503 плоскости вторичного видео преобразуются в пару фрагментов данных плоскости вторичного видео, представляющих вид для просмотра левым глазом и вид для просмотра правым глазом, и эта пара поочередно выводится.

Модуль 4135 управления воспроизведением, в общем, обновляет значения SPRM(27) 4551 и SPRM(28) 4552 каждый раз, когда текущий PI изменяется. Дополнительно, модуль 4134 выполнения программ может устанавливать значения SPRM(27) 4551 и SPRM(28) 4552 в соответствии с кинообъектом или BD-J-объектом.

С другой стороны, когда модуль 4135 управления воспроизведением указывает режим 1 плоскости+нулевого смещения, первый модуль 4531 кадрирования не выполняет управление смещением, вместо этого выводя данные 4503 плоскости вторичного видео два раза как есть.

Аналогично, второй модуль 4532 кадрирования обращается к идентификатору 4210 опорного смещения (PG_ref_offset_id) для PG-плоскости и к значению 4220 регулирования смещения (PG_offset_adjustment), чтобы выполнять управление смещением для данных 4504 PG-плоскости. Третий модуль 4533 кадрирования обращается к идентификатору 4211 опорного смещения (IG_ref_offset_id) для IG-плоскости и к значению 4221 регулирования смещения (IG_offset_adjustment), чтобы выполнять управление смещением для данных 4505 IG-плоскости. Первый модуль 4534 кадрирования обращается к идентификатору 4213 опорного смещения (IM_ref_offset_id) для плоскости изображений и к значению 4223 регулирования смещения (IM_offset_adjustment), чтобы выполнять управление смещением для данных 4506 плоскости изображений.

Блок-схема последовательности операций способа управления смещением

Фиг.46 является блок-схемой последовательности операций способа управления смещением посредством модулей 4531-4534 кадрирования. Каждый из модулей 4531-4534 кадрирования начинает управление смещением при приеме информации 4507 смещения из декодера 4125 системных целевых объектов. В следующем примере, второй модуль 4532 кадрирования выполняет управление смещением для данных 4504 PG-плоскости. Другие модули 4531, 4533 и 4534 кадрирования выполняют аналогичную обработку, соответственно, для данных 4503 плоскости вторичного видео, данных 4505 IG-плоскости и данных 4506 плоскости изображений.

На этапе S4601 второй модуль 4532 кадрирования сначала принимает данные 4504 PG-плоскости из декодера 4125 системных целевых объектов. Здесь второй модуль 4532 кадрирования считывает идентификатор 4210 опорного смещения (PG_ref_offset_id) для PG-плоскости из SPRM(27) 4551. Затем второй модуль 4531 кадрирования извлекает информацию смещения, принадлежащую последовательности смещений, указываемой посредством идентификатора опорного смещения, из информации 4507 смещения, принимаемой из декодера 4125 системных целевых объектов. После этого обработка переходит к этапу S4602.

На этапе S4602 второй модуль 4532 кадрирования считывает значение 4220 регулирования смещения (PG_offset_adjustment) для PG-плоскости из SPRM(28) 4552 и прибавляет это значение регулирования смещения к значению смещения, извлеченному на этапе S4601. После этого обработка переходит к этапу S4603.

На этапе S4603 второй модуль 4532 кадрирования проверяет то, представляют данные видеоплоскости, выбранные посредством переключателя 4520, вид для просмотра левым глазом или нет. Если данные видеоплоскости представляют вид для просмотра левым глазом, обработка переходит к этапу S4604. Если данные видеоплоскости представляют вид для просмотра левым глазом, обработка переходит к этапу S4604.

На этапе S4604 второй модуль 4532 кадрирования проверяет значение извлеченного направления смещения. В дальнейшем в этом документе допускается следующее: если значение направления смещения равно "0", трехмерное графическое изображение ближе к зрителю, чем экран, а если значение направления смещения равно "1", изображение дальше экрана. В этом контексте, когда значение направления смещения равно "0", обработка переходит к этапу S4605. Если значение направления смещения равно "1", обработка переходит к этапу S4606.

На этапе S4605 второй модуль 4532 кадрирования предоставляет смещение вправо в данные 4504 PG-плоскости. Другими словами, позиция каждого фрагмента пикселных данных, включенных в данные 4504 PG-плоскости, сдвигается вправо на значение смещения. После этого обработка переходит к этапу S4610.

На этапе S4606 второй модуль 4532 кадрирования предоставляет смещение влево в данные 4504 PG-плоскости. Другими словами, позиция каждого фрагмента пикселных данных, включенных в данные 4504 PG-плоскости, сдвигается влево на значение смещения. После этого обработка переходит к этапу S4610.

На этапе S4607 второй модуль 4532 кадрирования проверяет значение извлеченного направления смещения. Если значение направления смещения равно "0", обработка переходит к этапу S4608. Если значение направления смещения равно "1", обработка переходит к этапу S4609.

На этапе S4608 второй модуль 4532 кадрирования предоставляет смещение влево в данные 4504 PG-плоскости, в отличие от этапа S4605. Другими словами, позиция каждого фрагмента пикселных данных, включенных в данные 4504 PG-плоскости, сдвигается влево на значение смещения. После этого обработка переходит к этапу S4610.

На этапе S4609 второй модуль 4532 кадрирования предоставляет смещение вправо в данные 4504 PG-плоскости, в отличие от этапа S4606. Другими словами, позиция каждого фрагмента пикселных данных, включенных в данные 4504 PG-плоскости, сдвигается вправо на значение смещения. После этого обработка переходит к этапу S4610.

На этапе S4610 второй модуль 4532 кадрирования выводит обработанные данные 4504 PG-плоскости в третий модуль 4534 кадрирования. Обработка затем завершается.

Изменения данных плоскости через управление смещением

Фиг.47 является схематичным представлением, показывающим данные PG-плоскости, в которые второй модуль 4532 кадрирования предоставляет управление смещением. Как показано на фиг.47, данные GP PG-плоскости включают в себя пикселные данные, представляющие субтитр "Я люблю тебя", т.е. данные STL субтитров. Эти данные STL субтитров находятся на расстоянии D0 от левого края данных GP PG-плоскости перед управлением смещением.

При предоставлении смещения вправо в данные GP PG-плоскости, второй модуль 4532 кадрирования изменяет позицию каждого фрагмента пикселных данных в данных GP PG-плоскости от исходной позиции вправо на число пикселов OFS, равное значению смещения. В частности, второй модуль 4532 кадрирования выполняет кадрирование, чтобы удалять, из правого края данных GP PG-плоскости, пикселные данные, включенные в полосу AR1 ширины OFS, равной значению смещения. Затем второй модуль 4532 кадрирования формирует полосу AL1 ширины OFS посредством добавления пикселных данных к левому краю данных GP PG-плоскости. Пикселные данные, включенные в эту полосу AL1, заданы как прозрачные. Этот процесс дает в результате данные RGP PG-плоскости, в которые предоставлено смещение вправо. Данные STL субтитров фактически находятся на расстоянии DR от левого края этих данных RGP PG-плоскости. Это расстояние DR равно исходному расстоянию D0 плюс значение OFS смещения: DR=D0+OFS.

В отличие от этого при предоставлении смещения влево в данные GP PG-плоскости второй модуль 4532 кадрирования изменяет позицию каждого фрагмента пикселных данных в данных GP PG-плоскости от исходной позиции влево на число пикселов OFS, равное значению смещения. В частности, второй модуль 4532 кадрирования выполняет кадрирование, чтобы удалять, из левого края данных GP PG-плоскости, пикселные данные, включенные в полосу AL2 ширины OFS, равной значению смещения. Затем второй модуль 4532 кадрирования формирует полосу AR2 ширины OFS посредством добавления пикселных данных к правому краю данных GP PG-плоскости. Пикселные данные, включенные в эту полосу AR2, заданы как прозрачные. Этот процесс дает в результате данные LGP PG-плоскости, в которые предоставлено смещение влево. Данные STL субтитров фактически находятся на расстоянии DL от левого края этих данных RGP PG-плоскости. Это расстояние DL равно исходному расстоянию D0 минус значение OFS смещения: DL=D0-OFS

Снова ссылаясь на фиг.45, первый сумматор 4541 принимает данные видеоплоскости из переключателя 4520 и принимает данные плоскости вторичного видео из первого модуля 4531 кадрирования. Здесь первый сумматор 4541 накладывает каждую пару из данных плоскости и данных плоскости вторичного видео и передает результат во второй сумматор 4542. Второй сумматор 4542 принимает данные PG-плоскости из второго модуля 4532 кадрирования, накладывает эти данные PG-плоскости на данные плоскости из первого сумматора 4541 и передает результат в третий сумматор 4543. Третий сумматор 4543 принимает данные IG-плоскости из третьего модуля 4533 кадрирования, накладывает эти данные IG-плоскости на данные плоскости из второго сумматора 4542 и передает результат в четвертый сумматор 4544. Четвертый сумматор 4544 принимает данные плоскости изображений из четвертого модуля 4534 кадрирования, накладывает эти данные плоскости изображений на данные плоскости из третьего сумматора 4543 и выводит результат на дисплейное устройство 103. Сумматоры 4541-4544 используют альфа-сопряжение при наложении данных плоскости. Таким образом, данные 4503 плоскости вторичного видео, данные 4504 PG-плоскости, данные 4505 IG-плоскости и данные 4506 плоскости изображений накладываются в порядке, показанном посредством стрелки 4500 на фиг.45, на данные 4501 левой видеоплоскости или данные 4502 правой видеоплоскости. Как результат, видеоизображения, указываемые посредством каждого фрагмента данных плоскости, отображаются на экране дисплейного устройства 103 так, что левая или правая видеоплоскость кажется перекрывающейся с плоскостью вторичного видео, IG-плоскостью, PG-плоскостью и плоскостью изображений в этом порядке.

В дополнение к вышеуказанной обработке, сумматор 4524 плоскости преобразует формат вывода данных плоскости, комбинированных посредством четырех сумматоров 4541-4544 плоскости, в формат, который соответствует способу отображения трехмерных видеоизображений, приспосабливаемому в устройстве, таком как дисплейное устройство 103, на которое выводятся данные. Если способ поочередной последовательности кадров приспосабливается в устройстве, например, сумматор 4524 плоскостей выводит фрагменты составных данных плоскости как один кадр или одно поле. С другой стороны, если способ, который использует ступенчатую линзу, приспосабливается в устройстве, сумматор 4524 плоскостей комбинирует пару фрагментов для просмотра левым глазом и правым глазом для данных плоскости как один кадр или одно поле видеоданных с использованием внутреннего буферного запоминающего устройства. В частности, сумматор 4524 плоскостей временно сохраняет и хранит в буферном запоминающем устройстве данные плоскости для просмотра левым глазом, которые комбинированы первыми. Затем сумматор 4524 плоскостей комбинирует данные плоскости для просмотра правым глазом и дополнительно комбинирует полученные в результате данные с данными плоскости для просмотра левым глазом, хранимыми в буферном запоминающем устройстве. В ходе комбинирования фрагменты для просмотра левым глазом и правым глазом для данных плоскости делятся, в вертикальном направлении, на небольшие прямоугольные области, которые являются длинными и тонкими, и небольшие прямоугольные области размещаются поочередно в горизонтальном направлении в одном кадре или одном поле, чтобы воссоздавать кадр или поле. Таким образом, пара фрагментов для просмотра левым глазом и правым глазом для данных плоскости комбинируется в один видеокадр или поле. Сумматор 4524 плоскостей затем выводит комбинированный видеокадр или поле в соответствующее устройство.

Эффекты варианта осуществления 1

В BD-ROM-диске 101 согласно варианту осуществления 1 настоящего изобретения, метаданные смещения находятся в начале каждой GOP в видеопотоке для воспроизведения зависимого вида. Метаданные смещения по отдельности выделяют идентификаторы последовательностей смещений множеству последовательностей смещений. Между тем, в файле списков для трехмерного воспроизведения STN-таблица в каждой секции воспроизведения по отдельности выделяет идентификаторы опорного смещения графическим/текстовым потокам, которые должны быть декодированы, т.е. PG-потоку, IG-потоку и потоку текстовых субтитров. Соответственно, устройство 102 воспроизведения в режиме 1 плоскости+смещения может считывать информацию смещения из метаданных смещения параллельно с декодированием видеопотока для воспроизведения зависимого вида и использовать эту информацию смещения для управления смещением на графической плоскости. Следовательно, даже если имеется множество графических/текстовых потоков для воспроизведения, устройство 102 воспроизведения может надежно поддерживать соответствие между этими потоками и информацией смещения. Как результат, устройство 102 воспроизведения может воспроизводить трехмерные графические изображения наряду с видеоизображениями, представленными посредством видеопотока, с более высоким качеством. Кроме того, устройство 102 воспроизведения не должно предварительно загружать информацию смещения для всего пути воспроизведения во внутреннем запоминающем устройстве. Это помогает уменьшать емкость внутреннего запоминающего устройства.

Модификации

(1-A) В L/R-режиме согласно варианту осуществления 1 настоящего изобретения, видеопоток для воспроизведения базового вида представляет вид для просмотра левым глазом, и видеопоток для воспроизведения зависимого вида представляет вид для просмотра правым глазом. В отличие от этого, тем не менее, видеопоток для воспроизведения базового вида может представлять вид для просмотра правым глазом, а видеопоток для воспроизведения зависимого вида - вид для просмотра левым глазом.

(1-B) На BD-ROM-диске 101 согласно варианту осуществления 1 настоящего изобретения, видеопоток для воспроизведения базового вида и видеопоток для воспроизведения зависимого вида мультиплексируются в различных TS. Альтернативно, видеопоток для воспроизведения базового вида и видеопоток для воспроизведения зависимого вида могут быть мультиплексированы в один TS.

(1-C) Индексный файл 211, показанный на фиг.35, включает в себя флаг 3520 существования трехмерного режима и флаг 3530 предпочтения двумерного/трехмерного режима, которые совместно используются посредством всех тайтлов. Альтернативно, индексный файл может задавать различный флаг существования трехмерного режима или флаг предпочтения двумерного/трехмерного режима для каждого тайтла.

(1-D) В файле AV-потока для трехмерных видеоизображений, данные, касающиеся формата воспроизведения трехмерных видеоизображений, могут добавляться в PMT 1810, показанной на фиг.18. В этом случае PMT 1810 включает в себя трехмерные дескрипторы в дополнение к PMT-заголовку 1801, дескрипторам 1802 и фрагментам информации 1803 потока. Трехмерные дескрипторы являются информацией о формате воспроизведения трехмерных видеоизображений, совместно используются посредством всего файла AV-потока и, в частности, включают в себя информацию трехмерного формата. Информация трехмерного формата указывает формат воспроизведения, такой как L/R-режим или режим глубины, трехмерных видеоизображений в файле AV-потока. Каждый фрагмент информации 1803 потока включает в себя трехмерные дескрипторы потоков в дополнение к типу 1831 потока, PID 1832 и дескрипторам 1833 потока. Трехмерные дескрипторы потоков указывают информацию о формате воспроизведения трехмерных видеоизображений для каждого элементарного потока, включенного в файл AV-потока. В частности, трехмерные дескрипторы потоков видеопотока включают в себя тип трехмерного отображения. Тип трехмерного отображения указывает то, являются видеоизображения, указываемые посредством видеопотока, видом для просмотра левым глазом или видом для просмотра правым глазом, когда видеоизображения отображаются в L/R-режиме. Тип трехмерного отображения также указывает то, являются видеоизображения, указываемые посредством видеопотока, двумерными видеоизображениями или картами глубины, когда видеоизображения отображаются в режиме глубины. Когда PMT тем самым включает в себя информацию, касающуюся формата воспроизведения трехмерных видеоизображений, система воспроизведения этих видеоизображений может получать эту информацию просто из файла AV-потока. Этот вид структуры данных, следовательно, полезен при распространении содержимого трехмерных видеоизображений через широковещательную передачу.

(1-E) Файл информации о клипах для воспроизведения зависимого вида может включать в себя, для информации 2220 атрибутов потока, такой как на фиг.22, предварительно определенный флаг в информации атрибутов видеопотока, выделяемой для PID=0x1012, 0x1013 видеопотока для воспроизведения зависимого вида. Когда помечен, этот флаг указывает то, что видеопоток для воспроизведения зависимого вида обращается к видеопотоку для воспроизведения базового вида. Кроме того, информация атрибутов видеопотока может включать в себя информацию, касающуюся видеопотока для воспроизведения базового вида, к которому обращается видеопоток для воспроизведения зависимого вида. Эта информация может использоваться для того, чтобы подтверждать соответствие между видеопотоками при верификации, через предварительно определенное инструментальное средство, того, создано содержимое трехмерных видеоизображений в соответствии с заданным форматом или нет.

(1-F) В варианте осуществления 1 настоящего изобретения, размер экстентов для воспроизведения базового вида и экстентов для воспроизведения зависимого вида может вычисляться из начальных точек 2242 и 2420 экстентов, включенных в файл информации о клипах. Альтернативно, список размера каждого экстента может сохраняться, например, в файле информации о клипах как часть метаданных.

(1-G) Идентификаторы опорного смещения и значения регулирования смещения для PG-потока, IG-потока и потока текстовых субтитров могут сохраняться в STN-таблице SS 3130 вместо STN-таблицы 3205. Альтернативно, эта информация может храниться в информации 2220 атрибутов потока в файле информации о клипах. Кроме того, идентификатор опорного смещения может сохраняться в записи субтитра для каждого PG-потока и потока текстовых субтитров или может сохраняться на каждой странице IG-потока.

(1-H) Модуль 4134 выполнения программ может устанавливать значения SPRM(27) 4551 и SPRM(28) 4552 в соответствии с кинообъектом или BD-J-объектом. Другими словами, устройство 102 воспроизведения может инструктировать прикладной программе задавать идентификатор опорного смещения и значение регулирования смещения. Кроме того, такая прикладная программа может быть ограничена объектом, ассоциированным с элементом "первый элемент воспроизведения" 3501 в индексной таблице 3510.

(1-I) В STN-таблице, множество значений регулирования смещения может задаваться для одного фрагмента потоковых данных. Фиг.48 является схематичным представлением, показывающим такую STN-таблицу 4805. Как показано на фиг.48, атрибут 4810 потока ассоциирован с STN 4806, идентичным STN записи 4810 потока PG-потока 1. Этот атрибут 4810 потока включает в себя три типа значений 4801-4803 регулирования смещения #1-#3 наряду с одним идентификатором 4800 опорного смещения. Эти значения регулирования смещения используются для того, чтобы изменять смещение, которое должно предоставляться в графическую плоскость, сформированную из PG-потока 1, в соответствии с размером экрана дисплейного устройства. В этом контексте допускается, что соответствие между типами значений регулирования смещения и размером экрана предварительно установлено. В частности, значение 4801 регулирования смещения #1, значение 4802 регулирования смещения #2 и значение 4803 регулирования смещения #3, соответственно, используются, когда размер экрана находится в диапазоне 0-33 дюймов, 34-66 дюймов и 67 дюймов и более. Каждое значение 4801-4803 регулирования смещения задается так, чтобы удовлетворять следующему условию: максимальное значение параллакса между графическим изображением для просмотра левым глазом и правым глазом, формируемого посредством предоставления смещения в графическую плоскость, равно или меньше межзрачкового расстояния среднего зрителя (в случае детей, 5 см или менее). До тех пор, пока это условие удовлетворяется, параллакс не превышает межзрачковое расстояние зрителя, что уменьшает опасность подвергания зрителя форме морской болезни, возникающей вследствие просмотра трехмерных видеоизображений, или испытания им чрезмерного напряжения зрения.

Фиг.49 является блок-схемой последовательности операций способа обработки, чтобы выбирать значение регулирования смещения на основе размера экрана дисплейного устройства 103. Модуль 4135 управления воспроизведением устройства 102 воспроизведения выполняет следующую обработку выбора, когда общее число значений регулирования смещения, выделенных одному фрагменту потоковых данных, изменяется вследствие переключения текущего PI.

На этапе S4901 модуль 4135 управления воспроизведением получает размер экрана дисплейного устройства 103. Здесь модуль 4135 управления воспроизведением выполняет HDMI-аутентификацию в случае необходимости. В частности, модуль 4135 управления воспроизведением обменивается CEC-сообщениями с дисплейным устройством 103 через HDMI-кабель 122 и инструктирует дисплейному устройству 103 передавать информацию, указывающую размер экрана. С другой стороны, если размер экрана дисплейного устройства 103 уже сохраняется в одном из SPRM и т.п. как значение переменной проигрывателя, модуль 4135 управления воспроизведением считывает размер экрана из модуля 4136 хранения переменных проигрывателя. После этого обработка переходит к этапу S4902.

На этапе S4902 модуль 4135 управления воспроизведением определяет то, попадает или нет размер экрана дисплейного устройства 103 в рамки одного из следующих диапазонов: 0-33 дюйма, 34-66 дюймов и 67 дюймов или более. Если размер экрана попадает в рамки диапазонов 0-33 дюймов, 34-66 дюймов и 67 и более, то обработка, соответственно, переходит к этапу S4903, S4904 и S4905.

На этапах S4903, S4904 и S4905 модуль 4135 управления воспроизведением, соответственно, выбирает значение регулирования смещения #1, 4801, значение регулирования смещения #2, 4802, и значение регулирования смещения #3, 4803, затем сохраняя информацию, представляющую выбранное значение, как переменную проигрывателя в модуле 4136 хранения переменных проигрывателя. Обработка затем завершается. Именно так модуль 4135 управления воспроизведением выбирает тип значения регулирования смещения, указываемого посредством переменной проигрывателя, из каждой STN-таблицы и обновляет SPRM(28) до этого значения до тех пор, пока следующая обработка выбора значения регулирования смещения не выполняется.

(1-J) Модуль 4135 управления воспроизведением может инструктировать зрителю регулировать смещение, которое должно предоставляться в графическую плоскость. Фиг.50 является блок-схемой последовательности операций способа такой обработки регулирования. Когда зритель оперирует с пультом 105 дистанционного управления или передней панелью устройства 102 воспроизведения и запрашивает задавать значение регулирования смещения, процессор 4133 пользовательских событий принимает запрос, после чего обработка начинается.

На этапе S5001 в ответ на запрос от процессора 4133 пользовательских событий модуль 4135 управления воспроизведением отображает функциональный экран для регулирования смещения на дисплейном устройстве 103. OSD устройства 102 воспроизведения используется для отображения этого функционального экрана. В частности, модуль 4102 воспроизведения отображает функциональный экран вместе с графическим изображением. После этого обработка переходит к этапу S5002.

На этапе S5002 через функциональный экран модуль 4135 управления воспроизведением инструктирует зрителю выбирать графическую плоскость для регулирования. В частности, модуль 4135 управления воспроизведением отображает список графических плоскостей, которые могут выбираться в меню на функциональном экране, так что зритель может выбирать требуемый элемент посредством осуществления действий с пультом 105 дистанционного управления. Идентификатор последовательности смещений выделяется, чтобы соответствовать каждому элементу. Когда один из элементов выбран в течение предварительно определенного времени, обработка переходит к этапу S5003. Когда элемент не выбран в течение предварительно определенного времени или когда зритель инструктирует прекращать обработку посредством осуществления действий с пультом 105 дистанционного управления, обработка завершается.

На этапе S5003 модуль 4135 управления воспроизведением сначала сохраняет выбранный идентификатор последовательности смещений. Затем через функциональный экран модуль 4135 управления воспроизведением инструктирует зрителю выбирать увеличение или уменьшение значения смещения посредством осуществления действий с пультом 105 дистанционного управления. Когда увеличение значения смещения выбирается, обработка переходит к этапу S5004, а когда уменьшение выбирается, обработка переходит к этапу S5005. Когда увеличение или уменьшение не выбрано в течение предварительно определенного времени или когда зритель инструктирует прекращать обработку посредством осуществления действий с пультом 105 дистанционного управления, обработка возвращается к этапу S5002.

На этапах S5004 и S5005 модуль 4135 управления воспроизведением обновляет SPRM(28), соответственно, чтобы прибавлять предварительно определенное значение и вычитать предварительно определенное значение из одного из значений 4220-4223 регулирования смещения, которое соответствует сохраненному идентификатору последовательности смещений. После этого обработка возвращается к этапу S5003.

Пока цикл на этапах S5003-5005 повторяется, модуль 4135 управления воспроизведением инструктирует модулю 4102 воспроизведения продолжать обработку воспроизведения графической плоскости. Модуль 4102 воспроизведения делает функциональный экран или графическое изображение (что из этого отображается ближе к зрителю) полупрозрачным или отображает функциональный экран ближе, чем графическое изображение. Это делает графическое изображение видимым, даже когда функциональный экран отображается, и тем самым зритель может сразу подтверждать эффект увеличения или уменьшения значения смещения способом, идентичным регулированию яркости или цвета экрана.

(1-K) Устройство 102 воспроизведения может инструктировать пользователю регистрировать межзрачковое расстояние как зарезервированный SPRM, например, SPRM(32). В этом случае устройство 102 воспроизведения может регулировать значение регулирования смещения так, что максимальное значение параллакса между графическими изображениями для просмотра левым глазом и правым глазом не превышает значение, зарегистрированное в SPRM(32). В частности, достаточно для устройства 102 воспроизведения выполнять следующие вычисления для каждого значения смещения, выводимого посредством декодера системных целевых объектов. Устройство 102 воспроизведения сначала находит отношение значения SPRM(32) к ширине (горизонтальной длине) экрана дисплейного устройства 103 и дополнительно находит произведение этого отношения и числа горизонтальных пикселов дисплейного устройства 103. Это произведение в два раза превышает верхний предел смещения, которое может предоставляться в графическую плоскость через управление смещением. Затем устройство 102 воспроизведения сравнивает это произведение со значением, в два раза превышающим каждое значение смещения. Если значение, в два раза превышающее какое-либо значение смещения, равно или превышает произведение, устройство 102 воспроизведения идентифицирует идентификатор последовательности смещений, которая включает в себя значение смещения, и уменьшает значение регулирования смещения для графической плоскости, указываемой посредством этого идентификатора. Объем уменьшения задается равным, по меньшей мере, половине разности между значением, в два раза превышающим значение смещения, и вышеуказанным произведением. Максимальное значение параллакса между графическим изображением для просмотра левым глазом и правым глазом, таким образом, не превышает межзрачковое расстояние зрителя, что, тем самым, уменьшает опасность подвергания зрителя форме морской болезни, возникающей вследствие просмотра трехмерных видеоизображений, или испытания им чрезмерного напряжения зрения.

(1-L) Для управления смещением, каждый из модулей 4531-4534 кадрирования использует последовательность смещений, указываемую посредством идентификаторов 4210-4213 опорного смещения, указываемых посредством SPRM(27). В отличие от этого для управления смещением, каждый модуль 4531-4534 кадрирования может быть задан не использовать последовательность смещений, указываемую посредством каждого идентификатора последовательности смещений, указываемого посредством предварительно определенного SPRM. Другими словами, SPRM может указывать идентификаторы последовательностей смещений (PG_ref_offset_id_mask, IG_ref_offset_id_mask, SV_ref_offset_id_mask, IM_ref_offset_id_mask), которые должны маскироваться во время управления смещением. В этом случае каждый из модулей 4531-4534 кадрирования может выбирать идентификатор последовательности смещений, которая включает в себя наибольшее значение смещения из последовательностей смещений, которые принимаются из декодера 4125 системных целевых объектов и выделяются идентификаторам последовательностей смещений, не маскируемым в информации 4507 смещения. Таким образом, глубина графических изображений, представленных посредством плоскости вторичного видео, PG- плоскости, IG- плоскости и плоскости изображений, может легко совмещаться. Это предоставляет возможность увеличения степени свободы при создании каждого фрагмента потоковых данных.

Альтернативно, когда не может обнаруживать идентификатор 4210-4213 опорного смещения в информации 4507 смещения, каждый модуль 4531-4534 кадрирования может использовать наибольшее значение смещения, включенное в информацию 4507 смещения, в качестве замены.

(1-M) При отображении меню, уникального для устройства 102 воспроизведения как OSD, устройство 102 воспроизведения может выполнять управление смещением для графической плоскости, представляющей двумерные видеоизображения в меню, т.е. на OSD-плоскости. В этом случае устройство 102 воспроизведения может выбирать, в рамках информации 4507 смещения, передаваемой посредством декодера 4125 системных целевых объектов во время представления меню, информацию смещения, которая имеет направление смещения, которое ближе к зрителю, чем экран, и которая имеет наибольшее значение смещения. Меню тем самым может отображаться ближе любого трехмерного графического изображения, такого как субтитры и т.п., воспроизводимого из содержимого трехмерных видеоизображений.

Альтернативно, устройство 102 воспроизведения может предварительно сохранять информацию смещения для OSD-плоскости. Конкретный идентификатор последовательности смещений, такой как offset_id=0, выделяется этой информации смещения. Кроме того, следующие два условия могут быть заданы для информации смещения с идентификатором последовательности смещений = 0: (1) направление смещения ближе к зрителю, чем экран, и (2) значение смещения является равным наибольшему значению смещения из значений, включенных во фрагменты информации смещения, которые (i) выделены идентификаторам последовательностей смещений, отличным от нуля, (ii) соответствуют одному номеру кадра, и (iii) имеют направления смещения ближе к экрану, чем зритель. При этом заранее заданном условии, устройство 102 воспроизведения не должно выбирать информацию смещения из информации 4507 смещения, передаваемой посредством декодера 4125 системных целевых объектов, тем самым упрощая управление смещением OSD-плоскости. Кроме того, каждый из модулей 4531-4534 кадрирования может использовать информацию смещения для идентификатора последовательности смещений = 0 в качестве замены, когда не может обнаруживать идентификаторы 4210-4213 опорного смещения, указываемые посредством SPRM(27), в информации 4507 смещения, принимаемой из декодера 4125 системных целевых объектов.

(1-N) файл 222 списков для трехмерного воспроизведения, показанный на фиг.31, включает в себя один подпуть. Альтернативно, файл списков для трехмерного воспроизведения может включать в себя множество подпутей. Например, если типом подпути для одного подпути является "трехмерный L/R", то типом подпути для другого подпути может быть "трехмерная глубина". Посредством переключения между этими двумя типами подпутей, при воспроизведении трехмерных видеоизображений в соответствии с файлом списков для трехмерного воспроизведения, устройство 102 воспроизведения может легко переключаться между L/R-режимом и режимом глубины. В частности, такое переключение может выполняться более быстро, чем переключение самого файла списков для трехмерного воспроизведения.

Множество видеопотоков для воспроизведения зависимого вида может представлять идентичные трехмерные видеоизображения в комбинации с совместно используемым видеопотоком для воспроизведения базового вида. Тем не менее, параллакс между видом для просмотра левым глазом и видом для просмотра правым глазом для одной сцены отличается между видеопотоками для воспроизведения зависимого вида. Эти видеопотоки для воспроизведения зависимого вида могут быть мультиплексированы в один суб-TS или разделяться на различные суб-TS. В этом случае файл списков для трехмерного воспроизведения включает в себя множество подпутей. Каждый подпуть обращается к различному видеопотоку для воспроизведения зависимого вида. Посредством переключения между подпутями, при воспроизведении трехмерных видеоизображений в соответствии с файлом списков для трехмерного воспроизведения, устройство 102 воспроизведения может легко изменять ощущение глубины трехмерных видеоизображений. В частности, такая обработка может выполняться более быстро, чем переключение самого файла списков для трехмерного воспроизведения.

Фиг.51 является схематичным представлением, показывающим (i) структуру данных файла 5100 списков для трехмерного воспроизведения, который включает в себя множество подпутей, и (ii) структуру данных файла 2D 5110 и двух файлов DEP 5121 и 5122, к которым обращается файл 5100 списков для трехмерного воспроизведения. Файл 2D 5110 включает в себя видеопоток для воспроизведения базового вида с PID=0x1011. Файл DEP #1 5121 включает в себя видеопоток для воспроизведения зависимого вида #1 с PID=0x1012. Файл DEP #2 5122 включает в себя видеопоток для воспроизведения зависимого вида #2 с PID=0x1013. В комбинации с видеопотоком для воспроизведения базового вида в файле 2D 5110, видеопотоки для воспроизведения зависимого вида #1 и #2 отдельно представляют идентичные трехмерные видеоизображения. Тем не менее, параллакс между видом для просмотра левым глазом и видом для просмотра правым глазом для одной сцены отличается между видеопотоками для воспроизведения зависимого вида #1 и #2. Кроме того, последовательности смещений с идентичным идентификатором последовательности смещений задают различные значения смещения для одного номера кадра.

Файл 5100 списков для трехмерного воспроизведения включает в себя основной путь 5130 и два подпути 5131 и 5132. PI #1 основного пути 5130 обращается к файлу 2D 5110, в частности, к видеопотоку для воспроизведения базового вида. SUB_PI #1 каждого из подпутей 5131 и 5132 использует время воспроизведения, совпадающее со временем воспроизведения PI #1 в основном пути 5130. SUB_PI #1 подпути #1 5131 обращается к файлу DEP #1 5121, в частности, к видеопотоку для воспроизведения зависимого вида #1. SUB_PI #1 подпути #2 5132 обращается к файлу DEP #2 5122, в частности, к видеопотоку для воспроизведения зависимого вида #2.

Во время обработки воспроизведения по списку для трехмерного воспроизведения файла 5100 списков для трехмерного воспроизведения устройство 102 воспроизведения сначала инструктирует пользователю или прикладной программе выбирать подпуть для воспроизведения. Альтернативно, устройство 102 воспроизведения может выбирать подпуть для воспроизведения согласно размеру экрана дисплейного устройства 103, как в модификации (1-I), или может выбирать подпуть посредством обращения к межзрачковому расстоянию зрителя, как в модификации (1-K). Посредством выбора подпути, таким образом, параллакс между видеоплоскостями для просмотра левым глазом и правым глазом может легко изменяться. Кроме того, поскольку информация смещения изменяется в результате переключения видеопотока для воспроизведения зависимого вида, смещения графических плоскостей, воспроизводимых из PG-потока или IG-потока, включенного в файл 2D 5110, изменяются. Это помогает изменять ощущение глубины трехмерных видеоизображений.

Если устройство 102 воспроизведения поддерживает BD-Live™, устройство может использовать эту функцию, чтобы загружать любой из файлов DEP #1 и #2 с сервера в сети. BD-Live™ является функцией устройства воспроизведения, которая, в соответствии с прикладной программой, загружает новое цифровое содержимое из внешней сети, такой как Интернет, и воспроизводит это цифровое содержимое вместе с содержимым на BD-ROM-диске. Такое новое цифровое содержимое включает в себя добавления в содержимое на BD-ROM-диске, к примеру, бонусное видеосодержимое и субтитры, а также интерактивное содержимое, к примеру, экран обозревателя и игра и т.д. Посредством обновления видеопотока для воспроизведения зависимого вида через BD-Live™ ощущение глубины трехмерных видеоизображений, уже записанных на BD-ROM-диске, может изменяться во время воспроизведения. В частности, поскольку информация смещения сохраняется в видеопотоке для воспроизведения зависимого вида, простая загрузка нового файла DEP позволяет получать информацию, необходимую для того, чтобы изменять параллакс между видом для просмотра левым глазом и видом для просмотра правым глазом для видеоплоскости или графической плоскости.

(1-O) Когда идентификаторы опорного смещения задаются в файле списков для трехмерного воспроизведения, следующие ограничивающие условия могут быть заданы для плавного соединения между PI.

Фиг.52 является схематичным представлением, показывающим идентификаторы опорного смещения, включенные в файл 5200 списков для трехмерного воспроизведения. Как показано на фиг.52, CC=5 задается в PI #2 основного пути 5210. Соответственно, видеоизображения в секциях воспроизведения, заданных посредством PI #1 и PI #2, должны соединяться плавно. В этом случае в PI #1 и PI #2, изменения запрещаются как для значений идентификаторов опорного смещения, так и для числа последовательностей смещений, включенных в видеопоток для воспроизведения зависимого вида, т.е. для числа записей. Кроме того, изменения значений регулирования смещения и числа их записей могут запрещаться.

Подробности этих ограничивающих условий следующие. В STN-таблице #1, включенной в PI #1, идентификатор опорного смещения #1=1, идентификатор опорного смещения #2=3, идентификатор опорного смещения #3=2, … и идентификатор опорного смещения #M=6, соответственно, выделяются PG-потоку 1, PG-потоку 2, потоку текстовых субтитров, … и IG-потоку 1. В этом контексте буква M представляет целое число, которое должно быть меньше общего числа X последовательностей смещений, включенных в видеопоток для воспроизведения зависимого вида, записанный в STN-таблицу #1: M<X. Кроме того, в STN-таблице #2, также включенной в PI #2, идентификатор опорного смещения #1=1, идентификатор опорного смещения #2=3, идентификатор опорного смещения #3=2, … и идентификатор опорного смещения #M=6, соответственно, выделяются PG-потоку 1, PG-потоку 2, потоку текстовых субтитров, … и IG-потоку 1. Кроме того, общее число последовательностей смещений, включенных в видеопоток для воспроизведения зависимого вида, записанный в STN-таблицу #2, должно равняться общему числу последовательностей смещений, включенных в видеопоток для воспроизведения зависимого вида, записанный в STN-таблицу #1. Таким образом, как значения идентификаторов опорного смещения, так и общее число последовательностей смещений, включенных в видеопоток для воспроизведения зависимого вида, к которому обращаются, не могут изменяться между элементами воспроизведения, для которых плавное соединение задается, например, когда CC=5.

При этих ограничивающих условиях, устройство 102 воспроизведения может пропускать обновление SPRM(27) при изменении текущего PI с PI #1 на PI #2. Поскольку нагрузка по обработке для плавного соединения тем самым уменьшается, надежность этой обработки дополнительно может повышаться. Как результат, может повышаться качество трехмерных видеоизображений.

Как показано на фиг.52, CC=1 задается в PI #K основного пути 5210. В этом контексте буква k представляет целое число, превышающее или равное трем. Соответственно, видеоизображения в секции воспроизведения, заданной посредством PI #K, не обязательно должны плавно соединяться с видеоизображениями в секции воспроизведения, заданной посредством непосредственно предшествующего PI #(K-1). В этом случае в STN-таблице #K, включенной в PI #K, идентификаторы опорного смещения и значения регулирования смещения могут свободно задаваться независимо от содержимого STN-таблицы, включенной в предшествующий PI. Кроме того, устройство 102 воспроизведения может сбрасывать SPRM(27) и SPRM(28) при задании PI #K в качестве текущего PI.

(1-P) В некотором видеосодержимом, таком как содержимое для отображения текстов песен во время караоке, графическое изображение субтитров и т.п. многократно отображается как неподвижные изображения, и только графические изображения часто обновляются. Когда такое содержимое формируется в содержимое трехмерных видеоизображений, VAU, в которой размещаются метаданные смещения, дополнительно включает в себя код конца последовательности. Когда устройство 102 воспроизведения декодирует эту VAU, оно сохраняет информацию смещения, полученную из метаданных смещения, и не изменяет информацию смещения до тех пор, пока VAU, которая включает в себя новые метаданные смещения, не декодирована.

Фиг.53A является схематичным представлением, показывающим структуру данных видеопотока 5300 для воспроизведения зависимого вида, представляющего только неподвижных изображений. Каждая VAU в видеопотоке 5300 для воспроизведения зависимого вида представляет одно неподвижное изображение. В этом случае код 5303, 5304 конца последовательности размещается в конце каждой VAU. Между тем, метаданные 5311, 5312 смещения размещаются в дополнительных данных 5301, 5302 каждой VAU. Метаданные 5311 смещения в VAU #1 включают в себя последовательность смещений [0] с идентификатором последовательности смещений = 0. Эта последовательность смещений [0] включает в себя только информацию смещения для кадра #1. Аналогично, в метаданных 5312 смещения VAU #2, последовательность смещений [0] включает в себя только информацию смещения для кадра #1.

Допускается, что файл списков для трехмерного воспроизведения указывает следующие два элемента: (1) неподвижные изображения, представленные посредством VAU в видеопотоке 5300 для воспроизведения зависимого вида, переключаются с 10-секундными интервалами, и (2) графические изображения, представленные посредством графического потока, перекрываются в каждом неподвижном изображении. Фиг.53B является схематичным представлением, показывающим последовательность 5321 видеоплоскостей для просмотра левым глазом, последовательность 5322 видеоплоскостей для просмотра правым глазом и последовательность 5330 графических плоскостей, которые воспроизводятся в соответствии с файлом списков для трехмерного воспроизведения, к примеру, как на фиг.53A. На фиг.53B видеоплоскости в момент, когда неподвижное изображение переключается, показаны со штриховкой. В последовательности 5321 видеоплоскостей для просмотра левым глазом, неподвижное изображение, указываемое посредством первой видеоплоскости 5341, многократно воспроизводится в течение первого 10-секундного интервала 5361, и неподвижное изображение, указываемое посредством следующей видеоплоскости 5351, многократно воспроизводится в течение следующего 10-секундного интервала 5371. В последовательности 5322 видеоплоскостей для просмотра правым глазом, неподвижное изображение, указываемое посредством первой видеоплоскости 5342, многократно воспроизводится в течение первого 10-секундного интервала 5362, и неподвижное изображение, указываемое посредством следующей видеоплоскости 5352, многократно воспроизводится в течение следующего 10-секундного интервала 5372.

Когда устройство 102 воспроизведения декодирует VAU #1 в видеопотоке 5300 для воспроизведения зависимого вида, оно считывает информацию смещения (направление смещения = дальше экрана, значение смещения = 10 пикселов) для кадра #1 из метаданных 5311 смещения. Кроме того, устройство 102 воспроизведения обнаруживает код 5303 конца последовательности. Здесь устройство 102 воспроизведения сохраняет информацию смещения для кадра #1. Таким образом, в течение первого 10-секундного интервала 5361, смещение, предоставленное для последовательности 5330 графических плоскостей, поддерживается постоянным в соответствии с сохраненной информацией смещения. Другими словами, глубина графических изображений поддерживается постоянной.

После того, как 10 секунд прошло после декодирования VAU #1, устройство 102 воспроизведения декодирует VAU #2. Здесь устройство 102 воспроизведения считывает новую информацию смещения (направление смещения = ближе экрана, значение смещения = 5 пикселов) для кадра #1 из метаданных 5312 смещения. Кроме того, устройство 102 воспроизведения обнаруживает код 5304 конца последовательности. Здесь устройство 102 воспроизведения сохраняет информацию смещения для кадра #1. Таким образом, во время следующего 10-секундного интервала 5371, смещение, предоставленное для последовательности 5330 графических плоскостей, изменяется и поддерживается постоянным в соответствии с новой сохраненной информацией смещения. Другими словами, графические изображения поддерживаются постоянными при новой глубине.

Когда VAU включает в себя код конца последовательности, устройству 102 воспроизведения тем самым инструктируется сохранять существующую информацию смещения как есть. Соответственно, даже когда видеопоток состоит только из неподвижных изображений, устройство 102 воспроизведения может надежно поддерживать управление смещением для графической плоскости.

(1-Q) Метаданные смещения могут сохраняться в видеопотоке для воспроизведения базового вида вместо видеопотока для воспроизведения зависимого вида. В этом случае также, метаданные смещения предпочтительно сохраняются в дополнительных данных в VAU, расположенной в начале каждой видеопоследовательности. Кроме того, файл списков для трехмерного воспроизведения может содержать флаг, указывающий то, включает или нет видеопоток для воспроизведения базового вида или видеопоток для воспроизведения зависимого вида в себя метаданные смещения. Это предоставляет возможность увеличения степени свободы при создании каждого фрагмента потоковых данных. Кроме того, может быть заранее задано то, что запрещено изменение этого флага во время между PI, в которых видеоизображения плавно соединяются через CC=5, 6.

(1-R) Метаданные смещения могут сохраняться в каждой VAU (т.е. каждом кадре или поле) вместо сохранения только в первой VAU в каждой видеопоследовательности (т.е. каждой GOP). Альтернативно, метаданные смещения могут задаваться со случайными интервалами, к примеру, в три кадра или более, для каждого содержимого. В этом случае предпочтительно, чтобы метаданные смещения всегда сохранялись в первой VAU в каждой видеопоследовательности, а интервал между метаданными смещения и непосредственно предшествующими метаданными смещения был ограничен тремя кадрами или более. Соответственно, устройство воспроизведения может надежно выполнять обработку, чтобы изменять информацию смещения параллельно с воспроизведением с прерываниями.

(1-S) Вместо сохранения в видеопотоке, метаданные смещения могут быть мультиплексированы в основном TS или суб-TS как независимые потоковые данные. В этом случае уникальный PID выделяется метаданным смещения. Декодер системных целевых объектов обращается к этому PID, чтобы отделять метаданные смещения от других потоковых данных. Альтернативно, метаданные смещения могут сначала предварительно загружаться в выделенный буфер и позднее подвергаться обработке воспроизведения, аналогично потоку текстовых субтитров. В этом случае метаданные смещения сохраняются с постоянными межкадровыми интервалами. Соответственно, PTS не требуется для метаданных смещения, тем самым уменьшая объем данных PES-заголовка. Это уменьшает емкость буфера для предварительной загрузки.

Альтернативно, вместо сохранения в дополнительных данных VAU, метаданные смещения могут встраиваться в видеопоток с использованием водяного видеознака. Кроме того, метаданные смещения могут встраиваться в аудиопоток с использованием водяного аудиознака.

(1-T) В метаданных смещения, вместо задавания значения смещения для каждого кадра, каждая последовательность смещений может задавать функцию, которая представляет изменение во времени значения смещения для каждого времени представления, т.е. функцию выполнения. В этом случае устройство трехмерного воспроизведения использует функцию выполнения в каждое время представления, чтобы вычислять значение смещения для каждого кадра, включенного в это время представления.

Фиг.54A является схематичным представлением, показывающим структуру данных для метаданных 5400 смещения, которые используют функцию выполнения. Как показано на фиг.54A, метаданные 5400 смещения включают в себя таблицу соответствия между идентификаторами 5410 последовательностей смещений и последовательностями 5420 смещений. Последовательность 5420 смещений включает в себя начальное значение 5421 смещения (offset_start), конечное значение 5422 смещения (offset_end), идентификатор 5423 функции смещения (offset_func_id) и длительность 5424 смещения (offset_duration). Когда метаданные 5400 смещения сохраняются в видеопоследовательности в видеопотоке для воспроизведения зависимого вида, начальное значение 5421 смещения указывает значение смещения для первого кадра, представленного посредством видеопоследовательности. Конечное значение 5422 смещения указывает значение смещения для первого кадра, представленного посредством следующей видеопоследовательности. Идентификатор 5423 функции смещения задает тип функции выполнения. Тип функции выполнения представляет форму изменений значения смещения в течение времени представления видеопоследовательности. Длительность 5424 смещения указывает длину времени представления видеопоследовательности.

Фиг.54B является графиком, показывающим типы элементов в функции выполнения. Как показано на фиг.54B, ось X представляет время представления, а ось Y представляет значение смещения. В этом контексте знак значения смещения определяется посредством глубины графического изображения, т.е. посредством того, дальше или ближе экрана находится трехмерное графическое изображение. Предусмотрено три типа элементов в функции выполнения: линейная форма LNR, выпуклая форма CVX и вогнутая форма CCV. Линейная форма LNR задается посредством линейной функции y=ax+b, тогда как выпуклая форма CVX и вогнутая форма CCV задаются посредством кривой второй степени ax²+bx+c, кривой третьей степени y=ax³+bx²+cx+d или кривой гамма-распределения y=a(x+b)^1/r+c. В этом контексте константы a, b, c и d - это параметры, определенные посредством координат XY каждого края A, B каждого элемента, т.е. посредством пары из времени представления и значения смещения в этой точке. С другой стороны, константа r отдельно задается и сохраняется в каждой последовательности смещений. Типы функций выполнения задаются посредством одного из этих элементов LNR, CVX и CCV или комбинации вышеозначенного.

Фиг.54C является графиком, показывающим значения смещения, вычисляемые посредством устройства трехмерного воспроизведения из идентификаторов последовательностей смещений = 0, 1, 2, показанных на фиг.54A. Как показано на фиг.54C, горизонтальная ось графика представляет прошедшее время с момента, когда первый кадр в каждой видеопоследовательности отображен; в видеопоследовательности сохраняется последовательность смещений. Черные круги A0, B0, A1, B1, A2 и B2 указывают координаты, заданные посредством либо начального значения 5421 смещения, либо конечного значения 5422 смещения и длительности 5424 смещения. Линии GR0, GR1 и GR2, которые, соответственно, соединяют пары черных кругов A0+B0, A1+B1 и A2+B2, представляют функции выполнения, которые определяются посредством типа функции выполнения, указываемой в идентификаторе 5423 функции смещения, и посредством значений координат черных кругов A0+B0, A1+B1 и A2+B2 на краях линий. В последовательности смещений с идентификатором последовательности смещений=0, идентификатор 5423 функции смещения указывает "линейную", и тем самым черные круги A0 и B0 на любом краю соединяются посредством линии #0 GR0 с линейной формой LNR. В последовательности смещений с идентификатором последовательности смещений = 1, идентификатор 5423 функции смещения указывает "кривую #1", и тем самым черные круги A1 и B1 на любом краю соединяются посредством линии #1 GR1 с выпуклой формой CVX. В последовательности смещений с идентификатором последовательности смещений = 2, идентификатор 5423 функции смещения указывает "кривую #2", и тем самым черные круги A2 и B2 на любом краю соединяются посредством линии #2 GR2, которая формируется посредством комбинации выпуклой формы CVX и вогнутой формы CCV. Белые круги представляют пары из времени представления для кадра и значения смещения для кадра, вычисляемые посредством устройства трехмерного воспроизведения с использованием функции выполнения, указываемой посредством каждой из линий GR0, GR1 и GR2. Как очевидно из этих линий GR0, GR1 и GR2, простая комбинация начального значения 5421 смещения, конечного значения 5422 смещения, идентификатора 5423 функции смещения и длительности 5424 смещения может представлять множество изменений значения смещения, т.е. глубину трехмерных графических изображений. Соответственно, размер полных метаданных смещения может уменьшаться без потерь в способности выражать трехмерные графические изображения.

(1-U) В декодере 4076 текстовых субтитров, показанном на фиг.40, область в рамках буфера 4078 битовой карты, который сохраняет данные битовой карты, уже декодированные посредством текстового декодера (DEC) 4077, может использоваться в качестве кэша. Это может ускорять рендеринг запоминающего устройства 4092 PG-плоскости посредством декодера 4076 текстовых субтитров.

Фиг.55A, 55B и 55C являются схематичными представлениями, показывающими (i) последовательности 5501, 5502 и 5503 символов, указываемые посредством записей текстовых данных #1, #2 и #3, которые являются последовательными в одном потоке текстовых субтитров, и (ii) данные 5511, 5512 и 5513 кэша, сохраненные в буфере битовой карты, когда каждая запись текстовых данных декодируется.

Как показано на фиг.55A, первая последовательность 5501 символов, указываемая посредством записи текстовых данных #1 - "Привет, доброе утро". Число символов n_C равно 18: n_C=18. Запятые и периоды подсчитываются как символ. Первая последовательность 5501 символов включает в себя два символа в нижнем регистре "l" и "n", три символа в нижнем регистре "o" и один из всех остальных символов. В этом случае DEC 4077 преобразует первый "l", "n" и "o" и другие символы в данные битовой карты и записывает данные битовой карты в буфер 4078 битовой карты при пропуске рендеринга второго и последующих экземпляров "l", "n" и "o". Как результат, число символов, которое DEC 4077 фактически преобразует в данные битовой карты, т.е. число для рендеринга n_R равно 13: n_R=13. С другой стороны, данные кэша #1 5511 в то время, когда запись текстовых данных #1 декодируется, отображают различные символы по одному за раз. Буфер 4078 битовой карты передает, из данных кэша #1 5511 в запоминающее устройство 4092 PG-плоскости, "l" и "n" по два раза каждый, "o" три раза, а оставшиеся символы по одному разу каждый. Другими словами, число передач n_T из буфера 4078 битовой карты в запоминающее устройство 4092 PG-плоскости равно числу символов n_C в первой последовательности 5501 символов: n_T=n_C=18.

Как показано на фиг.55B, вторая последовательность 5502 символов, указываемая посредством записи текстовых данных #2 - "Приятно познакомиться". Число символов n_C равно 14: n_C=14. Тем не менее, во второй последовательности 5502 символов, данные битовой карты для строчных букв "i", "e", "o" и период уже включены в данные кэша #1 5511. Кроме того, вторая последовательность 5502 символов включает в себя строчную букву "t" два раза. В этом случае DEC 4077 пропускает рендеринг "i", "e", "o", периода и второго "t", преобразуя первый "t" и другие символы в данные битовой карты и сохраняя данные битовой карты в буфере 4078 битовой карты. Как результат, число для рендеринга n_R равно 6: n_R=6. Только данные битовой карты для символов, не включенных в данные кэша #1 5511, добавляются к данным кэша #2 5512 в то время, когда запись текстовых данных #2 декодируется. Буфер 4078 битовой карты передает, из данных кэша #2 5512 в запоминающее устройство 4092 PG-плоскости, символ "e" три раза, "t" и "o" по два раза каждый, и другие символы во второй последовательности 5502 символов по одному разу каждый. Другими словами, число передач n_T из буфера 4078 битовой карты в запоминающее устройство 4092 PG-плоскости равно числу символов n_C во второй последовательности 5502 символов: n_T=n_C=14.

Как показано на фиг.55C, третья последовательность 5503 символов, указываемая посредством записи текстовых данных #3 - "Взаимно". Число символов n_C равно 18: n_C=18. Тем не менее, данные битовой карты для всех символов, включенных в третью последовательность 5502 символов, уже включаются в данные кэша #2 5512. В этом случае DEC 4077 пропускает рендеринг всей третьей последовательности 5503 символов. Другими словами, число для рендеринга n_R равно 0: n_R=0. С другой стороны, данные кэша #3 5513 в то время, когда запись текстовых данных #3 декодируется, являются идентичными данным кэша #2 5512. Буфер 4078 битовой карты передает, из данных кэша #3 5513 в запоминающее устройство 4092 PG-плоскости, символы "e" и "t" по три раза каждый, "o" четыре раза и другие символы в третьей последовательности 5503 символов по одному разу каждый. Другими словами, число передач n_T из буфера 4078 битовой карты в запоминающее устройство 4092 PG-плоскости равно числу символов n_C в третьей последовательности 5503 символов: n_T=n_C=18.

Как очевидно из вышеуказанного пояснения, нагрузка на DEC 4077 для рендеринга текстовых символов может быть уменьшена с использованием данных битовой карты, сохраненных в буфере 4078 битовой карты, в качестве данных кэша. Как результат, может уменьшаться время, необходимое для рендеринга последовательности символов на PG-плоскости. На практике, когда одна запись текстовых данных представляет строку текстовых символов из n_C символов (буквы n_C представляют целое число, превышающее или равное 1), то время T_process, необходимое для DEC 4077, чтобы декодировать данные битовой карты из записи текстовых данных и записывать символы в запоминающее устройство 4092 PG-плоскости, представляется посредством следующего уравнения, которое использует число для рендеринга n_R, скорость R_red рендеринга и скорость R_tr передачи данных из буфера 4078 битовой карты в запоминающее устройство 4092 PG-плоскости: T_process=n_R/R_red+n_C/R_tr. Поскольку число для рендеринга n_R, безусловно, равно или меньше числа символов n_C (n_R≤n_C), использование кэша уменьшает время T_process. Например, если скорость R_red рендеринга и скорость R_tr передачи данных составляют 20 символов в секунду, то время T_process, требуемое для того, чтобы записывать 20 символов (n_C=20) в запоминающее устройство 4092 PG-плоскости, составляет n_R/20+20/20=(n_R/20+1) секунд. Соответственно, тогда как время T_process, когда число для рендеринга n_R=20, составляет 2 секунды, время T_process, когда число для рендеринга n_R=10, составляет 1,5 секунды, и время T_process, когда число для рендеринга n_R=0, составляет 1 секунду. По мере того, как число для рендеринга уменьшается, т.е. по мере того, как объем данных кэша, которые используются, увеличивается, время T_process тем самым уменьшается.

Флаг, указывающий то, обновлена или нет информация 1711 стиля из непосредственно предшествующей записи текстовых данных, может добавляться к каждой записи 1710 текстовых данных, показанной на фиг.17. Когда информация 1711 стиля обновлена, данные битовой карты для символов, показанных посредством текстовой информации 1712, включенной в соответствующую запись 1710 текстовых данных, имеют низкую вероятность включения в кэш. Соответственно, DEC 4077 может определять то, выполнять или нет поиск данных битовой карты в данных кэша, на основе значения флага.

Кроме того, данные битовой карты в кэше могут обрабатываться на основе технологии "первый на входе - первый на выходе" (FIFO). Альтернативно, флаг, указывающий степень приоритета кэша, может сохраняться в текстовой информации 1712 в каждой записи 1710 текстовых данных, и флаг также может сохраняться в каждой записи 1710 текстовых данных, чтобы указывать, должны или нет данные битовой карты для последовательности символов, показанной посредством текстовой информации 1712, сохраняться в кэше. Эти флаги могут использоваться для того, чтобы не допускать сохранения данных битовой карты для последовательностей символов, которые возникают нечасто, в кэше.

Вариант осуществления 2

BD-ROM-диск и устройство воспроизведения согласно варианту осуществления 2 настоящего изобретения могут предотвращать риск "несовмещения" между видом для просмотра левым глазом и видом для просмотра правым глазом, вызывающего чувство некомфортности у зрителей. Помимо этого аспекта, BD-ROM-диск и устройство воспроизведения согласно варианту осуществления 2 имеют идентичную структуру и работают идентично варианту осуществления 1. Соответственно, ниже приводится описание BD-ROM-диска и устройства воспроизведения согласно варианту осуществления 2 относительно того, что изменено или дополнено по сравнению с вариантом осуществления 1. Подробности относительно частей BD-ROM-диска и устройства воспроизведения, которые являются идентичными частям по варианту осуществления 1, могут быть обнаружены в описании варианта осуществления 1.

Горизонтальное несовмещение между видом для просмотра левым глазом и видом для просмотра правым глазом

Фиг.56A является видом сверху, схематично показывающим горизонтальные углы обзора HAL и HAR для пары видеокамер CML и CMR, снимающих трехмерные видеоизображения. Как показано на фиг.56A, пара видеокамер CML и CMR размещается рядом в горизонтальном направлении. Левая видеокамера CML снимает вид для просмотра левым глазом, и правая видеокамера CMR снимает вид для просмотра правым глазом. Горизонтальные углы обзора HAL и HAR видеокамер CML и CMR имеют идентичный размер, но отличаются по местоположению. Это дает в результате полосу AL, которая включена только в горизонтальный угол обзора HAL левой видеокамеры CML, и полосу AR, которая включена только в горизонтальный угол обзора HAR правой видеокамеры CMR. Объект OBC, расположенный в секции, общей для обоих горизонтальных углов обзора HAL и HAR, захватывается посредством обеих видеокамер CML и CMR. Тем не менее, объект OBL, расположенный в полосе AL, которая включена только в горизонтальный угол обзора HAL левой видеокамеры CML, захватывается только посредством левой видеокамеры CML, а объект OBR, расположенный в полосе AR, которая включена только в горизонтальный угол обзора HAR правой видеокамеры CMR, захватывается только посредством правой видеокамеры CMR.

Фиг.56B является схематичным представлением, показывающим вид LV для просмотра левым глазом, снимаемый посредством левой видеокамеры CML, а фиг.56C является схематичным представлением, показывающим вид RV для просмотра правым глазом, захватываемый посредством правой видеокамеры CMR. Как показано на фиг.56B и 56C, полоса AL, которая включена только в горизонтальный угол обзора HAL левой видеокамеры CML, выглядит как полоса вдоль левого края вида LV для просмотра левым глазом. Тем не менее, эта полоса AL не включена в вид RV для просмотра правым глазом. С другой стороны, полоса AR, которая включена только в горизонтальный угол обзора HAR правой видеокамеры CMR, выглядит как полоса вдоль правого края вида RV для просмотра правым глазом. Тем не менее, эта полоса AR не включена в вид LV для просмотра левым глазом. Соответственно, для трех объектов OBL, OBC и OBR, показанных на фиг.56A, объект справа OBR не включен в вид LV для просмотра левым глазом, а объект слева OBL не включен в вид RV для просмотра правым глазом. Как результат, объект слева OBL является видимым только для левого глаза зрителя, а объект справа OBR является видимым только для правого глаза. Вид LV для просмотра левым глазом и вид RV для просмотра правым глазом тем самым приводят к риску возникновения чувства некомфортности у зрителей.

На BD-ROM-диске согласно варианту осуществления 2, информация, указывающая ширину WDH вышеуказанных полос AL и AR, включенных в каждый кадр вида LV для просмотра левым глазом и вида RV для просмотра правым глазом, хранится в видеопотоке для воспроизведения зависимого вида. Эта информация хранится в местоположении, идентичном местоположению хранения метаданных 1310 смещения, показанных на фиг.13, т.е. в дополнительных данных 1301 VAU в начале каждой видеопоследовательности. С другой стороны, в устройстве воспроизведения согласно варианту осуществления 2, декодер 4125 системных целевых объектов, показанный на фиг.41, считывает информацию, показывающую ширину WDH вышеуказанных полос AL и AR, из видеопотока для воспроизведения зависимого вида. Кроме того, декодер 4125 системных целевых объектов передает эту информацию в сумматор 4126 плоскостей наряду с информацией 4507 смещения, показанной на фиг.45. В сумматоре 4126 плоскостей, модуль 4510 формирования параллактического видео обращается к этой информации, чтобы обрабатывать левую видеоплоскость и правую видеоплоскость, равномерно раскрашивая полосы AL и AR в цвет фона или черный цвет. Другими словами, пикселные данные, включенные в полосы AL и AR, равномерно перезаписываются с данными, которые представляют цвет фона или черный цвет.

Фиг.56D и 56E являются схематичными представлениями, соответственно, показывающими вид LV для просмотра левым глазом, представленный посредством левой видеоплоскости, и вид RV для просмотра правым глазом, представленный посредством правой видеоплоскости, причем видеоплоскости обработаны посредством модуля 4510 формирования параллактического видео. Как показано на фиг.56D, полоса AL, которая включена только в горизонтальный угол обзора HAL левой видеокамеры CML, скрыта посредством черной полосы BL ширины WDH. С другой стороны, как показано на фиг.56E, полоса AR, которая включена только в горизонтальный угол обзора HAR правой видеокамеры CMR, скрыта посредством черной полосы BR ширины WDH. Как результат, оба глаза зрителя видят только область, совместно используемую посредством вида LV для просмотра левым глазом и вида RV для просмотра правым глазом, что исключает риск возникновения чувства некомфортности у зрителей.

Кроме того, модуль 4510 формирования параллактического видео может выполнять кадрирование, аналогичное кадрированию, показанному на фиг.47, чтобы удалять пикселные данные, включенные во внешнюю половину полос AL и AR, соответственно, расположенных в левой и правой видеоплоскости. В этом случае модуль 4510 формирования параллактического видео равномерно раскрашивает оставшуюся половину полос AL и AR в цвет фона или черный цвет и помимо этого добавляет цвет фона или черную полосу в половину ширины полос AL и AR на противоположной стороне. Таким образом, оба глаза зрителя видят область, совместно используемую посредством вида LV для просмотра левым глазом и вида RV для просмотра правым глазом, в центре экрана, с цветом фона или черными полосами в обоих краях экрана. Это исключает риск возникновения чувства некомфортности у зрителей.

Альтернативно, модуль 4510 формирования параллактического видео может обрабатывать левую и правую видеоплоскость следующим образом. Во-первых, через кадрирование, аналогичное кадрированию, показанному на фиг.47, модуль 4510 формирования параллактического видео удаляет пикселные данные в полосах AL и AR из каждой из видеоплоскостей. Затем модуль 4510 формирования параллактического видео изменяет размеры каждой видеоплоскости из пикселных данных в оставшейся области через масштабирование. Видеоизображение, показанное посредством оставшейся области, тем самым расширяется, чтобы заполнять весь кадр. Как результат, оба глаза зрителя видят только область, совместно используемую посредством вида LV для просмотра левым глазом и вида RV для просмотра правым глазом, что исключает риск возникновения чувства некомфортности у зрителей.

Следует отметить, что горизонтальное несовмещение между видом для просмотра левым глазом и видом для просмотра правым глазом также может возникать, когда стереоскопические видеоизображения формируются из моноскопических видеоизображений, снимаемых с помощью одной камеры, т.е. во время двумерного/трехмерного преобразования. В этом случае также, несовмещение может маскироваться аналогичным образом как выше. Другими словами, часть пикселных данных может удаляться из каждых из данных левых видеоизображений (левая видеоплоскость) и данных правых видеоизображений (правая видеоплоскость) и заменяться на другие пикселные данные, или оставшиеся пикселные данные могут быть дополнены так, чтобы заполнять все изображение (кадр).

Вертикальное несовмещение между видом для просмотра левым глазом и видом для просмотра правым глазом

Фиг.57A является видом сверху, схематично показывающим вертикальные углы обзора VAL и VAR для пары видеокамер CML и CMR, снимающих трехмерные видеоизображения. Как показано на фиг.57A, вертикальные углы обзора VAL и VAR для видеокамер CML и CMR имеют идентичный размер, но отличаются по местоположению. Это дает в результате полосу AT, которая включена только в вертикальный угол обзора VAL левой видеокамеры CML, и полосу AB, которая включена только в вертикальный угол обзора VAR правой видеокамеры CMR. Объект OBJ, расположенный в секции, общей для обоих вертикальных углов обзора VAL и VAR, захватывается посредством обеих видеокамер CML и CMR. Тем не менее, объекты, расположенные в полосе AT, которая включена только в вертикальный угол обзора VAL левой видеокамеры CML, захватываются только посредством левой видеокамеры CML, а объекты, расположенные в полосе AB, которая включена только в вертикальный угол обзора VAR правой видеокамеры CMR, захватываются только посредством правой видеокамеры CMR.

Фиг.57B является схематичным представлением, показывающим вид LV для просмотра левым глазом, снимаемый посредством левой видеокамеры CML, и вид RV для просмотра правым глазом, снимаемый посредством правой видеокамеры CMR. Как показано на фиг.57B, полоса AT, которая включена только в вертикальный угол обзора VAL левой видеокамеры CML, выглядит как полоса вдоль начала вида LV для просмотра левым глазом. Тем не менее, эта полоса AT не включена в вид RV для просмотра правым глазом. С другой стороны, полоса AB, которая включена только в вертикальный угол обзора VAR правой видеокамеры CMR, выглядит как полоса вдоль нижнего края вида RV для просмотра правым глазом. Тем не менее, эта полоса AB не включена в вид LV для просмотра левым глазом. Следует отметить, что позиции полос AT и AB могут быть изменены на противоположные между видом LV для просмотра левым глазом и видом RV для просмотра правым глазом. Таким образом, когда вид LV для просмотра левым глазом и вид RV для просмотра правым глазом отличаются относительно включения полос AT и AB, вертикальная позиция объекта OBJ, показанного на фиг.57A отличается между видом LV для просмотра левым глазом и видом RV для просмотра правым глазом на высоту HGT полос AT и AB. Как результат, вертикальная позиция объекта OBJ отличается при просмотре посредством левого глаза и правого глаза зрителя, что имеет риск возникновения чувства некомфортности у зрителей.

На BD-ROM-диске согласно варианту осуществления 2, информация, указывающая высоту HGT вышеуказанных полос AT и AB, включенных в каждый кадр вида LV для просмотра левым глазом и вида RV для просмотра правым глазом, хранится в видеопотоке для воспроизведения зависимого вида. Эта информация хранится в местоположении, идентичном местоположению хранения метаданных 1310 смещения, показанных на фиг.13, т.е. в дополнительных данных 1301 VAU в начале каждой видеопоследовательности. С другой стороны, в устройстве воспроизведения согласно варианту осуществления 2, декодер 4125 системных целевых объектов, показанный на фиг.41, считывает информацию, показывающую высоту HGT вышеуказанных полос AT и AB, из видеопотока для воспроизведения зависимого вида. Кроме того, декодер 4125 системных целевых объектов передает эту информацию в сумматор 4126 плоскостей наряду с информацией 4507 смещения.

В сумматоре 4126 плоскостей, модуль 4510 формирования параллактического видео обращается к высоте полос AT и AB, чтобы обрабатывать левую видеоплоскость и правую видеоплоскость следующим образом. Во-первых, модуль 4510 формирования параллактического видео сдвигает позицию пикселных данных в левой видеоплоскости наполовину высоты HGT, т.е. HGT/2, и сдвигает позицию пикселных данных в правой видеоплоскости вниз на HGT/2. Вертикальный центр видеоизображения, показанного в области видеоплоскостей, отличной от полос AT и AB, таким образом совпадает с вертикальным центром экрана. В левой видеоплоскости половина полосы AT удаляется с начала, давая, в результате, пустую полосу с высотой в HDT/2 в конце. В правой видеоплоскости половина полосы AB удаляется из нижней части, давая, в результате, пустую полосу с высотой HDT/2 в верхней части. Затем модуль 4510 формирования параллактического видео равномерно раскрашивает полосы цветом фона или черным цветом. Другими словами, пикселные данные, включенные в полосы, равномерно перезаписываются с данными, которые представляют цвет фона или черный цвет.

Фиг.57C является схематичным представлением, показывающим вид LV для просмотра левым глазом, представленный посредством левой видеоплоскости, и вид RV для просмотра правым глазом, представленный посредством правой видеоплоскости, причем видеоплоскости обработаны посредством модуля 4510 формирования параллактического видео. Как показано на фиг.57C, вертикальные центры вида LV для просмотра левым глазом и вида RV для просмотра правым глазом совпадают. Соответственно, вертикальная позиция объекта OBJ, показанного на фиг.57A, является идентичной в виде LV для просмотра левым глазом и виде RV для просмотра правым глазом. Вверху вида LV для просмотра левым глазом полоса AT, которая включена только в вертикальный угол обзора VAL левой видеокамеры CML, скрыта посредством черной полосы BT высоты HGT/2, а внизу вида RV для просмотра правым глазом полоса AB, которая включена только в вертикальный угол обзора VAR правой видеокамеры CMR, скрыта посредством черной полосы BB высоты HGT/2. Кроме того, черная полоса BB высоты HGT/2 добавляется к нижней части вида LV для просмотра левым глазом, а черная полоса BT высоты HGT/2 добавляется вверх вида RV для просмотра правым глазом. Как результат, оба глаза зрителя видят только область, совместно используемую посредством вида LV для просмотра левым глазом и вида RV для просмотра правым глазом, и вертикальные позиции совпадают между объектом, видимым посредством каждого глаза. Это исключает риск возникновения чувства некомфортности у зрителей.

Альтернативно, модуль 4510 формирования параллактического видео может обрабатывать левую и правую видеоплоскость следующим образом. Во-первых, через кадрирование, аналогичное кадрированию, показанному на фиг.47, сумматор 4126 плоскостей удаляет пикселные данные в полосах AT и AB из каждой из видеоплоскостей. Затем модуль 4510 формирования параллактического видео изменяет размеры каждой видеоплоскости из пикселных данных в оставшейся области через масштабирование. Видеоизображение, показанное посредством оставшейся области, тем самым расширяется, чтобы заполнять весь кадр, и как результат, оба глаза зрителя видят только область, совместно используемую посредством вида LV для просмотра левым глазом и вида RV для просмотра правым глазом. Кроме того, вертикальные позиции совпадают между объектом, видимым посредством каждого глаза. Это исключает риск возникновения чувства некомфортности у зрителей.

Несовмещение графических изображений между видом для просмотра левым глазом и видом для просмотра правым глазом

Когда устройство воспроизведения в режиме 1 плоскости+смещения предоставляет большое смещение в графическую плоскость, чтобы формировать пару графических плоскостей, область на правом или левом краю одной графической плоскости не может быть включена на правый или левый край другой графической плоскости.

Фиг.58A является схематичным представлением, показывающим пример графических изображений, представленных посредством графической плоскости GPL. Как показано на фиг.58A, графическая плоскость GPL представляет три типа графических элементов OB1, OB2 и OB3. В частности, левый край левого графического элемента OB1 находится на расстоянии D1 от левого края графической плоскости GPL, а правый край правого графического элемента OB3 находится на расстоянии D3 от правого края графической плоскости GPL. Фиг.58B и 58C являются схематичными представлениями, соответственно, показывающими смещение вправо и влево, предоставленное для графической плоскости GPL. Как показано на фиг.58B, полоса AR1 ширины OFS, равной значению смещения, удаляется из правого края графической плоскости GPL, и прозрачная полоса AL1 ширины OFS добавляется к левому краю способом, аналогичным показанному на фиг.47. Горизонтальные позиции графических элементов OB1-OB3, тем самым, сдвигаются вправо от своих исходных позиций на расстояние OFS, равное значению смещения. С другой стороны, как показано на фиг.58B, полоса AL2 ширины OFS, равной значению смещения, удаляется из левого края графической плоскости GPL, и прозрачная полоса AR2 ширины OFS добавляется к правому краю способом, аналогичным показанному на фиг.47. Горизонтальные позиции графических элементов OB1-OB3 тем самым сдвигаются влево от своих исходных позиций на расстояние OFS.

Как показано на фиг.58B и 58C, расстояние OFS, которое равно значению смещения, превышает расстояние D1 между левым краем левого графического элемента OB1 и левым краем графической плоскости GPL. Расстояние OFS также превышает расстояние D3 между правым краем правого графического элемента OB3 и правым краем графической плоскости GPL. Соответственно, часть MP3 правого края правого графического элемента OB3 отсутствует в графической плоскости GP1, в которую предоставлено смещение вправо. Кроме того, часть MP1 левого края левого графического элемента OB1 отсутствует в графической плоскости GP2, в которую предоставлено смещение влево. Тем не менее, пропущенная часть MP1 левого графического элемента OB1 включена в графическую плоскость GP1 со смещением вправо, а пропущенная часть MP3 правого графического элемента OB3 включена в графическую плоскость GP2 со смещением влево. Как результат, эти пропущенные части MP1 и MP3 видны только посредством одного из глаз зрителя, что может вызывать чувство некомфортности у зрителей.

На BD-ROM-диске согласно варианту осуществления 2, как показано на фиг.13, метаданные 1310 смещения сохраняются в начале каждой видеопоследовательности в видеопотоке для воспроизведения зависимого вида. С другой стороны, в устройстве воспроизведения согласно варианту осуществления 2, декодер 4125 системных целевых объектов, показанный на фиг.41, считывает метаданные смещения из видеопотока для воспроизведения зависимого вида, передавая эти метаданные смещения в сумматор 4126 плоскостей как информацию 4507 смещения, показанную на фиг.45. В сумматоре 4126 плоскостей, каждый из модулей 4531-4534 кадрирования, показанный на фиг.45, обращается к информации 4507 смещения, чтобы выполнять управление смещением для графической плоскости GPL. Здесь каждый из модулей 4531-4534 кадрирования, помимо этого, удаляет полосу ширины, равной значению смещения, которая идет вдоль левого или правого края графической плоскости GPL. Другими словами, пикселные данные в полосе перезаписываются с данными, представляющими прозрачный цвет. Фиг.58B и 58C показывает полосы AS1 и AS2, которые должны быть удалены. В графической плоскости GP1 со смещением вправо полоса AS1, которая должна быть удалена, включает в себя пропущенную часть MP1 левого графического элемента OB1. В графической плоскости GP2 со смещением влево полоса AS2, которая должна быть удалена, включает в себя пропущенную часть MP3 правого графического элемента OB3.

Фиг.58D и 58E являются схематичными представлениями, показывающими графические изображения, представленные посредством графических плоскостей GP1 и GP2, со смещениями вправо и влево, соответственно. Как показано на фиг.58D и 58E, в графических плоскостях GP1 и GP2 формы трех типов графических элементов OB1-OB3 совпадают. Как результат, только совместно используемая часть графических изображений видима каждому из глаз зрителя. Это исключает риск возникновения чувства некомфортности у зрителей.

Альтернативно, следующее условие может быть задано касательно компоновки графических элементов для графических плоскостей, воспроизводимых из PG-потока, IG-потока и потока текстовых субтитров на BD-ROM-диске, и для графической плоскости, сформированной посредством устройства воспроизведения. Фиг.59 является схематичным представлением, показывающим такое условие. Как показано на фиг.59, ортогональные координаты XY устанавливаются на графической плоскости GPL, с началом координат (0, 0) в левом верхнем углу. Координаты X и Y - это, соответственно, горизонтальные и вертикальные координаты графической плоскости GPL. Координаты правого нижнего угла графической плоскости GPL задаются равными (TWD, THG). С помощью этих координат XY, условие задается следующим образом: в каждом кадре графические элементы OB1, OB2 и OB3 должны размещаться в рамках прямоугольной области, имеющей четыре точки (OFS, 0), (OFS TWD, 0), (OFS TWD, THG) и (OFS, THG) в качестве вершин. Другими словами, не допускается размещение графических элементов в рамках полос AL и AR ширины OFS, которые, соответственно, идут вдоль левого края и правого края графической плоскости GPL. Как очевидно из фиг.58B и 58C, эти полосы AL и AR удаляются посредством управления смещением. Соответственно, если не допускается размещение графических элементов в рамках полос AL и AR, формы графических элементов не изменяются, даже когда смещение предоставляется в графическую плоскость GPL. Как результат, оба глаза зрителя видят идентичные графические изображения, что исключает риск возникновения чувства некомфортности у зрителей. Следует отметить, что, даже когда позиция графических элементов ограничена таким образом, часть исходных графических данных удаляется в графических данных, выводимых на дисплейное устройство, как показано на фиг.58.

В варианте осуществления 2 устройство 102 воспроизведения выполняет процессы, показанные на фиг.56-58. Альтернативно, дисплейное устройство 103 может выполнять эти процессы. Фиг.60 является блок-схемой функциональных модулей, включенных в устройство 102 воспроизведения или дисплейное устройство 103, которые выполняют вышеуказанные процессы. Как показано на фиг.60, эти функциональные модули включают в себя приемный модуль 1, процессор 2 потоков, процессор 3 сигналов и модуль 4 вывода. Приемный модуль 1 принимает мультиплексированные потоковые данные из носителя, такого как BD-ROM-диск, полупроводниковое запоминающее устройство, внешняя сеть или широковещательная волна, и передает мультиплексированные потоковые данные в процессор 2 потоков. Процессор 2 потоков отделяет каждый тип данных от мультиплексированных потоковых данных, таких как видео, аудио, графика и т.д., и передает результирующие фрагменты данных в процессор 3 сигналов. Процессор 3 сигналов по отдельности декодирует эти фрагменты данных и передает декодированные фрагменты данных в модуль 4 вывода. Модуль 4 вывода преобразует декодированные фрагменты данных в предварительно определенный формат и выводит результаты. Выводом модуля 4 вывода может быть видеосигнал/аудиосигнал в формате, таком как HDMI-формат, или могут быть просто видеоизображения/аудио.

Вариант осуществления 3

BD-ROM-диск согласно варианту осуществления 3 настоящего изобретения также включает в себя пару базового вида и зависимого вида для PG-потока и IG-потока. С другой стороны, устройство воспроизведения согласно варианту осуществления 3 настоящего изобретения содержит режим 2 плоскостей. "Режим 2 плоскостей" является одним из режимов отображения для графической плоскости. Когда суб-TS включает в себя и графический поток для воспроизведения базового вида и зависимого вида, устройство воспроизведения в режиме 2 плоскостей декодирует и поочередно выводит данные графической плоскости для просмотра левым глазом и правым глазом из графических потоков. Трехмерные графические изображения тем самым могут воспроизводиться из графических потоков. Помимо этих аспектов, BD-ROM-диск и устройство воспроизведения согласно варианту осуществления 3 имеют идентичную структуру и работают идентично варианту осуществления 1. Соответственно, ниже приводится описание BD-ROM-диска и устройства воспроизведения согласно варианту осуществления 3 относительно того, что изменено или дополнено по сравнению с вариантом осуществления 1. Подробности относительно частей BD-ROM-диска и устройства воспроизведения, которые являются идентичными частям по варианту осуществления 1, могут быть обнаружены в описании варианта осуществления 1.

Структура данных суб-TS

Фиг.61A является списком элементарных потоков, мультиплексированных в первом суб-TS на BD-ROM-диске 101. Первый суб-TS является мультиплексированными потоковыми данными в формате MPEG-2 TS и включается в файл DEP. Как показано на фиг.61A, первый суб-TS включает в себя поток 6011 первичного видео, PG-потоки 6012A и 6012B для просмотра левым глазом, PG-потоки 6013A и 6013B для просмотра правым глазом, IG-поток 6014 для просмотра левым глазом, IG-поток 6015 для просмотра правым глазом и поток 6016 вторичного видео. Когда поток 301 первичного видео в основном TS, показанном на фиг.3A, представляет вид для просмотра левым глазом трехмерных видеоизображений, поток 6011 первичного видео, который является видеопотоком для просмотра правым глазом, представляет вид для просмотра правым глазом трехмерных видеоизображений. Пары PG-потоков 6012A+6013A и 6012B+6013B для просмотра левым глазом и правым глазом представляют вид для просмотра левым глазом и вид для просмотра правым глазом графических изображений, таких как субтитров, когда эти графические изображения отображаются как трехмерные видеоизображения. Пара IG-потоков 6014 и 6015 для просмотра левым глазом и правым глазом представляет вид для просмотра левым глазом и вид для просмотра правым глазом графических изображений для интерактивного экрана, когда эти графические изображения отображаются как трехмерные видеоизображения. Когда поток 306 вторичного видео в основном TS представляет вид для просмотра левым глазом трехмерных видеоизображений, поток 6016 вторичного видео, который является видеопотоком для просмотра правым глазом, представляет вид для просмотра правым глазом трехмерных видеоизображений.

PID назначаются элементарным потокам 6011-6016, например, следующим образом. PID 0x1012 назначается потоку 6011 первичного видео. Когда до 32 других элементарных потоков могут быть мультиплексированы по типу в одном суб-TS, PG-потокам 6012A и 6012B для просмотра левым глазом назначается любое значение от 0x1220 до 0x123F, а PG-потокам 6013A и 6013B для просмотра правым глазом назначается любое значение от 0x1240 до 0x125F. IG-потоку для просмотра левым глазом 6014 назначается любое значение от 0x1420 до 0x143F, а IG-потоку 6015 для просмотра правым глазом назначается любое значение от 0x1440 до 0x145F. Потоку 6016 вторичного видео назначается любое значение от 0x1B20 до 0x1B3F.

Фиг.61B является списком элементарных потоков, мультиплексированных во втором суб-TS на BD-ROM-диске 101. Второй суб-TS является мультиплексированными потоковыми данными в формате MPEG-2 TS и включается в файл DEP, отличный от первого суб-TS. Альтернативно, второй суб-TS может быть мультиплексирован в том же файле DEP, что и первый суб-TS. Как показано на фиг.61B, второй суб-TS включает в себя поток 6021 первичного видео, PG-потоки 6023A и 6023B карт глубины, IG-поток 6024 карт глубины и поток 6026 вторичного видео. Поток 6021 первичного видео является потоком карт глубины и представляет трехмерные видеоизображения в комбинации с потоком 301 первичного видео в основном TS. Когда двумерные видеоизображения, представленные посредством PG-потоков 323A и 323B в основном TS, используются для того, чтобы проецировать трехмерные видеоизображения на виртуальном двумерном экране, PG-потоки 6023A и 6023B карты глубины используются как PG-потоки, представляющие карту глубины для трехмерных видеоизображений. Когда двумерные видеоизображения, представленные посредством IG-потока 304 в основном TS, используются для того, чтобы проецировать трехмерные видеоизображения на виртуальном двумерном экране, IG-поток 6024 карты глубины используется как IG-поток, представляющий карту глубины для трехмерных видеоизображений. Поток 6026 вторичного видео является потоком карт глубины и представляет трехмерные видеоизображения в комбинации с потоком 306 вторичного видео в основном TS.

PID назначаются элементарным потокам 6021-6026, например, следующим образом. PID 0x1013 назначается потоку 6021 первичного видео. Когда до 32 других элементарных потоков могут быть мультиплексированы по типу в одном суб-TS, PG-потокам 6023A и 6023B карт глубины назначается любое значение от 0x1260 до 0x127F. IG-потоку 6024 карты глубины назначается любое значение от 0x1460 до 0x147F. Потоку 6026 вторичного видео назначается любое значение от 0x1B40 до 0x1B5F.

Структура данных STN-таблицы SS

Фиг.62 является схематичным представлением, показывающим структуру данных STN-таблицы SS 3130. Как показано на фиг.62, последовательности 3301, 3302, 3303, …, информации регистрации потоков в STN-таблице SS 3130 включают в себя последовательность 6113 информации регистрации потоков PG-потока и последовательность 6114 информации регистрации потоков IG-потока в дополнение к смещению в ходе отображения всплывающего меню 3311 и последовательности 3312 информации регистрации потоков видеопотока для воспроизведения зависимого вида.

Последовательность 6113 информации регистрации потоков PG-потока включает в себя информацию регистрации потоков, указывающую PG-потоки, которые могут выбираться для воспроизведения из суб-TS. Последовательность 6114 информации регистрации потоков IG-потока включает в себя информацию регистрации потоков, указывающую IG-потоки, которые могут выбираться для воспроизведения из суб-TS. Эти последовательности 6113 и 6114 информации регистрации потоков используются в комбинации с последовательностями информации регистрации потоков, включенными в STN-таблицу соответствующего PI, которые указывают PG-потоки и IG-потоки. При считывании фрагмента информации регистрации потоков из STN-таблицы устройство 102 воспроизведения в режиме трехмерного воспроизведения также автоматически считывает последовательность информации регистрации потоков, расположенную в STN-таблице SS, которая комбинирована с фрагментом информации регистрации потоков. При простом переключении режима двумерного воспроизведения на режим трехмерного воспроизведения устройство 102 воспроизведения тем самым может поддерживать уже распознанные STN и атрибуты потока, такие как язык.

Как дополнительно показано на фиг.62, последовательность 6113 информации регистрации потоков PG-потока, в общем, включает в себя множество фрагментов информации 6131 регистрации потоков. Их число является идентичным числу фрагментов информации регистрации потоков в соответствующем PI, который указывает PG-потоки. Последовательность 6114 информации регистрации потоков IG-потока включает в себя один тип фрагментов информации регистрации потоков. Их число является идентичным числу фрагментов информации регистрации потоков в соответствующем PI, который указывает IG-потоки.

Каждый фрагмент информации 6131 регистрации потоков включает в себя STN 6141, стереоскопический флаг (is_SS_PG) 6142, запись 6143 потока для воспроизведения базового вида (stream_entry_for_base_view), запись 6144 потока для воспроизведения зависимого вида (stream_entry_for_dependent_view) и информацию 6145 атрибутов потока. STN 6141 является порядковым номером, назначенным по отдельности фрагментам информации 6131 регистрации потоков, и является идентичным STN фрагмента информации регистрации потоков, расположенной в соответствующем PI, с которым комбинируется фрагмент информации 6131 регистрации потоков. Стереоскопический флаг 6142 указывает то, включены или нет оба PG-потока для воспроизведения базового вида и зависимого вида на BD-ROM-диск 101. Если стереоскопический флаг 6142 помечен, оба PG-потока включены в суб-TS. Соответственно, устройство воспроизведения считывает все поля в записи 6143 потока для воспроизведения базового вида, записи 6144 потока для воспроизведения зависимого вида и информации 6145 атрибутов потока. Если стереоскопический флаг 6142 снят, устройство воспроизведения игнорирует все эти поля 6143-6145. Как запись 6143 потока для воспроизведения базового вида, так и запись 6144 потока для воспроизведения зависимого вида включают в себя ссылочную информацию 6121 идентификаторов подпутей, ссылочную информацию 6122 файлов потока и PID 6123. Ссылочная информация 6121 идентификаторов подпутей указывает идентификаторы подпутей для подпутей, которые указывают пути воспроизведения PG-потоков для воспроизведения базового вида и зависимого вида. Ссылочная информация 6122 файлов потока - это информация, чтобы идентифицировать файл DEP, сохраняющий PG-потоки. PID 6123 - это PID для PG-потоков. Информация 6145 атрибутов потока включает в себя атрибуты для PG-потоков, к примеру, языковой тип.

Декодер системных целевых объектов

Фиг.63 является функциональной блок-схемой декодера 6225 системных целевых объектов. Как показано на фиг.63, PG-декодер 6201 поддерживает режим 2-х плоскостей, в отличие от PG-декодера в декодере 4125 системных целевых объектов, показанном на фиг.41. В частности, PG-декодер 6201 включает в себя PG-декодер 6211 для воспроизведения базового вида и PG-декодер 6212 для воспроизведения зависимого вида. В дополнение к декодированию PG-потоков 303A и 303B в основном TS, показанном на фиг.3A, PG-декодер 6211 для воспроизведения базового вида декодирует PG-потоки 6012A и 6012B для просмотра левым глазом в первом суб-TS, показанном на фиг.61A, в данные плоскости. PG-декодер 6212 для воспроизведения зависимого вида декодирует PG-потоки 6013A и 6013B для просмотра правым глазом в первом суб-TS, показанном на фиг.61A, и PG-потоки 6023A и 6023B карт глубины во втором суб-TS, показанном на фиг.61B, в данные плоскости. Декодер вторичного видео и IG-декодер включают в себя аналогичную пару декодеров. Декодер 6225 системных целевых объектов дополнительно включает в себя пару запоминающих устройств 6221 и 6222 PG-плоскости. PG-декодер 6211 для воспроизведения базового вида записывает данные плоскости в запоминающее устройство 6221 левой PG-плоскости, а PG-декодер 6212 для воспроизведения зависимого вида записывает данные плоскости в запоминающее устройство 6222 правой PG-плоскости. Запоминающее устройство IG-плоскости и запоминающее устройство плоскости изображений имеют аналогичные структуры. Декодер 6225 системных целевых объектов дополнительно ассоциирует вывод данных плоскости из запоминающего устройства графической плоскости с режимом 2 плоскостей, режимом 1 плоскости+смещения и режимом 1 плоскости + нулевого смещения. В частности, когда модуль 4135 управления воспроизведением указывает режим 2 плоскостей, декодер 6225 системных целевых объектов поочередно выводит данные плоскости из пары запоминающих устройств 6221 и 6222 PG-плоскости в сумматор 6226 плоскостей.

Сумматоры плоскостей

Фиг.64 является частичной функциональной блок-схемой сумматора 6226 плоскостей в режиме 2 плоскостей. Как показано на фиг.64, сумматор 6226 плоскостей включает в себя модуль 4510 формирования параллактического видео, переключатель 4520 и сумматоры 4541 и 4542, аналогично сумматору 4126 плоскостей, показанному на фиг.45. Сумматор 6226 плоскостей дополнительно включает в себя второй модуль 6310 формирования параллактического видео и второй переключатель 6320 в качестве модулей для ввода данных 6304 и 6305 PG-плоскости. Аналогичная структура включается в модули для ввода данных плоскости вторичного видео, данных IG-плоскости и данных плоскости изображений.

Второй модуль 6310 формирования параллактического видео принимает данные 6304 левой PG-плоскости и данные 6305 правой PG-плоскости из декодера 6225 системных целевых объектов. В устройстве 102 воспроизведения в L/R-режиме данные 6304 левой PG-плоскости представляют PG-плоскость для просмотра левым глазом, а данные 6305 правой PG-плоскости представляют PG-плоскость для просмотра правым глазом. Здесь второй модуль 6310 формирования параллактического видео передает фрагменты данных 6304 и 6305 плоскости как есть во второй переключатель 6320. С другой стороны, в устройстве 102 воспроизведения в режиме глубины данные 6304 левой PG-плоскости представляют PG-плоскость двумерных графических изображений, а данные 6305 правой PG-плоскости представляют карту глубины, соответствующую двумерным графическим изображениям. В этом случае второй модуль 6310 формирования параллактического видео сначала вычисляет бинокулярный параллакс для каждого элемента в двумерных графических изображениях с использованием карты глубины. Затем второй модуль 6310 формирования параллактического видео обрабатывает данные 6304 левой PG-плоскости, чтобы сдвигать позицию представления каждого элемента в двумерном графическом изображении в PG-плоскости влево или вправо в соответствии с вычисленным бинокулярным параллаксом. Это формирует пару PG-плоскостей, представляющую вид для просмотра левым глазом и вид для просмотра правым глазом. Кроме того, второй модуль 6310 формирования параллактического видео выводит эту пару PG-плоскостей во второй переключатель 6320.

Второй переключатель 6320 выводит данные 6304 левой PG-плоскости и данные 6305 правой PG-плоскости, которые имеют идентичную PTS, во второй сумматор 4542 в этом порядке. Второй сумматор 4542 принимает данные PG-плоскости из второго переключателя 6320, накладывает эти данные PG-плоскости на данные плоскости из первого сумматора 4541 и передает результат в третий сумматор 4543. Как результат, PG-плоскость для просмотра левым глазом накладывается на данные левой видеоплоскости 6301, и PG-плоскость для просмотра правым глазом накладывается на данные правой видеоплоскости 6302.

Комбинирование двумерных видеоизображений и трехмерных графических изображений

Устройство воспроизведения согласно варианту осуществления 3 использует вышеуказанную структуру, чтобы реализовывать режим 2 плоскостей. Устройство воспроизведения тем самым может отображать трехмерные графические изображения, наложенные на трехмерные видеоизображения. Кроме того, BD-ROM-диск и устройство воспроизведения согласно варианту осуществления 3 могут отображать трехмерные графические изображения, наложенные на двумерные видеоизображения, как описано ниже.

Фиг.65 является схематичным представлением, показывающим изображения в видеопотоке 6401 для воспроизведения базового вида и в видеопотоке 6402 для просмотра правым глазом в порядке времени представления. Как показано на фиг.65, видеопоток 6401 для воспроизведения базового вида включает в себя изображения 6410, 6411, 6412, … и 6419 для воспроизведения базового вида, а видеопоток 6402 для просмотра правым глазом включает в себя изображения 6420, 6421, 6422, … и 6429 для просмотра правым глазом. Эти изображения 6410-6419 и 6420-6429 составляют три секции 6431, 6432 и 6433 воспроизведения.

Первая секция 6431 воспроизведения и третья секция 6433 воспроизведения являются "секциями трехмерного воспроизведения", представляющими трехмерные видеоизображения. Изображения в секциях 6431 и 6433 трехмерного воспроизведения сжимаются с помощью такого способа многовидового кодирования, как MVC, аналогично изображениям, показанным на фиг.7. Другими словами, каждое из изображений 6410-6413 и 6417-6419 для воспроизведения базового вида сжимается с использованием различных изображений для воспроизведения базового вида в этой секции трехмерного воспроизведения в качестве опорных изображений. С другой стороны, каждое из изображений 6420-6423 и 6427-6429 сжимается для просмотра правым глазом с использованием изображений 6410-6413 и 6417-6419 для воспроизведения базового вида, принадлежащих одной трехмерной VAU, в качестве опорных изображений, в дополнение к другим изображениям для просмотра правым глазом в этой секции трехмерного воспроизведения.

Вторая секция 6432 воспроизведения является "секцией псевдодвумерного воспроизведения" и представляет двумерные видеоизображения, несмотря на включение изображений для просмотра правым глазом. Изображения в секции 6432 псевдодвумерного воспроизведения сжимаются с помощью такого способа многовидового кодирования, как MVC. В частности, каждое из изображений 6414-6416 для воспроизведения базового вида сжимается с использованием различных изображений для воспроизведения базового вида в этой секции псевдодвумерного воспроизведения в качестве опорных изображений. Тем не менее, изображения 6424-6426 для просмотра правым глазом сжимаются как простая ссылка на изображения 6414-6416 для воспроизведения базового вида в одной трехмерной VAU. Соответственно, изображения для просмотра правым глазом представляют двумерные видеоизображения, идентичные двумерным видеоизображениям изображений для воспроизведения базового вида, принадлежащих исходной трехмерной VAU. Другими словами, нет параллакса между видом для просмотра левым глазом и видом для просмотра правым глазом. Следовательно, в секции псевдодвумерного воспроизведения только двумерные видеоизображения воспроизводятся, даже в режиме трехмерного воспроизведения. Кроме того, объем данных сжатых изображений для просмотра правым глазом является очень небольшим.

Фиг.66 является таблицей, показывающей синтаксис заголовка серии последовательных макроблоков и данных серии последовательных макроблоков при кодировании изображений для просмотра правым глазом в секции псевдодвумерного воспроизведения в соответствии с MVC. Серии последовательных P-макроблоков включаются в четвертое изображение для просмотра правым глазом "P₄" 6423 и седьмое изображение для просмотра правым глазом "P₇" 6426, показанные на фиг.65. С другой стороны, серии последовательных B-макроблоков включаются в пятое изображение для просмотра правым глазом "B₅" 6424 и шестое изображение для просмотра правым глазом "B₆" 6425, показанные на фиг.65. Как показано на фиг.66, набор из четырех линий, записанных в заголовок серии последовательных макроблоков "ref_pic_list_modification_flag_l0 (или l1)=1", "modification_of_pic_nums_idc=5", "abs_diff_view_idx_minus1=0" и "ref_pic_list_modification_flag_l0 (или l1)=3", указывает следующее: индексом, указывающим опорное изображение для этой серии последовательных макроблоков, является индекс=0 изображений для воспроизведения базового вида, принадлежащих одной трехмерной VAU. Поскольку предусмотрено одно опорное изображение для серии последовательных P-макроблоков, заголовок серии последовательных макроблоков включает в себя набор из вышеуказанных четырех линий. Поскольку предусмотрено два опорных изображения для серии последовательных B-макроблоков, заголовок серии последовательных макроблоков включает в себя два набора из вышеуказанных четырех линий. С другой стороны, две линии, записанные в данные серии последовательных макроблоков, указывают следующие два элемента как для серии последовательных P-макроблоков, так и для серии последовательных B-макроблоков: (i) когда макроблоки в серии последовательных макроблоков кодируются с помощью контекстно-адаптивного кодированиям переменной длины (CAVLC), значение параметра "mb_skip_run" задается равным общему числу макроблоков в серии последовательных макроблоков, и (ii) когда макроблоки в серии последовательных макроблоков кодируются с помощью контекстно-адаптивного двоичного арифметического кодирования (CABAC), флаг "mb_skip_flag" многократно задается число раз, равное общему числу макроблоков в серии последовательных макроблоков. Эти настройки означают, что типом всех макроблоков в серии последовательных макроблоков является "пропуск". Другими словами, эти настройки указывают то, что сжатое изображение для просмотра правым глазом фактически не включает в себя данные серии последовательных макроблоков, и при декодировании опорное изображение может копироваться как изображение для просмотра правым глазом. Соответственно, в MVC очень небольшой объем данных может выражать, что копия каждого изображения для воспроизведения базового вида в секции псевдодвумерного воспроизведения кодируется как изображение для просмотра правым глазом, принадлежащее одной трехмерной VAU.

Фиг.67 является схематичным представлением, показывающим (i) пару из файла 2D 6610 и файла DEP 6620, которые составляют как секцию трехмерного воспроизведения, так и секцию псевдодвумерного воспроизведения, и (ii) два типа файлов 6630 и 6640 списков для трехмерного воспроизведения, которые задают каждую из секций воспроизведения.

Поток первичного видео (PID=0x1011), включенный в файл 2D 6610, является видеопотоком для воспроизведения базового вида, совместно используемым как секцией трехмерного воспроизведения, так и секциями псевдодвумерного воспроизведения. Файл DEP 6620 включает в себя два типа потоков первичного видео (PID=0x1012, 0x1013). Один из этих потоков (PID=0x1012) является видеопотоком для воспроизведения зависимого вида, содержащим секции трехмерного воспроизведения наряду с видеопотоком для воспроизведения базового вида. Другой поток (PID=0x1013) является видеопотоком для воспроизведения зависимого вида, составляющим секции псевдодвумерного воспроизведения наряду с видеопотоком для воспроизведения базового вида. Другими словами, поток первичного видео с PID=0x1013 состоит из изображений в видеопотоке для воспроизведения базового вида, каждое из которых сжато с использованием себя в качестве опорного изображения. Кроме того, файл DEP 6620 включает в себя пару из PG-потока для просмотра левым глазом (PID=0x1220) и PG-потока для просмотра правым глазом (PID=0x1240). PG-потоки, соответственно, представляют вид для просмотра левым глазом и вид для просмотра правым глазом трехмерных графических изображений.

Пути воспроизведения, указываемые посредством файла 6630 списков для трехмерного воспроизведения #1, состоят из секций трехмерного воспроизведения. В частности, в основном пути 6631, PI #1 указывает секцию воспроизведения видеопотока для воспроизведения базового вида (PID=0x1011) в файле 2D 6610. С другой стороны, в подпути 6632 с типом 6633 подпути = трехмерный L/R, SUB_PI #1 указывает секцию воспроизведения для видеопотока для воспроизведения зависимого вида (PID=0x1012) и пары PG-потоков (PID=0x1220, 0x1240) в файле DEP 6620. Этот SUB_PI #1 указывает время начала воспроизведения и время окончания воспроизведения, идентичные временам начала и окончания воспроизведения PI #1.

Пути воспроизведения, указываемые посредством файла 6640 списков для трехмерного воспроизведения #2, состоят из секций псевдодвумерного воспроизведения. В частности, в основном пути 6641, PI #1 указывает секцию воспроизведения видеопотока для воспроизведения базового вида (PID=0x1011) в файле 2D 6610. С другой стороны, в подпути 6642 с типом 6643 подпути = трехмерный L/R, SUB_PI #1 указывает секцию воспроизведения для видеопотока для воспроизведения зависимого вида (PID=0x1013) и пара PG-потоков (PID=0x1220, 0x1240) в файле DEP 6620. Этот SUB_PI #1 указывает время начала воспроизведения и время окончания воспроизведения, идентичные временам начала и окончания воспроизведения PI #1.

Когда устройство 102 воспроизведения в режиме трехмерного воспроизведения использует файл 6630 списков для трехмерного воспроизведения #1, чтобы выполнять обработку воспроизведения по списку для трехмерного воспроизведения, трехмерные графические изображения, воспроизводимые из пары PG-потоков (PID=0x1220, 0x1240), отображаются наложенными на трехмерные видеоизображения, воспроизводимые из комбинации видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида (PID=0x1012). С другой стороны, когда устройство 102 воспроизведения в режиме трехмерного воспроизведения использует файл 6640 списков для трехмерного воспроизведения #2, чтобы выполнять обработку воспроизведения по списку для трехмерного воспроизведения, трехмерные графические изображения, воспроизводимые из пары PG-потоков (PID=0x1220, 0x1240), отображаются наложенными на двумерные видеоизображения, воспроизводимые из комбинации видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида (PID=0x1013). Следовательно, посредством переключения файла списков для трехмерного воспроизведения устройство 102 воспроизведения может переключать видеоизображения, на которые трехмерные графические изображения должны накладываться, с трехмерных видеоизображений на двумерные видеоизображения.

Фиг.68 является схематичным представлением, показывающим пару из файла 2D 6710 и файла DEP #1 6721, которые составляют секции трехмерного воспроизведения, файл DEP #2 6722, который составляет секции псевдодвумерного воспроизведения в комбинации с файлом 2D 6710, и файл 6730 списков для трехмерного воспроизведения, который задает каждую из секций воспроизведения.

Поток первичного видео (PID=0x1011), включенный в файл 2D 6710, является видеопотоком для воспроизведения базового вида, совместно используемым как секциями трехмерного воспроизведения, так и секциями псевдодвумерного воспроизведения. Поток первичного видео (PID=0x1012), включенный в файл DEP #1 6721, является видеопотоком для воспроизведения зависимого вида, составляющим секции трехмерного воспроизведения наряду с видеопотоком для воспроизведения базового вида. Поток первичного видео (PID=0x1013), включенный в файл DEP #2 6722, является видеопотоком для воспроизведения зависимого вида, составляющим секции псевдодвумерного воспроизведения наряду с видеопотоком для воспроизведения базового вида. Другими словами, поток первичного видео с PID=0x1013 состоит из изображений в видеопотоке для воспроизведения базового вида, сжатых с использованием себя в качестве опорного изображения. Кроме того, файлы DEP 6721 и 6722 включают в себя пару из PG-потока для просмотра левым глазом (PID=0x1220) и PG-потока для просмотра правым глазом (PID=0x1240). PG-потоки, соответственно, представляют вид для просмотра левым глазом и вид для просмотра правым глазом трехмерных графических изображений.

Пути воспроизведения, указываемые посредством файла 6730 списков для трехмерного воспроизведения, включают в себя как секции трехмерного воспроизведения, так и секции псевдодвумерного воспроизведения. В частности, в основном пути 6731, PI #1, PI #2 и PI #3 указывают различные секции воспроизведения видеопотока для воспроизведения базового вида (PID=0x1011) в файле 2D 6710. С другой стороны, в подпути 6732 с типом подпути 6733 = трехмерный L/R, SUB_PI #1 и SUB_PI #3 указывают секции воспроизведения для видеопотока для воспроизведения зависимого вида (PID=0x1012) и пары PG-потоков (PID=0x1220, 0x1240) в файле DEP #1 6721. Кроме того, SUB_PI #2 указывает секцию воспроизведения для видеопотока для воспроизведения зависимого вида (PID=0x1013) и пары PG-потоков (PID=0x1220, 0x1240) в файле DEP #3 6722. Каждый SUB_PI #N указывает время начала воспроизведения и время окончания воспроизведения, идентичные временам начала и окончания воспроизведения PI #N (N=1, 2, 3). Соответственно, пара из PI #1 и SUB_PI #1 и пара из PI #3 и SUB_PI #3 указывают секции трехмерного воспроизведения, а пара из PI #2 и SUB_PI #2 указывают секцию псевдодвумерного воспроизведения. Кроме того, значение CC в PI #2 и PI #3 задается равным "5", и значение SPCC в SUB_PI #2, и SUB_PI #3 задается равным "5". Другими словами, указывается то, что эти секции воспроизведения должны соединяться плавно.

Фиг.69 является схематичным представлением, показывающим последовательность 6810 видеоплоскостей и последовательность 6820 PG-плоскостей, которые устройство 102 воспроизведения в режиме трехмерного воспроизведения воспроизводит в соответствии с файлом 6730 списков для трехмерного воспроизведения. Как показано на фиг.69, каждая последовательность 6810 и 6820 включает в себя три группы 6811-6813 и 6821-6823 в порядке времени представления.

Первая группа 6811, 6821 содержит первую секцию P3D1 трехмерного воспроизведения, указываемую посредством пары из PI #1 и SUB_PI #1. Другими словами, первая группа 6811 видеоплоскостей поочередно включает в себя видеоплоскости L, R для просмотра левым глазом и правым глазом, воспроизводимые из комбинации видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида (PID=0x1012). С другой стороны, первая группа 6821 PG-плоскостей поочередно включает в себя PG-плоскости L, R для просмотра левым глазом и правым глазом, воспроизводимые из пары PG-потоков (PID=0x1220, 0x1240). Соответственно, во время первой секции P_3D1 трехмерного воспроизведения трехмерные графические изображения, представленные посредством первой группы 6821 PG-плоскостей, отображаются наложенными на трехмерные видеоизображения, представленные посредством первой группы 6811 видеоплоскостей.

Вторая группа 6812, 6822 содержит секцию PPS2D псевдодвумерного воспроизведения, указываемую посредством пары из PI #2 и SUB_PI #3. Другими словами, вторая группа 6812 видеоплоскостей поочередно включает в себя видеоплоскости 2D двумерных видеоизображений, воспроизводимых из видеопотока для воспроизведения базового вида, и копии этих видеоплоскостей 2D, воспроизводимых из видеопотока для воспроизведения зависимого вида (PID=0x1013). С другой стороны, вторая группа 6822 PG-плоскостей поочередно включает в себя PG-плоскости L, R для просмотра левым глазом и правым глазом, воспроизводимые из пары PG-потоков (PID=0x1220, 0x1240). Соответственно, во время секции P_PS2D псевдодвумерного воспроизведения трехмерные графические изображения, представленные посредством второй группы 6822 PG-плоскостей, отображаются наложенными на двумерные видеоизображения, представленные посредством второй группы 6812 видеоплоскостей.

Третья группа 6813, 6823 содержит вторую секцию P3D2 трехмерного воспроизведения, указываемую посредством пары из PI #3 и SUB_PI #3. Другими словами, третья группа 6813 видеоплоскостей поочередно включает в себя видеоплоскости L и R для просмотра левым глазом и правым глазом, воспроизводимые из комбинации видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида (PID=0x1012). С другой стороны, третья группа 6823 PG-плоскостей поочередно включает в себя PG-плоскости L, R для просмотра левым глазом и правым глазом, воспроизводимые из пары PG-потоков (PID=0x1220, 0x1240). Соответственно, во время второй секции P_3D2 трехмерного воспроизведения трехмерные графические изображения, представленные посредством третьей группы 6823 PG-плоскостей, отображаются наложенными на трехмерные видеоизображения, представленные посредством третьей группы 6813 видеоплоскостей.

Как в вышеприведенном описании, во время последовательности обработки воспроизведения по списку для трехмерного воспроизведения устройству 102 воспроизведения может инструктироваться переходить от комбинаций трехмерных графических изображений и трехмерных видеоизображений к комбинациям трехмерных графических изображений и двумерных видеоизображений при переключении секций воспроизведения. Поскольку сама структура данных видеопотока не изменяется между секциями трехмерного воспроизведения и секциями псевдодвумерного воспроизведения, устройство 102 воспроизведения может продолжать работать обычно в режиме трехмерного воспроизведения во время обеих секций воспроизведения. В частности, как показано на фиг.68, если CC=5 и SPCC=5 заданы, видеоизображения могут плавно соединяться даже между секцией трехмерного воспроизведения и секцией псевдодвумерного воспроизведения.

Модификации

(3-A) Как показано на фиг.68, каждый PI может включать в себя флаг видового кодирования. "Флаг видового кодирования" указывает то, является секция воспроизведения, указываемая посредством PI, секцией трехмерного воспроизведения или секцией псевдодвумерного воспроизведения. Например, значение "0" для флага видового кодирования указывает то, что секцией воспроизведения является секция трехмерного воспроизведения, и значение "1" указывает секцию псевдодвумерного воспроизведения. В примере, показанном на фиг.67, каждый файл списков для трехмерного воспроизведения может включать в себя флаг видового кодирования. Кроме того, флаг видового кодирования может сохраняться как дополнительная информация в TS, формирующем мультиплексированные потоковые данные или видеопоток в соответствии с MVC и т.п. Например, в видеопотоке в соответствии с MVC, заголовок NAL-единицы, SEI или идентификационный код 832A суб-AU в VAU 832 видеопотока для воспроизведения зависимого вида, показанного на фиг.8, может использоваться в качестве местоположения хранения. Альтернативно, новая NAL-единица может быть задана для хранения флага видового кодирования. С другой стороны, в TS, заголовок TS-пакета или дескриптор, в частности, дескриптор в соответствии с MVC, который включает в себя информацию атрибутов, такую как скорость передачи битов, может использоваться в качестве местоположения хранения флага видового кодирования.

(3-B) Путь воспроизведения, заданный посредством файла списков для трехмерного воспроизведения, может включать в себя секцию воспроизведения обычных двумерных видеоизображений (в дальнейшем называемую "секцией обычного двумерного воспроизведения") в дополнение к секциям трехмерного воспроизведения и секциям псевдодвумерного воспроизведения. Секция обычного двумерного воспроизведения не включает в себя суб-TS, в частности, видеопоток для воспроизведения зависимого вида, и тем самым устройство воспроизведения воспроизводит только двумерные видеоизображения в режиме двумерного воспроизведения из основного TS. В этом случае содержимое трехмерных видеоизображений может хранить информацию, указывающую, являются секции воспроизведения двумерных видеоизображений секциями псевдодвумерного воспроизведения или секциями обычного двумерного воспроизведения. Например, значение "2" для флага видового кодирования, включенного в PI, указывает то, что секция воспроизведения, указываемая посредством PI, является секцией обычного двумерного воспроизведения.

(3-C) Информация может задаваться так, чтобы указывать то, "существуют или нет секции воспроизведения с отличающимися флагами видового кодирования в рамках файла AV-потока, сохраненного в (i) видеосодержимом, записанном на носителе записи, таком как оптический диск, карта памяти или HDD, (ii) широковещательной программе, (iii) конкретной папке и т.д.". В частности, для программы, эта информация может храниться в дескрипторе, который сохраняет информацию программы, или в дескрипторе, указывающем атрибуты видеопотока, который составляет программу. Например, эта информация указывает следующие виды атрибутов пути воспроизведения, заданного посредством файла списков воспроизведения: (1) путь воспроизведения включает в себя только секции трехмерного воспроизведения, (2) путь воспроизведения включает в себя, по меньшей мере, одну секцию трехмерного воспроизведения, (3) путь воспроизведения включает в себя и секции псевдодвумерного воспроизведения, и секции обычного двумерного воспроизведения. Устройство воспроизведения может упрощать обработку выбора посредством выбора рабочего режима, чтобы совпадать с атрибутами пути воспроизведения, указываемого этой информацией.

(3-D) Когда информация, указывающая то, "являются видеоизображения в секции воспроизведения трехмерными или двумерными видеоизображениями", задается в трехмерном видеосодержимом, эта информация может использоваться вместо флага видового кодирования. В частности, когда эта информация указывает то, что "видеоизображения в секции воспроизведения являются трехмерными видеоизображениями", эта секция воспроизведения является секцией трехмерного воспроизведения. С другой стороны, когда эта информация указывает то, что "видеоизображения в секции воспроизведения являются двумерными видеоизображениями", эта секция воспроизведения является либо секцией псевдодвумерного воспроизведения, либо секцией обычного двумерного воспроизведения. Кроме того, чтобы определять то, является "секция воспроизведения секцией псевдодвумерного воспроизведения или секцией обычного двумерного воспроизведения", "информация, указывающая число видов относительно видеоизображений", которое сохраняется в видеопотоке, мультиплексированных потоковых данных и т.д., может использоваться. Если число видов = 2, секцией воспроизведения является секция псевдодвумерного воспроизведения, а если число видов = 1, секцией воспроизведения является секция обычного двумерного воспроизведения. Альтернативно, "информация, указывающая способ кодирования содержимого", может использоваться. Эта информация хранится в видеосодержимом, в частности, в управляющей информации этого. В частности, если способом кодирования является способ многовидового кодирования, такой как MVC, секцией воспроизведения является секция псевдодвумерного воспроизведения, а если способом кодирования является способ одновидового кодирования, такой как MPEG-4 AVC, то секцией воспроизведения является секция обычного двумерного воспроизведения.

(3-E) Если устройство 102 воспроизведения поддерживает BD-Live™, видеопоток для воспроизведения базового вида может считываться из BD-ROM-диска и видеопотока для воспроизведения зависимого вида, загружаемого от другого устройства, такого как сервер в сети. В этом случае устройство воспроизведения дополнительно может обращаться к флагу видового кодирования, предоставленному в видеосодержимом на BD-ROM-диске, чтобы проверять атрибуты пути воспроизведения видеосодержимого. В частности, когда как секции трехмерного воспроизведения, так и секции обычного двумерного воспроизведения существуют в пути воспроизведения, а секции псевдодвумерного воспроизведения не включаются, устройство воспроизведения может загружать, с сервера и т.п. в сети, либо новое содержимое, чтобы заменять секции обычного двумерного воспроизведения секциями псевдодвумерного воспроизведения, либо данные различий, необходимые для того, чтобы формировать данные для секций псевдодвумерного воспроизведения из данных для секций обычного двумерного воспроизведения. Устройство воспроизведения тем самым может воспроизводить все видеосодержимое в одном рабочем режиме.

(3-F) Фиг.70 является блок-схемой последовательности операций способа обработки, посредством которой устройство трехмерного воспроизведения выбирает рабочий режим в зависимости от того, существует или нет секция обычного двумерного воспроизведения в рамках последовательных секций воспроизведения. Эта обработка выполняется каждый раз, когда обработка одной последовательности последовательных секций воспроизведения в пути воспроизведения начинается во время обработки воспроизведения по списку воспроизведения. "Последовательные секции воспроизведения" упоминаются как одна или более секций воспроизведения, из секций воспроизведения в пути воспроизведения, в которых видеоизображения должны воспроизводиться последовательно и плавно.

На этапе S6901 модуль 4135 управления воспроизведением в устройстве 102 воспроизведения обращается к файлу списков воспроизведения и т.п., чтобы проверять атрибуты пути воспроизведения, тем самым определяя, включают или нет последовательные секции воспроизведения, которые должны обрабатываться, в себя секцию обычного двумерного воспроизведения. Если последовательные секции воспроизведения включают в себя секцию обычного двумерного воспроизведения, обработка переходит к этапу S6902. Иначе обработка переходит к этапу S6905.

На этапе S6902 модуль 4135 управления воспроизведением дополнительно определяет то, включают или нет последовательные секции воспроизведения, которые должны обрабатываться, в себя тип секции воспроизведения, отличный от секции обычного двумерного воспроизведения. Если последовательные секции воспроизведения включают в себя тип секции воспроизведения, отличный от секции обычного двумерного воспроизведения, обработка переходит к этапу S6903. Иначе обработка переходит к этапу S6904.

На этапе S6903 последовательные секции воспроизведения, которые должны обрабатываться, включают в себя как секцию обычного двумерного воспроизведения, так и другой тип секции воспроизведения. Соответственно, устройство 102 воспроизведения выбирает режим двумерного воспроизведения. Затем обработка воспроизведения последовательных секций воспроизведения начинается в режиме двумерного воспроизведения. В частности, "пропуск воспроизведения" выполняется во время секций трехмерного воспроизведения и секций псевдодвумерного воспроизведения. Другими словами, когда блоки данных, включенные в основной TS, считываются из BD-ROM-диска 101, считывание блоков данных, включенных в суб-TS, пропускается посредством переходов. Видеоизображения тем самым воспроизводятся в режиме двумерного воспроизведения для всех последовательных секций воспроизведения на частоте кадров, например, 1/24 секунды.

На этапе S6904 последовательные секции воспроизведения, которые должны обрабатываться, включают в себя только секции обычного двумерного воспроизведения. Соответственно, устройство 102 воспроизведения выбирает режим двумерного воспроизведения. Затем обработка воспроизведения последовательных секций воспроизведения начинается в режиме двумерного воспроизведения.

На этапе S6905 последовательные секции воспроизведения, которые должны обрабатываться, включают в себя только секции трехмерного воспроизведения и секции псевдодвумерного воспроизведения. Соответственно, устройство 102 воспроизведения выбирает режим трехмерного воспроизведения. Затем обработка воспроизведения последовательных секций воспроизведения начинается в режиме трехмерного воспроизведения. Следовательно, как показано на фиг.69, комбинированные изображения, сформированные посредством трехмерных видеоизображений и трехмерных графических изображений в секциях трехмерного воспроизведения, плавно соединяются с комбинированными изображениями, сформированными посредством двумерных видеоизображений и трехмерных графических изображений в секциях псевдодвумерного воспроизведения.

(3-G) Фиг.71 является блок-схемой последовательности операций способа обработки, посредством которой устройство трехмерного воспроизведения с функцией воспроизведения с дубляжом выбирает рабочий режим в зависимости от того, существует или нет секция обычного двумерного воспроизведения в рамках последовательных секций воспроизведения. Эта обработка выполняется каждый раз, когда обработка одной последовательности последовательных секций воспроизведения в пути воспроизведения начинается во время обработки воспроизведения по списку воспроизведения. "Функция воспроизведения с дубляжом" упоминается как функция, чтобы использовать режим представления B-B, чтобы воспроизводить потоковые данные, представляющие двумерные видеоизображения. Во время воспроизведения с дубляжом видеоизображения воспроизводятся на частоте кадров режима трехмерного воспроизведения, например, 1/48 секунды. Поскольку один кадр отображается два раза, тем не менее, фактические смены кадров происходят на частоте кадров режима двумерного воспроизведения, например, 1/24 секунды.

На этапе S7001 модуль 4135 управления воспроизведением в устройстве 102 воспроизведения обращается к файлу списков воспроизведения и т.п., чтобы проверять атрибуты пути воспроизведения, тем самым определяя, включает или нет последовательная секция воспроизведения, которая должна обрабатываться, в себя секцию обычного двумерного воспроизведения. Если последовательная секция воспроизведения включает в себя секцию обычного двумерного воспроизведения, обработка переходит к этапу S7002. Иначе обработка переходит к этапу S7005.

На этапе S7002 модуль 4135 управления воспроизведением дополнительно определяет то, включают в себя или нет последовательные секции воспроизведения, которые должны обрабатываться, тип секции воспроизведения, отличный от секции обычного двумерного воспроизведения. Если последовательные секции воспроизведения включают в себя тип секции воспроизведения, отличный от секции обычного двумерного воспроизведения, обработка переходит к этапу S7003. Если последовательные секции воспроизведения не включают в себя другие типы секций воспроизведения, обработка переходит к этапу S7004.

На этапе S7003 последовательные секции воспроизведения, которые должны обрабатываться, включают в себя и секцию обычного двумерного воспроизведения, и другой тип секции воспроизведения. Соответственно, устройство 102 воспроизведения выбирает режим трехмерного воспроизведения, в частности, режим представления B-B для секций обычного двумерного воспроизведения. Затем обработка воспроизведения последовательных секций воспроизведения начинается в режиме трехмерного воспроизведения. Воспроизведение с дубляжом тем самым выполняется в секциях обычного двумерного воспроизведения. Как результат, видеоизображения воспроизводятся плавно во всех последовательных секциях воспроизведения.

На этапе S7004 последовательные секции воспроизведения, которые должны обрабатываться, включают в себя только секции двумерного воспроизведения. Соответственно, устройство 102 воспроизведения выбирает режим двумерного воспроизведения. Затем обработка воспроизведения последовательных секций воспроизведения начинается в режиме двумерного воспроизведения.

На этапе S7005 последовательные секции воспроизведения, которые должны обрабатываться, включают в себя только секции трехмерного воспроизведения и секции псевдодвумерного воспроизведения. Соответственно, устройство 102 воспроизведения выбирает режим трехмерного воспроизведения. Затем обработка воспроизведения последовательных секций воспроизведения начинается в режиме трехмерного воспроизведения. Комбинированные изображения, сформированные посредством трехмерных видеоизображений и трехмерных графических изображений в секциях трехмерного воспроизведения, тем самым плавно соединяются с комбинированными изображениями, сформированными посредством двумерных видеоизображений и трехмерных графических изображений в секциях псевдодвумерного воспроизведения.

(3-H) На протяжении отображения всплывающего меню на экране, т.е. в течение периода отображения всплывающего меню, устройство 102 воспроизведения в режиме трехмерного воспроизведения изменяет другие трехмерные видеоизображения на двумерные видеоизображения следующим образом. Это улучшает видимость, а также повышает удобство и простоту использования всплывающего меню. IG-плоскости, декодированные из IG-потока, или плоскости изображений, подготавливаемые посредством рендеринга в соответствии с BD-J, используются для отображения всплывающего меню.

Фиг.72A является схематичным представлением, показывающим последовательность 7110 видеоплоскостей, последовательность 7120 IG-плоскостей/плоскостей изображений и последовательность 7130 PG-плоскостей, когда всплывающее меню отображается во время воспроизведения трехмерных графических изображений в режиме 1 плоскости + смещения. Как показано на фиг.72A, период P_POP отображения всплывающего меню вставляется между двумя секциями P_3D1 и P_3D2 трехмерного воспроизведения. Следовательно, последовательность 7110 видеоплоскостей и последовательность 7130 PG-плоскостей, соответственно, разделяется на три группы 7111-7113 и 7131-7133.

Во время первой секции P_3D1 трехмерного воспроизведения режим представления видеоплоскостей задается равным режиму представления B-D, а режим представления PG-плоскостей задается равным режиму 1 плоскости + смещения. Соответственно, первая группа 7111 видеоплоскостей поочередно включает в себя видеоплоскости L и R для просмотра левым глазом и правым глазом, а первая группа 7131 PG-плоскостей поочередно включает в себя PG-плоскости L и R для просмотра левым глазом и правым глазом. Каждая пара PG-плоскостей для просмотра левым глазом и правым глазом формируется через управление смещением из одной PG-плоскости и комбинируется с соответствующей парой видеоплоскостей. Соответственно, во время первой секции P_3D1 трехмерного воспроизведения трехмерные графические изображения, представленные посредством первой группы 7131 PG-плоскостей, отображаются наложенными на трехмерные видеоизображения, представленные посредством первой группы 7111 видеоплоскостей.

В течение периода P_POP отображения всплывающего меню последовательность 7120 IG-плоскостей/плоскостей изображений воспроизводится в режиме 1 плоскости + смещения или режиме 2 плоскостей. Эта последовательность 7120, следовательно, поочередно включает в себя IG-плоскости/плоскости L и R изображений для просмотра левым глазом и правым глазом. Кроме того, режим отображения видеоплоскостей изменяется на режим представления B-B, а режим представления PG-плоскостей изменяется на режим 1 плоскости + нулевого смещения. Вторая группа 7112 видеоплоскостей тем самым включает в себя каждые две из видеоплоскостей L для просмотра левым глазом, а вторая группа 7132 PG-плоскостей включает в себя каждые две из PG-плоскостей C, имеющие значение смещения = 0. Соответственно, в течение периода PPOP отображения всплывающего меню, двумерные графические изображения, представленные посредством второй группы 7132 PG-плоскостей, и трехмерные графические изображения всплывающего меню, представленные посредством последовательности 7120 IG-плоскостей/плоскостей изображений, отображаются наложенными на двумерные видеоизображения, представленные посредством второй группы 7112 видеоплоскостей.

Во время второй секции P_3D2 трехмерного воспроизведения режим представления видеоплоскостей возвращается к режиму представления B-B, а режим представления PG-плоскостей возвращается к режиму 1 плоскости + смещения. Соответственно, третья группа 7113 видеоплоскостей поочередно включает в себя видеоплоскости L и R для просмотра левым глазом и правым глазом, а третья группа 7133 PG-плоскостей поочередно включает в себя PG-плоскости L и R для просмотра левым глазом и правым глазом. Следовательно, во время второй секции P3D2 трехмерного воспроизведения трехмерные графические изображения, представленные посредством третьей группы 7133 PG-плоскостей, отображаются наложенными на трехмерные видеоизображения, представленные посредством третьей группы 7113 видеоплоскостей.

Фиг.72B является схематичным представлением, показывающим пример последовательности 7110 видеоплоскостей, последовательности 7120 IG-плоскостей/плоскостей изображений и последовательности 7140 PG-плоскостей, когда всплывающее меню отображается во время воспроизведения трехмерных графических изображений в режиме 2 плоскостей. Как показано на фиг.72B, период P_POP отображения всплывающего меню вставляется между двумя секциями P_3D1 и P_3D2 трехмерного воспроизведения. Следовательно, последовательность 7110 видеоплоскостей и последовательность 7140 PG-плоскостей, соответственно, разделяется на три группы 7111-7113 и 7141-7143.

Во время первой секции P_3D1 трехмерного воспроизведения режим представления видеоплоскостей задается равным режиму представления B-D, и режим представления PG-плоскостей задается равным режиму 2 плоскостей. Соответственно, первая группа 7111 видеоплоскостей поочередно включает в себя видеоплоскости L и R для просмотра левым глазом и правым глазом, а первая группа 7141 PG-плоскостей поочередно включает в себя PG-плоскости L и R для просмотра левым глазом и правым глазом. PG-плоскости для просмотра левым глазом и правым глазом формируются из различных PG-потоков. Соответственно, во время первой секции P_3D1 трехмерного воспроизведения трехмерные графические изображения, представленные посредством первой группы 7141 PG-плоскостей, отображаются наложенными на трехмерные видеоизображения, представленные посредством первой группы 7111 видеоплоскостей.

В течение периода P_POP отображения всплывающего меню последовательность 7120 IG-плоскостей/плоскостей изображений воспроизводится в режиме 1 плоскости + смещения или режиме 2 плоскостей. Эта последовательность 7120, следовательно, поочередно включает в себя IG-плоскости/плоскости L и R изображений для просмотра левым глазом и правым глазом. Кроме того, режимы представления видеоплоскостей и PG-плоскостей изменяются на режим представления B-B. Вторая группа 7112 видеоплоскостей тем самым включает в себя каждые две из видеоплоскостей L для просмотра левым глазом, а вторая группа 7142 PG-плоскостей включает в себя каждые две из PG-плоскостей L для просмотра левым глазом. Соответственно, в течение периода PPOP отображения всплывающего меню, двумерные графические изображения, представленные посредством второй группы 7142 PG-плоскостей, и трехмерные графические изображения всплывающего меню, представленные посредством последовательности 7120 IG-плоскостей/плоскостей изображений, отображаются наложенными на двумерные видеоизображения, представленные посредством второй группы 7112 видеоплоскостей.

Во время второй секции P_3D2 трехмерного воспроизведения режим представления видеоплоскостей возвращается к режиму представления B-B, а режим представления PG-плоскостей возвращается к режиму 2 плоскостей. Соответственно, третья группа 7113 видеоплоскостей поочередно включает в себя видеоплоскости L и R для просмотра левым глазом и правым глазом, а третья группа 7143 PG-плоскостей поочередно включает в себя PG-плоскости L и R для просмотра левым глазом и правым глазом. Следовательно, во время второй секции P3D2 трехмерного воспроизведения трехмерные графические изображения, представленные посредством третьей группы 7143 PG-плоскостей, отображаются наложенными на трехмерные видеоизображения, представленные посредством третьей группы 7113 видеоплоскостей.

Фиг.72C является схематичным представлением, показывающим другой пример последовательности 7110 видеоплоскостей, последовательности 7120 IG-плоскостей/плоскостей изображений и последовательности 7150 PG-плоскостей, когда всплывающее меню отображается во время воспроизведения трехмерных графических изображений в режиме 2 плоскостей. Как показано на фиг.72C, в отличие от фиг.72B, PG-плоскости не отображаются в течение периода P_POP отображения всплывающего меню. Во всех других отношениях, каждая из последовательностей плоскостей, показанных на фиг.72C, является идентичной последовательностям, показанным на фиг.72B.

В первой секции P_3D1 трехмервоспроизведения первая группа 7111 видеоплоскостей и первая группа 7151 PG-плоскостей поочередно включают в себя плоскости L и R для просмотра левым глазом и правым глазом, и, следовательно, трехмерные графические изображения, представленные посредством первой группы 7151 PG-плоскостей, отображаются наложенными на трехмерные видеоизображения, представленные посредством первой группы 7111 видеоплоскостей.

В течение периода P_POP отображения всплывающего меню последовательность 7120 IG-плоскостей/плоскостей изображений поочередно включает в себя IG-плоскости/плоскости L и R изображений для просмотра левым глазом и правым глазом, а вторая группа 7112 видеоплоскостей включает в себя каждые две из видеоплоскостей L для просмотра левым глазом. Между тем, рендеринг PG-плоскостей продолжается, но вывод рендеринга прерывается. Соответственно, вторая группа 7152 PG-плоскостей отбрасывается. В течение периода P_POP отображения всплывающего меню трехмерные видеоизображения всплывающего меню, представленные посредством последовательности 7120 IG-плоскостей/плоскостей изображений, отображаются наложенными на двумерные видеоизображения, представленные посредством второй группы 7112 видеоплоскостей. С другой стороны, трехмерные графические изображения, представленные посредством второй группы 7152 PG-плоскостей, не отображаются.

Во время второй секции P_3D2 трехмерного воспроизведения режим представления видеоплоскостей возвращается к режиму представления B-B, а режим представления PG-плоскостей возвращается к режиму 2 плоскостей. Третья группа 7113 видеоплоскостей и третья группа 7153 PG-плоскостей тем самым поочередно включают в себя плоскости L и R для просмотра левым глазом и правым глазом. Следовательно, во время второй секции P3D2 трехмерного воспроизведения трехмерные графические изображения, представленные посредством третьей группы 7153 PG-плоскостей, отображаются наложенными на трехмерные видеоизображения, представленные посредством третьей группы 7113 видеоплоскостей.

Как описано выше, во время отображения всплывающего меню, другие трехмерные видеоизображения временно изменяются на двумерные видеоизображения. В частности, время обработки, чтобы изменять режимы представления PG-плоскостей, является коротким, поскольку это изменение режимов представления достигается посредством изменения значения смещения или выходной плоскости. Соответственно, переключение между трехмерными видеоизображениями и двумерными видеоизображениями может выполняться плавно.

Следует отметить, что режим представления PG-плоскостей может быть переключен между режимом 1 плоскости + (нулевого) смещения и режимом 2 плоскостей в соответствии с включением и отключением всплывающего меню в следующих случаях: когда время обработки, требуемое для того, чтобы изменять режим представления, является достаточно коротким; когда видео может прерываться вследствие изменения режима представления; или когда три PG-декодера воспроизводят PG-поток в основном TS и паре PG-потоков в суб-TS параллельно.

(3-I) Устройство 102 воспроизведения в режиме 2 плоскостей может обращаться к метаданным смещения, чтобы дополнительно выполнять управление смещением для графических плоскостей для просмотра левым глазом и правым глазом. За счет этого устройство 102 воспроизведения может регулировать глубину трехмерных графических изображений в режиме 2 плоскостей способом, аналогичном режиму 1 плоскости + смещения.

В частности, допускается, что режим представления B-B используется в периоде отображения всплывающего меню, и что трехмерные графические изображения, отличные от всплывающего меню, изменяются на двумерные графические изображения, как на фиг.72B. Фиг.73A, 73B и 73C являются схематичными представлениями, показывающими различия в позиции представления графического элемента в режиме представления B-D и режиме представления B-B. Как показано на фиг.73A-C, пунктирные линии на экране SCR указывают позицию GOB0 представления графического элемента в режиме представления B-D, и сплошные линии указывают позиции GOB1-3 представления графического элемента в режиме представления B-B. Горизонтальные расстояния OFS1, OFS2 и OFS3 между каждой из позиций GOB1, GOB2 и GOB3 представления в режиме представления B-B и позицией GOB0 представления в режиме представления B-D, как показано на фиг.73A-C, увеличиваются по размеру в числовом порядке: OFS1<OFS2<OFS3. Когда графические изображения отображаются в порядке фиг.73A-C, в режиме представления B-D трехмерные видеоизображения графического элемента, как кажется, сдвигаются в направлении, перпендикулярном экрану SCR. С другой стороны, в режиме представления B-B двумерные видеоизображения графического элемента, как кажется, сдвигаются влево на экране SCR. Такое различие в направлении сдвига может вызывать чувство некомфортности у зрителей, и, следовательно, устройство 102 воспроизведения использует управление смещением, как описано ниже, чтобы поддерживать позицию представления графических изображений постоянной в режиме представления B-B.

Фиг.73D, 73E и 73F являются схематичными представлениями, соответственно, показывающими обработку, чтобы компенсировать смещение графического элемента в режиме представления B-B, показанном на фиг.73A, 73B и 73C. Как показано на фиг.73D-F, пунктирные линии на экране SCR указывают позиции GOB1-3 представления графических элементов перед компенсацией, и сплошные линии указывают позицию GOB0 представления после компенсации. Горизонтальные расстояния OFS1, OFS2 и OFS3 между каждой из позиций представления в режиме представления B-B и режимом представления B-D, как показано на фиг.73A-C, равняются размеру смещения, предоставленного для каждого графического изображения. Соответственно, когда графические изображения отображаются в порядке фиг.73A-C, значения OFS1, OFS2 и OFS3 смещения для графических плоскостей, представленных посредством графических изображений, увеличиваются по размеру в одном порядке: OFS1<OFS2<OFS3. В этом случае устройство 102 воспроизведения сначала находит избыточные величины второго и третьего значений OFS2 и OFS3 смещения относительно первого значения OFS1 смещения, т.е. OFS2-OFS1 и OFS3-OFS1, соответственно, задавая эти объемы как значения RV1 и RV2 обратного смещения: RV1=OFS2-OFS1 и RV2=OFS3-OFS1. Затем устройство 102 воспроизведения использует управление смещением на каждой из графических плоскостей, чтобы сдвигать позицию представления каждого графического изображения к исходной позиции GOB1 представления, соответственно, на значения RV1 и RV2 обратного смещения. Позиция представления каждого графического изображения тем самым поддерживается практически равной исходной позиции GOB1 представления. Риск возникновения чувства некомфортности у зрителей при сдвиге из режима представления B-D в режим представления B-B тем самым может исключаться.

Вариант осуществления 4

Далее описывается, в качестве варианта осуществления 4 настоящего изобретения, устройство и способ для записи данных на носители записи вариантов осуществления 1-3 настоящего изобретения. Записывающее устройство, описанное здесь, называется устройством авторской разработки. Устройство авторской разработки, в общем, находится в творческой студии и используется пользователями, занимающимися авторской разработкой, чтобы создавать киносодержимое, которое должно распространяться. Во-первых, в ответ на операции пользователями, занимающимися авторской разработкой, устройство записи преобразует киносодержимое в файлы AV-потока с использованием предварительно определенного способа кодирования со сжатием. Затем устройство записи формирует сценарий. "Сценарий" - это информация, задающая то, как каждый тайтл, включенный в киносодержимое, должен воспроизводиться. В частности, сценарий включает в себя вышеописанную информацию динамического сценария и информацию статического сценария. Затем устройство записи формирует образ тома для BD-ROM-диска из файлов AV-потока и сценария. В завершение, устройство записи записывает образ тома на носителе записи.

Фиг.74 является функциональной блок-схемой устройства 7300 записи. Как показано на фиг.74, устройство 7300 записи включает в себя модуль 7301 хранения баз данных, видеокодер 7302, модуль 7303 создания материала, модуль 7304 формирования сценариев, модуль 7305 создания BD-программ, процессор 7306 мультиплексирования и процессор 7307 форматов.

Модуль 7301 хранения баз данных является энергонезависимым устройством хранения данных, встроенным в записывающее устройство, и является, в частности, жестким диском (HDD). Альтернативно, модуль 7301 хранения баз данных может быть внешним HDD, подключенным к устройству записи, или энергонезависимым полупроводниковым запоминающим устройством, внутренним или внешним для устройства записи.

Видеокодер 7302 принимает видеоданные, такие как несжатые данные битовой карты, от пользователей, занимающихся авторской разработкой, и сжимает принимаемые видеоданные в соответствии со способом кодирования со сжатием, таким как MPEG-4 AVC или MPEG-2. Этот процесс преобразует данные первичного видео в поток первичного видео и данные вторичного видео в поток вторичного видео. В частности, данные трехмерного видеоизображения преобразуются в пару из видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида, как показано на фиг.7, с использованием способа многовидового кодирования, такого как MVC. Другими словами, последовательность видеокадров, представляющая вид для просмотра левым глазом, преобразуется в видеопоток для воспроизведения базового вида через межкадровое прогнозирующее кодирование для изображений в этих видеокадрах. С другой стороны, последовательность видеокадров, представляющая вид для просмотра правым глазом, преобразуется в видеопоток для воспроизведения зависимого вида через прогнозирующее кодирование не только для изображений в этих видеокадрах, но также и изображений для воспроизведения базового вида. Следует отметить, что видеокадры, представляющие вид для просмотра правым глазом, могут быть преобразованы в видеопоток для воспроизведения базового вида, и видеокадры, представляющие вид для просмотра левым глазом, могут быть преобразованы в видеопоток для воспроизведения зависимого вида. Преобразованные видеопотоки 7312 сохраняются в модуле 7301 хранения баз данных.

Кроме того, при кодировании данных для двумерных видеоизображений, видеокодер 7302 получает от пользователей, занимающихся авторской разработкой, информацию, указывающую, что "графические данные, представляющие трехмерные графические изображения, мультиплексируются в данных двумерного видеоизображения". В этом случае видеокодер 7302 формирует, из данных двумерного видеоизображения, пару из видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида, составляющую секцию псевдодвумерного воспроизведения. Другими словами, видеокодер 7302 сначала преобразует данные двумерного видеоизображения в видеопоток для воспроизведения базового вида. Затем видеокодер 7302 преобразует каждое изображение в данных двумерного видеоизображения в изображение для воспроизведения зависимого вида с использованием самого изображения в качестве опорного изображения, как в изображениях для воспроизведения зависимого вида в секции 6432 псевдодвумерного воспроизведения, показанной на фиг.65. Преобразованные видеопотоки 7312 сохраняются в модуле 7301 хранения баз данных. Видеокодер 7302, помимо этого, формирует информацию VCI видового кодирования, касающуюся сформированной пары из видеопотока для воспроизведения базового вида и видеопотока для воспроизведения зависимого вида. "Информация видового кодирования" указывает то, составляют или нет видеопотоки либо секции трехмерного воспроизведения, либо секции псевдодвумерного воспроизведения. Сформированная информация VCI видового кодирования выводится в процессор 7306 мультиплексирования.

При кодировании потока вторичного видео из данных двумерного видеоизображения видеокодер 7302 также может создавать информацию 7310 смещения для плоскости вторичного видео в соответствии с операциями пользователей, занимающихся авторской разработкой. Сформированная информация 7310 смещения сохраняется в модуле 7301 хранения баз данных.

Дополнительно, во время процесса межкадрового прогнозирующего кодирования видеокодер 7302 обнаруживает векторы движения между отдельными изображениями в виде для просмотра левым глазом и виде для просмотра правым глазом и вычисляет информацию глубины каждого трехмерного видеоизображения на основе обнаруженных векторов движения. Видеокодер 7302 может использовать эту информацию глубины, чтобы формировать карту глубины для просмотра левым глазом или для просмотра правым глазом. В этом случае видеокодер 7302 использует межкадровое прогнозирующее кодирование для изображений в потоковых данных для просмотра левым глазом или правым глазом и потоке карт глубины, чтобы преобразовывать их в видеопоток для воспроизведения базового вида и поток карт глубины. Преобразованные видеопотоки 7312 сохраняются в модуле 7301 хранения баз данных.

Видеокодер 7302, помимо этого, использует информацию глубины для того, чтобы вычислять ширину WDH вертикальных полос AL и AR, соответственно, включенных в вид LV для просмотра левым глазом и вид RV для просмотра правым глазом, показанные на фиг.56B и 56C, и высоту HGT горизонтальных полос AT и AB, соответственно, включенных в вид LV для просмотра левым глазом и вид RV для просмотра правым глазом, показанные на фиг.57B и 57C. Информация 7311 (в дальнейшем называемая "информацией маскирующей области"), указывающая вычисленную ширину WDH и высоту HGT, хранится в модуле 7301 хранения баз данных.

Модуль 7303 создания материала создает элементарные потоки, отличные от видеопотоков, такие как аудиопоток 7313, PG-поток 7314, IG-поток 7315 и поток 7316 текстовых субтитров, и сохраняет созданные потоки в модуль 7301 хранения баз данных. Например, модуль 7303 создания материала принимает несжатые LPCM-аудиоданные от пользователей, занимающихся авторской разработкой, кодирует несжатые LPCM-аудиоданные в соответствии с таким способом кодирования со сжатием, как AC-3, и преобразует кодированные LPCM-аудиоданные в аудиопоток 7313. Модуль 7303 создания материала дополнительно принимает файл информации субтитров от пользователей, занимающихся авторской разработкой, и создает PG-поток 7314 и поток 7316 текстовых субтитров в соответствии с файлом информации субтитров. Файл информации о субтитрах задает данные изображений или текстовые данные для показа субтитров, распределения времени отображения субтитров и визуальных эффектов, которые должны добавляться к субтитрам, таких как выход из затемнения и затемнение. Кроме того, модуль 7303 создания материала принимает данные битовой карты и файл меню от пользователей, занимающихся авторской разработкой, и создает IG-поток 7315 в соответствии с данными битовой карты и файлом меню. Данные битовой карты показывают изображения, которые должны отображаться на меню. Файл меню задает то, как каждая кнопка в меню должна переводиться из одного состояния в другое, и задает визуальные эффекты, которые должны добавляться к каждой кнопке.

В ответ на операции пользователями, занимающимися авторской разработкой, модуль 7303 создания материала, помимо этого, создает информацию 7310 смещения, соответствующую PG-потоку 7314, IG-потоку 7315 и потоку 7316 текстовых субтитров. В этом случае модуль 7303 создания материала может использовать информацию DPI глубины, сформированную посредством видеокодера 7302. Сформированная информация 7310 смещения сохраняется в модуле 7301 хранения баз данных.

Модуль 7304 формирования сценариев создает данные 7317 BD-ROM-сценариев в ответ на инструкцию, принимаемую от пользователей, занимающихся авторской разработкой, через GUI, и затем сохраняет созданные данные 7317 BD-ROM-сценариев в модуле 7301 хранения баз данных. Данные 7317 BD-ROM-сценариев задают способы воспроизведения элементарных потоков 7312-7316, сохраненных в модуле 7301 хранения баз данных. Из группы файлов, показанной на фиг.2, данные 7317 BD-ROM-сценариев включают в себя индексный файл 211, файл 212 кинообъектов и файлы 221-223 списков воспроизведения. Модуль 7304 формирования сценариев дополнительно создает файл PRF параметров и передает созданный файл PRF параметров в процессор 7306 мультиплексирования. Файл PRF параметров задает, из элементарных потоков 7312-7316, сохраненных в модуле 7301 хранения баз данных, потоковые данные, которые должны быть мультиплексированы в основной TS и суб-TS.

Модуль 7305 создания BD-программ предоставляет пользователям, занимающимся авторской разработкой, среду программирования для программирования BD-J-объектов и Java-приложений. Модуль 7305 создания BD-программ принимает запрос от пользователя через GUI и создает исходный код каждой программы согласно запросу. Модуль 7305 создания BD-программ дополнительно создает файл 251 BD-J-объектов из BD-J-объектов и сжимает Java-приложения в JAR-файл 261 JAR. Программные файлы BDP передаются в процессор 7307 форматов.

Здесь допускается, что BD-J-объект программируется следующим образом: BD-J-объект инструктирует модулю 4134 выполнения программ, показанному на фиг.41, передавать графические данные для GUI в декодер 4125 системных целевых объектов. Кроме того, BD-J-объект инструктирует декодеру 4125 системных целевых объектов обрабатывать графические данные как данные плоскости изображений и выводить данные плоскости изображений в сумматор 4126 плоскостей в режиме 1 плоскости + смещения. В этом случае модуль 7305 создания BD-программ может создавать информацию 7310 смещения, соответствующую плоскости изображений, и сохранять информацию 7310 смещения в модуле 7301 хранения баз данных. Модуль 7305 создания BD-программ может использовать информацию DPI глубины, сформированную посредством видеокодера 7302, при создании информации 7310 смещения.

В соответствии с файлом PRF параметров, процессор 7306 мультиплексирования мультиплексирует каждый из элементарных потоков 7312-7316, сохраненных в модуле 7301 хранения баз данных, чтобы формировать файл потока в формате MPEG-2 TS (тем не менее, поток 7316 текстовых субтитров устанавливается как независимый файл). Более конкретно, как показано на фиг.4, каждый из элементарных потоков 7312-7315 преобразуется в последовательность исходных пакетов, и исходные пакеты, включенные в каждую последовательность, ассемблируются, чтобы составлять один фрагмент мультиплексированных потоковых данных. Таким образом, основной TS и суб-TS создаются. Эти фрагменты мультиплексированных потоковых данных MSD выводятся в процессор 7307 форматов.

Кроме того, процессор 7306 мультиплексирования создает метаданные 1310 смещения, показанные на фиг.13 и 14, на основе информации 7310 смещения, сохраненной в модуле 7301 хранения баз данных. Созданные метаданные 1310 смещения, как показано на фиг.13, сохраняются в видеопотоке для воспроизведения зависимого вида. Здесь информация 7311 маскирующей области, сохраненная в модуле 7301 хранения баз данных, сохраняется в видеопотоке для воспроизведения зависимого вида вместе с метаданными смещения. Следует отметить, что процессор 7306 мультиплексирования может обрабатывать каждый фрагмент графических данных, чтобы регулировать компоновку графических элементов в кадрах левого и правого видеоизображений так, что трехмерные графические изображения, представленные посредством каждой графической плоскости, не отображаются как перекрывающиеся в визуальном направлении, совпадающем с визуальным направлением трехмерных графических изображений, представленных посредством других графических плоскостей. Процессор 7306 мультиплексирования также затем может регулировать значение смещения для каждого видеокадра так, что глубины трехмерных графических изображений не перекрываются.

Дополнительно, процессор 7306 мультиплексирования создает файл информации о двумерных клипах и файл информации о клипах для воспроизведения зависимого вида. В частности, процессор 7306 мультиплексирования сначала создает карты вхождений и списки начальных точек экстентов для файла 2D и файла DEP. Здесь процессор 7306 мультиплексирования размещает двумерные экстенты, экстенты для воспроизведения базового вида, экстенты для воспроизведения зависимого вида и экстенты SS. Кроме того, процессор 7306 мультиплексирования извлекает информацию атрибутов из каждого элементарного потока, который должен быть мультиплексирован в основной TS и суб-TS. Затем процессор 7306 мультиплексирования создает каждый файл CLI информации о клипах из карт вхождений, списков начальных точек экстентов и информации атрибутов и выводит файлы CLI информации о клипах в процессор 7307 форматов.

Процессор 7307 форматов создает образ 7320 BD-ROM-диска со структурой каталогов, показанной на фиг.2, из (i) данных 7317 BD-ROM-сценариев, сохраненных в модуле 7301 хранения баз данных, (ii) группы программных файлов BDP, таких как файлы BD-J-объектов, созданные посредством модуля 7305 создания BD-программ, и (iii) мультиплексированных потоковых данных MSD и файлов CLI информации о клипах, сформированных посредством процессора 7306 мультиплексирования. В этой структуре каталогов UDF используется в качестве файловой системы.

При создании записей файлов для каждого из файлов 2D, файлов DEP и файлов SS процессор 7307 форматов обращается к картам вхождений и трехмерным метаданным, включенным в файлы информации о двумерных клипах и файлы информации о клипах для воспроизведения зависимого вида. SPN для каждой точки входа и начальной точки экстента тем самым используется при создании каждого дескриптора выделения. В частности, значение LBN и размера экстента, которое должно представляться посредством каждого дескриптора выделения, определяется, чтобы выражать перемеженную компоновку, аналогично компоновке, показанной на фиг.19. Как результат, каждый блок данных для воспроизведения базового вида совместно используется посредством файла SS и файла 2D, и каждый блок данных для воспроизведения зависимого вида совместно используется посредством файла SS и файла DEP.

Кроме того, на основе информации VCI видового кодирования, процессор 7307 форматов перезаписывает файл списков для трехмерного воспроизведения, задавая флаг видового кодирования, как показано на фиг.68 в каждом PI в основном пути.

Способ записи образа BD-ROM-диска

Фиг.75 является блок-схемой последовательности операций способа для записи киносодержимого на BD-ROM-диске с использованием устройства 7300 записи, показанного на фиг.74. Этот способ начинается, например, когда питание в устройстве 7300 записи включается.

На этапе S7401 элементарные потоки, программы и данные сценариев, которые должны быть записаны на BD-ROM-диске, создаются. Другими словами, видеокодер 7302 создает видеопоток 7312. Модуль 7303 создания материала создает аудиопоток 7313, PG-поток 7314, IG-поток 7315 и поток 7316 текстовых субтитров. Модуль 7304 формирования сценариев создает данные 7317 BD-ROM-сценариев. Эти созданные фрагменты данных 7312-7317 сохраняются в модуле 7301 хранения баз данных. С другой стороны, видеокодер 7302 создает информацию 7310 смещения и информацию 7311 маскирующей области и сохраняет эти фрагменты информации в модуле 7301 хранения баз данных. Видеокодер 7302 также создает информацию VCI видового кодирования и передает эту информацию в процессор 7307 форматов. Модуль 7303 создания материала создает информацию 7310 смещения и хранит эту информацию в модуле 7301 хранения баз данных. Модуль 7304 формирования сценариев создает файл PRF параметров и передает этот файл в процессор 7306 мультиплексирования. Модуль 7305 создания BD-программ создает группу программных файлов BDP, которые включают в себя файл BD-J-объектов и файл JAR, и передает эту группу BDP в процессор 7307 форматов. Модуль 7305 создания BD-программ также создает информацию 7310 смещения и хранит эту информацию в модуле 7301 хранения баз данных. После этого обработка переходит к этапу S7402.

На этапе S7402 процессор 7306 мультиплексирования создает метаданные смещения на основе информации 7310 смещения, сохраненной в модуле 7301 хранения баз данных. Созданные метаданные смещения сохраняются в видеопотоке для воспроизведения зависимого вида наряду с информацией 7311 маскирующей области. После этого обработка переходит к этапу S7403.

На этапе S7403 процессор 7306 мультиплексирования считывает элементарные потоки 7312-7316 из модуля 7301 хранения баз данных в соответствии с файлом PRF параметров и мультиплексирует эти потоки в файл потока в формате MPEG2-TS. После этого обработка переходит к этапу S7404.

На этапе S7404 процессор 7306 мультиплексирования создает файл информации о двумерных клипах и файл информации о клипах для воспроизведения зависимого вида. В частности, во время создания карты вхождений и начальных точек экстентов, ATC-время экстента совмещается между смежными блоками данных. Кроме того, размеры двумерных экстентов, экстентов для воспроизведения базового вида, экстентов для воспроизведения зависимого вида и экстентов SS задаются так, чтобы удовлетворять предварительно определенным условиям. После этого обработка переходит к этапу S7405.

На этапе S7405 процессор 7307 форматов создает образ 7320 BD-ROM-диска из данных 7317 BD-ROM-сценариев, группы программных файлов BDP, мультиплексированных потоковых данных MDS и файла CLI информации о клипах. Здесь процессор 7307 форматов, помимо этого, задает флаг видового кодирования в файле списков для трехмерного воспроизведения на основе информации VCI видового кодирования. После этого обработка переходит к этапу S7406.

На этапе S7406 образ 7320 BD-ROM-диска преобразуется в данные для тиражирования BD-ROM. Кроме того, эти данные записываются на мастер-BD-ROM-диске. После этого обработка переходит к этапу S7407.

На этапе S7407 BD-ROM-диски 101 серийно производятся посредством тиражирования мастер-диска, полученного на этапе S7406. Обработка тем самым заканчивается.

Видеокодер

Фиг.76 является функциональной блок-схемой видеокодера 7302 и процессора 7306 мультиплексирования. Как показано на фиг.76, видеокодер 7302 включает в себя переключатель 7501, модуль 7502 кодирования, модуль 7503 выбора способа видового кодирования, модуль 7504 формирования информации видового кодирования, модуль 7505 формирования информации глубины кадра и модуль 7506 формирования информации маскирующей области. Процессор 7306 мультиплексирования включает в себя системный мультиплексор 7511 и модуль 7512 формирования управляющей информации.

Переключатель 7501 принимает пару видеокадров L и R, соответственно, представляющих вид для просмотра левым глазом и вид для просмотра правым глазом, из внешнего устройства, такого как трехмерная видеокамера. Здесь переключатель 7501 выбирает видеокадр, чтобы передавать в модуль 7502 кодирования, в ответ на инструкцию из модуля 7503 выбора способа видового кодирования. В частности, когда эта инструкция указывает "секцию трехмерного воспроизведения", переключатель 7501 поочередно выводит видеокадр для просмотра левым глазом и правым глазом в модуль 7502 кодирования. С другой стороны, когда эта инструкция указывает "секцию псевдодвумерного воспроизведения" или "секцию обычного двумерного воспроизведения", переключатель 7501 выводит только видеокадр для просмотра левым глазом в модуль 7502 кодирования.

Модуль 7502 кодирования принимает видеокадр из переключателя 7501 в ответ на инструкцию из модуля 7503 выбора способа видового кодирования и сжимает видеокадр с использованием способа многовидового кодирования, такого как MVC, или способа одновидового кодирования, такого как MPEG-4 AVC. Здесь модуль 7502 кодирования выбирает способ видового кодирования в соответствии с типом секции воспроизведения, указываемым посредством модуля 7503 выбора способа видового кодирования.

Фиг.77 является блок-схемой последовательности операций способа обработки посредством модуля 7502 кодирования, чтобы кодировать последовательность видеокадров. Эта обработка начинается, когда модуль 7503 выбора способа видового кодирования инструктирует модулю 7502 кодирования кодировать последовательность видеокадров.

На этапе S7601 модуль 7502 кодирования определяет тип секции воспроизведения, указываемый посредством модуля 7503 выбора способа видового кодирования. Если типом является "секция трехмерного воспроизведения", "секция псевдодвумерного воспроизведения" и "секция обычного двумерного воспроизведения", обработка, соответственно, переходит к этапу S7602, S7603 или S7604.

На этапе S7602 модуль 7502 кодирования выбирает способ многовидового кодирования. Другими словами, модуль 7502 кодирования преобразует последовательность видеокадров L, представляющих виды для просмотра левым глазом, в видеопоток для воспроизведения базового вида через прогнозирующее кодирование между изображениями в последовательности. С другой стороны, модуль 7502 кодирования преобразует последовательность видеокадров R, представляющих виды для просмотра правым глазом, в видеопоток для воспроизведения зависимого вида через прогнозирующее кодирование не только в рамках последовательности, но также и между изображениями в последовательности и изображениями для воспроизведения базового вида. После этого обработка переходит к этапу S7605.

На этапе S7603 модуль 7502 кодирования выбирает способ многовидового кодирования. Тем не менее, поскольку секция воспроизведения, которая должна быть кодирована, является "секцией псевдодвумерного воспроизведения", только последовательность видеокадров L для просмотра левым глазом принята из переключателя 7501. Модуль 7502 кодирования преобразует эту последовательность в видеопоток для воспроизведения базового вида через прогнозирующее кодирование между изображениями в последовательности. Модуль 7502 кодирования затем кодирует изображения в последовательности с использованием самих изображений в качестве опорных изображений. Последовательность тем самым преобразуется в видеопоток для воспроизведения зависимого вида. После этого обработка переходит к этапу S7605.

На этапе S7604 модуль 7502 кодирования выбирает способ одновидового кодирования. Модуль 7502 кодирования преобразует последовательность видеокадров, принимаемых из переключателя 7501, в видеопоток для воспроизведения базового вида через прогнозирующее кодирование между изображениями в последовательности. С другой стороны, модуль 7502 кодирования не формирует видеопоток для воспроизведения зависимого вида. После этого обработка переходит к этапу S7605.

На этапе S7605 модуль 7502 кодирования проверяет то, указывает или нет модуль 7503 выбора способа видового кодирования, чтобы продолжать кодировать. Если продолжение кодирования указано, обработка повторяется с началом на этапе S7601. Иначе обработка завершается.

От пользователей, занимающихся авторской разработкой, модуль 7503 выбора способа видового кодирования принимает информацию по одной или более секций воспроизведения (в дальнейшем "последовательных секций воспроизведения"), которые должны состоять последовательно из последовательностей видеокадров, принимаемых посредством переключателя 7501. В частности, эта информация указывает то, "является или нет каждая секция воспроизведения секцией трехмерного воспроизведения или секцией двумерного воспроизведения" и "перекрывает или нет каждая секция воспроизведения секцию воспроизведения трехмерных графических изображений (в дальнейшем в этом документе "секцию воспроизведения трехмерной графики"). В соответствии с этой информацией, модуль 7503 выбора способа видового кодирования определяет то, "является секция воспроизведения, которая должна состоять из последовательности видеокадров, секцией трехмерного воспроизведения, секцией псевдодвумерного воспроизведения или секцией обычного двумерного воспроизведения". Кроме того, синхронно с приемом посредством переключателя 7501 последовательности видеокадров, из которой должна состоять секция воспроизведения, модуль 7503 выбора способа видового кодирования указывает тип секции воспроизведения в переключатель 7501 и модуль 7502 кодирования.

Фиг.78 является блок-схемой последовательности операций способа обработки, чтобы определять тип секции воспроизведения, которая должна состоять из последовательности видеокадров. Эта обработка начинается, когда модуль 7503 выбора способа видового кодирования принимает информацию по последовательным секциям воспроизведения от пользователей, занимающихся авторской разработкой.

На этапе S7701 модуль 7503 выбора способа видового кодирования определяет из информации о последовательных секциях воспроизведения то, "включают или нет последовательные секции воспроизведения в себя секцию трехмерного воспроизведения". Когда последовательные секции воспроизведения включают в себя секцию трехмерного воспроизведения, обработка переходит к этапу S7702. Когда последовательные секции воспроизведения не включают в себя секцию трехмерного воспроизведения, т.е. когда все последовательные секции воспроизведения являются секциями двумерного воспроизведения, обработка переходит к этапу S7705.

На этапе S7702 модуль 7503 выбора способа видового кодирования определяет из информации о последовательных секциях воспроизведения то, "включают или нет "последовательные секции воспроизведения в себя секцию двумерного воспроизведения". Когда последовательные секции воспроизведения включают в себя секцию двумерного воспроизведения, обработка переходит к этапу S7703. Когда последовательные секции воспроизведения не включают в себя секцию двумерного воспроизведения, т.е. когда все последовательные секции воспроизведения являются секциями трехмерного воспроизведения, обработка переходит к этапу S7704.

На этапе S7703 последовательные секции воспроизведения включают в себя комбинацию секций двумерного воспроизведения и секций трехмерного воспроизведения. Соответственно, модуль 7503 выбора способа видового кодирования определяет то, что секции двумерного воспроизведения в рамках последовательных секций воспроизведения являются секциями псевдодвумерного воспроизведения, и что оставшиеся секции воспроизведения являются секциями трехмерного воспроизведения. Обработка затем завершается.

На этапе S7704 модуль 7503 выбора способа видового кодирования определяет то, что все последовательные секции воспроизведения являются секциями трехмерного воспроизведения. Обработка затем завершается.

На этапе S7705 модуль 7503 выбора способа видового кодирования определяет из информации о последовательных секциях воспроизведения то, "включают или нет последовательные секции воспроизведения в себя секцию воспроизведения, которая перекрывает секцию воспроизведения трехмерной графики". Когда последовательные секции воспроизведения включают в себя такую секцию воспроизведения, обработка переходит к этапу S7706. Когда последовательные секции воспроизведения не включают в себя такую секцию воспроизведения, обработка переходит к этапу S7707.

На этапе S7706 трехмерные графические изображения комбинируются с двумерными видеоизображениями, по меньшей мере, в части последовательных секций воспроизведения. Соответственно, модуль 7503 выбора способа видового кодирования определяет то, что все последовательные секции воспроизведения являются секциями псевдодвумерного воспроизведения. Альтернативно, модуль 7503 выбора способа видового кодирования может определять то, что в рамках последовательных секций воспроизведения, секции двумерного воспроизведения, которые перекрывают секции воспроизведения трехмерной графики, являются секциями псевдодвумерного воспроизведения, и что оставшиеся секции воспроизведения являются секциями обычного двумерного воспроизведения. Обработка затем завершается.

На этапе S7707 модуль 7503 выбора способа видового кодирования определяет то, что все последовательные секции воспроизведения являются секциями обычного двумерного воспроизведения. Обработка затем завершается.

Снова ссылаясь на фиг.76, модуль 7504 формирования информации видового кодирования формирует информацию VCI видового кодирования на основе инструкций из модуля 7503 выбора способа видового кодирования. Эта информация VCI видового кодирования ассоциирует каждую секцию воспроизведения, состоящую из видеопотока, кодированного посредством модуля 7502 кодирования, с типом секции воспроизведения, указываемым посредством модуля 7503 выбора способа видового кодирования. Когда модуль 7502 кодирования кодирует поток вторичного видео из последовательности видеокадров двумерных видеоизображений, модуль 7504 формирования информации видового кодирования дополнительно может формировать информацию OFS смещения для плоскости вторичного видео в соответствии с операциями пользователями, занимающимися авторской разработкой.

Модуль 7505 формирования информации глубины кадра вычисляет информацию глубины для каждого трехмерного видеоизображения из вектора VCT движения каждого изображения между видом для просмотра левым глазом и видом для просмотра правым глазом, обнаруживаемую посредством модуля 7502 кодирования. Фиг.79A и 79B являются схематичными представлениями, соответственно, показывающими изображение в виде для просмотра левым глазом и виде для просмотра правым глазом, используемое для того, чтобы отображать одну сцену трехмерных видеоизображений, а фиг.79C является схематичным представлением, показывающим информацию глубины, вычисляемую из этих изображений посредством модуля 7505 формирования информации глубины кадра.

Модуль 7502 кодирования сжимает изображения для просмотра левым глазом и правым глазом с использованием избыточности между изображениями. Другими словами, модуль 7502 кодирования сравнивает оба несжатых изображения на основе каждого макроблока, т.е. в расчете на матрицы в 8×8 или 16×16 пикселов, чтобы обнаруживать вектор движения для каждого изображения в двух изображениях. В частности, как показано на фиг.79A и 79B, изображение 7801 для просмотра левым глазом и изображение 7802 для просмотра правым глазом сначала разделяются на макроблоки 7803. Затем области, занимаемые посредством данных изображений в изображении 7801 и изображении 7802, сравниваются для каждого макроблока 7803, и вектор движения для каждого изображения обнаруживается на основе результата сравнения. Например, область, занимаемая посредством изображения 7804, показывающим "дом" в изображении 7801, является практически идентичной области в изображении 7802. Соответственно, вектор движения не обнаруживается из таких областей. С другой стороны, область, занимаемая посредством изображения 7805, показывающего "круг" в изображении 7801, существенно отличается от области в изображении 7802. Соответственно, вектор движения изображения 7805 обнаруживается из этих областей.

Модуль 7502 кодирования использует обнаруженный вектор движения, чтобы сжимать изображения 7801 и 7802. С другой стороны, модуль 7505 формирования информации глубины кадра использует вектор VCT движения, чтобы вычислять бинокулярный параллакс каждого изображения, такого как изображение 7804 "дома" и изображение 7805 "круга". Модуль 7505 формирования информации глубины кадра дополнительно вычисляет глубину каждого изображения из бинокулярного параллакса изображения. Информация, указывающая глубину каждого изображения, может быть организована в матрицу 7806 размера, идентичного размеру матрицы макроблоков в изображениях 7801 и 7802, как показано на фиг.79C. В этой матрице 7806, блоки 7807 находятся в соответствии "один-к-одному" с макроблоками 7803 в изображениях 7801 и 7802. Каждый блок 7807 указывает глубину изображения, показанного посредством соответствующих макроблоков 7803, с использованием, например, глубины в 8 битов. В примере, показанном на фиг.79, глубина изображения 7805 "круга" сохраняется в каждом из блоков в области 7808 в матрице 7806. Эта область 7808 соответствует всем областям в изображениях 7801 и 7802, которые представляют изображение 7805.

Модуль 7505 формирования информации глубины кадра, кроме того, может использовать эту информацию глубины, чтобы формировать карту DPM глубины для просмотра левым глазом или для просмотра правым глазом. В этом случае модуль 7502 кодирования, соответственно, кодирует любой последовательность видеокадров для просмотра левым глазом или правым глазом и соответствующую последовательность карт DPM глубины как видеопоток для воспроизведения базового вида и поток карт глубины.

Модуль 7506 формирования информации маскирующей области использует вектор VCT движения, обнаруживаемый посредством модуля 7505 формирования информации глубины кадра, для того чтобы формировать информацию MSK маскирующей области. Если изображение включается в вертикальную или горизонтальную полосу, включенную на краю вида для просмотра левым глазом или вида для просмотра правым глазом, вектор движения этого изображения обнаруживается как указывающий "выпадение кадров" из вида для просмотра левым глазом к виду для просмотра правым глазом или наоборот. Соответственно, модуль 7506 формирования информации маскирующей области может вычислять ширину или высоту каждой полосы из этого вектора движения.

Процессор мультиплексирования

В соответствии с файлом PRF параметров, системный мультиплексор 7511 мультиплексирует видеопоток VST, кодированный посредством модуля 7502 кодирования, с элементарными потоками 7313-7316 в один фрагмент мультиплексированных потоковых данных MSD. Кроме того, системный мультиплексор 7511 создает метаданные смещения на основе информации OFS 7310 смещения и сохраняет метаданные смещения наряду с информацией MSK маскирующей области в видеопотоке для воспроизведения зависимого вида. Дополнительно, системный мультиплексор 7511 передает управляющую информацию MNG по позиции точек произвольного доступа в мультиплексированных потоковых данных MSD, времени начала/окончания воспроизведения и т.д. в модуль 7512 формирования управляющей информации.

Модуль 7512 формирования управляющей информации использует эту управляющую информацию MNG, чтобы создавать файл информации о двумерных клипах и файл информации о клипах для воспроизведения зависимого вида через следующие четыре этапа. (I) Карты 2230 вхождений, показанные на фиг.23, создаются для файла 2D и файла DEP. (II) С использованием карты вхождений каждого файла, начальные точки 2242 и 2420 экстентов, показанные на фиг.24A и 24B, создаются. Здесь ATC-времена экстента совмещены между последовательными блоками данных. Кроме того, размеры двумерных экстентов, экстентов для воспроизведения базового вида, экстентов для воспроизведения зависимого вида и экстентов SS задаются так, чтобы удовлетворять предварительно определенным условиям (касательно этих условий см. в разделе "дополнительное пояснение"). (III) Информация 2220 атрибутов потока, показанная на фиг.22, извлекается из каждого элементарного потока, который должен быть мультиплексирован в основной TS и суб-TS. (IV) Как показано на фиг.22, комбинация карты 2230 вхождений, трехмерных метаданных 2240 и информации 2220 атрибутов потока ассоциируется с фрагментом информации 2210 о клипах. Каждый файл CLI информации о клипах тем самым создается и передается в процессор 7307 форматов.

Фиг.80 является схематичным представлением, показывающим способ, чтобы совмещать ATC-времена экстента между последовательными блоками данных. Во-первых, ATS вдоль одной временной оси ATC назначаются исходным пакетам, сохраненным в блоке данных для воспроизведения базового вида (в дальнейшем в этом документе SP1), и исходным пакетам, сохраненным в блоке данных для воспроизведения зависимого вида (в дальнейшем в этом документе SP2). Как показано на фиг.80, прямоугольники 7910 и 7920, соответственно, представляют SP1 #p (p=0, 1, 2, 3, …, k, k+1, …, i, i+1) и SP2 #q (q=0, 1, 2, 3, …, m, m+1, …, j). Эти прямоугольники 7910 и 7920 размещаются по порядку вдоль временной оси ATS каждого исходного пакета. Позиция начала каждого прямоугольника 7910 и 7920 представляет значение ATS исходного пакета. Длина AT1 каждого прямоугольника 7910 и 7920 представляет количество времени, необходимое для устройства трехмерного воспроизведения, чтобы передавать один исходный пакет из буфера считывания в декодер системных целевых объектов.

От ATS A1 SP1 #0 до тех пор, пока ATC-время T_EXT экстента не прошло, SP1, т.е. SP1 #0, 1, 2, …, k передается из буфера считывания в декодер системных целевых объектов и сохраняется как n-ный экстент EXT1[n] для воспроизведения базового вида в одном блоке данных для воспроизведения базового вида. Аналогично, от ATS A3 SP1 #(k+1) до тех пор, пока ATC-время T_EXT экстента не прошло, SP1, т.е. SP1 #(k+1), …, i передается из буфера считывания в декодер системных целевых объектов и сохраняется как (n+1)-вый экстент EXT1[n+1] для воспроизведения базового вида в следующем блоке данных для воспроизведения базового вида.

С другой стороны, SP2, которая должна сохраняться в как n-ный экстент EXT2[n] для воспроизведения зависимого вида в одном блоке данных для воспроизведения зависимого вида, выбирается следующим образом. Во-первых, сумма ATS A1 SP1 #0 и ATC-времени T_EXT экстента, A1+T_EXT, находится как ATS A3 SP1 #(k+1), расположенной в начале (n+1)-вого экстента EXT1[n+1] для воспроизведения базового вида. Затем SP2, т.е. SP2 #0, 1, 2, …, m выбирается. Передача SP2 из буфера считывания в декодер системных целевых объектов начинается в течение периода с ATS A1 SP1 #0 до ATS A3 SP1 #(k+1). Соответственно, первая SP2, т.е. ATS A2 SP2 #0, всегда равна или превышает первую SP1, т.е. ATS A1 SP1 #0: A2≥A1. Кроме того, вся ATS SP2 #0-m меньше ATS A3 SP1 #(k+1). В этом контексте завершение передачи последней SP2, т.е. SP #m, может быть при или после ATS A3 SP1 #(k+1).

Аналогично, SP2, которая должна сохраняться как (n+1)-вый экстент EXT2[n+1] для воспроизведения зависимого вида в одном блоке данных для воспроизведения зависимого вида, выбирается следующим образом. Во-первых, ATS A5 SP1 #(i+1), расположенная в начале (n+2)-вого экстента для воспроизведения базового вида, находится как ATS A5=A3+T_EXT. Затем SP2, т.е. SP2 #(m+1)-j, выбирается. Передача SP2 из буфера считывания в декодер системных целевых объектов начинается в течение периода с ATS A3 SP1 #(k+1) до ATS A5 SP1 #(i+1). Соответственно, первая SP2, т.е. ATS A4 SP2 #(m+1), всегда равна или превышает первую SP1, т.е. ATS A3 SP1 #(k+1): A4≥A3. Кроме того, вся ATS SP2 #(m+1)-j меньше ATS A5 SP1 #(k+1).

Вариант осуществления 5

В этом варианте осуществления, описание предоставляется для примера структуры (фиг.81), которая использует интегральную схему 3, чтобы реализовывать устройство воспроизведения, которое воспроизводит структуру данных, описанную в предыдущих вариантах осуществления.

IF-модуль 1 носителя принимает (считывает) данные с носителя и передает данные в интегральную схему 3. Следует отметить, что данные, которые IF-модуль 1 носителя принимает с носителя, имеют структуру, описанную в предыдущих вариантах осуществления. IF-модулем 1 носителя является, например, накопитель на дисках, если носителем является оптический или жесткий диск; IF-плата, если носителем является полупроводниковое запоминающее устройство, такое как карта памяти в формате SD, запоминающее устройство USB и т.д.; CAN-тюнер или Si-тюнер, если носителем является широковещательная волна, к примеру, CATV и т.п.; и сетевой интерфейс, если носителем является Ethernet™, беспроводная LAN, беспроводная сеть общего пользования и т.д.

Запоминающее устройство 2 временно сохраняет как данные, которые принимаются (считываются) с носителя, так и данные, которые обрабатываются посредством интегральной схемы 3. Синхронное динамическое оперативное запоминающее устройство (SDRAM), синхронное динамическое оперативное запоминающее устройство с удвоенной скоростью передачи данных x (DDRx SDRAM; x=1, 2, 3, …) и т.д. используются в качестве запоминающего устройства 2. Любое число запоминающих устройств 2 может предоставляться; в зависимости от необходимости, запоминающее устройство 2 может быть одним элементом или множеством элементов.

Интегральная схема 3 является системной LSI и выполняет видео- и аудиообработку для данных, передаваемых из IF-модуля 1 носителя. Интегральная схема 3 включает в себя главный модуль 6 управления, процессор 5 потоков, процессор 7 сигналов, модуль 9 управления запоминающим устройством, модуль 8 AV-вывода и т.д.

Главный модуль 6 управления включает в себя ядро процессора с таймерной функцией и функцией обработки прерываний. Ядро процессора управляет всей интегральной схемой 3 в соответствии с программами, сохраненными, например, в запоминающем устройстве программ. Следует отметить, что запоминающее устройство программ и т.п. предварительно сохраняет базовое программное обеспечение, такое как ОС.

Под управлением главного модуля 6 управления, процессор 5 потоков принимает данные с носителя, передаваемые через IF-модуль 1 носителя, и сохраняет принимаемые данные в запоминающем устройстве 2 через шину данных в интегральной схеме 3. Дополнительно, процессор 5 потоков разделяет принимаемые данные на видеоданные и аудиоданные. Как описано выше, в данных на носителе файл двумерного/для просмотра левым глазом AV-потока, который включает в себя видеопоток для просмотра левым глазом, и файл AV-потока для просмотра правым глазом, который включает в себя видеопоток для просмотра правым глазом, разделяются на множество экстентов, которые поочередно размещаются. Соответственно, главный модуль 6 управления управляет интегральной схемой 3 так, что когда данные для просмотра левым глазом, которые включают в себя файл AV-потока для просмотра левым глазом, принимаются, данные сохраняются в первой области в запоминающем устройстве 2, а когда данные для просмотра правым глазом, которые включают в себя видеопоток для просмотра правым глазом, принимаются, данные сохраняются во второй области в запоминающем устройстве 2. Данные для просмотра левым глазом принадлежат экстентам для просмотра левым глазом, а данные для просмотра правым глазом принадлежат экстентам для просмотра правым глазом. Следует отметить, что первая область и вторая область в запоминающем устройстве 2 могут быть логическим разделением одного запоминающего элемента или могут быть физически различными запоминающими элементами. Кроме того, в варианте осуществления 5 данные для просмотра левым глазом, включающие в себя видеопоток для просмотра левым глазом, считаются данными для воспроизведения основного вида, а данные для просмотра правым глазом, включающие в себя видеопоток для просмотра правым глазом, считаются данными для воспроизведения субвида, но вместо этого данные для просмотра правым глазом могут быть данными для воспроизведения основного вида, а данные для просмотра левым глазом - данными для воспроизведения субвида.

Под управлением главного модуля 6 управления, процессор 7 сигналов декодирует, с использованием соответствующего способа, видеоданные и аудиоданные, отделяемые посредством процессора 5 потоков. Видеоданные кодируются с использованием такого способа, как MPEG-2, MPEG-4 AVC, MPEG-4 MVC, SMPTE VC-1 и т.д. Аудиоданные сжимаются и кодируются с использованием такого способа, как Dolby AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, линейный PCM и т.д. Процессор 7 сигналов декодирует данные с использованием соответствующего способа. Следует отметить, что процессор 7 сигналов соответствует, например, каждому из декодеров в варианте осуществления 1, показанных на фиг.44. Кроме того, процессор 7 сигналов извлекает метаданные, включенные в видеопоток для просмотра правым глазом, и уведомляет модуль 8 AV-вывода. Следует отметить, что, согласно вышеприведенному описанию, метаданные предоставляются в каждой GOP, составляющей видеопоток для просмотра правым глазом, и включают в себя множество фрагментов информации смещения и соответствующих идентификаторов смещения.

Модуль 9 управления запоминающим устройством осуществляет регулирование доступа в запоминающее устройство 2 посредством функциональных блоков в интегральной схеме 3.

Под управлением главного модуля 6 управления, модуль 8 AV-вывода накладывает видеоданные, декодированные посредством процессора 7 сигналов, преобразует формат видеоданных и выводит результаты в интегральную схему 3.

Фиг.82 является функциональной блок-схемой, показывающей характерную структуру процессора 5 потоков. Процессор 5 поток содержит IF-модуль 51 потоков в устройстве, демультиплексор 52 и модуль 53 переключения.

IF-модуль 51 потоков в устройстве является интерфейсом, который передает данные между IF-модулем 1 носителя и интегральной схемой 3. Например, IF-модуль 51 потоков в устройстве соответствует последовательному интерфейсу ATA (SATA), пакетному интерфейсу ATA (ATAPI) или параллельному интерфейсу ATA (PATA), если носителем является оптический диск или жесткий диск; IF платы, если носителем является полупроводниковое запоминающее устройство, такое как карта памяти в формате SD, запоминающее устройство USB и т.д.; IF тюнера, если носителем является широковещательная волна, к примеру, CATV и т.п.; и сетевому интерфейсу, если носителем является сеть, к примеру, Ethernet™, беспроводная LAN или беспроводная сеть общего пользования. Следует отметить, что в зависимости от типа носителя, IF-модуль 51 потоков в устройстве может осуществлять часть функций IF-модуля 1 носителя, или IF-модуль 1 носителя может быть внутренним для интегральной схемы 3.

Демультиплексор 52 разделяет видеоданные и аудиоданные из данных для воспроизведения, которые включают в себя видео и аудио, передаваемые с носителя. Каждый из вышеописанных экстентов состоит из видео, аудио, PG (субтитр), IG (меню) и т.д. исходных пакетов. В некоторых случаях, тем не менее, данные для воспроизведения субвида могут не включать в себя аудиопоток. Каждый экстент разделяется на видео- или аудио-TS-пакеты в соответствии с PID (идентификатором), включенным в каждый исходный пакет, и передается в процессор 7 сигналов. Обработанные данные передаются в процессор 7 сигналов напрямую или после временного сохранения в запоминающем устройстве 2. Следует отметить, что демультиплексор 52 соответствует, например, модулям депакетирования источников и PID-фильтрам, показанным на фиг.44 в варианте осуществления 1.

Модуль 53 переключения переключает назначение вывода (хранения) так, что когда IF-модуль 51 потоков в устройстве принимает данные для просмотра левым глазом, данные сохраняются в первой области запоминающего устройства 2, тогда как, когда IF-модуль 51 потоков в устройстве принимает данные для просмотра правым глазом, данные сохраняются во второй области запоминающего устройства 2. Модулем 53 переключения является, например, контроллер прямого доступа к памяти (DMAC). Фиг.83 является концептуальной схемой модуля 53 переключения и окружающих модулей, когда модулем 53 переключения является DMAC. Под управлением главного модуля 6 управления, DMAC передает данные, принимаемые посредством IF-модуля потоков в устройстве, а также адрес местоположения хранения данных в модуль 9 управления запоминающим устройством. В частности, когда IF-модуль потоков в устройстве принимает данные для просмотра левым глазом, DMAC передает адрес 1 (первая область хранения) в модуль 9 управления запоминающим устройством, тогда как, когда IF-модуль потоков в устройстве принимает данные для просмотра правым глазом, DMAC передает адрес 2 (вторая область хранения) в модуль 9 управления запоминающим устройством. DMAC тем самым переключает местоположение вывода (хранения) в зависимости от принимаемых данных. Модуль 9 управления запоминающим устройством сохраняет данные в запоминающем устройстве 2 в соответствии с адресом местоположения хранения, передаваемым посредством DMAC. Следует отметить, что, вместо главного модуля 6 управления, выделенная схема для управления модулем 53 переключения может предоставляться.

IF-модуль 51 потоков в устройстве, демультиплексор 52 и модуль 53 переключения описаны как характерная структура процессора 5 потоков, но процессор 5 потоков дополнительно можно содержать механизм шифрования, модуль управления безопасностью, контроллер для прямого доступа к памяти и т.д. Механизм шифрования расшифровывает принимаемые зашифрованные данные, ключевые данные и т.д. Модуль управления безопасностью управляет выполнением протокола аутентификации устройств и т.п. между носителем и устройством воспроизведения и сохраняет закрытый ключ. В вышеприведенном примере, когда данные, принимаемые с носителя, сохраняются в запоминающем устройстве 2, модуль 53 переключения переключает местоположение хранения для данных для просмотра левым глазом и для просмотра правым глазом. Альтернативно, данные, принимаемые с носителя, могут временно сохраняться в запоминающем устройстве 2 и разделяться на данные для просмотра левым глазом и данные для просмотра правым глазом после передачи в демультиплексор 52.

Фиг.84 является функциональной блок-схемой, показывающей характерную структуру модуля 8 AV-вывода. Модуль 8 AV-вывода содержит модуль 81 наложения изображений, модуль 82 преобразования форматов видеовывода и IF-модуль 83 аудио/видеовывода.

Модуль 81 наложения изображений накладывает декодированные видеоданные. В частности, модуль 81 наложения изображений сначала накладывает данные PG (субтитр) и IG (меню) на видеоданные для просмотра левым глазом и видеоданные для просмотра правым глазом в единицах изображений. Модель для модуля 81 наложения изображений показывается, например, на фиг.45 в варианте осуществления 1. Фиг.90 показывает соответствие между запоминающим устройством 2 и каждой плоскостью во время наложения изображений. Запоминающее устройство 2 содержит области для сохранения данных, которые декодированы и должны подготавливаться посредством рендеринга на каждой плоскости, а именно область хранения данных плоскости, соответствующую виду для просмотра левым глазом, область хранения данных плоскости, соответствующую виду для просмотра правым глазом, и область хранения данных плоскости, соответствующую графике. В этом контексте плоскостью является как область в запоминающем устройстве 2, так и виртуальное пространство.

Фиг.91 и 92 являются концептуальными схемами наложения изображений. Модуль 81 наложения изображений обращается к идентификатору смещения в таблице выбора потока, чтобы извлекать соответствующую информацию смещения из метаданных, для которых процессор 7 сигналов предоставляет уведомление. На основе этой информации смещения, модуль 81 наложения изображений применяет смещение к графической плоскости и накладывает графическую плоскость на плоскость изображений. При наложении на плоскость для просмотра левым глазом модуль 81 наложения изображений применяет смещение +X к графической плоскости (чертеж со смещением влево), а при наложении на плоскость для просмотра правым глазом, модуль 81 наложения изображений применяет смещение -X (чертеж со смещением вправо). Значение X является значением смещения и представляет число пикселов. В частности, на фиг.91, графическая плоскость накладывается на плоскость для просмотра левым глазом после горизонтального сдвига вправо, в теории, на значение X смещения. С другой стороны, на фиг.92 графическая плоскость накладывается на плоскость для просмотра правым глазом после горизонтального сдвига влево, в теории, на значение X смещения. Здесь, как показано на чертежах, фрагменты пикселных данных с идентичными левыми/правыми координатами на бумаге накладываются друг на друга, и результирующие данные сохраняются в области хранения данных для изображений после наложения в запоминающем устройстве 2.

Фиг.93 является концептуальной схемой, показывающей другой способ наложения изображений. Запоминающее устройство 2 дополнительно содержит области хранения данных плоскости (для наложения для просмотра левым глазом и для наложения для просмотра правым глазом) согласно графике, которая смещена. Данные, которые должны накладываться на плоскость для просмотра левым глазом и плоскость для просмотра правым глазом, подготавливаются в запоминающем устройстве 2. Модуль 81 наложения изображений считывает необходимые данные из запоминающего устройства 2 и накладывает эти данные на плоскости, сохраняя результаты в областях хранения данных для изображений после наложения в запоминающем устройстве 2.

Следует отметить, что по варианту осуществления 3 предусмотрен другой способ (режим 2 плоскостей), чтобы выполнять наложение посредством подготовки одной графической плоскости для наложения для просмотра левым глазом, а другой - для наложения для просмотра правым глазом и наложения этих плоскостей после предоставления значения смещения к каждой из них. Согласно вышеприведенному описанию, также можно комбинировать двумерные видеоизображения с трехмерными графическими изображениями. В этом случае графические данные, составляющие декодированный основной вид, накладываются на данные изображений (берущие начало в данных для воспроизведения основного вида), составляющие декодированные моноскопические видеоизображение, а графические данные, составляющие декодированный субвид, накладываются на данные изображений (берущие начало в данных для воспроизведения субвида), составляющие декодированные моноскопические видеоизображения.

Модуль 82 преобразования форматов видеовывода выполняет необходимую обработку, такую как изменение размеров, IP-преобразование, уменьшение уровня шума и преобразование частоты кадров. Изменение размеров является обработкой для того, чтобы увеличивать или уменьшать видеоданные. IP-преобразование является обработкой для того, чтобы преобразовывать способ сканирования между построчным и чересстрочным. Уменьшение уровня шума является обработкой для того, чтобы удалять шум. Преобразование частоты кадров является обработкой для того, чтобы преобразовывать частоту кадров.

В соответствии с форматом передачи данных IF-модуль 83 аудио/видеовывода выполняет такую обработку, как кодирование видеоданных, которые подвергнуты наложению изображений и преобразованию формата, и декодированных аудиоданных. Следует отметить, что как описано ниже, часть IF-модуля 83 аудио/видео-вывода может быть предусмотрена внешне по отношению к интегральной схеме 3.

Фиг.85 является подробным примером структуры модуля вывода данных либо в модуле 8 AV-вывода, либо в устройстве воспроизведения. Интегральная схема 3 и устройство воспроизведения согласно варианту осуществления 5 соответствуют множеству форматов передачи данных для видеоданных и аудиоданных. Как показано на фиг.84, IF-модуль 83 аудио/видеовывода включает в себя IF-модуль 83a аналогового видеовывода, IF-модуль 83c аналогового аудиовывода и IF-модуль 83b цифрового аудиовывода.

IF-модуль 83a аналогового видеовывода преобразует/кодирует видеоданные, которые подвергнуты наложению изображений и преобразованию форматов вывода, в формат аналогового видеосигнала и выводит результат. Например, IF-модуль 83a аналогового видеовывода соответствует композитному видеокодеру, кодеру сигнала S-видео (с Y/C-разделением), кодеру компонентного видеосигнала или цифро-аналоговому преобразователю (DAC), совместимому с одним из следующих трех форматов: NTSC, PAL и SECAM.

IF-модуль 83b цифрового аудио/видеовывода объединяет декодированные аудиоданные и видеоданные, которые подвергнуты наложению изображений и преобразованию форматов вывода, и, после шифрования, кодирует и выводит результат в соответствии со стандартами передачи данных. IF-модуль 83b цифрового видео/аудиовывода соответствует, например, мультимедийному интерфейсу высокой четкости (HDMI).

IF-модуль 83c аналогового аудиовывода подвергает цифро-аналоговому преобразованию декодированные аудиоданные и выводит аналоговые аудиоданные. IF-модуль 83c аналогового аудиовывода соответствует аудио-DAC и т.п.

Формат передачи видеоданных и аудиоданных может переключаться в соответствии с типом устройства приема данных (терминала ввода данных), которое поддерживает дисплейное устройство/динамик 4. Формат передачи также может переключаться посредством пользовательского выбора. Кроме того, можно передавать данные для одного содержимого не только в одном формате передачи, но также во множестве форматов передачи параллельно.

Модуль 81 наложения изображений, модуль 82 преобразования форматов видеовывода и IF-модуль 83 аудио/видеовывода описаны как характерная структура модуля 8 AV-вывода, но модуль 8 AV-вывода дополнительно может содержать графический механизм, который выполняет графическую обработку, такую как фильтрация, комбинирование экранов, рендеринг кривых и трехмерное представление.

На этом описание структуры устройства воспроизведения согласно варианту осуществления 5 завершается. Следует отметить, что вышеуказанные функциональные блоки не обязательно должны являться внутренними для интегральной схемы 3. В отличие от этого запоминающее устройство 2 на фиг.81 может предоставляться внутренне для интегральной схемы 3. Кроме того, в варианте осуществления 5 главный модуль 6 управления и процессор 7 сигналов описаны как отдельные функциональные блоки, но главный модуль 6 управления может выполнять часть обработки, соответствующей процессору 7 сигналов.

Дисплейное устройство может иметь такую структуру как, например, показано на фиг.88, и дисплейное устройство может инструктированно выполнять обработку, соответствующую устройству воспроизведения согласно варианту осуществления 5. В этом случае интегральная схема 3 обрабатывает сигнал для данных, принимаемых посредством IF-модуля 1 носителя. Обработанные видеоданные выводятся на дисплейную панель 11 через модуль 10 возбуждения дисплея, а обработанные аудиоданные выводятся через динамик 12. Модуль 8 AV-вывода может иметь такую структуру, как, например, как на фиг.89. В этом случае данные передаются через IF-модуль 94 аудиовывода и IF-модуль 89 видеовывода, внутренние или внешние для интегральной схемы 3. Следует отметить, что множество IF-модулей 94 аудиовывода и IF-модулей 89 видеовывода может предоставляться, или совместно используемый IF-модуль видео/аудио может предоставляться.

В интегральной схеме 3, шина управления и шина данных предоставляются произвольно в соответствии с порядком и характером каждого блока обработки. Шина данных может непосредственно соединять каждый блок обработки, как на фиг.86, или может соединять блоки обработки через запоминающее устройство 2 (модуль 9 управления запоминающим устройством), как на фиг.87.

Интегральная схема 3 может быть многокристальным модулем, изготовленным аналогично одной LSI, посредством запаивания множества микросхем в одном комплекте. Альтернативно, программируемая пользователем вентильная матрица (FPGA), которая является LSI, которая может программироваться после изготовления, или реконфигурируемый процессор, который является LSI, соединения которой между внутренними схемными элементами и настройки для каждого схемного элемента могут переконфигурироваться, может использоваться для интегральной схемы 3.

Ниже приводится пояснение операций посредством устройства воспроизведения с вышеуказанной структурой. Фиг.94 является простой блок-схемой, показывающей последовательность операций воспроизведения, чтобы выводить видео- и аудиосигналы после того, как данные принимаются (считываются) с носителя и декодируются.

Этап S1: данные принимаются (считываются) с носителя (IF-модуль 1 носителя, процессор 5 потоков).

Этап S2: различные типы данных (видеоданные, аудиоданные) разделяются из данных, принимаемых (считываемых) на этапе S1 (процессор 5 потоков).

Этап S3: различные типы данных, разделенные на этапе S2, декодируются в соответствующий формат (процессор 7 сигналов).

Этап S4: наложение выполняется для видеоданных, декодированных на этапе S3 (модуль 8 AV-вывода).

Этап S5: видеоданные и аудиоданные, обработанные на этапах S2-S4, выводятся (модуль 8 AV-вывода).

Фиг.95 является более подробной блок-схемой последовательности операций воспроизведения. Каждая операция/процесс выполняется под управлением главного модуля 6 управления.

Этап S101: через IF-модуль 1 носителя, IF-модуль 51 потоков в устройстве в процессоре 5 потоков принимает (считывает) данные (файл списков воспроизведения, файл информации о клипах и т.д.), необходимые для воспроизведения данных для воспроизведения, и сохраняет данные в запоминающем устройстве 2 (IF-модуль 1 носителя, IF-модуль 51 устройства, модуль 9 управления запоминающим устройством, запоминающее устройство 2).

Этап S102: из информации атрибутов потока, включенной в принимаемый файл информации о клипах, главный модуль 6 управления идентифицирует формат сжатия видеоданных и аудиоданных, сохраненных в носителе, и инициализирует процессор 7 сигналов, чтобы предоставлять возможность процессору 7 сигналов выполнять соответствующее декодирование (главный модуль 6 управления).

Этап S103: IF-модуль 51 потоков в устройстве в процессоре 5 потоков принимает (считывает) видео/аудио/ и т.д. данные для воспроизведения с носителя через IF-модуль 1 носителя и сохраняет данные в запоминающем устройстве 2 через модуль 53 переключения и модуль 9 управления запоминающим устройством. Следует отметить, что данные принимаются (считываются) в единицах экстентов. Данные для просмотра левым глазом сохраняются в первой области, и данные для просмотра правым глазом сохраняются во второй области. Модуль 53 переключения переключает между местоположениями хранения в соответствии с управлением посредством главного модуля 6 управления (IF-модуль 1 носителя, IF-модуль 51 устройства, главный модуль 6 управления, модуль 53 переключения, модуль 9 управления запоминающим устройством, запоминающее устройство 2).

Этап S104: потоковые данные, сохраненные в запоминающем устройстве 2, передаются в демультиплексор 52 в процессоре 5 потоков. Демультиплексор 52 идентифицирует то, являются потоковые данные визуальными (первичное видео, вторичное видео, PG (субтитр), IG (меню)) или аудио (аудио, субаудио), из PID, включенного в каждый из исходных пакетов, составляющих потоковые данные. Демультиплексор 52 затем передает потоковые данные в соответствующий декодер в процессоре 7 сигналов в единицах TS-пакетов (демультиплексор 52).

Этап S105: каждый декодер в процессоре 7 сигналов декодирует передаваемые TS-пакеты с использованием соответствующего способа (процессор 7 сигналов).

Этап S106: модуль 82 преобразования форматов видеовывода изменяет размеры данных для видеоданных, декодированных посредством процессора 7 сигналов, которые соответствуют видеопотоку для просмотра левым глазом и видеопотоку для просмотра правым глазом, чтобы совпадать с дисплейным устройством 4 (модуль 82 преобразования форматов видеовывода).

Этап S107: PG (субтитр) и IG (меню) накладываются на видеопоток, измененный на этапе S106 (модуль 81 наложения изображений).

Этап S108: IP-преобразование выполняется для видеоданных, являющихся результатом наложения на этапе S107, чтобы преобразовывать способ сканирования (модуль 82 преобразования форматов видеовывода).

Этап S109: в соответствии со способом вывода данных дисплейного устройства/динамика 4 и способом передачи данных на дисплейное устройство/динамик 4, видеоданные и аудиоданные, обработанные вплоть до этого этапа, кодируются, подвергаются цифро-аналоговому преобразованию и т.д. Например, обработка, соответствующая аналоговому или цифровому выводу видеоданных и аудиоданных, выполняется. Композитный видеосигнал, сигнал S-видео, компонентный видеосигнал и т.д. поддерживаются для аналогового вывода видеоданных. HDMI поддерживается для цифрового вывода визуальных/аудиоданных (IF-модуль 83 аудио/видеовывода).

Этап S110: видеоданные и аудиоданные, обработанные на этапе S109, передаются на дисплейное устройство/динамик 4, которому инструктируется выводить соответствующее видео и аудио (IF-модуль 83 аудио/видеовывода, дисплейное устройство/динамик 4).

На этом описание последовательностей операций устройства воспроизведения согласно варианту осуществления 5 завершается. Следует отметить, что каждый раз, когда обработка завершается, результаты могут сохраняться в запоминающем устройстве 2. Последовательности операций, когда дисплейное устройство на фиг.88 выполняет обработку воспроизведения, в основном являются идентичными вышеописанным последовательностям операций. В этом случае функциональные блоки, соответствующие функциональным блокам в устройстве воспроизведения на фиг.81, выполняют аналогичную обработку. Кроме того, в вышеуказанных последовательностях операций модуль 82 преобразования форматов видеовывода выполняет изменение размеров и IP-преобразование, но такая обработка может опускаться по мере необходимости, или другая обработка (уменьшение уровня шума, преобразование частоты кадров и т.д.) может выполняться. Кроме того, вышеуказанные последовательности операций могут изменяться в максимально возможных пределах.

Дополнительное пояснение

Принцип воспроизведения трехмерных видеоизображений

Способы воспроизведения трехмерных видеоизображений примерно классифицируются на две категории: способы с использованием голографической технологии и способы с использованием параллактического видео.

Способ с использованием голографической технологии отличается предоставлением возможности зрителю воспринимать объекты в видео как стереоскопические посредством предоставления зрителю визуального восприятия информации, практически идентичной оптической информации, предоставленной для визуального восприятия людьми фактических объектов. Техническая теория для использования этих способов для отображения движущегося видео установлена. Тем не менее, чрезвычайно трудно создавать, с помощью настоящей технологии, компьютер, который допускает обработку в реальном времени огромного объема вычислений, требуемого для отображения движущегося видео, и дисплейное устройство, имеющего сверхвысокое разрешение нескольких тысяч линий на 1 мм. Соответственно, в настоящее время реализация этих способов для коммерческого использования практически не рассматривается.

"Параллактическое видео" означает пару двумерных видеоизображений, показанных каждому из глаз зрителя для одной сцены, т.е. пару из вида для просмотра левым глазом и вида для просмотра правым глазом. Способ с использованием параллактического видео отличается посредством воспроизведения вида для просмотра левым глазом и вида для просмотра правым глазом одной сцены так, что зритель видит каждый вид только в одном глазу, тем самым давая возможность пользователю воспринимать сцену как стереоскопическую.

Фиг.96A, 96B и 96C являются схематичными представлениями, иллюстрирующими принцип в отношении воспроизведения трехмерных видеоизображений (стереоскопических видеоизображений) в способе с использованием параллактических видеоизображений. Фиг.96A является видом сверху зрителя VWR, смотрящего на куб CBC, размещенный непосредственно перед лицом зрителя. Фиг.96B и 96C являются схематичными представлениями, показывающими внешний вид куба CBC как двумерное видеоизображение, воспринимаемое, соответственно, посредством левого глаза LEY и правого глаза REY зрителя VWR. Как очевидно из сравнения фиг.96B и фиг.96C, внешние виды куба CBC, воспринимаемые посредством глаз, немного отличаются. Различие внешних видов, т.е. бинокулярный параллакс дает возможность зрителю VWR распознавать куб CBC как трехмерный. Таким образом, согласно способу с использованием параллактического видео, левое и правое двумерные видеоизображения с различными точками обзора сначала подготавливаются для одной сцены. Например, для куба CBC, показанного на фиг.96A, вид для просмотра левым глазом куба CBC, показанный на фиг.96B, и вид для просмотра правым глазом, показанный на фиг.73C, подготавливаются. В этом контексте позиция каждой точки обзора определяется посредством бинокулярного параллакса зрителя VWR. Затем каждое двумерное видеоизображение воспроизводится так, чтобы восприниматься только посредством соответствующего глаза зрителя VWR. Следовательно, зритель VWR распознает сцену, воспроизводимую на экране, т.е. видеоизображение куба CBC, как стереоскопическую. В отличие от способов с использованием голографической технологии способы с использованием параллактического видео, тем самым, обладают преимуществом обязательности подготовки двумерных видеоизображений просто с двух точек обзора.

Предложено несколько конкретных способов для того, как использовать параллактического видео. С точки зрения того, как эти способы показывают левое и правое двумерные видеоизображения глазам зрителя, способы разделяются на способы поочередной последовательности кадров, способы, которые используют ступенчатую линзу, способы двухцветного разделения и т.д.

В способе поочередной последовательности кадров левое и правое двумерные видеоизображения поочередно отображаются на экране в течение предварительно определенного времени в момент, когда зритель смотрит на экран с использованием очков с затвором. Каждая линза в очках с затвором формируется, например, посредством жидкокристаллической панели. Линзы пропускают или блокируют свет равномерно и поочередно синхронно с переключением видеоизображения на экране. Таким образом, каждая линза выступает в качестве затвора, который периодически блокирует глаз зрителя. Более конкретно, в то время, когда левое видеоизображение отображается на экране, очки с затвором заставляют левую линзу пропускать свет, а правую линзу блокировать свет. В отличие от этого, то время, когда правое видеоизображение отображается на экране, очки с затвором заставляют правую линзу пропускать свет, а левую линзу блокировать свет. Как результат, зритель видит послеизображения правых и левых видеоизображений, наложенных друг на друга, и тем самым воспринимает одно трехмерное видеоизображение.

Согласно способу поочередной последовательности кадров, как описано выше, правое и левое видеоизображения поочередно отображаются с предварительно определенным циклом. Например, когда 24 видеокадра отображаются в секунду для воспроизведения обычных двумерных видеоизображений, 48 видеокадров всего для правого и левого глаза должно отображаться для трехмерных видеоизображений. Соответственно, дисплейное устройство, допускающее быстрое выполнение перезаписи экрана, является предпочтительным для этого способа.

В способе с использованием ступенчатой линзы, правый видеокадр и левый видеокадр, соответственно, разделяются на вертикально длинные и узкие небольшие области прямоугольной формы. Небольшие области правого видеокадра и небольшие области левого видеокадра поочередно размещаются в горизонтальном направлении на экране и отображаются одновременно. Поверхность экрана покрывается посредством ступенчатой линзы. Ступенчатая линза - это линза в форме пластины, состоящая из размещенных параллельно нескольких длинных и тонких выпуклых линз. Каждая выпуклая линза располагается в продольном направлении на поверхности экрана. Когда зритель видит левый и правый видеокадры через ступенчатую линзу, только левый глаз зрителя воспринимает свет из областей отображения левого видеокадра, и только правый глаз зрителя воспринимает свет из областей отображения правого видеокадра. Зритель тем самым видит трехмерное видеоизображение из бинокулярного параллакса между видеоизображениями, соответственно, воспринимаемыми посредством левого и правого глаза. Следует отметить, что согласно этому способу, другой оптический компонент, имеющий аналогичные функции, такой как жидкокристаллическое устройство, может использоваться вместо ступенчатой линзы. Альтернативно, например, продольный поляризационный фильтр может предоставляться в областях отображения кадра с левым изображением, и боковой поляризационный фильтр может предоставляться в областях отображения кадра с правым изображением. В этом случае зритель видит экран через поляризационные очки. В поляризационных очках продольный поляризационный фильтр предоставляется для левой линзы, а боковой поляризационный фильтр предоставляется для правой линзы. Следовательно, правое и левое видеоизображения воспринимаются только посредством соответствующих глаз, тем самым давая возможность зрителю воспринимать трехмерные видеоизображения.

В способе с использованием параллактического видео, помимо составления с начала посредством комбинации левых и правых видеоизображений, трехмерное видеосодержимое также может состоять из комбинации двумерных видеоизображений и карты глубины. Двумерные видеоизображения представляют трехмерные видеоизображения, проецируемые на гипотетический двумерный экран, и карта глубины представляет глубину каждого пиксела в каждой части трехмерных видеоизображений по сравнению с двумерным экраном. Когда трехмерное содержимое составляется из комбинации двумерных видеоизображений с картой глубины, устройство трехмерного воспроизведения или дисплейное устройство сначала составляет левое и правое видеоизображения из комбинации двумерных видеоизображений с картой глубины и затем создает трехмерные видеоизображения из этих левых и правых видеоизображений с использованием одного из вышеописанных способов.

Фиг.97 является схематичным представлением, показывающим пример составления вида LVW для просмотра левым глазом и вида RVW для просмотра правым глазом из комбинации двумерного видеоизображения MVW и карты DPH глубины. Как показано на фиг.97, круглый диск DSC показывается в фоне BGV двумерного видеоизображения MVW. Карта DPH глубины указывает глубину для каждого пиксела в каждой части двумерного видеоизображения MVW. Согласно карте DPH глубины, в двумерном видеоизображении MVW область отображения DA1 круглого диска DSC ближе к зрителю, чем экран, а область отображения DA2 фона BGV глубже экрана. Модуль PDG формирования параллактического видео в устройстве воспроизведения сначала вычисляет бинокулярный параллакс для каждой части двумерного видеоизображения MVW с использованием глубины каждой части, указываемой посредством карты DPH глубины. Затем модуль PDG формирования параллактического видео сдвигает позицию представления каждой части в двумерном видеоизображении MVW влево или вправо в соответствии с вычисленным бинокулярным параллаксом, чтобы составлять вид LVW для просмотра левым глазом и вид RVW для просмотра правым глазом. В примере, показанном на фиг.97, модуль PDG формирования параллактического видео сдвигает позицию представления круговой пластины DSC в двумерном видеоизображении 6601 следующим образом: позиция представления круговой пластины DSL в виде LVW для просмотра левым глазом сдвигается вправо на половину своего бинокулярного параллакса, S1, и позиция представления круговой пластины DSR в виде RVW для просмотра правым глазом сдвигается влево на половину своего бинокулярного параллакса, S1. Таким образом, зритель воспринимает круговую пластину DSC как находящуюся ближе к экрану. В отличие от этого модуль PDG формирования параллактического видео сдвигает позицию представления фона BGV в двумерном видеоизображении MVW следующим образом: позиция представления фона BGL в виде LVW для просмотра левым глазом сдвигается влево на половину своего бинокулярного параллакса, S2, и позиция представления фона BGR в виде RVW для просмотра правым глазом сдвигается вправо на половину своего бинокулярного параллакса, S2. Таким образом, зритель воспринимает фон BGV как глубже экрана.

Система воспроизведения для трехмерных видеоизображений с использованием параллактического видео уже широко используется, устанавливаясь для применения в кинотеатрах, парках с аттракционами и т.п. Соответственно, этот способ также полезен для реализации систем домашнего кинотеатра, которые могут воспроизводить трехмерные видеоизображения. В вариантах осуществления настоящего изобретения, из способов с использованием параллактического видео, способ поочередной последовательности кадров или способ с использованием поляризационных очков предположительно должны использоваться. Тем не менее, помимо этих способов, настоящее изобретение также может применяться к другим отличающимся способам до тех пор, пока они используют параллактическое видео. Это должно быть очевидным для специалистов в данной области техники из вышеуказанного пояснения вариантов осуществления.

Файловая система на BD-ROM-диске

Когда UDF используется в качестве файловой системы для BD-ROM-диска 101, область 202B тома, показанная на фиг.2, в общем, включает в себя области, на которые, соответственно, записывается множество каталогов, дескриптор набора файлов и конечный дескриптор. Каждый "каталог" является группой данных, составляющей каталог. "Дескриптор набора файлов" указывает LBN сектора, в котором сохраняется запись файла для корневого каталога. "Конечный дескриптор" указывает конец области записи для дескриптора набора файлов.

Каждый каталог совместно использует общую структуру данных. В частности, каждый каталог включает в себя запись файла, файл каталогов и группу подчиненных файлов.

"Запись файла" включает в себя тег дескриптора, тег блока управления информацией (ICB) и дескриптор выделения. "Тег дескриптора" указывает то, что типом данных, которые включают в себя тег дескриптора, является запись файла. Например, когда значение тега дескриптора равно "261", типом этих данных является запись файла. "ICB-тег" указывает информацию атрибутов записи файлов. "Дескриптор выделения" указывает LBN сектора, в котором записан файл каталогов, принадлежащий этому каталогу.

"Файл каталогов" типично включает в себя множество из каждого из дескрипторов идентификатора файла для подчиненного каталога и дескрипторов идентификатора файла для подчиненного файла. "Дескриптор идентификатора файла для подчиненного каталога" является информацией для осуществления доступа к подчиненному каталогу, расположенному непосредственно в рамках этого каталога. Этот дескриптор идентификатора файла включает в себя идентификационную информацию для подчиненного каталога, длину имени каталога, адрес записи файла и фактическое имя каталога. В частности, адрес записи файла указывает LBN сектора, в котором записывается запись файла подчиненного каталога. "Дескриптор идентификатора файла для подчиненного файла" является информацией для осуществления доступа к подчиненному файлу, расположенному непосредственно в рамках этого каталога. Этот дескриптор идентификатора файла включает в себя идентификационную информацию для подчиненного файла, длину имени файла, адрес записи файла и фактическое имя файла. В частности, адрес записи файла указывает LBN сектора, в котором записывается запись файла подчиненного файла. "Запись файла подчиненного файла", как описано ниже, включает в себя информацию адреса для данных, составляющих фактический подчиненный файл.

Посредством отслеживания дескрипторов набора файлов и дескрипторов идентификаторов файлов подчиненных каталогов/файлов по порядку может осуществляться доступ к записи файла случайного каталога/файла, записанного в области 202B тома. В частности, запись файла корневого каталога сначала указывается из дескриптора набора файлов, и файл каталогов для корневого каталога указывается из дескриптора выделения в этой записи файла. Затем дескриптор идентификатора файла для каталога непосредственно в рамках корневого каталога обнаруживается из файла каталогов, и запись файла для этого каталога указывается из адреса записи файла в нем. Кроме того, файл каталогов для этого каталога указывается из дескриптора выделения в записи файла. Затем изнутри файла каталогов, запись файла для подчиненного каталога или подчиненного файла указывается из адреса записи файла в дескрипторе идентификатора файла для этого подчиненного каталога или подчиненного файла.

"Подчиненные файлы" включают в себя экстенты и записи файлов. "Экстентов", как правило, много, и они являются последовательностями данных, логические адреса, т.е. LBN, которых являются последовательными на диске. Экстенты, в общем, содержат фактический подчиненный файл. "Запись файлов" включает в себя тег дескриптора, ICB-тег и дескрипторы выделения. "Тег дескриптора" указывает то, что типом данных, которые включают в себя тег дескриптора, является запись файла. "ICB-тег" указывает информацию атрибутов записи файлов. "Дескрипторы выделения" предоставляются в соответствии "один-к-одному" с каждым экстентом и указывают компоновку каждого экстента в области 202B тома, а именно размер каждого экстента и LBN для начала экстента. Соответственно, посредством обращения к каждому дескриптору выделения, к каждому экстенту может осуществляться доступ. Кроме того, два старших бита каждого дескриптора выделения указывают то, записан или нет экстент фактически в секторе для LBN, указанного посредством дескриптора выделения. В частности, когда два старших бита равны "0", экстент выделен для местоположения записи и фактически записан в него. Когда два старших бита равны "1", экстент выделен для местоположения записи, но еще не записан в него.

Аналогично вышеописанной файловой системе с применением UDF, когда каждый файл, записанный в область 202B тома, разделяется на множество экстентов, файловая система для области 202B тома также, в общем, хранит информацию, показывающую местоположения экстентов, как и в случае с вышеуказанными дескрипторами выделения, в области 202B тома. Посредством обращения к этой информации, местоположение каждого экстента, в частности, его логический адрес, может быть обнаружено.

Размер блоков данных и блоков экстентов

Как показано на фиг.19, мультиплексированные потоковые данные на BD-ROM-диске 101 компонуются посредством разделения на блоки D[n] данных для воспроизведения зависимого вида и блоки B[n] данных для воспроизведения базового вида (n=0, 1, 2, 3, …). Кроме того, эти группы D[n] и B[n] блоков данных записываются последовательно на дорожке в перемеженной компоновке, чтобы формировать множество блоков 1901-1903 экстентов. Чтобы обеспечивать плавное воспроизведение как двумерных видеоизображений, так и трехмерных видеоизображений из этих блоков 1901-1903 экстентов, размер каждого блока данных и каждого блока 1901-1903 экстентов должен удовлетворить следующим условиям на основе характеристик устройства 102 воспроизведения.

Условия на основе характеристик в режиме двумерного воспроизведения

Фиг.98 является блок-схемой, показывающей обработку воспроизведения в устройстве 102 воспроизведения в режиме двумерного воспроизведения. Как показано на фиг.98, эта система обработки воспроизведения включает в себя BD-ROM-накопитель 3701, буфер 3721 считывания и декодер 3725 системных целевых объектов, показанный на фиг.37. BD-ROM-накопитель 3701 считывает двумерные экстенты из BD-ROM-диска 101 и передает двумерные экстенты в буфер 3721 считывания на скорости R_UD54 считывания. Декодер 3725 системных целевых объектов считывает исходные пакеты из каждого двумерного экстента, сохраненного в буфере 3721 считывания, на средней скорости R_EXT2D передачи и декодирует исходные пакеты на видеоданные VD и аудиоданные AD.

Средняя скорость R_EXT2D передачи равна 192/188, умноженным на среднюю скорость обработки посредством декодера 3725 системных целевых объектов, чтобы извлекать TS-пакеты из каждого исходного пакета. В общем, эта средняя скорость R_EXT2D передачи изменяется для каждого двумерного экстента. Максимальное значение R_MAX2D средней скорости R_EXT2D передачи равно 192/188, умноженным на системную скорость R_TS для файла 2D. В этом случае коэффициент 192/188 является отношением байтов в исходном пакете к байтам в TS-пакете. Средняя скорость R_EXT2D передачи традиционно представляется в битах/секунда и конкретно равна значению размера двумерного экстента, выраженного в битах, разделенного на ATC-время экстента. "Размер экстента, выраженный в битах", равен восьми, умноженным на произведение числа исходных пакетов в экстенте и числа байтов в расчете на исходный пакет (=192 байта x 8 бит/байт).

Скорость R_UD54 считывания традиционно выражается в битах/секунда и задается равной более высокому значению, к примеру, 54 Мбит/с, чем максимальное значение R_MAX2D средней скорости R_EXT2D передачи: R_UD54>R_MAX2D. Это предотвращает опустошение в буфере 3721 считывания вследствие обработки декодирования посредством декодера 3725 системных целевых объектов в момент, когда BD-ROM-накопитель 3701 считывает двумерный экстент из BD-ROM-диска 101.

Фиг.99A является графиком, показывающим изменение объема DA данных, сохраненного в буфере 3721 считывания, в ходе работы в режиме двумерного воспроизведения. Фиг.99B является схематичным представлением, показывающим соответствие между блоком 8310 экстентов для воспроизведения и путем 8320 воспроизведения в режиме двумерного воспроизведения. Как показано на фиг.99B, в соответствии с путем 8320 воспроизведения, блоки Bn данных для воспроизведения базового вида (n=0, 1, 2, …) в блоке 8310 экстентов считываются как один двумерный экстент EXT2D[n] из BD-ROM-диска 101 в буфер 3721 считывания. Как показано на фиг.99A, в течение периода PR_2D[n] считывания для каждого двумерного экстента EXT2D[n], сохраненный объем DA данных увеличивается на скорости, равной R_UD54-R_EXT2D[n], разности между скоростью R_UD54 считывания и средней скоростью R_EXT2D[n] передачи.

Операции считывания и передачи посредством BD-ROM-накопителя 8301 фактически выполняются не непрерывно, как предлагается посредством графика на фиг.99A, а вместо этого периодически. В течение периода PR_2D[n] считывания для каждого двумерного экстента, это препятствует превышению емкости буфера 3721 считывания посредством сохраненного объема DA данных, т.е. переполнению в буфере 3721 считывания. Соответственно, график на фиг.99A представляет то, что фактически является пошаговым увеличением, как аппроксимированное прямое увеличение.

Переход J_2D[n], тем не менее, осуществляется между двумя смежными двумерными экстентами EXT2D[n-1] и EXT2D[n]. Поскольку считывание двух смежных блоков данных для воспроизведения зависимого вида Dn пропускается в течение соответствующего периода PJ_2D[n] перехода, считывание данных из BD-ROM-диска 101 прерывается. Соответственно, сохраненный объем DA данных уменьшается на средней скорости R_EXT2D[n] передачи в течение каждого периода PJ_2D[n] перехода.

Чтобы воспроизводить двумерные видеоизображения плавно из блока 8310 экстентов, показанного на фиг.99B, следующие условия [1] и [2] должны удовлетворяться.

[1] В то время, когда данные непрерывно предоставляются из буфера 3721 считывания в декодер 3725 системных целевых объектов в течение каждого периода PJ_2D[n] перехода, непрерывный вывод из декодера 3725 системных целевых объектов должен обеспечиваться. Для этого следующее условие должно удовлетворяться: размер S_EXT2D[n] каждого двумерного экстента EXT2D[n] равен объему данных, передаваемых из буфера 3721 считывания в декодер 3725 системных целевых объектов от периода PR_2D[n] считывания через следующий период PJ_2D[n+1] перехода. Если это имеет место, то, как показано на фиг.99A, сохраненный объем DA данных в конце периода PJ_2D[n+1] перехода не опускается ниже значения в начале периода PR_2D[n] считывания. Другими словами, в течение каждого периода PJ_2D[n] перехода, данные непрерывно предоставляются из буфера 3721 считывания в декодер 3725 системных целевых объектов. В частности, опустошение не возникает в буфере 3721 считывания. В этом случае длина периода PR_2D[n] считывания равна S_EXT2D[n]/R_UD54, значению, полученному посредством деления размера S_EXT2D[n] двумерного экстента EXT2D[n] на скорость R_UD54 считывания. Соответственно, размер S_EXT2D[n] каждого двумерного экстента EXT2D[n] должен быть равным или превышающим минимальным размер экстента, выражаемый в правой стороне выражения 1.

(1)

В выражении 1 время T_JUMP-2D[n] перехода представляет длину периода PJ_2D[n] перехода в секундах. Скорость R_UD54 считывания и средняя скорость R_EXT2D передачи выражаются в битах в секунду. Соответственно, в выражении 1, средняя скорость R_EXT2D передачи делится на 8, чтобы преобразовывать размер S_EXT2D[n] двумерного экстента из битов в байты. Таким образом, размер S_EXT2D[n] двумерного экстента выражается в байтах. Функция CEIL() является операцией, чтобы округлять в большую сторону дробные числа после десятичной запятой для значения в круглых скобках.

[2] Поскольку емкость буфера 3721 считывания является ограниченной, максимальное значение периода T_JUMP-2D[n] перехода является ограниченным. Другими словами, даже если сохраненный объем DA данных непосредственно перед периодом PJ_2D[n] перехода составляет максимальную емкость буфера 3721 считывания, если время T_JUMP-2D[n] перехода является слишком длительным, то сохраненный объем DA данных достигает нуля в течение периода PJ_2D[n] перехода, и имеется опасность возникновения опустошения в буфере 3721 считывания. В дальнейшем в этом документе время для уменьшения сохраненного объема DA данных с максимальной емкости буфера 3721 считывания до нуля в момент, когда предоставление данных из BD-ROM-диска 101 в буфер 3721 считывания прекращено, т.е. максимальное значение времени T_JUMP-2D перехода, которое гарантирует плавное воспроизведение, называется "максимальным временем T_{JUMP_MAX} перехода".

В стандартах оптических дисков соответствие между расстояниями перехода и максимальными временами перехода определяется из скорости доступа накопителя на оптических дисках и других факторов. Фиг.100 является примером таблицы соответствия между расстояниями S_JUMP перехода и максимальными временами T_{JUMP_MAX} перехода для BD-ROM-диска. Как показано на фиг.100, расстояния S_JUMP перехода представляются в единицах секторов, а максимальные времена T_{JUMP_MAX} перехода представляются в миллисекундах. Один сектор равен 2048 байтам. Когда расстояние S_JUMP перехода составляет нуль секторов или находится в диапазоне 1-10000 секторов, 10001-20000 секторов, 20001-40000 секторов, 40001 сектора 1/10 длины хода и 1/10 длины хода или более, соответствующее максимальное время T_{JUMP_MAX} перехода составляет 0 мс, 250 мс, 300 мс, 350 мс, 700 мс и 1400 мс, соответственно. Когда расстояние S_JUMP перехода равно нулю секторов, максимальное время T_{JUMP_MAX} перехода равно времени T_JUMP0 перехода через нуль секторов. В примере на фиг.100, время T_JUMP0 перехода через нуль секторов рассматривается как нуль мс.

На основе вышеуказанных соображений, временем T_JUMP-2D[n] перехода, которое должно подставляться в выражение 1, является максимальное время T_{JUMP_MAX} перехода, указываемое для каждого расстояния перехода посредством стандартов BD-ROM-дисков. В частности, расстояние S_JUMP перехода между двумерными экстентами EXT2D[n-1] и EXT2D[n] подставляется в выражение 1 как время T_JUMP-2D[n] перехода. Это расстояние S_JUMP перехода равно максимальному времени T_{JUMP_MAX} перехода, которое соответствует числу секторов от конца n-ного двумерного экстента EXT2D[n] до начала (n+1)-вого двумерного экстента EXT2D[n+1], как обнаружено в таблице на фиг.100.

Поскольку время T_JUMP-2D[n] перехода для перехода между двумя двумерными экстентами EXT2D[n] и EXT2D[n+1], ограничено максимальным временем T_{JUMP_MAX} перехода, расстояние S_JUMP перехода, т.е. расстояние между этими двумя двумерными экстентами EXT2D[n] и EXT2D[n+1], также ограничено. Когда время T_JUMP перехода равно максимальному времени T_{JUMP_MAX} перехода, расстояние S_JUMP перехода достигает максимального значения, называемого "максимальным расстоянием S_{JUMP_MAX} перехода". Для плавного воспроизведения двумерных видеоизображений, в дополнение к размеру двумерных экстентов, удовлетворяющему выражению 1, расстояние между двумерными экстентами должно быть равным или меньшим максимального расстояния S_{JUMP_MAX} перехода.

В рамках каждого блока экстентов расстояние между двумерными экстентами равно размеру блока данных для воспроизведения зависимого вида. Соответственно, этот размер ограничен тем, чтобы быть равным или меньшим максимального расстояния S_{JUMP_MAX} перехода. В частности, когда максимальное время T_{JUMP_MAX} перехода между двумерными экстентами ограничено минимальным значением в 250 мс, указываемым на фиг.100, то расстояние между двумерными экстентами, т.е. размер блоков данных для воспроизведения зависимого вида, ограничено соответствующим максимальным расстоянием S_{JUMP_MAX} перехода = 10000 секторов или менее.

Посредством плавного воспроизведения двух блоков экстентов, размещаемых в различных слоях для записи, длинный переход осуществляется между n-ным двумерным экстентом EXT2D[n], расположенным в конце предыдущего блока экстентов, и (n+1)-вым двумерным экстентом EXT2D[n+1], расположенным в начале последующего блока экстентов. Этот длинный переход вызывается посредством операции, такой как переход к фокусу, чтобы переключать слой для записи. Соответственно, в дополнение к максимальному времени T_{JUMP_MAX} перехода, указываемому в таблице на фиг.100, время, требуемое для этого длинного перехода, дополнительно включает в себя "время переключения слоев", которое является временем, необходимым для операции, чтобы переключать слой для записи. Это "время переключения слоев", например, составляет 350 мс. Как результат, в выражении 1, которому должен удовлетворять размер n-ного двумерного экстента EXT2D[n], время T_JUMP-2D[n] перехода определяется посредством суммы двух параметров TJ[n] и TL[n]: T_JUMP-2D[n]=TJ[n]+TL[n]. Первый параметр TJ[n] представляет максимальное время T_{JUMP_MAX} перехода, указываемое для расстояния S_JUMP перехода для длинного перехода согласно стандартам BD-ROM-дисков. Это максимальное время T_{JUMP_MAX} перехода равно значению, в таблице на фиг.100, соответствующему числу секторов от конца n-ного двумерного экстента EXT2D[n] до начала (n+1)-вого двумерного экстента EXT2D[n+1]. Второй параметр TL[n] представляет время переключения слоев, например, 350 мс. Соответственно, расстояние между двумя двумерными экстентами EXT2D[n] и EXT2D[n+1] ограничено тем, чтобы быть равным или меньшим максимального расстояния S_{JUMP_MAX} перехода, в таблице на фиг.100, соответствующего максимальному времени T_{JUMP_MAX} перехода для длинного перехода минус время переключения слоев.

Условия на основе характеристик в режиме трехмерного воспроизведения

Фиг.101 является блок-схемой, показывающей обработку воспроизведения в устройстве 102 воспроизведения в режиме трехмерного воспроизведения. Как показано на фиг.101, из элементов, показанных на фиг.41, эта система обработки воспроизведения включает в себя BD-ROM-накопитель 4101, переключатель 4120, пару буферов 4121 и 4122 считывания и декодер 4125 системных целевых объектов. BD-ROM-накопитель 4101 считывает экстенты SS из BD-ROM-диска 101 и передает экстенты SS в переключатель 4120 на скорости R_UD72 считывания. Переключатель 4120 разделяет экстенты SS на блоки данных для воспроизведения базового вида и блоки данных для воспроизведения зависимого вида. Блоки данных для воспроизведения базового вида сохраняются в первом буфере 4121 считывания, а блоки данных для воспроизведения зависимого вида сохраняются во втором буфере 4122 считывания. Декодер 4125 системных целевых объектов считывает исходные пакеты из блоков данных для воспроизведения базового вида, сохраненных в первом буфере 4121 считывания, на скорости R_EXT1 передачи для воспроизведения базового вида, и считывает исходные пакеты из блоков данных для воспроизведения зависимого вида, сохраненных во втором буфере 4122 считывания, на скорости R_EXT2 передачи для воспроизведения зависимого вида. Декодер 4125 системных целевых объектов также декодирует пары из блоков данных для воспроизведения базового вида считывания и блоков данных для воспроизведения зависимого вида на видеоданные VD и аудиоданные AD.

Скорость R_EXT1 передачи для воспроизведения базового вида и скорость R_EXT2 передачи для воспроизведения зависимого вида равны 192/188, умноженным на среднюю скорость обработки посредством декодера 4125 системных целевых объектов, чтобы извлекать TS-пакеты, соответственно, из каждого исходного пакета в блоках данных для воспроизведения базового вида и блоках данных для воспроизведения зависимого вида. Максимальное значение R_MAX1 скорости R_EXT1 передачи для воспроизведения базового вида равно 192/188, умноженным на системную скорость R_TS1 для файла 2D. Максимальное значение R_MAX2 скорости R_EXT2 передачи для воспроизведения зависимого вида равно 192/188, умноженным на системную скорость R_TS2 для файла DEP. Скорости R_EXT1 и R_EXT2 передачи традиционно представляются в битах/секунда и конкретно равняются значению размера каждого блока данных, выражаемого в битах, деленному на ATC-время экстента. ATC-время экстента равно времени, необходимому для того, чтобы передавать все исходные пакеты в блоке данных из буферов 4121, 4122 считывания в декодер 4125 системных целевых объектов.

Скорость R_UD72 считывания традиционно выражается в битах/секунда и задается равным более высокому значению, к примеру, 72 Мбит/с, чем максимальные значения R_MAX1, R_MAX2 скоростей передачи R_EXT1, R_EXT2: R_UD72>R_MAX1, R_UD72>R_MAX2. Это предотвращает опустошение в буферах 4121 и 4122 считывания вследствие обработки декодирования посредством декодера 4125 системных целевых объектов в момент, когда BD-ROM-накопитель 4101 считывает экстент SS из BD-ROM-диска 101.

Плавное соединение в рамках блока экстентов

Фиг.102A и 102B являются графиками, показывающими изменения объемов DA1 и DA2 данных, сохраненных в буферах 4121 и 4122 считывания, когда трехмерные видеоизображения воспроизводятся плавно из одного блока экстентов. Фиг.102C является схематичным представлением, показывающим соответствие между блоком 8610 экстентов и путем 8620 воспроизведения в режиме трехмерного воспроизведения. Как показано на фиг.102C, в соответствии с путем 8620 воспроизведения, весь блок 8610 экстентов считывается за один раз как один экстент SS. Затем переключатель 4120 разделяет экстент SS на блоки D[k] данных для воспроизведения зависимого вида и блоки B[k] данных для воспроизведения базового вида (k=…, n, n+1, n+2, …).

Операции считывания и передачи посредством BD-ROM-накопителя 4101 фактически выполняются не непрерывно, как предлагается посредством графиков на фиг.102A и 102B, а вместо этого периодически. В течение периодов PR_D[k] и PR_B[k] считывания для блоков D[k], B[k] данных, это предотвращает переполнение в буферах 4121 и 4122 считывания. Соответственно, графики на фиг.102A и 102B представляют то, что фактически является пошаговым увеличением, как аппроксимированное прямое увеличение.

Как показано на фиг.102A и 102B, в течение периода PRD[n] считывания n-ного блока D[n] данных для воспроизведения зависимого вида, сохраненный объем DA2 данных во втором буфере 4122 считывания увеличивается на скорости, равной R_UD72-R_EXT2[n], разности между скоростью R_UD72 считывания и скоростью R_EXT2[n] передачи для воспроизведения зависимого вида, при этом сохраненный объем DA1 данных в первом буфере 4121 считывания уменьшается на скорости R_EXT1[n-1] передачи для воспроизведения базового вида. Как показано на фиг.102C, переход J₀[2n] через нуль секторов осуществляется от n-ного блока D[n] данных для воспроизведения зависимого вида к n-ному блоку B[n] данных для воспроизведения базового вида. Как показано на фиг.102A и 102B, в течение периода PJ₀[n] перехода через нуль секторов, сохраненный объем DA1 данных в первом буфере 4121 считывания продолжает уменьшаться на скорости R_EXT1[n-1] передачи для воспроизведения базового вида, при этом сохраненный объем DA2 данных во втором буфере 4122 считывания уменьшается на скорости R_EXT2[n] передачи для воспроизведения зависимого вида.

Как дополнительно показано на фиг.102A и 102B, в течение периода PR_B[n] считывания n-ного блока B[n] данных для воспроизведения базового вида, сохраненный объем DA1 данных в первом буфере 4121 считывания увеличивается на скорости, равной R_UD72-R_EXT1[n], разности между скоростью R_UD72 считывания и скоростью R_EXT1[n] передачи для воспроизведения базового вида. С другой стороны, сохраненный объем DA2 данных во втором буфере 4122 считывания продолжает уменьшаться на скорости R_EXT2[n] передачи для воспроизведения зависимого вида. Как дополнительно показано на фиг.102C, переход J₀[2n+1] через нуль секторов осуществляется от блока B[n] данных для воспроизведения базового вида к следующему блоку D(n+1) данных для воспроизведения зависимого вида. Как показано на фиг.102A и 102B, в течение периода PJ₀[2n+1] перехода через нуль секторов, сохраненный объем DA1 данных в первом буфере 4121 считывания уменьшается на скорости R_EXT1[n] передачи для воспроизведения базового вида, а сохраненный объем DA2 данных во втором буфере 4122 считывания продолжает уменьшаться на скорости R_EXT2[n] передачи для воспроизведения зависимого вида.

Чтобы воспроизводить трехмерные видеоизображения плавно из одного блока 8610 экстентов, следующие условия [3] и [4] должны удовлетворяться.

[3] Размер S_EXT1[n] n-ного блока B[n] данных для воспроизведения базового вида, по меньшей мере, равен объему данных, передаваемому из первого буфера 4121 считывания в декодер 4125 системных целевых объектов от соответствующего периода PR_B[n] считывания до момента непосредственно перед периодом PR_B[n+1] считывания следующего блока B[n+1] данных для воспроизведения базового вида. В этом случае, как показано на фиг.102A, непосредственно перед периодом PR_B[n+1] считывания следующего блока B[n+1] данных для воспроизведения базового вида, сохраненный объем DA1 данных в первом буфере 4121 считывания не опускается ниже объема непосредственно перед периодом PR_B[n] считывания n-ного блока B[n] данных для воспроизведения базового вида. Длина периода PR_B[n] считывания n-ного блока B[n] данных для воспроизведения базового вида равна S_EXT1[n]/R_UD72, значению, полученному посредством деления размера S_EXT1[n] этого блока B[n] данных для воспроизведения базового вида на скорость R_UD72 считывания. С другой стороны, длина PR_R[n+1] периода считывания (n+1)-вого блока D[n+1] данных для воспроизведения зависимого вида равна S_EXT2[n+1]/R_UD72, значению, полученному посредством деления размера S_EXT2[n+1] этого блока D[n+1] данных для воспроизведения зависимого вида на скорость R_UD72 считывания. Соответственно, размер S_EXT1[n] этого блока B[n] данных для воспроизведения базового вида должен быть равным или превышающим минимальным размер экстента, выражаемый в правой стороне выражения 2.

(2)

[4] Размер S_EXT2[n] n-ного блока D[n] данных для воспроизведения зависимого вида, по меньшей мере, равен объему данных, передаваемому из второго буфера 4122 считывания в декодер 4125 системных целевых объектов от соответствующего периода считывания PR_R[n] до момента непосредственно перед периодом PR_D[n+1] считывания следующего блока D[n+1] данных для воспроизведения зависимого вида. В этом случае, как показано на фиг.102B, непосредственно перед периодом PR_D[n+1] считывания следующего блока D[n+1] данных для воспроизведения зависимого вида, сохраненный объем DA2 данных во втором буфере 4122 считывания не опускается ниже объема непосредственно перед периодом PRD[n] считывания n-ного блока D[n] данных для воспроизведения зависимого вида. Длина периода PRD[n] считывания n-ного блока D[n] данных для воспроизведения зависимого вида равна S_EXT2[n]/R_UD72, значению, полученному посредством деления размера S_EXT2[n] этого блока D[n] данных для воспроизведения зависимого вида на скорость R_UD72 считывания. Соответственно, размер S_EXT2[n] этого блока D[n] данных для воспроизведения зависимого вида должен быть равным или превышающим минимальным размер экстента, выражаемый в правой стороне выражения 3.

(3)

Плавное соединение между блоками экстентов

Фиг.103B является схематичным представлением, показывающим M-тый (буква M представляет целое число, превышающее или равное 2) блок 8701 экстентов и (M+1)-вый блок 8702 экстентов и соответствие между этими блоками 8701 и 8702 экстентов и путем 8720 воспроизведения в режиме трехмерного воспроизведения. Как показано на фиг.103B, два блока 8701 и 8702 экстентов разделяются посредством межслойной границы LB или области записи для других данных. В соответствии с путем 8720 воспроизведения, весь M-тый блок 8701 экстентов сначала считывается за один раз как M-тый экстент SS EXTSS[M]. Переход J[M] осуществляется непосредственно после этого. Затем (M+1)-вый блок 8702 экстентов считывается за один раз как (M+1)-вый экстент SS EXTSS[M+1].

Фиг.103A является графиком, показывающим изменения объемов DA1 и DA2 данных, сохраненных в буферах 4121 и 4122 считывания, а также изменения суммы DA1+DA2, когда трехмерные видеоизображения непрерывно воспроизводятся плавно от двух блоков 8701 и 8702 экстентов. На фиг.103A линия с чередующимися длинным и коротким пунктиром указывает изменения объема DA1 данных, сохраненного в первом буфере 4121 считывания, пунктирная линия указывает изменения объема DA2 данных, сохраненного во втором буфере 4122 считывания, а сплошная линия указывает изменения суммы DA1+DA2 этих двух объемов данных. На этом графике сплошная линия является аппроксимацией, которая усредняет небольшие изменения каждый раз, когда блок данных считывается. Кроме того, время T_JUMP0 перехода через нуль секторов рассматривается как "нуль секунд".

Как показано на фиг.103A, в течение периода PR_BLK[M], во время которого весь M-тый блок 8701 экстентов считывается из BD-ROM-диска 101 в буферы 4121 и 4122 считывания, объемы DA1 и DA2 данных, соответственно, сохраненные в буферах 4121 и 4122 считывания, увеличиваются. В частности, в течение периода PRBLK[M], во время которого весь M-тый блок 8701 экстентов считывается, сумма DA1+DA2 сохраненных объемов данных увеличивается на скорости, равной разности R_UD72-R_EXTSS[M] между скоростью R_UD72 считывания и средней скоростью REXTSS[M] передачи. Эта средняя скорость R_EXTSS[M] передачи оценивается как значение, полученное посредством деления размера всего M-того блока 8701 экстентов, т.е. размера S_EXTSS[M] M-того экстента SS EXTSS[M], на ATC-время T_EXTSS экстента.

В момент, когда последний блок данных для воспроизведения базового вида в M-том блоке 8701 экстентов считывается в первый буфер 4121 считывания, сумма DA1+DA2 сохраненного объема данных достигает своего максимального значения. В течение периода PJ[M] непосредственно последующего перехода J[M], сумма DA1+DA2 сохраненного объема данных уменьшается на средней скорости R_EXTSS[M] передачи. Соответственно, посредством регулирования максимального значения суммы DA1+DA2 сохраненного объема данных так, чтобы быть достаточно большим, опустошение в буферах 4121 и 4122 считывания во время перехода J[M] может предотвращаться. Как результат, два блока 8701 и 8702 экстентов могут плавно соединяться.

Максимальное значение суммы DA1+DA2 сохраненного объема данных определяется посредством размера M-того блока 8701 экстентов. Соответственно, чтобы плавно соединять M-тый блок 8701 экстентов с (M+1)-вым блоком 8702 экстентов, размер M-того блока 8701 экстентов, т.е. размер SEXTSS[M] M-того экстента SS EXTSS[M], должен удовлетворять условию 5.

[5] В течение периода PR_D[m] считывания блока D данных для воспроизведения зависимого вида, расположенного в начале M-того блока 8701 экстентов, предварительная загрузка выполняется (буква m представляет целое число, превышающее или равное 1). В течение этого периода PR_D[m] предварительной загрузки, блок B данных для воспроизведения базового вида, соответствующий блоку D данных для воспроизведения зависимого вида, не сохранен в первом буфере 4121 считывания, и тем самым блок D данных для воспроизведения зависимого вида не может быть передан из второго буфера 4122 считывания в декодер 4125 системных целевых объектов. Соответственно, предоставление данных в декодер 4125 системных целевых объектов в течение периода непосредственно предшествующего перехода J[M-1] также продолжается в течение этого периода PR_D[m] предварительной загрузки посредством передачи данных в (M-1)-вом блоке экстентов из второго буфера 4122 считывания в декодер 4125 системных целевых объектов. Аналогично, в течение периода PR_D[n] считывания блока D данных для воспроизведения зависимого вида, расположенного в начале (M+1)-вого блока 8702 экстентов, предварительная загрузка выполняется (буква n представляет целое число, превышающее или равное m+1). Соответственно, предоставление данных в декодер 4125 системных целевых объектов в течение периода непосредственно предшествующего перехода J[M] также продолжается в течение этого периода PR_D[n] предварительной загрузки посредством передачи данных в M-том блоке 8701 экстентов из второго буфера 4122 считывания в декодер 4125 системных целевых объектов. Следовательно, чтобы предотвращать опустошение в обоих буферах 4121 и 4122 считывания во время перехода J[M], ATC-время TEXTSS экстента M-того экстента SS EXTSS[M] должно быть, по меньшей мере, равным длине периода от конечного времени T0 периода PR_D[m] предварительной загрузки в M-том блоке 8701 экстентов до конечного времени T1 периода PR_D[n] предварительной загрузки в (M+1)-вом блоке 8702 экстентов. Другими словами, размер S_EXTSS[M] M-того экстента SS EXTSS[M] должен, по меньшей мере, быть равным сумме объемов данных, передаваемых из буферов 4121 и 4122 считывания в декодер 4125 системных целевых объектов в течение периода T0-T1.

Как очевидно из фиг.103A, длина T0-T1 периода равна сумме длины периода PR_BLK[M] считывания M-того блока 8701 экстентов, времени T_JUMP[M] перехода для перехода J[M] и разности T_DIFF[M] в длинах периодов PR_D[n] и PR_D[m] предварительной загрузки в блоках 8701 и 8702 экстентов. Кроме того, длина периода PR_BLK[M] считывания M-того блока 8701 экстентов равна S_EXTSS[M]/R_UD72, значению, полученному посредством деления размера S_EXTSS[M] M-того экстента SS EXTSS[M] на скорость R_UD72 считывания. Соответственно, размер S_EXTSS[M] M-того экстента SS EXTSS[M] должен быть равным или превышающим минимальным размер экстента, выражаемый в правой стороне выражения 4.

(4)

Длины периодов PR_D[m] и PR_D[n] предварительной загрузки, соответственно, равны S_EXT2[m]/R_UD72 и S_EXT2[n]/R_UD72, значениям, полученным посредством деления размеров S_EXT2[m] и S_EXT2[n] блока D данных для воспроизведения зависимого вида, расположенного в начале блоков 8701 и 8702 экстентов, на скорость R_UD72 считывания. Соответственно, разность T_DIFF в длинах периодов PR_D[m] и PR_D[n] предварительной загрузки равна разности в этих значениях: T_DIFF=S_EXT2[n]/R_UD72-S_EXT2[m]/R_UD72. Следует отметить, что аналогично правой стороне выражений 1-3, правая сторона выражения 4 может выражаться как целочисленное значение в единицах байтов.

Кроме того, когда декодирование мультиплексированных потоковых данных улучшается следующим образом, разность T_DIFF в правой стороне выражения 4 может рассматриваться как нуль. Во-первых, находится максимальное значение разности T_DIFF для всех мультиплексированных потоковых данных, т.е. самое плохое значение T_DIFF. Затем, когда мультиплексированные потоковые данные воспроизводятся, начало декодирования задерживается после начала считывания на время, равное самому плохому значению T_DIFF.

Условия для уменьшения емкостей буферов считывания

Фиг.104A и 104B являются графиками, показывающими изменения объемов DA1 и DA2 данных, сохраненных в буферах 4121 и 4122 считывания, когда трехмерные видеоизображения воспроизводятся плавно из двух последовательных блоков 8701 и 8702 экстентов, показанных на фиг.103B. Как показано на фиг.104A, сохраненный объем DA1 данных в первом буфере 4121 считывания достигает максимального значения DM1 в момент, когда блок B[n-1] данных для воспроизведения базового вида в конце M-того блока 8701 экстентов считывается в первый буфер 4121 считывания. Кроме того, сохраненный объем DA1 данных уменьшается на скорости R_EXT1[n-1] передачи для воспроизведения базового вида от периода PJ[M] непосредственно последующего перехода J[M] через период PR_D[n] предварительной загрузки в (M+1)-вом блоке 8702 экстентов. Соответственно, чтобы не допускать достижения посредством сохраненного объема DA1 данных нуля до завершения периода PR_D[n] предварительной загрузки, максимальное значение DM1 сохраненного объема DA1 данных должно быть равным или превышающим объем данных, передаваемый из первого буфера 4121 считывания в декодер 4125 системных целевых объектов в течение периода PJ[M] перехода и периода PR_D[n] предварительной загрузки. Другими словами, максимальное значение DM1 сохраненного объема DA1 данных должно быть превышающим или равным сумме длины T_JUMP[M] периода PJ[M] перехода и длины периода PR_D[n] предварительной загрузки, S_EXT2[n]/R_UD72, умноженной на скорость R_EXT1[n-1] передачи для воспроизведения базового вида: DM1≥(T_JUMP[M]+S_EXT2[n]/R_UD72)×R_EXT1[n-1]. Когда длина T_JUMP[M] периода PJ[M] перехода равна максимальному времени T_{JUMP_MAX} перехода для перехода J[M], а скорость R_EXT1[n-1] передачи для воспроизведения базового вида равна своему максимальному значению R_MAX1, максимальное значение DM1 сохраненного объема DA1 данных имеет наибольшее значение. Соответственно, первый буфер 4121 считывания должен иметь емкость RB1, равную или превышающую максимальное значение DM1 в этом случае: RB1≥(T_{JUMP_MAX}+S_EXT2[n]/R_UD72)×R_EXT1.

С другой стороны, как показано на фиг.104B, в момент, когда считывание блока B[n-1] данных для воспроизведения базового вида конца в M-том блоке 8701 экстентов начинается, сохраненный объем DA2 данных во втором буфере 4122 считывания достигает своего максимального значения DM2. Кроме того, сохраненный объем DA2 данных уменьшается на скорости R_EXT2[n-1] передачи для воспроизведения зависимого вида от периода считывания блока B[n-1] данных для воспроизведения базового вида через период PR_D[n] предварительной загрузки в (M+1)-вом блоке 8702 экстентов. Соответственно, чтобы поддерживать предоставление данных в декодер 4125 системных целевых объектов до конца периода PR_D[n] предварительной загрузки, максимальное значение DM2 сохраненного объема DA2 данных должно быть равным или превышающим объем данных, передаваемый из второго буфера 4122 считывания в декодер 4125 системных целевых объектов в течение периода считывания блока B[n-1] данных для воспроизведения базового вида, периода PJ[M] перехода и периода PR_D[n] предварительной загрузки. Другими словами, максимальное значение DM2 сохраненного объема DA2 данных должно быть превышающим или равным сумме длины периода считывания блока B[n-1] данных для воспроизведения базового вида S_EXT1[n-1]/R_UD72, длины T_JUMP[M] периода PJ[M] перехода и длины периода PR_D[n] предварительной загрузки, S_EXT2[n]/R_UD72, умноженной на скорость R_EXT2[n-1] передачи для воспроизведения зависимого вида: DM2≥(S_EXT2[n-1]/R_UD72+T_JUMP[M]+S_EXT2[n]/R_UD72)×R_EXT1[n-1]. Когда длина T_JUMP[M] периода PJ[M] перехода равна максимальному времени T_{JUMP_MAX} перехода для перехода J[M], а скорость R_EXT2[n-1] передачи для воспроизведения зависимого вида равна своему максимальному значению R_MAX2, максимальное значение DM2 сохраненного объема DA2 данных имеет наибольшее значение. Соответственно, второй буфер 4122 считывания должен иметь емкость RB2, равную или превышающую максимальное значение DM2 в этом случае: RB2≥(S_EXT1[n-1]/R_UD72+T_{JUMP_MAX}+S_EXT2[n]/R_UD72)×R_MAX2. Кроме того, поскольку любой блок данных для воспроизведения зависимого вида может быть первым блоком данных, считываемым в ходе воспроизведения с прерываниями, емкость RB2 второго буфера 4122 считывания не должна быть меньше размера любого из блоков данных для воспроизведения зависимого вида: RB2≥S_EXT2[k] (буква k представляет случайное целое число).

Согласно вышеприведенному описанию, нижние пределы емкости RB1 и RB2 буферов 4121 и 4122 считывания определяются посредством размеров S_EXT1[k] и S_EXT2[k] блоков данных. Соответственно, чтобы экономить емкость RB1 и RB2, верхний предел размеров S_EXT1[k] и S_EXT2[k] блоков данных, т.е. максимальный размер экстента, ограничивается через следующее условие [6].

[6] Как показано на фиг.19, блоки B[k] данных для воспроизведения базового вида в каждом блоке 1901-1903 экстентов совместно используются посредством файла 2D и файла SS. Соответственно, размер S_EXT1[k] блоков B[k] данных для воспроизведения базового вида должен удовлетворять выражению 1. С другой стороны, чтобы уменьшать емкость RB1 первого буфера 4121 считывания в максимально возможной степени, размер S_EXT1[k] блоков B[k] данных для воспроизведения базового вида должен быть равным или меньшим нижнего предела минимального размера экстента для двумерных экстентов. Другими словами, размер S_EXT1[k] должен быть равным или меньшим максимального размера экстента, выражаемого в правой стороне выражения 5.

(5)

В этом выражении, время T_{JUMP-2D_MIN} перехода - это минимальное значение времени перехода, необходимого в каждом блоке 1901-1903 экстентов, т.е. минимальное значение максимального времени T_{JUMP_MAX} перехода между двумерными экстентами. В частности, время T_{JUMP-2D_MIN} перехода задается равным минимальному значению 250 мс, указываемому в таблице на фиг.100. Между тем, расстояние между двумерными экстентами равно размеру S_EXT2[k] блока D[k] данных для воспроизведения зависимого вида. Соответственно, когда время T_{JUMP-2D_MIN} перехода задается равным 250 мс, размер S_EXT2[k] блока D[k] данных для воспроизведения зависимого вида ограничен максимальным расстоянием S_{JUMP_MAX} перехода = 10000 секторов или менее согласно максимальному времени T_{JUMP_MAX} перехода = 250 мс в таблице на фиг.100. Другими словами, максимальный размер экстента блоков данных для воспроизведения зависимого вида составляет 10000 секторов.

Заключение

Чтобы плавно воспроизводить и двумерные и трехмерные видеоизображения от множества блоков экстентов, всех из вышеуказанных условий [1]-[6] должны удовлетворяться. В частности, размеры блоков данных и блоков экстентов должны удовлетворять следующим условиям 1-5.

Условие 1: Размер S_EXT2D двумерного экстента должен удовлетворять выражению 1.

Условие 2: Размер S_EXT1 блока данных для воспроизведения базового вида должен удовлетворять выражению 2.

Условие 3: Размер S_EXT2 блок данных для воспроизведения зависимого вида должен удовлетворять выражению 3.

Условие 4: Размер S_EXTSS блока экстентов должен удовлетворять выражению 4.

Условие 5: Размер S_EXT1 блока данных для воспроизведения базового вида должен удовлетворять выражению 5.

Модификации в условие 1

Как очевидно из пути 2101 воспроизведения в режиме двумерного воспроизведения, показанном на фиг.21, переходы часто осуществляются в режиме двумерного воспроизведения. Соответственно, чтобы дополнительно обеспечивать плавное воспроизведение, предпочтительно дополнительно добавлять допустимый запас к минимальному размеру экстента для двумерных экстентов, представленному посредством правой стороны выражения 1. Тем не менее, добавление этого допустимого запаса не должно изменять выражение 5. Ниже приводятся три способа для добавления такого допустимого запаса.

Первый способ добавляет допустимый запас к минимальному размеру экстента для двумерного экстента посредством замены средней скорости R_EXT2D передачи, включенной в знаменатель правой стороны выражения 1, на максимальное значение R_MAX. Другими словами, условие 1 изменяется так, что размер S_EXT2D двумерного экстента удовлетворяет выражению 6 вместо выражения 1.

(6)

Второй способ добавляет допустимый запас к минимальному размеру экстента для двумерного экстента посредством продления ATC-времени экстента для двумерного экстента на ΔT секунд. Другими словами, условие 1 изменяется так, что размер S_EXT2D двумерного экстента удовлетворяет выражению 7A или 7B вместо выражения 1.

(7A) (7B)

Расширенное время ΔT может быть определено посредством длины GOP или посредством верхнего предела числа экстентов, которые могут воспроизводиться в течение предварительно определенного времени. Например, если длина GOP составляет одну секунду, ΔT задается равным 1,0 секунды. С другой стороны, если верхний предел числа экстентов, которые могут воспроизводиться в течение предварительно определенного времени с секундах, составляет n, то ΔT задается равным предварительно определенному времени/n.

Третий способ добавляет допустимый запас к минимальному размеру экстента для двумерного экстента посредством замены средней скорости R_EXT2D передачи, включенной в правую сторону выражения 1, на максимальное значение R_MAX. Другими словами, условие 1 изменяется так, что размер S_EXT2D двумерного экстента удовлетворяет выражению 8 вместо выражения 1.

В этом способе еще больший допустимый запас может добавляться к минимальному размеру экстента. В отличие от этого, тем не менее, даже когда скорость передачи битов двумерного экстента является низкой, размер должен поддерживаться достаточно большим. Соответственно, необходимо сравнивать размер допустимого запаса с эффективностью записи данных на BD-ROM-диске.

Разделение пути воспроизведения до и после межслойной границы

На фиг.21 путь 2101 воспроизведения в режиме двумерного воспроизведения и пути 2102 воспроизведения в режиме трехмерного воспроизведения пересекают один блок B[3] данных для воспроизведения базового вида непосредственно перед длинным переходом J_LY, который перескакивает через межслойную границу LB. Другими словами, этот блок B[3] данных для воспроизведения базового вида считывается как второй двумерный экстент EXT2D[1] посредством устройства 102 воспроизведения в режиме двумерного воспроизведения и как последний блок данных в экстенте SS EXTSS[1] посредством устройства 102 воспроизведения в режиме трехмерного воспроизведения. Объем данных, которые должны обрабатываться посредством декодера системных целевых объектов во время длинного перехода J_LY гарантируется посредством размера блока B[3] данных для воспроизведения базового вида через условие 1 в режиме двумерного воспроизведения. С другой стороны, в режиме трехмерного воспроизведения объем данных гарантируется посредством размера всего второго блока 1902 экстентов через условие 4. Соответственно, минимальный размер экстента блока B[3] данных для воспроизведения базового вида, как требуется посредством условия 1, в общем, превышает минимальный размер экстента согласно условию 2. Следовательно, емкость первого буфера 4121 считывания должна превышать минимальное значение, необходимое для плавного воспроизведения в режиме трехмерного воспроизведения. Кроме того, ATC-времена экстента являются идентичными для блока B[3] данных для воспроизведения базового вида и непосредственно предшествующего блока D[3] данных для воспроизведения зависимого вида. Соответственно, размер блока D[3] данных для воспроизведения зависимого вида, в общем, превышает минимальный размер экстента, требуемый для блока D[3] данных согласно условию 2. Следовательно, емкость второго буфера 4122 считывания, в общем, превышает минимальное значение, необходимое для плавного воспроизведения в режиме трехмерного воспроизведения. В компоновке, показанной на фиг.21, два блока 1902 и 1903 экстентов тем самым могут плавно соединяться, но емкость буферов 4121 и 4122 считывания должна поддерживаться достаточно большой.

Чтобы уменьшать емкость буферов 4121 и 4122 считывания при одновременном предоставлении возможности плавного воспроизведения видеоизображений во время длинного перехода J_LY, изменения могут быть произведены в перемеженной компоновке блоков данных до или после позиции, в которой длинный переход J_LY является необходимым, такой как межслойная граница LB, чтобы создавать отдельные пути воспроизведения в режиме двумерного воспроизведения и режиме трехмерного воспроизведения. Эти изменения представляются, например, посредством следующих двух типов компоновок 1 и 2. При любой из компоновок 1 и 2 путь воспроизведения непосредственно перед длинным переходом J_LY пересекает различные блоки данных для воспроизведения базового вида в каждом рабочем режиме. Как описано ниже, это предоставляет возможность устройству 102 воспроизведения легко выполнять плавное воспроизведение видеоизображений во время длинного перехода J_LY при одновременном сохранении минимально необходимой емкости буферов 4121 и 4122 считывания.

Компоновка 1

Фиг.105 является схематичным представлением, показывающим первый пример физической компоновки группы блоков данных, записанной до или после межслойной границы LB на BD-ROM-диске 101. В дальнейшем в этом документе эта компоновка упоминается как "компоновка 1". Как показано на фиг.105, первый блок 8901 экстентов записывается перед межслойной границей LB, а второй блок 8902 экстентов записывается после межслойной границы LB. В блоках 8901 и 8902 экстентов, блоки D[n] данных для воспроизведения зависимого вида и блоки B[n] данных для воспроизведения базового вида формируют перемеженную компоновку (n=…, 0, 1, 2, 3, …). В частности, ATC-времена экстента являются идентичными для n-ной пары блоков D[n] и B[n] данных. В компоновке 1 один блок B[2]_2D данных для воспроизведения базового вида дополнительно размещается между концом B[1] первого блока 8901 экстентов и межслойной границей LB. Этот блок B[2]_2D данных для воспроизведения базового вида совпадает с точностью до бита с блоком B[2]_SS данных для воспроизведения базового вида в начале второго блока 8902 экстентов. В дальнейшем в этом документе B[2]_2D упоминается как "блок исключительно для двумерного воспроизведения", а B[2]_SS упоминается как "блок исключительно для SS-воспроизведения".

К блокам данных для воспроизведения базового вида, показанным на фиг.105, может осуществляться доступ как к экстентам в файле 2D 8910, т.е. как к двумерным экстентам EXT2D[·], за исключением блока исключительно для SS-воспроизведения B[2]_SS. Например, к блоку B[0] данных для воспроизведения базового вида, второму от конца первого блока 8901 экстентов, паре B[1]+B[2]_2D последнего блока B[1] данных для воспроизведения базового вида и блока исключительно для двумерного воспроизведения B[2]_2D и второму блоку B[3] данных для воспроизведения базового вида во втором блоке 8902 экстентов может, соответственно, осуществляться доступ как к отдельным двумерным экстентам EXT2D[0], EXT2D[1] и EXT2D[2]. С другой стороны, к каждому из блоков D[n] данных для воспроизведения зависимого вида (n=…, 0, 1, 2, 3, …), показанных на фиг.105, может осуществляться доступ как к одному экстенту в файле DEP 8912, т.е. как к экстентам EXT2[n] для воспроизведения зависимого вида.

Для групп блоков данных, показанных на фиг.105, перекрестное связывание файлов AV-потока выполняется следующим образом. Ко всем блокам 8901 и 8902 экстентов может, соответственно, осуществляться доступ как к одному экстенту EXTSS[0] и EXTSS[1] в файле SS 8920. Соответственно, блоки B[0], B[1] и B[3] данных для воспроизведения базового вида в блоках 8901 и 8902 экстентов совместно используются посредством файла 2D 8910 и файла SS 8920. С другой стороны, к блоку исключительно для двумерного воспроизведения B[2]_2D доступ может осуществляться только как к части двумерного экстента EXT2D[1], расположенного непосредственно перед межслойной границей LB. С другой стороны, к блоку исключительно для SS-воспроизведения B[2]_SS доступ может осуществляться только как к части экстента SS EXTSS[1], расположенного непосредственно после межслойной границы LB. Следовательно, блоки данных для воспроизведения базового вида, отличные от блока исключительно для двумерного воспроизведения B[2]_2D, т.е. B[0], B[1], B[2]_SS и B[3], могут извлекаться из экстентов SS EXTSS[0], EXTSS[1] как экстенты в файле base 8911, т.е. экстенты EXT1[n] для воспроизведения базового вида (n=0, 1, 2, 3).

Фиг.106 является схематичным представлением, показывающим путь 9010 воспроизведения в режиме двумерного воспроизведения и путь 9020 воспроизведения в режиме трехмерного воспроизведения для группы блоков данных в компоновке 1, показанной на фиг.105.

Устройство 102 воспроизведения в режиме двумерного воспроизведения воспроизводит файл 2D 8910. Соответственно, как показано посредством пути 9010 воспроизведения в режиме двумерного воспроизведения, блок B[0] данных для воспроизведения базового вида, второй от конца первого блока 8901 экстентов, считывается как первый двумерный экстент EXT2D[0], и затем считывание непосредственно последующего блока D[1] данных для воспроизведения зависимого вида пропускается посредством перехода J_2D1. Затем пара B[1]+B[2]_2D из последнего блока B[1] данных для воспроизведения базового вида в первом блоке 8901 экстентов и непосредственно последующего блока исключительно для двумерного воспроизведения B[2]_2D считывается непрерывно как второй двумерный экстент EXT2D[1]. Длинный переход J_LY осуществляется в непосредственно последующей межслойной границе LB, и считывание трех блоков D[2], B[2]_SS и D[3] данных, расположенных в начале второго блока 8902 экстентов, пропускается. Затем второй блок B[3] данных для воспроизведения базового вида во втором блоке 8902 экстентов считывается как третий двумерный экстент EXT2D[2].

Устройство 102 воспроизведения в режиме трехмерного воспроизведения воспроизводит файл SS 8920. Соответственно, как показано посредством пути 9020 воспроизведения в режиме трехмерного воспроизведения, весь первый блок 8901 экстентов непрерывно считывается как первый экстент SS EXTSS[0]. Непосредственно после этого длинный переход J_LY осуществляется, и считывание блока исключительно для двумерного воспроизведения B[2]_2D пропускается. Затем весь второй блок 8902 экстентов считывается непрерывно как второй экстент SS EXTSS[1].

Как показано на фиг.106, в режиме двумерного воспроизведения блок исключительно для двумерного воспроизведения B[2]_2D считывается, при этом считывание блока исключительно для SS-воспроизведения B[2]_SS пропускается. В отличие от этого в режиме трехмерного воспроизведения считывание блока исключительно для двумерного воспроизведения B[2]_2D пропускается, при этом блок исключительно для SS-воспроизведения B[2]_SS считывается. Тем не менее, поскольку блоки B[2]_2D и B[2]_SS данных совпадают с точностью до бита, видеокадры для воспроизведения базового вида, которые воспроизводятся, являются идентичными в обоих режимах воспроизведения. В компоновке 1 путь 9010 воспроизведения в режиме двумерного воспроизведения и путь 9020 воспроизведения в режиме трехмерного воспроизведения разделяются до и после длинного перехода J_LY таким образом. Соответственно, в отличие от компоновки, показанной на фиг.21, размер S_EXT2D[1] двумерного экстента EXT2D[1], расположенного непосредственно перед межслойной границей LB, и размер S_EXT2[1] непосредственно предшествующего блока D[1] данных для воспроизведения зависимого вида может быть определен отдельно следующим образом.

Размер S_EXT2D[1] двумерного экстента EXT2D[1] равен S_EXT1[1]+S_2D, сумме размера S_EXT1[1] блока B[1] данных для воспроизведения базового вида и размера S_2D блока исключительно для двумерного воспроизведения B[2]_2D. Соответственно, для плавного воспроизведения двумерных видеоизображений, эта сумма S_EXT1[1]+S_2D должна удовлетворять выражению 1. Максимальное время T_{JUMP_MAX} перехода для длинного перехода J_LY подставляется в правую сторону выражения 1 как время T_JUMP-2D перехода. Затем число секторов от конца блока исключительно для двумерного воспроизведения B[2]_2D до первого двумерного экстента EXT2D[2]=B[3] во втором блоке 8902 экстентов должно быть равным или меньшим максимального расстояния S_{JUMP_MAX} перехода для длинного перехода J_LY, указываемого в соответствии с характеристиками устройства двумерного воспроизведения.

С другой стороны, для плавного воспроизведения трехмерных видеоизображений, размеры S_EXT2[1] и S_EXT1[1] блока D[1] данных для воспроизведения зависимого вида и блока B[1] данных для воспроизведения базового вида, расположенных в конце первого экстента SS EXTSS[0], должны удовлетворять выражениям 3 и 2. Независимо от осуществления длинного перехода J_LY типичное значение для времени перехода через нуль секторов должно подставляться в правую сторону выражений 3 и 2 как времена T_JUMP0[2n+1] и T_JUMP0[2n+2] перехода через нуль секторов. Затем размер первого экстента SS EXTSS[0] должен удовлетворять условию 4. Кроме того, число секторов от конца этого экстента SS EXTSS[0] до начала экстента SS EXTSS[1] должно быть равным или меньшим максимального расстояния S_{JUMP_MAX} перехода для длинного перехода J_LY, указываемого в соответствии с характеристиками устройства трехмерного воспроизведения.

В рамках двумерного экстента EXT2D[1], расположенного непосредственно перед межслойной границей LB, только блок B[1] данных для воспроизведения базового вида, расположенный перед двумерным экстентом EXT2D[1], совместно используется с первым экстентом SS EXTSS[0]. Соответственно, посредством надлежащего увеличения размера S_2D блока исключительно для двумерного воспроизведения B[2]_2D, размер S_EXT1[1] блока B[1] данных для воспроизведения базового вида дополнительно может быть ограничен при сохранении размера S_EXT2D[1]=S_EXT1[1]+S_2D двумерного экстента EXT2D[1] постоянным. В этом случае ATC-время экстента блока B[1] данных для воспроизведения базового вида сокращается. Как результат, размер S_EXT2[1] блока D[1] данных для воспроизведения зависимого вида, расположенного непосредственно впереди, также дополнительно может быть ограничен.

Поскольку блок исключительно для SS-воспроизведения B[2]_SS и блока исключительно для двумерного воспроизведения B[2]_2D совпадают с точностью до бита, увеличение размера S_2D блока исключительно для двумерного воспроизведения B[2]_2D увеличивает размер блока D[2] данных для воспроизведения зависимого вида, расположенного непосредственно перед блоком исключительно для SS-воспроизведения B[2]_SS. Тем не менее, этот размер может быть задан существенно меньшим размера блока D[3] данных для воспроизведения зависимого вида, расположенного непосредственно перед межслойной границей LB, показанной на фиг.21. Емкость буферов 4121 и 4122 считывания тем самым может быть еще приближена к минимальному объему, необходимому для плавного воспроизведения трехмерных видеоизображений. Таким образом, можно задавать каждый блок данных в компоновке 1 равным размеру, при котором плавное воспроизведение двумерных и трехмерных изображений во время длинного перехода возможно при сохранении емкости буфера считывания, которая должна быть гарантирована в устройстве 102 воспроизведения, на минимально необходимом уровне.

В компоновке 1, дублированные данные блока исключительно для двумерного воспроизведения B[2]_2D размещаются во втором блоке 5202 экстентов как один блок исключительно для SS-воспроизведения B[2]_SS. Альтернативно, эти дублированные данные могут разделяться на два или более блоков исключительно для SS-воспроизведения.

Компоновка 2

Фиг.107 является схематичным представлением, показывающим второй пример физической компоновки группы блоков данных, записанной до или после межслойной границы LB на BD-ROM-диске 101. В дальнейшем в этом документе эта компоновка упоминается как "компоновка 2". Как показано посредством сравнения фиг.107 с фиг.105, компоновка 2 отличается от компоновки 1 тем, что блок 9102 экстентов, который включает в себя блоки исключительно для SS-воспроизведения B[2]_SS и B[3]_SS, находится непосредственно перед межслойной границей LB.

Как показано на фиг.107, первый блок 9101 экстентов, блок исключительно для двумерного воспроизведения (B[2]+B[3])_2D и второй блок 9102 экстентов находятся до межслойной границы LB в этом порядке, а третий блок 9103 экстентов находится после межслойной границы LB. В блоках 9101-9103 экстентов, блоки D[n] данных для воспроизведения зависимого вида и блоки B[n] данных для воспроизведения базового вида формируют перемеженную компоновку (n=…, 0, 1, 2, 3, 4, …). В частности, ATC-времена экстента являются идентичными для n-ной пары блоков D[n] и B[n] данных. Во втором блоке 9102 экстентов, потоковые данные являются непрерывными с блоками D[1] и B[1] данных, расположенными в конце первого блока 9101 экстентов, и блоками D[4] и B[4] данных, расположенными в начале третьего блока 9103 экстентов. Блоки данных для воспроизведения базового вида, включенные во второй блок 9102 экстентов, являются блоками исключительно для SS-воспроизведения B[2]_SS и B[3]_SS, и комбинация этих блоков B[2]_SS+B[3]_SS совпадает с точностью до бита с блоком исключительно для двумерного воспроизведения (B[2]+B[3])_2D, расположенным перед вторым блоком 9102 экстентов.

В рамках блока данных для воспроизведения базового вида, показанного на фиг.107, к блокам данных, отличных от блоков исключительно для SS-воспроизведения B[2]_SS и B[3]_SS, может осуществляться доступ как к экстентам EXT2D[0], EXT2D[1] и EXT2D[2] в файле 2D 9110. В частности, к паре из последнего блока B[1] данных для воспроизведения базового вида и блока исключительно для двумерного воспроизведения (B[2]+B[3])_2D в первом блоке 9101 экстентов может осуществляться доступ как к одному двумерному экстенту EXT2D[1]. Кроме того, блоки данных для воспроизведения базового вида, не расположенные во втором блоке 9102 экстентов, т.е. блоки B[0], B[1] и B[4] данных в блоках 9101 и 9103 экстентов, также могут извлекаться как экстенты EXT1[0], EXT1[1] и EXT1[4] в файле base 9111 из экстентов EXTSS[0] и EXTSS[1] в файле SS 9120. В отличие от этого к блоку исключительно для двумерного воспроизведения (B[2]+B[3])_2D доступ может осуществляться только как к части двумерного экстента EXT2D[1]. С другой стороны, блоки исключительно для SS-воспроизведения B[2]_SS и B[3]_SS могут извлекаться из экстента SS EXTSS[1] как экстенты EXT1[2] и EXT1[3] для воспроизведения базового вида.

Фиг.108 является схематичным представлением, показывающим путь 9210 воспроизведения в режиме двумерного воспроизведения и путь 9220 воспроизведения в режиме трехмерного воспроизведения для группы блоков данных в компоновке 2, показанной на фиг.107.

Устройство 102 воспроизведения в режиме двумерного воспроизведения воспроизводит файл 2D 9110. Соответственно, как показано посредством пути 9210 воспроизведения в режиме двумерного воспроизведения, блок B[0] данных для воспроизведения базового вида, второй от конца первого блока 9101 экстентов, считывается как первый двумерный экстент EXT2D[0], и затем считывание непосредственно последующего блока D[1] данных для воспроизведения зависимого вида пропускается посредством перехода J_2D1. Затем пара из последнего блока B[1] данных для воспроизведения базового вида в первом блоке 9101 экстентов и непосредственно последующего блока исключительно для двумерного воспроизведения (B[2]+B[3])_2D непрерывно считывается как второй двумерный экстент EXT2D[1]. Длинный переход J_LY осуществляется непосредственно после этого, и считывание второго блока 9102 экстентов и блока D[4] данных для воспроизведения зависимого вида, расположенного в начале третьего блока 9103 экстентов, пропускается. Затем первый блок B[4] данных для воспроизведения базового вида в третьем блоке 9103 экстентов считывается как третий двумерный экстент EXT2D[2].

Устройство 102 воспроизведения в режиме трехмерного воспроизведения воспроизводит файл SS 9120. Соответственно, как показано посредством пути 9220 воспроизведения в режиме трехмерного воспроизведения, весь первый блок 9101 экстентов непрерывно считывается как первый экстент SS EXTSS[0]. Переход J_EX осуществляется непосредственно после этого, и считывание блока исключительно для двумерного воспроизведения (B[2]+B[3])_2D пропускается. Затем весь второй блок 9102 экстентов считывается непрерывно как второй экстент SS EXTSS[1]. Непосредственно после этого длинный переход J_LY, чтобы перескакивать через межслойную границу LB, осуществляется. Затем весь третий блок 9103 экстентов считывается непрерывно как третий экстент SS EXTSS[2].

Как показано на фиг.108, в режиме двумерного воспроизведения блок исключительно для двумерного воспроизведения (B[2]+B[3])_2D считывается, при этом считывание блоков исключительно для SS-воспроизведения B[2]_SS и B[3]_SS пропускается. В отличие от этого в режиме трехмерного воспроизведения считывание блока исключительно для двумерного воспроизведения (B[2]+B[3])_2D пропускается, при этом блоки исключительно для SS-воспроизведения B[2]_SS и B[3]_SS считываются. Тем не менее, поскольку блок исключительно для двумерного воспроизведения (B[2]+B[3])_2D совпадает со всеми блоками исключительно для SS-воспроизведения B[2]_SS+B[3]_SS с точностью до бита, видеокадры для воспроизведения базового вида, которые воспроизводятся, являются идентичными в обоих режимах воспроизведения. В компоновке 2 путь 9210 воспроизведения в режиме двумерного воспроизведения и путь 9220 воспроизведения в режиме трехмерного воспроизведения разделяются до и после длинного перехода J_LY таким образом. Соответственно, размер S_EXT2D[1] двумерного экстента EXT2D[1], расположенного непосредственно перед межслойной границей LB, и размер S_EXT2[1] непосредственно предшествующего блока D[1] данных для воспроизведения зависимого вида могут быть определены отдельно, как указано ниже.

Размер S_EXT2D[1] двумерного экстента EXT2D[1] равен S_EXT1[1]+S_2D, сумме размера S_EXT1[1] блока B[1] данных для воспроизведения базового вида и размера S_2D блока исключительно для двумерного воспроизведения (B[2]+B[3])_2D. Соответственно, для плавного воспроизведения двумерных видеоизображений, эта сумма S_EXT1[1]+S_2D должна удовлетворять выражению 1. Максимальное время T_{JUMP_MAX} перехода для длинного перехода J_LY подставляется в правую сторону выражения 1 как время T_JUMP-2D перехода. Затем число секторов от конца блока исключительно для двумерного воспроизведения (B[2]+B[3])_2D до первого двумерного экстента EXT2D[2]=B[4] в третьем блоке 9103 экстентов должно быть равным или меньшим максимального расстояния S_{JUMP_MAX} перехода для длинного перехода J_LY, указываемого в соответствии с характеристиками устройства двумерного воспроизведения.

С другой стороны, для плавного воспроизведения трехмерных видеоизображений, размеры S_EXT2[1] и S_EXT1[1] блока D[1] данных для воспроизведения зависимого вида и блока B[1] данных для воспроизведения базового вида, расположенных в конце первого экстента SS EXTSS[0] должны удовлетворять выражениям 3 и 2. Независимо от осуществления перехода J_EX типичное значение для времени перехода через нуль секторов должно подставляться в правую сторону выражений 3 и 2 как времена T_JUMP0[2n+1] и T_JUMP0[2n+2] перехода через нуль секторов. Затем размеры S_EXT2[3] и S_EXT1[3] блока D[3] данных для воспроизведения зависимого вида и блока исключительно для SS-воспроизведения B[3]_SS, расположенных в конце второго экстента SS EXTSS[1], должны удовлетворять выражениям 3 и 2. Независимо от осуществления длинного перехода J_LY типичное значение для времени перехода через нуль секторов должно подставляться в правую сторону выражений 3 и 2 как времена T_JUMP0[2n+1] и T_JUMP0[2n+2] перехода через нуль секторов.

Только блок B[1] данных для воспроизведения базового вида, расположенный перед двумерным экстентом EXT2D[1], совместно используется с экстентом SS EXTSS[1]. Соответственно, посредством надлежащего увеличения размера S_2D блока исключительно для двумерного воспроизведения (B[2]+B[3])_2D, размер S_EXT1[1] блока B[1] данных для воспроизведения базового вида дополнительно может быть ограничен при сохранении размера S_EXT2D[1]=S_EXT1[1]+S_2D двумерного экстента EXT2D[1] постоянным. Как результат, размер S_EXT2[1] блока D[1] данных для воспроизведения зависимого вида, расположенного непосредственно впереди, также дополнительно может быть ограничен.

Блоки исключительно для SS-воспроизведения B[2]_SS+B[3]_SS полностью совпадают с блоком исключительно для двумерного воспроизведения (B[2]+B[3])_2D с точностью до бита. Соответственно, увеличение размера S_2D блока исключительно для двумерного воспроизведения (B[2]+B[3])_2D увеличивает размеры блоков D[2] и D[3] данных для воспроизведения зависимого вида, соответственно, расположенных непосредственно перед блоками исключительно для SS-воспроизведения B[2]_SS и B[3]_SS. Тем не менее, предусмотрено два блока исключительно для SS-воспроизведения B[2]_SS и B[3]_SS по сравнению с одним блоком исключительно для двумерного воспроизведения (B[2]+B[3])_2D. Как результат, размеры каждого из блоков исключительно для SS-воспроизведения B[2]_SS и B[3]_SS могут быть заданы достаточно небольшими. Емкость буферов 4121 и 4122 считывания тем самым может дополнительно уменьшаться до минимального объема, необходимого для плавного воспроизведения трехмерных видеоизображений. Таким образом, можно задавать каждый блок данных в компоновке 2 равным размеру, при котором плавное воспроизведение двумерных и трехмерных изображений возможно при сохранении емкости буфера считывания, которая должна быть гарантирована в устройстве 102 воспроизведения, на минимально необходимом уровне.

В компоновке 2 дублированные данные блока исключительно для двумерного воспроизведения (B[2]+B[3])_2D разделяются на два блока исключительно для SS-воспроизведения B[2]_SS и B[3]_SS. Альтернативно, дублированные данные могут быть одним блоком исключительно для SS-воспроизведения или могут разделяться на три или более блоков исключительно для SS-воспроизведения.

Флаг пары экстентов

Фиг.109 является схематичным представлением, показывающим точки 9310 и 9320 входа, заданные для экстентов EXT1[k], и EXT2[k] (буква k представляет целое число, превышающее или равное 0) в файле base 9301 и файле DEP 9302. Точка 9310 входа в файле base 9301 задается посредством карты вхождений в файле информации о двумерных клипах, а точка 9320 входа в файле DEP 9302 задается посредством карты вхождений в файле информации о клипах для воспроизведения зависимого вида. Каждая точка 9310 и 9320 входа, в частности, включает в себя флаг пары экстентов. Когда точка входа в файле base 9301 и точка входа в файле DEP 9302 указывают идентичную PTS, "флаг пары экстентов" указывает то, располагаются или нет экстенты, в которых эти точки входа задаются, EXT1[i] и EXT2[j], в одном порядке с начала файлов 9301 и 9302 (i=j или i≠j). Как показано на фиг.109, PTS первой точки 9330 входа, заданная в (n+1)-вом (буква n представляет целое число, превышающее или равное 1) экстенте EXT1[n] для воспроизведения базового вида, равна PTS последней точки 9340 входа, заданной в (n-1)-вом экстенте EXT2[n-1] для воспроизведения зависимого вида. Соответственно, значение флага пары экстентов для точек 9330 и 9340 входа задается равным "0". Аналогично, PTS последней точки 9331 входа, заданная в (n+1)-вом экстенте EXT1[n] для воспроизведения базового вида, равна PTS первой точки 9341 входа, заданной в (n+1)-вом экстенте EXT2[n+1] для воспроизведения зависимого вида. Соответственно, значение флага пары экстентов для точек 9331 и 9341 входа задается равным "0". Для других точек 9310 и 9320 входа, когда PTS являются одинаковыми, порядок экстентов EXT1[·] и EXT2[·], в котором задаются эти точки, также является одинаковым, и тем самым значение флага пары экстентов задается равным "1".

Когда устройство 102 воспроизведения в режиме трехмерного воспроизведения начинает воспроизведение с прерываниями, оно обращается к флагу пары экстентов в точке входа позиции начала воспроизведения. Когда значение флага равно "1", воспроизведение фактически начинается с этой точки входа. Когда значение равно "0", устройство 102 воспроизведения выполняет поиск, до или после этой точки входа, другой точки входа, которая имеет флаг пары экстентов со значением "1". Воспроизведение начинается с этой другой точки входа. Это обеспечивает то, что n-ный экстент EXT2[n] для воспроизведения зависимого вида считывается перед n-ным экстентом EXT1[n] для воспроизведения базового вида. Как результат, может упрощаться воспроизведение с прерываниями.

Время представления, соответствующее расстоянию между точками входа, имеющими флаг пары экстентов=0, может быть ограничено, чтобы не превышать постоянное число секунд. Например, время может быть ограничено, чтобы быть меньшим или равным значению, в два раза превышающей максимальное значение времени представления для одной GOP. В начале воспроизведения с прерываниями это может сокращать время ожидания, пока воспроизведение не начинается, которое вызывается посредством поиска точки входа, имеющей флаг пары экстентов = 1. Альтернативно, значение флага пары экстентов для точки входа следующей точки входа с флагом пары экстентов = 0 может быть ограничено значением "1". Флаг переключения ракурса также может использоваться в качестве замены флага пары экстентов. "Флаг переключения ракурса" - это флаг, подготавливаемый в рамках карты вхождений для содержимого, которое поддерживает многоракурсный режим. Флаг переключения ракурса указывает позицию переключения ракурса в рамках мультиплексированных потоковых данных (см. ниже для описания многоракурсного режима).

Совпадающие периоды воспроизведения между блоками данных

Для пар блоков данных с равными ATC-временами экстента период воспроизведения также может совпадать, и время воспроизведения видеопотока может быть равным. Другими словами, число VAU может быть равным между этими блоками данных. Значимость такого равенства поясняется ниже.

Фиг.110A является схематичным представлением, показывающим путь воспроизведения, когда ATC-времена экстента и времена воспроизведения видеопотока отличаются между смежными блоками данных для воспроизведения базового вида и блоками данных для воспроизведения зависимого вида. Как показано на фиг.18, время воспроизведения первого блока B[0] данных для воспроизведения базового вида составляет четыре секунды, а время воспроизведения первого блока D[0] данных для воспроизведения зависимого вида составляет одну секунду. В этом случае секция видеопотока для воспроизведения базового вида, которая необходима для декодирования блока D[0] данных для воспроизведения зависимого вида, имеет время воспроизведения, идентичное блоку D[0] данных для воспроизведения зависимого вида. Соответственно, чтобы экономить емкость буфера считывания в устройстве 102 воспроизведения, предпочтительно, как показано посредством стрелки ARW1 на фиг.18A, инструктировать устройству воспроизведения поочередно считывать блок B[0] данных для воспроизведения базового вида и блок D[0] данных для воспроизведения зависимого вида с одинаковым количеством времени воспроизведения, например, по одной секунде за раз. В этом случае, тем не менее, как показано посредством пунктирных линий на фиг.110A, переходы осуществляются во время обработки считывания. Как результат, трудно инструктировать обработке считывания не отставать от обработки декодирования, и тем самым трудно устойчиво поддерживать плавное воспроизведение.

Фиг.110B является схематичным представлением, показывающим путь воспроизведения, когда времена воспроизведения видеопотока равны для смежных блоков данных для воспроизведения базового вида и зависимого вида. Как показано на фиг.110B, время воспроизведения видеопотока между парой смежных блоков данных может быть идентичным. Например, для пары B[0] и D[0] первых блоков данных, времена воспроизведения видеопотока равны одной секунде, а времена воспроизведения видеопотока для второй пары B[1] и D[1] блоков данных равны 0,7 секунде. В этом случае во время режима трехмерного воспроизведения устройство воспроизведения считывает блоки B[0], D[0], B[1], D[1], … данных по порядку с начала, как показано посредством стрелки ARW2 на фиг.110B. Посредством простого считывания этих блоков данных по порядку устройство воспроизведения может плавно считывать основной TS и суб-TS поочередно с одинаковыми приращениями во время воспроизведения. В частности, поскольку переход не осуществляется во время обработки считывания, плавное воспроизведение трехмерных видеоизображений может устойчиво поддерживаться.

Если ATC-время экстента фактически является идентичным для смежных блоков данных для воспроизведения базового вида и зависимого вида, переходы не осуществляются во время считывания, и синхронное декодирование может поддерживаться. Соответственно, даже если период воспроизведения или время воспроизведения видеопотока не равны, устройство воспроизведения может надежно поддерживать плавное воспроизведение трехмерных видеоизображений просто посредством считывания групп блоков данных по порядку с начала, как в случае, показанном на фиг.110B.

Число любого из заголовков в VAU и число PES-заголовков может быть равным для смежных блоков данных для воспроизведения базового вида и зависимого вида. Эти заголовки используются для того, чтобы синхронизировать декодирование между блоками данных. Соответственно, если число заголовков является одинаковым между блоками данных, относительно просто поддерживать синхронное декодирование, даже если число VAU не является одинаковым. Кроме того, в отличие от этого, когда число VAU является одинаковым, все данные в VAU не обязательно должны мультиплексироваться в одном блоке данных. Следовательно, предусмотрена высокая степень свободы для мультиплексирования потоковых данных во время процесса авторской разработки BD-ROM-диска 101.

Число точек входа может быть равным для смежных блоков данных для воспроизведения базового вида и зависимого вида. Снова ссылаясь на фиг.109, в файле base 9301 и файле DEP 9302, экстенты EXT1[n] и EXT2[n], расположенные в одном порядке с начала, имеют идентичное число точек 9310 и 9320 входа после исключения точек 9330, 9340, 9331, 9341 входа с флагом пары экстентов = 0. То, присутствуют или нет переходы, различается между режимом двумерного воспроизведения и режимом трехмерного воспроизведения. Когда число точек входа является одинаковым между блоками данных, тем не менее, время воспроизведения является практически одинаковым. Соответственно, просто поддерживать синхронное декодирование независимо от переходов. Кроме того, в отличие от этого, когда число VAU является одинаковым, все данные в VAU не обязательно должны мультиплексироваться в одном блоке данных. Следовательно, предусмотрена высокая степень свободы для мультиплексирования потоковых данных во время процесса авторской разработки BD-ROM-диска 101.

Многоракурсный режим

Фиг.111A является схематичным представлением, показывающим путь воспроизведения для мультиплексированных потоковых данных, поддерживающих многоракурсный режим. Как показано на фиг.111A, три типа фрагментов потоковых данных L, R и D, соответственно, для базового вида, вида для просмотра правым глазом и карты глубины мультиплексируются в мультиплексированных потоковых данных. Например, в L/R-режиме фрагменты для просмотра правым глазом и для воспроизведения базового вида потоковых данных L и R воспроизводятся параллельно. Кроме того, фрагменты потоковых данных Ak, Bk и Ck (k=0, 1, 2, …, n) для различных ракурсов (углов обзора) мультиплексируются в секции, воспроизводимой в течение периода P_ANG многоракурсного воспроизведения. Потоковые данные Ak, Bk и Ck для различных ракурсов разделяются на секции, для которых время воспроизведения равно интервалу изменения ракурса. Кроме того, потоковые данные для базового вида, вида для просмотра правым глазом и карты глубины мультиплексируются в каждом из фрагментов данных Ak, Bk и Ck. В течение периода P_ANG многоракурсного воспроизведения воспроизведение может переключаться между фрагментами потоковых данных Ak, Bk и Ck для различных ракурсов в ответ на пользовательскую операцию или инструкцию прикладной программой.

Фиг.111B является схематичным представлением, показывающим группу 9501 блоков данных, записанную на BD-ROM-диске, и соответствующий путь 9502 воспроизведения в L/R-режиме. Эта группа 9501 блоков данных включает в себя фрагменты потоковых данных L, R, D, Ak, Bk и Ck, показанных на фиг.111A. Как показано на фиг.111B, в группе 9501 блоков данных, в дополнение к обычным фрагментам потоковых данных L, R и D, фрагменты потоковых данных Ak, Bk и Ck для различных ракурсов записываются в перемеженной компоновке. В L/R-режиме, как показано в пути 9502 воспроизведения, блоки R и L для просмотра правым глазом и для воспроизведения базового вида считываются, а считывание блоков D данных карты глубины пропускается посредством переходов. Кроме того, из фрагментов потоковых данных Ak, Bk и Ck для различных ракурсов, блоки данных для выбранных ракурсов A0, B1, …, Cn считываются, а считывание других блоков данных пропускается посредством переходов.

Фиг.111C является схематичным представлением, показывающим блок экстентов, сформированный посредством потоковых данных Ak, Bk и Ck для различных ракурсов. Как показано на фиг.111C, фрагменты потоковых данных Ak, Bk и Ck для каждого ракурса состоят из трех типов блоков L, R и D данных, записанных в перемеженной компоновке. В L/R-режиме, как показано посредством пути 9502 воспроизведения, из фрагментов потоковых данных Ak, Bk и Ck для различных ракурсов, блоки R и L для просмотра правым глазом и для воспроизведения базового вида считываются для выбранных ракурсов A0, B1, …, Cn. В отличие от этого считывание других блоков данных пропускается посредством переходов.

Следует отметить, что во фрагментах потоковых данных Ak, Bk и Ck для каждого ракурса, потоковые данные для базового вида, вида для просмотра правым глазом и карты глубины могут сохраняться как один фрагмент мультиплексированных потоковых данных. Тем не менее, скорость записи должна быть ограничена диапазоном системной скорости, для которой воспроизведение возможно в устройстве двумерного воспроизведения. Кроме того, число фрагментов потоковых данных (TS), которое должно быть передано в декодер системных целевых объектов, отличается между такими фрагментами мультиплексированных потоковых данных и мультиплексированных потоковых данных для других трехмерных видеоизображений. Соответственно, каждый PI в файле списков для трехмерного воспроизведения может включать в себя флаг, указывающий номер TS, который должен воспроизводиться. Посредством обращения к этому флагу устройство трехмерного воспроизведения может переключаться между этими фрагментами мультиплексированных потоковых данных в рамках одного файла списков для трехмерного воспроизведения. В PI, который указывает два TS для воспроизведения в режиме трехмерного воспроизведения, этот флаг указывает 2TS. С другой стороны, в PI, который указывает один TS для воспроизведения, к примеру, вышеуказанные фрагменты мультиплексированных потоковых данных, флаг указывает 1TS. Устройство трехмерного воспроизведения может переключать настройку декодера системных целевых объектов в соответствии со значением флага. Кроме того, этот флаг может выражаться посредством значения условия соединения (CC). Например, CC "7" указывает переход от 2TS к 1TS, тогда как CC "8" указывает переход от 1TS к 2TS.

Фиг.112 является схематичным представлением, показывающим (i) группу 9601 блоков данных, составляющих период многоракурсного режима, и (ii) путь 9610 воспроизведения в режиме двумерного воспроизведения и путь 9620 воспроизведения в L/R-режиме, которые соответствуют группе 9601 блоков данных. Как показано на фиг.112, эта группа 9601 блоков данных формируется посредством трех типов секций ANG1 #k, ANG2 #k и ANG3 #k смены ракурса (k=1, 2, …, 6, 7) в перемеженной компоновке. "Секция смены ракурса" является группой последовательных блоков данных, в которой сохранены потоковые данные для видеоизображений, видимых с одного ракурса. Ракурс видеоизображений отличается между различными типами секций смены ракурса. K-тые секции каждого типа секции ANG1 #k, ANG2 #k и ANG3 #k смены ракурса являются смежными. Каждая секция ANGm #k смены ракурса (m=1, 2, 3) формируется посредством одного блока экстентов, т.е. к ней обращаются как одному экстенту SS EXTSS[k] (k=10, 11, …, 23). Емкость буфера считывания тем самым может уменьшаться по сравнению с тем, когда множество секций смены ракурса формирует один экстент SS EXTSS[k]. Кроме того, каждый блок экстентов включает в себя один блок R данных для воспроизведения зависимого вида и один блок L данных для воспроизведения базового вида. Эта пара блоков R и L данных упоминается как пара n-ного из экстента EXT2[n] для воспроизведения зависимого вида, и n-ного экстента EXT1[n] для воспроизведения базового вида (буква n представляет целое число, превышающее или равное 0).

Размер каждого блока экстентов удовлетворяет условиям 1-4. В частности, переходом, который должен учитываться в условии 1, является переход J_ANG-2D, чтобы пропускать считывание других секций смены ракурса, как показано посредством пути 9610 воспроизведения в режиме двумерного воспроизведения. С другой стороны, переходом, который должен учитываться в условии 4, является переход J_ANG-LR, чтобы пропускать считывание других секций смены ракурса, как показано посредством пути 9620 воспроизведения в L/R-режиме. Как показано посредством путей 9610 и 9620 воспроизведения, оба этих перехода J_ANG-2D и J_ANG-LR, в общем, включают в себя переключатель ракурса, т.е. переключатель между типом секции смены ракурса, которая должна считываться.

Дополнительно ссылаясь на фиг.112, каждая секция смены ракурса включает в себя один блок L данных для воспроизведения базового вида. Соответственно, ATC-время экстента для экстента EXT1[·] для воспроизведения базового вида ограничено тем, чтобы не превышать максимальное значение T_ANG длины секции смены ракурса. Например, чтобы давать возможность переключать ракурсы на скорости один раз каждые две секунды времени представления, максимальное значение T_ANG длины секции смены ракурса должно быть ограничено двумя секундами. Как результат, ATC-время экстента для экстента для воспроизведения базового вида EXT1[·] ограничено двумя секундами или менее. Следовательно, условие 5 изменяется так, что размер S_EXT1 экстента для воспроизведения базового вида удовлетворяет выражению 9 вместо выражения 5.

Распространение данных через передачу в широковещательном режиме или схему связи

Носителем записи согласно вариантам осуществления настоящего изобретения может быть, в дополнение к оптическому диску, общий съемный носитель, доступный как коробочный носитель, такой как портативное полупроводниковое запоминающее устройство, включающее в себя карту памяти SD. Кроме того, вышеуказанные варианты осуществления описывают пример оптического диска, на который данные записаны заранее, а именно, общедоступного неперезаписываемого оптического диска, такого как BD-ROM или ROM DVD. Тем не менее, варианты осуществления настоящего изобретения не ограничены таким образом. Например, когда терминал записывает трехмерное видеосодержимое, которое распространено через передачу в широковещательном режиме или сеть, на общедоступный перезаписываемый оптический диск, такой как BD-RE и DVD-RAM, компоновка экстентов согласно варианту осуществления 1 может использоваться. Терминал может быть включен в устройство воспроизведения или может быть устройством, отличным от устройства воспроизведения.

Воспроизведение полупроводниковой карты памяти

Далее описывается модуль считывания данных устройства воспроизведения в случае, если полупроводниковая карта памяти используется в качестве носителя записи согласно вариантам осуществления настоящего изобретения вместо оптического диска.

Часть устройства воспроизведения, которая считывает данные с оптического диска, состоит, например, из накопителя на оптических дисках. Наоборот, часть устройства воспроизведения, которая считывает данные из полупроводниковой карты памяти, состоит из собственного интерфейса (I/F). Более подробно, в гнездо для вставки карты предоставляется устройство воспроизведения, и I/F размещается в гнезде для вставки карты. Когда полупроводниковая карта памяти вставляется в гнездо для вставки карты, полупроводниковая карта памяти электрически соединяется с устройством воспроизведения через I/F. Кроме того, данные считываются из полупроводниковой карты памяти в устройство воспроизведения через I/F.

Технология защиты авторского права для данных, хранимых на BD-ROM-диске

Далее писан механизм для защиты авторского права на данные, записанные на BD-ROM-диск, в качестве допущения для следующего дополнительного пояснения.

С точки зрения, например, повышения защиты авторского права или конфиденциальности данных, имеются случаи, когда шифруется часть данных, записанных на BD-ROM. Зашифрованные данные - это, например, видеопоток, аудиопоток или другой поток. В таком случае зашифрованные данные декодируются следующим способом.

Устройство воспроизведения содержит заранее записанную часть данных, необходимых для формирования "ключа", который должен использоваться для декодирования зашифрованных данных, записанных на BD-ROM-диск, а именно, ключа устройства. С другой стороны, BD-ROM-диск содержит записанную другую часть данных, необходимых для формирования "ключа", а именно, ключевой блок носителя данных (MKB) и зашифрованные данные "ключа", а именно, зашифрованный ключ тайтла. Ключ устройства, MKB и зашифрованный ключ тайтла ассоциируются друг с другом, и каждый дополнительно ассоциируется с конкретным идентификатором, записанным в BCA 201A, записанную на BD-ROM-диск 101, показанный на фиг.2, а именно, с идентификатором тома. Когда комбинация ключа устройства, MKB, зашифрованного ключа тайтла и идентификатора тома является некорректной, зашифрованные данные не могут быть декодированы. Другими словами, только когда комбинация является корректной, вышеуказанный "ключ", а именно, ключ тайтла может быть сформирован. В частности, зашифрованный ключ тайтла сначала дешифруется с использованием ключа устройства, MKB и идентификатора тома. Только когда ключ тайтла может получаться как результат расшифровки, зашифрованные данные могут быть декодированы с использованием ключа тайтла в качестве вышеуказанного "ключа".

Когда устройство воспроизведения пытается воспроизводить зашифрованные данные, записанные на BD-ROM-диск, устройство воспроизведения не может воспроизводить зашифрованные данные, если устройство воспроизведения не имеет сохраненного ключа устройства, который ассоциирован заранее с зашифрованным ключом тайтла, MKB, устройством и идентификатором тома, записанными на BD-ROM-диск. Это обусловлено тем, что ключ, необходимый для декодирования зашифрованных данных, а именно, ключ тайтла может получаться только посредством расшифровки зашифрованного ключа тайтла на основе корректной комбинации MKB, ключа устройства и идентификатора тома.

Чтобы защищать авторское право, по меньшей мере, на одно из видеопотока и аудиопотока, которые должны записываться на BD-ROM-диск, поток, который должен быть защищен, шифруется с использованием ключа тайтла, и зашифрованный поток записывается на BD-ROM-диск. Затем ключ формируется на основе комбинации MKB, ключа устройства и идентификатора тома, и ключ тайтла шифруется с использованием ключа, который должен быть преобразован в зашифрованный ключ тайтла. Кроме того, MKB, идентификатор тома и зашифрованный ключ тайтла записываются на BD-ROM-диск. Только устройство воспроизведения, сохраняющее ключ устройства, который должен использоваться для формирования вышеуказанного ключа, может декодировать зашифрованный видеопоток и/или зашифрованный аудиопоток, записанный на BD-ROM-диск, с использованием декодера. Таким образом, можно защищать авторское право на данные, записанные на BD-ROM-диск.

Вышеописанный механизм для защиты авторского права на данные, записанные на BD-ROM-диск, применим к носителю записи, отличному из BD-ROM-диска. Например, механизм применим к читаемому и перезаписываемому полупроводниковому запоминающему устройству и, в частности, к портативной полупроводниковой карте памяти, такой как SD-карта.

Запись данных на носитель записи через электронное распространение

Далее описывается обработка, чтобы передавать данные, к примеру, файл AV-потока для трехмерного видео (в дальнейшем в этом документе "распространяемые данные) в устройство воспроизведения согласно вариантам осуществления настоящего изобретения через электронное распространение и инструктировать устройству воспроизведения записывать распространяемые данные в полупроводниковую карту памяти. Следует отметить, что следующие операции могут выполняться посредством специализированного терминала для выполнения обработки вместо вышеуказанного устройства воспроизведения. Кроме того, последующее описание основано на допущении, что полупроводниковой картой памяти, которая является назначением записи, является карта памяти SD.

Устройство воспроизведения включает в себя вышеописанное гнездо для вставки карты. Карта памяти SD вставляется в гнездо для вставки карты. Устройство воспроизведения в этом состоянии сначала передает запрос на передачу распространяемых данных на сервер распространения в сети. Здесь устройство воспроизведения считывает идентификационную информацию карты памяти SD из карты памяти SD и передает идентификационную информацию считывания на сервер распространения вместе с запросом на передачу. Идентификационная информация карты памяти SD - это, например, идентификационный номер, конкретный для карты памяти SD, а более конкретно, порядковый номер карты памяти SD. Идентификационная информация используется в качестве вышеописанного идентификатора тома.

Сервер распространения имеет сохраненные фрагменты распространяемых данных. Распространяемые данные, которые должны защищаться посредством шифрования, такие как видеопоток и/или аудиопоток, зашифрованы с использованием предварительно определенного ключа тайтла. Зашифрованные распространяемые данные могут дешифроваться с использованием этого ключа тайтла.

Сервер распространения сохраняет ключ устройства как закрытый ключ, общий с устройством воспроизведения. Сервер распространения дополнительно сохраняет MKB, общий с картой памяти SD. После приема запроса на передачу распространяемых данных и идентификационной информации карты памяти SD из устройства воспроизведения, сервер распространения сначала формирует ключ из ключа устройства, MKB и идентификационной информации и шифрует ключ тайтла с использованием сформированного ключа, чтобы формировать зашифрованный ключ тайтла.

Затем сервер распространения формирует информацию открытого ключа. Информация открытого ключа включает в себя, например, MKB, зашифрованный ключ тайтла, информацию подписи, идентификационный номер карты памяти SD и список устройств. Информация подписи включает в себя, например, хэш-значение информации открытого ключа. Список устройств - это список устройств, которые должны признаваться недействительными, т.е. устройств, которые имеют риск осуществления неавторизованного воспроизведения зашифрованных данных, включенных в распространяемые данные. Список устройств указывает ключ устройства и идентификационный номер для устройства воспроизведения, а также идентификационный номер или функцию (программу) для каждого элемента в устройстве воспроизведения, таком как декодер.

Сервер распространения передает распространяемые данные и информацию открытого ключа в устройство воспроизведения. Устройство воспроизведения принимает распространяемые данные и информацию открытого ключа и записывает их на карту памяти в формате SD через собственный интерфейс гнезда для вставки карты.

Зашифрованные распространяемые данные, записанные на карте памяти SD, дешифруются с использованием информации открытого ключа, например, следующим способом. Сначала, три типа проверок выполняются в качестве аутентификации информации открытого ключа. Эти проверки могут выполняться в любом порядке.

(1) Идентификационная информация карты памяти в формате SD, включенная в информацию открытого ключа, совпадает с идентификационным номером, сохраненным в карте памяти в формате SD, вставленной в гнездо для вставки карты?

(2) Хэш-значение, вычисляемое на основе информации открытого ключа, совпадает с хэш-значением, включенным в информацию подписи?

(3) Устройство воспроизведения, исключенное из списка устройств, указывается посредством информации открытого ключа? Конкретно, ключ устройства для устройства воспроизведения исключен из списка устройств?

Если, по меньшей мере, любой из результатов проверок (1)-(3) является отрицательным, устройство воспроизведения прекращает обработку расшифровки зашифрованных данных. В отличие от этого, если все результаты проверок (1)-(3) являются положительными, устройство воспроизведения авторизует информацию открытого ключа и расшифровывает зашифрованный ключ тайтла, включенный в информацию открытого ключа, с использованием ключа устройства, MKB и идентификационной информации карты памяти SD, чтобы тем самым получать ключ тайтла. Устройство воспроизведения дополнительно расшифровывает зашифрованные данные, например, с использованием ключа тайтла, тем самым получая, например, видеопоток и/или аудиопоток.

Вышеозначенный механизм имеет следующее преимущество. Если устройство воспроизведения, структурные элементы и функция (программа), которые имеют риск использования неавторизованным способом, уже известны, когда данные передаются через электронное распространение, соответствующие фрагменты идентификационной информации перечисляются в списке устройств и распространяются как часть информации открытого ключа. С другой стороны, устройство воспроизведения, которое запрашивает распространяемые данные, неизбежно должно сравнивать фрагменты идентификационной информации, включенной в список устройств, с фрагментами идентификационной информации устройства воспроизведения, его структурных элементов и т.п. Как результат, если устройство воспроизведения, его структурные элементы и т.п. идентифицированы в списке устройств, устройство воспроизведения не может использовать информацию открытого ключа для расшифровывания зашифрованных данных, включенных в распространяемые данные, даже если комбинация идентификационного номера карты памяти SD, MKB, зашифрованного ключа тайтла и ключа устройства является корректной. Таким образом, можно эффективно не допускать неавторизованного использования распространяемых данных.

Идентификационная информация полупроводниковой карты памяти предпочтительно записывается в область записи, имеющую высокую конфиденциальность, включенную в область записи полупроводниковой карты памяти. Это обусловлено тем, что если идентификационная информация, такая как порядковый номер карты памяти SD, неавторизованно имитирована, можно легко реализовывать недопустимую копию карты памяти SD. Другими словами, если несанкционированное изменение дает возможность формирования множества полупроводниковых карт памяти, имеющих одинаковую идентификационную информацию, невозможно идентифицировать авторизованные продукты и продукты неавторизованного копирования посредством выполнения вышеуказанной проверки (1). Следовательно, необходимо записывать идентификационную информацию полупроводниковой карты памяти в области записи высокой конфиденциальности, чтобы защищать идентификационную информацию от неавторизованной имитации.

Области записи высокой конфиденциальности создается, например, в рамках полупроводниковой карты памяти следующим способом. Прежде всего, в качестве области записи, электрически отсоединенной от области записи для записи обычных данных (в дальнейшем в этом документе "первой области записи"), предоставляется другая область записи (в дальнейшем в этом документе "вторая область записи"). Затем схема управления исключительно для осуществления доступа ко второй области записи предоставляется в рамках полупроводниковой карты памяти. Как результат, доступ ко второй области записи может выполняться только через схему управления. Например, допустим, что только зашифрованные данные записаны во второй области записи, и схема для расшифровки зашифрованных данных включена только в схему управления. Как результат, доступ к данным, записанным во второй области записи, может выполняться только посредством инструктирования схеме управления сохранять адрес каждого фрагмента данных, записанного во вторую область записи. Кроме того, адрес каждого фрагмента данных, записанного во второй области записи, может сохраняться только в схеме управления. В этом случае только схема управления может идентифицировать адрес каждого фрагмента данных, записанного во второй области записи.

В случае если идентификационная информация полупроводниковой карты памяти записывается во второй области записи, то когда прикладная программа, работающая в устройстве воспроизведения, обнаруживает данные из сервера распространения через электронное распространение и записывает обнаруженные данные в полупроводниковую карту памяти, следующая обработка выполняется. Прежде всего, прикладная программа выдает запрос на доступ в схему управления через I/F карты памяти для осуществления доступа к идентификационной информации полупроводниковой карты памяти, записанной во второй области записи. В ответ на запрос на доступ схема управления сначала считывает идентификационную информацию из второй области записи. Затем схема управления передает идентификационную информацию в прикладную программу через I/F карты памяти. Прикладная программа передает запрос на передачу распространяемых данных вместе с идентификационной информацией. Прикладная программа дополнительно записывает, в первой области записи полупроводниковой карты памяти через I/F карты памяти, информацию открытого ключа и распространяемые данные, принимаемые из сервера распространения, в ответ на запрос на передачу.

Следует отметить, что предпочтительно, чтобы вышеописанная прикладная программа проверяла, внесены или нет несанкционированные изменения в саму прикладную программу, перед выдачей запроса на доступ к схеме управления полупроводниковой карты памяти. Проверка может выполняться с использованием цифрового сертификата, совместимого со стандартом X509. Кроме того, необходимо записывать только распространяемые данные в первую область записи полупроводниковой карты памяти, как описано выше. Доступ к распространяемым данным может не управляться посредством схемы управления полупроводниковой карты памяти.

Применение для записи в реальном времени

Вариант осуществления 4 основан на допущении, что файл AV-потока и файл списков воспроизведения записаны на BD-ROM-диск с использованием технологии предварительной записи системы поддержки авторских разработок, и записанный файл AV-потока и файл списков воспроизведения предоставляются пользователям. Альтернативно, может быть возможным записывать, посредством выполнения записи в реальном времени, файл AV-потока и файл списков воспроизведения на перезаписываемый носитель записи, такой как BD-RE-диск, BD-R-диск, жесткий диск и полупроводниковая карта памяти (в дальнейшем в этом документе "BD-RE-диск и т.п.") и предоставлять пользователю записанный файл AV-потока и файл списков воспроизведения. В таком случае файл AV-потока может быть транспортным потоком, который получен в результате декодирования в реальном времени аналогового входного сигнала, выполняемого посредством записывающего устройства. Альтернативно, файл AV-потока может быть транспортным потоком, полученным в результате дифференциации вводимого в цифровой форме транспортного потока, выполняемой посредством записывающего устройства.

Записывающее устройство, выполняющее запись в реальном времени, включает в себя видеокодер, аудиокодер, мультиплексор и модуль пакетирования источников. Видеокодер кодирует видеосигнал, чтобы преобразовывать его в видеопоток. Аудиокодер кодирует аудиосигнал, чтобы преобразовывать его в аудиопоток. Мультиплексор мультиплексирует видеопоток и аудиопоток, чтобы преобразовывать их в цифровой поток в формате MPEG-2 TS. Модуль пакетирования источников преобразует TS-пакеты в цифровом потоке в формате MPEG-2 TS в исходные пакеты. Записывающее устройство сохраняет каждый исходный пакет в файле AV-потока и записывает файл AV-потока на BD-RE-диске и т.п.

Параллельно с обработкой записи файла AV-потока, модуль управления записывающего устройства формирует файл информации о клипах и файл списков воспроизведения в запоминающем устройстве и записывает файлы на BD-RE-диск и т.п. В частности, когда пользователь запрашивает выполнение записи обработки, модуль управления сначала формирует файл информации о клипах в соответствии с файлом AV-потока и записывает файл на BD-RE-диск и т.п. В таком случае каждый раз, когда заголовок GOP видеопотока обнаруживается из транспортного потока, принимаемого извне, или каждый раз, когда GOP видеопотока формируется посредством видеокодера, модуль управления обнаруживает PTS I-изображения, размещаемого в заголовке GOP, и SPN исходного пакета, в котором сохраняется заголовок GOP. Модуль управления дополнительно сохраняет пару PTS и SPN как одну точку входа в карте вхождений файла информации о клипах. В это время, флаг "is_angle_change" добавляется к точке входа. Флаг is_angle_change помечается, когда заголовок GOP является IDR-изображением, и снимается, когда заголовок GOP не является IDR-изображением. В файле информации о клипах информация атрибутов потока дополнительно задается в соответствии с атрибутом потока, который должен быть записан. Таким образом, после записи файла AV-потока и файла информации о клипах на BD-RE-диск и т.п., модуль управления формирует файл списков воспроизведения с использованием карты вхождений в файле информации о клипах и записывает файл на BD-RE-диск и т.п.

Управляемое копирование

Устройство воспроизведения согласно вариантам осуществления настоящего изобретения может записывать цифровой поток, записанный на BD-ROM-диск 101, на другой носитель записи через управляемое копирование. "Управляемое копирование" означает технологию для разрешения копирования цифрового потока, файла списков воспроизведения, файла информации о клипах и прикладной программы с неперезаписываемого носителя записи, такого как BD-ROM-диск, на перезаписываемый носитель записи только в случае, если аутентификация через обмен данными с сервером выполнена успешно. Этот перезаписываемый носитель записи может быть перезаписываемым оптическим диском, таким как BD-R, BD-RE, DVD-R, DVD-RW или DVD-RAM, жестким диском или портативным полупроводниковым запоминающим элементом, таким как карта памяти в формате SD, Memory Stick™, Compact Flash™, Smart Media™ или Multimedia Card™. Управляемое копирование предоставляет возможность ограничения числа резервных копий данных, записанных на неперезаписываемый носитель записи, и взимания платы за резервные копии.

Когда управляемое копирование выполняется из BD-ROM-диска на BD-R-диск или BD-RE-диск, и два диска имеют эквивалентную емкость записи, потоки битов, записанные на исходном диске, могут быть скопированы по порядку, как есть.

Если управляемое копирование выполняется между различными типами носителей записи, транскодирование должно выполняться. Это "транскодирование" означает обработку для регулирования цифрового потока, записанного на исходном диске, в формат приложения носителя записи, который является назначением копии. Например, транскодирование включает в себя процесс преобразования формата MPEG-2 TS в формат программного потока MPEG-2 и процесс уменьшения скорости передачи битов каждого видеопотока и аудиопотока и повторного кодирования видеопотока и аудиопотока. В ходе выполнения транскодирования, файл AV-потока, файл информации о клипах и файл списков воспроизведения должны быть сформированы при вышеописанной записи в реальном времени.

Способ для описания структуры данных

Из структур данных в вариантах осуществления настоящего изобретения повторная структура "имеется множество фрагментов информации, имеющих предварительно определенный тип", задается посредством описания начального значения управляющей переменной и циклического условия в предложении "for". Кроме того, структура данных "если предварительно определенное условие удовлетворяется, предварительно определенная информация задается", задается посредством описания, в предложении "if", условия и переменной, которая должна задаваться в момент, когда условие удовлетворяется. Таким образом, структура данных, описанная в вариантах осуществления, описывается с использованием высокоуровневого языка программирования. Соответственно, структура данных преобразуется посредством компьютера в машиночитаемый код через процесс трансляции, выполняемый посредством компилятора, который включает в себя "синтаксический анализ", "оптимизацию", "выделение ресурсов" и "генерацию кода", и структура данных затем записывается на носитель записи. Посредством описания на высокоуровневом языке программирования структура данных обрабатывается как часть, отличная от метода структуры классов на объектно-ориентированном языке, а именно, как переменная экземпляра типа массив структуры классов, и составляет часть программы. Другими словами, структура данных практически эквивалентна программе. Следовательно, структура данных должна защищаться как компьютерное изобретение.

Управление файлом списков воспроизведения и файлом информации о клипах посредством программы воспроизведения

Когда файл списков воспроизведения и файл AV-потока записываются на носитель записи, программа воспроизведения записывается на носитель записи в формате исполняемых файлов. Программа воспроизведения инструктирует компьютеру воспроизводить файл AV-потока в соответствии с файлом списков воспроизведения. Программа воспроизведения загружается из носителя записи в запоминающий элемент компьютера и затем выполняется посредством компьютера. Процесс загрузки включает в себя обработку компилирования или обработку связывания. Посредством этих процессов программа воспроизведения разделяется на множество секций в запоминающем элементе. Секции включают в себя текстовую секцию, секцию данных, bss-секцию и секцию стека. Текстовая секция включает в себя кодовый массив программы воспроизведения, начального значения и неперезаписываемых данных. Секция данных включает в себя переменные с начальными значениями и перезаписываемые данные. В частности, секция данных включает в себя файл, записанный на носитель записи, доступ к которому может осуществляться в любое время. Bss-секция включает в себя переменные, не имеющие начального значения. К данным, включенным в bss-секцию, обращаются в ответ на команды, указанные посредством кода в текстовой секции. Во время обработки компилирования или обработки связывания, область для bss-секции выделяется во внутреннем RAM компьютера. Секция стека - это область запоминающего устройства, временно выделенная по мере необходимости. Во время каждого из процессов посредством программы воспроизведения временно используются локальные переменные. Секция стека включает в себя эти локальные переменные. Когда программа выполняется, переменные в bss-секции первоначально задаются в нуле, и необходимая область запоминающего устройства выделяется в секции стека.

Как описано выше, файл списков воспроизведения и файл информации о клипах уже преобразованы на носителе записи в машиночитаемый код. Соответственно, во время выполнения программы воспроизведения, эти файлы управляются как "неперезаписываемые данные" в текстовой секции или как "файл, доступ к которому осуществляется в любое время" в секции данных. Другими словами, файл списков воспроизведения и файл информации о клипах включаются как структурный элемент программы воспроизведения во время выполнения. Следовательно, файл списков воспроизведения и файл информации о клипах выполняют более существенную роль в программе воспроизведения, чем простое представление данных.

Промышленная применимость

Настоящее изобретение относится к технологии для воспроизведения стереоскопических видеоизображений. Согласно вышеприведенному описанию, безусловно, задается нижний предел размера каждого блока данных и блока экстентов, записанного на носителе записи. Таким образом, настоящее изобретение, безусловно, имеет промышленную применимость.

Список номеров ссылок

1300 - видеопоток для воспроизведения зависимого вида

1301 - дополнительные данные

1310 - метаданные смещения

1311 - идентификатор последовательности смещений

1312 - последовательность смещений

1321 - номер кадра

1322 - направление смещения

1323 - значение смещения

Изобретение относится к средствам воспроизведения стереоскопического видео. Техническим результатом является повышение качества воспроизведения трехмерных графических изображений. В способе формируют видеопоток основного вида стереоскопических видеоизображений, формируют видеопоток изображений субвида стереоскопических видеоизображений, формируют поток данных моноскопических графических изображений, формируют информацию списка воспроизведения; записывают видеопоток основного вида, видеопоток субвида, графический поток, информацию списка воспроизведения на носитель записи. В способе видеопоток субвида включает в себя множество групп изображений, каждая из множества групп изображений включает в себя метаданные, включающие множество фрагментов информации смещения и множество идентификаторов смещения, где множество фрагментов информации смещения находятся во взаимно однозначном соответствии с множеством идентификаторов смещения. 2 н.п. ф-лы, 113 ил.

1. Способ записи видеопотока основного вида, видеопотока субвида, графического потока и информации списка воспроизведения на носитель записи, содержащий этапы, на которых:
формируют видеопоток основного вида, включающий в себя изображения основного вида, причем изображения основного вида составляют основные виды стереоскопических видеоизображений,
формируют видеопоток субвида, включающий в себя изображения субвида, причем изображения субвида составляют субвиды стереоскопических видеоизображений,
формируют графический поток, включающий в себя графические данные, причем графические данные составляют моноскопические графические изображения,
формируют информацию списка воспроизведения;
записывают видеопоток основного вида, видеопоток субвида и графический поток на носитель записи; и
записывают информацию списка воспроизведения на носитель записи, причем
каждое из изображений основного вида подготавливается посредством рендеринга на видеоплоскости основного вида при воспроизведении,
каждое из изображений субвида подготавливается посредством рендеринга на видеоплоскости субвида при воспроизведении,
графические данные подготавливаются посредством рендеринга на графической плоскости при воспроизведении,
видеопоток субвида включает в себя множество групп изображений,
каждая из множества групп изображений включает в себя метаданные, включающие в себя множество фрагментов информации смещения и множество идентификаторов смещения, причем множество фрагментов информации смещения находятся во взаимно однозначном соответствии с множеством идентификаторов смещения,
каждый из множества фрагментов информации смещения является управляющей информацией, задающей управление смещением для множества изображений, составляющих группу изображений,
управление смещением является процессом обеспечения смещения влево и смещения вправо для горизонтальных координат в графической плоскости, чтобы формировать графическую плоскость, смещенную влево, и графическую плоскость, смещенную вправо, и затем комбинировать графическую плоскость, смещенную влево, и графическую плоскость, смещенную вправо, с видеоплоскостью основного вида и видеоплоскостью субвида соответственно или затем комбинировать графическую плоскость, смещенную влево, и графическую плоскость, смещенную вправо, с видеоплоскостью субвида и видеоплоскостью основного вида соответственно,
фрагмент информации секции воспроизведения включает в себя (i) информацию, указывающую время начала воспроизведения и время окончания воспроизведения, и (ii) таблицу выбора потока, соответствующую секции воспроизведения,
таблица выбора потока является таблицей соответствия, ассоциирующей номера потоков с идентификаторами пакетов для потоков, причем воспроизведение потоков разрешено в секции воспроизведения, и
когда таблица выбора потока включает в себя номер потока, ассоциированный с идентификатором пакетов графического потока, один из множества идентификаторов смещения ассоциируется с номером потока.

2. Способ воспроизведения для воспроизведения носителя записи, полученного в соответствии с записью способом записи видеопотока основного вида, видеопотока субвида, графического потока и информации списка воспроизведения на носитель записи, при этом способ воспроизведения содержит этапы, на которых:
считывают видеопоток основного вида, видеопоток субвида, графический поток и информацию списка воспроизведения с носителя записи,
причем способ записи включает в себя формирование видеопотока основного вида, включающего в себя изображения основного вида, причем изображения основного вида состоят из основных видов стереоскопических видеоизображений,
причем способ записи включает в себя формирование видеопотока субвида, включающего в себя изображения субвида, причем изображения субвида составляют субвиды стереоскопических видеоизображений,
причем способ записи включает в себя формирование графического потока, включающего в себя графические данные, причем графические данные составляют моноскопические графические изображения,
причем способ записи включает в себя формирование информации списка воспроизведения;
причем способ записи включает в себя запись видеопотока основного вида, видеопотока субвида и графического потока на носитель записи;
причем способ записи включает в себя запись информации списка воспроизведения на носитель записи, и причем каждое из изображений основного вида подготавливается посредством рендеринга на видеоплоскости основного вида при воспроизведении,
каждое из изображений субвида подготавливается посредством рендеринга на видеоплоскости субвида при воспроизведении,
графические данные подготавливаются посредством рендеринга на графической плоскости при воспроизведении,
видеопоток субвида включает в себя множество групп изображений,
каждая из множества групп изображений включает в себя метаданные, включающие в себя множество фрагментов информации смещения и множество идентификаторов смещения, множество фрагментов информации смещения находятся во взаимно однозначном соответствии со множеством идентификаторов смещения,
каждый из множества фрагментов информации смещения является управляющей информацией, задающей управление смещением для множества изображений, составляющих группу изображений,
управление смещением является процессом обеспечения смещения влево и смещения вправо для горизонтальных координат в графической плоскости, чтобы формировать графическую плоскость, смещенную влево, и графическую плоскость, смещенную вправо, и затем комбинировать графическую плоскость, смещенную влево, и графическую плоскость, смещенную вправо, с видеоплоскостью основного вида и видеоплоскостью субвида соответственно или затем комбинировать графическую плоскость, смещенную влево, и графическую плоскость, смещенную вправо, с видеоплоскостью субвида и видеоплоскостью основного вида соответственно,
фрагмент информации секции воспроизведения включает в себя (i) информацию, указывающую время начала воспроизведения и время окончания воспроизведения, и (ii) таблицу выбора потока, соответствующую секции воспроизведения,
таблица выбора потока является таблицей соответствия, ассоциирующей номера потоков с идентификаторами пакетов для потоков, причем воспроизведение потоков разрешено в секции воспроизведения, и
когда таблица выбора потока включает в себя номер потока, ассоциированный с идентификатором пакетов графического потока, один из множества идентификаторов смещения ассоциируется с номером потока.