Область техники, к которой относится изобретение
Настоящее изобретение относится к области техники, соответствующей технологии воспроизведения 3D видеоизображения и 2D видеоизображения.
Настоящее изобретение относится к технологии воспроизведения для стереоскопического видеоизображения и, в частности, для выделения видеоданных на носителе записи.
Уровень техники
В последние годы, по мере увеличения количества киноработ в 3D видеоизображении, все больше повышается спрос на сохранение 3D видеоизображений на оптических дисках при поддержании высокого качества изображения для 3D видеоизображения, для поставки этих киноработ для домашнего использования.
При сохранении 3D видеоизображений на оптическом диске требуется обеспечить совместимость воспроизведения с устройством воспроизведения, которое может воспроизводить только оптический диск, на котором сохранено 2D видеоизображение (ниже называется "2D устройством воспроизведения"). Если 2D устройство воспроизведения не может воспроизводить 3D видеоизображение, сохраненное на оптическом диске, как 2D видеоизображение, одно и то же содержание требуется изготовлять на дисках двух типов, то есть, на 3D дисках и 2D дисках, что приводит к повышению затрат. В соответствии с этим, предпочтительно, чтобы оптический диск, на котором сохранено 3D видеоизображение, можно было воспроизводить как 2D видеоизображение с помощью 2D устройства воспроизведения и как 3D видеоизображение при использовании устройства воспроизведения, которое может воспроизводить, как 2D видеоизображение, так и 3D видеоизображение (ниже называется "2D/3D устройством воспроизведения"). Кроме того, при использовании оптического диска, обладающего совместимостью воспроизведения, возможно наслаждаться, как 3D видеоизображением, так и 2D видеоизображением в 2D/3D устройстве воспроизведения.
На фиг. 104 показана схема, иллюстрирующая технологию, обеспечивающую совместимость оптического диска, на котором сохранено 3D видеосодержание, с 2D устройством воспроизведения (см. Патентную литературу 1). На оптическом диске 6701 сохранены два типа файлов видеопотока, один представляет собой 2D файл видеопотока левой точки обзора, и другой представляет собой файл видеопотока правой точки обзора. "Видеопоток 2D/левой точки обзора" представляет 2D видеоизображение, представляемое для левого глаза зрителя во время 3D воспроизведения, то есть "левую точку обзора". Во время 2D воспроизведения этот поток составляет 2D видеоизображение. "Видеопоток правой точки обзора" представляет 2D видеоизображение, представляемое для правого глаза зрителя во время 3D воспроизведения, то есть, "правую точку обзора". Левый и правый видеопотоки имеют одинаковую частоту кадров, но разное время представления, сдвинутое друг от друга наполовину периода кадра. Например, когда частота кадров каждого видеопотока составляет 24 кадра в секунду, кадры 2/D видеопотока левой точки обзора и видеопотока правой точки обзора поочередно отображают каждую 1/48 секунды.
Как показано на фиг. 104, видеопотоки левой точки обзора и правой точки обзора разделены на множество протяженностей 6702A-C и 6703A-C, соответственно, на оптическом диске 6701. Каждая протяженность содержит, по меньшей мере, одну группу изображений (GOP, ГИ), GOP считывают вместе с оптического диска. Ниже протяженности, принадлежащие видеопотоку 2D/левой точки обзора называются "протяженностями 2D/левой точки обзора", и протяженности, принадлежащие видеопотоку правой точки обзора, называются "протяженностями правой точки обзора". Протяженности 6702A-C 2D/левой точки обзора и протяженности 6703A-C правой точки обзора поочередно расположены на дорожке 6701A оптического диска 6701. Каждая из двух соседних протяженностей 6702A-6703A, 6702B-6703B и 6702C-6703C имеет одинаковую длительность времени воспроизведения. Такое размещение протяженностей называется размещением с перемежением. Группа протяженностей, записанных как размещение с перемежением на носителе записи, используется как для воспроизведения 3D видеоизображений, так и для воспроизведении 2D видеоизображений, как описано ниже.
Среди протяженностей, записанных на оптический диск 6701, 2D устройство 6704 воспроизведения обеспечивает считывание приводом 6704A оптического диска только протяженности 6702A-C 2D/левой точки обзора, последовательно, с начала, пропуская считывание протяженностей 6703A-C правой точки обзора. Кроме того, декодер 6704B изображения последовательно декодирует протяженности, считываемые приводом 6704A оптического диска в видеокадр 6706L. Таким образом, устройство 6707 дисплея отображает только левые отображения, и зритель может наблюдать нормальное 2D видеоизображение.
Устройство 6705 3D воспроизведения обеспечивает поочередное считывание с оптического диска 6701 приводом 6705A оптического диска протяженностей 2D/левой точки обзора и протяженностей правой точки обзора. Когда протяженности выражены в виде кодов, их считывают в порядке 6702A, 6703A, 6702B, 6703B, 6702C и 6703C. Кроме того, среди считываемых протяженностей, те протяженности, которые принадлежат видеопотоку 2D/левой точки обзора, подают в левый видеодекодер 6705L, в то время как те, которые принадлежат правому видеопотоку, подают в правый видеодекодер 6705R. Видеодекодеры 6705L и 6705R поочередно декодируют каждый видеопоток в видеокадры 6706L и 6706R, соответственно. В результате, левые отображения и правые отображения поочередно отображают в устройстве 6708 дисплея. Синхронно с переключением видеоотображений устройством 6708 дисплея, в очках 6709 с затвором левая и правая линзы поочередно становятся непрозрачными. Поэтому, зритель, на которого надеты очки 6709 с затвором, видит отображения, отображаемые в устройстве 6708 отображения как 3D видеоизображения.
Когда 3D видеосодержание сохраняют на любом носителе записи, не только на оптическом диске, используется описанная выше компоновка с перемежением протяженностей. Таким образом, носитель записи можно использовать, как для воспроизведения 2D видеоизображений, так и для 3D видеоизображений.
[Список ссылок]
[Патентная литература]
[Патентная литература 1] Японский патент № 3935507
Сущность изобретения
[Техническая задача]
Некоторые оптические диски включают в себя множество слоев записи, такие как, так называемые, двуслойные диски. В таких оптических дисках последовательность потоковых данных может в некоторых случаях быть записана в двух слоях. С другой стороны, даже на однослойном оптическом диске последовательность потоковых данных может в некоторых случаях быть записана с другими данными, вставленными между ними. В этих случаях, в то время как оптическая головка привода оптического диска считывает данные с оптического диска, оптическая головка должна выполнять переходы фокусировния, связанные с переходом слоев, и переходы дорожек, вызванные радиальным движением вдоль диска. Такие переходы называются "длинными переходами", поскольку время их поиска обычно длительное. Для того чтобы сделать воспроизведение видеоизображений без стыков, несмотря на возникновение длинных переходов, необходимо сделать достаточно большим размер протяженности, считанной непосредственно перед длинным переходом, и сделать так, чтобы протяженность удовлетворяла определенным условиям, таким образом, чтобы не возникало незаполнение данных в буфере в видеодекодере во время длинного перехода.
Для воспроизведения, как 2D видеоизображений, так и 3D видеоизображений в компоновке с перемежением протяженностей, показанной на фиг. 104, для удовлетворения указанных выше условий, протяженность 2D/левой точки обзора, к которой обращаются непосредственно перед длинным переходом, должна быть достаточно большой. Однако, в этом случае, протяженность правой точки обзора, которая имеет такое же время воспроизведения, что и протяженность 2D/левой точки обзора, также должна быть увеличена. В результате, емкость буфера, которая должна быть гарантирована в декодере 6705R правого видеоизображения, будет более, чем емкость, достаточная для удовлетворения упомянутых выше условий. Это является нежелательным, поскольку не позволяет обеспечить дальнейшее уменьшение емкости буфера в устройстве 6705 3D воспроизведения и дополнительно улучшить эффективное использование памяти.
В соответствии с этим, для поддержания емкости буфера, которая должна быть гарантирована в декодере 6705R правого видеоизображения на минимальном значении, одна из возможностей, например, состоит в том, чтобы разделить путь воспроизведения для 2D видеоизображений из пути воспроизведения для 3D видеоизображений непосредственно перед или после длинного перехода. "Путем воспроизведения для видеоизображений" называется взаимосвязь между каждой частью видеопотока, представляющего видеоизображения, и его порядком воспроизведения. Кроме того, "разделение путей воспроизведения" относится к записи на носителе записи, части для воспроизведения видеопотока и данных дубликата для этой части, с выделением разных путей воспроизведения для каждой из них. Когда путь воспроизведения для 2D видеоизображений и путь воспроизведения для 3D видеоизображений разделены, как описано выше, размер 2D протяженности/левой точки обзора, которую считывают непосредственно перед длинным переходом во время воспроизведения 2D видеоизображений и во время воспроизведения 3D видеоизображений, можно назначить по-разному. В соответствии с этим, при поддержании емкости буфера, гарантируемой для декодера 6705R правого видеоизображения на минимальном значении, становится возможным предотвратить незаполнение буфера в видеодекодерах 6705L и 6705R во время длинного перехода, как во время воспроизведении 2D видеоизображений, так и во время воспроизведения 3D видеоизображений.
Одновременно с этим, однако, дубликат того же участка в видеопотоке 2D/левой точки обзора сохраняют в другой протяженности на носителе записи. Для эффективного использования области записи носителя записи, желательно подавлять увеличение такого дублирования.
Цель настоящего изобретения состоит в том, чтобы обеспечить носитель записи, на котором записаны файлы потока, расположенные таким образом, что одновременно уменьшается величина буфера, которую требуется выделять в устройствах воспроизведения, и предотвращается увеличение дублируемых данных, сохраняемых в разных протяженностях.
[Решение задачи]
Для достижения указанной цели, носитель записи, относящийся к настоящему изобретение, представляет собой носитель записи, на котором записан поток с перемежением, включающий в себя множество блоков данных, и информацию управления, в котором поток с перемежением включает в себя видеопоток общего вида, используемый для воспроизведения моноскопического видеоизображения, и поток подвида, используемый для воспроизведения стереоскопического видеоизображения в комбинации с потоком общего вида, множество блоков данных включают в себя множество блоков данных общего вида, содержащихся в потоке общего вида, и множество блоков данных подвида, содержащихся в потоке подвида, информация управления включает в себя информацию 2D управления, которая относится к блокам данных общего вида при воспроизведении моноскопического видеоизображения, и информацию 3D управления, которая относится к блокам данных общего вида при воспроизведении стереоскопического видеоизображения, множество блоков данных сгруппированы в группу блоков общих данных, группу 2D блоков данных и группу 3D блоков данных, группа блоков общих данных включает в себя один или более блоков данных общего вида и один или более блоков данных подвида, обращение к блокам данных общего вида, включенным в группу блоков общих данных выполняют, как со стороны информации 2D управления, так и со стороны информации 3D управления, так и информацией 3D управления, группа блоков 2D данных включает в себя один или более из блоков данных общего вида, к блокам данных общего вида, включенным в группу блоков 2D данных не обращаются со стороны информации 3D управления и обращаются со стороны информации 2D управления, группа блока 3D данных включает в себя один или более блоков данных общего вида и один или более из блоков данных подвида, к блокам данных общего вида, включенным в группу блоков 3D данных не обращаются со стороны информации 2D управления и обращаются со стороны информации 3D управления, группа блока 2D данных записана в области, доступ к которой осуществляется непосредственно перед длинным переходом, который возникает при воспроизведении моноскопического видеоизображения, и логический адрес которой следует за логическим адресом области, в которой записана группа блока общих данных, и группа блока 3D данных записана в области, к которой обращаются непосредственно перед длинным переходом, который происходит при воспроизведении стереоскопического видеоизображения, и логический адрес которого следует за логическим адресом области, в которой записана группа блока 2D данных, и блоки данных общего вида, включенные в группу блока 2D данных, и блоки данных общего вида, включенные в группу блока 3D данных, идентичны по содержанию.
[Предпочтительные эффекты изобретения]
В соответствии с носителем записи, относящимся к настоящему изобретению, область, в которой сохраняют группу блока данных, к которой обращаются непосредственно перед длинным переходом, отличается между файлом моноскопического воспроизведения и файлом стереоскопического воспроизведения, и, соответственно, путь воспроизведения разделен на путь воспроизведения 2D видеоизображения и путь воспроизведения 3D видеоизображения непосредственно перед длинным переходом. Следовательно, размер протяженности, к которой обращаются непосредственно перед длинным переходом, может быть выбран независимо для моноскопического воспроизведения и для стереоскопического воспроизведения, в результате чего обеспечивается возможность уменьшения объема буфера, который требуется предоставлять во время стереоскопического воспроизведения.
Кроме того, на пути воспроизведения 2D видеоизображения, поскольку блок 2D данных, к которому обращаются непосредственно перед длинным переходом, следует после группы блока общих данных, которые совместно используются двумя типами файлов, группа блока общих данных может использоваться, как часть протяженности файла моноскопического воспроизведения, к которой обращаются непосредственно перед длинным переходом. С другой стороны, среди протяженностей, к которым обращаются непосредственно перед длинным переходом в файле моноскопического воспроизведения, описанная выше группа блоков общих данных также используется, как протяженность файла стереоскопического воспроизведения, и, таким образом, увеличение дублируемых данных, которые сохраняют в разных протяженностях, может предотвращаться.
Кроме того, поскольку содержание, которое идентично между файлом моноскопического воспроизведения и файлом стереоскопического воспроизведения, расположено как группы, могут быть сгенерированы данные для множества соединений, такие как 1 путь воспроизведения, который соединяется с n путями воспроизведения после длинного перехода.
[Краткое описание чертежей]
На фиг. 1A-1C показан вариант выполнения использования носителя записи, устройства воспроизведения, устройства отображения и очков.
На фиг. 2 показана голова пользователя с левой стороны на чертеже и изображение скелета динозавра, на которое пользователь смотрит, соответственно, левым глазом и правым глазом с правой стороны на чертеже.
На фиг. 3 показан один пример внутренних структур видеопотоков левой точки обзора и правой точки обзора для стереоскопического просмотра.
На фиг. 4A-4D показан один пример способа глубины.
На фиг. 5 показано стереоскопическое изображение, генерируемое в режиме глубины.
На фиг. 6 показана внутренняя структура многослойного оптического диска.
На фиг. 7 показан формат приложения оптического диска на основе файловой системы.
На фиг. 8 показана внутренняя структура носителя записи в соответствии с первым вариантом выполнения.
На фиг. 9A и 9B иллюстрируется, как видеопоток сохраняют в последовательностях пакета PES.
На фиг. 10 схематично показано, как выполняют мультиплексирование основного TS.
На фиг. 11A и 11B показаны внутренние структуры основного TS и вспомогательного TS.
На фиг. 12 схематично представлена структура данных видеопотока.
На фиг. 13 показана структура данных информации переключения декодирования, сохраненной в области вспомогательных данных, в каждом модуле видеодоступа.
На фиг. 14 показан счетчик декодирования.
На фиг. 15 показана схема, представляющая физическую компоновку носителя 100 записи групп блоков данных, принадлежащих основному TS, первому вспомогательному TS и второму вспомогательному TS.
На фиг. 16A показана схема, представляющая компоновку основного TS 1701 и вспомогательного TS1702, записанных отдельно и последовательно на диске BD-ROM, и на фиг. 16B показана схема, представляющая компоновку с перемежением блоков B[0], B[1], B[2], … данных основного отображения и блоков D[0], D[1], D[2], … данных зависимого отображения, записанных на носителе записи в соответствии с первым вариантом выполнения настоящего изобретения.
На фиг. 17A показана схема, представляющая путь воспроизведения, когда время воспроизведения видеопотока отличается между блоками данных основного отображения и блоками данных зависимого отображения, которые расположены рядом на BD-ROM диске; на фиг. 17B показана схема, представляющая путь воспроизведения, когда время воспроизведения видеопотока является одинаковым между блоками данных основного отображения и блоками данных зависимого отображения, которые расположены рядом друг с другом на носителе 100 записи, в соответствии с первым вариантом выполнения настоящего изобретения; и на фиг. 17C показана схема, представляющая путь воспроизведения, когда время воспроизведения видеопотока является одинаковым между всеми блоками данных основного отображения и блоками данных зависимого отображения на носителе 100 записи в соответствии с первым вариантом выполнения настоящего изобретения.
На фиг. 18A, 18B, 18C, 18D и 18E показаны схемы, соответственно, представляющие структуру данных для файла 2D (01000.m2ts), первого файла DEP (02000.m2ts), второго файла DEP (03000.m2ts), первого файла SS (01000.ssif), и второго файла SS (02000.ssif).
На фиг. 19 показана схема, представляющая путь 1901 воспроизведения в режиме 2D воспроизведения, путь 1902 воспроизведения в режиме L/R, и путь 1903 воспроизведения в режиме глубины для групп блоков данных, показанных на фиг. 15.
На фиг. 20 показана схема, представляющая первый пример физической компоновки групп блоков данных, записанных перед и после границы слоев на носителе 100 записи.
На фиг. 21 показана схема, представляющая путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R для групп блоков данных, показанных на фиг. 20.
На фиг. 22 показана схема, представляющая группы блоков данных, записанных в компоновке с перемежением перед и после границы слоев на диске BD-ROM, и соответствующий путь воспроизведения в каждом режиме воспроизведения.
На фиг. 23 показан примерный случай, в котором предыдущий элемент воспроизведения соединен без стыков с множеством последующих элементов воспроизведения, при использовании компоновки 1.
На фиг. 24 показана схема, представляющая второй пример физической компоновки групп блоков данных, записанных перед и после границы слоя на носителе 100 записи.
На фиг. 25 показана схема, представляющая путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R для групп блоков данных, показанных на фиг. 24.
На фиг. 26 показана схема, представляющая третий пример физической компоновки групп блоков данных, записанных перед и после границы слоя на носителе 100 записи.
На фиг. 27 показана схема, представляющая путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R для групп блоков данных, показанных на фиг. 26.
На фиг. 28 схема, представляющая четвертый пример физической компоновки групп блоков данных, записанных перед и после границы слоя на носителе 100 записи.
На фиг. 29 показана схема, представляющая путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R для групп блоков данных, показанных на фиг. 28.
На фиг. 30 показана схема, представляющая пятый пример физической компоновки групп блоков данных, записанных перед и после границы слоя на носителе 100 записи.
На фиг. 31 показана схема, представляющая путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R для групп блоков данных, показанных на фиг. 30.
На фиг. 32 показана схема, представляющая шестой пример физической компоновки групп блоков данных, записанных перед и после границы слоя на носителе 100 записи.
На фиг. 33 показана схема, представляющая путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R для групп блоков данных, показанных на фиг. 32.
На фиг. 34A показана схема, представляющая первый пример компоновки по фиг. 28 с удаленными блоками данных карты глубины, и на фиг. 34B показана схема, представляющая путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R для групп блоков данных, показанных на фиг. 34A.
На фиг. 35 показана схема, представляющая первый пример компоновки по фиг. 20 с удаленными блоками данных карты глубины.
На фиг. 36 показана схема, представляющая структуру данных PMT.
На фиг. 37 показана схема, представляющая структуру данных файла информации 2D клипа.
На фиг. 38A показана схема, представляющая структуру данных карты 3030 входа, показанной на фиг. 37, на фиг. 38B показана схема, представляющая пакеты источника в группе 3110 пакета источника, принадлежащей 2D файлу, который ассоциирован с каждым EP_ID 3105 с помощью карты 3030 входа, и на фиг. 38C показана схема, представляющая взаимозависимость между группой 3110 пакета источника и группой 3120 блока данных на диске BD-ROM.
На фиг. 39A показана схема, представляющая структуру данных таблицы 3041 смещения, и на фиг. 39B показана схема, представляющая действительный участок входа смещения.
На фиг. 40A показана схема, представляющая структуру данных точек 3042 начала протяженности, показанных на фиг. 30, на фиг. 40B показана схема, представляющая структуру данных точек 3320 начала протяженности, включенных в файл информации клипа правой точки обзора, на фиг. 40C показана схема, представляющая блоки L1, L2, … данных основного отображения, выделенные из первого файла SS (01000.ssif) устройством 200 воспроизведения в режиме L/R, на фиг. 40D показана схема, представляющая взаимосвязь между протяженностями EXT2 [0], EXT2[1], …, правой точки обзора, принадлежащими первому файлу DEP (02000.m2ts), и SPN 3322, показанные точками 3320 начала протяженности, и на фиг. 40E показана схема, представляющая пример взаимозависимости между 3D протяженностями EXTSS[0], EXTSS[1], …, принадлежащими первому файлу SS 544A, и группой 3350 блока данных на носителе 100 записи.
На фиг. 41 показана схема, представляющая пример компоновки блоков данных, которые включают в себя 3D видеосодержание, которое записано на носителе 100 записи в соответствии с первым вариантом выполнения настоящего изобретения.
На фиг. 42 показана схема, представляющая пример точек входа, установленных в видеопотоке 3510 основного отображения и видеопотоке 3520 зависимого отображения на носителе 100 записи в соответствии с первым вариантом выполнения настоящего изобретения.
На фиг. 43 показано, как восстанавливают последовательность ATC.
На фиг. 44 показана схема, представляющая структуру данных файла 2D списка воспроизведения (00001.mpls).
На фиг. 45 показана схема, представляющая структуру данных PI№N, показанного на фиг. 44.
На фиг. 46A и 46B показаны схемы, представляющие взаимосвязи между блоками 3801 и 3802 воспроизведения, которые должны быть соединены, когда условие 3704 соединения, показанное на фиг. 45, соответственно, обозначено как "5" и "6".
На фиг. 47 показана схема, представляющая взаимосвязи между PTS, обозначенные файлом 521 2D списка воспроизведения (00001.mpls), показанным на фиг. 44, и участками, воспроизводимыми из 2D файла 541 (01000.m2ts).
На фиг. 48 показана схема, представляющая структуру данных файла 3D списка воспроизведения (00002.mpls).
На фиг. 49 показана схема, представляющая структуру данных таблицы SS 4030 STN, показанной на фиг. 48.
На фиг. 50A, 50B и 50C показаны схемы, соответственно, представляющие структуры данных последовательности 4112 информации регистрации потока для видеопотоков зависимого отображения, последовательности 4113 информации регистрации потока для потоков PG, и последовательности 4114 информации регистрации потока для потоков IG, которые показаны на фиг. 49.
На фиг. 51 показана схема, представляющая взаимосвязь между PTS, обозначенным файлом 522 3D списка воспроизведения (00002.mpls), показанным на фиг. 48, и участками, воспроизводимыми из первого файла SS (01000.ssif).
На фиг. 52 показана схема, представляющая таблицу 4410 индекса в файле 511 индекса (index.bdmv).
На фиг. 53 показана блок-схема последовательности операций обработки выбора для файла списка воспроизведения, предназначенного для воспроизведения, причем эту обработку выполняют, когда файл 3D видеоизображения выбирают с помощью устройства 200 воспроизведения, показанного на фиг. 1.
На фиг. 54 показана функциональная блок-схема устройства 200 воспроизведения в режиме 2D воспроизведения, показанном на фиг. 1.
На фиг. 55 показан список системных параметров в модуле 4608 сохранения переменных проигрывателя, показанном на фиг. 54.
На фиг. 56 показана функциональная блок-схема целевого декодера 4603 системы, показанного на фиг. 54.
На фиг. 57 показана функциональная блок-схема устройства 200 воспроизведения, показанного на фиг. 1 в режиме 3D воспроизведения.
На фиг. 58 показана функциональная блок-схема целевого декодера 4903 системы, показанного на фиг. 57.
На фиг. 59 показана функциональная блок-схема сумматора 4910 плана, показанного на фиг. 57.
На фиг. 60A и 60B показана схема, представляющая обработку обрезки, выполняемую вторым модулем 5132 обработки обрезки, показанным на фиг. 59.
На фиг. 61A, 61B и 61C показаны схемы, соответственно, представляющие планы PG левой точки обзора и правой точки обзора, генерируемые при обработке обрезки, показанной на фиг. 60A и 60B, а также 3D видеоизображение, воспринимаемое зрителем на основе этих планов PG.
На фиг. 62 показана схема, представляющая систему обработки воспроизведения в устройстве 200 воспроизведения, в режиме 2D воспроизведения, показанном на фиг. 54.
На фиг. 63A показан график, представляющий изменение количества DA данных, сохраняемых в буфере 4602 считывания во время обработки воспроизведения 2D протяженностей с помощью системы обработки воспроизведения, показанной на фиг. 62, и на фиг. 63B показана схема, представляющая взаимосвязь между блоком 5510 3D протяженности, который включает в себя эти 2D протяженности, и путем 5520 воспроизведения в режиме 2D воспроизведения.
На фиг. 64 показан пример таблицы соответствия между расстояниями Sjump перехода и максимальными значениями времени Tjump перехода для диска BD-ROM в соответствии с первым вариантом выполнения настоящего изобретения.
На фиг. 65 показана схема, представляющая систему обработки воспроизведения в устройстве 200 воспроизведения, в режиме 3D воспроизведения, показанном на фиг. 57.
На фиг. 66A и 66B показаны графики, представляющие изменение в количествах DA1 и DA2 данных, накопленных в буферах 4921 и 4922 считывания во время обработки воспроизведения блока 3D протяженности в режиме L/R системой обработки воспроизведения, показанной на фиг. 65, и на фиг. 66C показана схема, представляющая взаимосвязь между блоком 5810 3D протяженности и путем 5820 воспроизведения в режиме L/R.
На фиг. 67A и 67B показаны графики, представляющие изменение количеств DA1 и DA2 данных, сохраненных в буферах 4921 и 4922 считывания во время обработки воспроизведения блока 3D протяженности в режиме глубины с помощью системы обработки воспроизведения, показанной на фиг. 65, и на фиг. 67C показана схема, представляющая взаимосвязь между блоком 5910 3D протяженности и путем 5920 воспроизведения в режиме глубины.
На фиг. 68 показана схема, представляющая длинные переходы JLY, JBDJ1 и JBDJ2, выполняемые во время обработки воспроизведения в режиме L/R системой обработки воспроизведения, показанной на фиг. 65.
На фиг. 69A показана схема, представляющая взаимосвязь между блоком 6110 3D протяженности и путем 6120 воспроизведения в режиме L/R, и на фиг. 69B и 69C показаны графики, представляющие изменение количества данных DA1 и DA2, сохраненных в буферах 4921 и 4922 считывания, когда блок 3D протяженности, состоящий из блоков данных, имеющих размер, равный или больше, чем расширенный размер минимальной протяженности, считывают с помощью системы обработки воспроизведения, показанной на фиг. 65.
На фиг. 70 показана структура данных для соединения без стыков между тремя или более блоками 3D протяженности.
На фиг. 71 показано накопление запаса объема в буфере.
На фиг. 72 показан переход количеств данных, накопленных в буфере считывания при воспроизведении 3D изображений в режиме L/R.
На фиг. 73A показан длинный переход, который происходит, в то время, как данные с компоновкой 1 воспроизводят в режиме L/R, и на фиг. 73B и 73C, соответственно, показан переход количества данных, накопленных в первом буфере 4921 считывания, и переход количества данных, накопленных во втором буфере 4922 считывания, когда данные в компоновке 1 воспроизводят в режиме L/R.
На фиг. 74A показан длинный переход, который происходит, в то время как данные в компоновке 1 воспроизводят в режиме глубины, и на фиг. 73B и 73C, соответственно, показан переход количества данных, накопленных в первом буфере 4921 считывания, и переход количества данных, накопленных во втором буфере 4922 считывания, когда данные в компоновке 1 воспроизводят в режиме глубины.
На фиг. 75А показан длинный переход, который происходит, в то время как данные в компоновке 2 воспроизводят в режиме L/R, и на фиг. 75B и 75C, соответственно, показан переход количества данных, накопленных в первом буфере 4921 считывания, и переход количества данных, накопленных во втором буфере 4922 считывания, когда данные в компоновке 2 воспроизводят в режиме L/R.
На фиг. 76 показано состояние компоновки данных, когда элементы воспроизведения без стыков соединяют вместе.
На фиг. 77А показан длинный переход, который происходит, в то время как данные в компоновке 3 воспроизводят в режиме глубины, и на фиг. 77B и 77C, соответственно, показан переход количества данных, накопленных в первом буфере 4921 считывания, и переход количества данных, накопленных во втором буфере 4922 считывания, когда данные в компоновке 3 воспроизводят в режиме глубины.
На фиг. 78 показаны компоновки данных для уменьшения размеров буфера считывания, требуемого для устройства 2D/3D воспроизведения, для воспроизведения 3D изображения.
На фиг. 79 поясняется ограничение для протяженности, установленной для удовлетворения минимального размера протяженности, рассчитанного в соответствии с Выражениями (2)-(5).
На фиг. 80 показан способ для расчета величин UL1 и UL2 запаса объема буфера в режиме L/R.
На фиг. 81 показана структура для реализации 3D изображения, снятого под множеством углов обзора.
На фиг. 82 показана модификация структуры для реализации 3D изображения, снятого под множеством углов обзора.
На фиг. 83A показаны потоковые файлы, называемые элементами воспроизведения и подэлементами воспроизведения 3D списка воспроизведения, и на фиг. 83B показано размещение в области записи, в которой записаны потоковые файлы изображений для отдельных углов обзора.
На фиг. 84 показан путь воспроизведения, когда угол 1 переключают на угол 3.
На фиг. 85A показаны схемы, представляющие на диске BD-ROM в соответствии с первым вариантом выполнения настоящего изобретения, блоки данных в компоновке с перемежением, которые включают в себя только данные мультиплексированного потока, и на фиг. 85B показана схема, представляющая блоки данных в компоновке с перемежением, которые включают в себя протяженности, принадлежащие другому файлу.
На фиг. 86 показана компоновка протяженностей, предпочтительных для вставки файла, отличающегося от AV (АВ, аудио-видео) потока между протяженностями.
На фиг. 87 показаны условия размера для вставки разных файлов между протяженностями с перемежением AV потока.
На фиг. 88 показана структура 2D/3D устройства воспроизведения при использовании одного буфера считывания.
На фиг. 89 показана структура целевого декодера системы при использовании одного буфера считывания.
На фиг. 90 показан переход количеств данных, накопленных в первом буфере 4921 считывания и во втором буфере 4922 считывания, и переход количеств данных, накопленных в буфере считывания, при использовании одного буфера считывания.
На фиг. 91 схематично показан переход количеств данных, накопленных в первом буфере 4921 считывания при использовании одного буфера считывания.
На фиг. 92 показана структура ATS, в которой предусмотрен пакет источника в AV потоке при использовании одного буфера считывания.
На фиг. 93 показана блок-схема, представляющая внутреннюю структуру устройства записи, относящегося к третьему варианту выполнения настоящего изобретения.
На фиг. 94A и 94B показаны схемы, представляющие изображение для отображения левого видеоизображения и изображение для отображения правого видеоизображения, используемые для отображения одной сцены в 3D видеоизображении в устройстве записи в соответствии с третьим вариантом выполнения настоящего изобретения, и на фиг. 94C показана схема, представляющая информацию глубины, рассчитанную по этим изображениям с помощью видеокодера 6301.
На фиг. 95 показана примерная структура устройства 2D/3D воспроизведения, которая реализована путем использования интегральной микросхемы.
На фиг. 96 показана функциональная блок-схема, представляющая типичную структуру модуля обработки потока.
На фиг. 97 показана концептуальная схема, представляющая модуль 53 переключения и периферийное устройство, когда модуль 53 переключения представляет собой DMAC.
На фиг. 98 показана функциональная блок-схема, представляющая типичную структуру AV выходного модуля.
На фиг. 99 более подробно показан пример структуры, представляющей устройство модуля выхода AV или части вывода данных устройства воспроизведения.
На фиг. 100 показана компоновка шин управления и шин данных в интегральной микросхеме.
На фиг. 101 показана компоновка шин управления и шин данных в интегральной микросхеме.
На фиг. 102 показана простая блок-схема последовательности операций, представляющая порядок операций в устройстве воспроизведения.
На фиг. 103 показана подробная блок-схема последовательности операций, представляющая порядок операций в устройстве воспроизведения.
На фиг. 104 показана схема, иллюстрирующая технологию обеспечения совместимости при сохранении 3D видеосодержания на оптическом диске с устройствами 2D воспроизведения.
Подробное описание изобретения
Ниже описан носитель записи и устройство воспроизведения, относящиеся к предпочтительному варианту воплощения настоящего изобретения, со ссылкой на приложенные чертежи.
<Первый вариант выполнения>
Вначале приведено краткое описание принципа стереоскопического отображения.
В общем, из-за разности в положении между правым глазом и левым глазом, существуют незначительные различия между изображением, которое видит правый глаз, и изображением, которое видит левый глаз. Именно это различие позволяет человеку распознавать изображение, которое он видит в трех измерениях. Стереоскопический дисплей реализован путем использования параллакса человека, так, что моноскопическое изображение выглядит, как если бы оно было трехмерным.
Более конкретно, существует различие между изображением, которое видит правый глаз, и изображением, которое видит левый глаз, причем это различие соответствует параллаксу зрения человека. Стереоскопический дисплей реализован путем отображения двух типов изображений поочередно через одинаковые короткие интервалы времени.
"Короткий интервал времени" может представлять собой период времени, который является достаточно коротким, чтобы создать для человека иллюзию при поочередном отображении, что он видит трехмерный объект. Способы реализации стереоскопического отображения включают в себя способ, в котором используется технология голографии и способ, в котором используются изображения с параллаксом.
В первом способе, технология голографии, отличается тем, что она позволяет воспроизводить объект трехмерно в том же виде, как человек обычно распознает объект, и что для генерирования видеоизображений, хотя была разработана технологическая теория, требуется (i) компьютер, который может выполнять огромное количество расчетов для генерирования видеоизображений для голографии в режиме реального времени, и (ii) устройство дисплея, имеющее разрешение, в котором несколько тысяч линий могут быть вычерчены на протяженности 1 мм. Для современной технологии чрезвычайно трудно реализовать такой продукт, и, таким образом, продукты для коммерческого использования вряд ли были разработаны.
С другой стороны, последний способ, в котором используется изображение с параллаксом, имеет достоинство, состоящее в том, что стереоскопическое отображение может быть реализовано только при подготовке изображений для просмотра правым глазом и левым глазом. Некоторые технологии, включающие в себя способ последовательного разделения, были разработаны для практического использования с точки зрения того, как обеспечивается просмотр каждым из правого глаза и левого глаза только изображений, ассоциированных с ними.
Способ последовательного разделения представляет собой способ, в котором изображения для левого глаза и правого глаза поочередно отображают в направлении временной оси таким образом, что сцены для левого и правого глаза накладываются в мозгу человека, благодаря эффекту остаточных изображений глаз, и наложенное изображение распознается как стереоскопическое изображение.
В любом способе стереоскопическое видеоизображение состоит из видеоизображений, снятых из, по меньшей мере, двух точек обзора. Видеоизображения, снятые из определенной точки обзора, представляют собой видеоизображения, снятые под определенным углом, и видеоизображение, снятое из одной из, по меньшей мере, двух точек обзора, называется "видеоизображением главной точки обзора", и видеоизображение точки обзора, имеющей угол, аналогичный видеоизображению главной точки обзора, называется "вспомогательной точкой обзора". Когда главную точку обзора и вспомогательную точку обзора представляют в видеопотоках с носителя записи, видеопоток, который представляет главную точку обзора, называется "видеопотоком общего вида", и видеопоток, который представляет вспомогательную точку обзора, называется "видеопотоком подвида". Носители записи, которые будут описаны ниже, предназначены для соответствующей записи их видеопотоков главной точки обзора и видеопотоков вспомогательной точки обзора.
Устройство воспроизведения, описанное в настоящей заявке, представляет собой 2D/3D устройство воспроизведения (проигрыватель), в котором предусмотрен режим 2D воспроизведения и режим 3D воспроизведения для воспроизведения описанного выше видеопотока основной точки обзора и видеопотока подвида, может переключаться между этими режимами воспроизведения.
На фиг. 1A-1C показан вариант выполнения действий при использовании носителя записи, устройства воспроизведения, устройства дисплея и очков. Как показано на фиг. 1A, носитель 100 записи и устройство 200 воспроизведения, вместе с телевизором 300, 3D очками 400 и пультом 500 дистанционного управления, составляют систему домашнего театра, которую использует пользователь.
На носителе 100 записи система домашнего театра представляет, например, кинофильм.
Устройство 200 воспроизведения соединено с телевизором 300 и воспроизводит носитель 100 записи.
Телевизор 300 предоставляет для пользователя среду интерактивной работы, отображая меню и т.п., а также кинофильм. Пользователь должен надеть 3D очки 400 для телевизора 300 в соответствии с настоящим вариантом выполнения, для реализации стереоскопического просмотра. Здесь 3D очки 400 не обязательны, когда телевизор 300 отображает изображения, используя способ с линзами. Телевизор 300 для способа с линзами выравнивает изображения для левого и правого глаз вертикально на экране одновременно. И линзы предусмотрены на поверхности экрана дисплея таким образом, что пиксели, составляющие изображение для левого глаза, формируют изображение только для левого глаза, и пиксели, составляющие изображение для правого глаза, формируют изображение только для правого глаза. Это позволяет рассматривать через левый и правый глаз, соответственно, изображения, которые имеют параллакс, реализуя, таким образом, стереоскопическое отображение.
3D очки 400 оборудованы жидкокристаллическими затворами, которые обеспечивают для пользователя возможность просмотра изображений с параллаксом с помощью способа последовательного разделения или способа поляризующих очков. Здесь изображение с параллаксом представляет собой изображение, которое состоит из пары (i) изображения, которое попадает только в правый глаз, и (ii) изображения, которое попадает только в левый глаз, таким образом, что изображения, соответственно, ассоциированные с правым и левым глазами, соответственно, попадают в глаза пользователя, реализуя, таким образом, стереоскопическое отображение. На фиг. 1B представлено состояние 3D очков 400, когда отображается изображение левого глаза. В момент времени, когда изображение для левого глаза отображается на экране, жидкокристаллический затвор для левого глаза находится в состоянии пропускания света, и жидкокристаллический затвор для правого глаза находится в состоянии блокирования света. На фиг. 1C показано состояние 3D очков 400, когда отображают изображение для правого глаза. В момент, когда отображают изображение для правого глаза на экране, жидкокристаллический затвор для правого глаза находится в состоянии пропускания света, и жидкокристаллический затвор для левого глаза находится в состоянии блокирования света.
Пульт 500 дистанционного управления представляет собой устройство для приема от пользователя операций воспроизведения AV. Пульт 500 дистанционного управления также представляет собой устройство для приема от пользователя операций на многоуровневый GUI (ГИП, графический интерфейс пользователя). Для приема операции, пульт дистанционного управления 500 оборудован кнопкой меню, кнопками со стрелками, кнопкой ВВОД, кнопкой ВОЗВРАТ и цифровыми кнопками, где кнопки меню используют для вызова меню, составляющего GUI, кнопки со стрелками используют для перемещения фокуса между компонентами GUI, составляющими меню, кнопку ВВОД используют для выполнения операции ВВОД (определение) на компоненте GUI, составляющем меню, кнопку ВОЗВРАТ используют для возврата на более высокий уровень в многоуровневом меню.
В системе домашнего театра, показанной на фиг. 1A-1C, режим вывода устройства воспроизведения, который обеспечивает отображение устройством 300 дисплея изображений в режиме 3D воспроизведения, называется "режимом 3D вывода", и режим вывода устройства воспроизведения, который обеспечивает отображение устройством 300 дисплея изображений в режиме 2D воспроизведения, называется "режимом 2D вывода".
На этом описание действий по использованию носителя записи и устройства воспроизведения заканчивается.
В настоящем варианте выполнения используется способ, в котором изображения параллакса, используемые для стереоскопического отображения, сохраняют на носителе записи информации.
Способ представления изображения с параллаксом представляет собой способ для реализации стереоскопического отображения путем подготовки отдельно изображения для правого глаза и изображения для левого глаза, и обеспечения попадания изображения для правого глаза только в правый глаз и изображения для левого глаза только в левый глаз. На фиг. 2 показана голова пользователя с левой стороны на чертеже и изображение скелета динозавра, которое пользователь рассматривает, соответственно, левым глазом и правым глазом с правой стороны чертежа. Когда пропускание и блокирование света повторяют поочередно для правого и левого глаз, левая и правая сцены накладываются в мозгу пользователя в результате эффекта остаточных изображений глаз, и наложенное изображение распознается как стереоскопическое изображение, появляющееся перед пользователем.
Среди изображений с параллаксом изображение, попадающее в левый глаз, называется изображением левого глаза (изображение L), и изображение, попадающее в правый глаз, называется изображением правого глаза (изображение R). Видео изображение, состоящее только из изображений L, называется видеоизображением левой точки обзора, и видеоизображение, состоящее только из изображения R, называется видеоизображением правой точки обзора. Кроме того, видеопотоки, которые получают путем преобразования в цифровую форму и кодирования со сжатием видеоизображения левой точки обзора и видеоизображения правой точки обзора, называются видеопотоком левой точки обзора и видеопотоком правой точки обзора, соответственно.
Эти видеопотоки левой точки обзора и правой точки обзора сжимают, используя кодирование прогнозирования между изображениями, применяя коррелированное свойство между точками обзора, а также используя кодирование с межкадровым прогнозированием, применяя коррелированное свойство по временной оси. Изображения, составляющие видеопоток для правой точки обзора, сжимают, обращаясь к изображениям, составляющим видеопоток для левой точки обзора, имеющим те же моменты времени отображения. Один из способов сжатия видеоизображения, используя такое коррелированное свойство между точками обзора, представляет собой скорректированный стандарт MPEG-4 AVC/H.264, который называется видеокодированием для множества точек обзора (MVC, ВКМ). Объединенная видео группа (JVT, ОВГ), которая представляет собой объединенный проект по разработке стандартов ISO/IEC и MPEG ITU-T VCEG, закончила в июле 2008 г. формулирование скорректированного стандарта MPEG-4 AVC/H.264, под названием Видео кодирование для множества точек обзора (MVC). MVC представляет собой стандарт для кодирования в массе изображений для множества точек обзора. В результате использования, при кодировании с прогнозированием, схожести изображений между точками обзора, а также схожести изображений по временной оси, MVC улучшило эффективность сжатия по сравнению со способами для кодирования независимых изображений для множества точек обзора.
Видеопоток, среди видеопотока для левой точки обзора и видеопотока для правой точки обзора, после кодирования со сжатием с использованием MVC, который может быть декодирован независимо, называется "видеопотоком основной точки обзора". Индикатор основной точки обзора, который будет описан ниже, обозначает, какой из видеопотока левой точки обзора и видеопотока правой точки обзора установлен как видеопоток основной точки обзора. Кроме того, видеопоток среди видеопотока левой точки обзора и видеопотока правой точки обзора, который был кодирован со сжатием на основе свойства межкадровой корреляции с данными каждого изображения, составляющими видеопоток основной точки обзора, и которые могут быть декодированы только после декодирования видеопотока основной точки обзора, называется "видеопотоком зависимой точки обзора".
Видеопоток, среди видеопотока левой точки обзора видеопотока правой точки обзора, после кодирования со сжатием, с использованием свойства корреляции между точками обзора, который может быть декодирован независимо, называется "видеопотоком основной точки обзора". Индикатор основной точки обзора в информации элемента воспроизведения обозначает, какой из видеопотока левой точки обзора и видеопотока правой точки обзора установлен, как видеопоток основной точки обзора.
В настоящее время, способ MVC рассматривают как наилучший способ для кодирования стереоскопического видеоизображения. В соответствии с этим, дальнейшее описание приведено на основе предположения, что "видеопоток общего вида" представляет собой "видеопоток основной точки обзора" и "видеопоток подвида" представляет собой "видеопоток зависимой точки обзора".
Видеопоток в формате MPEG4-AVC, который формирует основу для видеопотока MVC, описан ниже.
Видеопоток MVC имеет структуру GOP (ГП, группа изображений), и состоит из закрытых GOP и открытых GOP. Закрытая GOP состоит из изображения IDR, и изображений B и изображений P, которые следуют после изображения IDR. Открытая GOP состоит из изображения I, которое не является изображением IDR, и изображений B, и изображений P, которые следуют после- изображения I, которое не является IDR.
Изображения I, которые не являются IDR, изображения B и изображения P кодируют со сжатием на основе корреляция кадра с другими изображениями. Изображение B представляет собой изображение, состоящее из среза данных в двунаправленном предикативном (B) формате, и изображение P представляет собой изображение, состоящее из среза данных в предикативном (P) формате. Изображение B классифицируют на опорное B(Br) изображение и неопорное B(B) изображение.
В закрытой GOP изображение IDR расположено в начале. В порядке отображения изображение IDR не находится в начале, но другие изображения (изображения B и изображения P), кроме изображения IDR, не могут иметь взаимосвязь зависимости с изображениями, присутствующими в GOP, которые предшествуют закрытой GOP. Как можно понять из этого, закрытая GOP играет роль завершения взаимосвязи зависимости.
Далее описана внутренняя структура GOP. Каждая часть данных изображения в открытой и закрытой GOP имеет структуру модуля видеодоступа способа кодирования H264. Каждый модуль видеодоступа включает в себя разделитель модуля видеодоступа, набор параметров последовательности, набор параметров изображения и компонент точки обзора.
Компонент точки обзора представляет собой данные изображения, которые были кодированы со сжатием на основе корреляция между точками обзора, в то время как он имеет структуру модуля доступа.
Разделитель модуля видеодоступа преобразуют в модуль абстракции сети и затем сохраняют в пакете источника. Считывание из пакета источника обеспечивает оперативный доступ внутри видеопотока.
Взаимосвязь между модулем видеодоступа и изображением представляет собой "1 модуль видеодоступа = 1 изображение". В BD-ROM эта взаимосвязь ограничена до "1 пакет PES = 1 кадр". Поэтому, когда видеоизображение имеет структуру кадра, "1 пакет PES = 1 изображение", и когда видеоизображение имеет структуру полей, "1 пакет PES = 2 изображения". Учитывая это, в пакете PES сохраняют изображение в соотношении один к одному (во взаимно-однозначном соотношении).
На фиг. 3 показан один пример внутренних структур видеопотоков для левой точки обзора и правой точки обзора, для стереоскопического отображения.
Во втором ряду на фиг. 3, показана внутренняя структура видеопотока для левой точки обзора. Этот поток включает в себя данные I1, P2, Br3, Br4, P5, Br6, Br7 и P9 изображения. Данные изображения декодируют в соответствии со штампами времени декодирования (DTS, ШВД). В первом ряду представлено отображение для левого глаза. Отображение для левого глаза воспроизводят путем воспроизведения декодируемых данных I1, P2, Br3, Br4, P5, Br6, Br7 и P9 изображения в соответствии с PTS, в порядке I1, Br3, Br4, P2, Br6, Br7 и P5.
В четвертом ряду фиг. 3 показана внутренняя структура видеопотока для правого глаза. Этот поток включает в себя данные P1, P2, B3, B4, P5, B6, B7 и P8 изображения. Эти данные изображения декодируют в соответствии с DTS. В третьем ряду показано отображение для правого глаза. Отображение для правого глаза воспроизводят путем воспроизведения декодированных данных P1, P2, B3, B4, P5, B6, B7 и P8 изображения в соответствии с PTS, в порядке P1, B3, B4, P2, B6, B7 и P5. Пару изображений, которая соответственно, принадлежит этим двум видеопотокам и представляет один и тот же кадр или поле 3D видеоизображения, назначают одному и тому же PTS, и одному и тому же DTS.
В пятом ряду показано, как изменяется состояние 3D очков 400. Как показано в пятом ряду, когда просматривают отображение для левого глаза, затвор для правого глаза закрыт, и когда просматривают отображение для правого глаза, затвор для левого глаза закрыт.
На фиг. 3, например, начальное P изображение для видеопотока правой точки обзора ссылается на изображение I видеопотока левой точки обзора; изображение B видеопотока для правой точки обзора ссылается на изображение BR для видеопотока левой точки обзора; и второе изображение P для видеопотока правой точки обзора ссылается на изображение P для видеопотока левой точки обзора. Здесь режим, в котором видеокадры видеопотока (B) основной точки обзора и видеокадры видеопотока (D) зависимой точки обзора поочередно выводят в цикле отображения 1/48 секунды, как "B"-"D"-"B"-"D", называется "режимом представления B-D".
Кроме того, режим, в котором один вид видеокадра неоднократно выводят дважды или более раз, в то время как поддерживают 3D режим как режим воспроизведения, называется "режимом представления B-B". В "режиме представления B-B", видеокадры независимо воспроизводимого видеопотока основной точки обзора многократно выводят как "B"-"B"-"B"-"B".
Режим представления B-D дополнительно включает в себя способ 3D глубины, предназначенный для реализации стереоскопического эффекта, используя 2D изображения и информацию глубины, а также способ 3D-LR, предназначенный для реализации стереоскопического эффекта, используя изображения L и изображения R.
Способ 3D глубины реализуют путем использования генератора изображения параллакса в последней половине видеодекодера, и в способе 3D глубины данные изображения для левой точки обзора и данные изображения для правой точки обзора генерируют из (i) каждой части данных изображения в видеопотоке и (ii) информации глубины каждого пикселя, который составляет данные изображения.
Информация глубины может быть выполнена из данных изображения серой шкалы (также называются данными изображения информации глубины), которые представляют глубину пикселей в виде серой шкалы.
На фиг. 4A-4D показан один пример способа глубины. На фиг. 4A показано 2D изображение, и на фиг. 4B показана серая шкала, сгенерированная для 2D изображения, показанного на фиг. 4A. Серая шкала представлена пикселями, которые состоят только из элемента яркости. Чем более яркими (более белыми) являются пиксели серой шкалы, тем более мелкими они являются; и чем более темными являются пиксели серой шкалы, тем более глубокими они являются. На фиг. 4C и 4D показано изображение для левого глаза и изображение для правого глаза, которые генерируют, используя серую шкалу, соответственно. На фиг. 5 показано стереоскопическое изображение, сгенерированное в режиме 3D глубины. Как показано на фиг. 5, в результате генерирования изображения для левого глаза и изображения для правого глаза, для каждого кадра 2D изображений, пользователь может наслаждаться просмотром стереоскопического изображения, рассматривая изображения для левого глаза и изображения для правого глаза через очки.
В способе 3D глубины, видеопоток, который может воспроизводиться как 2D изображение, становится видеопотоком основной точки обзора; и видеопоток, который состоит из данных изображения серой шкалы, становится видеопотоком зависимой точки обзора.
Видеопотоки, получаемые путем преобразования в цифровую форму и кодирования со сжатием данных изображения серой шкалы, используемые в таком способе 3D глубины, называются "потоком карты глубины". Поток карты глубины сжимают, используя кодирование с межкадровым прогнозированием, применяя свойство корреляции в направлении оси времени, и он представляет собой видеопоток, не имеющий корреляции между точками обзора. Однако, для такого видеопотока, применяется тот же формат, что и для видеопотока зависимой точки обзора, используемый в режиме 3D-LR. Например, если видеопоток левой точки обзора и видеопоток правой точки обзора кодируют в формате MVC, поток карты глубины также кодируют в формате MVC. При такой структуре переключение между 3D-LR режимом и режимом 3D глубины может выполняться плавно, без изменения конфигурации устройства воспроизведения.
Ниже режим представления B-D, используя 3D-LR, называется режимом L/R, и режим представления B-D, используя режим 3D глубины, называется режимом глубины.
Видеопоток основной точки обзора может совместно использоваться режимом глубины и режимом L/R. Поэтому, возможно генерировать изображения для режима глубины и изображения для режима L/R путем комбинирования видеопотока основной точки обзора и видеопотока для режима глубины или видеопотока для режима L/R. Структура управления данными структурирована для поддержки этих комбинаций таким образом, что способ отображения переключается в соответствии со свойствами проигрывателя и телевизором, подключенным к нему.
<Носитель 100 записи>
Носитель записи, относящийся к настоящему изобретению, может быть изготовлен как BD-ROM диск, который представляет собой многослойный оптический диск, и BD-RE диск, BD-R диск или носитель AVC-HD, обладающий совместимостью с BD-ROM диском.
На фиг. 6 показана внутренняя структура многослойного оптического диска.
В первом ряду на фиг. 6 показан BD-ROM, представляющий собой многослойный оптический диск. Во втором ряду показаны дорожки в горизонтально вытянутом формате, хотя они в действительности сформированы по спирали в слоях записи. Эти спиральные дорожки в слоях записи обрабатывают как одну область непрерывного объема. Область объема состоит из вводной области, слоев записи, состоящих из слоев 1-3 записи, и области вывода, где область ввода расположена на внутренней окружности, область вывода расположена на внешней окружности, и слои записи из слоев 1-3 записи расположены между областью ввода и областью вывода. Области записи слоев 1-3 записи составляют одно последовательное пространство логической адресации.
Область объема разделена на модули, в которых можно выполнять доступ к оптическому диску, и последовательные номера назначают для модулей доступа. Последовательные номера называются логическими адресами. Считывание данных с оптического диска выполняют путем установления логического адреса. Здесь, в случае диска, предназначенного только для считывания, такого как BD-ROM, в основном, сектора с последовательными логическими адресами также расположены последовательно при физическом размещении на оптическом диске. То есть, данные, сохраненные в секторах с последовательными логическими адресами, могут быть считаны без выполнения операции поиска. Однако, на границах между слоями записи, последовательное считывание данных невозможно, даже если логические адреса являются последовательными. Таким образом, предполагается, что логические адреса на границах между слоями записи зарегистрированы в устройстве записи.
В области объема информация управления файловой системой записана непосредственно после области ввода. После этого расположена область разделения, которой управляют на основе информации управления файловой системой. Файловая система представляет собой систему, которая выражает данные на диске в единицах, называемых директориями и файлами. В случае BD-ROM, файловая система представляет собой UDF (УФД, универсальный формат диска). Даже в случае обычного PC (ПК, персонального компьютера), когда данные записаны в файловой системе, называемой FAT (ТРФ, таблица размещения файлов) или NTFS (ФСНТ, файловая система новой технологии), данные, записанные на жестком диске в директориях и файлах, можно использовать на компьютере, улучшая, таким образом, удобство и простоту использования. Файловая система позволяет считывать логические данные так же, как и в обычном PC, используя структуру директории и файла.
В четвертом ряду показано содержание, записанное в области раздела, управляемой файловой системой. Протяженности, составляющие файлы, присутствуют в областях раздела. Эти протяженности сформированы из множества секторов, которые физически являются непрерывными в области раздела. Область раздела включает в себя "область, в которой записан дескриптор, установленный файлом", "область, в которой записан оконечный дескриптор", "область корневой директории RUT", "область директории BDMV", "область директории JAR", "область директории BDJO", "область директории списка воспроизведения PLAYLIST", "область директории информации клипа CLIPINF", и "область директории потока STREAM". Эти области поясняются ниже.
"Дескриптор, установленный файлом", включает в себя номер логического блока (LBN, НЛБ), который обозначает сектор, в котором записан вход в файл в корневой директории RUT, среди областей директории. "Дескриптор окончания" обозначает конец установленного дескриптора файла.
Далее приведено подробное описание областей директории. Описанные выше области директории имеют общую внутреннюю структуру. То есть, каждая из "областей директории" состоит из "входа в файл", "файла директории" и "области записи файла для нижнего файла".
"Вход в файл" включает в себя "тег дескриптора", "тег ICB" и "дескриптор выделения".
"Тег дескриптора" представляет собой тег, который обозначает, что объект, имеющий тег дескриптора, представляет собой вход в файл.
"Тег IBC" обозначает информацию атрибута, относящуюся к самому входу в файл.
"Дескриптор выделения" включает в себя номер логического блока (LBN), который обозначает положение записи файла директории. До этого места был описан вход в файл. Далее приведено подробное описание файла директории.
"Файл директории", включенный в каждую область директории, включает в себя "дескриптор идентификации файла нижней директории" и "дескриптор идентификации файла нижнего файла".
"Дескриптор идентификации файла нижней директории" представляет собой информацию, на которую ссылаются для доступа к нижней директории, которая принадлежит самому файлу директории, и состоит из информации идентификации нижней директории, длины названия директории для нижней директории, адреса входа файла, который обозначает номер логического блока для блока, в котором записан вход в файл нижней директории, и названия директории для нижней директории.
"Дескриптор идентификации файла нижнего файла" представляет собой информацию, на которую ссылаются для доступа к файлу, который принадлежит самому файлу директории, и состоит из информации идентификации нижнего файла, длины названия нижнего файла, адреса входа в файл, который обозначает номер логического блока для блока, в котором записан вход в файл нижнего файла, и название файла нижнего файла.
Как описано выше, дескрипторы идентификации файла файлов директории для директорий обозначают логические блоки, в которых записаны входы в файл нижней директории и нижний файл. Путем отслеживания дескрипторов идентификации файла становится, таким образом, возможным достичь из входа файла корневой директории RUT входа в файл директории BDMV, и достичь из входа файла директории BDMV вход в файл директории PLAYLIST (список воспроизведения). Аналогично, становится возможным достичь входа файла директории JAR, директории BDJO, директории CLIPINF (информация клипа) и директории STREAM (поток). До этого места был описан файл директории. Далее приведено подробное описание области записи файла для нижнего файла.
"Область записи файла нижнего файла", включенная в каждую область директории, представляет собой область, в который записано содержание нижнего файла, который принадлежит директории. "Вход в файл" для нижнего входа и одной или более "протяженностей", которыми управляет вход в файл, записаны в "области записи файла для нижнего файла". Когда множество нижних файлов записано для директории, множество "областей записывающего файла нижнего файла" присутствует в области директории.
"Вход в файл" нижнего входа включает в себя "тег дескриптора", "тег ICB" и "дескриптор выделения".
"Тег дескриптора" представляет собой тег, идентифицирующий, как "вход в файл", вход в файл, который включает в себя сам тег дескриптора. Тег дескриптора классифицирован на тег дескриптора входа в файл, тег дескриптора карты битов в пространстве, и так далее. В случае тега дескриптора входа в файл, в нем записано "261", что обозначает "вход в файл".
"Тег IBC" обозначает информацию атрибута, относящуюся к самому входу в файл.
"Дескриптор выделения" включает в себя номер логического блока (LBN), обозначающий положение записи для протяженности, составляющей файл нижнего порядка для директории. Дескриптор выделения также включает в себя данные, которые обозначают длину этой протяженности. Два бита верхнего порядка данных, которые обозначают длину протяженности, установлены следующим образом: "00" для обозначения выделенной и записанной протяженности; "01" для обозначения выделенный и не записанной протяженности; и "11" для обозначения протяженности, которая следует после дескриптора выделения. Когда файл нижнего порядка в директории разделен на множество протяженностей, вход в файл должен включать в себя множество дескрипторов выделения в соответствии протяженностями.
Файлы в соответствии с UDF (УФД, универсальный формат диска) состоят из множества протяженностей, которыми управляют по входам в файл, и логические адреса протяженностей, составляющих файл, получают по ссылке на дескрипторы выделения входа в файл.
Например, файл потока, который составляет основное свойство настоящей заявки, представляет собой область записи файла, которая существует в области директории для директории, которой принадлежит файл. При этом становится возможным получать доступ к файлу транспортного потока путем отслеживания дескрипторов идентификации файла для файлов директории, и дескрипторов размещения входов в файлы.
На фиг. 7 показан формат приложения носителя 100 записи на основе файловой системы.
Директория BDMV представляет собой директорию, в которой записаны данные, такие как AV содержание и информация управления, используемая в BD-ROM. Пять поддиректорий, называемые "директория PLAYLIST", "директория CLIPINF", "директория STREAM", "директория BDJO", "директория JAR" и "директория META" присутствуют ниже директории BDMV. Кроме того, два типа файлов (то есть, index.bdmv и MovieObject.bdmv) расположены в поддиректории BDMV.
Ниже поясняются файлы поддиректории BDMV.
Файл "index.bdmv" (название файла "index.bdmv" фиксировано) представляет собой файл таблицы индекса, в котором сохраняется таблица индекса, представляющая соответствие между номерами названий множества названий воспроизведения и файлов программы, которые определяют отдельные названия, то есть, объекты BD-J или объекты кинофильма.
Файл таблицы индекса представляет собой информацию управления для всего носителя записи. Файл таблицы индекса представляет собой первый файл, который должен быть считан устройством воспроизведения после загрузки носителя записи в устройство воспроизведения, таким образом, что устройство воспроизведения получает возможность уникально идентифицировать диск. Файл таблицы индекса представляет соответствие между каждым названием, составляющим структуру названий оптического диска и объектом режима работы, который устанавливает режим работы. Здесь на основе структуры названия достигают следующего: после загрузки оптического диска, воспроизведение названия (название FirstPlay), для отображения предупреждения для зрителя, логотипа провайдера содержания и так далее; после воспроизведения названия FirstPlay, воспроизведения общего названия (которое идентифицируется по серийному номеру, такому как "1", "2" или "3"), который составляет основную сюжетную историю кинофильма; и после воспроизведения названия основной сюжетной истории, воспроизведение название (название меню) и ожидания спецификации общего названия, выбранного пользователем. Здесь один кинофильм соответствует множеству названий, которые представляют собой множество версий кинофильма. В соответствии с этим, когда кинофильм имеет только одну версию, взаимозависимость представлена как "кинофильм = название". Когда кинофильм имеет множество версий, таких как театральная версия, режиссерская версия и телевизионная версия, для каждой из этих версий предусмотрено одно название. В устройстве воспроизведения предусмотрен регистр номера названия, в котором сохраняется номер названия для текущего названия. Название, воспроизводимое в настоящий момент времени, представляет собой одно из множества названий, номер названия которого в настоящее время сохранен в регистре номера названия. На оптических дисках указанным выше названием FirstPlay, общим названиям и названию меню назначают объекты режима операции, которые определяют режимы операции соответствующих названий для определения режима операции, в котором работает каждое название. В этой структуре таблица индекса не представляет непосредственно соответствие между названиями и видеопотоками, но представляет соответствие между названиями и объектами режима операции таким образом, что видеопотоки воспроизводят через объекты режима операции. Это связано с тем, что это направлено на определения названий, которые оперируют объектами режима операции, без воспроизведения AV.
Файл "MovieObject.bdmv" (название файла "MovieObject. bdmv" является фиксированным) сохраняет один или более объектов кинофильма. Объект кинофильма представляет собой файл программы, который определяет процедуру управления, выполняемую устройством воспроизведения в режиме работы (режим HDMV), в котором субъект управления представляет собой интерпретатор команд. Объект кинофильма включает в себя одну или более команд и флаг маски, где флаг маски определяет, следует или нет маскировать вызов меню или вызов названия, когда пользователь выполняет вызов названия в GUI.
Файл программы (XXXXX.bdjo---"XXXXX" является переменным, и расширение "bdjo" является фиксированным), для которого придано расширение "bdjo", существует в директории BDJO. В файле программы сохраняют BD-J, который определяет процедуру управления, выполняемую устройством воспроизведения в режиме BD-J. Объект BD-J включает в себя "таблицу управления приложением". "Таблица управления приложением" в объекте BD-J представляет собой таблицу, которую используют для обеспечения выполнения устройством воспроизведения сигналов приложения, при этом названия рассматривают как жизненный цикл. Таблица управления приложением включает в себя "идентификатор приложения" и "код управления", где "идентификатор приложения" обозначает приложение, которое должно быть выполнено, когда название, соответствующее объекту BD-J, становится текущим названием. Приложения BD-J, жизненные циклы которых определены таблицей управления приложением, в частности, называются "BD-J приложениями". Код управления, когда он установлен как AutoRun (автоматический запуск), обозначает, что приложение должно быть загружено в память с неупорядоченным хранением данных и должно быть активировано автоматически; и когда его устанавливают как "Присутствует", это обозначает, что приложение должно быть загружено в память с неупорядоченным хранением данных и должно быть активировано после приема вызова из другого приложения. С другой стороны, некоторые BD-J приложения не заканчивают свои операции, даже если название заканчивается. Такие BD-J приложения называются "приложениями с неограниченным названием".
Сущность, такого приложения JavaTM представляет собой файл архива JavaTM (YYYYY.jar), сохраненного в директории JAR под названием директория BDMV.
Приложение может представлять собой, например, приложение JavaTM, которое составлено из одной или более программ xlet, загруженных в память с неупорядоченным хранением данных (также называемую рабочей памятью) виртуального устройства. Приложение состоит из программ xlet, которые были загружены в рабочую память, и данных.
"Директория STREAM" представляет собой директорию, в которой содержится файл транспортного потока. В "директории STREAM" присутствует файл транспортного потока ("xxxxx.m2ts"---"XXXXX" является переменным, и расширение "m2ts", является фиксированным), которому придано расширение "m2ts". "Файл потока" в настоящем варианте выполнения относится к файлу, среди фактического видеосодержания, записанного на носителе 100 записи, который соответствует формату файла, определенному файловой системой. Такое фактическое видеосодержание, в общем, относится к данным потока, в которых различные типы данных потока представляют видеоданные, аудиоданные, субтитры и т.д., которые были мультиплексированы. Эти мультиплексированные данные потока могут быть широко разделены на основной транспортный поток (TS, ТП) и вспомогательный TS, в зависимости от типа внутреннего первичного видеопотока. "Основной TS" включает в себя видеопоток основной точки обзора, как первичный видеопоток. "Видеопоток основной точки обзора" может быть воспроизведен независимо, и может представлять собой 2D видеоизображение. "Вспомогательный TS" включает в себя видеопоток зависимой точки обзора, как первичный видеопоток. "Видеопоток зависимой точки обзора" требует наличия видеопотока основной точки обзора для воспроизведения и представляет 3D видеоизображение в результате комбинирования с видеопотоком видеоданных основной точки обзора. Типы видеопотоков зависимой точки обзора представляют собой видеопоток правой точки обзора, видеопоток левой точки обзора, и поток карты глубины. Когда 2D видеоизображения, представленные видеопотоком основной точки обзора используются, как левая точка обзора 3D видеоизображений, устройством воспроизведения в режиме L/R, "видеопоток правой точки обзора" используется как видеопоток, представляющий правую точку обзора 3D видеоизображений. Обратное справедливо для "видеопотока левой точки обзора". Когда 2D видеоизображения, представленные видеопотоком основной точки обзора, используются для проецирования 3D видеоизображения на виртуальный 2D экран с помощью устройства воспроизведения в режиме глубины, используют "поток карты глубины" как видеопоток, представляющий карту глубины для 3D видеоизображений.
В зависимости от типа данных потока с внутренним мультиплексированием файл AV потока может быть разделен на три типа: файл 2D, зависимый файл (ниже сокращенно называется "файлом DEP"), и файл с перемежением (ниже сокращенно называется "файлом SS"). "Файл 2D" представляет собой файл потока для моноскопического воспроизведения, используемый при воспроизведении 2D видеоизображения в режиме 2D воспроизведения, и включает в себя основной TS. "Файл DEP" включает в себя вспомогательного TS. "Файл SS" представляет собой файл потока для стереоскопического воспроизведения, используемый при воспроизведении 3D видеоизображения в режиме 3D воспроизведения, и включает в себя основной TS и вспомогательный TS, представляющие одни и те же 3D видеоизображения. В частности, файл SS совместно использует свой основной TS с определенным файлом 2D и совместно использует свой вспомогательный TS с определенным файлом DEP. Другими словами, в файловой системе на носителе 100 записи, к основному TS доступ может быть выполнен как из файла SS, так и из файла 2D, и доступ к вспомогательному TS может быть выполнен, как для файла SS, так и для файла DEP. Такая установка, благодаря которой последовательность данных, записанных на носителе 100 записи, является общей для разных файлов, и к ней может быть выполнен доступ всеми файлами, называется "поперечными связями файла". Таким файлам 2D и файлам DEP назначают расширение "m2ts", и они расположены непосредственно под директорией STREAM, в то время как файлам SS назначают расширение "ssif", и они расположены непосредственно под директорией SSIF, которая представляет собой более низкую директорию для директории STREAM.
В "директории PLAYLIST", присутствует файл информации списка воспроизведения ("xxxxx.mpls"---"XXXXX" является переменным, и расширение "mpls" является фиксированным), которому придано расширение "mpls". Файл информации списка воспроизведения представляет собой файл, который содержит информацию, которую используют для обеспечения воспроизведения устройством воспроизведения списка воспроизведения. "Список воспроизведения" обозначает путь воспроизведения, определенный путем логического указания порядка воспроизведения участков воспроизведения, в случае, когда такие участки воспроизведения определены на временной оси транспортных потоков (TS). Список воспроизведения играет роль определения последовательности сцен, отображаемых по порядку, путем обозначения, какие части каких TS среди множества TS должны быть воспроизведены. Информация списка воспроизведения определяет "структуры" списков воспроизведения. Путь воспроизведения, определенный по информации списка воспроизведения, представляет собой то, что называется "множественным путем". "Множественный путь" состоит из "основного пути" и одного или более "подпутей". Части воспроизведения, включенные в основной путь, называются "элементами воспроизведения", и части воспроизведения, включенные в подпуть, называются "подэлементами воспроизведения". Основной путь определен для основного TS. Подпути определяют для зависимых потоков. Множество подпутей может быть определено, в то время как определен один основной путь. Множество подпутей идентифицированы идентификаторами, называемыми ID подпути. Положения раздела определены на оси времени воспроизведения множественных путей. При этом возможно реализовать оперативный доступ с помощью устройства воспроизведения к произвольной точке времени на оси времени множественного пути, обеспечивая обращение устройства воспроизведения к одному из положений раздела. В режиме BD-J возможно начать AV воспроизведение по множественным путям, передавая инструкции в виртуальное устройство JavaTM, для генерирования экземпляра проигрывателя JMF, для воспроизведения информации списка воспроизведения. Экземпляр проигрывателя JMF (оболочка среды Java) представляет собой данные, которые фактически генерируют в памяти с неупорядоченным хранением данных виртуального устройства на основе класса проигрывателя JMF. В режиме HDMV возможно начать AV воспроизведение по множественному пути, обеспечивая выполнение устройством воспроизведения навигационной команды, которая представляет инструкции на выполнение воспроизведения в соответствии со списком воспроизведения. В устройстве воспроизведения предусмотрен регистр номера списка воспроизведения, в котором содержится номер информации текущего списка воспроизведения. Информация списка воспроизведения, воспроизводимая в данный момент времени, представляет собой одну из множества частей информации списка воспроизведения, номер которой в данный момент сохранен в регистре номера списка воспроизведения.
В "директории CLIPINF", присуствует файл информации клипа ("xxxxx.clpi"---"XXXXX" является переменным, и расширение "clpi" является фиксированным), которому придано расширение "clpi". Файлы информации клипа представляют собой файлы информации клипа, для которых предусмотрены во взаимно-однозначном соответствии файлы 2D и файлы DEP. Файл информации клипа обозначает: какая последовательность ATC состоит из последовательности пакетов источника, которые присутствуют в файле потока; какая последовательность STC внедрена в последовательность ATC; и какой TS представляет собой последовательность ATC.
Файл информации клипа обозначает содержание файла потока. Поэтому, когда TS в файле потока требуется воспроизвести, необходимо вначале считать в запоминающее устройство файл информации клипа, который соответствует файлу потока. То есть, при воспроизведении файла потока, принимают "принцип предварительного сохранения", в соответствии с которым файл информации клипа вначале считывают в запоминающее устройство. Причина того, что принят принцип предварительного сохранения, состоит в следующем. Структура данных TS, сохраненного в файле потока, имеет совместимость с европейским стандартом цифровой широковещательной передачи. Таким образом, поток содержит такую информацию, как PCR, PMT и PAT, которые обеспечивают возможность обработки потока как программы широковещательной передачи. Однако, при этом неразумно выделять такую информацию каждый раз при выполнении воспроизведения. Это связано с тем, что необходимо каждый раз при выполнении воспроизведения обращаться к низкоскоростному носителю записи для считывания пакетов, составляющих TS, и анализировать полезную нагрузку пакетов TS. Поэтому, для файлов информации клипа предусмотрены во взаимно-однозначном соответствии файлы потока, в которых содержатся TS, и файлы информации клипа считывают в запоминающее устройство перед воспроизведением потока, таким образом, что информация TS может быть захвачена без анализа полезных нагрузок в TS. В настоящем варианте выполнения, среди файлов информации клипа, файл информации клипа, ассоциированный с файлом 2D, называется "2D файлом информации клипа", и файл информации клипа, ассоциированный с файлом DEP, называется "файлом информации клипа зависимой точки обзора". Кроме того, когда файл DEP включает в себя видеопоток правой точки обзора, соответствующий файл информации клипа зависимой точки обзора называется "файлом информации клипа правой точки обзора". Когда файл DEP включает в себя поток карты глубины, соответствующий файл информации клипа зависимой точки обзора называется "файлом информации клипа карты глубины".
<Файл потока>
Ниже приведено подробное описание файла потока.
В файле потока содержится одна или более последовательностей пакетов источника. Пакет источника представляет собой пакет TS, к которому прикреплен 4-байтный TP_Extra_Header. TP_Extra_Header состоит из 2-х битного индикатора разрешения копирования и 30-ти битного ATS (ШВП, штамп времени прихода). ATS, включенный в TP_Extra_Header, обозначает время прихода при передаче в режиме реального времени, при котором обеспечивается изохронность.
Среди таких последовательностей пакетов источника последовательность пакетов источника, штампы времени которых являются непрерывными по оси времени тактовой частоты времени прихода (ATC, ТВП), называется "последовательностью ATC". Последовательность ATC представляет собой последовательность пакетов источника, где Arrival_Time_Clocks, к которым обращается Arrival_Time_Stamps, включенную в последовательность ATC, не включает в себя "прерывания основания времени прихода". Другими словами, последовательность ATC представляет собой последовательность пакетов источника, где Arrival_Time_Clocks, к которым обращается Arrival_Time_Stamps, включенные в последовательность ATC, являются непрерывными. По этой причине каждый пакет источника, составляющий последовательность ATC, подвергают непрерывному процессу восстановления данных из пакетов для пакета источника и непрерывному процессу фильтрации пакета, в то время как счетчик тактовой частоты подсчитывает импульсы тактовой частоты времени прихода устройства воспроизведения.
В то время как последовательность ATC представляет собой последовательность пакетов источника, последовательность пакетов TS, временные штампы которых являются непрерывными по временной оси STC, называется "последовательностью STC". Последовательность STC представляет собой последовательность пакетов TS, которые не включают в себя "прерывания основания системной тактовой частоты", которые основаны на STC (СТЧ, системная тактовая частота), которая представляет стандартное системное время для TS. Присутствие прерываний основания системной тактовой частоты обозначается "discontinuity_indicator", который переводят в состояние "включено", когда discontinuity_indicator содержится в пакете PCR, который переносит PCR (СТП, ссылку на тактовую частоту программы), к которой обращается декодер, для получения STC. Последовательность STC представляет собой последовательность пакетов TS, временные штампы которых являются непрерывными по временной оси STC. Поэтому, каждый пакет TS, составляющий последовательность STC, подвергают непрерывной обработке декодирования, выполняемой декодером, который предусмотрен в устройстве воспроизведения, в то время как счетчик тактовой частоты подсчитает системную тактовую частоту устройства воспроизведения.
Кроме того, последовательность пакетов, сохраненная в файле потока, содержит информацию управления пакетом (PCR, PMT, PAT), определенную в соответствии с европейским стандартом цифровой широковещательной передачи, как информацию для управления и администрирования множеством типов потоков PES.
PCR (СТП, ссылка на тактовую частоты программы) содержит информацию времени STC, соответствующую ATS, которая обозначает время, когда пакет PCR передают в декодер, для достижения синхронизации между ATC (тактовая частота времени прихода), которая представляет собой ось времени ATS, и STC (системная тактовая частота), которая представляет собой ось времени для PTS и DTS.
В PMT (ТКП, таблица карты программы) сохраняют PID в потоках видеоданных, аудиоданных, графических данных и т.п., содержащихся в файле транспортного потока, и информацию атрибута потоков, соответствующих PID. PMT также имеет различные дескрипторы, относящиеся к TS. Дескрипторы имеют такую информацию, как информация управления копированием, представляющую, разрешено или нет копирование AV клипа.
PAT (ТАП, таблица ассоциации программы) представляет PID для PMT, используемых в TS, и зарегистрирована по размещению PID самого PAT.
Такие PRC, PMT и PAT в европейском стандарте цифровой широковещательной передачи имеют роль определения частичных транспортных потоков, составляющих одну программу широковещательной передачи (одна программа). Это позволяет устройству воспроизведения обеспечить декодирование TS декодером, как если бы он работал с частичным TS, составляющим одну программу широковещательной передачи, соответствующую европейскому стандарту цифровой широковещательной передачи. Эта структура направлена на поддержку совместимости между устройствами воспроизведения носителя записи и устройствами-терминалами, соответствующими европейскому стандарту цифровой широковещательной передачи. Среди TS такой TS, который находится на основной оси множественного пути, называется "основным TS"; и TS, который находится на основной оси подпути, называется "вспомогательным TS".
На фиг. 8A показана внутренняя структура основного TS. На фиг. 8B показана внутренняя структура вспомогательного TS. Как показано на фиг. 8A, основной TS включает в себя один видеопоток основной точки обзора, 32 потока PG основной точки обзора, 32 потока IG основной точки обзора и 32 аудиопотока. Как показано на фиг. 8B, вспомогательный TS включает в себя один видеопоток зависимой точки обзора, 32 потока PG зависимой точки обзора и 32 потока IG зависимой точки обзора.
Далее будет описана внутренняя структура TS.
На фиг. 9A и 9B более подробно иллюстрируется, как видеопотоки сохраняют в последовательностях пакета PES. В первом ряду на фиг. 9A показана последовательность видеокадров видеопотока. Во втором ряду показана последовательность пакета PES. В третьем ряду показана последовательность пакета TS, полученная в результате преобразования последовательности пакета PES. Как показано стрелками yg1, yg2, yg3 и yg4, видеопоток состоит из множества модулей представления видеоизображения (изображение I, изображение B, изображение P). Видеопоток делят на отдельные изображения, и каждое изображение сохраняют в полезной нагрузке пакета PES. Каждый пакет PES имеет заголовок PES, в котором содержится PTS (штамп времени представления), который представляет собой время отображения изображения, сохраненного в полезной нагрузке пакета PES, и DTS (штамп времени декодирования), который представляет собой время декодирования изображения, сохраненного в полезной нагрузке пакета PES.
<Последовательность пакета TS>
На фиг. 9B показан формат пакетов TS. В первом ряду показана последовательность пакета TS. Во втором ряду показана последовательность пакета источника.
Как показано в первом ряду на фиг. 9B, каждый пакет TS представляет собой пакет фиксированной длины, состоящий из 4 байтов "заголовок TS", переносящих информацию, такую как PID, идентифицирующий поток, и 184 байта "полезной нагрузки TS", в которых содержатся данные. Пакеты PES разделены и сохранены в полезных нагрузках TS.
Как показано во втором ряду, к каждому пакету TS прикреплен TP_Extra_Header размером 4 байта, который преобразуют в пакет источника размером 192 байта. Такие пакеты источника размером 192 байта составляют TS. В TP_Extra_Header содержится информация, такая как ATS (Arrival_Time_Stamp). ATS представляет момент времени начала передачи, в который пакет TS должен быть передан в фильтр PID. Пакеты источника располагаются в TS, как показано в третьем ряду. Числа, последовательное приращение которых выполняют от начала TS, называются SPN (номерами пакетов источника).
<Мультиплексирование AV клипа>
На фиг. 10 схематично показано, как выполняют мультиплексирование основного TS. Вначале видеопоток основной точки обзора и аудиопоток (первый ряд) соответствующим образом преобразуют в последовательности пакетов PES (второй ряд), и, кроме того, преобразуют в последовательности пакетов источника, соответственно (третий ряд). Аналогично, поток PG левой точки обзора и поток интерактивных графических данных левой точки обзора (седьмой ряд) дополнительно преобразуют в последовательности пакета PES, соответственно (шестой ряд), и кроме того преобразуют в последовательности пакета источника, соответственно (пятый ряд). Пакеты видеоданных, аудиоданных и графических данных пакетов источника, полученные таким образом, располагают в порядке, обозначенном их ATS. Это связано с тем, что пакеты источника требуется считывать в буфер считывания в соответствии с их ATS. Основной TS состоит из этих пакетов источника, которые были расположены таким образом.
- Элементарные потоки, мультиплексируемые в TS
Элементарные потоки (ES), которые требуется мультиплексировать в эти TS, включают в себя видеопоток, аудиопоток, поток графики презентации, и поток интерактивных графических данных.
- Видеопоток
Видеопоток, определенный как поток основной точки обзора, составляет первичный видеопоток в приложениях типа "изображение в изображении". Приложение "изображение в изображении" состоит из первичного видеопотока и вторичного видеопотока. Первичный видеопоток представляет собой видеопоток, состоящий из данных приложения "изображение в изображении", которые представляют родительское изображение на экране; и вторичный видеопоток представляет собой видеопоток, состоящий из данных изображения для приложения "изображение в изображении", которые представляют дочернее изображение, которое накладывают на родительское изображение.
Данные изображения, составляющие первичный видеопоток, и данные изображения, составляющие вторичный видеопоток, сохраняют в разных запоминающих устройствах плана после декодирования. Запоминающее устройство плана, в котором сохранены данные изображения, составляющие вторичный видеопоток, имеет в первой половине структурный элемент (масштабирование и установка положения), который выполняет изменение масштабирования данных изображения, составляющих вторичный видеопоток, и установку координат отображения данных изображения, составляющих вторичный видеопоток.
- Аудиопоток
Аудиопоток классифицируют на первичный аудиопоток и вторичный аудиопоток. Первичный аудиопоток представляет собой аудиопоток, который должен быть основным звуком, когда выполняют воспроизведение со смешиванием; и вторичный аудиопоток представляет собой аудиопоток, который должен представлять собой вспомогательные аудиоданные при выполнении воспроизведения со смешиванием. Вторичный аудиопоток включает в себя информацию для понижающей дискретизации для смешивания, и информацию для управления усилением. Аудиопоток кодируют со сжатием, используя такой способ, как Dolby AC3, Dolby digital Plus, MLP, DTS, DTS-HD или Линейный PCM.
- Поток графического представления (PG)
Поток PG представляет собой поток графических данных, который может быть тесно синхронизирован с видеоизображением, используя магистральную передачу в декодере, и может быть приспособлен для представления субтитров. Поток PG разделяют на два типа: 2D поток PG; и стереоскопический поток PG. Стереоскопический поток PG дополнительно разделяют на два типа: поток PG левой точки обзора; и поток PG правой точки обзора. Один из потока PG левой точки обзора и потока PG правой точки обзора, который обозначен индикатором основной точки обзора, становится потоком PG основной точки обзора, и другой, который не обозначен индикатором основной точки обзора, становится потоком PG зависимой точки обзора.
Причина использования стереоскопического потока PG вместе с 2D потоком PG, состоит в следующем. Например, когда поток PG представляет знаки субтитров, знаки субтитров в виде спереди отображаются в режиме 2D, и знаки субтитров для левого глаза и правого глаза, отображаемые в режиме 3D-LR, должны отличаться друг от друга. Поэтому один графический поток изображения в виде спереди отображают в режиме 2D, и два графических потока (поток PG левой точки обзора и поток PG правой точки обзора) отображают в режим 3D-LR. Аналогично, в режиме 3D глубины, воспроизводят изображение в виде спереди и поток серой шкалы, обозначающий информацию глубины. 2D + смещение (2D совместимый) поток и поток 3D-LR не должны быть предоставлены в смешанном виде.
При этом возможно определить вплоть до 32 2D потоков PG, до 32 потоков PG основной точки обзора и до 32 потоков PG зависимой точки обзора. Таким потокам PG прикрепляют различные идентификаторы пакета. Таким образом, становится возможным обеспечить воспроизведение требуемого потока PG среди этих потоков PG, устанавливая идентификатор пакета одного из пакетов, который должен быть воспроизведен в модуле демультиплексирования.
Поток PG левой точки обзора и поток PG правой точки обзора должны иметь одинаковый атрибут языка таким образом, чтобы даже если пользователь переключает способ отображения, отображались бы субтитры, имеющие одинаковое содержание. Таким образом, предполагается, что 2D субтитры и 3D субтитры соответствуют друг другу в соответствии один к одному, и что 2D субтитры, не имеющие соответствующих 3D субтитров, или 3D субтитры, не имеющие соответствующих 2D субтитров, не должны быть представлены. То есть, для предотвращения запутывания пользователя, при переключении способа отображения в такой структуре выбирают потоки, которые, соответственно, соответствуют 2D и 3D режимам отображения, когда устанавливают один номер потока. В таком случае один номер потока должен соответствовать одному и тому же атрибуту языка так, чтобы содержание субтитров для 2D и LR было одинаковым.
Тесная синхронизация с видеоизображением достигается, благодаря принятому здесь декодированию с использованием конвейерной обработки. Таким образом, использование потока PG не ограничивается воспроизведением знаков, таких как знаки субтитров. Например, возможно отобразить знак - эмблему кинофильма, которая перемещается синхронно с видеоизображением. Таким образом, любое воспроизведение графического изображения, для которого требуется тесная синхронизации с видеоизображением, может быть принято как цель воспроизведения потоком PG.
Поток PG представляет собой поток, который не мультиплексирован в транспортный поток, но представляет субтитры. Поток текстовых субтитров (также называется потоком textST) также представляет собой поток такого рода. Поток textST представляет собой поток, который представляет содержание субтитров по кодам символов.
Поток PG и текстовый поток субтитров зарегистрированы как один и тот же тип потока при одной и той же регистрации последовательности потока, без различия между ними по типу. И затем во время выполнения процедуры выбора потока, поток PG или поток воспроизводимых текстовых субтитров определяют в соответствии с порядком потоков, зарегистрированных в последовательности регистрации потока. Таким образом, потоки PG и потоки текстовых субтитров подвергают процедуре выбора потока без различия между ними по типу. Поэтому, их обрабатывают как принадлежащие к одному и тому же типу потока, называемому "поток субтитров PG_text".
Поток субтитров PG_text для 2D воспроизводят в режиме "1 план + смещение". Ниже 2D поток субтитров PG_text называется потоком субтитров PG_text "1 план + смещение".
- Поток интерактивных графических данных (IG)
Поток IG представляет собой поток графических данных, который содержит информацию для интерактивной операции, может отображать меню о ходе воспроизведения видеопотока и отображать всплывающие меню в соответствии с операциями пользователя.
Как и в случае с PG потоком, поток IG классифицируют на 2D поток IG и стереоскопический поток IG. Стереоскопический поток IG классифицируют на поток IG левой точки обзора и поток IG правой точки обзора. Один из потока IG левой точки обзора и потока IG правой точки обзора, который указан индикатором основной точки обзора, становится потоком IG основной точки обзора, и другой, который не указан индикатором основной точки обзора, становится потоком IG зависимой точки обзора. При этом возможно определить, вплоть до 32 2D потоков IG, вплоть до 32 потоков IG основной точки обзора и вплоть до 32 потоков IG зависимой точки обзора. К этим потокам IG прикрепляют разные идентификаторы пакета. Таким образом, становится возможным обеспечить воспроизведение требуемого потока IG среди этих IG потоков, устанавливая идентификатор пакета одного из пакетов, предназначенных для воспроизведения в модуле демультиплексирования.
Информация управления IG потоком (называемая "сегментом интерактивного управления") включает в себя информацию (user_interface_model), которая определяет модель интерфейса пользователя. Лицо, ответственное за процесс авторского создания мультимедийных продуктов может установить вариант отображения либо "всегда включено" или "включено всплывающее меню" путем установки информации модели интерфейса пользователя, при этом, при установке отображения "всегда включено" меню отображается во время воспроизведения видеопотока, и при установке отображения "всплывающее меню включено", всплывающие меню отображаются в соответствии с операцией пользователя.
Информация интерактивной операции в IG потоке имеет следующее значение. Когда виртуальное устройство Java передает инструкции в механизм управления воспроизведением, который является активным при управлении воспроизведением, для начала воспроизведения списка воспроизведения в соответствии с запросом из приложения, виртуальное устройство Java, после инструктирования механизма управления воспроизведением на начало воспроизведения, возвращает ответ в приложение для уведомления о том, что воспроизведение списка воспроизведения началось. То есть, в то время как воспроизведение списка воспроизведения механизмом управления воспроизведения продолжается, виртуальное устройство Java не входит в состояние ожидания окончания выполнения. Это связано с тем, что виртуальное устройство Java представляет собой то, что называют исполнителем "типа управляемого событиями", и позволяет выполнять операцию, в то время как механизм управления воспроизведением воспроизводит список воспроизведения.
С другой стороны, во время работы в режиме HDMV, интерпретатор команд инструктирует механизм управления воспроизведением на воспроизведение списка воспроизведения, он переходит в состояние ожидания до тех пор, пока не закончится выполнение воспроизведения списка воспроизведения. В соответствии с этим, модуль выполнения команды не может выполнить интерактивный процесс, пока продолжается воспроизведение списка воспроизведения механизмом управления воспроизведением. Графический декодер выполняет интерактивную операцию вместо интерпретатора команд. Таким образом, для обеспечения выполнения графическим декодером интерактивной операции, в IG поток внедряют информацию управления, определяющую интерактивные операции, для которых используются кнопки.
- Режимы отображения, разрешенные для каждого типа потока
Различные 3D режимы отображения разрешены для каждого типа потока. В режиме 3D отображения первичного видеопотока разрешены два режима воспроизведения, а именно, режим представления B-D и режим представления B-B. Режим презентации B-B разрешен для первичного видеопотока, только когда включено всплывающее меню. Тип первичного видеопотока, когда выполняется воспроизведение в режиме представления B-D, называется "типом стереоскопического воспроизведения B-D". Тип первичного видеопотока, во время воспроизведения в режиме представления B-B, называется "типом стереоскопического воспроизведения B-B".
В режиме 3D отображения потока PG, разрешены три режима воспроизведения, а именно, режим представления B-D, режим "1 план + смещение" и режим "1 план + нулевое смещение". Режим "1 план + нулевое смещение" разрешен для потока PG, только когда включено всплывающее меню. Тип потока PG, при выполнении воспроизведения в режиме представления B-D, называется "типом стереоскопического воспроизведения". Тип потока PG и поток субтитров PG_text, когда выполняют воспроизведение в режиме "1 план + смещение", называется типом "1 план + смещение". Тип потока PG и потока субтитров PG_text, при выполнении воспроизведения в режиме "1 план + нулевое смещение", называется типом "1 план + нулевое смещение".
В режиме 3D воспроизведения потока текстовых субтитров разрешены два режима воспроизведения, а именно, режим "1 план + смещение" и режим "1 план + нулевое смещение". Режим "1 план + нулевое смещение" разрешен для потока текстовых субтитров только, когда всплывающее меню включено.
В режиме 3D отображения IG потока разрешены три режима воспроизведения, а именно, режим представления B-D, режим "1 план + смещение", и режим "1 план + нулевое смещение". Режим "1 план + нулевое смещение" разрешен для IG потока только, когда включено всплывающее меню. В следующем описании предполагается, за исключением случаев, когда указано другое, что изображение в изображении нельзя использовать во время воспроизведения в режиме 3D воспроизведения. Это связано с тем, что изображением в изображении и режим 3D воспроизведения требуют двух планов видеоизображения для сохранения несжатых данных изображения. Также в следующем описании предполагается, за исключением, если не будет указано другое, что смешение звуков нельзя использовать в режиме 3D воспроизведения.
Далее будут описаны внутренние структуры основного TS и вспомогательного TS. На фиг. 11A и 11B показаны внутренние структуры основного TS и вспомогательного TS.
На фиг. 11A показана внутренняя структура основного TS. Основной TS состоит из следующих пакетов источников.
Пакет источника, имеющий ID пакета "0x0100", составляет таблицу program_map (PMT). Пакет источника, имеющий ID пакета "0x0101", составляет PCR.
Последовательность пакетов источника, имеющих ID пакета "0x1011", составляет первичный видеопоток.
Последовательности пакетов источников, имеющих ID пакета "0x1220"-"0x123F", составляют 32 PG потока основной точки обзора.
Последовательности пакетов источника, имеющих ID пакета "0x1420"-"0x143F", составляют 32 IG потока основной точки обзора.
Последовательности пакетов источника, имеющих ID пакета "0x1100"-"0x111F", составляют первичные аудиопотоки.
Путем установления идентификаторов пакета одного из этих пакетов источника в модуле демультиплексирования становится возможным обеспечить мультиплексирование требуемого элементарного потока среди множества элементарных потоков в основные транспортные потоки, которые должны быть подвергнуты демультиплексированию и переданы в декодер.
На фиг. 11B показана внутренняя структура вспомогательного TS. Вспомогательный TS состоит из следующих пакетов источника.
Последовательность пакетов источника, имеющая ID пакета "0x1012", составляет видеопоток зависимой точки обзора. Последовательности пакетов источников, имеющие ID пакета "0x1240"-"0x125F", составляют 32 PG потока зависимой точки обзора.
Последовательности пакетов источника, имеющие ID пакета "0x1440"-"0x145F", составляют 32 IG потока зависимой точки обзора.
<Видеопоток>
На фиг. 12 схематично показана структура данных видеопотока.
Видеопоток состоит из множества GOP. Оперативный доступ и редактирование движущихся изображений могут быть выполнены для видеопотока, когда GOP представляет собой основные модули в процессе кодирования. Каждая GOP состоит из одного или более модулей видеодоступа. Модули видеодоступа представляют собой модули, в каждом из которых сохранены кодированные данные изображения. В структуре кадра сохраняют данные одного кадра. В структуре поля сохраняют данные одного поля. Данные изображения I сохраняют в каждом из модулей видеодоступа, которые составляют начало каждой GOP. В частности, заголовок последовательности, заголовок изображения, вспомогательные данные и данные сжатого изображения сохраняют в каждом из модулей видеодоступа, которые составляют начало каждой GOP. Заголовок последовательности представляет собой заголовок, в котором сохраняют общую информацию в каждой из GOP, и сохраняют информацию о разрешающей способности, частоте кадров, соотношении размеров, скорости передачи битов и т.п. Заголовок изображения представляет собой заголовок, в котором содержится информация, необходимая для кодирования изображения, такая как способ, используемый для кодировании всех изображений. Вспомогательные данные представляют собой дополнительную информацию, которая не существенна для декодирования сжатых данных. В качестве примеров вспомогательных данных существует информация закрытых символов субтитров, которую отображают в TV синхронно с видеоизображением, и информация кода времени. Сжатые данные изображения представляют собой сжатые и кодированные данные изображения. В каждом модуле доступа, кроме начала каждой GOP, как в случае каждого модуля доступа, составляющего начало GOP, за исключением случая, когда заголовок последовательности не включен, сохраняют заголовок изображения, вспомогательные данные и сжатые данные изображения. Кроме того, внутренние структуры заголовка последовательности, заголовка изображения, вспомогательные данные и данные сжатого изображения отличаются друг от друга в зависимости от способа кодирования видеоизображения. Например, в случае MPEG-4 AVC, заголовок последовательности, заголовок изображения и вспомогательный заголовок соответствуют SPS (УПП, установленному параметру последовательности), PPS (УПИ, установленному параметру изображения) и SEI (ВИУ, вспомогательной информации улучшения), соответственно.
Как видеопоток основной точки обзора, так и видеопоток зависимой точки обзора имеют описанную выше структуру GOP. Верхнее изображение GOP видеопотока основной точки обзора представляет собой изображение IDR или изображение I, которое не является IDR. Когда видеопоток зависимой точки обзора представляет собой видеопоток правой точки обзора, верхнее изображение GOP видеопотока зависимой точки обзора представляет собой изображение правой точки обзора, которое вместе с соответствующим верхним изображением GOP видеопотока основной точки обзора, представляет тот же кадр или поле 3D видеоизображения, и которое представляет собой изображение видеопотока правой точки обзора, которому назначен тот же PTS, что и у верхнего изображения GOP видеопотока основной точки обзора. Когда видеопоток зависимой точки обзора представляет собой поток карты глубины, верхнее изображение GOP видеопотока зависимой точки обзора представляет собой изображение, содержащее карту глубины соответствующего изображения верхнего GOP видеопотока основной точки обзора, и представляет собой изображение, которому назначен тот же PTS, что и для верхнего изображения GOP видеопотока основной точки обзора. Пара VAU, которые включают в себя изображения, для которых PTS и DTS являются одинаковыми между видеопотоком основной точки обзора и видеопотоком зависимой точки обзора, называется "3D VAU". Для последовательности заголовков в паре GOP видеопотока основной точки обзора и видеопотока зависимой точки обзора, принадлежащих одному 3D VAU, назначают одинаковую частоту кадров, одинаковую разрешающую способность и одинаковое соотношение размеров.
На фиг. 13 показана структура данных информации переключения декодирования, сохраненная в области вспомогательных данных в каждом модуле видеодоступа. Информация переключения декодера представляет собой информацию, которая обеспечивает простое определение декодером в устройстве воспроизведения следующего модуля видеодоступа для декодирования, и включена в каждый модуль видеодоступа, как в видеопоток основной точки обзора, так и видеопоток зависимой точки обзора. Как описано ниже, декодер поочередно декодирует видеопоток основной точки обзора и видеопоток зависимой точки обзора в модулях, представляющих модули видеодоступа. В это время декодер обычно устанавливает следующий модуль видеодоступа, предназначенный для декодирования, совмещенным по времени, показанным DTS, назначенным для каждого модуля видеодоступа. Множество типов декодеров, однако, продолжают декодировать модули видеодоступа по порядку, игнорируя DTS. Для таких декодеров предпочтительно, чтобы каждый модуль видеодоступа включал в себя информацию переключения декодирования в дополнение к DTS.
В верхнем ряду на фиг. 13 показана структура информации переключения декодирования. В нижнем ряду на фиг. 13 показана структура данных модуля видеодоступа. В каждом модуле видеодоступа информация переключения декодирования сохранена в определенной области среди вспомогательных данных (когда видеоданные кодируют, используя MPEG-4 AVC, информация переключения декодирования сохранена в SEI).
Информация переключения декодирования состоит из типа модуля последующего доступа, размера модуля последующего доступа и счетчика декодирования.
Тип модуля последующего доступа представляет собой информацию, представляющую, является ли модуль видеодоступа, который должен быть декодирован следующим, видеопотоком основной точки обзора или видеопотоком зависимой точки обзора. Когда тип модуля последующего доступа представляет значение "1", это означает, что модуль видеодоступа, который должен быть декодирован следующим, представляет собой видеопоток основной точки обзора. Когда тип последующего модуля доступа представляет значение "2", модуль видеодоступа, который должен быть декодирован следующим, представляет собой видеопоток зависимой точки обзора. Когда тип модуля последующего видеодоступа обозначает значение "0", это означает, что текущий модуль видеодоступа расположен в конце потока и при этом отсутствует модуль видеодоступа, который должен быть декодирован следующим.
Размер модуля последующего доступа представляет собой информацию, представляющую размер модуля видеодоступа, который должен быть декодирован следующим. Если размер модуля видеодоступа, который должен быть декодирован следующим, неизвестен, тогда требуется идентифицировать размер этого модуля видеодоступа путем анализа его структуры при выделении этого модуля видеодоступа в недекодированном состоянии из соответствующего буфера. Однако, используя размер модуля последующего доступа, видеодекодер может идентифицировать размер последующего модуля видеодоступа без анализа его структуры. Это упрощает обработку для декодера при выделении модуля доступа, включающего в себя изображение в недекодированном состоянии, из соответствующего буфера.
В случае, когда первому изображению I для GOP в видеопотоке основной точки обзора назначают счетчик "0" декодирования, модулям видеодоступа видеопотоков основной и зависимой точки обзора, следующим после этого изображения I, назначают счетчики декодирования, которые представляют собой значения, представляющие последовательное приращение по порядку, в котором их декодируют, как показано на фиг. 14A.
Использование такой информации (счетчиков декодирования) позволяет выполнить правильную обработку для устранения ошибки, которая возникает, когда модуль видеодоступа невозможно считать по некоторым причинам. Например, предположим случай, когда третий модуль видеодоступа видеопотока основной точки обзора (изображение BR) нельзя считать, из-за ошибка считывания, как показано на фиг. 14A. В этом случае, если счетчики декодирования не будут назначены модулям видеодоступа, третий модуль доступа видеопотока зависимой точки обзора (изображение B) относится к третьему модулю видеодоступа видеопотока основной точки обзора. Это может привести к декодированию изображения с шумами (декодирование с ошибкой). И наоборот, если значение счетчика декодирования, назначенного для второго модуля видеодоступа видеопотока зависимой точки обзора (изображение P), было сохранено, значение счетчика декодирования, назначенное для последующего модуля видеодоступа, может быть прогнозировано, в результате чего декодер может выполнять правильную обработку для устранения ошибки. В примере по фиг. 14A, счетчик декодирования, назначенный для второго модуля видеодоступа видеопотока зависимой точки обзора (изображение P), представляет собой значение "4", и после этого счетчика "4" декодирования должен следовать счетчик "5" декодирования. Однако, счетчик декодирования, назначенный для следующего считываемого модуля видеодоступа, а именно, четвертого модуля видеодоступа видеопотока основной точки обзора (изображение P), представляет значение "7". Видеодекодер, таким образом, может определять, что один модуль видеодоступа был пропущен. В соответствии с этим, при определении, что третий модуль видеодоступа видеопотока зависимой точки обзора (изображение B) не имеет изображения для ссылки на него, видеодекодер может, например, пропустить декодирование этого модуля видеодоступа.
В качестве альтернативы, как показано на фиг. 14B, последовательность счетчиков декодирования может быть изолированной на основе для каждого потока. В этом случае также, когда модуль видеодоступа, который был декодирован самым последним, представляет собой видеопоток основной точки обзора, становится возможным прогнозировать, что счетчик декодирования, назначенный для последующего модуля видеодоступа, мог бы быть таким же, как и счетчик декодирования, назначенный для модуля видеодоступа, который был декодирован самым последним. С другой стороны, когда модуль видеодоступа, который был декодирован самым последним, принадлежит видеопотоку с зависимой точкой обзора, становится возможным прогнозировать, что счетчик декодирования, назначенный для последующего модуля видеодоступа, мог бы быть получен путем добавления одного из счетчика декодирования, назначенного для модуля видеодоступа, который был декодирован самым последним. Это также позволяет выполнить правильную обработку для устранения ошибки.
<Размещение с перемежением данных мультиплексированного потока>
Для воспроизведения без стыка 3D видеоизображений важным является физическое размещение видеопотока основной точки обзора и потока видеопотока зависимой точки обзора на носителе 100 записи. Такое "воспроизведение без стыка" относится к воспроизведению видео и аудиоданных из данных мультиплексированного потока без разрывов.
На фиг. 15 показана схема, представляющая физическое размещение носителя 100 записи группы блока данных, принадлежащей основному TS, первому вспомогательному TS и второму вспомогательному TS, соответственно. "Блок данных" относится к последовательности данных, записанной в непрерывной области на носителе 100 записи, то есть, множеству физически непрерывных секторов. Поскольку физические адреса и логические адреса на носителе 100 записи, по существу, являются одинаковыми, LBN в пределах каждого блока данных также являются непрерывными. В соответствии с этим, привод BD-ROM устройства 200 воспроизведения может последовательно считывать блок данных, без необходимости выполнения поиска блоком оптической головки. Далее блоки L1, L2, L3, … данных, принадлежащие основному TS, называются "блоками данных основной точки обзора", и блоки R1, R2, R3, …, и D1, D2, D3 данных, принадлежащие вспомогательному TS, называются "блоками данных зависимой точки обзора". В частности, блоки R1, R2, R3, … данных, принадлежащие первому вспомогательному TS, называются "блоками данных правой точки обзора", и блоки D1, D2, D3, … данных, принадлежащие второму вспомогательному TS, называются "блоками данных карты глубины". Как показано на фиг. 15, группа блока данных записана непрерывно вдоль дорожки 1601 на носителе 100 записи. Кроме того, блоки L1, L2, L3, … данных основной точки обзора и блоки R1, R2, R3, …, данных правой точки обзора и блоки D1, D2, D3, … данных карты глубины расположены поочередно один за другим. Такой тип размещения блоков данных называется "размещением с перемежением".
При размещении с перемежением в соответствии с первым вариантом выполнения настоящего изобретения протяженность времени ATC является одинаковой между тремя типами непрерывных блоков данных. Например, на фиг. 15, верхний блок D1 данных карты глубины, верхний блок R1 данных правой точки обзора и верхний блок L1 данных основной точки обзора являются непрерывными. Протяженность времени ATC является одинаковой между этими блоками D1, R1 и L1 данных. В этом контексте "тактовая частота времени прихода (ATC)" относится к тактовой частоте, которая действует как стандартная для ATS. Кроме того, "протяженность времени ATC" определена по значению ATC и представляет протяженность ATC, назначенной для пакетов источника в протяженности, то есть, интервал времени от ATS пакета источника от верхней части протяженности до ATC пакета источника в верхней части следующей протяженности. Другими словами, время ATC протяженности является тем же, что и время, требуемое для передачи всех пакетов источника в протяженности из буфера считывания в устройстве 102 воспроизведения в целевой декодер системы. "Буфер считывания" представляет собой запоминающее устройство буфера в устройстве 200 воспроизведения, где блоки данных, считываемые с носителя 100 записи, временно сохраняют перед передачей в целевой декодер системы.
Между тремя типами непрерывных блоков данных, время ATC протяженности которых является одинаковым, периоды воспроизведения могут соответствовать друг другу, и время воспроизведения видеопотоков может быть одинаковым. Например, на фиг. 15, между тремя блоками D1, R1 и L1 данных, периоды воспроизведения соответствуют друг другу, и времена воспроизведения видеопотоков являются одинаковыми. Аналогично, в последующих группах блоков данных, между тремя типами непрерывных блоков данных, блоки D2, R2 и L2 данных, время ATC протяженности которых одинаково, периоды воспроизведения могут соответствовать друг другу, и время воспроизведения видеопотоков может быть одинаковым.
Кроме того, при размещении с перемежением, в соответствии с первым вариантом выполнения настоящего изобретения, три непрерывных блока данных с одинаковым временем ATC протяженности расположены в порядке блока карты глубины, блока данных правой точки обзора и блока данных основной точки обзора, то есть, начиная от наименьшей величины данных. Например, на фиг. 15, изображение, включенное в верхний блок R1 данных правой точки обзора, сжимают, используя изображение, включенное в верхний блок L1 данных основной точки обзора, в качестве опорного изображения. В соответствии с этим, размер Sext2[1] верхнего блока R1 данных правой точки обзора равен или меньше, чем размер Sext1[1] верхнего блока L1 данных основной точки обзора: Sext2[1]≤Sext1[1]. С другой стороны, количество данных на пиксель в карте глубины, то есть, количество битов значения глубины, обычно меньше, чем количество данных на пиксель изображения, включенного в видеопоток основной точки обзора, то есть, сумма количества битов значения координат цветности и значения α. Кроме того, в отличие от второго вспомогательного TS, основной TS включает в себя другие элементарные потоки, такие как первичный аудиопоток, в дополнение к первичному видеопотоку. Поэтому, на фиг. 15 размер верхнего блока D1 данных карты глубины, Sext3[1], меньше, чем или равен размеру верхнего блока L1 данных основной точки обзора, Sext1[1]: Sext3[1]≤Sext1[1]. Поэтому, на фиг. 15, верхний блок D1 данных карты глубины, верхний блок R1 данных правой точки обзора и верхний блок L1 данных основной точки обзора записаны в этом порядке. То же самое относится к следующим трем последовательным протяженностям, D2, R2 и L2.
VAU, расположенные в верхней части блоков данных с одинаковым временем ATC протяженности, принадлежат тому же 3D VAU, и, в частности, включают в себя верхнее изображение GOP, представляющей одинаковое 3D видеоизображение. Например, на фиг. 15, среди трех непрерывных блоков Dn, Rn, Ln (n=1, 2, 3, …) данных с одинаковым временем ATC протяженности, верхний блок Dn данных карты глубины включает в себя изображение I для потока карты глубины, верхний блок Rn данных правой точки обзора включает в себя изображение P для видеопотока правой точки обзора, и верхний блок Ln данных основной точки обзора включает в себя изображение I для видеопотока основной точки обзора. Изображение I для потока карты глубины представляет карту глубины для 2D видеоизображения, представленного изображением I для видеопотока основной точки обзора. Изображение P для видеопотока правой точки обзора представляет правую точку обзора, когда 2D видеоизображение, представленное изображением I в видеопотоке основной точки обзора, используется как левая точка обзора. В частности, изображение P сжимают, используя изображение I для видеопотока основной точки обзора, как опорное изображение. В соответствии с этим, устройство 200 воспроизведения в режиме 3D воспроизведения может начать воспроизведение 3D видеоизображений от любого набора блоков Dn, Rn и Ln данных.
<Значение разделения данных мультиплексированного потока на блоки данных>
Для воспроизведения 3D видеоизображения без стыков с носителя 100 записи, устройство 200 воспроизведения должно параллельно обрабатывать основной TS и вспомогательный TS. Емкость буфера считывания, используемого при такой обработке, однако, обычно ограничена. В частности, существует предел по количеству данных, которые могут быть последовательно считаны в буфер считывания с носителя 100 записи. В соответствии с этим, устройство 200 воспроизведения должно считывать участки основного TS и вспомогательного TS с одинаковым временем ATC протяженности путем деления на секции.
На фиг. 16A показана схема, представляющая размещение основного TS 1701 и вспомогательного TS 1702, записанных отдельно и последовательно на диске BD-ROM. Когда устройство 200 воспроизведения обрабатывает основной TS 1701 и вспомогательный TS 1702 параллельно, как показано стрелками (1) - (4) на сплошных линиях на фиг. 16A, привод BD-ROM поочередно считывает части основного TS 1701 и вспомогательного TS 1702, которые имеют одинаковое время ATC протяженности. В это время, как показано стрелками из пунктирных линий на фиг. 16A, во время обработки считывания привода 121 BD-ROM, привод 121 BD-ROM должен выполнять значительные изменения в области, предназначенной для считывания диска BD-ROM. Например, после считывания верхней части основного TS 1701, показанной стрелкой (1), привод 121 BD-ROM временно прекращает операцию считывания, выполняемую блоком оптической головки, и повышает скорость вращения диска BD-ROM. Таким образом, привод 121 BD-ROM быстро перемещает сектор на диске BD-ROM, на котором записана верхняя часть вспомогательного TS1702, показанного стрелкой (2), в положение блока оптической головки. Эта операция временно прекращает считывание, выполняемое блоком оптической головки, и во время остановки считывания, положение оптической головки над следующей областью, которая должна быть считана, называется "переходом". Пунктирные линии со стрелками, показанные на фиг. 16A, обозначают протяженность переходов, необходимых во время процесса считывания. Во время каждого периода перехода обработка считывания блока оптической головки прекращается, и выполняется только обработка декодирования, выполняемая декодером. В результате, трудно обеспечивать поддержку обработки считывания согласованно с процессом декодирования, и, таким образом, трудно стабильно поддерживать воспроизведение без стыков.
На фиг. 16B показана схема, представляющая размещение блоков B[0], B[1], B[2], … данных основной точки обзора и блоков D[0], D[1], D[2], … данных зависимой точки обзора, записанных поочередно на носителе 100 записи в соответствии с первым вариантом выполнения настоящего изобретения. Как показано на фиг. 16B, основной TS и вспомогательный TS разделены на множество блоков данных и расположены поочередно. В этом случае, во время воспроизведения 3D видеоизображений, устройство 200 воспроизведения считывает блоки B[0], D[0], B[1], D[1], … данных в порядке от верхней части, как показано стрелками (1)-(4) на фиг. 16B. Путем простого считывания этих блоков данных по порядку, устройство 200 воспроизведения может плавно считывать основной TS и вспомогательный TS поочередно. В частности, поскольку переход не выполняют во время обработки считывания, можно стабильно поддерживать воспроизведение без стыков 3D видеоизображений.
<Значимость предоставления непрерывных блоков данных с одинаковым временем ATC протяженности>
В компоновке с перемежением, показанной на фиг. 15, все три типа непрерывных блоков Dn, Rn и Ln данных имеют одинаковое время ATC протяженности. Другими словами, для этих протяженностей различие между ATS от пакета источника в верхней части каждой протяженности до пакета источника в верхней части следующей протяженности является одинаковым (однако, при расчете различия учитывают возникновение циклического возврата ATC). В этом случае, целевой декодер системы в устройстве 200 воспроизведения считывает все пакеты TS, включенные в блок Ln данных основной точки обзора и блок Dn или Rn данных зависимой точки обзора в пределах одинаковой длины времени измеренного с помощью ATC. В соответствии с этим, целевой декодер системы может легко синхронизировать обработку декодирования TS пакетов между потоком основной точки обзора и потоком зависимой точки обзора, в частности, во время воспроизведения с перерывом.
<Значимость соседних блоков данных, имеющих эквивалентное время воспроизведения>
На фиг. 17A показана схема, представляющая путь воспроизведения, когда время ATC протяженности и время воспроизведения видеопотока отличаются между блоками данных основной точки обзора и блоками данных зависимой точки обзора, которые расположены рядом друг с другом. В примере, показанном на фиг. 17, время воспроизведения блока B[0] данных основной точки обзора составляет четыре секунды, и время воспроизведения блока D[0] данных зависимой точки обзора составляет одну секунду. В этом случае, участок видеопотока основной точки обзора, который необходим для декодирования блока D[0] данных зависимой точки обзора, имеет такое же время воспроизведения, что и блок D[0] данных зависимой точки обзора. В соответствии с этим, для экономии емкости буфера считывания в устройстве 200 воспроизведения, предпочтительно, как показано стрелкой 1810 на фиг. 17A, поочередно считывать блок B[0] данных основной точки обзора и блок D[0] данных зависимой точки обзора в буфер с одинаковой величиной времени воспроизведения, например, одна секунда одновременно. В этом случае, однако, как показано пунктирными линиями на фиг. 17A, во время обработки считывания происходит переход. В результате, становится трудно обеспечить согласованность обработки считывания с обработкой декодирования, и, таким образом, становится трудно стабильно поддерживать воспроизведение без стыков.
На фиг. 17B показана схема, представляющая путь воспроизведения, когда времена воспроизведения видеопотока являются одинаковыми между блоками данных основной точки обзора и блоками данных зависимой точки обзора, которые расположены рядом друг с другом. На носителе 100 записи в соответствии с первым вариантом выполнения настоящего изобретения, как показано на фиг. 17B, время воспроизведения видеопотока между парой соседних блоков данных является одинаковым. Например, для пары верхнего блока B[0] данных основной точки обзора и блока D[0] данных зависимой точки обзора оба времени воспроизведения видеопотока равны одной секунде, и оба времени воспроизведения видеопотока второй пары блоков B[1] и D[1] данных равны 0,7 секунды. В этом случае, во время воспроизведения 3D видеоизображений, устройство 200 воспроизведения считывает блоки B[0], D[0], B[1], D[1] данных, в порядке сверху, как показано стрелкой 1820 на фиг. 17B. Просто, таким образом, устройство 200 воспроизведения может плавно считывать основной TS и вспомогательный TS поочередно. В частности, поскольку переход не происходит во время такой обработки считывания, можно стабильно поддерживать воспроизведение 3D видеоизображений без стыков.
Следует отметить, что если время ATC протяженности является одинаковым между блоком данных основной точки обзора и блоком данных зависимой точки обзора, которые являются непрерывными, период воспроизведения между этими блокам данных может не соответствовать друг другу, и, кроме того, время воспроизведения видеопотоков может быть неодинаковым. Даже в этом случае, устройство 200 воспроизведения может плавно считывать основной TS и вспомогательный TS поочередно путем простого считывания групп блоков данных в порядке, начиная сверху, таким же образом, как показано на фиг. 17B. В частности, поскольку переходы не происходят во время такой обработки считывания, можно стабильно поддерживать воспроизведение 3D видеоизображений без стыков.
В качестве альтернативы, как показано на фиг. 17C, время ATC протяженности является одинаковым для всех протяженностей блоков данных основной точки обзора, и блоки данных зависимой точки обзора могут быть установлены одинаково с ними. При такой структуре размер протяженности мультиплексированного потока может быть установлен более легко, чем в способе, показанном на фиг. 17B при формировании данных. Кроме того, если, время ATC протяженности, которое является постоянным, будет установлено как время ATC протяженности для минимального размера протяженности (будет описан ниже), размер буфера считывания, требуемый для устройства воспроизведения 2D/3D, также может быть уменьшен.
<Поперечное связывание файлов AV потока с блоками данных>
В файловой системе для носителя 100 записи, к каждому блоку данных, принадлежащему к данным мультиплексированного потока, доступ может быть осуществлен как к простой протяженности, либо в файле 2D, или в файле DEP. Другими словами, логический адрес для каждого блока данных может быть известен из дескриптора выделения, записанного во входе файла 2D или файла DEP. В примерах, показанных на фиг. 15, дескрипторы №1, №2, №3, … выделения, включенные во вход 1610 файла в файле 2D (01000.m2ts) обозначают размеры блоков L1, L2, L3, … данных основной точки обзора и LBN их верхних частей. Дескрипторы №1, №2, №3, … выделения, включенные во вход 1620 файла в первом файле DEP (02000.m2ts) обозначают размеры блоков R1, R2, R3, … данных правой точки обзора и LBN их верхних частей. Дескрипторы №1, №2, №3, … выделения, включенные во вход 1630 файла во втором файле DEP (03000.m2ts), обозначают размеры блоков D1, D2, D3, … данных карты глубины и LBN их верхних частей.
На фиг. 18A показана схема, представляющая структуру данных 2D файла (01000.m2ts) 541. Как показано на фиг. 15, дескрипторы №1, №2, №3, … выделения во входе 1610 файла относятся к блокам L1, L2, L3 данных основной точки обзора. В соответствии с этим, как показано на фиг. 18A, доступ к блокам L1, L2, L3, … данных основной точки обзора может быть выполнен как к протяженностям EXT2D[0], EXT2D[1], EXT2D[2], … в 2D файле 541. Ниже протяженности EXT2D[0], EXT2D[1], EXT2D[2], …, принадлежащие файлу 2D, называются "2D протяженностями".
На фиг. 18B показана схема, представляющая структуру данных первого файла DEP (02000.m2ts). Как показано на фиг. 15, дескрипторы №1, №2, №3, … выделения во входе 1620 файла относятся к блокам R1, R2, R3 данных правой точки обзора. В соответствии с этим, как показано на фиг. 18B, доступ к блокам R1, R2, к R3, … данных правой точки обзора может осуществляться как к протяженностям EXT2[0], EXT2[1], EXT2[2], … в первом файле DEP 542. Ниже протяженности EXT2[0], EXT2[1], EXT2[2], …, принадлежащие файлу потока правой точки обзора, называются "протяженностями правой точки обзора".
На фиг. 18C показана схема, представляющая структуру данных второго файла DEP (03000.m2ts). Как показано на фиг. 15, дескрипторы №1, №2, №3, … выделения во входе 1630 файла относятся к блокам D1, D2, D3 данных карты глубины. В соответствии с этим, как показано на фиг. 18C, доступ к блокам D1, D2, к D3, … данных карты глубины может осуществляться, как к протяженностям EXT3[0], EXT3[1], EXT3[2], … во втором файле DEP. Ниже протяженности EXT3[0], EXT3[1], EXT3[2], … принадлежащие файлу потока карты глубины, называются "протяженностями карты глубины". Кроме того, протяженности, которые принадлежат файлу DEP, такие как протяженности правой точки обзора и протяженности карты глубины, совместно называются "протяженностями зависимой точки обзора".
Для группы блока данных, показанной на фиг. 15, файлы AV потока поперечно связаны следующим образом. Дескрипторы №1, №2, №3, … выделения, включенные во вход 1640 файла в первом файле SS (01000.ssif), учитывают пары соседних блоков данных правой точки обзора и блоков данных основной точки обзора R1+L1, R2+L2, R3+L3, …, каждая из которых представляет собой одну протяженность, обозначая размер каждой из них и LBN их верхних частей. Дескрипторы №1, №2, №3, … выделения, включенные во вход 1650 файла во втором файле SS (02000.ssif), поочередно обозначают для блоков D1, D2, D3, … данных карты глубины и блоков L1, L2, L3, … данных основной точки обзора размер каждого блока и LBN верхней части блока.
На фиг. 18D показана схема, представляющая структуру данных первого файла SS (01000.ssif). Как показано на фиг. 15, дескрипторы №1, №2, №3, … выделения во входе 1640 файла относятся к парам соседних блоков данных правой точки обзора и блоков данных основной точки обзора R1+L1, R2+L2, R3+L3. В соответствии с этим, как показано на фиг. 18D, доступ к парам соседних блоков R1+L1, R2+L2, к R3+L3, … данных может осуществляться, как к протяженностям EXTSS[0], EXTSS[1], EXTSS[2], … в первом файле SS. Ниже протяженности EXTSS[0], EXTSS[1], EXTSS[2], … принадлежащие файлу SS, называются "3D протяженностями". 3D протяженности EXTSS[n] (n=0, 1, 2, …) имеют блоки Ln данных основной точки обзора, общие с файлом 2D, и блоки Rn данных правой точки обзора, общие с первым файлом DEP.
На фиг. 18E показана схема, представляющая структуру данных второго файла SS (02000.ssif). Как показано на фиг. 15, дескрипторы №1, №2, №3, … выделения во входе 1650 файла поочередно относятся к блокам D1, D2, D3, … данных карты глубины и к блокам L1, L2, L3 данных основной точки обзора. В соответствии с этим, как показано на фиг. 18E, обращение к блокам D1, L1, D2, L2 данных может осуществляться как к протяженностям EXTSS[0], EXTSS[1], EXTSS[2], EXTSS[3], … во втором файле SS 544B. Протяженности во втором файле SS имеют блоки Ln данных основной точки обзора, общие с файлом 2D, и блоки Dn данных карты глубины, общие со вторым файлом DEP.
<Путь воспроизведения для группы блоков данных в компоновке с перемежением>
На фиг. 19 показана схема, представляющая путь 1901 воспроизведения в режиме 2D воспроизведения, путь 1902 воспроизведения в режиме L/R, и путь 1903 воспроизведения в режиме глубины для групп блоков данных, показанных на фиг. 15.
В режиме 2D воспроизведения устройство 200 воспроизведения воспроизводит файл 2D. В соответствии с этим, как показывает путь 1901 воспроизведения для режима 2D воспроизведения, блоки L1, L2 и L3 данных основной точки обзора считывают в порядке 2D протяженности EXT2D[0], EXT2D[1] и EXT2D[2]. Таким образом, верхний блок L1 данных основной точки обзора считывают первым, затем считывание непосредственно следующего блока D2 данных карты глубины и блока R2 данных правой точки обзора пропускают, выполняя первый переход J2D1. Затем считывают второй блок L2 данных основной точки обзора, и затем считывание непосредственно последующего блока D3 данных карты глубины и блока R3 данных правой точки обзора пропускают, выполняя второй переход J2D2. После этого считывают третий блок L3 данных основной точки обзора.
В режиме L/R устройство 200 воспроизведения воспроизводит первый файл SS. В соответствии с этим, как показывает путь 1902 воспроизведения для режима воспроизведения L/R, пары соседних блоков данных правой точки обзора и блоков R1+L1, R2+L2 и R3+L3 данных основной точки обзора считывают в порядке 3D протяженностей EXTSS[0], EXTSS[1] и EXTSS[2]. Таким образом, верхний блок R1 данных правой точки обзора и непосредственно последующий за ним блок L1 данных основной точки обзора, вначале непрерывно считывают, затем считывание непосредственно последующего блока D2 данных карты глубины пропускают, выполняя первый переход JLR1. Затем второй блок R2 данных правой точки обзора и непосредственно последующий блок L2 данных основной точки обзора непрерывно считывают, и затем считывание непосредственно последующего блока D3 данных карты глубины пропускают, выполняя второй переход JLR2. После этого непрерывно считывают третий блок R3 данных правой точки обзора и блок L3 данных основной точки обзора.
В режиме глубины устройство 200 воспроизведения воспроизводит второй файл SS. В соответствии с этим, как показывает путь 1903 воспроизведения для режима глубины, блоки D1, D2 и D3 данных карты глубины и блоки L1 и L2 данных основной точки обзора поочередно считывают, как протяженности EXTSS[0], EXTSS[1], EXTSS[2] и EXTSS[3] во втором файле SS. Таким образом, верхний блок D1 данных карты глубины считывают первым, затем считывание непосредственно последующего блока R1 данных правой точки обзора пропускают, выполняя первый переход JLD1. Затем непрерывно считывают верхний блок L1 данных основной точки обзора и непосредственно последующую протяженность D2 карты глубины. Кроме того, считывание непосредственно последующей протяженности R2 правой точки обзора пропускают, выполняя второй переход JLD2, и считывают второй блок L2 данных основной точки обзора.
Как показано путями 1901-1903 воспроизведения на фиг. 19, в области, в которой записана группа блоков данных, используя компоновку с перемежением, устройство 200 воспроизведения может, по существу, считывать группы блоков данных в порядке, начиная сверху. В этом случае во время обработки считывания происходят переходы. Расстояние переходов, однако, отличается от переходов, показанных на фиг. 16A, и, по существу, является более коротким, чем общая длина либо основного TS, или вспомогательного TS. Кроме того, в отличие от переходов, показанных на фиг. 17A, ни один из переходов не происходит во время считывания одного блока данных. Кроме того, для каждой пары блока данных основной точки обзора и блока данных зависимой точки обзора с одинаковым временем ATC протяженности, блок данных зависимой точки обзора, который является сравнительно малым по размеру, считывают первым. Поэтому емкость буфера считывания устройства 200 воспроизведения может быть уменьшена в большей степени, чем, если бы блоки данных были считаны в противоположном порядке.
В режиме L/R устройство 200 воспроизведения считывает группу блока данных как группу протяженности в первом файле SS. Таким образом, устройство 200 воспроизведения считывает LBN верхней части 3D протяженностей EXTSS[0], EXTSS[1], …, а также как их размер, из дескрипторов №1, №2, … выделения во входе 1640 файла в первом файле SS и затем выводит LBN и размеры привода 121 BD-ROM. Привод 121 BD-ROM последовательно считывает данные, имеющие входной размер, из входного LBN. При такой обработке управление приводом 121 BD-ROM осуществляется проще, чем обработка по считыванию групп блоков данных, как протяженности в первом файле DEP и файле 2D по следующим причинам (A) и (B): (A) устройство 200 воспроизведения может обращаться по порядку к протяженностям, используя вход файла в одном местоположении, и (B) поскольку общее количество протяженностей, которые должны быть считаны, по существу, уменьшается наполовину, общее количество пар LBN и размер, которые требуется выводить в привод BD-ROM, уменьшается наполовину. Преимущество (A) также справедливо для обработки считывания группы блоков данных, как протяженностей второго файла SS в режиме глубины. Однако, после того как устройство 200 воспроизведения считает 3D протяженности EXTSS[0], EXTSS[1], …, требуется разделить каждую из них на блок данных правой точки обзора и блок данных основной точки обзора и вывести их в декодер. Файл информации клипа используется для этой обработки разделения. Детали приведены ниже.
<Длинный переход>
Обычно, когда оптический диск используется как носитель записи, операция приостановления операции считывания, выполняемой блоком оптической головки, и, в течение приостановки, установки блока оптической головки в следующей целевой области считывания называется "переходом".
Переход классифицируют на: переход, при котором увеличивают или уменьшают скорость вращения оптического диска; переход с дорожки на дорожку; и переход для фокусирования. Переход с дорожки на дорожку представляет собой операцию перемещения блока оптической головки в направлении радиуса диска. Переход для фокусирования доступен, когда оптический диск представляет собой многослойный диск, и представляет собой операцию перенос фокуса блока оптической головки с одного слоя записи на другой слой записи. Эти переходы называются "длинными переходами", поскольку обычно для них требуется длительное время поиска, и большое количество секторов пропускают при считывании из-за выполнения таких переходов. Во время перехода приостанавливают операцию считывания, выполняемую блоком оптической головки.
Длина участка, который пропускают при операции считывания во время перехода, называется "расстоянием перехода". Расстояние перехода типично представлено количеством секторов, включенных в такой участок. Описанный выше длинный переход, в частности, определен как переход, расстояние перехода которого превышает заданное пороговое значение. Пороговое значение составляет, например, 40000 секторов в стандарте BD-ROM, в соответствии с типом диска и характеристиками, относящимися к обработке считывания привода.
Как правило, длинный переход возникает в положении, где основной TS и вспомогательный TS записаны через границу между слоями записи, где другие данные, кроме основного TS и вспомогательного TS записаны между ними, и где один элемент воспроизведения соединен с n элементами воспроизведения, а именно, выполняется множественное соединение.
<Компоновка данных мультиплексированного потока перед и после длинного перехода>
На носителе 100 записи, когда последовательность основного TS и вспомогательного TS разделена, будучи расположенным с обеих сторон положения, требующего выполнения длинного перехода, тогда соответствующие группы блоков данных записывают в одном из следующих шести типов компоновки 1-6. Кроме того, поперечные соединения в файлах AV потока используют в случае доступа к этим группам блоков данных. Таким образом, как описано ниже, устройство 200 воспроизведения может легко выполнять воспроизведение видеоизображений без стыков во время длинного перехода при поддержании емкости буфера считывания на минимальном необходимом уровне.
Далее поясняется структура данных для компоновки данных, в которой группы блоков данных разделены, будучи размещенными с обеих сторон положения, которое требует длинного перехода. В следующем случае граница слоев записи поясняется как пример положения, требующего выполнения длинного перехода.
[Компоновка 1]
На фиг. 20 показана схема, представляющая первый пример физической компоновки групп блоков данных, записанных перед и после границы слоя в диске 100 BD-ROM. Компоновка данных, показанная на фиг. 20, является предпочтительной в случае, когда элементы воспроизведения основного TS и вспомогательного TS, разделенные с обеих сторон положения, для которого требуется длинный переход, соединены без стыков. Такие группы блоков данных по фиг. 20 принадлежат основному TS, который включает в себя видеопоток левой точки обзора, который включает в себя видеопоток правой точки обзора, и вспомогательного TS, который включает в себя поток карты глубины. Как показано на фиг. 20, для первого слоя записи, расположенного перед границей LB слоя, группа блока данных карты глубины …, D0, D1, группа блока данных правой точки обзора …, R0, R1, и группа блока данных основной точки обзора …, L0, L1 записаны, используя компоновку с перемежением. Ниже эти группы блока данных называются "первым блоком 3D протяженности" 2001. Кроме того, блоки L22D и L32D данных основной точки обзора размещены непрерывно после окончания L1 первого блока 2001 3D протяженности. Кроме того, между блоком L32D данных основной точки обзора и LB границы слоя, группа блока данных карты глубины …, D2, D3, группа блоков данных правой точки обзора …, R2, R3 и группа блоков данных основной точки обзора …, L2ss, L3ss записаны в виде компоновки с перемежением. Ниже такие группы блоков данных называются "вторым блоком 3D протяженности" 2002.
С другой стороны, на втором слое записи, расположенном после границы LB слоя, группа D4, …, блока данных карты глубины, группа R4, …, блока данных правой точки обзора и группа, L4, … блока данных основной точки обзора записаны в виде компоновки с перемежением. Ниже эти группы блоков данных называются "третьим блоком 3D протяженности" 2003.
Компоновка с перемежением для блоков 2001, 2002 и 2003 3D протяженности является той же, что показана на фиг. 15. Другими словами, блок данных карты глубины, блок данных правой точки обзора и блок данных основной точки обзора размещены поочередно в указанном порядке. Кроме того, между тремя последовательными блоками Dn, Rn, Ln (n=…, 1, 2, 3, 4, …) данных время ATC протяженности является одинаковым. Содержание каждой части данных потока является непрерывным между этими тремя блоками D1, R1 и L1 данных, размещенными на одном конце первого блока 2001 3D протяженности и тремя блоками D2, R2, L2SS данных, размещенными в верхней части второго блока 2002 3D протяженности.
Блок L22D данных основной точки обзора, расположенный между первым блоком 2001 3D протяженности и вторым блоком 2002 3D протяженности, побитно соответствует блоку L2SS данных основной точки обзора в верхней части второго блока 2002 3D протяженности. Аналогично, блок L32D данных основной точки обзора побитно соответствует блоку L3SS данных основной точки обзора в верхней части второго блока 2002 3D протяженности. Другими словами, блоки L22D и L2SS данных, представляют собой данные - дубликаты, и L32D и L3SS представляют собой данные - дубликаты. Ниже каждый L22D и L32D называется "блоком, предназначенным исключительно для 2D воспроизведения", и каждый L2SS и L3SS называется "блоком, предназначенным исключительно для 3D воспроизведения".
К блокам данных, показанным на фиг. 20, доступ может быть выполнен как к протяженности либо файла 2D или файла DEP, за исключением блоков L2SS и L3SS, предназначенных исключительно для 3D воспроизведения. Например, на входе 2010 файла в первом 2D файле (01000.m2ts), дескриптор №1 выделения обозначает размер и LBN верхней части блока L0 данных основной точки обзора, который является вторым с конца первого блока 2001 3D протяженности. В соответствии с этим, доступ к блоку L0 данных основной точки обзора может быть выполнен как к одной из 2D протяженностей EXT2D[0] в первом 2D файле. Дескриптор №2 выделения учитывает группу блоков L1+L22D+L33D данных основной точки обзора, то есть, блок L1 данных основной точки обзора, последний в первом блоке 2001 3D протяженности, и непосредственно следующие непрерывные блоки, предназначенные исключительно для L22D и L32D 3D воспроизведения, как одну протяженность, и обозначает размер и LBN ее верхней части. В соответствии с этим, доступ к группе блоков L1+L22D+L33D данных основной точки обзора может осуществляться, как к одной 2D протяженности EXT2D[1] в первом 2D файле. Блоки L1, L22D и L33D данных основной точки обзора в этих файлах 2D составляют протяженность, имеющую большую непрерывную длину (большую протяженность) непосредственно перед положением, в котором происходит длинный переход. Поскольку файлы 2D могут формировать большую протяженность непосредственно перед длинным переходом, не ожидается, что возникнет незаполнение буферов считывания, даже при выполнении воспроизведения в режиме 2D воспроизведения. 2D протяженность EXT2D[1], которая представляет собой протяженность, к которой обращаются непосредственно перед длинным переходом через границы LB слоя, ниже называется "предварительным переходом 2D протяженности".
На входе 2011 файла в 2D файле (01001.m2ts), дескриптор №1 выделения обозначает размер и LBN верхней части блока L4 данных основной точки обзора третьего блока 2003 3D протяженности. В соответствии с этим, доступ к блоку L4 данных основной точки обзора может осуществляться как к одной 2D протяженности EXT2D[2] во втором 2D файле.
Поперечные связи файлов AV потока выполняют таким же образом, как показано на фиг. 15 для групп блоков данных, показанных на фиг. 20. В частности, на входе 2020 в файл в первом файле SS (01000.ssif), дескрипторы №1, №2, №3 и №4 выделения учитывают соседние пары блоков данных правой точки обзора и блоков R0+L0, R1+L1, R2+L2ss и R3 + L3SS данных основной точки обзора, как если бы каждый из них составлял одну протяженность, и обозначает размер и LBN верхней их части. В соответствии с этим, доступ к каждой паре соседних блоков R0+L0, R1+L1, R2+L2ss и R3+L3SS данных может быть выполнен, соответственно, как 3D протяженность EXTSS[0], EXTSS[1], EXTSS[2] и EXTSS[3] в первом файле SS. Среди этих протяженностей EXTSS[2] и EXTSS[3] представляют собой группы протяженности, составляющие второй блок 2002 3D протяженности, доступ к которому осуществляют непосредственно перед длинным переходом через границу LB слоя при воспроизведении файла SS, и который после этого называется "блоком 2002 3D протяженности перед переходом". На входе 2021 в файл второго файла SS (01001.ssif), дескриптор №1 выделения рассматривает соседнюю пару R4+L4 блока R4 данных правой точки обзора и блока L4 данных основной точки обзора, как одиночную протяженность, и обозначает размер и LBN его верхней части. В соответствии с этим, доступ к соседней паре блоков R4+L4 данных может быть выполнен, как к 3D протяженности EXTSS[4] второго файла SS.
В этом случае, за исключением 3D протяженностей EXTSS[2] и EXTSS[3], расположенных между блоком, предназначенным исключительно для 2D воспроизведения L32D и для границы LB слоя, 3D протяженности EXTSS[0], EXTSS[1] и EXTSS[4], соответственно, совместно используют блоки L0, L1 и L4 данных основной точки обзора с 2D файлом. С другой стороны, блоки, предназначенные исключительно для 2D воспроизведения L22D и L32D, представляют собой блоки данных основной точки обзора, уникальные для файла 2D, и доступ к ним может осуществляться только как к части протяженности EXT2D[1] в файле 2D, причем протяженность EXT2D[1] расположена непосредственно перед границей LB слоя. Кроме того, блоки, предназначенные исключительно для 3D воспроизведения L2SS и L3SS, представляют собой блоки данных основной точки обзора, уникальные для файла SS, и доступ к ним может осуществляться только как к части протяженности EXTSS[2], расположенной непосредственно после границы LB слоя.
На фиг. 20, 2D список воспроизведения и 3D список воспроизведения оба включают в себя элементы №1 и №2 воспроизведения, которые без стыков соединены вместе. Здесь для элементов воспроизведения, соединенных вместе без стыков, предшествующий элемент воспроизведения обозначен как "предшествующий элемент воспроизведения", и элемент воспроизведения, который следует после предшествующего элемента воспроизведения, обозначен как "следующий элемент воспроизведения". Вначале описание приведено для данных, называемых предшествующими элементами воспроизведения в 2D списке воспроизведения и в 3D списке воспроизведения. Предшествующий элемент воспроизведения в 2D списке воспроизведения относится к первому файлу 2D. Предшествующий элемент воспроизведения в 3D списке воспроизведения относится к первому файлу SS, и подэлемент воспроизведения, воспроизводимый синхронно с предшествующим элементом воспроизведения, относится к файлу DEP. Как описано выше, содержание блоков данных основной точки обзора, к которым относятся 2D протяженности, EXT2D[0] и EXT2D[1], являются тем же, что и содержание блоков данных основной точки обзора, на которые ссылаются 3D протяженности EXTSS[0], EXTSS[1], EXTSS[2] и EXTSS[3]. В соответствии с этим, при воспроизведении 2D списка воспроизведения, блоки L1, L22D и L32D данных основной точки обзора воспроизводят в положении, где элементы воспроизведения соединены без стыков, в то время как при воспроизведении 3D списка воспроизведения, L1, L2SS и L3SS, которые имеют то же содержание, что и L1, L22D и L32D, воспроизводят в положении, где элементы воспроизведения соединены без стыков. Таким образом, хотя пути воспроизведения (логические адреса, которые должны быть воспроизведены), отличаются между 2D воспроизведением на основе 2D списка воспроизведения и 3D списка воспроизведения на основе 3D списка воспроизведения, устройства воспроизведения могут воспроизводить одинаковый видеокадр с левой точки обзора.
Далее приведено описание данных, на которые ссылаются последующие элементы воспроизведения. Последующий элемент воспроизведения в 2D списке воспроизведения ссылается на второй файл 2D. Последующий элемент воспроизведения в 3D списке воспроизведения ссылается на второй файл SS, и подэлемент воспроизведения, воспроизводимый синхронно с последующим элементом воспроизведения в списке 2D воспроизведения, относится к файлу DEP. Как показано на чертеже, второй файл 2D и второй файл SS используют одни и те же данные, то есть, блок L4 данных основной точки обзора.
Здесь расстояние от конца предварительного перехода 2D протяженности EXT2D[1], на которое ссылается предшествующий элемент воспроизведения 2D списка воспроизведения, до начала 2D протяженности EXT2D[2], на которое ссылается следующий элемент воспроизведения, установлено равным значению, не более, чем максимальное расстояние перехода, определенное заданной спецификацией на основе выполнения перехода устройством 2D воспроизведения. Расстояние перехода между предварительным блоком 2002 3D протяженности, называемым предшествующим элементом воспроизведения 3D списка воспроизведения и блоком 2003 3D протяженности, называемым следующим элементом воспроизведения 3D списка воспроизведения, установлено как значение, не большее, чем максимальное расстояние, определенное заданной спецификацией на выполнения перехода устройством 2D/3D воспроизведения.
На фиг. 21 показана схема, представляющая путь воспроизведения в режиме 2D воспроизведения, путь воспроизведения в режиме L/R и путь воспроизведения в режиме глубины для групп блоков данных, показанных на фиг. 20.
В режиме 2D воспроизведения устройство 200 воспроизведения воспроизводит 2D файл. В соответствии с этим, блок L0 данных основной точки обзора считывают как первую 2D протяженность EXT2D[0], и затем блок L1 данных основной точки обзора и непосредственно следующие блоки, предназначенные исключительно для 2D воспроизведения L22D и L32D, непрерывно считывают как вторую 2D протяженность EXT2D[1], и после длинного перехода блок L4 данных основной точки обзора считывают как третью 2D протяженность EXT2D[2].
В режиме L/R устройство 200 воспроизведения воспроизводит первый файл SS. В соответствии с этим, как показано путем воспроизведения в режиме L/R, пару R0+L0 блоков R0 данных правой точки обзора и непосредственно следующего блока L0 данных основной точки обзора считывают как первую 3D протяженность EXTSS[0], блок R1 данных правой точки обзора и непосредственно следующий блок L1 данных основной точки обзора, считывают как вторую 3D протяженность EXTSS[1], блок R2 данных правой точки обзора и непосредственно следующий блок L2SS, предназначенный исключительно для 3D воспроизведения, считывают как третью 3D протяженность EXTSS[2], блок R3 данных правой точки обзора и непосредственно следующий блок L3SS, предназначенный исключительно для 3D воспроизведения, считывают как четвертую 3D протяженность EXTSS[3], и после длинного перехода, блок R4 данных правой точки обзора и непосредственно следующий блок L4 данных основной точки обзора считывают как пятую 3D протяженность EXTSS[4].
Как показано на фиг. 21, в режиме 2D воспроизведения, блоки L22D и L32D, предназначенные исключительно для 2D воспроизведения, считывают, в то время, как считывание блоков L2SS и L3SS, предназначенных исключительно для 3D воспроизведения, пропускают. И, наоборот, в режиме L/R, считывание блоков L22D и L32D, предназначенных исключительно для 2D воспроизведения, пропускают, в то время как считывают блоки L2SS и L3SS, предназначенные исключительно для 3D воспроизведения. Однако, поскольку блоки L22D и L2SS данных побитно соответствуют друг другу, и блоки L32D и L3SS данных также побитно соответствуют друг другу, видеокадр левой точки обзора, который воспроизводят, является одинаковым в обоих режимах воспроизведения. В компоновке 1, таким образом, путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R разделяют перед длинным переходом JLY. То же относится к режиму глубины.
[Преимущества компоновки 1]
На фиг. 22 показана схема, представляющая группы блоков данных, записанных в компоновке с перемежением перед и после границы слоя на диске BD-ROM, и соответствующий путь воспроизведения в каждом режиме воспроизведения. Как показано на фиг. 22, таким же образом, как и для компоновки, показанной на фиг. 20, на первом слое записи группа блока …, D1, D2 данных карты глубины, группа …, R1, R2 блоков данных правой точки обзора и группа …, L1, L2 блоков данных основной точки обзора записаны в компоновке с перемежением, так, что они составляют первый блок 2301 3D протяженности. С другой стороны, на втором слое записи, группа D3, …, блоков данных карты глубины, группа R3, …, блоков данных правой точки обзора и группа L3, … блока данных основной точки обзора записаны в компоновке с перемежением, так, что они составляют второй блок 2302 3D протяженности. Компоновка с перемежением блоков 2301 и 2302 3D протяженности является такой же, как 2001 и 2002, показанные на фиг. 20. Кроме того, содержание каждой части данных потока является непрерывным между тремя блоками D2, R2 и L2 данных, расположенными в конце первого блока 2301 3D протяженности, и тремя блоками D3, R3, L3 данных, расположенными в верхней части второго блока 2302 3D протяженности.
В отличие от показанного на фиг. 20, группы блоков данных, показанные на фиг. 22, не включают в себя пару блока Ln2D, предназначенного исключительно для 2D воспроизведения, и блока LnSS, предназначенного исключительно для 3D воспроизведения перед и после границы LB слоя. В соответствии с этим, как показано ниже, путь 2310 воспроизведения в режиме 2D воспроизведения и путь 2311 воспроизведения в режиме L/R не разделены непосредственно перед длинным переходом JLY, и оба пути воспроизведения пересекают один и тот же блок данных L2 основной точки обзора.
К каждому из блоков L1-L3 данных основной точки обзора, показанным на фиг. 22, доступ может быть выполнен как к одной из протяженностей EXT2D[0] - EXT2D[2] в файле 2D. С другой стороны, доступ к каждой паре соседних блоков данных правой точки обзора и блоков данных основной точки обзора, R1+L1, R2+L2 и R3+L3, может быть выполнен как к 3D протяженностям EXTSS[0], EXTSS[1] и EXTSS[2] в файле SS. Все 3D протяженности EXTSS[0], EXTSS[1] и EXTSS[2], соответственно, совместно используют блоки L1, L2, и L3 данных основной точки обзора с файлом 2D.
Устройство 200 воспроизведения в режиме 2D воспроизведения воспроизводит файл 2D. В соответствии с этим, как показано с помощью пути 2310 воспроизведения в режиме 2D воспроизведения, блок L1 данных основной точки обзора, который представляет собой второй с конца первого блока 2301 3D протяженности, считывают как первую 2D протяженность EXT2D[0], и считывание непосредственно следующего блока D2 данных карты глубины и блока R2 данных правой точки обзора пропускают, выполняя первый переход J2D1. Затем блок L2 данных основной точки обзора, расположенный последним в первом блоке 2301 3D протяженности, считывают как вторую 2D протяженность EXT2D[1]. Длинный переход JLY происходит на непосредственно следующей границе LB последующего слоя, и вместе с выполнением перехода для фокусирования, считывание двух блоков D3, и R3 данных, расположенных в верхней части второго блока 2302 3D протяженности, пропускают. Затем верхний блок данных L3 основной точки обзора, во втором блоке 2302 3D протяженности считывают как третью 2D протяженность EXT2D[2].
Устройство 200 воспроизведения в режиме L/R воспроизводит файл SS. В соответствии с этим, как показано путем 2311 воспроизведения в режиме L/R, первая пара R1+L1 верхнего блока R1 данных правой точки обзора и непосредственно следующий блок L1 данных основной точки обзора считывают непрерывно, как первую 3D протяженность EXTSS[0], и считывание непосредственно следующего блока D2 данных карты глубины пропускают при выполнении первого перехода JLR1. Затем второй блок R2 данных правой точки обзора и непосредственно следующий блок L2 данных основной точки обзора считывают непрерывно, как вторую 3D протяженность EXTSS[1]. Длинный переход JLY происходит непосредственно после этого, и вместе с выполнением перехода для фокусирования, при этом считывание верхнего блока D3 данных карты глубины во втором блоке 2302 3D протяженности пропускают. Затем верхний блок R3 данных правой точки обзора, и второй блок 2302 3D протяженности и непосредственно следующий блок L3 данных основной точки обзора считывают непрерывно как третью 3D протяженность EXTSS[2].
Как описано выше, в группе блока данных, показанной на фиг. 22, путь 2310 воспроизведения в режиме 2D воспроизведения и путь 2311 воспроизведения в режиме L/R оба пересекают один и тот же блок L2 данных основной точки обзора непосредственно перед длинным переходом JLY, в отличие от групп блоков данных, показанных на фиг. 20. Во время длинного перехода JLY, привод 121 BD-ROM прекращает обработку считывания, но целевой декодер системы продолжает декодировать поток данных, накопленный в буфере считывания. В соответствии с этим, для обеспечения непрерывного воспроизведения устройством 200 воспроизведения без стыков видеоизображения перед и после длинного перехода JLY, необходимо предотвратить незаполнение буфера во время длинного перехода JLY.
В режиме L/R, в то время как декодируют первый блок 2301 3D протяженности, постоянное количество данных накапливается в буфере считывания. Такое постоянное количество данных называется "величиной запаса объема буфера" (подробности предоставлены ниже). Во время длинного перехода JLY 3D протяженность EXTSS[1], считанная непосредственно перед этим, то есть, данные для блока R2 данных правой точки обзора и блока L2 данных основной точки обзора, а так же величину запаса объема буфера, декодируют. В соответствии с этим, для предотвращения незаполнения буфера в режиме L/R, величина запаса объема буфера должна быть установлена достаточно большой. С другой стороны, достаточно, чтобы размер блоков R2 и L2, Smin2 и Smin1 данных составлял значения, для которых величина запаса объема буфера может поддерживаться до момента непосредственно перед длинным переходом JLY.
Однако, для предотвращения незаполнения буфера в режиме 2D воспроизведения, 2D протяженность EXT2D[1], то есть, размер Sext2D[1] блока L2 данных основной точки обзора должен удовлетворять следующему требованию: "равен или более, чем количество данных, передаваемых из буфера считывания в целевой декодер системы между началом считывания 2D протяженности EXT2D[1] и завершением длинного перехода JLY". Размер Sext2D[1], который удовлетворяет этому требованию, обычно более, чем размер Smin1, минимальный, необходимый для воспроизведения без стыков в режиме L/R, как показано на фиг. 22. В соответствии с этим, емкость буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения в режиме L/R, должна быть большей, чем минимальное значение для воспроизведения без стыков в режиме L/R. Кроме того, значение времени ATC протяженности для блока R2 данных правой точки обзора и блока L2 данных основной точки обзора должны быть одинаковыми. В соответствии с этим, размер Sext2[1] блока R2 данных правой точки обзора обычно больше, чем размер Smin2, минимально необходимый для воспроизведения без стыков в режиме L/R. Поэтому, емкость буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения в режиме L/R, должна быть еще большей, чем минимальное значение для воспроизведения без стыков в режиме L/R. В результате этих фактов, в компоновке, показанной на фиг. 23, трудно дополнительно уменьшить емкость буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения в режиме L/R.
И, наоборот, как описано выше, в компоновке 1, показанной на фиг. 21, путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R разделены перед длинным переходом JLY. В соответствии с этим, в отличие от компоновки, показанной на фиг. 22, размер Sext2D[1] 2D протяженности EXT2D[1] перед переходом, расположенной перед границей LB слоя, и размер Sext2[1], непосредственно предшествующего блока R1 данных правой точки обзора могут быть определены по-отдельности, как показано ниже.
Вначале следует отметить, что размер Sext2D[1] 2D протяженности EXT2D[1] перед переходом является тем же, что и сумма Sext1[1]+S2D[2]+S2D[3] размера Sext1[1] блока L1 данных основной точки обзора, размера S2D[2] блока, предназначенного исключительно для 2D воспроизведения L22D, и размера S2D[3] блока, предназначенного исключительно для 2D воспроизведения L32D. В соответствии с этим, для воспроизведения без стыков в режиме воспроизведения 2D, такая сумма Sext1[1]+S2D[2]+S2D[3] должна быть больше, чем или равна количеству данных, которые передают из буфера считывания в целевой декодер системы между началом считывания 2D протяженности EXT2D[1] и завершением длинного перехода JLY. В этом случае, в пределах 2D протяженности EXT2D[1] только блок L1 данных основной точки обзора, расположенный в начале протяженности, совместно используется с 3D протяженностью EXTSS[1]. В соответствии с этим, путем соответствующего увеличения размера S2D[2] блока L22D, предназначенного исключительно для 2D воспроизведения, и размера S2D[3] блока L32D, предназначенного исключительно для 2D воспроизведения, размер Sext1[1] блока L1 данных основной точки обзора может быть дополнительно ограничен при поддержании постоянным размера Sext2D[1]=Sext1[1]+S2D[2]+S2D[3] 2D протяженности EXT2D[1] перед переходом. В соответствии с этим, размер Sext2[1] блока R1 данных правой точки обзора, который имеет такое же время ATC, как и блок L1 данных основной точки обзора, также может быть дополнительно ограничен.
С другой стороны, размеры Sext2[2], Sext2[3], Sext1[2] и Sext1[3] блоков R2 и R3 данных правой точки обзора и блоков L2 и L3 данных основной точки обзора, принадлежащих блоку 2002 3D протяженности перед переходом, расположенным непосредственно перед границей LB слоя, должен составлять такие значения, чтобы величину запаса объема буфера можно было поддерживать до момента непосредственно перед длинным переходом JLY. Поскольку блок L2SS, предназначенный исключительно для 3D воспроизведения, и блок L22D, предназначенный исключительно для 2D воспроизведения, представляют собой данные - дубликаты, и блок L3SS, предназначенный исключительно для 3D воспроизведения и блок L32D, предназначенный исключительно для 2D воспроизведения, представляют собой данные - дубликаты, увеличение размера S2D блока L32D, предназначенного исключительно для 2D воспроизведения, увеличивает размер блока R3 данных правой точки обзора, расположенного непосредственно перед блоком L3SS, предназначенным исключительно для 3D воспроизведения. Однако, этот размер может быть сделан существенно меньшим, чем размер блока R3 данных правой точки обзора, расположенного непосредственно перед границей LB слоя, показанного на фиг. 22. Таким образом, емкость буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения в режиме L/R, может быть приведена еще ближе к минимально необходимой для воспроизведения без стыков в режиме L/R.
Таким образом, возможно установить размер каждого блока данных в компоновке 1, при котором становится возможным воспроизведение без стыков видеоизображений во время длинного перехода, как в режиме 2D воспроизведения, так и в режиме L/R, при поддержании величины буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения, на минимально необходимой величине.
В компоновке 1 путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R, таким образом, разделены перед положением, в котором происходит длинный переход. В соответствии с этим, размер EXT1[3] в конце блока 3D протяженности предварительного перехода не удовлетворяет условию предотвращения незаполнения буфера в режиме 2D воспроизведения.
В пояснениях со ссылкой на фиг. 20 была описана граница слоя, как пример положения, в котором требуется выполнить длинный переход. Однако, длинный переход может возникать, когда выполняют соединение одного элемента воспроизведения с множеством элементов в соотношении один к n. Здесь, когда выполняют соединение элементов воспроизведения с множеством элементов воспроизведения в соотношении один к n, первый TS среди "n" частей TS, составляющих "n" частей элементов воспроизведения, может быть расположен в положении непосредственно после TS, который составляет элемент воспроизведения, который предшествует "n" элементам воспроизведения. Однако, любой из второго TS и далее не может быть расположен в положении непосредственно после TS, который составляет элемент воспроизведения, предшествующий "n" элементам воспроизведения. Когда в случае множественного соединения в соотношении один к n выполняют переход от одного элемента воспроизведения к любому из второго элемента воспроизведения и далее среди "n" элементов воспроизведения, считывание должно пропускать одну или более областей записи TS. Поэтому длинный переход происходит в положении, где существует множественное соединение в соотношении от одного к n. Компоновку 1 также можно применять для длинного перехода, который происходит при таком соединении одного элемента воспроизведения с множеством элементов воспроизведения в соотношении один к n. В частности, как показано на фиг. 23, как для 2D списка воспроизведения, так и 3D списка воспроизведения, все части данных, к которым обращается элемент №1 воспроизведения, то есть, предшествующий элемент воспроизведения, расположены совместно, и затем расположены n частей данных, на которые ссылаются n частей последующих элементов воспроизведения. В этом случае, как и в компоновке, показанной на фиг. 20, данные для предшествующего элемента воспроизведения разделены для пути воспроизведения 2D списка воспроизведения и пути воспроизведения 3D списка воспроизведения. Затем окончание блока EXT1[3] 3D протяженности перед переходом не обязательно должно удовлетворять условию предотвращения не загруженности буфера в режиме 2D воспроизведения.
Использование компоновки 1 обеспечивает возможность формировать данные для множественного соединения, когда предшествующий элемент воспроизведения без стыков соединяется с множеством элементов воспроизведения.
[Компоновка 2]
На фиг. 24 показана схема, представляющая второй пример физической компоновки групп блоков данных, записанных перед и после границы слоя на диске 100 BD-ROM. Такие группы блоков данных на фиг. 24 принадлежат основному TS, который включает в себя видеопоток левой точки обзора, вспомогательного TS, который включает в себя видеопоток правой точки обзора, и вспомогательного TS, который включает в себя поток карты глубины. Далее такая компоновка называется "компоновкой 2". Как можно видеть при сравнении фиг. 24 с фиг. 20, компоновка 2 отличается от компоновки 1 тем, что второй блок 2002 3D протяженности следует после первого блока 2001 2D протяженности, и блоки L12D, L22D и L32D, предназначенные исключительно для 2D воспроизведения, непосредственно следуют после окончания L3SS блока 2002 3D протяженности, и к ним можно обращаться как к одной 2D протяженности EXT2D[1]. Что касается других характеристик компоновки 2, они являются такими же, как и у компоновки 1, и подробное описание таких характеристик можно найти со ссылкой на компоновку 1.
Блоки L12D, L22D и L32D, предназначенные исключительно для 2D воспроизведения, расположенные непосредственно перед границей LB слоя, побитно соответствуют блокам L1SS, L2SS и L3SS, предназначенным исключительно для 3D воспроизведения во втором блоке 2002 3D протяженности. Другими словами, блоки L12D, L22D и L32D, предназначенные исключительно для 2D воспроизведения, представляют собой данные - дубликаты.
Доступ к блокам данных, показанным на фиг. 24, может осуществляться как протяженности, либо в файле 2D, или в файле DEP, за исключением блоков L1SS, L2SS и L3SS, предназначенных исключительно для 3D воспроизведения. Например, на входе 2010 файла в 2D файле, дескриптор №1 выделения обозначает размер и LBN верхней части блока L0 данных основной точки обзора, последний в первом блоке 2001 3D протяженности. В соответствии с этим, доступ к блоку L0 данных основной точки обзора может осуществляться как к одной 2D протяженности EXT2D[0]. Дескриптор №2 выделения учитывает группу блоков L12D+L22D+L33D данных основной точки обзора, то есть, блоков L12D, L22D и L33D, предназначенных исключительно для 2D воспроизведения, как одну протяженность, и обозначает общий размер и LBN ее верхней части. В соответствии с этим, доступ к группе блоков L12D, L22D, и L33D, предназначенных исключительно для 2D воспроизведения, может осуществляться как к следующей 2D протяженности EXT2D[1]. Блоки L1, L22D и L33D данных основной точки обзора в 2D файле составляют протяженность, имеющую большую непрерывную длину непосредственно перед положением, в котором возникает длинный переход. Поскольку файлы 2D могут сформировать большую протяженность непосредственно перед длинным переходом, не ожидается, что возникнет незаполнение буфера считывания, даже при выполнении воспроизведения в режиме 2D воспроизведения. На входе 2011 файла в файле 2D дескриптор №1 выделения обозначает размер и LBN верхней части блока L4 данных основной точки обзора, первого в третьем блоке 2003 3D протяженности. В соответствии с этим, доступ к блоку L4 данных основной точки обзора может осуществляться, как к одной 2D протяженности EXT2D[2] во втором 2D файле.
На входе 2020 файла в первом файле SS дескрипторы №1, №2, №3 и №4 выделения учитывают соседние пары блоков данных правой точки обзора и блоков R0+L0, R1+L1SS, R2+L2ss и R3+L3SS данных основной точки обзора, как будто каждый из них составляет одну протяженность и обозначает размер и LBN его верхней части. В соответствии с этим, доступ к каждой паре соседних блоков R0+L0, …, R3+L3SS данных может осуществляться соответственно, как к 3D протяженности EXTSS[0], EXTSS[1], EXTSS[2] и EXTSS[3] в первом файле SS. На входе файла 2021 во втором файле SS дескриптор №1 выделения учитывает соседнюю пару R4+L4 блока данных правой точки обзора и блока данных основной точки обзора, как одну протяженность, и обозначает ее размер и LBN. В соответствии с этим, доступ к соседней паре блоков R4+L4 данных может осуществляться, как к одной 3D протяженности EXTSS[4] во втором файле SS.
В этом случае, блоки L12D, L22D и L32D, предназначенные исключительно для 2D воспроизведения, представляют собой блоки данных основной точки обзора, уникальные для файла 2D, и доступ к ним может осуществляться только как к части протяженности EXT2D[1] в файле 2D, причем протяженность EXT2D[1] расположена непосредственно перед границей LB слоя. Кроме того, блоки L1SS, L2SS и L3SS, предназначенные исключительно для 3D воспроизведения, представляют собой блоки данных основной точки обзора, уникальные для файла SS, и доступ к которым может осуществляться только как к части протяженностей EXTSS[1], EXTSS[2] и EXTSS[3].
На фиг. 24 2D список воспроизведения и 3D список воспроизведения оба включают в себя элементы воспроизведения №1 и №2, которые без стыка соединены вместе. Вначале описание приведено для данных, на которые ссылаются предыдущие элементы воспроизведения в 2D списке воспроизведения и в 3D списке воспроизведения. Предыдущий элемент воспроизведения в 2D PlayList ссылается на первый файл 2D. Предыдущий элемент воспроизведения в 3D PlayList ссылается на первый файл SS, и подэлемент воспроизведения, воспроизводимый синхронно с предыдущим элементом воспроизведения, ссылается на файл DEP. Как описано выше, содержание 2D протяженностей EXT2D[0] и EXT2D[1] является таким же, как и содержание 3D протяженностей EXTSS[0], EXTSS[1], EXTSS[2] и EXTSS[3]. Соответственно, при воспроизведении 2D списка воспроизведения, блоки L12D, L22D и L32D данных основной точки обзора воспроизводят в положении, где произошло соединение без стыков элементов воспроизведения, в то время как при воспроизведении 3D списка воспроизведения, L1SS, L2SS и L3SS, которые имеют такое же содержание, что и L1, L22D и L32D, воспроизводят в положении, где элементы воспроизведения соединены без стыков. Таким образом, хотя пути воспроизведения отличаются между 2D воспроизведением на основе 2D списка воспроизведения и 3D воспроизведением на основе 3D списка воспроизведения, устройства воспроизведения могут воспроизводить одни и те же данные.
Далее приведено описание данных, на которые ссылаются следующие элементы воспроизведения. Следующий элемент воспроизведения в 2D PlayList ссылается на второй файл 2D. Следующий элемент воспроизведения в 3D PlayList ссылается на второй файл SS, и подэлемент воспроизведения, воспроизводимый синхронно со следующим элементом воспроизведения 2D PlayList, ссылается на файл DEP. Как показано на чертеже, второй файл 2D и второй файл SS используют одни и те же данные, то есть, блок L4 данных основной точки обзора.
Здесь расстояние от окончания 2D протяженности EXT2D[0] предварительного перехода, на которое ссылается предыдущий элемент воспроизведения 2D PlayList, до начала 2D протяженности EXT2D[1], на которую ссылается следующий элемент воспроизведения, и расстояние от окончания EXT2D[1] 2D протяженности предварительного перехода, на которое ссылается предшествующий элемент воспроизведения 2D PlayList до начала 2D протяженности EXT2D[2], на которое ссылается следующий элемент воспроизведения, установлены как значение, не более, чем максимальное расстояние перехода, определенное заданной спецификацией, на основе выполнения перехода устройством 2D воспроизведения. В этом случае, расстояние перехода между блоком 2002 3D протяженности предварительного перехода, на которое ссылается предшествующий элемент воспроизведения 3D PlayList, и блоком 2003 3D протяженности, на который ссылается последующий элемент воспроизведения 3D PlayList, установлено как значение, не больше, чем максимальное расстояние, определенное заданной спецификацией, на основе выполнения перехода устройством 2D/3D воспроизведения.
На фиг. 25 показана схема, представляющая путь воспроизведения в режиме 2D воспроизведения, путь воспроизведения в режиме L/R и путь воспроизведения в режиме глубины для групп блоков данных, показанных на фиг. 24.
В режиме 2D воспроизведения устройство 200 воспроизведения воспроизводит 2D файл. В соответствии с этим, блок данных L0 основной точки обзора считывает как первую 2D протяженность EXT2D[0], непосредственно следующие блоки L12D, L22D и L32D, предназначенные исключительно для 2D воспроизведения, последовательно считывает как вторую 2D протяженность EXT2D[1], и после длинного перехода, блок L4 данных основной точки обзора считывает как третью 2D протяженность EXT2D[2].
В режиме L/R устройство 200 воспроизведения воспроизводит первый файл SS. В соответствии с этим, как показано путем воспроизведения в режиме L/R, пару R0+L0 блока R0 данных правой точки обзора и непосредственно следующего блока L0 данных основной точки обзора считывают как первую 3D протяженность EXTSS[0], блок R1 данных правой точки обзора и непосредственно следующий блок L1SS, предназначенный исключительно для 3D воспроизведения, считывают как вторую 3D протяженность EXTSS[1], блок R2 данных правой точки обзора и непосредственно следующий блок L2SS, предназначенный исключительно для 3D воспроизведения, считывают как третью 3D протяженность EXTSS[2], блок R3 данных правой точки обзора и непосредственно следующий блок L3SS, предназначенный исключительно для 3D воспроизведения, считывают как четвертую 3D протяженность EXTSS[3], и после длинного перехода, блок R4 данных правой точки обзора и непосредственно следующий блок L4SS, предназначенный исключительно для 3D воспроизведения, считывают как пятую 3D протяженность EXTSS[4].
Как показано на фиг. 24, в режиме 2D воспроизведения, блоки L12D, L22D и L32D, предназначенные исключительно для 2D воспроизведения, считывают в то время, как считывание блоков L1SS, L2SS и L3SS, предназначенных исключительно для 3D воспроизведения, пропускают. И, наоборот, в режиме L/R, считывание блоков L12D, L22D и L32D, предназначенных исключительно для 2D воспроизведения пропускают, в то время как считывают блоки L1SS, L2SS и L3SS, предназначенные исключительно для 3D воспроизведения. Однако, поскольку блоки L12D, L22D и L32D данных побитно соответствуют L1SS, L2SS и L3SS, видеокадр левой точки обзора, которую воспроизводят, является одинаковым в обоих режимах воспроизведения. В компоновке 2 путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R разделены перед длинным переходом JLY, таким образом. То же самое также относится к режиму глубины.
Вначале размер Sext2D[1] 2D протяженности EXT2D[1] предварительного перехода является таким же, как и сумма S2D[1]+S2D[2]+S2D[3] размера S2D[1] блока L12D, предназначенного исключительно для 2D воспроизведения, размера S2D[2] блока L22D, предназначенного исключительно для 2D воспроизведения, и размера S2D[3] блока L32D, предназначенного исключительно для 2D воспроизведения. В соответствии с этим, для воспроизведения без стыков в режиме 2D воспроизведения, такая сумма S2D[1]+S2D[2]+S2D[3] должна быть большей или равной количеству данных, которые должны быть переданы из буфера считывания в целевой декодер системы между началом считывания 2D протяженности EXT2D[1] и завершением длинного перехода JLY. С другой стороны, размеры Sext2[1], Sext2[2], Sext2[3], Sext2[1], Sext1[2] и Sext1[3] блоков R1, R2 и R3 данных правой точки обзора и блоков L1, L2 и L3 данных основной точки обзора, принадлежащих блоку 2002 3D протяженности предварительного перехода, расположенные непосредственно перед блоком L12D, предназначенным исключительно для 2D воспроизведения, должны составлять такие значения, чтобы величину запаса объема буфера можно было поддерживать до момента непосредственно перед длинным переходом JLY.
Поскольку блок L1SS, предназначенный исключительно для 3D воспроизведения, и блок L12D предназначенный исключительно для 2D воспроизведения, представляют собой данные - дубликаты, блок L2SS, предназначенный исключительно для 3D воспроизведения, и блок L22D, предназначенный исключительно для 2D воспроизведения, и блок L3SS предназначенный исключительно для 3D воспроизведения, и блок L32D, предназначенный исключительно для 2D воспроизведения, представляют собой данные - дубликаты, увеличение общего размера S2D[1]・{S2D[2]+S2D[3] блоков L12D, L22D и L32D, предназначенных исключительно для 2D воспроизведения, увеличивает размер блоков R1, R2 и R3 данных правой точки обзора, расположенных непосредственно перед блоками L1SS, L2SS и L3SS, предназначенных исключительно для 3D воспроизведения. Однако, поскольку блоки, предназначенные исключительно для 3D воспроизведения, разделены на три блока, то есть, L1SS, L2SS и L3SS, и составляют пары с блоками данных правой точки обзора, размеры блоков R1, R2 и R3 данных правой точки обзора могут быть сделаны значительно меньшими, чем размер блока R2 данных для правой точки обзора, расположенного непосредственно перед границей LB слоя на фиг. 22. Таким образом, емкость буфера считывания, гарантируемая устройством 200 воспроизведения в режиме L/R, может быть уменьшена до минимального, необходимого значения для воспроизведения без стыков в режиме L/R.
При этом возможно, чтобы каждый из установленных таким образом блоков данных в компоновке 2 имел размер, при котором воспроизведение без стыков видеоизображений во время длинного перехода было возможно, как в режиме 2D воспроизведения, так и в режиме L/R, при поддержании величины буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения, на минимальном, необходимом значении.
В компоновке 2 путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R разделены перед положением, в которой происходит длинный переход, таким образом. В соответствии с этим, размер EXT1 [3] в конце блока 3D протяженности предварительного перехода не должен удовлетворять условию предотвращения незаполнения буфера в режиме 2D воспроизведения.
При пояснении фиг. 24, была описана граница слоя, как пример положения, в котором требуется выполнить длинный переход. Однако, компоновка 2 также может применяться для длинного перехода, который происходит при одном с множеством -n соединений элементов воспроизведения. В частности, для предшествующего элемента воспроизведения, как и в компоновке, показанной на фиг. 24, данные разделяют на путь воспроизведения в соответствии с 2D списком воспроизведения и путь воспроизведения в соответствии со списком 3D воспроизведения, и затем размещают n частей данных, на которые ссылается следующий элемент воспроизведения. Такое выделение обеспечивает возможность формирования данных для множества соединений, где предшествующий элемент воспроизведения без стыков соединяется с множеством элементов воспроизведения.
[Компоновка 3]
На фиг. 26 показана схема, представляющая третий пример физической компоновки групп блоков данных, записанных перед и после границы слоя на носителе 100 записи. Эти группы блоков данных на фиг. 26 принадлежат основному TS, который включает в себя видеопоток левой точки обзора, вспомогательному TS, который включает в себя видеопоток правой точки обзора, и вспомогательного TS, который включает в себя поток карты глубины. Ниже такая компоновка называется "компоновкой 3". Как можно видеть при сравнении фиг. 26 с фиг. 20, компоновка 3 отличается от компоновки 1 только тем, что блок 2004 3D протяженности предварительного перехода заменяет блок 2002 3D протяженности предварительного перехода. Поскольку другие характеристики компоновки 3 являются теми же, что и у компоновки 1, подробное описание таких характеристик может быть найдено со ссылкой на компоновку 1.
Компоновка с перемежением блока 2004 3D протяженности предварительного перехода отличается от компоновки с перемежением других блоков 3D протяженности тем, что порядок компоновки блока данных карты глубины и блока данных правой точки обзора, являются противоположными, то есть, блок данных правой точки обзора, блок данных карты глубины и блок данных левой точки обзора поочередно записаны в указанном порядке. Как и в случае компоновки 1, блоки L2SS и L3SS, предназначенные исключительно для 3D воспроизведения, включенные в блок 2004 3D протяженности предварительного перехода, побитно соответствуют блокам L22D и L32D, предназначенным исключительно для 2D воспроизведения.
На пути воспроизведения в режиме L/R в компоновке 3, как показано на фиг. 27, доступ к блокам данных выполняют в следующем порядке: 3D протяженность EXTSS[0], состоящая из пары блока R0 данных правой точки обзора и блока L0 данных левой точки обзора; 3D протяженность EXTSS[1], состоящая из пары блока R1 данных правой точки обзора и блока L1 данных левой точки обзора; 3D протяженность EXTSS[2], состоящая только из блока R2 данных правой точки обзора; 3D протяженность EXTSS[3], состоящая из пары блока L2SS данных левой точки обзора и блока R3 данных правой точки обзора; и 3D протяженность EXTSS[4], состоящая только из блока L3SS данных левой точки обзора.
При такой компоновке, в компоновке 3, как и в случае с компоновкой 1, путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R разделяют перед положением, где происходит длинный переход. В соответствии с этим, размер EXT1 [3] в конце блока 3D протяженности предварительного перехода не должен удовлетворять условию предотвращения незаполнения буфера в режиме 2D воспроизведения. Кроме того, как и в случае компоновки 1, компоновку 3 также можно применять для длинного перехода, который происходит при одном с n множественным соединением элементов воспроизведения, что обеспечивает возможность формирования данных для множества соединений, где предшествующий элемент воспроизведения соединяется без стыков с множеством элементов воспроизведения.
В дополнение к этому, при компоновке 3 может быть уменьшена величина запаса объема буфера поля, требуемая для бесстыкового соединения при воспроизведении 3D изображений, как в режиме глубины, так и в режиме L/R. Следовательно, размер буфера считывания, требуемого для устройства 2D/3D воспроизведения, для воспроизведения 3D изображения в обоих режимах глубины и L/R, может быть уменьшен по сравнению с воспроизведением данных в соответствии с компоновкой 1. Определенные величины уменьшения величины запаса объема буфера будут описаны ниже.
Следует отметить, что на фиг. 26 блок данных правой точки обзора, блок данных карты глубины и блок данных левой точки обзора поочередно записаны в указанном порядке в блоке 2004 3D протяженности предварительного перехода, в то время как блок данных карты глубины, блок данных правой точки обзора и блок данных левой точки обзора поочередно записывают в указанном порядке. Компоновка 3, однако, отличается тем, что блок данных карты глубины и блок данных правой точки обзора при компоновке с перемежением блока 3D протяженности предварительного перехода расположены противоположно тому, что представлено в других блоках 3D протяженности. В соответствии с этим, например, в случае, когда блок данных правой точки обзора, блок данных карты глубины и блок данных левой точки обзора поочередно размещены в виде компоновки с перемежением в указанном порядке, предпочтительно, чтобы блоки данных были размещены в чередующемся порядке, блок данных карты глубины, блок данных правой точки обзора и блок данных левой точки обзора в блок 3D протяженности предварительного перехода.
[Компоновка 4]
На фиг. 28 показана схема, представляющая четвертый пример физической компоновки группы блоков данных, записанных перед и после границы слоя на носителе 100 записи. Эти группы блоков данных принадлежат основному TS, который включает в себя видеопоток левой точки обзора, первый вспомогательный TS, который включает в себя видеопоток правой точки обзора, и второй вспомогательный TS, который включает в себя поток карты глубины. Ниже такая компоновка называется "компоновкой 4". Как показано на фиг. 28, на первом слое записи, расположенном перед границей LB слоя, группа …, D1, D2 блока данных карты глубины, группа …, R1, R2 блока данных правой точки обзора, и группа …, L1, L2 блока данных основной точки обзора и записаны с компоновкой с перемежением. Ниже эти группы блоков данных называются "первым блоком 2001 3D протяженности". Кроме того, один блок L32D данных основной точки обзора расположен между концом L2 первого блока 2001 3D протяженности и границей LB слоя. С другой стороны, на втором слое записи, расположенном после границы LB слоя, группа D3, D4, …, блока данных карты глубины, группа R3, R4, …, блока данных правой точки обзора и группа L3SS, L4, … блока данных основной точки обзора, записаны в виде компоновки с перемежением. Ниже эти группы блоков данных называются "вторым блоком 2102 3D протяженности".
Компоновка с перемежением для блоков 2001 и 2102 3D протяженности является такой же, как показано на фиг. 15. Другими словами, блок данных карты глубины, блок данных правой точки обзора и блок данных основной точки обзора расположены поочередно в указанном порядке. Кроме того, время ATC протяженности является одинаковым между этими тремя последовательными блоками Dn, Rn, Ln (n=…, 1, 2, 3, 4, …) данных. Содержание каждой части потоковых данных является непрерывным между тремя блоками D2, R2 и L2 данных, расположенных на конце первого блока 2001 3D протяженности и тремя блоками D3, R3, L3SS данных расположенными сверху второго блока 2102 3D протяженности.
Блок L32D данных основной точки обзора, расположенный непосредственно перед границей LB слоя, побитно соответствует блоку L3SS данных основной точки обзора в верхней части второго блока 2102 3D протяженности. Другими словами, блоки L32D и L3SS данных представляют данные - дубликаты. Ниже L32D называется "блоком исключительно для 2D воспроизведения", и L3SS называется "блоком исключительно для 3D воспроизведения".
Доступ к блокам данных, показанным на фиг. 28, может осуществляться как к протяженности либо 2D файла, или файла DEP, за исключением блока L3SS, предназначенного исключительно для 3D воспроизведения. Например, на входе 2110 файла в 2D файле (01000.m2ts), дескриптор №1 выделения обозначает размер и LBN верхней части из блока L1 данных основной точки обзора, который является вторым от конца первого блока 2001 3D протяженности. В соответствии с этим, к блоку L1 данных основной точки обзора доступ может осуществляться, как к одной 2D протяженности EXT2D[0] в 2D файле. Дескриптор №2 выделения рассматривает пару L2+L32D, то есть, блок L2 данных основной точки обзора, по меньшей мере, первым в блоке 2001 3D протяженности, и непосредственно следующий блок L32D, предназначенный исключительно для 2D воспроизведения, как одиночную протяженность, и обозначает размер и LBN сверху нее. В соответствии с этим, доступ к паре блоков L2 + L32D данных основной точки обзора может осуществляться как к одной 2D протяженности EXT2D[1] в 2D файле. Кроме того, дескриптор №3 выделения обозначает размер и LBN верхней части второго блока L4 данных основной точки обзора во втором блоке 2102 3D протяженности. В соответствии с этим, доступ к блоку L4 данных основной точки обзора может осуществляться как к другой 2D протяженности EXT2D[2].
Поперечное соединение файлов AV потока выполняют таким же образом, как показано на фиг. 15 для групп блоков данных, показанных на фиг. 21. В частности, на входе 2120 в файл в первом файле SS, дескрипторы №1, №2, №3 и №4 выделения рассматривают соседние пары блоков данных правой точки обзора и блоков R1+L1, R2+L2, R3+L3SS и R4+L4 данных основной точки обзора так, что каждый из них имеет одинаковую протяженность и размер, и LBN обозначены в верхней их части. В соответствии с этим, доступ к каждой паре соседних блоков R1+L1, R2+L2, R3+L3SS и R4+L4 данных может осуществляться, соответственно, как к 3D протяженности EXTSS[0], EXTSS[1], EXTSS[2] и EXTSS[3] в первом файле SS. В этом случае, за исключением 3D протяженности EXTSS[2], которая следует непосредственно после границы LB слоя, 3D протяженности EXTSS[0], EXTSS[1] и EXTSS[3], соответственно, совместно используют блоки L1, L2 и L4 данных основной точки обзора с 2D файлом. С другой стороны, доступ к блоку L32D, предназначенному исключительно для 2D воспроизведения, может осуществляться только как к части протяженности EXT2D[1] в 2D файле, причем протяженность EXT2D[1] расположена непосредственно перед границей LB слоя. Кроме того, доступ к блоку L3SS, предназначенному исключительно для 3D воспроизведения, может осуществляться только как часть протяженности EXTSS[2], расположенная непосредственно после границы LB слоя.
На фиг. 29 показана схема, представляющая путь 2201 воспроизведения в режиме 2D воспроизведения и путь 2202 воспроизведения в режиме L/R для групп блоков данных, показанных на фиг. 28. Следует отметить, что специалист в данной области техники может легко определить по аналогии путь воспроизведения в режиме глубины по пути компоновки, показанном на фиг. 15.
В режиме 2D воспроизведения устройство 200 воспроизведения воспроизводит 2D файл. В соответствии с этим, как показано путем 2201 воспроизведения в режиме 2D воспроизведения, первый блок L1 данных основной точки обзора, который является вторым с конца первого блока 2001 3D протяженности, считывают как первую 2D протяженность EXT2D[0], и считывают непосредственно следующий блок D2 данных карты глубины, и блок R2 данных правой точки обзора пропускают в результате первого перехода J2D1. Затем пару L2+L32D блоков L2 данных основной точки обзора, которая расположена последней в первом блоке 2001 3D протяженности, и непосредственно последующий блок L32D, предназначенный исключительно для 2D воспроизведения, непрерывно считывают как вторую 2D протяженность EXT2D[1]. Длинный переход JLY возникает после непосредственно следующей границы LB слоя, и выполнения перехода фокусирования, считывание пяти блоков D3, R3, L3SS, D4 и R4 данных, расположенных в верхней части второго блока 2102 3D протяженности, пропускают. Далее второй блок L4 данных основной точки обзора, во втором блоке 2102 3D протяженности, считывают как третью 2D протяженность EXT2D[2].
В режиме L/R устройство 200 воспроизведения воспроизводит первый файл SS. В соответствии с этим, как показано путем 2202 воспроизведения в режиме L/R, первую пару R1+L1 верхнего блока R1 данных правой точки обзора и непосредственно последующего блока L1 данных основной точки обзора считывают непрерывно как первую 3D протяженность EXTSS[0], и считывание непосредственно последующего блока D2 данных карты глубины пропускают при первом переходе JLR1. Затем второй блок R2 данных правой точки обзора и непосредственно следующий блок L2 данных основной точки обзора непрерывно считывают как вторую 3D протяженность EXTSS[1]. Длинный переход JLY происходит непосредственно после этого, и выполнения перехода фокусирования, выполняют считывание блока L32D, предназначенного исключительно для 2D воспроизведения в верхней части блока D3 данных карты глубины, и второй блок 2102 3D протяженности пропускают. Далее верхний блок R3 данных правой точки обзора, во втором блоке 2102 3D протяженности и непосредственно последующий блок L3SS, предназначенный исключительно для 3D воспроизведения, считывают непрерывно как третью 3D протяженность EXTSS[2], и считывание непосредственно последующего блока D4 данных карты глубины пропускают при втором переходе JLR2. Кроме того, следующий блок R4 данных правой точки обзора и непосредственно последующего блока L4 данных основной точки обзора считывают непрерывно, как четвертую 3D протяженность EXTSS[3].
Как показано на фиг. 29, в режиме 2D воспроизведения, считывают блок L32D, предназначенный исключительно для 2D воспроизведения, в то время как считывание блока L3SS, предназначенного исключительно для 3D воспроизведения, пропускают. И, наоборот, в режиме L/R, считывание блока L32D, предназначенного исключительно для 2D воспроизведения, пропускают, в то время как считывают блок L3SS, предназначенный исключительно для 3D воспроизведения. Однако, поскольку блоки L32D и L3SS данных побитно соответствуют друг другу, видеокадр левой точки обзора, который воспроизводят, является одинаковым в обоих режимах воспроизведения. При компоновке 4 путь 2201 воспроизведения в режиме 2D воспроизведения и путь 2202 воспроизведения в режиме L/R разделены перед и после длинного перехода JLY таким образом. То же справедливо для режима глубины.
В компоновке 4, показанной на фиг. 29, путь 2201 воспроизведения в режиме 2D воспроизведения и путь 2202 воспроизведения в режиме L/R разделены перед и после длинного перехода JLY, таким образом. В соответствии с этим, в отличие от компоновки, показанной на фиг. 22, размер Sext2D[1] для 2D протяженности EXT2D[1], расположенный непосредственно перед границей LB слоя, и размер Sext2[1], непосредственно предшествующий блоку R2 данных правой точки обзора, могут быть определены отдельно, как описано ниже.
Прежде всего, размер Sext2D[1] 2D протяженности EXT2D[1] является таким же, как и сумма Sext1[1]+S2D размера Sext1[1] блока L2 данных основной точки обзора и размера S2D блока L32D, предназначенного исключительно для 2D воспроизведения. В соответствии с этим, для воспроизведения без стыков в режиме 2D воспроизведения, такая сумма Sext1[1]+S2D должна быть большей или равной количеству данных, которое передают из буфера считывания в целевой декодер системы между началом считывания 2D протяженности EXT2D[1] и завершением длинного перехода JLY. С другой стороны, размеры Sext2[1] и Sext1[1] блока R2 данных правой точки обзора и блока L2 данных основной точки обзора, принадлежащего 3D протяженности EXTSS[1], расположенный непосредственно перед границей LB слоя, должны составлять такие значения, чтобы величину запаса объема буфера можно было поддерживать непосредственно до момента длинного перехода JLY. В этом случае, в пределах 2D протяженности EXT2D[1], только блок L2 данных основной точки обзора расположенный раньше в протяженности, совместно используют с 3D протяженностью EXTSS[1]. В соответствии с этим, путем соответствующего увеличения размера S2D блока L32D, предназначенного исключительно для 2D воспроизведения, размер Sext1[1] блока L2 данных основной точки обзора может быть дополнительно ограничен при поддержании постоянным размера Sext2D[1]=Sext1[1]+S2D 2D протяженности EXT2D[1]. В соответствии с этим, размер Sext2[1] блока R2 данных правой точки обзора также может быть дополнительно ограничен.
В этом случае, поскольку блок L3SS, предназначенный исключительно для 3D воспроизведения, и блок L32D, предназначенный исключительно для 2D воспроизведения, представляют собой данные - дубликаты, увеличение размера S2D блока L32D, предназначенного исключительно для 2D воспроизведения, увеличивает размер блока R3 данных правой точки обзора, расположенного непосредственно перед блоком L3SS, предназначенным исключительно для 3D воспроизведения. Однако, его размер может быть сделан существенно меньшим, чем размер блока R3 данных правой точки обзора, расположенного непосредственно перед границей LB слоя, показанного на фиг. 22. Таким образом, величина буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения в режиме L/R, может быть дополнительно уменьшена до минимальной, необходимой для воспроизведения без стыков в режиме L/R.
При этом возможно, чтобы установленный таким образом каждый блок данных в компоновке 4 имел размер, при котором воспроизведение без стыков видеоизображений во время длинного перехода было бы возможно, как в режиме 2D воспроизведения, так и в режиме L/R, при поддержании минимально необходимой величины буфера, которая должна быть гарантирована в буфере считывания в устройстве 200 воспроизведения. Кроме того, изменение блока данных, который должен быть считан в режиме 2D воспроизведения и в режиме L/R, в частности, переключение между блоком L32D, предназначенным исключительно для 2D воспроизведения, и блоком L3SS, предназначенным исключительно для 3D воспроизведения, возможно просто путем переключения файла AV потока на воспроизведение между файлом 2D и файлом SS.
[Компоновка 5]
На фиг. 30 показана схема, представляющая пятый пример физической компоновки групп блоков данных, записанных перед и после границы слоя на носителе 100 записи. Эти группы блоков данных принадлежат основному TS, который включает в себя видеопоток левой точки обзора, первый вспомогательный TS, который включает в себя видеопоток правой точки обзора, и второй вспомогательного TS, который включает в себя поток карты глубины. Ниже такая компоновка называется "компоновкой 5". Как можно видеть путем сравнения фиг. 30 с фиг. 28, компоновка 5 отличается от компоновки 4 только тем, что два блока L3SS и L4SS, предназначенные исключительно для 3D воспроизведения, предусмотрены в верхней части второго блока 2402 3D протяженности. В отношении других характеристик компоновки 5 они являются такими же, как и у компоновки 4, и детальное описание таких характеристик можно найти со ссылкой на компоновку 1.
Блок (L3+L4)2D, предназначенный исключительно для 2D воспроизведения, расположенный непосредственно перед границей LB слоя, побитно соответствует паре блоков L3SS и L4SS, предназначенных исключительно для 3D воспроизведения в блоке 2402 3D протяженности. Другими словами, блок (L3+L4)2D, предназначенный исключительно для 2D воспроизведения, и блоки L3SS и L4SS, предназначенные исключительно для 3D воспроизведения, представляют собой данные - дубликаты.
Доступ к блокам данных, показанным на фиг. 30, может осуществляться как к протяженности в одном из файла 2D или файла DEP, за исключением блоков L3SS и L4SS, предназначенных исключительно для 3D воспроизведения. Например, на входе 2410 файла для файла 2D, дескриптор №1 выделения обозначает размер и LBN верхней части блока L1 данных основной точки обзора, который является вторым с конца первого блока 2401 3D протяженности. В соответствии с этим, доступ к блоку L1 данных основной точки обзора может осуществляться, как к одной 2D протяженности EXT2D[0] в файле 2D. Дескриптор №2 выделения рассматривает пару L2+(L3+L4)2D, то есть, блок L2 данных основной точки обзора, последний в первом блоке 2401 3D протяженности, и непосредственно последующий блок (L3+L4) 2D, предназначенный исключительно для 2D воспроизведения, как одиночную протяженность, и обозначает размер и LBN ее верхней части. В соответствии с этим, доступ к паре блоков L2+(L3+L4)2D данных основной точки обзора может осуществляться, как к одной 2D протяженности EXT2D[1] в файле 2D. Кроме того, дескриптор №3 выделения обозначает размер и LBN верхней части третьего блока L5 данных основной точки обзора, во втором блоке 2402 3D протяженности. В соответствии с этим, доступ к блоку L5 данных основной точки обзора может осуществляться, как к другой 2D протяженности EXT2D[2].
На входе 2420 в файл в первом файле SS, дескрипторы №1, №2, №3, №4 и №5 выделения учитывают соседние пары блоков данных правой точки обзора и блоков R1+L1, R2+L2, R3+L3SS, R4+L4SS и R5+L5 данных основной точки обзора таким образом, что каждый из них имеет одинаковую протяженность и обозначает размер и LBN их верхней части. В соответствии с этим, доступ к каждой паре соседних блоков R1+L1, …, R5+L5 данных может осуществляться, соответственно, как к 3D протяженности EXTSS[0], EXTSS[1], EXTSS[2], EXTSS[3] и EXTSS[4] в первом файле SS. Доступ к блоку (L3+L4)2D, предназначенному исключительно для 2D воспроизведения, может осуществляться только как к части протяженности EXT2D[1] в файле 2D, и доступ к блокам L3SS и L4SS, предназначенным исключительно для 3D воспроизведения, может осуществляться только как к части 3D протяженностей EXTSS[2] и EXTSS[3].
На фиг. 31 показана схема, представляющая путь 2501 воспроизведения в режиме 2D воспроизведения, и путь 2502 воспроизведения в режиме L/R для группы блоков данных, показанной на фиг. 30. Следует отметить, что специалист в данной области техники может легко понять по аналогии путь воспроизведения в режиме глубины по компоновке, показанной на фиг. 15.
В режиме 2D воспроизведения устройство 200 воспроизведения воспроизводит файл 2D. Соответственно, как показано на примере пути 2501 воспроизведения в режиме 2D воспроизведения, вначале блок L1 данных основной точки обзора, который является вторым с конца блока 2401 первой 3D протяженности, считывают как первую 2D протяженность EXT2D[0], и считывание непосредственно следующего блока D2 данных карты глубины и блока R2 данных правой точки обзора пропускают в результате выполнения первого перехода J2D1. Далее последовательно считывают пару L2+(L3+L4)2D блока L2 данных основной точки обзора, расположенного последним в блоке 2401 первой 3D протяженности, и непосредственно следующего блока (L3+L4)2D, предназначенного исключительно для 2D воспроизведения, как вторую 2D протяженность EXT2D[1]. Длинный переход JLY происходит на непосредственно следующей границе LB слоя, и вместе с выполнением перехода фокусирования пропускают считывание восьми блоков D3, R3, L3SS, D4, R4, L4SS, D5, и R5 данных, расположенных в верхней части второго блока 2402 3D протяженности. Далее считывают третий блок L5 данных основной точки обзора в блоке 2402 второй 3D протяженности, как третью 2D протяженность EXT2D[2].
В режиме L/R устройство 200 воспроизведения воспроизводит первый файл SS. В соответствии с этим, как показано на примере пути 2502 воспроизведения в режиме L/R, вначале непрерывно считывают пару R1+L1 верхней части блока R1 данных правой точки обзора и непосредственно следующего блока L1 данных основной точки обзора, как первую 3D протяженность EXTSS[0], и считывание непосредственно следующего блока D2 данных карты глубины пропускают из-за первого перехода JLR1. Затем второй блок R2 данных правой точки обзора и непосредственно следующий блок L2 данных основной точки обзора непрерывно считывают, как вторую 3D протяженность EXTSS[1]. Длинный переход JLY происходит непосредственно после этого, и вместе с выполнением перехода фокусирования, пропускают считывание блока (L3+L4)2D, предназначенного исключительно для 2D воспроизведения и верхнего блока D3 данных карты глубины в блоке 2402 второй 3D протяженности. Затем верхний блок R3 данных правой точки обзора в блоке 2402 второй 3D протяженности и непосредственно следующий блок L3SS, предназначенный исключительно для 3D воспроизведения, непрерывно считывают, как третью 3D протяженность EXTSS[2], и считывание непосредственно следующего блока D4 данных карты глубины пропускают в результате второго перехода JLR2. Аналогично, следующий блок R4 данных правой точки обзора и непосредственно следующий блок L4SS, предназначенный исключительно для 3D воспроизведения, непрерывно считывают, как четвертую 3D протяженность EXTSS[3], и считывание непосредственно следующего блока D5 данных карты глубины пропускают в результате третьего перехода JLR3. Кроме того, следующий блок R5 данных правой точки обзора и непосредственно следующий блок L5 данных основной точки обзора считывают непрерывно, как пятую 3D протяженность EXTSS[4].
Как показано на фиг. 31, в режиме 2D воспроизведения, считывают блок (L3+L4)2D, предназначенный исключительно для 2D воспроизведения, в то время как считывание блоков L3SS и L4SS, предназначенных исключительно для 3D воспроизведения, пропускают. И, наоборот, в режиме L/R, считывание блока (L3+L4)2D, предназначенного исключительно для 2D воспроизведения, пропускают, то время как считывают блоки L3SS и L4SS, предназначенные исключительно для 3D воспроизведения. Однако, поскольку блок (L3+L4)2D, предназначенный исключительно для 2D воспроизведения, и блоки L3SS и L4SS, предназначенные исключительно для 3D воспроизведения, побитно соответствуют друг другу, воспроизводимые видеокадры левой точки обзора являются одинаковыми в обоих режимах воспроизведения. При компоновке 5 путь 2501 воспроизведения в режиме 2D воспроизведения и путь 2502 воспроизведения в режиме L/R разделены перед и после длинного перехода JLY, таким образом. В соответствии с этим, размер Sext2D[1] 2D протяженности EXT2D[1], расположенный непосредственно перед границей LB слоя, и размер Sext2[1] непосредственно предшествующего блока R2 данных правой точки обзора могут быть определены отдельно, как указано ниже. Следует отметить, что то же самое справедливо для режима глубины.
Вначале размер Sext2D[1] 2D протяженности EXT2D[1] является тем же, что и сумма Sext1[1]+S2D размера Sext1[1] блока L2 данных основной точки обзора, и размер S2D блока (L3+L4)2D, предназначенного исключительно для 2D воспроизведения. В соответствии с этим, для воспроизведения без стыков в режиме 2D воспроизведения, такая сумма Sext1[1]+S2D должна быть больше или равна количеству данных, которые передают из буфера считывания в целевой декодер системы между началом считывания 2D протяженности EXT2D[1] и завершением длинного перехода JLY. С другой стороны, размеры Sext2[1] и Sext1[1] блока R2 данных правой точки обзора и блока L2 данных основной точки обзора, принадлежащих 3D протяженности EXTSS[1], расположенной непосредственно перед границей LB слоя, должны представлять такие значения, чтобы величину запаса объема буфера можно было поддерживать до момента непосредственно перед длинным переходом JLY. Благодаря соответствующему увеличению размера S2D блока (L3+L4)2D, предназначенного исключительно для 2D воспроизведения, размер Sext1[1] блока L2 данных основной точки обзора может быть дополнительно ограничен при поддержании размера Sext2D[1]=Sext1[1]+S2D 2D протяженности EXT2D[1] постоянным. В соответствии с этим, размер Sext2[1] блока R2 данных правой точки обзора также можно дополнительно ограничить.
В этом случае, поскольку блоки L3SS и L4SS, предназначенные исключительно для 3D воспроизведения, и блок (L3+L4)2D, предназначенный исключительно для 2D воспроизведения, представляет данные - дубликаты, увеличение размера S2D блока (L3+L4)2D, предназначенного исключительно для 2D воспроизведения, увеличивает размер блоков R3 и R4 данных правой точки обзора, расположенных непосредственно перед блоками L3SS и L4SS, предназначенными исключительно для 3D воспроизведения. Однако, по сравнению с одним блоком (L3+L4) 2D, предназначенным исключительно для 2D воспроизведения, поскольку блок, предназначенный исключительно для 3D воспроизведения, разделен на два блока, L3SS и L4SS, размер каждого может быть сделан существенно меньшим, чем размер блока R3 данных правой точки обзора, расположенного непосредственно перед границей LB слоя, показанного на фиг. 22. Таким образом, величина буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения в режиме L/R, может быть дополнительно уменьшена до минимального, необходимого размера для воспроизведения без стыков в режиме L/R.
Возможно сделать установленный таким образом размер каждого блока данных в соответствии с компоновкой 5 таким, что воспроизведение без стыков видеоизображений во время длинного перехода становится возможным, как в режиме 2D воспроизведения, так и в режиме L/R, при поддержании величины буфера считывания, которая должна быть гарантирована в декодере в устройстве 200 воспроизведения, на минимальной, необходимой величине. Кроме того, изменение блока данных, который требуется считать в режиме 2D воспроизведения и в режиме L/R, в частности, переключение между блоком (L3+L4)2D, предназначенным исключительно для 2D воспроизведения, и блоками L3SS и L4SS, предназначенными исключительно для 3D воспроизведения, становится возможным просто путем переключения файла AV потока для воспроизведения между файлом 2D и файлом SS. Следует отметить, что то же самое также справедливо для режима глубины.
При компоновке 5 данные - дубликаты для блока (L3+L4)2D, предназначенного исключительно для 2D воспроизведения, устанавливают как два блока L3SS и L4SS, предназначенные исключительно для 3D воспроизведения. В качестве альтернативы, данные - дубликаты могут быть установлены как три или более блока, предназначенных исключительно для 3D воспроизведения.
[Компоновка 6]
На фиг. 32 показана схема, представляющая шестой пример физической компоновки групп блоков данных, записанных перед и после границы слоя на носителе 100 записи. Эти группы блоков данных принадлежат основному TS, который включает в себя видеопоток левой точки обзора, первый вспомогательный TS, который включает в себя видеопоток правой точки обзора, и второй вспомогательный TS, который включает в себя поток карты глубины. Далее такая компоновка называется "компоновкой 6". Как можно видеть при сравнении фиг. 32 и фиг. 30, компоновка 6 отличается от компоновки 5 тем, что доступ к блоку (L2+L3)2D, предназначенному исключительно для 2D воспроизведения, может быть осуществлен, как к одной 2D протяженности EXT2D[1]. Поскольку другие характеристики компоновки 6 являются теми же, что и у компоновки 5, подробное описание таких характеристик можно найти по ссылке на компоновку 5.
Блок (L2+L3)2D, предназначенный исключительно для 2D воспроизведения, расположенный непосредственно перед границей LB слоя, побитно соответствует паре блоков L2SS и L3SS, предназначенных исключительно для 3D воспроизведения в блоке 2602 3D протяженности. Другими словами, блок (L2+L3)2D, предназначенный исключительно для 2D воспроизведения, и блоки L2SS и L3SS, предназначенные исключительно для 3D воспроизведения, представляют собой данные - дубликаты.
Доступ к блокам данных, показанным на фиг. 32, можно осуществлять, как к протяженности либо в файле 2D, или в файле DEP, за исключением двух блоков L2SS и L3SS, предназначенных исключительно для 3D воспроизведения. Например, на входе 2610 в файл в файле 2D, дескриптор №1 выделения обозначает размер и LBN верхней части блока L1 данных основной точки обзора, последнего блока данных в блоке 2601 первой 3D протяженности. В соответствии с этим, доступ к блоку L1 данных основной точки обзора может быть выполнен, как к одной 2D протяженности EXT2D[0]. Дескриптор №2 выделения учитывает блок (L2+L3)2D, предназначенный исключительно для 2D воспроизведения, как одну протяженность, и обозначает размер и LBN его верхней части. В соответствии с этим, доступ к блоку (L2+L3)2D, предназначенному исключительно для 2D воспроизведения, может быть выполнен, как к следующей 2D протяженности EXT2D[1]. Дескриптор №3 выделения обозначает размер и LBN верхней части третьего блока L4 данных основной точки обзора в блоке 2602 второй 3D протяженности. В соответствии с этим, доступ к блоку L4 данных основной точки обзора может осуществляться, как к третьей 2D протяженности EXT2D[2].
На входе 2620 файла в первом файле SS, дескрипторы №1, №2, №3 и №4 выделения рассматривают соседние пары блоков данных правой точки обзора и блоков данных основной точки обзора R1+L1, R2+L2SS, R3+L3SS и R4+L4 каждый, как представляющие одну протяженность, и обозначают размер и LBN верхней их части. В соответствии с этим, доступ к каждой паре соседних блоков R1+L1, …, R4+L4 данных может быть осуществлен, соответственно, как к 3D протяженностям EXTSS[0], EXTSS[1], EXTSS[2] и EXTSS[3] в первом файле SS. Доступ к блоку (L2+L3)2D, предназначенному исключительно для 2D воспроизведения, может быть выполнен, как к части протяженности EXT2D[1] в файле 2D, и доступ к блокам L2SS и L3SS, предназначенным исключительно для воспроизведения 3D, может быть выполнен, как к части протяженностей EXTSS[1] и EXTSS[2].
На фиг. 33 показана схема, представляющая путь 2701 воспроизведения в режиме 2D воспроизведения и путь 2702 воспроизведения в режиме L/R для группы блока данных, показанной на фиг. 32. Следует отметить, что специалист в данной области техники может легко понять по аналогии путь воспроизведения режима глубины по компоновке, показанной на фиг. 15.
В режиме 2D воспроизведения устройство 200 воспроизведения воспроизводит файл 2D. В соответствии с этим, как показано на примере пути 2701 воспроизведения в режиме 2D воспроизведения, вначале блок L1 данных основной точки обзора, который представляет собой последний блок данных в блоке 2601 первой 3D протяженности, считывают как первую 2D протяженность EXT2D[0]. Затем, следующий непосредственно после него блок (L2+L3)2D, предназначенный исключительно для 2D воспроизведения, непрерывно считывают как вторую 2D протяженность EXT2D[1]. Длинный переход JLY происходит на непосредственно следующей границе LB слоя, и вместе с выполнением перехода фокусирования, считывание восьми блоков D2, R2, L2SS, D3, R3, L3SS, D4 и R4 данных, расположенных в верхней части второго блока 2602 3D протяженности, пропускают. Далее третий блок L4 данных основной точки обзора в блоке 2602 второй 3D протяженности считывают, как третью 2D протяженность EXT2D[2].
В режиме L/R устройство 200 воспроизведения воспроизводит первый файл SS. В соответствии с этим, как показано на примере пути 2702 воспроизведения в режиме L/R, вначале непрерывно считывают первую пару R1+L1 в верхнем блоке R1 данных правой точки обзора и непосредственно следующий блок L1 данных основной точки обзора, как первую 3D протяженность EXTSS[0]. Длинный переход JLY происходит непосредственно после этого, и вместе с выполнением перехода фокусирования, считывание блока (L2+L3)2D, предназначенного исключительно для 2D воспроизведения и верхней части блока D3 данных карты глубины в блоке 2602 второй 3D протяженности, пропускают. Затем верхний блок R2 данных правой точки обзора и блок 2602 второй 3D протяженности, и непосредственно следующий блок L2SS, предназначенный исключительно для 3D воспроизведения, считывают непрерывно как вторую 3D протяженность EXTSS[1], и считывание непосредственно следующего блока D3 данных карты глубины пропускают в результате первого перехода JLR1. Аналогично, следующий блок R3 данных правой точки обзора и непосредственно следующий блок L3SS, предназначенный исключительно для 3D воспроизведения, непрерывно считывают, как третью 3D протяженность EXTSS[2], и считывание непосредственно следующего блока D4 данных карты глубины пропускают в результате второго перехода JLR2. Кроме того, следующий блок R4 данных правой точки обзора и непосредственно следующий блок L4 данных основной точки обзора считывают непрерывно, как четвертую 3D протяженность EXTSS[3].
Как показано на фиг. 33, в режиме 2D воспроизведения, блок (L2+L3)2D, предназначенный исключительно для 2D воспроизведения, считывают, в то время как считывание блоков L2SS и L3SS, предназначенных исключительно для 3D воспроизведения, пропускают. И, наоборот, в режиме L/R, считывание блока (L2+L3)2D, предназначенного исключительно для 2D воспроизведения, пропускают, в то время как блоки L2SS и L3SS, предназначенные исключительно для 3D воспроизведения, считывают. Однако, поскольку блок (L2+L3)2D, предназначенный исключительно для 2D воспроизведения, и блоки L2SS и L3SS, предназначенные исключительно для 3D воспроизведения, побитно соответствуют друг другу, видеокадр левой точки обзора, который воспроизводят, является одинаковым в обоих режимах воспроизведения. При компоновке 6 путь 2701 воспроизведения в режиме 2D воспроизведения и путь 2702 воспроизведения в режиме L/R разделены перед и после длинного перехода JLY, таким образом. В соответствии с этим, размер Sext2D[1] 2D протяженности EXT2D[1], расположенный непосредственно перед границей LB слоя, и размер Sext2[1] непосредственно предшествующего блока R1 данных правой точки обзора могут быть определены по-отдельности, как описано ниже. Следует отметить, что то же самое также справедливо для режима глубины.
Вначале сумма Sext2D[0]+Sext2D[1] размеров двух 2D протяженностей EXT2D[0] и EXT2D[1], которые расположены непрерывно непосредственно перед границей LB слоя, является равной сумме Sext1[1]+S2D размера Sext1[1] блока L1 данных основной точки обзора и размера S2D блока (L2+L3)2D, предназначенного исключительно для 2D воспроизведения. В соответствии с этим, для воспроизведения без стыков в режиме 2D воспроизведения, такая сумма Sext1[1]+S2D должна быть больше чем или равной количеству данных, которые передают из буфера считывания в целевой декодер системы между началом считывания 2D протяженности EXT2D[1] и завершением длинного перехода JLY. С другой стороны, размеры Sext2[0] и Sext2D[0] блока R1 данных правой точки обзора и блока L1 данных основной точки обзора, принадлежащих 3D протяженности EXTSS[0], расположенной непосредственно перед границей LB слоя, должны быть равными таким значениям, чтобы величину запаса объема буфера можно было поддерживать до момента непосредственно перед длинным переходом JLY. Благодаря соответствующему увеличению размера S2D блока (L2+L3)2D, предназначенного исключительно для 2D воспроизведения, размер Sext1[1] блока L1 данных основной точки обзора может быть дополнительно ограничен при поддержании постоянной суммы Sext2D[0]+Sext2D[1] размеров пары 2D протяженностей EXT2D[0] и EXT2D[1]. В соответствии с этим, размер Sext2[0] блока R1 данных правой точки обзора также может быть дополнительно ограничен.
В этом случае, поскольку блоки L2SS и L3SS, предназначенные исключительно для 3D воспроизведения, и блок (L2+L3)2D, предназначенный исключительно для 2D воспроизведения, представляют данные - дубликаты, увеличение размера S2D блока (L2+L3)2D, предназначенного исключительно для 2D воспроизведения, увеличивает размер блоков R2 и R3 данных правой точки обзора, расположенных непосредственно перед блоками L2SS и L3SS, предназначенными исключительно для 3D воспроизведения. Однако, по сравнению с одним блоком (L2+L3)2D, предназначенным исключительно для 2D воспроизведения, поскольку блок, предназначенный исключительно для 3D воспроизведения, разделен на два блока, L2SS и L3SS, размер каждого из них может быть сделан существенно меньшим, чем размер блока R3 данных правой точки обзора, расположенного непосредственно перед границей LB слоя, показанного на фиг. 22. Таким образом, величина буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения в режиме L/R, может быть дополнительно уменьшена до минимума, необходимого для воспроизведения без стыков в режиме L/R.
Возможно сделать установленный таким образом размер каждого блока данных в соответствии с компоновкой 6 таким, что воспроизведение без стыков видеоизображений во время длинного перехода становится возможным, как в режиме 2D воспроизведения, так и в режиме L/R, при поддержании величины буфера считывания, которая должна быть гарантирована в декодере в устройстве 200 воспроизведения, на минимальной, необходимой величине. Кроме того, изменение блока данных, который требуется считать в режиме 2D воспроизведения и в режиме L/R, в частности, переключение между блоком (L2+L3)2D, предназначенным исключительно для 2D воспроизведения, и блоками L2SS и L3SS, предназначенными исключительно для 3D воспроизведения, становится возможным просто путем переключения файла AV потока для воспроизведения между файлом 2D и файлом SS. Следует отметить, что то же самое также справедливо для режима глубины.
При компоновке 6 данные - дубликаты для блока (L2+L3)2D, предназначенного исключительно для 2D воспроизведения, устанавливают как два блока L2SS и L3SS, предназначенные исключительно для 3D воспроизведения. В качестве альтернативы, данные - дубликаты могут быть установлены один блок, предназначенный исключительно для 3D воспроизведения, как показано на фиг. 1, или как три или больше блоков, предназначенных исключительно для 3D воспроизведения.
Следует отметить, что в отличие от компоновок 1-5, доступ к блоку, предназначенному исключительно для 2D воспроизведения, может быть выполнен, как для двух или более протяженностей в файле 2D. Кроме того, доступ к каждому из блоков данных может быть выполнен, как к протяженности в двух или более типах файлов 2D или файлов SS.
<Компоновка данных мультиплексированного потока только для режима L/R>
Когда 3D видеоизображения воспроизводят только в режиме L/R, блоки данных карты глубины могут быть удалены из компоновок 1-6. На фиг. 34A показана схема, представляющая компоновку 4 по фиг. 28 с удаленными блоками данных карты глубины. Такие группы блоков данных принадлежат основному TS, который включает в себя поток данных правой точки обзора и вспомогательному TS, который включает в себя поток данных левой точки обзора. Как показано на фиг. 34A, в блоке 2801 первой 3D протяженности, расположенном перед границей LB слоя, группа …, R1, R2 блоков данных правой точки обзора и группа …, L1, L2 блоков данных основной точки обзора записаны в компоновке с перемежением. С другой стороны, в блоке 2802 второй 3D протяженности, расположенной после границы LB слоя, группа R3, R4, … блоков данных правой точки обзора и группа L3SS, L4, … блоков данных основной точки обзора записаны в компоновке с перемежением. Кроме того, блок L32D, предназначенный исключительно для 2D воспроизведения, помещен между L2, последним блоком данных в блоке 2801 первой 3D протяженности и границей LB слоя. Кроме того, блок L3SS, предназначенный исключительно для 3D воспроизведения, помещен в верхней части блока 2802 второй 3D протяженности. Эти блоки L32D и L3SS данных представляют данные - дубликаты и побитно соответствуют друг другу.
При компоновке с перемежением в блоках 2801 и 2802 3D протяженности, блоки данных правой точки обзора и блоки данных основной точки обзора размещены поочередно в указанном порядке. Кроме того, между двумя последовательными блоками Rn, Ln (n=…, 1, 2, 3, 4, …) данных время ATC протяженности является одинаковым. Содержание каждой части потоковых данных расположено непрерывно между двумя блоками R2 и L2 данных, расположенных в конце блока 2801 первой 3D протяженности, и двумя блоками R3 и L3SS данных, расположенными в верхней части блока 2802 второй 3D протяженности.
Доступ к блокам данных, показанным на фиг. 34A, может осуществляться, как к протяженности, либо в файле 2D, или в файле DEP, за исключением блока L3SS, предназначенного исключительно для 3D воспроизведения. Например, на входе 2810 файла в файле 2D, дескриптор №1 выделения обозначает размер и LBN верхней части блока L1 данных основной точки обзора, который расположен вторым от конца блока 3401 первой 3D протяженности. В соответствии с этим, доступ к блоку L1 данных основной точки обзора может осуществляться, как к одной 2D протяженности EXT2D[0]. Дескриптор №2 выделения рассматривает пару блоков L2+L32D данных основной точки обзора, как одну протяженность, и обозначает размер и LBN его верхней части. В соответствии с этим, доступ к паре блоков L2+L32D данных основной точки обзора может быть выполнен, как ко второй 2D протяженности EXT2D[1]. Дескриптор №3 выделения обозначает размер и LBN верхней части второго блока L4 данных основной точки обзора в блоке 3402 второй 3D протяженности. В соответствии с этим, доступ к блоку L4 данных основной точки обзора может осуществляться, как к третьей 2D протяженности EXT2D[2].
Поперечное связывание файлов AV потока выполняют так же, как показано на фиг. 15. для групп блоков данных, показанных на фиг. 34A. В частности, поскольку блоки данных карты глубины удалены из блоков 2801 и 2802 3D протяженности, две или более пары блоков данных правой точки обзора и блоков данных основной точки обзора, имеющих одинаковое время ATC протяженности, могут быть расположены последовательно. В этом случае, доступ к таким двум или более парам может осуществляться, как к одной 3D протяженности. Как показано на фиг. 34A, на входе 2820 файла для файла SS, в пределах блока 2801 первой 3D протяженности, дескриптор №1 выделения рассматривает четыре последовательных блока данных правой точки обзора и блока данных основной точки обзора R1, L1, R2 и L2, как одну протяженность, обозначая размер и LBN их верхней части. В соответствии с этим, доступ к этим блокам R1, L1, R2 и L2 данных может осуществляться, как к одной 3D протяженности EXTSS[0]. В пределах блока 2802 второй 3D протяженности, дескриптор №2 выделения рассматривает четыре последовательных блока данных правой точки обзора и блока данных основной точки обзора R3, L3SS, R4 и L4, как одну протяженность, обозначая размер и LBN их верхней части. В соответствии с этим, доступ к этим блокам R3, L3SS, R4 и L4 данных может осуществляться, как к одной 3D протяженности EXTSS[1]. В этом случае, 3D протяженности EXTSS[0] и EXTSS[1], соответственно, совместно используют блоки L1, L2 и L4 данных основной точки обзора с 2D протяженностями EXT2D[0], EXT2D[1] и EXT2D[2]. С другой стороны, доступ к блоку L32D, предназначенному исключительно для 2D воспроизведения, может осуществляться только как к части протяженности EXT2D[1], расположенной непосредственно перед границей LB слоя. Кроме того, доступ к блоку L3SS, предназначенному исключительно для 3D воспроизведения, может осуществляться только как к части протяженности EXTSS[1], расположенной непосредственно после границы LB слоя.
На фиг. 34B показана схема, представляющая путь 2803 воспроизведения в режиме 2D воспроизведения и путь 2804 воспроизведения в режиме L/R для групп блоков данных, показанных на фиг. 34A.
В режиме 2D воспроизведения устройство 200 воспроизведения воспроизводит файл 2D. В соответствии с этим, как показано на примере пути 2803 воспроизведения в режиме 2D воспроизведения, первый блок L1 данных основной точки обзора, который расположен вторым от конца блока 2801 первой 3D протяженности, считывают, как первую 2D протяженность EXT2D[0], и считывание непосредственно следующего блока R2 данных правой точки обзора пропускают, из-за первого перехода J2D1. Затем последовательно считывают пару L2+L32D блока L2 данных основной точки обзора, расположенного последним в блоке 2801 первой 3D протяженности, и непосредственно следующий блок L32D, предназначенный исключительно для 2D воспроизведения, непрерывно считывают как вторую 2D протяженность EXT2D[1]. Длинный переход JLY происходит на непосредственно следующей границе LB слоя, и при выполнении перехода фокусирования, считывание трех блоков R3, L3SS, и R4 данных, расположенных в верхней части блока 2802 второй 3D протяженности, пропускают. Затем второй блок L4 данных основной точки обзора в блоке 2802 второй 3D протяженности считывают, как третью 2D протяженность EXT2D[2].
В режиме L/R устройство 200 воспроизведения воспроизводит файл SS. В соответствии с этим, как показано на примере пути 2804 воспроизведения в режиме L/R, вначале считывают группу блоков R1, L1, R2 и L2 данных в блоке 2801 первой 3D протяженности, последовательно, как первую 3D протяженность EXTSS[0]. Длинный переход JLY происходит немедленно после этого, и при выполнении перехода фокусирования пропускают считывание блока L32D, предназначенного исключительно для 2D воспроизведения. Затем, группу блоков R3, L3SS, R4 и L4 данных в блоке 2802 второй 3D протяженности считывают последовательно, как следующую 3D протяженность EXTSS[1].
Как показано на фиг. 34B, в режиме 2D воспроизведения, блок L32D, предназначенный исключительно для 2D воспроизведения, считывают, в то время как считывание блока L3SS, предназначенного исключительно для 3D воспроизведения, пропускают. И, наоборот, в режиме L/R, считывание блока L32D, предназначенного исключительно для 2D воспроизведения, пропускают, в то время как считывают блок L3SS, предназначенный исключительно для 3D воспроизведения. Однако, поскольку блоки L32D и L3SS данных побитно соответствуют друг другу, видеокадр левой точки обзора, который воспроизводят, является одинаковым в обоих режимах воспроизведения. При компоновке 4, даже когда поддерживается только режим L/R, путь 2803 воспроизведения в режиме 2D воспроизведения и путь 2804 воспроизведения в режиме L/R разделены перед и после длинного перехода JLY, таким образом. В соответствии с этим, путем соответствующего увеличения размера S2D блока L32D, предназначенного исключительно для 2D воспроизведения, размер Sext1[1] блока L2 данных основной точки обзора может быть дополнительно ограничен при поддержании постоянным размера Sext2D[1]=Sext1[1]+S2D 2D протяженности EXT2D[1]. В соответствии с этим, размер Sext2[1] блока данных R2 правой точки обзора также может быть дополнительно ограничен. В результате, емкость буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения в режиме L/R, может быть приведена еще ближе к минимуму, необходимому для воспроизведения без стыков в режиме L/R.
Далее приведено описание примера компоновки 1 с удаленными блоками данных карты глубины.
На фиг. 35 показана схема, представляющая компоновку 1 по фиг. 20 с удаленными блоками данных карты глубины. Эти группы блоков данных принадлежат основному TS, который включает в себя поток данных правой точки обзора и вспомогательного TS, который включает в себя поток данных левой точки обзора. Как показано на фиг. 35, на первом слое записи, расположенном перед границей LB слоя, блок 2005 первой 3D протяженности, который включает в себя группу …, R0, R1 блоков данных правой точки обзора и группу …, L0, L1 блоков данных основной точки обзора записаны в компоновке с перемежением. Блоки L22D и L32D, предназначенные исключительно для 2D воспроизведения, расположены последовательно после окончания L1 блока 2005 первой 3D протяженности. Кроме того, между блоком L32D, предназначенным исключительно для 2D воспроизведения, и границей LB слоя, блок 2006 второй 3D протяженности, который включает в себя группу …, R2, R3 блоков данных правой точки обзора и блоки …, L2ss, L3ss, предназначенные исключительно для 3D воспроизведения, записаны с компоновкой с перемежением.
Блоки L22D и L32D, предназначенные исключительно для 2D воспроизведения, и блоки L2ss и L3ss, предназначенные исключительно для 3D воспроизведения, представляют собой данные - дубликаты, и побитно соответствуют друг другу. С другой стороны, на втором слое записи, который расположен после границы LB слоя, блок 2007 третьей 3D протяженности, который включает в себя группу R4, …, блока данных правой точки обзора и группу L4 блока данных основной точки обзора, записаны в компоновке с перемежением.
В компоновках с перемежением блоков 2005, 2006 и 2007 3D протяженности, блок данных правой точки обзора и блок данных основной точки обзора расположены поочередно в этом порядке. Кроме того, между двумя последовательными модулями данных Rn, Ln (n=…, 1, 2, 3, 4, …), время ATC протяженности является одинаковым. Содержание каждой части потоковых данных является непрерывным между этими двумя блоками R1 и L1 данных, расположенных в конце первого блока 2005 3D протяженности, и эти два блока R2 и L2SS данных, расположены наверху второго блока 2006 3D протяженности, в то время как содержание каждой части потоковых данных непрерывно между двумя блоками R3 и L3SS данных, расположенными в конце второго блока 2006 3D протяженности и двумя блоками R4 и L4 данных, расположенными в верхней части третьего блока 2007 3D протяженности.
Доступ к блокам данных, показанным на фиг. 35, может осуществляться, как к протяженности, либо в файле 2D, или в файле DEP, за исключением блоков L2SS и L3SS, предназначенных исключительно для 3D воспроизведения. Например, на входе 2810 файла в первом файле 2D, дескриптор №1 выделения обозначает размер и LBN верхней части блока L0 данных основной точки обзора, который расположен вторым от конца блока 2005 первой 3D протяженности. В соответствии с этим, доступ к блоку L0 данных основной точки обзора может осуществляться, как к одной 2D протяженности EXT2D[0] в первом файле 2D. Дескриптор №2 выделения рассматривает группу блоков L1+L22D+L33D данных основной точки обзора, то есть блок L1 данных основной точки обзора, последний в первом блоке 2005 3D протяженности, и непосредственно последующие непрерывные блоки L22D и L32D, предназначенные исключительно для 2D воспроизведения, как одну протяженность, и обозначает размер и LBN его верхней части. В соответствии с этим, доступ к группе блоков L1+L22D+L33D данных основной точки обзора может быть выполнен, как к одной 2D протяженности EXT2D[1] в первом файле 2D. Блоки L1, L22D, и L33D данных основной точки обзора в этих файлах 2D составляют протяженность, имеющую большую непрерывную длину непосредственно перед положением, где происходит длинный переход. Поскольку файлы 2D могут формировать большую протяженность непосредственно перед длинным переходом, не ожидается, что произойдет незаполнение буферов считывания, при выполнении воспроизведения в режиме 2D воспроизведения. В точке 2011 входа файла во втором файле 2D дескриптор №1 выделения обозначает размер и LBN верхней части блока L4 данных основной точки обзора третьего блока 2007 3D протяженности. В соответствии с этим, доступ к блоку L4 данных основной точки обзора может осуществляться, как к одной 2D протяженности EXT2D[2] во втором файле 2D.
Поперечное соединение файлов AV потока выполняют таким же образом, как показано на фиг. 15 для групп блоков данных, показанных на фиг. 35. В частности, поскольку блоки данных карты глубины удалены из блоков 2005, 2006 и 2007 3D протяженности, две или более пар блоков данных правой точки обзора и блоков данных основной точки обзора, имеющих одинаковую протяженность времени ATC могут быть расположены непрерывно. В этом случае, к этим двум или более парам можно обращаться как к одной 3D протяженности. Как показано в фиг. 35, на входе 2020 в файл в файле SS, в пределах первого блока 2005 3D протяженности, дескриптор №1 выделения учитывает четыре смежных блока данных правой точки обзора и блоки R0, L0, R1 и L1 данных основной точки обзора, как одну протяженность, обозначая размер и LBN ее верхней части. В соответствии с этим, доступ к этим блокам R0, L0, R1 и L1 данных может осуществляться, как к одной 3D протяженности EXTSS[0]. В пределах второго блока 2006 3D протяженности дескриптор №2 выделения учитывает четыре смежных блока данных правой точки обзора и блоки R2, L2SS, R3 и L3SS данных основной точки обзора, как одну протяженность, обозначая размер и LBN ее верхней части. Соответственно, к этим блокам данных R2, L2SS, R3 и L3SS можно обращаться как к одной 3D протяженности EXTSS[1]. На входе файла 2021 в файле SS дескриптор №1 выделения учитывает соседнюю пару блока данных правой точки обзора и блоков R4+L4 данных основной точки обзора, как одну протяженность, обозначая размер и LBN ее верхней части. Соответственно, к соседней паре блоков R4+L4 данных можно обращаться как к одной 3D протяженности EXTSS[4].
В этом случае, 3D протяженности EXTSS[0] и EXTSS[1], соответственно, совместно используют блоки L1, L2 и L4 данных основной точки обзора с 2D протяженностями EXT2D[0], EXT2D[1] и EXT2D[2]. С другой стороны, доступ к блокам L22D и L32D, предназначенным исключительно для 2D воспроизведения, может осуществляться только как к части протяженности EXT2D[1], расположенной непосредственно перед границей LB слоя. Кроме того, доступ к блокам L2SS и L3SS, предназначенным исключительно для 3D воспроизведения, может осуществляться только как к части протяженности EXTSS[1], расположенной непосредственно после границы LB слоя.
На фиг. 35, как 2D список воспроизведения, так и 3D список воспроизведения оба включают в себя элементы №1 и №2 воспроизведения, которые без стыков соединены вместе. Предшествующий элемент воспроизведения в 2D PlayList относится к первому файлу 2D. Предшествующий элемент воспроизведения в 3D PlayList относится к первому файлу SS, и подэлемент воспроизведения, воспроизводимый синхронно с предшествующим элементом воспроизведения, относится к файлу DEP. Как описано выше, содержание блоков данных основной точки обзора, на которые ссылаются 2D протяженности EXT2D[0] и EXT2D[1], представляет собой то же, что и содержание блоков данных основной точки обзора, на которое ссылаются 3D протяженности EXTSS[0] и EXTSS[1]. В соответствии с этим, при воспроизведении 2D списка воспроизведения, блоки L1, L22D и L32D данных основной точки обзора воспроизводят в положении, где элементы воспроизведения соединены без стыков, в то время как при воспроизведении 3D списка воспроизведения, L1, L2SS и L3SS, которые имеют то же содержание, что и у L1, L22D и L32D, воспроизводят в положении, где элементы воспроизведения соединены без стыков. Таким образом, хотя пути воспроизведения отличаются между 2D воспроизведением, основанном на 2D списке воспроизведения и 3D воспроизведением, основанном на 3D списке воспроизведения, устройства воспроизведения могут воспроизводить один и тот же видеокадр левой точки обзора.
Далее приведено описание данных, на которые ссылаются следующие элементы воспроизведения. Следующий элемент воспроизведения в 2D PlayList ссылается на второй файл 2D. Следующий элемент воспроизведения в 3D PlayList ссылается на второй файл SS, и подэлемент воспроизведения, воспроизводимый синхронно со следующим элементом воспроизведения 2D PlayList, ссылается на файл DEP. Как показано на чертеже, второй файл 2D и второй файл SS используют одни и те же данные, то есть, блок L4 данных основной точки обзора.
Здесь расстояние от конца 2D протяженности EXT2D[1] перед переходом, на который ссылается предшествующий элемент воспроизведения 2D PlayList до начала 2D протяженности EXT2D[2], на которую ссылается следующий элемент воспроизведения, установлено как значение, не большее, чем максимальное расстояние перехода, определенное в соответствии с заданной спецификацией, основанной на выполнении перехода, устройства 2D воспроизведения. Расстояние перехода между блоком 2006 3D протяженности предварительного перехода, на который ссылается предшествующий элемент воспроизведения 3D PlayList, и блоком 2007 3D протяженности, на который ссылается следующий элемент воспроизведения 3D PlayList, установлено как значение, не болеее, чем максимальное расстояние, определенное в соответствии с заданной спецификацией, основанной на выполнении перехода, устройства 2D/3D воспроизведения.
В режиме 2D воспроизведения устройство 200 воспроизведения воспроизводит файл 2D. В соответствии с этим, блок L0 данных основной точки обзора считывают как первую 2D протяженность EXT2D[0], и затем блок L1 данных основной точки обзора и непосредственно следующие блоки L22D и L32D, предназначенные исключительно для 2D воспроизведения, непрерывно считывают как вторую 2D протяженность EXT2D[1], и после длинного перехода, блок L4 данных основной точки обзора считывают, как первую 2D протяженность EXT2D[2] второго файла 2D.
В режиме L/R устройство 200 воспроизведения воспроизводит первый файл SS. В соответствии с этим, группу R0, L0, R1 и L1 блока данных, в пределах блока 2005 первой 3D протяженности, последовательно считывают, как первую 3D протяженность EXTSS[0], группу R2, L2SS, R3 и L3SS блока данных в пределах блока 2006 второй 3D протяженности, последовательно считывают как вторую 3D протяженность EXTSS[1], и после длинного перехода, блок R4 данных правой точки обзора и непосредственно следующий блок L4 данных основной точки обзора считывают, как первую 3D протяженность EXTSS[4] второго файла SS.
Как описано выше, в режиме 2D воспроизведения, считывают блоки L22D и L32D, предназначенные исключительно для 2D воспроизведения, в то время как считывание блоков L2SS и L3SS, предназначенных исключительно для 3D воспроизведения, пропускают. И, наоборот, в режиме L/R, считывание блоков L22D и L32D, предназначенных исключительно для 2D воспроизведения, пропускают, в то время как считывают блоки L2SS и L3SS, предназначенные исключительно для 3D воспроизведения. Однако, поскольку блоки L22D и L2SS данных побитно соответствуют друг другу, и блоки L32D и L3SS данных также побитно соответствуют друг другу, видеокадр левой точки обзора, который воспроизводят, является одинаковым в обоих режимах воспроизведения. При компоновке 1, даже когда поддерживается только режим L/R для 3D воспроизведения, путь воспроизведения в режиме 2D воспроизведения и путь воспроизведения в режиме L/R разделены перед длинным переходом, таким образом. В соответствии с этим, путем соответствующего увеличения размера S2D[2] и S2D[3] блоков L22D и L32D, предназначенных исключительно для 2D воспроизведения, размер Sext1[1] блока L1 данных основной точки обзора может быть дополнительно ограничен при поддержании постоянным размера Sext2D[1]=Sext1[1]+S2D[2]+S2D[3] 2D протяженности EXT2D[1]. В соответствии с этим, размер Sext2[1] блока данных R2 правой точки обзора также может быть дополнительно ограничен. В результате, емкость буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения в режиме L/R, может быть приведена еще ближе к минимуму, необходимому для воспроизведения без стыков в режиме L/R. То же относится к компоновкам 2, 3, 5, и 6.
Таким образом, даже когда поддерживается только режим L/R при компоновках 1-6, становится возможным установить каждый блок данных с размером, в котором становится возможным воспроизведение без стыков видеоизображений во время длинного перехода, как в режиме 2D воспроизведения, так и в режиме L/R, при поддержании величины буфера считывания, которая должна быть гарантирована в устройстве 200 воспроизведения, на минимальном необходимом уровне.
<Другие TS пакеты, включенные в файл AV потока>
Типы TS пакетов, содержащихся в файле AV потока, включают в себя не только те, которые преобразуют из элементарных потоков, показанных на фиг. 10 и 11, но также и таблицу ассоциации программы (PAT), таблицу карты программы (PMT), и ссылку на тактовую частоту программы (PCR). PCR, PMT и PAT определены в соответствии с Европейским стандартом цифровой широковещательной передачи и предназначены для регулирования частичного транспортного потока, составляющего одну программу. Путем использования PCR, PMT и PAT, файл AV потока можно регулировать таким же образом, как и частичный транспортный поток. В частности, PAT представляет PID PMT, включенного в тот же файл AV потока. PID самого PAT равен 0. PMT включает в себя PID для элементарных потоков, представляющих видеоданные, аудиоданные, субтитры, и т.д., включенные в тот же файл AV потока, а также информацию атрибута для элементарных потоков. PMT также включает в себя различные дескрипторы, относящиеся к файлу AV потока. Дескрипторы, в частности, включают в себя информацию управления копированием, представляющую, разрешено или нет копирование файла AV потока. PCR включает в себя информацию, обозначающую значение часов системного времени системной тактовой частоты (STC), которые должны быть ассоциированы с ATS, назначенным для самого PCR. STC здесь называются часы, используемые, как опорные для PTS и DTS в декодере. Декодер использует PCR для синхронизации STC с ATC.
На фиг. 36 показана схема, представляющая структуру данных PMT 2910. PMT 2910 включает в себя заголовок 2901 PMT, множество дескрипторов 2902 и множество частей информации 2903 потока. Заголовок 2901 PMT обозначает длину данных и т.д., сохраненных в PMT 2910. Каждый дескриптор 2902 относится ко всему файлу AV потока, который включает в себя PMT 2910. Информация управления копированием включена в один из дескрипторов 2902. Каждая часть информации 2903 потока относится к одному из элементарных потоков, включенных в файл AV потока, и назначена для разных элементарных потоков. Каждая часть информации 2903 потока включает в себя тип 2931 потока, PID 2932 и дескриптор 2933 потока. Тип 2931 потока включает в себя информацию идентификации для кодека, используемую для сжатия элементарного потока. PID 2932 обозначает PID элементарного потока. Дескриптор 2933 потока включает в себя информацию атрибута элементарного потока, такую как частота кадров и соотношение размеров.
Благодаря использованию PCR, PMT и PAT, декодер в устройстве воспроизведения может обрабатывать файл AV потока таким же образом, как и частичный транспортный поток в Европейском стандарте цифровой широковещательной передачи. Таким образом, становится возможным обеспечить совместимость между устройством воспроизведения для носителя 100 записи и устройством терминала, соответствующим Европейскому стандарту цифровой широковещательной передачи.
До настоящего момента был подробно описан файл потока.
<Файл информации клипа>
Далее следует подробное описание файла директории.
На фиг. 37 показана схема, представляющая структуру данных файла 531 информации 2D клипа. Файлы информации клипа зависимой точки обзора имеют такую же структуру данных. Ниже структура данных, общая для всех файлов информации клипа, будет описана первой, используя структуру данных файла 531 информации 2D клипа, в качестве примера. После этого описаны различия в структуре данных между файлом информации 2D клипа и файлом информации клипа зависимой точки обзора.
Как показано на фиг. 37, файл 531 информации 2D клипа включает в себя информацию 3010 клипа, информацию 3020 атрибута потока, карту 3030 входов и 3D метаданные 3040. 3D метаданные 3040 включают в себя таблицу 3041 смещения и начальную точку 3042 протяженности.
Как показано на фиг. 37, информация 3010 клипа включает в себя скорость 3011 системы, время 3012 начала воспроизведения и время 3013 окончания воспроизведения. Скорость 3011 системы обозначает максимальное значение скорости передачи, при которой "пакеты TS", принадлежащие соответствующему 2D файлу, передают из буфера считывания в устройстве 200 воспроизведения в целевой декодер системы. Интервал между ATS пакетов источника в файле 2D установлен таким образом, что скорость передачи пакетов TS ограничена скоростью системы или ниже. Время 3012 начала воспроизведения обозначает PTS VAU, расположенного в верхней части файла 2D, например, PTS верхней части видеокадра. Время 3012 окончания воспроизведения обозначает значение STC, задержанного на заданное время от PTS VAU, расположенного в конце файла 2D, например, сумму PTS последнего видеокадра и времени воспроизведения одного кадра.
Как показано на фиг. 37, информация 3020 атрибута потока представляет собой таблицу соответствия между PID 3021 для каждого элементарного потока, включенного в файл 2D с частями информации 3022 атрибута. Каждая часть информации 3022 атрибута отличается для видеопотока, аудиопотока, потока PG и потока IG. Например, информация атрибута, соответствующая PID 0x1011 для первичного видеопотока, включает в себя тип кодека, используемый для сжатия видеопотока, а также разрешение, соотношения размеров и частоту кадров для каждого изображения, составляющего видеопоток. С другой стороны, информация атрибута, соответствующая PID 0x1101 для первичного аудиопотока, включает в себя тип кодека, используемый для сжатия аудиопотока, количество каналов, включенных в аудиопоток, язык и частоту выборки. Устройство 200 воспроизведения использует эту информацию 3022 атрибута, для инициирования декодера.
[Карта входов]
На фиг. 38A показана схема, представляющая структуру данных карты 3030 входов. Как показано на фиг. 38A, карта 3030 входов включает в себя таблицы 3100. Существует такое же количество таблиц 3100, что и количество видеопотоков, мультиплексированных в основном TS, и таблицы назначают во взаимно-однозначном соответствии для каждого видеопотока. На фиг. 38A каждую таблицу 3100 различают по PID видеопотока, которому она назначена. Каждая таблица 3100 включает в себя заголовок 3101 карты входов и точку 3102 входа. Заголовок 3101 карты входов включает в себя PID, соответствующий таблице 3100, и общее количество точек 3102 входа, включенных в таблицу 3100. Точка 3102 входа ассоциирует пару PTS 3103 и номера (SPN) 3104 пакета источника с одним из индивидуально отличающихся ID (EP_ID) 3105 точек входа. Кроме того, точка 3102 входа имеет флаг (is_angle_change флаг), обозначающий, возможно ли переключение угла съемки для этой характерной точки. Переключение угла съемки возможно для пакета источника, расположенного в начале модуля перемежения, составляющего участок с множеством углов съемки. В соответствии с этим, флаг is_angle_change точки входа, определяющей пакет источника в начале модуля с перемежением, всегда установлен в положение включено. И точка входа, устанавливающая пакет источника в начале модуля с перемежением, ассоциирована с In_Time в информации элемента воспроизведения о точке входа. PTS 3103 эквивалентен PTS для одного из I изображений, включенных в видеопоток для PID, обозначенного заголовком 3101 карты входа. SPN 3104 эквивалентен SPN для верхней части группы пакета источника, сохраненной в соответствующем I изображении. "SPN" относится к номеру, последовательно назначенному, начиная с верхней части до группы пакета источника, принадлежащей одному файлу AV потока. SPN используется как адрес для каждого пакета источника в файле AV потока. В карте 3030 входов в файле 531 информации 2D клипа, SPN относится к номеру, назначенному для группы пакета источника, принадлежащей файлу 2D, то есть группы пакета источника, составляющей основной TS. В соответствии с этим, точка 3102 входа выражает взаимозависимость между PTS и адресом, то есть, SPN каждого I изображения, включенного в файл 2D.
Точка 3102 входа не обязательно должна быть установлена для всех I изображений в файле 2D 541. Однако, когда изображение I расположено в верхней части GOP, и пакет TS, который включает в себя верхнюю часть этого изображения I, расположен в верхней части 2D протяженности, точка 3102 входа должна быть установлена для этого I изображения.
На фиг. 38B показана схема, представляющая пакеты источника в группе 3110 пакета источника, принадлежащей файлу 2D 541, который ассоциирован с каждым EP_ID 3105 по карте 3030 входа. На фиг. 38C показана схема, представляющая взаимосвязи между группой 3110 пакета источника и группой 3120 блока данных на носителе 100 записи. Когда устройство 200 воспроизведения воспроизводит 2D видеоизображения из файла 2D 541, она обращается к карте 3030 входов для установления SPN для пакета источника, который включает в себя кадр, представляющий произвольную сцену из PTS для этого кадра. В частности, когда, например, PTS=360 000 обозначен как PTS для определенной точки входа для положения начала воспроизведения, устройство 200 воспроизведения вначале получает SPN=3200, выделенный для этого PTS в карте 3030 входа. Затем устройство 200 воспроизведения выполняет поиск частного SPN×192/2048, то есть, значение SPN, умноженное на 192 байта, количество данных на пакет источника, и разделенное на 2 048 байтов, количество на сектор. Это значение является тем же, что и общее количество секторов, записанных в основном TS перед выровненным модулем, который включает в себя пакет источника, которому назначен SPN. В примере, показанном на фиг. 38B, это значение равно 3 200×192/2048=300, и равно общему количеству секторов, в которых записаны группы 3111 пакета источника от SPN 0 до 3199. Затем устройство 200 воспроизведения относится к дескриптору выделения во входе файла для файла 2D 541 и устанавливает LBN (общее количество+1-ый сектор, продолжающийся от начала группы секторов, в которых записаны группы 2D протяженности. В примере, показанном на фиг. 38C, в пределах групп секторов, в которых записаны блоки L1, L2+L32D, L4, …, данных основной точки обзора, доступ к которым может осуществляться, как к 2D протяженностям EXT2D[0], EXT2D[1], EXT2D[2], …, установлен LBN 301-ого сектора, продолжающегося от начала. Устройство 200 воспроизведения представляет этот LBN для привода BD-ROM. Таким образом, группы блока данных основной точки обзора считывают как совмещенные модули в порядке сектора для данного этого LBN. Кроме того, для первого считываемого совмещенного модуля устройство 200 воспроизведения выбирает пакет источника, обозначенный точкой входа, для положения начала воспроизведения, и декодирует изображение I. Затем последующие изображения декодируют в порядке со ссылкой на уже декодированные изображения. Таким образом, устройство 200 воспроизведения может воспроизводить 2D видеоизображения из файла 2D 541 от установленного PTS и далее.
Кроме того, карта 3030 входа используется для эффективной обработки во время эффектов воспроизведения, таких как быстрая перемотка вперед, перемотка назад и т.д. Например, устройство 200 воспроизведения в режиме 2D воспроизведения вначале обращается к карте 3030 входа, для считывания SPN, начинающихся в положении начала воспроизведения, например, для считывания SPN=3200, 4800, … в порядке от точек EP_ID=2, 3, … входа, которые включают в себя PTS, начинающийся при PTS=360 000. Затем устройство 200 воспроизведения обращается ко входу файла для файла 2D 541, для установления LBN секторов, соответствующих каждому SPN сети. Устройство 200 воспроизведения затем обозначает каждый LBN для привода BD-ROM. Совмещенные модули, таким образом, считывают из сектора для каждого LBN. Кроме того, из каждого выровненного модуля, устройство 200 воспроизведения выбирает пакет источника, обозначенный по каждой точки входа и, декодирует изображение I. Устройство 200 воспроизведения, таким образом, может избирательно воспроизводить изображение I из файла 2D 541, без анализа самой группы EXT2D[n] 2D протяженности.
[Таблица смещения]
На фиг. 39A показана схема, представляющая структуру данных таблицы 3041 смещения. Таблица 3041 смещения представляет собой информацию, используемую для обработки обрезки, выполняемой устройством 200 воспроизведения в режиме 3D воспроизведения. "Обработка обрезки" относится к обработке, предназначенной для генерирования из таблицы, представляющей 2D видеоизображение, пары частей данных плана, которые представляют левую точку обзора и правую точку обзора. Часть "данных плана" относится к двумерному массиву данных пикселя. Размер массива является таким же, как и разрешение видеокадра. Часть данных пикселя состоит из значения координаты цветности и значения α (светопроницаемость). Значение координаты цветности выражается как значение RGB или значение YCrCb. Цель обработки обрезки включает в себя части данных плана, генерируемых из потоков PG, потоков IG и вторичных видеопотоков в основном TS, а также части данных изображения плана, генерируемых в соответствии с объектом BD-J. Обработка обрезки изменяет горизонтальное положение каждой части данных пикселей в части данных плана. В соответствии с этим, в паре частей данных плана, полученных в результате обработки обрезки, представления положений в левой точке обзора и в правой точке обзора смещают влево и вправо из исходного положения представления в 2D видеоизображении. Зритель при этом воспринимает пару из левой точки обзора и правой точки обзора, как одно 3D видеоизображение, благодаря бинокулярному параллаксу, формируемому в результате таких сдвигов.
Как показано на фиг. 39A, таблица 3041 смещения включает в себя таблицу 3210 для каждого PID в потоках PG, потоках IG и вторичных видеопотоках. Каждая таблица 3210 представляет собой таблицу соответствия между PTS 3201 и значениями 3202 смещения. PTS 3201 представляет каждую часть данных плана, генерируемых из потоков PG, потоков IG и вторичных видеопотоков. Значение 3202 смещения представляет количество пикселей со знаком, в соответствии с которым каждую часть данных пикселя сдвигают по горизонтали в ходе обработки обрезки. Например, положительный знак представляет сдвиг вправо, и отрицательный знак представляет сдвиг влево. Знак значения 3202 смещения определяют в соответствии с тем, является ли 3D видеоизображение более глубоким, чем экран, или более близким к зрителю. Далее пара 3203 PTS 3201 и значения 3202 смещения называется "входом смещения".
На фиг. 39B показана схема, представляющая действительную часть входа смещения. Действительная часть входа смещения находится в пределах времени, измеренного STC, представляет собой интервал от момента времени, обозначенного PTS входа смещения, до момента времени, обозначенного PTS следующего входа смещения. Когда PTS для части данных, размещенных на плана, принадлежит действительной части определенного входа смещения, тогда во время операции обрезки положения представления данных пикселей в этой части данных плана сдвигается на величину смещения на входе смещения. В примере, показанном на фиг. 39A, PTS входа №1 смещения равен 180 000, PTS входа №2 смещения равен 270 000, и PTS входа №3 смещения равен 360 000. В этом случае, как показано на фиг. 39B, значение смещения "+5" на входе №1 смещения является действительным в диапазоне 3204 STC от 180 000 до 270 000, и значение смещения "+3" на входе №2 смещения является действительным в диапазоне 3205 STC от 270 000 до 360 000.
[Точка начала протяженности]
На фиг. 40A показана схема, представляющая структуру данных точек 3042 начала протяженности. Как показано на фиг. 40A, "точка 3042 начала протяженности" включает в себя ID 3311 протяженности основной точки обзора (EXT1_ID) и SPN 3312. EXT1_ID 3311 представляет собой последовательный номер, назначенный последовательно от начала блоков данных основной точки обзора, принадлежащей первому файлу SS (01000.ssif) 544A. Один SPN 3312 назначен каждому EXT1_ID 3311 и представляет собой то же, что и SPN для пакета источника, расположенного в верхней части блока данных основной точки обзора, идентифицированного по EXT1_ID 3311. Такой SPN представляет собой последовательный номер, назначенный от верхней части до пакетов источника, включенных в группу блока данных основной точки обзора, принадлежащую первому файлу SS 544A.
В группе блока данных в компоновке с перемежением, показанной на фиг. 15, файл 2D и соответствующий первый файл SS совместно используют блоки данных основной точки обзора. Однако, в компоновках 1-5, показанных на фиг. 20, 24, 26, 28, 30 и 32, блоки, предназначенные исключительно для 2D воспроизведения, принадлежат только файлу 2D, и блоки, предназначенные исключительно для 3D воспроизведения, принадлежат только первому файлу SS. В соответствии с этим, SPN 3312, который обозначает точку 3042 начала протяженности, в общем, отличается от SPN для пакета источника, расположенного в верхней части 2D протяженности, принадлежащей файлу 2D.
На фиг. 40B показана схема, представляющая структуру данных точек 3320 начала протяженности, включенных в файл информации клипа правой точки обзора. Как показано на фиг. 40B, точка 3320 начала протяженности включает в себя ID 3321 протяженности правой точки обзора (EXT2_ID) и SPN 3322. EXT2_ID 3321 представляет собой последовательные номера, назначенные от верхней части до блоков данных правой точки обзора, принадлежащих первому файлу SS 544A. Один SPN 3322 назначают для каждого EXT2_ID 3321, и он является тем же, что и SPN для пакета источника, расположенного в верхней части блока данных правой точки обзора, идентифицированного по EXT2_ID 3321. Такой SPN представляет собой последовательный номер, назначенный в порядке от верхней части до пакетов источника, включенных в группу блока данных правой точки обзора, принадлежащую первому файлу SS 544A.
На фиг. 40D показана схема, представляющая взаимосвязи между протяженностями EXT2 [0], EXT2[1], … правой точки обзора, принадлежащими первому файлу DEP (02000.m2ts), и SPN 3322, показанными точками 3320 начала протяженности. Во всех структурах данных, показанных на фиг. 15, 20, 24, 26, 28, 30 и 32, первый файл DEP и первый файл SS совместно используют блоки данных правой точки обзора. В соответствии с этим, как показано на фиг. 40D, каждый из SPN 3322, показанный точкой 3320 начала протяженности, является тем же, что и SPN для пакета источника, расположенного в верхней части каждой протяженности EXT2 [0], EXT2[1] правой точки обзора.
Как описано ниже, точку 3042 начала протяженности в файле информации 2D клипа и точку 3320 начала протяженности в файле информации клипа правой точки обзора используют для детектирования границы блоков данных, включенных в каждую 3D протяженность при воспроизведении 3D видеоизображений из первого файла SS 544A.
На фиг. 40E показана схема, представляющая пример взаимосвязей между 3D протяженностями EXTSS[0], EXTSS[1], …, принадлежащими первому файлу SS 544A, и группой 3350 блоков данных на носителе 100 записи. Как показано на фиг. 40E, группа 3350 блоков данных расположена так же, как и компоновка 6, показанная на фиг. 26. Следует отметить, что дальнейшее описание относится к размещению с чередованием и к любой из компоновок 1-5. В блоке 3350 данных, доступ к парам непрерывных блоков данных правой точки обзора и блоков данных основной точки обзора R1+L1, R2+L2, R3+L3SS и R4+L4 может, соответственно, осуществляться как к 3D протяженностям EXTSS[0], EXTSS[1], EXTSS[2] и EXTSS[3]. Кроме того, в n-ой 3D протяженности EXTSS[n] (n=0, 1, 2, …) количество пакетов источника, включенных в блок L(n+1) данных основной точки обзора, составляет, в точке 3042 начала протяженности, то же, что и разность А(n+1) - An между SPN, соответствующими EXT1_ID=n+1, и n (здесь, A0=0). С другой стороны, количество пакетов источника, включенных в блок R (n+1) данных правой точки обзора составляет, в точке 3320 начала протяженности то же, что и разность B(n+1) - Bn между SPN, соответствующими EXT2_ID=n+1, и n (здесь B0=0).
Когда устройство 200 воспроизведения в режиме L/R воспроизводит 3D видеоизображения из первого файла SS 544A, в дополнение к картам входа в файлы информации клипа, оно также обращается к точкам 3042 и 3320 начала протяженности, для установления, из PTS для кадра, представляющего правую точку обзора, произвольной сцены, LBN для сектора, в котором записан блок данных правой точки обзора, который включает в себя этот кадр. В частности, устройство 200 воспроизведения, например, вначале находит SPN, ассоциированный с PTS, из карты входов в файле 532 информации клипа правой точки обзора. Предположим, что пакет источника, обозначенный по SPN, включен в третью протяженность EXT2[2] правой точки обзора в первом файле DEP, то есть, в блок R3 данных правой точки обзора. Затем устройство 200 воспроизведения получает "B2", наибольший SPN перед целевым SPN, среди SPN 3322, показанных точками 3320 начала протяженности в файле информации клипа правой точки обзора. Устройство 200 воспроизведения также получает соответствующий EXT2_ID "2". Затем устройство воспроизведения 200 получает значение "A2" для SPN 3312, соответствующего EXT1_ID, который является тем же, что и EXT2_ID "2". Устройство 200 воспроизведения дополнительно находит сумму B2+A2 для полученных SPN 3322 и 3312. Как можно видеть на фиг. 40E, эта сумма B2+A2 является той же, что и общее количество пакетов источника, включенных в блоки данных, расположенные перед третьим блоком R3 данных правой точки обзора среди блоков данных, включенных в группу EXTSS[0], EXTSS[1]… 3D протяженности. В соответствии с этим, эта сумма B2+A2, умноженная на 192 байта, представляющая количество данных на пакет источника, и разделенная на 2048 байтов, количество данных на сектор, то есть (B2+A2)×192/2048, является тем же, что и количество секторов от начала группы 3D протяженности до места непосредственно перед третьим блоком R3 данных правой точки обзора. Используя такой показатель, LBN для сектора, в котором была записана верхняя часть блока R3 данных правой точки обзора, может быть установлен путем отслеживания дескрипторов выделения на входе файла для первого файла SS 544A.
После установления LBN, используя описанную выше процедуру, устройство 200 воспроизведения обозначает LBN для привода BD-ROM. Таким образом, группу 3D протяженности, записанную так, что она начинается с сектора для этого LBN, то есть, группу 3D протяженности, начинающуюся с третьего блока R3 данных правой точки обзора, считывают в виде выровненных модулей.
Устройство 200 воспроизведения дополнительно обращается к точкам 3042 и 3320 начала протяженности для поочередного выделения блоков данных зависимой точки обзора и блоков данных основной точки обзора из считываемых 3D протяженностей. Например, предположим, что группу EXTSS[n] 3D протяженности (n=0, 1, 2, …) считывают по порядку из группы 3350 блоков данных, показанной на фиг. 40E. Устройство 200 воспроизведения вначале выделяет пакеты B1 источника из верхней части 3D протяженности EXTSS[0], как блок R1 данных зависимой точки обзора. Затем устройство 200 воспроизведения выделяет B1-ый пакет источника и следующие (A1-1) пакетов источника, в общей сложности A1 пакетов источника, в качестве первого блока L1 данных основной точки обзора. Устройство 200 воспроизведения затем выделяет (B1+A1)-ый пакет источника и следующие (B2-B1-1) пакеты источника, в общей сложности (B2-B1) пакетов источника, в качестве второго блока R2 данных зависимой точки обзора. Устройство 200 воспроизведения затем выделяет (A1+B2)-ый пакет источника и следующие (A2-A1-1) пакетов источника, в общей сложности (A2-A1) пакетов источника, как второй блок L2 данных основной точки обзора. После этого, устройство 200 воспроизведения, таким образом, продолжает работу для детектирования границы между блоками данных в каждой 3D протяженности на основе количества считанных пакетов источника, поочередно выделяя, таким образом, блоки данных зависимой точки обзора и основной точки обзора. Выделенные блоки данных основной точки обзора и правой точки обзора передают в целевой декодер системы, для параллельного декодирования.
Таким образом, устройство 200 воспроизведения в режиме L/R может воспроизводить 3D видеоизображение из первого файла SS 544A, начиная с определенного PTS. В результате, устройство 200 воспроизведения может фактически получать пользу из описанных выше преимуществ (A) и (B), относящихся к управлению приводом BD-ROM.
<Основание файла>
На фиг. 40C показана схема, представляющая блоки L1, L2, … данных основной точки обзора, выделенные из первого файла SS 544A устройством 200 воспроизведения в режиме L/R. Группа 3350 блока данных, показанная на фиг. 40C, включает в себя одновременно блок L32D, предназначенный исключительно для 2D воспроизведения, и блок L3SS, предназначенный исключительно для 3D воспроизведения. В отличие от группы 2D протяженности в файле 2D, группа блоков данных основной точки обзора, показанная на фиг. 40C, включает в себя блок L3SS, предназначенный исключительно для 3D воспроизведения, в дополнение к блоку L32D, предназначенному исключительно для 2D воспроизведения. В соответствии с этим, SPN 3312, показанные точками 3042 начала протяженности, являются теми же, что и SPN для пакетов источника, расположенных в верхней части блоков данных основной точки обзора. Группа блоков данных основной точки обзора, выделенная из одного файла SS, в результате обращения к точкам начала протяженности, как и в группе блоков данных основной точки обзора, показанной в фиг. 40C, называется "основанием файла". Кроме того, блоки данных основной точки обзора, включенные в основание файла, называются "протяженностями основной точки обзора". Каждая протяженность основной точки обзора, как показано на фиг. 40C, называется точкой начала протяженности в файле информации 2D клипа.
За исключением блока, предназначенного исключительно для 2D воспроизведения, и блока, предназначенного исключительно для 3D воспроизведения, протяженность основной точки обзора совместно использует одни и те же данные, то есть, блок данных основной точки обзора, с 2D протяженностью. Кроме того, блоки, предназначенные исключительно для 2D воспроизведения, и блоки, предназначенные исключительно для 3D воспроизведения, побитно соответствуют друг другу. В соответствии с этим, основание файла включает в себя тот же основной TS, что и у файла 2D. В отличие от 2D протяженностей, однако, на протяженность основной точки обзора не ссылаются с использованием дескрипторов выделения на входе файла в любой файл. Как описано выше, протяженности основной точки обзора ссылаются на точки начала протяженности в файле информации клипа для выделения 3D протяженностей из файла SS. Основание файла, таким образом, отличается от обычного файла, показанного на фиг. 7, что оно не включает в себя вход в файл и тем, что ему требуется точка начала протяженности как ссылка на протяженность основной точки обзора. В этом смысле, основание файла представляет собой "виртуальный файл". В частности, основание файла не распознается файловой системой и не появляется в структуре директории/файла, показанной на фиг. 7.
3D видеосодержание, записанное на носителе 100 записи, может иметь только один тип вспомогательного TS, соответствующий основному TS. На фиг. 41 показана схема, представляющая пример компоновки блоков данных, которые включают в себя такое содержание. Как показано на фиг. 41, группа 3400 блоков данных поочередно включает в себя блоки D[n] (n=…, 0, 1, 2, 3, …) данных зависимой точки обзора и блоки B[n] данных основной точки обзора. Перед границей LB слоя, группа …, D[0], D[1] блока данных зависимой точки обзора и группа …, B[0], B[1] блока данных основной точки обзора записаны в виде компоновок с чередованием так, что они составляют блок 3401 первой 3D протяженности. Блок B[2]2D, предназначенный исключительно для 2D воспроизведения, размещен между последним блоком данных в блоке 3401 B[1] первой 3D протяженности и границей LB слоя. С другой стороны, после границы LB слоя, записаны группа D[2], D[3], … блока данных зависимой точки обзора и группа B[2] SS, B[3], … блока данных основной точки обзора в виде компоновок с чередованием, так, что они составляют блок 3402 второй 3D протяженности. Блок B[2]SS данных основной точки обзора в верхней части блока 3402 второй 3D протяженности представляет собой блок, предназначенный исключительно для 3D воспроизведения, и побитно соответствует блоку B[2]2D, предназначенному исключительно для 2D воспроизведения.
На фиг. 41 также показано соответствие между группой 3400 блока данных и группой 3410 в файле 2D протяженности. Блоки …, B[0], B[1] данных основной точки обзора в блоке 3401 первой 3D протяженности, за исключением последнего блока B[1] данных, принадлежат файлу 2D 3410, как независимые, одиночные 2D протяженности …, EXT2D[0]. Пара из последнего блока B[1] данных основной точки обзора в блоке 3401 первой 3D протяженности и непосредственно следующего блока B[2]2D, предназначенного исключительно для 2D воспроизведения, принадлежит файлу 2D 3410, как одиночная 2D протяженность EXT2D[1]. Блоки B[3], … данных основной точки обзора в блоке 3402 второй 3D протяженности, за исключением блока B[2]SS, предназначенного исключительно для 3D воспроизведения, принадлежат файлу 2D 3410, как 2D протяженности EXT2D[2]. Доступ к 2D протяженностям может осуществляться путем ссылки на дескрипторы выделения во входе в файл файла 2D 3410.
На фиг. 41 также показано взаимное соответствие между группой 3400 блока данных и группой 3412 протяженности в файле DEP. Блоки …, D[0], D[1] данных зависимой точки обзора в блоке 3401 первой 3D протяженности и блоки D[2], D[3], … данных зависимой точки обзора в блоке 3402 второй 3D протяженности, принадлежат файлу DEP 3412, как протяженности …, EXT2 [0], EXT2[1], EXT2[2] зависимой точки обзора. Доступ к протяженностям зависимой точки обзора может осуществляться путем ссылки на дескрипторы выделения на входе в файл DEP 3412.
На фиг. 41 также показана взаимозависимость между группой 3400 блока данных и группой 3420 протяженности в файле SS. В отличие от группы блока данных, показанной на фиг. 15, группа 3400 блока данных не включает в себя блоки данных карты глубины. В соответствии с этим, при любой компоновке с чередованием в пределах блоков 3401 и 3402 3D протяженности, блоки …, D[0], D[1], D[2], D[3], … данных зависимой точки обзора и блоки …, B[0], B[1], B[2]SS, B[3], … данных основной точки обзора чередуются. В этом случае, файл SS 3420 может включать в себя участок с двумя или более непрерывными парами блоков данных зависимой точки обзора и блоков данных основной точки обзора, имеющих одинаковое время ATC протяженности, как одну 3D протяженность. На фиг. 41, два непрерывных блока данных зависимой точки обзора и блоки данных основной точки обзора в блоке 3401 первой 3D протяженности, пары D[0]+B[0] и D[1]+B[1], принадлежат файлу SS 3420, как одна 3D протяженность EXTSS[0]. Кроме того, два непрерывных блока данных зависимой точки обзора и блоки данных основной точки обзора в блоке 3402 второй 3D протяженности, пары D[2]+B[2]SS и D[3]+B[3], принадлежат файлу SS 3420 как одной 3D протяженности EXTSS[1]. 3D протяженности EXTSS[0] и EXTSS[1] совместно используют блоки B[0], B[1], B[2]SS и B[3] данных основной точки обзора с 2D протяженностями EXT2D[0], EXT2D[1], EXT2D[2] и EXT2D[3] и совместно используют блоки D[0], D[1], D[2] и D[3] данных зависимой точки обзора с протяженностями EXT2[0], EXT2[1], EXT2[2] и EXT2[3] зависимой точки обзора. Доступ к 3D протяженностям может осуществляться со ссылкой на дескрипторы выделения на входе в файл для файла SS 3420.
После считывания устройством 200 воспроизведения 3D протяженностей EXTSS[0] и EXTSS[1], оно обращается к точкам начала протяженности в соответствующих файлах информации клипа для файла 2D 3410 и файла DEP 3412, для выделения блоков B[0], B[1], B[2]SS и B[3] данных основной точки обзора из 3D протяженностей EXTSS[0] и EXTSS[1]. Эти блоки B[0], B[1], B[2]SS и B[3] данных основной точки обзора принадлежат основанию 3411 файла как протяженности EXT1[0], EXT1[1], EXT1[2] и EXT1[3] основной точки обзора. К каждой из протяженностей EXT1[0], EXT1[1], EXT1[2] и EXT1[3] основной точки обзора обращаются по точке начала протяженности в файле информации 2D клипа, соответствующем файлу 2D 3410.
Ниже, за исключением случаев, когда существует потребность в различении, блоки данных основной точки обзора уравнены с протяженностями основной точки обзора (за исключением блоков, предназначенных исключительно для 2D воспроизведения), и блоки данных зависимой точки обзора уравнены с протяженностями зависимой точки обзора.
<Файл информации клипа зависимой точки обзора>
Файл информации клипа зависимой точки обзора имеет такую же структуру данных, что и у файла информации 2D клипа, показанного на фиг. 37-40. В соответствии с этим, следующее описание охватывает различия между файлом информации клипа зависимой точки обзора и файлом информации 2D клипа, со ссылкой на приведенное выше описание в отношении аналогичных характеристик.
Файл информации клипа зависимой точки обзора отличается от файла информации 2D клипа следующими тремя моментами: (i) на информацию атрибута потока наложены условия, (ii) условия наложены на точки входа, и (iii) 3D метаданные не включают в себя таблицы смещения.
(i) Когда видеопоток основной точки обзора и видеопоток зависимой точки обзора должны использоваться для воспроизведения 3D видеоизображений в устройстве 200 воспроизведения в режиме L/R, видеопоток зависимой точки обзора, который представляет собой видеопоток правой точки обзора, сжимают, используя видеопоток основной точки обзора. В этот момент атрибуты видеопотока для видеопотока зависимой точки обзора становятся эквивалентными видеопотоку основной точки обзора. Информация атрибута видеопотока для видеопотока основной точки обзора ассоциирована c PID=0x1011 в информации 3020 атрибута потока в файле информации 2D клипа. Информация атрибута видеопотока для видеопотока зависимой точки обзора ассоциирована с PID=0x1012 или 0x1013 в информации атрибута потока в файле информации клипа зависимой точки обзора. В соответствии с этим, элементы, показанные на фиг. 37, то есть кодек, разрешение, соотношение размеров и частота кадров, должны соответствовать этим двум частями информации атрибута видеопотока. Если тип кодека соответствует, тогда взаимосвязь по ссылке между изображениями в видеопотоке основной точки обзора и в видеопотоке зависимой точки обзора устанавливают во время кодирования, и, таким образом, каждое изображение может быть декодировано. Если разрешение, соотношение размеров и частота кадров все соответствуют, тогда представление на экране левого и правого видеоизображений может быть синхронизировано. Поэтому, такие видеоизображения могут быть представлены как 3D видеоизображения, без возникновения у зрителя чувства неудобства.
(ii) Карта входа в файл информации клипа зависимой точки обзора включает в себя таблицу, ассоциированную с видеопотоком зависимой точки обзора. Также как в таблице 3100, показанной на фиг. 38A, эта таблица включает в себя заголовок карты входа и точки входа. Заголовок карты входа включает в себя PID для видеопотока зависимой точки обзора, размещенный в таблице, то есть, либо 0x1012, или 0x1013. В каждой точке входа пара PTS и SPN ассоциирована с одним EP_ID. PTS для каждой точки входа является тем же, что и PTS для верхнего изображения в одной из GOP, включенных в видеопоток зависимой точки обзора. SPN для каждой точки входа является тем же, что и верхний SPN в группе пакета источника, сохраненной в изображении, обозначенном PTS, принадлежащим той же точке входа. Этот SPN относится к последовательному номеру, назначенному последовательно от верхней части до группы пакета источника, принадлежащей файлу DEP, то есть, группы пакета источника, составляющей вспомогательный TS. PTS для каждой точки входа должен соответствовать PTS, в пределах карты входа в файле информации 2D клипа, для точки входа в таблице, предоставленной для видеопотока основной точки обзора. Другими словами, всякий раз, когда точку входа устанавливают в верхней части группы пакета источника, которая включает в себя одно из набора изображений, включенных в один и тот же 3D VAU, точка входа всегда должна быть установлена в верхней части группы пакета источника, которая включает в себя другое изображение.
На фиг. 42 показана схема, представляющая пример точек входа, установленных в видеопотоке 3510 основной точки обзора, и видеопотока 3520 зависимой точки обзора. В этих двух видеопотоках 3510 и 3520, GOP, которые имеют одинаковый номер от верхней части, представляют видеоизображения для одного и того же периода воспроизведения. Как показано на фиг. 42, в видеопотоке 3510 основной точки обзора, точки 3501B, 3503B и 3505B входа установлены для верхней части GOP с нечетными номерами, если считать сверху, то есть, GOP №1, GOP №3 и GOP №5. В соответствии с этим, в видеопотоке 3520 зависимой точки обзора, также, точки 3501D, 3503D и 3505D входа установлены для верхней части GOP с нечетными номерами, если считать сверху, то есть, GOP №1, GOP №3 и GOP №5. В этом случае, когда устройство 200 3D воспроизведения начинает воспроизведение 3D видеоизображений из GOP №3, например, оно может немедленно рассчитать адрес положения для начала воспроизведения в файле SS из SPN, соответствующих точек 3503B и 3503D входа. В частности, когда обе точки 3503B и 3503D входа установлены в верхней части блока данных, тогда, как можно видеть на фиг. 40E, сумма SPN точек 3503B и 3503D входа будет той же, что и количество пакетов источника от верхней части файла SS до положения, в котором требуется начать воспроизведение. Как описано со ссылкой на фиг. 40E, из этого количества пакетов источника возможно рассчитать LBN сектора, в которых записана часть файла SS для положения, из которого требуется начать воспроизведение. Таким образом, даже во время воспроизведения 3D видеоизображений, возможно улучшить скорость отклика для обработки, для которой требуется оперативный доступ к видеопотоку, такой как воспроизведение с прерыванием, или тому подобное.
Ниже описана операция разделения последовательности ATC, составляющей поток основной точки обзора и последовательности ATC, составляющей поток зависимой точки обзора, от пакетов источника в файле потока с перемежением, считываемом с одного носителя записи, используя точки начала протяженности. На фиг. 43 показана процедура для восстановления ATC последовательности.
На этапе S91, ATC последовательность для основной точки обзора установлена как ATC последовательность 1, и ATC последовательность для зависимой точки обзора установлена как ATC последовательность 2. На этапе S92, переменная "x" инициирована в "1". Переменная "x" устанавливает номер индекса ID протяженности основной точки обзора (EXT1_ID) и ID протяженности правой точки обзора (EXT2_ID), обозначенных по точкам начала протяженности. После этого управление переходит в цикл, на котором многократно выполняют этапы S94-S96 следующим образом.
Определяют, равен или нет номер bx пакета источника, установленный по переменной "x", номеру bn пакета источника, установленному по последней цифре "n" блока данных основной точки обзора (этап S93). Когда результат определения отрицательный ("НЕТ" на этапе S93), пакеты источника из пакета (bx+ax) источника, который установлен по номеру "bx+ax" пакета источника, до пакета источника непосредственно перед пакетом (bx+1+ax) источника, установленные по номеру "bx+1+ax" пакета источника, добавляют в последовательность 2 ATC (этап S94). Затем пакеты источника из пакета (bx+1+ax) источника в пакет источника непосредственно перед пакетом (bx+1+ax+1) источника добавляют в последовательность 1 ATC (этап S95). И затем переменную "x" последовательно увеличивают (этап S96). Эти этапы повторяют до тех пор, пока не будет получен результат определения "ДА" на этапе S93.
Когда на этапе S93 определяют Да, такое количество пакетов источника, которое равно номеру, установленному "number_of_source_packet2-bn", начиная от номера пакета "bn" источника, добавляют в последовательность 2 ATC (этап S97). И такое же количество пакетов источника, как и номер, установленный по "number_of_source_packet1-bn", начиная от номера "an" пакета источника, добавляют в ATC последовательность 1 (этап S98).
После того, как последовательности 1 и 2 ATC будут восстановлены в результате выполнения описанных выше этапов, основание файла виртуально открывают путем генерирования в запоминающем устройстве входа в файл, который обозначает начальный LBN блока данных основной точки обзора и длину продолжения (этап S99). Аналогично, зависимый файл виртуально открывают путем генерирования в запоминающем устройстве входа в файл, который обозначает начальный LBN номер блока данных зависимой точки обзора и длину продолжения (этап S100).
<Файл информации списка воспроизведения>
Ниже подробно описан файл информации списка воспроизведения.
<Файл 2D списка воспроизведения>
На фиг. 44 показана схема, представляющая структуру данных файла 2D списка воспроизведения. Как показано на фиг. 44, файл 521 2D списка воспроизведения включает в себя основной путь 3601 и два подпути 3602 и 3603.
Основной путь 3601 представляет собой последовательность частей (PI) информации элементов воспроизведения, которая определяет основной путь воспроизведения для файла 2D, то есть, часть для воспроизведения и порядок воспроизведения частей. Каждый PI идентифицирован уникальным ID№=N(N=1, 2, 3, …) элемента воспроизведения. Каждый PI№N определяет другой участок воспроизведения вдоль основного пути воспроизведения с парой PTS. Один из PTS в паре представляет время начала (время входа) участка воспроизведения, и другой представляет время окончания (время выхода). Кроме того, порядок PI на основном пути 3601 представляет порядок соответствующих частей воспроизведения на пути воспроизведения.
Каждый из подпутей 3602 и 3603 представляет последовательность частей (SUB_PI) информации подэлемента воспроизведения, который определяет путь воспроизведения, который может быть ассоциирован параллельно с основным путем воспроизведения для файла 2D. Такой путь воспроизведения представляет собой другую часть файла 2D, чем представлена основным путем 3601, или представляет собой часть данных потока, мультиплексированных в другой файл 2D, вместе с соответствующим порядком воспроизведения. Такие данные потока представляют другие 2D видеоизображения, предназначенные для воспроизведения одновременно с 2D видеоизображениями, воспроизводимыми из файла 2D в соответствии с основным путем 3601. Эти другие 2D видеоизображения включают в себя, например, вспомогательное видеоизображение в формате изображения в изображении, окно браузера, всплывающее меню или субтитры. Порядковые номера "0" и "1" назначают для подпутей 3602 и 3603 в порядке регистрации в файле 521 2D списка воспроизведения. Такие порядковые номера используются как ID подпути, для идентификации подпутей 3602 и 3603. В подпутях 3602 и 3603, каждый SUB_PI идентифицируют в соответствии с уникальным ID=№M(М=1, 2, 3, …) подэлемента воспроизведения. Каждый SUB_PI№M определяет другую часть воспроизведения вдоль пути воспроизведения с парой PTS. Один из PTS в паре представляет время начала воспроизведения части воспроизведения, и другой представляет время окончания воспроизведения. Кроме того, порядок SUB_PI в подпутях 3602 и 3603 представляет порядок соответствующих частей воспроизведения в пути воспроизведения.
На фиг. 45 показана схема, представляющая структуру данных PI№N. Как показано на фиг. 45, PI№N включает в себя часть информации 3701 опорного клипа, время (In_Time) 3702 начала воспроизведения, время (Out_Time) 3703 окончания воспроизведения, условие 3704 соединения и таблицу выбора потока (ниже сокращенно называется "таблицей STN" (таблица номера потока)) 3705. Информация 3701 опорного клипа представляет собой информацию для идентификации файла информации 2D клипа. Время 3702 начала воспроизведения и время 3703 окончания воспроизведения, соответственно, обозначают PTS для начала и окончания участков воспроизведения файла 2D. Условие 3704 соединения устанавливает условие для соединения видеоизображения на участке воспроизведения, указанном по времени 3702 начала воспроизведения и времени 3703 окончания воспроизведения для видеоизображения на участке воспроизведения, указанном в предшествующем PI№(n-1). Таблица 3705 STN представляет собой список элементарных потоков, которые могут быть выбраны из файла 2D 541 декодером в устройстве 200 воспроизведения по времени 3702 начала воспроизведения до времени 3703 окончания воспроизведения.
Структура данных SUB_PI является той же, что и структура данных PI, показанная на фиг. 45, поскольку она включает в себя информацию опорного клипа, время начала воспроизведения и время окончания воспроизведения. В частности, время начала воспроизведения и время окончания воспроизведения SUB_PI выражены как значения вдоль одной временной оси, как PI. SUB_PI дополнительно включает в себя "поле" условия соединения SP. Условие соединения SP имеет то же значение, что и условие соединения PI.
[Условие соединения]
Условие 3704 соединения имеет три возможных значения, "1", "5" и "6". Когда условие 3704 соединения равно "1", видеоизображение, предназначенное для воспроизведения из участка файла 2D, указанного PI№N, не требуется без стыков соединять с видеоизображением, воспроизводимым из участка файла 2D, указанного непосредственным предшествованием PI№N. С другой стороны, когда условие 3704 соединения обозначает "5" или "6", оба видеоизображения должны быть соединены без стыков.
На фиг. 46A и 46B показаны схемы, представляющие взаимосвязь между блоками 3801 и 3802 воспроизведения, которые должны быть соединены, когда условие 3704 соединения, показанное на фиг. 45, соответственно, обозначает "5" и "6". В этом случае, PI№N(n-1) устанавливает первый участок 3801 в файле 2D, и PI№N устанавливает второй участок 3802 в файле 2D. Как показано на фиг. 46A, когда условие 3704 соединения обозначает "5", STC PI№(n-1) и PI№N могут быть непоследовательными. Таким образом, PTS№1 в конце первого участка 3801 и PTS№2 в верхней части второго участка 3802 могут быть непоследовательными. Однако, несколько условий ограничения должны быть удовлетворены. Например, первый участок 3801 и второй участок 3802 должны быть сформированы таким образом, чтобы декодер мог плавно продолжить декодирование данных, даже когда второй участок 3802 подают в декодер последовательно после первого участка 3801. Кроме того, последний кадр аудиопотока, содержащегося в первом участке 3801, должен быть наложен на верхний кадр ауидиопотока, содержащегося на втором участке 3802. С другой стороны, как показано на фиг. 46B, когда условие 3704 соединения обозначает "6", первый участок 3801 и второй участок 3802 должны быть выполнены с возможностью их обработки, как последовательные участки для декодера, для правильного декодирования. Таким образом, STC и ATC должны быть последовательными между первым участком 3801 и вторым участком 3802. Аналогично, когда условие соединения SP равно "5" или "6", STC и ATC должны быть последовательными между участками файла 2D, установленными по двум последовательным SUB_PI.
[Таблица STN]
Рассмотрим снова фиг. 45, на которой таблица 3705 STN представляет собой массив информации регистрации потока. "Информация регистрации потока" представляет собой информацию, которая индивидуально представляет в виде списка элементарные потоки, которые можно выбрать для воспроизведения из основного TS между временем 3702 начала воспроизведения и временем 3703 окончания воспроизведения. Номер 3706 потока (STN) представляет собой последовательный номер, выделенный индивидуально для информации регистрации потока, и его вырабатывает устройство 200 воспроизведения для идентификации каждого элементарного потока. STN 3706 дополнительно обозначает приоритет для выбора среди элементарных потоков одного типа. Информация регистрации потока включает в себя вход 3709 в поток и информацию 3710 атрибута потока. Вход 3709 потока включает в себя информацию 3707 пути потока и информацию 3708 идентификации потока. Информация 3707 пути потока представляет собой информацию, обозначающую файл 2D, которому принадлежит выбранный элементарный поток. Например, если информация 3707 пути потока обозначает "основной путь", файл 2D соответствует файлу информации 2D клипа, обозначенному по информации 370к опорного клипа. С другой стороны, если информация 3707 пути потока обозначает "ID подпути = 1", файл 2D, которому принадлежит выбранный элементарный поток, соответствует файлу информации 2D клипа, обозначенному по информации опорного клипа SUB_PI, включенному в подпуть с ID подпути = 1. Время начала воспроизведения и время окончания воспроизведения, установленное этим SUB_PI, оба включены в интервал от времени 3702 начала воспроизведения до времени 3703 окончания воспроизведения, который указан PI, включенным в таблицу 3705 STN. Информация 3708 идентификации потока обозначает PID для элементарного потока, мультиплексированного в файле 2D, установленном по информации 3707 пути потока. Элементарный поток, обозначенный этим PID, может быть выбран от времени 3702 начала воспроизведения до времени 3703 окончания воспроизведения. Информация 3710 атрибута потока обозначает информацию атрибута для каждого элементарного потока. Например, информация атрибута аудиопотока, потока PG и потока IG обозначает тип языка потока.
[Воспроизведение видеоизображений 2D в соответствии с файлом 2D списка воспроизведения]
На фиг. 47 показана схема, представляющая взаимосвязи между PTS, обозначенными файлом 521 2D списка воспроизведения (00001.mpls), и участками, воспроизводимыми из файла 2D (01000.m2ts) 541. Как показано на фиг. 47, на основном пути 3601 в файле 521 2D списка воспроизведения, PI№1 устанавливает PTS№1, который обозначает время IN1 начала воспроизведения, и PTS№2, который обозначает время OUT1 окончания воспроизведения. Информация 3701 опорного клипа для PI№1 обозначает файл 531 информации 2D клипа (01000.clpi). При воспроизведении 2D видеоизображений в соответствии с файлом 521 2D списка воспроизведения, устройство 200 воспроизведения вначале считывает PTS№1 и PTS№2 из PI№1. Затем устройство 200 воспроизведения обращается к карте входа в файле 531 информации 2D клипа для получения из файла 2D 541 SPN№1 и SPN№2, которые соответствуют PTS№1 и PTS№2. Устройство 200 воспроизведения затем рассчитывает соответствующие номера секторов из SPN№1 и SPN№2. Кроме того, устройство 200 воспроизведения обращается к этим номерам секторов и к дескрипторам выделения на входе в файл для файла 2D 541, для установления LBN№1 и LBN№2 вначале и в конце, соответственно, группы P1 сектора, в которой записаны группы EXT2D[0], …, EXT2D[n] 2D протяженности, для воспроизведения. Расчет номеров секторов и спецификация номеров LBN установлены согласно описанию по фиг. 38B и 38C. В конечном итоге, устройство 200 воспроизведения обозначает диапазон от LBN№1 до LBN№2 для привода BD-ROM. Группу пакета источника, принадлежащую группе EXT2D[0], …, EXT2D[n] 2D протяженности, таким образом, считывают из группы P1 сектора в этом диапазоне. Аналогично, пару PTS№3 и PTS№4, обозначенные по PI№2, вначале преобразуют в пару SPN№3 и SPN№4, обращаясь к карте входов в файле 531 информации 2D клипа. Затем, обращаясь к дескрипторам выделения на входе файла для файла 2D 541, пару SPN№3 и SPN№4 преобразуют в пару LBN№3 и LBN№4. Кроме того, группу пакетов источника, принадлежащую группе 2D протяженности, считывают из группы P2 сектора в диапазоне от LBN№3 до LBN№4. Преобразование пары PTS№5 и PTS№6, обозначенной PI№3 в пару SPN№5 и SPN№6, преобразование пары SPN№5 и SPN№6 в пару LBN№5 и LBN№6 и считывание группы пакета источника из группы P3 сектора в диапазоне от LBN№5 до LBN№6, выполняют аналогично. Устройство 200 воспроизведения, таким образом, воспроизводит 2D видеоизображения из файла 2D 541 в соответствии с основным путем 3601 в файле 521 2D списка воспроизведения.
Файл 521 2D списка воспроизведения может включать в себя метку 3901 входа. Метка 3901 входа обозначает момент времени в основном пути 3601, в который фактически должно начаться воспроизведение. Например, как показано на фиг. 47, множество меток 3901 входа может быть установлено для PI№1. Метка 3901 входа, в частности, используется для поиска положения начала воспроизведения во время случайного доступа. Например, когда файл 521 2D списка воспроизведения устанавливает путь воспроизведения для названия кинофильма, метку 3901 входа назначают для верхней части каждого раздела. Следовательно, устройство 200 воспроизведения может воспроизводить кинофильм с определенным названием по разделам.
[Файл 3D списка воспроизведения]
На фиг. 48 показана схема, представляющая структуру данных файла 4000 3D списка воспроизведения. Второй файл (00002.mpls) 522 списка воспроизведения и второй файл (00003.mpls) 523 списка воспроизведения, показанные на фиг. 5, оба имеют такую же структуру данных, как и у этого файла 3D списка воспроизведения. Как показано на фиг. 48, файл 4000 3D списка воспроизведения включает в себя основной путь 4001, подпуть 4002 и данные 4003 протяженности.
Основной путь 4001 устанавливает путь воспроизведения основного TS. В соответствии с этим, основной путь 4001 является тем же, что и основной путь 3601 для файла 2D списка воспроизведения, показанного на фиг. 44. Устройство 200 воспроизведения в режиме 2D воспроизведения может воспроизводить 2D видеоизображения из файла 2D в соответствии с основным путем 4001 в файле 4000 3D списка воспроизведения.
Подпуть 4002 устанавливает путь воспроизведения для вспомогательного TS, то есть путь воспроизведения для файла DEP, который включает в себя видеопоток левой точки обзора, или файла DEP, который включает в себя поток карты глубины. Структура данных подпути 4002 является той же, что и структура данных подпутей 3602 и 3603 в файле 2D списка воспроизведения, показанном на фиг. 44. В соответствии с этим, детали этой аналогичной структуры данных описаны в описании со ссылкой на фиг. 44, в частности, в отношении деталей структуры данных SUB_PI.
SUB_PI№N (N=1, 2, 3, …) на подпути 4002 находятся во взаимно-однозначном соответствии с PI№N на основном пути 4001. Кроме того, время начала воспроизведения и время окончания воспроизведения, установленные каждым SUB_PI№N, являются теми же, что и время начала воспроизведения и время окончания воспроизведения, установленные соответствующим PI№N. Подпуть 4002 дополнительно включает в себя тип 4021 подпути. "Тип подпути" обычно обозначает, должна ли обработка воспроизведения быть синхронизирована между основным путем и подпутем. В файле 4000 3D списка воспроизведения тип 4021 подпути, в частности, обозначает тип режима 3D воспроизведения, то есть, тип видеопотока зависимой точки обзора, который требуется воспроизвести в соответствии с подпутем 4002. На фиг. 48 значение типа 4021 подпути составляет "3D L/R", обозначая, таким образом, что режим 3D воспроизведения представляет собой режим L/R, то есть, что видеопоток правой точки обзора предназначен для воспроизведения. С другой стороны, значение "3D глубины" для типа 4021 подпути обозначает, что режим 3D воспроизведения представляет собой режим глубины, то есть, что поток карты глубины предназначен для воспроизведения. Когда устройство 200 воспроизведения в режиме 3D воспроизведения детектирует, что значение типа 4021 подпути составляет "3D L/R" или "3D глубины", устройство 200 воспроизведения синхронизирует обработку воспроизведения в соответствии с основным путем 4001 при выполнении обработки воспроизведения, в соответствии с подпутем 4002.
Только устройство 200 воспроизведения в режиме 3D воспроизведения интерпретирует данные 4003 протяженности; устройство 200 воспроизведения в режиме 2D воспроизведения игнорирует данные 4003 протяженности. В частности, данные 4003 протяженности включают в себя таблицу 4030 выбора потока протяженности. "Таблица (STN_table_SS) выбора потока протяженности" (ниже сокращенно называется таблицей STN SS) представляет собой массив информации регистрации потока, которая должна быть добавлена в таблицам STN, обозначенным каждым PI в основном пути 4001. Такая информация регистрации потока обозначает элементарные потоки, которые могут быть выбраны для воспроизведения из основного TS.
На фиг. 49 показана схема, представляющая структуру данных STN таблицы SS 4030. Как показано на фиг. 49, STN таблица SS 4030 включает в себя последовательности 4101, 4102, 4103 информации регистрации потока. Последовательности 4101, 4102, 4103, … информации регистрации потока индивидуально соответствуют PI№1, PI№2, PI№3, … в основном пути 4001 и используются устройством 200 воспроизведения в режиме 3D воспроизведения в комбинации с последовательностями информации регистрации потока, включенными в таблицы STN в соответствующих PI. Последовательность 4101 информации регистрации потока, соответствующего каждому PI, включает в себя смещение 4111 во время появления на экране (Fixed_offset_during_Popup), последовательность 4112 информации регистрации потока для видеопотоков зависимой точки обзора, последовательность 4113 информации регистрации потока для потока PG, и последовательность 4114 информации регистрации потока для потока IG.
Смещение 4111 во время появления на экране обозначает, воспроизводится ли всплывающее меню из IG потока. Устройство 200 воспроизведения в режиме 3D воспроизведения изменяет режим представления плана видеоизображения и плана PG в соответствии со значением смещения 4111. Существуют два типа режимов представления для плана видеоизображения: режим представления основного вида (B) - зависимого вида (D) и режим представления B-B. Существуют три типа режимов представления для плана PG и плана IG: 2 режим плана, 1 план + режим смещения, и 1 план + нулевой режим смещения. Например, когда значение смещения 4111 во время появления на экране равно "0", всплывающее меню не воспроизводят из потока IG. В этот момент режим представления B-D выбирают в качестве режима представления плана видеоизображения, и 2 режим плана или 1 план + режим смещения выбирают как режим представления для плана PG. С другой стороны, когда значение смещения 4111 во время появления на экране равно "1", всплывающее меню воспроизводят из IG потока. В этот момент режим представления B-B выбирают как режим представления плана видеоизображения, и режим 1 план + нулевое смещение выбирают как режим представления для плана PG.
В "режиме представления B-D", устройство 200 воспроизведения поочередно выводит данные плана, декодированные из видеопотоков левой точки обзора и правой точки обзора. В соответствии с этим, поскольку видеокадры левой точки обзора и видеокадры правой точки обзора, представляющие планы видеоизображения, поочередно отображают на экране телевизора 300, зритель воспринимает эти кадры как 3D видеоизображения. В "режиме представления B-B", устройство 200 воспроизведения выводит данные плана, декодированные только для видеопотока основной точки обзора дважды за кадр при поддержании режима работы в режиме 3D воспроизведения (в частности, при поддержании частоты кадров на значении для 3D воспроизведения, например, 48 кадров/секунду). В соответствии с этим, только кадры либо левой точки обзора, или правой точки обзора отображаются на экране устройства 103 воспроизведения, и, таким образом, зритель воспринимает эти кадры просто как 2D видеоизображения.
В "режиме 2 плана", когда вспомогательный TS включает в себя, как графические потоки левой точки обзора, так и графические потоки правой точки обзора, устройство 200 воспроизведения декодирует и поочередно выводит данные графического плана левой точки обзора и правой точки обзора из графических потоков. В режиме "1 план + смещения", устройство 200 воспроизведения генерирует пару из данных плана левой точки обзора и данных плана правой точки обзора из графического потока в основном TS, используя обработку обрезки и поочередно выводит эти части данных плана. В обоих из этих режимов планы PG левой точки обзора и правой точки обзора поочередно отображают на экране телевизора 300, и, таким образом, зритель воспринимает эти кадры как 3D видеоизображения. В режиме "1 план + нулевое смещение", устройство 200 воспроизведения временно прекращает обработку обрезки и выводит данные плана, декодированные из графического потока в основном TS дважды на кадр при поддержании режима работы в режиме 3D воспроизведения. В соответствии с этим, планы PG либо только левой точки обзора, или правой точки обзора отображают на экране устройства 103 воспроизведения, и, таким образом, зритель воспринимает эти планы просто как 2D видеоизображения.
Устройство 200 воспроизведения в режиме 3D воспроизведения обращается к смещению 4111 во время появления на экране во время для каждого PI и выбирает режим представления B-B и режим 1 план + нулевое смещение, когда всплывающее меню воспроизводят из IG потока. В то время как отображается всплывающее меню, другие 3D видеоизображения, таким образом, временно изменяют на 2D видеоизображения. Это улучшает видимость и удобство, и простоту использования всплывающего меню.
Последовательность 4112 информации регистрации потока для видеопотока зависимой точки обзора, последовательность 4113 информации регистрации потока для потоков PG и последовательность 4114 информации регистрации потока для потоков IG, каждая включает в себя информацию регистрации потока, обозначающую видеопотоки зависимой точки обзора, потоки PG и потоки IG, которые могут быть выбраны для воспроизведения из вспомогательного TS. Каждая из этих последовательностей 4112, 4113 и 4114 информации регистрации потока используется в комбинации с последовательностями информации регистрации потока, размещенными в таблице STN соответствующего PI, которые, соответственно, обозначают потоки основной точки обзора, PG потоки и потоки IG. При считывании части информации регистрации потока из таблицы STN устройство 200 воспроизведения в режиме 3D воспроизведения автоматически также считывает последовательность информации регистрации потока, размещенную в таблице STN SS, которая была скомбинирована с частью информации регистрации потока. При простом переключении из режима 2D воспроизведения в режим 3D воспроизведения устройство 200 воспроизведения может, таким образом, поддерживать уже распознанные атрибуты STN и атрибуты потока, такие как язык.
На фиг. 50A показана схема, представляющую структуру данных последовательности 4112 информации регистрации потока для видеопотоков зависимой точки обзора. Как показано на фиг. 50A, такая последовательность 4112 информации регистрации потока обычно включает в себя множество частей информации 4201 регистрации потока (SS_dependent_view_block). Их количество совпадает с количеством частей информации регистрации потока в соответствующем PI, которые обозначают видеопоток основной точки обзора. Каждая часть информации 4201 регистрации потока включает в себя STN 4211, вход 4212 потока и информацию 4213 атрибута потока. STN 4211 представляет собой последовательный номер, назначаемый индивидуально для частей информации 4201 регистрации потока, и представляет собой то же, что и STN части информации регистрации потока, расположенной в соответствующем PI, с которым комбинируют каждую часть информации 4201 регистрации потока. Вход 4212 потока включает в себя опорную информацию 4221 ID подпути (ref_to_subpath_id), опорную информацию 4222 файла потока (ref_to_subclip_entry_id) и PID 4223 (ref_to_stream_PID_subclip). Опорная информация 4221 ID подпотока обозначает ID подпотока подпути, который устанавливает путь воспроизведения видеопотока зависимой точки обзора. Опорная информация 4222 файла потока представляет собой информацию для идентификации файла DEP, содержащего этот видеопоток зависимой точки обзора. PID 4223 представляет собой PID для этого видеопотока зависимой точки обзора. Информация 4213 атрибута потока включает в себя атрибуты для этого видеопотока зависимой точки обзора, такие как частота кадров, разрешение и видеоформат. В частности, эти атрибуты являются теми же, что и у видеопотока основной точки обзора, показанного частью информации регистрации потока, расположенной в соответствующем PI, с которым комбинируют каждую часть информации 4201 регистрации потока.
На фиг. 50B показана схема, представляющая структуру данных последовательности 4113 информации регистрации потока для PG потоков. Как показано на фиг. 50B, такая последовательность 4113 информации регистрации потока обычно включает в себя множество частей информации 4231 регистрации потока. Их количество совпадает с количеством частей информации регистрации потока в соответствующем PI, который обозначает потоки PG. Каждая часть информации 4231 регистрации потока включает в себя STN 4241, стереоскопический флаг (is_SS_PG) 4242, вход 4243 потока основной точки обзора (stream_entry_for_base_view), вход 4244 потока зависимой точки обзора (stream_entry_for_dependent_view) и информацию 4245 атрибута потока. STN 4241 представляет собой последовательный номер, назначаемый индивидуально для частей 4231 информации регистрации потока, и представляет собой то же, что и STN части информации регистрации потока, расположенной в соответствующем PI, с которым комбинируют каждую часть информации 4231 регистрации потока. Стереоскопический флаг 4242 обозначает, включены ли потоки PG основной точки обзора и зависимой точки обзора, например, левой точки обзора и правой точки обзора, на носитель 100 записи. Если стереоскопический флаг 4242 включен, оба потока PG включены в вспомогательный TS. В соответствии с этим, устройство воспроизведения считывает все поля входа 4243 потока основной точки обзора, входа 4244 потока зависимой точки обзора и информации 4245 атрибута потока. Если стереоскопический флаг 4242 выключен, устройство воспроизведения игнорирует все эти поля 4243-4245. Как вход 4243 потока основной точки обзора, так и вход 4244 потока зависимой точки обзора, включают в себя опорную информацию ID подпотока, опорную информацию файла потока и PID. Опорная информация ID подпотока обозначает ID подпотока для подпотоков, которые устанавливают пути воспроизведения потоков PG основной точки обзора и зависимой точки обзора. Опорная информация файла потока представляет собой информацию для идентификации файла DEP, содержащего потоки PG. PID представляют собой PID для потоков PG. Информация 4245 атрибута потока включает в себя атрибуты для PG потоков, например, тип языка.
На фиг. 50C показана схема, представляющая структуру данных последовательности 4114 информации регистрации потока для потоков IG. Как показано на фиг. 50C, эта последовательность 4114 информации регистрации потока обычно включает в себя множество частей информации 4251 регистрации потока. Их количество является таким же, как и количество частей информации регистрации потока в соответствующем PI, который обозначает потоки IG. Каждая часть информации 4251 регистрации потока включает в себя STN 4261, стереоскопический флаг (is_SS_IG) 4262, вход 4263 потока основной точки обзора, вход 4264 потока зависимой точки обзора, и информацию 4265 атрибута потока. STN 4261 представляет собой последовательный номер, назначаемый индивидуально для частей информации 4251 регистрации потока, и является тем же, что и STN части информации регистрации потока, расположенной в соответствующем PI, с которым комбинируют каждую часть информации 4251 регистрации потока. Стереоскопический флаг 4262 обозначает, включены ли оба IG потока основной точки обзора и зависимой точки обзора, например, левой точки обзора и правой точки обзора, на носитель 100 записи. Если стереоскопический флаг 4262 включен, оба IG потока включены в вспомогательный TS. В соответствии с этим, устройство воспроизведения считывает все поля на входе 4263 потока основной точки обзора, входе 4264 потока зависимой точки обзора и информацию 4265 атрибута потока. Если стереоскопический флаг 4262 выключен, устройство воспроизведения игнорирует все эти поля 4263-4265. Как вход 4263 потока основной точки обзора, так и вход 4264 потока зависимой точки обзора включают в себя информацию ссылки на ID подпотока, информацию ссылки на файл потока и PID. Информация ссылки на ID подпути обозначает ID подпотока для подпотоков, которые устанавливают пути воспроизведения IG потоков основной точки обзора и зависимой точки обзора. Информация ссылки на файл потока представляет собой информацию для идентификации файла DEP, содержащего IG потоки. PID представляют собой PID для IG потоков. Информация 4265 атрибута потока включает в себя атрибуты для IG потоков, например, тип языка.
[Воспроизведение 3D видеоизображений в соответствии с файлом 3D списка воспроизведения]
На фиг. 51 показана схема, представляющая взаимосвязь между PTS, обозначенным файлом (00002.mpls) 522 3D списка воспроизведения и участками, воспроизводимыми из файла 544A SS (01000.ssif). Как показано на фиг. 51, на основном пути 4301 файла 522 3D списка воспроизведения, PI№1 устанавливает PTS№1, который обозначает время IN1 начала воспроизведения, и PTS№2, который обозначает время OUT1 окончания воспроизведения. Информация опорного клипа для PI№1 обозначает файл информации (01000.clpi) 531 2D клипа. На подпути 4302, который обозначает, что тип подпути составляет "3D L/R", SUB_PI№1 устанавливает те же PTS№1 и PTS№2, что и PI№1. Опорная информация клипа для SUB_PI№1 обозначает файл (02000.clpi) 532 информации клипа правой точки обзора.
При воспроизведении 3D видеоизображений в соответствии с файлом 522 3D списка воспроизведения, устройство 200 воспроизведения вначале считывает PTS№1 и PTS№2 из PI№1 и SUB_PI№1. Затем устройство 200 воспроизведения обращается к карте входа в файле 531 информации 2D клипа, для получения из файла 2D SPN№1 и SPN№2, которые соответствуют PTS№1 и PTS№2. Параллельно с этим, устройство 200 воспроизведения обращается к карте входа в файле 532 информации клипа правой точки обзора, для получения из файла DEP SPN№11 и SPN№12, которые соответствуют PTS№1 и PTS№2. Как описано со ссылкой на фиг. 40E, устройство 200 воспроизведения затем использует точки 3042 и 3320 начала протяженности в файлах 531 и 532 информации клипа для расчета из SPN№1 и SPN№11 количества пакетов SPN№21 источника от начала первого файла SS 544A до положения начала воспроизведения. Аналогично, устройство 200 воспроизведения рассчитывает, из SPN№2 и SPN№12 количество пакетов SPN№22 источника от начала файла SS 544A до положения начала воспроизведения. Устройство 200 воспроизведения дополнительно рассчитывает количество секторов, соответствующих SPN№21 и SPN№22. Затем устройство 200 воспроизведения обращается к этим номерам секторов и дескрипторам выделения на входе файла для файла SS 544A, для установления LBN№1 и LBN№2 вначале и в конце, соответственно, группы P11 секторов, в которой записаны группы EXTSS[0], …, EXTSS[n] 3D протяженности, предназначенной для воспроизведения. Расчет номеров секторов и спецификация LBN соответствуют описанию, приведенному со ссылкой на фиг. 40E. В конечном итоге, устройство 200 воспроизведения обозначает диапазон от LBN№1 до LBN№2 привода BD-ROM. Группу пакета источника, принадлежащую группе EXTSS[0], …, EXTSS[n] 3D протяженности, таким образом, считывают из группы P11 секторов в этом диапазоне. Аналогично, пару PTS№3 и PTS№4, обозначенную по PI№2 и SUB_PI№2, вначале преобразуют в пару SPN№3 и SPN№4, и пару SPN№13 и SPN№14, обращаясь к картам входа в файлы 531 и 532 информации клипа. Затем количество пакетов SPN№23 источников от верхней части файла SS 544A до положения начала воспроизведения рассчитывают по SPN№3 и SPN№13, и количество пакетов SPN№24 источника, от начала файла SS 544A до положения окончания воспроизведения, рассчитывают из SPN№4 и SPN№14. Затем, обращаясь к дескрипторам выделения на входе файла для файла SS 544A, пару SPN№23 и SPN№24 преобразуют в пару LBN№3 и LBN№4. Кроме того, группу пакетов источника, принадлежащую группе 3D протяженности, считывают из группы P12 сектора в диапазоне от LBN№3 до LBN№4.
Параллельно с описанной выше обработкой считывания, которая описана со ссылкой на фиг. 40E, устройство 200 воспроизведения обращается к точкам 3042 и 3320 начала протяженности в файлах 531 и 532 информации клипа для выделения протяженности основной точки обзора из каждой 3D протяженности и декодирования протяженности основной точки обзора параллельно с остающимися протяженностями правой точки обзора. Устройство 200 воспроизведения может, таким образом, воспроизводить 3D видеоизображения из первого файла SS 544A в соответствии с файлом 522 3D списка воспроизведения.
До настоящего момента был подробно описан файл информации списка воспроизведения.
<Таблица индекса>
На фиг. 52 показана схема, представляющая таблицу 4410 индекса в файле индекса (index.bdmv), показанном на фиг. 5. Как показано на фиг. 52, в таблице 4410 индекса содержатся элементы "первое воспроизведение" 4401, "верхнее меню" 4402 и "название k" 4403 (k=1, 2, …, n; целое число n равно или более единицы). Каждый элемент ассоциирован либо с объектом MVO-2D, MVO-3D, …, кинофильма или с объектом BD-J, BDJO-2D, BDJO-3D…,. Каждый раз, когда вызывают название или меню в ответ на операцию пользователя, или программу приложения, модуль управления в устройстве 200 воспроизведения обращается к соответствующему элементу в таблице 4410 индекса. Кроме того, модуль вызывает объект, ассоциированный с элементом с носителя 100 записи и, соответственно, выполняет различную обработку. В частности, "первое воспроизведение" 4401 определяет объект, который вызывают, когда носитель 100 записи загружают в привод 121 BD-ROM. "Верхнее меню" 4402 определяет объект для отображения меню на экране телевизора 300, когда вводят команду "вернуться к меню", например, в результате операции пользователя. В "названии k" 4403, индивидуально отдельно размещают названия, которые составляют содержание на носителе 100 записи. Например, когда название для воспроизведения определено в результате операции пользователя, в пункте "название k", в котором установлено название, устанавливают объект для воспроизведения видеоизображения из файла AV потока, соответствующего названию.
В примере, показанном на фиг. 52, элементы "название 1" и "название 2" выделены для названий 2D видеоизображений. Объект кинофильма, ассоциированный с элементом "название 1", MVO-2D, включает в себя группу команд, относящихся к обработке воспроизведения для 2D видеоизображений, используя файл 00001.mpls) 521 2D списка воспроизведения. (Когда устройство 200 воспроизведения обращается к элементу "название 1", тогда в соответствии с объектом MVO-2D кинофильма, файл 521 списка 2D воспроизведения считывают с носителя 100 записи, и обработку воспроизведения для 2D видеоизображений выполняют в соответствии с путем воспроизведения, установленным в нем. Объект BD-J, ассоциированный с элементом "название 2", BDJO-2D, включает в себя таблицу управления приложением, которая обращается к процессам воспроизведения для 2D видеоизображений, используя файл 521 2D списка воспроизведения. Когда устройство 200 воспроизведения обращается к элементу "название 2", тогда, в соответствии с таблицей управления приложением в объекте BD-J BDJO-2D, программу приложения Java вызывают из файла JAR и выполняют. Таким образом, файл 521 2D списка воспроизведения считывают с носителя 100 записи, и обработку воспроизведения для 2D видеоизображений выполняют в соответствии с установленным здесь путем воспроизведения.
Кроме того, в примере, показанном на фиг. 52, такие элементы, как "название 3" и "название 4", выделяют для названий 3D видеоизображений. Объект кинофильма, ассоциированный с элементом "название 3", MVO-3D, включает в себя, в дополнение к группе команд, относящихся к обработке воспроизведения для 2D видеоизображений, используя файл 521 2D списка воспроизведения, группу команд, относящихся к обработке воспроизведения для 3D видеоизображений, используя либо файл (00002.mpls) 522 3D списка воспроизведения, или файл (00003.mpls) 523. В объекте BD-J, ассоциированном с элементом "название 4", BDJO-3D таблицы управления приложением устанавливает, в дополнение к программе приложения Java, относящейся к обработкам воспроизведения для 2D видеоизображений, используя файл 521 2D списка воспроизведения, программу приложения Java, относящуюся к обработке воспроизведения для 3D видеоизображений, используя либо файл 522 или 523 3D списка воспроизведения.
Когда устройство 200 воспроизведения обращается к элементу "название 3", после того, как следующие четыре процесса определения выполняют в соответствии с объектом MVO-3D кинофильма: (1) поддерживает ли само устройство 200 воспроизведения воспроизведение 3D видеоизображений? (2) выбрал ли пользователь воспроизведение 3D видеоизображений? (3) поддерживает ли телевизор 300 воспроизведение 3D видеоизображений и (4) находится ли режим 3D видеоизображения устройства 200 воспроизведения в режиме L/R или в режиме глубины. Затем, в соответствии с результатами этих определений, один из файлов 521-523 списка воспроизведения выбирают для воспроизведения. Когда устройство 200 воспроизведения обращается к элементу "название 4", вызывают программу приложения Java из файла JAR, в соответствии с таблицей управления приложением в BD-J объекте BDJO-3D, и выполняют. Описанную выше обработку определения, таким образом, выполняют, и файл списка воспроизведения затем выбирают в соответствии с результатами определения.
[Выбор файла списка воспроизведения при выборе названия 3D видеоизображения]
На фиг. 53 показана блок-схема последовательности операций обработки выбора для файла списка воспроизведения, предназначенного для воспроизведения, причем эту обработку выполняют, когда выбирают название 3D видеоизображения. В таблице 4410 индекса, показанной на фиг. 52, обработку выбора выполняют в соответствии с объектом MVO-3D кинофильма при ссылке на элемент "название 3", и обработку выбора выполняют в соответствии с программой приложения Java, в которой указан BD-J объект BDJO-3D при ссылке на элемент "название 4".
В свете такой обработки выбора предполагается, что устройство 200 воспроизведения включает в себя первый флаг и второй флаг. Значение "0" для первого флага обозначает, что устройство 200 воспроизведения поддерживает только воспроизведение 2D видеоизображений, тогда как "1" обозначает также поддержку 3D видеоизображений. Значение "0" для второго флага обозначает, что устройство 200 воспроизведения находится в режиме L/R, тогда как "1" обозначает режим глубины.
На этапе S4501, устройство 200 воспроизведения проверяет значение первого флага. Если значение равно 0, обработка переходит на этап S4505. Если значение равно 1, обработка переходит на этап S4502.
На этапе S4502, устройство 200 воспроизведения отображает меню на экране телевизора 300 для пользователя для выбора воспроизведения либо 2D, или 3D видеоизображения. Если пользователь выбирает воспроизведение 2D видеоизображений, используя операцию пульта 105 дистанционного управления или тому подобное, обработка переходит на этап S4505, тогда как, если пользователь выбирает 3D видеоизображения, обработка переходит на этап S4503.
На этапе S4503, устройство 200 воспроизведения проверяет, поддерживает ли телевизор 300 воспроизведение 3D видеоизображений. В частности, устройство 200 воспроизведения обменивается сообщениями CEC с телевизором 300 через кабель 122 HDMI, сверяется с телевизором 300, поддерживает ли он воспроизведение 3D видеоизображений. Если телевизор 300 действительно поддерживает воспроизведение 3D видеоизображений, обработка переходит на этап S4504. В противном случае, обработка переходит на этап S4505.
На этапе S4504, устройство 200 воспроизведения проверяет значение второго флага. Если это значение равно 0, обработка переходит на этап S4506. Если это значение равно 1, обработка переходит на этап S4507.
На этапе S4505, устройство 200 воспроизведения выбирает для воспроизведения файл 521 2D списка воспроизведения. Следует отметить, что, в это время, устройство 200 воспроизведения может обеспечить отображение телевизором 300 причины, почему воспроизведение 3D видеоизображений не было выбрано.
На этапе S4506, устройство 200 воспроизведения выбирает для воспроизведения файл 522 3D списка воспроизведения, используемый в режиме L/R.
На этапе S4507, устройство 200 воспроизведения выбирает для воспроизведения файл 523 3D списка воспроизведения, используемый в режиме глубины.
До сих пор был описан носитель 100 записи, относящийся к первому варианту выполнения настоящего изобретения.
<Структура устройства 2D воспроизведения>
При воспроизведении 2D видеосодержания с носителя 100 записи в режиме 2D воспроизведения, устройство 200 воспроизведения работает как устройство 2D воспроизведения. На фиг. 54 показана функциональная блок-схема устройства 4600 2D воспроизведения. Как показано на фиг. 54, устройство 4600 2D воспроизведения имеет привод 4601 BD-ROM, модуль 4600A воспроизведения и модуль 4600B управления. Модуль 4600A воспроизведения имеет буфер 4602 считывания, целевой декодер 4603 системы, и сумматор 4610 плана. Модуль 4600B управления имеет запоминающее устройство 4604 динамического сценария, запоминающее устройство 4605 статического сценария, модуль 4606 выполнения программы, модуль 4607 управления воспроизведением, модуль 4608 сохранения переменной проигрывателя, и модуль 4609 обработки события пользователя. Модуль 4600A воспроизведения и модуль 4600B управления, каждый воплощен на основе разных интегральных микросхем, но, в качестве альтернативы, они могут быть воплощены в виде одной интегральной микросхемы.
Когда носитель 100 записи загружают в привод 4601 BD-ROM, привод 4601 BD-ROM излучает свет лазера на носитель 100 записи и детектирует изменение света, отраженного от носителя 100 записи. Кроме того, используя изменение количества отраженного света, привод 4601 BD-ROM считывает данные, записанные на носителе 100 записи. В частности, привод 4601 BD-ROM имеет блок оптической головки, то есть, оптическую головку. Оптическая головка имеет полупроводниковый лазер, линзы коллиматора, расщепитель луча, линзы объектива, собирающие линзы и оптический детектор. Луч света, излучаемого полупроводниковым лазером, последовательно пропускают через линзы коллиматора, расщепитель луча и линзы объектива, для сбора на слое записи носителя 100 записи. Собранный луч отражается и дифрагирует в слое записи. Отраженный и дифрагированный свет пропускают через линзы объектива, расщепитель луча и собирающие линзы, и собирают на оптическом детекторе. Оптический детектор генерирует сигнал воспроизведения на уровне, в соответствии с количеством собранного света. Кроме того, данные декодируют из сигнала воспроизведения.
Привод 4601 BD-ROM считывает данные c носителя 100 записи на основе запроса из модуля 4607 управления воспроизведением. Из считанных данных, протяженность в файле 2D, то есть, 2D протяженность, передают в буфер 4602 считывания; информацию динамического сценария передают в запоминающее устройство 4604 динамического сценария; и информацию статического сценария передают в запоминающее устройство 4605 статического сценария. "Информация динамического сценария" включает в себя файл индекса, файл объекта кинофильма и файл объекта BD-J. "Информация статического сценария" включает в себя файл 2D списка воспроизведения и файл информации 2D клипа.
Буфер 4602 считывания, запоминающее устройство 4604 динамического сценария и запоминающее устройство 4605 статического сценария, каждый представляет собой запоминающее устройство буфера. Запоминающее устройство в модуле 4600A воспроизведения используется как буфер 4602 считывания. Запоминающие устройства в модуле 4600B управления используют как запоминающее устройство 4604 динамического сценария и запоминающее устройство 4605 статического сценария. Кроме того, разные области в одном запоминающем устройстве можно использовать как эти запоминающие устройства 4602, 4604 и 4605 буфера. В буфере 4602 считывания содержат 2D протяженности, запоминающее устройство 4604 динамического сценария содержит информацию динамического сценария, и запоминающее устройство 4605 статического сценария содержит информацию статического сценария.
Целевой декодер 4603 системы считывает 2D протяженности из буфера 4602 считывания в единицах пакетов источника и демультиплексирует 2D протяженности. Целевой декодер 4603 системы затем декодирует каждый из элементарных потоков, полученных в результате демультиплексирования. В этой точке информацию, необходимую для декодирования каждого элементарного потока, такую как тип кодека и атрибут потока, передают из модуля 4607 управления воспроизведением в целевой декодер 4603 системы. Для каждого VAU, целевой декодер 4603 системы выводит первичный видеопоток, вторичный видеопоток, IG поток и PG поток, как данные первичного плана видеоизображения, данные вторичного плана видеоизображения, данные плана IG и данные плана PG, соответственно. С другой стороны, целевой декодер 4603 системы смешивает декодируемый первичный аудиопоток и вторичный аудиопоток и передает полученные в результате данные в устройство вывода звука, такое как внутренний громкоговоритель 103A телевизора 300. Кроме того, целевой декодер 4603 системы принимает графические данные из модуля 4606 выполнения программы. Графические данные используют для представления графических данных, таких как меню GUI на экране, и представляет собой растровый формат данных, такой как JPEG и PNG. Целевой декодер 4603 системы обрабатывает графические данные и выводит данные, как данные плана изображения. Детали целевого декодера 4603 системы описаны ниже.
Модуль 4609 обработки события пользователя детектирует операцию пользователя через пульт 105 дистанционного управления или переднюю панель устройства 200 воспроизведения. На основе операции пользователя, модуль 4609 обработки события пользователя запрашивает модуль 4606 выполнения программы или модуль 4607 управления воспроизведением для выполнения соответствующей обработки. Например, когда пользователь передает инструкцию для отображения всплывающего меню при нажатии на кнопку на пульте 105 дистанционного управления, модуль 4609 обработки события пользователя детектирует нажатие и идентифицирует эту кнопку. Модуль 4609 обработки события пользователя дополнительно запрашивает модуль 4606 выполнения программы для выполнения команды, соответствующей этой кнопке, то есть, команды для отображения всплывающего меню. С другой стороны, когда пользователь нажимает на кнопку ускоренной перемотки или кнопку обратной перемотки на пульте 105 дистанционного управления, например, модуль 4609 обработки события пользователя детектирует нажатие, идентифицирует кнопку и запрашивает модуль 4607 управления воспроизведением выполнить быструю перемотку вперед или обратную перемотку списка воспроизведения, воспроизводимого в данный момент времени.
Модуль 4607 управления воспроизведением управляет передачей различных типов данных, таких как 2D протяженности, файл индекса и т.д., с носителя 100 записи в буфер 4602 считывания, запоминающее устройство 4604 динамического сценария и запоминающее устройство 4605 статического сценария. Файловая система, управляющая структурой файла директории, показанная на фиг. 7, используется для такого управления. Таким образом, модуль 4607 управления воспроизведением обеспечивает передачу приводом 4601 BD-ROM файлов в каждое из запоминающих устройств 4602, 4604 и 4605 буфера, используя системный вызов для того, чтобы открыть файлы. Открывание файла состоит из последовательностей следующей обработки. Вначале системный вызов предоставляет в файловую систему название файла, который должен быть детектирован, и выполняет попытку детектировать название файла из структуры директории/файла. Когда такое детектирование выполняется успешно, вход в файл для целевого файла вначале передают в запоминающее устройство в модуле 4607 управления воспроизведением, и FCB(БУФ, блок управления файлом) генерируют в запоминающем устройстве. После этого описатель файла для целевого файла возвращается из файловой системы в модуль 4607 управления воспроизведением. После этого модуль 4607 управления воспроизведением может передать целевой файл с носителя 100 записи в каждое из запоминающих устройства буфера 4602, 4604 и 4605, представляя описатель файла в привод 4601 BD-ROM.
Модуль 4607 управления воспроизведением декодирует 2D файл, для вывода видеоданных и аудиоданных, путем управления приводом 4601 BD-ROM и целевым декодером 4603 системы. В частности, модуль 4607 управления воспроизведением вначале считывает файл 2D списка воспроизведения из запоминающего устройства 4605 статического сценария, в соответствии с инструкцией, из модуля 4606 выполнения программы или по запросу из модуля 4609 обработки события пользователя, и интерпретирует содержание файла. В соответствии с интерпретируемым содержанием, в частности, на пути воспроизведения, модуль 4607 управления воспроизведением затем устанавливает файл 2D для воспроизведения, и передает инструкции в привод 4601 BD-ROM и в целевой декодер 4603 системы для считывания и декодирования этого файла. Такая обработка воспроизведения, основанная на файле списка воспроизведения, называется "воспроизведением списка воспроизведения". Кроме того, модуль 4607 управления воспроизведением устанавливает различные типы переменных проигрывателя в модуле 4608 сохранения переменной проигрывателя, используя информацию статического сценария. Со ссылкой на переменные проигрывателя, модуль 4607 управления воспроизведением дополнительно устанавливает в целевой декодер 4603 системы элементарные потоки, которые должны быть декодированы, и предоставляет информацию, необходимую для декодирования элементарных потоков.
Модуль 4608 сохранения переменной проигрывателя состоит из группы регистров для сохранения переменных проигрывателя. Типы переменных проигрывателя включают в себя системные параметры (SPRM) и общие параметры (GPRM). На фиг. 55 показан список SPRM. Каждому SPRM назначают последовательный номер 4701, и каждый последовательный номер 4701 ассоциируют с уникальным переменным значением 4702. Содержание основного SPRM представлено ниже. Здесь номера в круглых скобках обозначают последовательный номер 4701.
SPRM(0): Код языка
SPRM(1): Номер первичного аудиопотока
SPRM(2): Номер потока субтитров
SPRM(3): Номер угла
SPRM(4): Номер названия
SPRM(5): Номер раздела
SPRM(6): Номер программы
SPRM(7): Номер ячейки
SPRM(8): Название ключа
SPRM(9): Таймер навигации
SPRM(10): Текущее время воспроизведения
SPRM(11): Режим смешивания звука проигрывателя для караоке
SPRM(12): Код страны для родительского управления
SPRM(13): Уровень вмешательства родителей
SPRM(14): Конфигурация проигрывателя для видеоизображения
SPRM(15): Конфигурация проигрывателя для звука
SPRM(16): Код языка для аудиопотока
SPRM(17): Расширение кода языка для аудиопотока
SPRM(18): Код языка для потока субтитров
SPRM(19): Расширение кода языка для потока субтитров
SPRM(20): Региональный код проигрывателя
SPRM(21): Вторичный номер видеопотока
SPRM(22): Вторичный номер аудиопотока
SPRM(23): Статус проигрывателя
SPRM(24): Зарезервирован
SPRM(25): Зарезервирован
SPRM(26): Зарезервирован
SPRM(27): Зарезервирован
SPRM(28): Зарезервирован
SPRM(29): Зарезервирован
SPRM(30): Зарезервирован
SPRM(31): Зарезервирован
SPRM(10) обозначает PTS изображения, которое в данный момент декодируют, и обновляют каждый раз, когда изображение декодируют и записывают в запоминающее устройство первичного плана видеоизображения. В соответствии с этим, текущая точка воспроизведения может быть известна при ссылке на SPRM(10).
Код языка для аудиопотока SPRM(16) и код языка для потока субтитров SPRM(18) представляет принятые по умолчанию коды языка устройства 200 воспроизведения. Эти коды могут быть изменены пользователем с использованием OSD или тому подобного для устройства 200 воспроизведения, или могут быть изменены программой приложением через модуль 4606 выполнения программы. Например, если SPRM(16) представляет "английский", при обработке воспроизведения списка воспроизведения, модуль 4607 управления воспроизведением вначале выполнит поиск в таблице STN в PI с тем, чтобы найти вход в поток, имеющий код языка "ангийский". Модуль 4607 управления воспроизведением затем извлекает PID из информации идентификации потока входа потока и передает выделенный PID в целевой декодер 4603 системы. В результате, аудиопоток, имеющий такой же PID, выбирают и декодируют с помощью целевого декодера 4603 системы. Эти процессы могут быть выполнены с помощью модуля 4607 управления воспроизведением, при использовании файла объекта кинофильма или файла объекта BD-J.
Во время обработки воспроизведения, модуль управления 4607 воспроизведением обновляет переменные проигрывателя в соответствии со статусом воспроизведения. Модуль 4607 управления воспроизведением обновляет, в частности, SPRM(1), SPRM(2), SPRM(21) и SPRM(22). Эти SPRM, соответственно, показывают, в указанном порядке, STN аудиопотока, потока субтитров, вторичного видеопотока, и вторичного аудиопотока, которые в настоящее время воспроизводятся. В качестве примера, предположим, что номер SPRM(1) аудиопотока был изменен модулем 4606 выполнения программы. В этом случае, модуль 4607 управления воспроизведением вначале выполняет поиск STN в PI, который в данный момент времени воспроизводят для входа в поток, который включает в себя STN, обозначающий измененный SPRM(1). Модуль 4607 управления воспроизведением затем выделяет PID из информации идентификации потока на входе потока и передает выделенный PID в целевой декодер 4603 системы. В результате, аудиопоток, имеющий тот же PID, выбирают и декодируют, используя целевой декодер 4603 системы. Таким образом, выполняют переключение аудиопотока, предназначенного для воспроизведения. Поток субтитров и вторичный видеопоток, предназначенный для воспроизведения, могут переключаться аналогично.
Модуль 4606 выполнения программы представляет собой процессор и выполняет программы, сохраненные в файле объекта кинофильма или файле объекта BD-J. Модуль 4606 выполнения программы выполняет следующее управление, в частности, в соответствии с программами. (1) Модуль 4606 выполнения программы передает инструкции в модуль 4607 управления воспроизведением для выполнения обработки воспроизведения списка воспроизведения. (2) Модуль 4606 выполнения программы генерирует графические данные для меню или игры, как растровые данные PNG или JPEG, и передает сгенерированные данные в целевой декодер 4603 системы для объединения с другими видеоданными. Специфичное содержание этих элементов управления может быть разработано относительно гибко, используя конструирование программы. Таким образом, содержание элементов управления определяют, используя процедуру программирования файла объекта кинофильма и файла объекта BD-J в процедуре авторской разработки носителя 100 записи.
Сумматор 4610 плана принимает первичные видеоданные плана, вторичные видеоданные плана, данные плана IG, данные плана PG и данные плана изображения из целевого декодера 4603 системы и объединяет эти данные в видеокадр или поле путем наложения. Сумматор 4610 плана выводит полученные в результате составные видеоданные в телевизор 300 для отображения на экране.
<Целевой декодер системы>
На фиг. 56 показана функциональная блок-схема целевого декодера 4603 системы. Как показано на фиг. 56, целевой декодер 4603 системы включает в себя блок 4810 восстановления данных из пакетов источника, счетчик 4820 ATC, первый генератор 4830 тактовой частоты 27 МГц, фильтр 4840 PID, счетчик 4850 (STC1) STC, второй генератор 4860 тактовой частоты 27 МГц, первичный видеодекодер 4870, вторичный видеодекодер 4871, декодер 4872 PG, декодер 4873 IG, первичный аудиодекодер 4874, вторичный аудиодекодер 4875, процессор 4880 изображения, первичное запоминающее устройство 4890 плана видеоизображения, вторичное запоминающее устройство 4891 плана видеоизображения, запоминающее устройство 4892 плана PG, запоминающее устройство 4893 плана IG, запоминающее устройство 4894 плана изображения и аудиосмеситель 4895.
Блок 4810 восстановления данных из пакета источника считывает пакеты источника из буфера 4602 считывания, выделяет пакеты TS из считанных пакетов источника и передает эти пакеты TS в фильтр 4840 PID. Блок 4810 восстановления данных из пакета источника дополнительно регулирует время передачи в соответствии с ATC каждого пакета источника. В частности, блок 4810 восстановления данных из пакета источника вначале отслеживает значение ATC, сгенерированных счетчиком 4820 ATC. В этом случае, значение ATC зависит от счетчика 4820 ATC, и выполняет его последовательное приращение в соответствии с импульсом сигнала тактовой частоты первого генератора 4830 тактовой частоты 27 МГц. Затем, в момент, когда значение ATC соответствует ATS пакета источника, блок 4810 восстановления данных из пакета источника передает пакеты TS, выделенные из пакета источника в фильтр 4840 PID. Благодаря регулированию времени передачи таким образом, средняя скорость RTS передачи пакетов TS из блока 4810 восстановления данных из пакета источника фильтра 4840 PID, не превышает скорость 3111 работы системы, показанную в файле информации 2D клипа на фиг. 38.
Фильтр 4840 PID вначале отслеживает PID, которые включают в себя пакеты TS, выводимые блоком 4810 восстановления данных из пакета источника. Когда PID соответствует PID, заранее установленному модулем 4807 управления воспроизведением, фильтр 4840 PID выбирает пакеты TS и передает их в декодер 4870-4875, соответствующий декодированию элементарного потока, обозначенного PID. Например, если PID представляет собой 0x1011, пакеты TS передают в первичный видеодекодер 4870, тогда как пакеты TS с PID в диапазоне от 0x1B00-0x1B1F, 0x1100-0x111F, 0x1A00-0x1A1F, 0x1200-0x121F и 0x1400-0x141F передают во вторичный видеодекодер 4871, первичный аудиодекодер 4874, вторичный аудиодекодер 4875, декодер 4872 PG, и декодер 4873 IG, соответственно.
Фильтр 4840 PID дополнительно детектирует PCR из каждого пакета TS, используя PID пакета TS. В этот момент фильтр 4840 PID устанавливает значение счетчика 4850 STC в заданное значение. В этом случае, значение счетчика 4850 STC также последовательно увеличивают в соответствии с импульсом сигнала тактовой частоты второго генератора 4860 тактовой частоты 27 МГц. Кроме того, значение, в которое устанавливают счетчик 4850 STC, должно быть заранее обозначено для фильтра 4840 PID из модуля 4807 управления воспроизведением. Каждый из декодеров 4870-4875 использует значение счетчика 4850 STC, как STC. Таким образом, декодеры 4870-4875 регулируют моменты времени обработки декодирования пакетов TS, выводимых из фильтра 4840 PID в соответствии с временем, обозначенным PTS или DTS, включенными в пакеты TS.
Первичный видеодекодер 4870, как показано на фиг. 56, включает в себя буфер (TB) 4801 транспортного потока, буфер (MB) 4802 мультиплексирования, буфер (EB) 4803 элементарного потока, декодер (DEC) 4804 сжатых видеоданных, и буфер (DPB) 4805 декодированного изображения. TB 4801, MB 4802, EB 4803 и DPB 4805 каждый представляет собой запоминающее устройство - буфер и используется в области запоминающих устройств, которые предусмотрены внутри первичного видеодекодера 4870. В качестве альтернативы, некоторые или все из TB 4801, MB 4802, EB 4803 и DPB 4805 могут быть отделены как другие запоминающие устройства. TB 4801 сохраняет пакеты TS, принятые из фильтра 4840 PID, в том виде, как они есть. MB 4802 сохраняет пакеты PES, реконструированные из пакетов TS, сохраненных в TB 4801. Следует отметить, что, когда пакеты TS передают из TB 4801 в MB 4802, заголовок TS удаляют из каждого пакетов TS. EB 4803 выделяет кодированные VAU из пакетов PES и сохраняет в своей памяти выделенные, кодированные VAU. VAU включает в себя сжатые изображения, то есть, изображение I, изображение B и изображение P. Следует отметить, что, когда данные передают из MB 4802 в EB 4803, заголовок PES удаляют из каждого пакета PES. DEC 4804 декодирует изображения из каждого VAU в EB 4803 в момент времени, показанный DTS, включенный в оригинальный пакет TS. DEC 4804 также может обращаться к информации переключателя декодирования, показанной на фиг. 13, для последовательного декодирования изображений из каждого VAU, независимо от DTS. DEC 4804 переключает схему декодирования в соответствии с форматами кодирования сжатия, например, MPEG-2, MPEG-4 AVC и VC1, и атрибутом потока сжатых изображений, сохраненных в каждом VAU. DEC 4804 дополнительно передает декодированные изображения, то есть, кадр или поле, в DPB 4805. DPB 4805 временно сохраняет декодированные изображения. При декодировании изображения P или изображения B, DEC 4804 обращается к декодированным изображениям, сохраненным в DPB 4805. DPB 4805 дополнительно записывает каждое из сохраненных изображений в первичное запоминающее устройство 4890 плана видеоизображения в момент времени, показанный PTS, включенный в исходный пакет TS.
Вторичный видеодекодер 4871 включает в себя ту же структуру, что и первичный видеодекодер 4870. Вторичный видеодекодер 4871 вначале декодирует пакеты TS вторичного видеопотока, принятого из фильтра 4840 PID, в несжатые изображения. После этого, вторичный видеодекодер 4871 записывает полученные в результате несжатые изображения во вторичное запоминающее устройство 4891 плана видеоизображения в момент времени, показанный PTS, включенный в пакет TS.
Декодер 4872 PG декодирует пакеты TS, принятые из фильтра 4840 PID, в несжатые графические данные, и записывает полученные в результате несжатые графические данные в запоминающее устройство 4892 плана PG в момент времени, показанный PTS, включенный в пакет TS.
Декодер 4873 IG декодирует пакеты TS, принятые из фильтра 4840 PID, в несжатые графические данные, и записывает полученные в результате несжатые графические данные в запоминающее устройство 4893 плана IG в момент времени, показанный PTS, включенный в пакет TS.
Первичный аудиодекодер 4874 вначале сохраняет пакеты TS, принятые из фильтра 4840 PID, в буфере, предусмотренном в нем. После этого первичный аудиодекодер 4874 удаляет заголовок TS и заголовок PES из каждого пакета TS в буфер, и декодирует оставшиеся данные в несжатые аудиоданные LPCM. Кроме того, первичный аудиодекодер 4874 передает полученные в результате аудиоданные в аудиосмеситель 4895, в момент времени, показанный PTS, включенным в пакет TS. Первичный аудиодекодер 4874 изменяет схему декодирования несжатых аудиоданных в соответствии с форматом кодирования сжатия, например AC-3 или DTS, и атрибут потока первичного аудиопотока, который включен в пакеты TS.
Вторичный аудиодекодер 4875 имеет ту же структуру, что и первичный аудиодекодер 4874. Вторичный аудиодекодер 4875 вначале декодирует пакеты TS вторичного аудиопотока, принятого из фильтра 4840 PID в несжатые аудиоданные LPCM. После этого, вторичный аудиодекодер 4875 передает несжатые аудиоданные LPCM в аудиосмеситель 4895 в момент времени, показанный PTS, включенный в пакет TS. Вторичный аудиодекодер 4875 изменяет схему декодирования несжатых аудиоданных в соответствии с форматом кодирования сжатия, например, Dolby Digital Plus или DTS-HD LBR, и атрибут потока первичного аудиопотока, включенного в пакеты TS.
Аудиосмеситель 4895 принимает несжатые аудиоданные, как из первичного аудиодекодера 4874, так и из вторичного аудиодекодера 4875, и затем смешивает (накладывает) принятые данные. Аудиосмеситель 4895 также передает полученные в результате аудиоданные во внутренний громкоговоритель 103A телевизора 300 или тому подобное.
Процессор 4880 изображения принимает графические данные, то есть, растровые данные PNG или JPEG, вместе с их PTS, из модуля 4806 выполнения программы. После приема графических данных, процессор 4880 изображения передает графические данные и записывает графические данные в запоминающее устройство 4894 плана изображения.
<Структура устройства 3D воспроизведения>
При воспроизведении 3D видеосодержания с носителя 100 записи в режиме 3D воспроизведения, устройство 200 воспроизведения работает как устройство 3D воспроизведения. Основная часть структуры устройства идентична устройству 2D воспроизведения, показанному на фиг. 54-56. Поэтому, ниже приведено описание блоков структуры устройства 2D воспроизведения, которые увеличены или модифицированы, ссылаясь при этом на приведенное выше подробное описание основных частей устройства 2D воспроизведения. Что касается обработки воспроизведения 2D видеоизображений в соответствии с файлами 2D списка воспроизведения, то есть, обработки воспроизведения 2D списка воспроизведения, устройство 3D воспроизведения имеет ту же структуру, что и устройство 2D воспроизведения. В соответствии с этим, детали этой структуры приведены здесь по ссылке на описание устройства 2D воспроизведения. В следующем описании предполагается обработка воспроизведения 3D видеоизображений в соответствии с файлами 3D списка воспроизведения, то есть, обработка воспроизведения 3D списка воспроизведения.
На фиг. 57 показана функциональная блок-схема устройства 4900 3D воспроизведения. Устройство 4900 3D воспроизведения включает в себя привод 4901 BD-ROM, модуль 4900A воспроизведения и модуль 4900B управления. Модуль 4900A воспроизведения включает в себя переключатель 4911, первый буфер 4921 считывания, второй буфер 4922 считывания, целевой декодер 4903 системы и сумматор 4910 плана. Модуль 4900B управления включает в себя запоминающее устройство 4904 динамического сценария, запоминающее устройство 4905 статического сценария, модуль 4906 исполнения программы, модуль 4907 управления воспроизведением, модуль 4908 сохранения переменной проигрывателя и модуль 4909 обработки события пользователя. Модуль 4900A воспроизведения и модуль 4900B управления установлены в разных интегральных схемах, но в качестве альтернативы могут быть установлены в одной интегральной схеме. В частности, запоминающее устройство 4904 динамического сценария, запоминающее устройство 4905 статического сценария, модуль 4906 исполнения программы и модуль 4909 обработки события пользователя имеют идентичную структуру с устройством 2D воспроизведения, показанным на фиг. 54. В соответствии с этим, их детали приведены здесь по ссылке на описанное выше пояснение устройства 2D воспроизведения.
Привод 4901 BD-ROM включает в себя элементы, идентичные приводу 4601 BD-ROM в устройстве 2D воспроизведения, показанном на фиг. 54. Когда модуль 4907 управления воспроизведением обозначает диапазон LBN, привод 4901 BD-ROM считывает данные из группы секторов на носитель 100 записи, обозначенный по диапазону. В частности, группу пакета источника, принадлежащую протяженности в файле SS, то есть, 3D протяженности, передают из привода 4901 BD-ROM в переключатель 4911. В этом случае, каждая 3D протяженность включает в себя одну или более пар блока данных основной точки обзора и зависимой точки обзора, как показано на фиг. 18D и 41. Эти блоки данных должны быть переданы параллельно в разные буферы считывания, то есть, буферы 4921 и 4922 считывания. В соответствии с этим, привод 4901 BD-ROM должен иметь, по меньшей мере, такую же скорость доступа, что и привод 4601 BD-ROM в устройстве 2D воспроизведения.
Переключатель 4911 принимает 3D протяженности из привода 4901 BD-ROM. С другой стороны, переключатель 4911 принимает из модуля 4907 управления воспроизведением информацию, обозначающую границу в каждом блоке данных, включенном в 3D протяженности, например, количество пакетов источника от начала 3D протяженности для каждой границы. В этом случае модуль 4907 управления воспроизведением генерирует эту информацию со ссылкой на начальную точку протяженности в файле информации клипа. Переключатель 4911 дополнительно обращается к этой информации для выделения блоков данных основной точки обзора из каждой 3D протяженности, передавая затем эти блоки данных в первый буфер 4921 считывания. И, наоборот, переключатель 4911 передает оставшиеся блоки данных зависимой точки обзора во второй буфер 4922 считывания.
Первый буфер 4921 считывания и второй буфер 4922 считывания представляют собой запоминающие устройства буфера, которые используют элемент памяти в модуле 4900A воспроизведения. В частности, разные области в одном элементе памяти используются как буферы 4921 и 4922 считывания. В качестве альтернативы, разные элементы памяти могут использоваться как буферы 4921 и 4922 считывания. Первый буфер 4921 считывания принимает блоки данных основной точки обзора из переключателя 4911 и сохраняют эти блоки данных. Второй буфер 4922 считывания принимает блоки данных зависимой точки обзора из переключателя 4911 и сохраняет эти блоки данных.
Вначале целевой декодер 4903 системы поочередно считывает блоки данных основной точки обзора, сохраненные в первом буфере 4921 считывания, и блоки данных зависимой точки обзора, сохраненные во втором буфере 4922 считывания. Затем целевой декодер 4903 системы отделяет элементарные потоки от каждого пакета источника путем демультиплексирования и, кроме того, из разделенных потоков декодирует данные, показанные PID, обозначенные модулем 4907 управления воспроизведением. Целевой декодер 4903 системы затем записывает декодированные элементарные потоки во внутреннем запоминающем устройстве плана в соответствии с его типом. Видеопоток основной точки обзора записывают в запоминающее устройство плана видеоизображения левой точки обзора, и видеопоток зависимой точки обзора записывают в запоминающее устройство плана правой точки обзора. С другой стороны, вторичный видеопоток записывают в запоминающее устройство вторичного плана видеоизображения, поток IG в запоминающее устройство плана IG, и поток PG в запоминающее устройство плана. Когда другие данные потока, кроме видеопотока составляют из пары данных потока основной точки обзора и данных потока зависимой точки обзора, пару запоминающих устройств соответствующего плана подготавливают для данных плана левой точки обзора и данных плана правой точки обзора. Целевой декодер 4903 системы также обрабатывает графические данные из модуля 4906 выполнения программы, такие как растровые данные JPEG или PNG, и записывает эти данные в запоминающее устройство плана изображения.
Целевой декодер 4903 системы ассоциирует выход данных плана запоминающих устройств плана левого видеоизображения и правого видеоизображения с режимом представления B-D и режимом представления B-B. Когда модуль 4907 управления воспроизведением обозначает режим представления B-D, целевой декодер 4903 системы поочередно выводит данные плана из запоминающих устройств плана левого видеоизображения и правого видеоизображения. С другой стороны, когда модуль 4907 управления воспроизведением обозначает режим представления B-B, целевой декодер 4903 системы выводит данные плана только из запоминающего устройства плана левого видеоизображения или правого видеоизображения дважды на кадр при поддержании режима работы в режиме 3D воспроизведения.
Кроме того, целевой декодер 4903 системы ассоциирует выход запоминающих устройств графического плана, то есть, различные типы данных графического плана, из запоминающего устройства плана PG, запоминающего устройства плана IG и запоминающего устройства плана изображения, с режимом 2 плана, режимом 1 план + режим смещения, и режимом 1 план + нулевое смещение. Когда модуль 4907 управления воспроизведением обозначает режим 2 плана, целевой декодер 4903 системы поочередно выводит данные плана левой точки обзора и данные плана правой точки обзора из каждого из запоминающих устройств графического плана. Когда модуль 4907 управления воспроизведением обозначает режим 1 план + смещение или режим 1 план + нулевое смещение, целевой декодер 4903 системы выводит данные графического плана из каждого из запоминающих устройств графического плана при поддержании режима работы в режиме 3D воспроизведения. Когда модуль 4907 управления воспроизведением обозначает режим 1 план + смещение, целевой декодер 4903 системы, кроме того, выводит значение смещения, обозначенное модулем 4907 управления воспроизведением в сумматор 4910 плана. В этом случае модуль 4907 управления воспроизведением устанавливает значение смещения на основе таблицы смещения в файле информации клипа. С другой стороны, когда модуль 4907 управления воспроизведения обозначает режим 1 план + нулевое смещение, целевой декодер 4903 системы выводит "0", как значение смещения, в сумматор 4910 плана.
После приема запроса, например, из модуля 4906 исполнения программы, для выполнения обработки воспроизведения 3D списка воспроизведения, модуль 4907 управления воспроизведением вначале обращается к файлу 3D списка воспроизведения, сохраненному в запоминающем устройстве 4905 статического сценария. Затем, в соответствии с файлом 3D списка воспроизведения и следующей последовательности, показанной на фиг. 51, модуль 4907 управления воспроизведением обозначает для привода 4901 BD-ROM диапазоны LBN для группы секторов, в которые записана 3D протяженность, предназначенная для считывания. Модуль 4907 управления воспроизведением также обращается к 3D метаданным в файле информации клипа, сохраненном в запоминающем устройстве 4905 статического сценария, для поиска начальной точки протяженности для каждой 3D протяженности, предназначенной для считывания. Модуль 4907 управления воспроизведением, кроме того, генерирует информацию, которая обозначает границу блоков данных, включенных в каждую 3D протяженность, и затем передает эту информацию в переключатель 4911.
Кроме того, модуль 4907 управления воспроизведением обращается к таблице STN и таблице SS STN в файле 3D списка воспроизведения, для управления эксплуатационными требованиями целевого декодера 4903 системы и сумматора 4910 плана. Например, модуль 4907 управления воспроизведением выбирает PID для элементарного потока, предназначенного для воспроизведения, и выводит этот PID в целевой декодер 4903 системы. Модуль 4907 управления воспроизведением также выбирает режим представления для каждого плана в соответствии со смещением во время появления на экране 4111 в STN таблице SS и представляет эти режимы представления в целевой декодер 4903 системы и в сумматор 4910 плана.
Как и в устройстве 2D воспроизведения, модуль 4908 сохранения переменной проигрывателя включает в себя SPRM, показанный на фиг. 55. Однако, любые два из SPRM(24) - (32), которые были зарезервированы на фиг. 55, включают в себя первый флаг и второй флаг, показанные на фиг. 53. Например, SPRM(24) может включать в себя первый флаг, и SPRM(25) второй флаг. В этом случае, когда SPRM(24) равен "0", устройство 200 воспроизведения поддерживает только воспроизведение 2D видеоизображений, и когда он равен "1", устройство 200 воспроизведения также поддерживает воспроизведение 3D видеоизображения. Когда SPRM(25) равен "0", режим воспроизведения 3D видеоизображения устройства 200 воспроизведения представляет собой режим L/R, и когда равен "1", режим воспроизведения 3D видеоизображения представляет собой режим глубины.
Сумматор 4910 плана принимает каждый тип данных плана из целевого декодера 4903 системы и накладывает части данных плана, для формирования одного составного кадра или поля. В частности, в режиме L/R видеоданные плана левой точки обзора представляют план видеоизображения левой точки обзора, и видеоданные плана правой точки обзора представляют план видеоизображения правой точки обзора. В соответствии с этим, среди других частей данных плана, сумматор 4910 плана накладывает части, которые представляют левую точку обзора на данные плана левой точки обзора, и части, которые представляют правую точку обзора на данные плана правой точки обзора. С другой стороны, в режиме глубины, видеоданные плана правой точки обзора представляют карту глубины для видеоданных плана, представляющего видеоданные плана левой точки обзора. В соответствии с этим, сумматор 4910 плана вначале генерирует пару видеоданных плана левой точки обзора и видеоданных плана правой точки обзора по обеим частям данных плана видеоизображения. После этого, сумматор 4910 плана выполняет такую же обработку составления, как и в режиме L/R.
При приеме обозначения режима 1 план + смещение или режима 1 план + нулевое смещение из модуля 4907 управления воспроизведением, как и в режиме представления для вторичного плана видеоизображения, плана PG, плана IG или плана изображения, сумматор 4910 плана выполняет обработку обрезки для данных планы, принятых из целевого декодера 4903 системы. Таким образом, генерируют пару из данных плана левой точки обзора и данных плана правой точки обзора. В частности, когда обозначен режим 1 план + смещение, обработка обрезки относится к значению смещения, обозначенному целевым декодером 4903 системы или модулем 4906 исполнения программы. С другой стороны, когда обозначен режим 1 план + нулевое смещение, значение смещения устанавливают равным "0" во время обработки обрезки. В соответствии с этим, одни и те же данные плана выводят многократно для представления левой точки обзора и правой точки обзора. Затем сумматор 4910 плана выполняет ту же обработку составления, что и в режиме L/R. Составленный кадр или поле выводят в телевизор 300 и отображают на экране.
<Целевой декодер системы>
На фиг. 58 показана функциональная блок-схема целевого декодера 4903 системы. Конструктивные элементы, показанные на фиг. 58, отличаются от устройства 2D воспроизведения, показанного на фиг. 54, следующими двумя моментами: 1) входной канал из буфера считывания в каждый декодер удвоен и 2) основной видеодекодер поддерживает режим 3D воспроизведения, и вторичный видеодекодер, декодер PG и декодер IG поддерживают режим 2 плана. Таким образом, все эти видеодекодеры могут поочередно декодировать поток основной точки обзора и поток зависимой точки обзора. С другой стороны, первичный аудиодекодер, вторичный аудиодекодер, аудиосмеситель, процессор изображения и запоминающее устройство плана аналогичны устройству 2D воспроизведения, показанному на фиг. 54. В соответствии с этим, среди конструктивных элементов, показанных на фиг. 58, те, которые отличаются от конструктивных элементов, показанных на фиг. 54, описаны ниже, и детали аналогичных конструктивных элементов приведены здесь по ссылке на описание по фиг. 54. Кроме того, поскольку каждый из видеодекодеров имеет аналогичную структуру, только структура первичного видеодекодера 5015 описана ниже, и это описание приведено здесь со ссылкой на структуры других видеодекодеров.
Первый блок 5011 восстановления данных из пакета источника считывает пакеты источника из первого буфера 4921 считывания, получает пакеты TS, включенные в пакеты источника, и передает эти пакеты TS в первый фильтр 5013 PID. Второй блок 5012 восстановления данных из пакета источника считывает пакеты источника из второго буфера 4922 считывания, получает пакеты TS, включенные в пакеты источника, и передает эти пакеты TS во второй фильтр 5014 PID. Каждый из блоков 5011 и 5012 восстановления данных из пакетов источника дополнительно регулирует время передачи пакетов TS в соответствии с ATS пакетов источника. Эту регулировку выполняют, используя тот же способ, что и в блоке 4610 восстановления данных из пакета источника, показанном на фиг. 54, и поэтому его описание представленное для фиг. 54, приведено здесь в качестве ссылки. При таком виде регулировки средняя скорость RTS1 передачи TS пакетов из первого блока 5011 восстановления данных из пакетов источника в первый фильтр 5013 PID не превышает скорость 3011 системы, обозначенную файлом информации 2D клипа, показанным на фиг. 37. Аналогично, средняя скорость RTS2 передачи пакетов TS из второго блока 5012 восстановления данных пакетов источника во второй фильтр 5014 PID не превышает скорость системы, обозначенную файлом информации клипа зависимой точки обзора.
Первый фильтр 5013 PID сравнивает PID каждого TS пакета, принятого из первого блока 5011 восстановления данных из пакетов источника, с выбранным PID. Модуль 4907 управления воспроизведением заранее обозначает выбранный PID в соответствии с таблицей STN в файле 3D списка воспроизведения. Когда эти два PID соответствуют друг другу, первый фильтр 5013 PID передает пакеты TS в декодер, назначенный для PID. Например, если PID представляет собой 0x1011, пакеты TS передают в TB(1) 5001 в первичном видеодекодере 5015, тогда как пакеты TS с PID в пределах от 0x1B00-0x1B1F, 0x1100-0x111F, 0x1A00-0x1A1F, 0x1200-0x121F и 0x1400-0x141F передают во вторичный видеодекодер, в первичный аудиодекодер, вторичный аудиодекодер, декодер PG или в декодер IG, соответственно.
Второй фильтр 5014 PID сравнивает PID каждого TS пакета, принятого из второго блока 5012 восстановления данных из пакета источника с выбранным PID. Модуль 4907 управления воспроизведением заранее обозначает выбранный PID в соответствии с STN таблицей SS в файле 3D списка воспроизведения. В частности, когда два PID соответствуют друг другу, второй фильтр 5014 PID передает пакет TS в декодер, назначенный для PID. Например, если PID представляет собой 0x1012 или 0x1013, пакеты TS передают в TB(2) 5008 в первичный видеодекодер 5015, в то время как пакеты TS с PID в пределах от 0x1B20-0x1B3F, 0x1220-0x127F и 0x1420-0x147F, передают во вторичный видеодекодер, декодер PG или в декодер IG, соответственно.
Первичный видеодекодер 5015 включает в себя TB(1) 5001, MB(1) 5002, EB(1) 5003, TB(2) 5008, MB(2) 5009, EB(2) 5010, переключатель 5006 буфера, DEC 5004, DPB 5005 и переключатель 5007 изображения. TB(1) 5001, MB(1) 5002, EB(1) 5003, TB(2) 5008, MB(2) 5009, EB(2) 5010 и DPB 5005 все представляют собой запоминающие устройства буфера, каждое из которых использует область элементов памяти, включенную в первичный видеодекодер 5015. Следует отметить, что некоторые или все из этих запоминающих устройств буфера могут быть разделены по разным элементам памяти.
TB(1) 5001 принимает пакеты TS, которые включают в себя видеопоток основной точки обзора, из первого фильтра 5013 PID, и сохраняет пакеты TS в том виде, как они есть. MB(1) 5002 сохраняет пакеты PES, реконструированные из пакетов TS, сохраненных в TB(1) 5001. Заголовки TS пакетов TS удаляют в это время. EB(1) 5003 выделяет и сохраняет кодированные VAU из пакетов PES, сохраненных в MB(1) 5002. Заголовки PES пакетов PES удаляют в этот момент.
TB(2) 5008 принимает пакеты TS, которые включают в себя видеопоток зависимой точки обзора, из второго фильтра 5014 PID, и сохраняет пакеты TS в том виде, как они есть. MB(2) 5009 сохраняет пакеты PES, реконструированные из пакетов TS, сохраненных в TB(2) 5008. Заголовки TS пакетов TS удаляют в этот момент. EB(2) 5010 выделяет и сохраняет кодированные VAU из пакетов PES, сохраненных в MB(2) 5009. Заголовки PES пакетов PES удаляют в этот момент.
Переключатель 5006 буфера передает VAU, сохраненные в EB(1) 5003 и EB(2) 5010 в DEC 5004 в моменты времени, обозначенные DTS, включенных в исходные пакеты TS. В этом случае, DTS для пары изображений, принадлежащих одному 3D VAU между видеопотоком основной точки обзора и видеопотоком зависимой точки обзора, являются одинаковыми. В соответствии с этим, среди пар VAU, которые имеют одинаковые DTS и которые сохранены EB(1) 5003 и EB(2) 5010, переключатель 5006 буфера сначала передает пару, сохраненную в EB(1) 5003, в DEC 5004. Кроме того, переключатель 5006 буфера может принимать обратно из DEC 5004 информацию 1401 переключателя декодирования, показанную на фиг. 13, в VAU. В таком случае переключатель 5006 буфера может определять, должен ли он передать следующий VAU в EB(1) 5003 или в EB(2) 5010, обращаясь к информации переключения декодирования.
DEC 5004 декодирует VAU, переданные из переключателя 5006 буфера. В этом случае, DEC 5004 использует разные способы декодирования в соответствии с форматом кодирования (например, MPEG-2, MPEG-4 AVC и VC1) сжатых изображений, содержащихся в VAU, и в соответствии с атрибутом потока. DEC 5004 дополнительно передает декодированные изображения, а именно, видеокадры или поля, в DPB 5005.
DPB 5005 временно сохраняет декодированные, несжатые изображения. Когда DEC 5004 декодирует изображение P или изображение B, DPB 5005 передает DEC 5004 с опорными изображениями среди сохраненных, несжатых изображений, в соответствии с запросом из DEC 5004.
Переключатель 5007 изображения записывает несжатые изображения из DPB 5005 либо в запоминающее устройство 5020 плана левого видеоизображения или в запоминающее устройство 5021 плана правого видеоизображения в момент времени, обозначенный PTS, включенный в исходный пакет TS. В этом случае, PTS для пары изображений, принадлежащих одному 3D VAU между видеопотоком основной точки обзора и видеопотоком зависимой точки обзора, являются одинаковыми. В соответствии с этим, среди пары изображений, которые имеют одинаковый PTS и которые сохраняют с помощью DPB 5005, переключатель 5007 изображения вначале записывает изображение, принадлежащее видеопотоку основной точки обзора, в запоминающее устройство 5020 плана левого видеоизображения, и затем записывает изображение, принадлежащее видеопотоку зависимой точки обзора в запоминающее устройство 5021 плана правого видеоизображения плана.
<Сумматор плана>
На фиг. 59 показана функциональная блок-схема сумматора 4910 плана. Как показано на фиг. 59, сумматор 4910 плана включает в себя модуль 5110 генерирования параллакса видеоизображения, переключатель 5120, четыре модуля 5131-5134 обработки обрезки и четыре сумматора 5141-5144.
Модуль 5110 генерирования параллакса видеоизображения принимает данные 5101 плана левого видеоизображения и данные 5102 плана правого видеоизображения из целевого декодера 4903 системы. Когда устройство 200 воспроизведения работает в режиме L/R, данные 5101 плана левого видеоизображения представляют план видеоизображения левой точки обзора и данные 5102 плана правой точки обзора представляют данные видеоизображения правой точки обзора. В этот момент модуль 5110 генерирования параллакса видеоизображения передает данные 5101 плана левого видеоизображения и данные 5102 плана правого видеоизображения в том виде, как они есть, в переключатель 5120. С другой стороны, когда устройство 200 воспроизведения находится в режиме глубины, данные 5101 плана левого видеоизображения представляют план видеоизображения для 2D видеоизображений, и данные 5102 плана правого видеоизображения представляют карту глубины для 2D видеоизображений. В этом случае, модуль 5110 генерирования параллакса видеоизображения вначале рассчитывает бинокулярный параллакс для каждого элемента в 2D видеоизображениях, используя карту глубины. Затем модуль 5110 генерирования параллакса видеоизображения обрабатывает данные 5101 плана левого видеоизображения для смещения положения представления каждого элемента в плане видеоизображения для 2D видеоизображений влево или вправо, в соответствии с рассчитанным бинокулярным параллаксом. Это генерирует пару планов видеоизображения, представляющих левое отображение и правое отображение. Модуль 5110 генерирования параллакса видеоизображения дополнительно передает пару планов видеоизображения в переключатель 5120, как пару частей плана левого видеоизображения и правого видеоизображения.
Когда модуль 4907 управления воспроизведением обозначает режим представления B-D, переключатель 5120 передает данные 5101 плана левого видеоизображения и данные 5102 плана правого видеоизображения с тем же PTS в первый сумматор 5141 в указанном порядке. Когда модуль 4907 управления воспроизведением обозначает режим представления B-B, переключатель 5120 передает одни из данных 5101 левого видеоизображения и данных 5102 плана правого видеоизображения с тем же PTS дважды за кадр в первый сумматор 5141, отбрасывая другую часть данных плана.
Модули 5131-5134 обработки обрезки включают в себя ту же самую структуру, что и пара модулей 5110 генерирования параллакса видеоизображения и переключатель 5120. Эти структуры используются в режиме 2 плана. Когда устройство 200 воспроизведения находится в режиме глубины, данные плана из целевого декодера 4903 системы преобразуют в пару частей левой точки обзора и правой точки обзора данных плана. Когда модуль 4907 управления воспроизведением обозначает режим представления B-D, части левого отображения и правой точки обзора данных плана поочередно передают в каждый из сумматоров 5141-5144. С другой стороны, когда модуль 4907 управления воспроизведением обозначает режим представления B-B, одну из частей левой точки обзора и правой точки обзора данных плана передают дважды за кадр в каждый из сумматоров 5141-5144, и другую часть данных плана отбрасывают.
В режиме 1 план + смещение, первый модуль 5131 обработки обрезки принимает значение 5151 смещения из целевого декодера 4903 системы и ссылается на это значение для выполнения обрезки для данных 5103 вторичного плана видеоизображения. Данные 5103 вторичного плана видеоизображения, таким образом, преобразуют в пару частей данных вторичного плана видеоизображения, которые представляют левое отображение и правое отображение, и передают поочередно. С другой стороны, в режиме 1 план + нулевое смещение данные 5103 вторичного плана видеоизображения передают дважды.
В режиме 1 план + смещение второй модуль 5132 обработки обрезки принимает значение 5151 смещения из целевого декодера 4903 системы и обращается к этому значению для выполнения обрезки для данных 5104 плана PG. Данные 5104 плана PG, таким образом, преобразуют в пару частей данных плана PG, которые представляют собой левое отображение и правое отображение, и передают поочередно. С другой стороны, в режиме 1 план + нулевое смещение данные 5104 плана PG передают дважды.
В режиме 1 план + смещение третий модуль 5133 обработки обрезки принимает значение 5151 смещения из целевого декодера 4903 системы и обращается к этому значению для выполнения обрезки данных 5105 плана IG. Данные 5105 плана IG, таким образом, преобразуют в пару частей данных плана IG, которые представляют левое отображение и правое отображение, и передают поочередно. С другой стороны, в режиме 1 план + нулевое смещение, данные 5105 плана IG передают дважды.
На фиг. 60A и 60B показана схема, представляющая обработку обрезки, выполняемую вторым модулем 5132 обработки обрезки. На фиг. 60A и 60B пару из данных 5204L плана PG левой точки обзора и данных 5204R плана PG правой точки обзора генерируют из данных 5104 плана PG следующим образом. Вначале второй модуль 5132 обработки обрезки получает значение смещения, назначенное для плана PG из значения 5151 смещения. Затем, второй модуль 5132 обрезки сдвигает положения представления левой точки обзора и правой точки обзора графического видеоизображения, обозначенные данными 5104 плана PG, в соответствии со значением смещения. В результате, получают пару для левой точки обзора и правой точки обзора частей данных плана PG. Следует отметить, что в режиме 1 план + нулевое смещение, значение смещения равно "0", и, таким образом, исходные данные плана PG представляют так, как есть. Первый модуль 5131 обработки обрезки аналогично выполняет обработку обрезки для данных 5103 вторичного плана видеоизображения, и третий модуль 5133 обработки обрезки аналогично выполняет обработку обрезки для данных 5105 плана IG.
Как показано на фиг. 60A, когда знак значения смещения обозначает, что глубина 3D видеоизображения ближе, чем экран, второй модуль 5132 обработки обрезки вначале сдвигает каждую часть данных пикселя в данных 5104 плана PG от их исходного положения вправо на количество пикселей 5201L, которое является тем же, что и значение смещения. Когда знак значения смещения обозначает, что глубина 3D видеоизображения глубже, чем экран, второй модуль 5132 обработки обрезки сдвигает данные пикселя влево. Затем второй модуль 5132 обработки обрезки удаляет участок данных 5202L пикселей, которые выдвигаются за пределы диапазона данных 5104 плана PG, вправо (или влево). Второй модуль 5132 обработки обрезки затем выводит оставшиеся данные 5204L пикселей как данные плана PG левой точки обзора.
Как показано на фиг. 60B, когда знак значения смещения обозначает, что глубина 3D видеоизображения ближе, чем экран, второй модуль 5132 обработки обрезки вначале сдвигает каждую часть данных пикселя в данных 5104 плана PG от их исходного положения влево на количество пикселей 5201R, которое является тем же, что и значение смещения. Когда знак значения смещения обозначает, что глубина 3D видеоизображения глубже, чем экран, второй модуль 5132 обработки обрезки сдвигает данные пикселя вправо. Затем второй модуль 5132 обработки обрезки удаляет участок данных 5202R пикселей, который выступает за пределы диапазона данных 5104 плана PG, влево (или вправо). Второй модуль 5132 обработки обрезки затем выводит оставшиеся данные 5204R пикселя, как данные плана PG правой точки обзора.
На фиг. 61A, 61B и 61C показаны схемы, соответственно, представляющие планы PG левой точки обзора и правой точки обзора, сгенерированные при обработке обрезки, показанной на фиг. 60, а также 3D видеоизображение, воспринимаемое зрителем на основе этих планов PG. Как показано на фиг. 61A, план 5301L PG левой точки обзора сдвинут вправо от протяженности экрана 5302 на значение 5201L смещения. В результате, субтитры 2D видеоизображения 5303 в плане 5301L PG левой точки обзора кажутся сдвинутыми вправо от их исходного положения на величину 5201L смещения. Как показано на фиг. 61B, план 5301R PG правой точки обзора сдвинут влево относительно протяженности экрана 5302 на величину 5201R смещения. В результате, субтитры 2D видеоизображения 5303 плана 5301R PG правой точки обзора выглядят сдвинутыми влево от их исходного положения на величину 5201R смещения. Когда эти планы PG 5301L и 5301R поочередно отображают на экране 5302, тогда, как показано на фиг. 61C, зритель 5304 воспринимает субтитры 3D видеоизображения 5305 как находящиеся ближе к экрану 5302. Расстояние между 3D видеоизображением 5305 и экраном 5302 можно регулировать с помощью величин 5201L и 5201R смещения. Когда положение каждой части данных пикселя в данных плана 5104 PG сдвигают в противоположном направлении, чем показано на фиг. 60A и 60B, зритель 5304 воспринимает субтитры 3D видеоизображения 5305, как расположенные дальше назад, чем экран 5302.
В режиме 1 план + смещение обработку обрезки, таким образом, используют для генерирования пары частей левой точки обзора и правой точки обзора данных плана из одной части данных плана. Это позволяет отображать видеоизображение с параллаксом, полученное только из одной части данных плана. Другими словами, ощущение глубины может быть придано плоскому изображению. В частности, зритель может воспринимать это плоское изображение, как находящееся ближе или дальше, чем экран. Следует отметить, что в режиме 1 план + нулевое смещение значение смещения равно "0", и, таким образом, плоское изображение сохраняется в том виде, как оно есть.
И снова, как показано на фиг. 59, данные 5106 плана изображения представляют собой графические данные, переданные из модуля 4906 исполнения программы в целевой декодер 4903 системы и декодированные целевым декодером 4903 системы. Графические данные представляют собой растровые данные, такие как данные JPEG или данные PNG, и представляют компонент графики GUI, такой как меню. Четвертый модуль 5134 обработки обрезки выполняет обработку обрезки данных 5106 плана изображения так же, как и другие модули 5131-5133 обработки обрезки. Однако, в отличие от других модулей 5131-5133 обработки обрезки, четвертый модуль 5134 обработки обрезки принимает значение смещения из API 5152 программы вместо целевого декодера 4903 системы. В этом случае, API 5152 программы выполняют другим модулем 4906 исполнения программы. Таким образом, информацию смещения, соответствующую глубине изображения, представленной графическими данными, рассчитывают и выводят в четвертый модуль 5134 обработки обрезки.
Вначале первый сумматор 5141 принимает данные плана видеоизображения из переключателя 5120 и принимает данные вторичного плана из первого модуля 5131 обработки обрезки. Затем первый сумматор 5141 накладывает один набор данных плана видеоизображения и данных вторичного плана одновременно, выводя результат во второй сумматор 5142. Второй сумматор 5142 принимает данные плана PG из второго модуля 5132 обработки обрезки, накладывает данные плана PG на данные плана из первого сумматора 5141, и выводит результат в третий сумматор 5143. Третий сумматор 5143 принимает данные плана IG из третьего модуля 5133 обработки обрезки, накладывает данные плана IG на данные плана из второго сумматора 5142, и выводит результат в четвертый сумматор 5144. Четвертый сумматор 5144 принимает данные плана изображения из четвертого модуля 5134 обработки обрезки, накладывает эти данные плана изображения на данные плана из третьего сумматора 5143 и выводит результат в телевизор 300. В результате, данные 5101 плана левого видеоизображения или данные 5102 плана правого видеоизображения, данные 5103 вторичного плана, данные 5104 плана PG, данные 5105 плана IG и данные 5106 плана изображения накладывают друг на друга в порядке, показанном стрелкой 5100 на фиг. 59. В результате такой обработки составления, для каждого видеоизображения, показанного данными плана, план левого видеоизображения или план правого видеоизображения, вторичный план видеоизображения, план IG, план PG и план изображения, выглядят, как наложенные друг на друга в указанном порядке на экране телевизора 300.
В дополнение к описанной выше обработке, сумматор 4910 плана выполняет обработку для преобразования выходного формата данных плана, скомбинированных четырьмя сумматорами 5141-5144, в формат, который соответствует способу 3D отображения, принятому в устройстве, таком как телевизор 300, который выводит данные. Если в устройстве принят способ последовательности с чередованием кадров, например, сумматор 4910 плана, выводит составленные части данных плана, как один кадр или одно поле. С другой стороны, если в устройстве принят способ, в котором используются линзы, сумматор 4910 плана составляет пару из частей левой точки обзора и частей правой точки обзора данных плана, как один кадр или одно поле видеоданных, используя встроенное запоминающее устройство буфера. В частности, сумматор 4910 плана временно сохраняют и считывают в запоминающем устройстве буфера данные плана левой точки обзора, которые были составлены первыми. Затем сумматор 4910 плана составляет данные плана правой точки обзора, и дополнительно составляет полученные в результате данные с данными плана левой точки обзора, содержащимися в запоминающем устройстве буфера. Во время составления каждую часть левой точки обзора и часть правой точки обзора данных плана разделяют в вертикальном направлении на малые прямоугольные области, которые сформированы длинными и тонкими, и эти малые прямоугольные области располагают поочередно в горизонтальном направлении в одном кадре или в одном поле, для того, чтобы повторно составить кадр или поле. Таким образом, пару из частей левой точки обзора и правой точки обзора данных плана комбинируют в один видеокадр или поле, который сумматор 4910 плана затем выводит в соответствующее устройство.
До этого момента было описано устройство воспроизведения.
<Условия соответствия размеров блоков данных воспроизведению без стыков видеоизображений>
Как показано на фиг. 15 и 41, носитель 100 записи в соответствии с вариантом выполнения настоящего изобретения имеет компоновку с перемежением, в которой блоки данных основной точки обзора и блоки данных зависимой точки обзора расположены одновременно и поочередно. Кроме того, в местах, где необходимо выполнить длинный переход, таких как границы слоя, блок данных основной точки обзора и его дублирующие данные располагают как блоки, предназначенные исключительно для 2D воспроизведения, и блок, предназначенный исключительно для 3D воспроизведения, как показано на фиг. 20, 24, 26, 28, 30 и 32. Компоновка этих блоков данных соответствует приведенному выше описанию и позволяет выполнять воспроизведение без стыков, как 2D видеоизображений, так и 3D видеоизображений. Для того, чтобы дополнительно обеспечить такое воспроизведение без стыков, достаточно, чтобы размер каждого блока данных соответствовал условиям, основанным на возможностях устройства 200 воспроизведения. Ниже приведено описание этих условий.
<Условия на основе возможностей в режиме 2D воспроизведения>
На фиг. 62 показана схема, представляющая систему обработки воспроизведения в устройстве 200 воспроизведения, в режиме 2D воспроизведения. Как показано на фиг. 62, среди элементов, показанных на фиг. 54, такая система обработки воспроизведения включает в себя привод 4601 BD-ROM, буфер 4602 считывания и целевой декодер 4603 системы. Привод 4601 BD-ROM считывает 2D протяженности c носителя 100 записи и передает эти 2D протяженности в буфер 4602 считывания со скоростью Rud-2D считывания. Целевой декодер 4603 системы считывает пакеты источника из каждой 2D протяженности, накопленной в буфере 4602 считывания со средней скоростью Rext2D передачи, и декодирует эти пакеты источника в видеоданные VD и в аудиоданные AD.
Средняя скорость Rext2D передачи равна 192/188 средней скорости передачи RTS пакетов TS из блока 3711 восстановления данных из пакета источника в фильтр 3713 PID, показанный на фиг. 45. Обычно, эта средняя скорость Rext2D передачи изменяется для каждой 2D протяженности. Максимальное значение Rmax2D средней скорости Rext2D передачи является такой же, как и скорость в 192/188 раз более, чем скорость системы для файла 2D. В этом случае, файл информации 2D клипа устанавливает скорость системы, как показано на фиг. 37. Кроме того, указанный выше коэффициент 192/188, представляет собой отношение байтов в пакете источника к байтам в пакете TS. Средняя скорость Rext2D передачи обычно представлена в битах/секунду и, в частности, равна значению размера 2D протяженности, выраженной в битах, разделенному на время ATC протяженности. "Размер протяженности, выраженный в битах", в восемь раз превышает произведение количества пакетов источника в протяженности, и количество байтов на пакет источника (=192 байта).
Скорость Rud-2D считывания обычно выражена в битах/секунду и установлена как более высокое значение, например, 54 Мбит/с, чем максимальное значение Rmax2D средней скорости Rext2D передачи: Rud-2D >Rmax2D. Это предотвращает незаполнение буфера 4602 считывания из-за обработки декодирования целевым декодером 4603 системы, в то время как привод 4601 BD-ROM считывает 2D протяженность c носителя 100 записи.
На фиг. 63A показан график, представляющий изменение количества DA данных, сохраненных в буфере 4602 считывания во время обработки воспроизведения 2D протяженностей. На фиг. 63B показана схема, представляющая взаимозависимость между блоком 5510 3D протяженности, который включает эти 2D протяженности, и путем 5520 воспроизведения в режиме 2D воспроизведения. Как показано на фиг. 63B, блок 5510 3D протяженности состоит из группы блоков данных основной точки обзора и группы блоков данных зависимой точки обзора при компоновке с перемежением. В соответствии с путем 5520 воспроизведения, каждый блок L0, L1, … данных основной точки обзора обрабатывают как одну 2D протяженность EXT2D[0], EXT2D[1], …, и считывают с носителя 100 записи в буфер 4602 считывания. Вначале, во время периода PR2D[0] считывания для верхнего блока L0 данных основной точки обзора, то есть, 2D протяженности EXT2D[0], накопленное количество DA данных увеличивается со скоростью, равной Rud-2D-Rext2D[0], разность между скоростью Rud-2D считывания и средней скоростью Rext2D[0] передачи, как показано на фиг. 63A.
Когда верхнюю 2D протяженность, EXT2D[0] считывают до конца, выполняют первый переход J2D[0]. Во время периода PJ2D[0] перехода считывание последующих двух блоков D1 и R1 данных пропускают, и считывание данных с носителя 100 записи приостанавливают. В соответствии с этим, во время периода PJ2D[0] первого перехода накопленное количество DA данных уменьшается со средней скоростью Rext2D[0] передачи, как показано на фиг. 63A.
Здесь принято следующее: количество данных, накопленных в буфере 4602 считывания во время периода PR2D[0] первого считывания, то есть, размер Sext2D[0] верхней 2D протяженности EXT2D[0], является тем же, что и количество данных, передаваемых из буфера 4602 считывания в целевой декодер 4603 системы, начиная с периода PR2D[0] считывания в течение периода PJ2D[0] первого перехода. В этом случае, как показано на фиг. 63A, после окончания периода PJ2D[0], первого перехода накопленное количество DA данных не падает ниже значения в начале периода PR2D[0] первого считывания.
После первого перехода J2D[0], начинается считывание следующего блока L1 данных основной точки обзора, то есть, 2D протяженности EXT2D[1]. Во время периода PR2D[1] считывания накопленное количество DA данных увеличивается снова со скоростью, равной Rud-2D-Rext2D[1], разность в скоростях передачи данных, как показано на фиг. 63A.
Операции считывания и передачи, выполняемые приводом 4601BD-ROM, фактически не выполняются непрерывно, а скорее поочередно, как показано на фиг. 63A. Во время периодов PR2D[0], PR2D[1], … считывания для каждой 2D протяженности, это предотвращает превышение накопленными данными величины DA емкости буфера 4602 считывания, то есть, переполнение в буфере 4602 считывания. В соответствии с этим, график на фиг. 63A представляет то, что фактически является пошаговым увеличением, как аппроксимированное прямое увеличение.
Таким образом, в соответствии с путем 5520 воспроизведения, считывание 2D протяженности Ln=EXT2D[n] (n=0, 1, 2 …) и переход J2D[n], для пропуска области записи пары блоков Dn, Rn данных зависимой точки обзора поочередно повторяют в режиме 2D воспроизведения. В соответствии с этим, накопленное количество DA данных в буфере 4602 считывания увеличивается во время периода PR2D[n] считывания со скоростью Rud-2D-Rext2D[n] и уменьшается в течение периода PJ2D[n] перехода со скоростью Rext2D[n]. Поэтому, для воспроизведения без стыков 2D видеоизображений из этих 2D протяженностей EXT2D[n] достаточно удовлетворять следующим условиям [1] и[2].
[1] При поддержании подачи данных из буфера 4602 считывания в целевой декодер 4603 системы в течение каждого периода PJ2D[n] перехода, необходимо обеспечить непрерывный вывод из целевого декодера 4603 системы. Как можно видеть на фиг. 55A, если количество данных, накопленных в буфере 4602 считывания во время каждого периода PR2D[n] считывания, то есть, размер Sext2D[n] каждой 2D протяженности EXT2D[n], является таким же, как и количество данных, передаваемых из буфера 4602 считывания в целевой декодер 4603 системы из периода PR2D[n] считывания в течение следующего периода PJ2D[n] перехода, тогда накопленная величина DA данных не возвращается к значению непосредственно перед периодом PR2D[n] считывания во время периода PJ2D[n] перехода. В частности, незаполнение не возникает в буфере 4602 считывания. В этом случае, длина периода PR2D[n] считывания равна Sext2D[n]/Rud-2D, значение, полученное в результате деления размера Sext2D[n] 2D протяженности EXT2D[n] на скорость Rud-2D считывания. В соответствии с этим, достаточно, чтобы размер Sext2D[n] каждой из 2D протяженностей EXT2D[n] удовлетворял выражению 1.
В выражении 1 время Tjump-2D[n] перехода представляет длину периода PJ2D[n] перехода в секундах. Скорость Rud-2D считывания и средняя скорость Rext2D передачи обе выражены в битах в секунду. В соответствии с этим, в выражении 1, среднюю скорость Rext2D передачи делят на 8 для преобразования размера Sext2D[n] 2D протяженности из битов в байты. Таким образом, размер Sext2D[n] 2D протяженности выражают в байтах. Функция CEIL представляет собой операцию округления дробных чисел после десятичной запятой значения в круглых скобках.
[2] Поскольку емкость буфера 4602 считывания ограничена, максимальное значение периода Tjump-2D[n] перехода ограничено. Другими словами, даже если накопленное количество DA данных непосредственно перед периодом PJ2D[n] перехода составляет максимальную емкость буфера 4602 считывания, если время Tjump-2D[n] перехода будет слишком длительным, накопленное количество данных DA будет получено равным нулю во время периода PJ2D[n] перехода, и при этом возникает опасность незаполнения, возникающего в буфере 4602 считывания. После этого время для уменьшения накопленного количества данных DA максимального значения емкости буфера 4602 считывания до нуля, при подаче данных с носителя 100 записи в буфер 4602 считывания, останавливают, то есть, максимальное значение времени Tjump-2D перехода, которое гарантирует воспроизведение без стыков, называется "максимальным временем перехода".
В стандартах оптических дисков взаимосвязи между расстояниями перехода и максимальным временем перехода определяют по скорости доступа привода оптического диска и по другим факторам. На фиг. 64 показан пример таблицы соответствия между расстояниями Sjump перехода и максимальными значениями времена Tjump перехода для диска BD-ROM. На фиг. 64 расстояния Sjump перехода представлены в единицах секторов, и максимальные значения времена Tjump перехода представлены в миллисекундах. На этом чертеже 1 сектор = 2 048 байтов. Как показано на фиг. 64, когда расстояние Sjump перехода равно ноль секторов или находится в пределах диапазона 1-10000 секторов, 10001-20000 секторов, 20001-40000 секторов, 40001 секторов -1/10 рабочего хода, и 1/10 рабочего хода или более, соответствующее максимальное время Tjump перехода равно 50 мс, 250 мс, 300 мс, 350 мс, 700 мс и 1400 мс, соответственно.
Когда расстояние Sjump перехода равно ноль секторов, максимальное время перехода, в частности, обозначается как "время Tjump-0 перехода ноль секторов". "Переход ноль секторов" представляет собой движение оптической головки между двумя последовательными блоками данных. Во время периода перехода ноль секторов блок оптической головки временно приостанавливает свою операцию считывания и ожидает. Время перехода ноль секторов может включать в себя, в дополнение ко времени сдвига положения блока оптической головки в результате вращения носителя 100 записи, "служебные данные, связанные с обработкой коррекции ошибки". "Служебные данные, связанные с обработкой коррекции ошибки" относятся к избыточному времени, затраченному на выполнение обработки коррекции ошибки дважды, используя блок ECC, когда граница между блоками ECC (ККО, код корректировки ошибок) не соответствует границе между двумя последовательными блоками данных. Весь блок ECC необходим для обработки коррекции ошибок. В соответствии с этим, когда два последовательных блока данных совместно используют один блок ECC, весь блок ECC считывают и используют для обработки коррекции ошибок во время считывания любого из блоков данных. В результате, каждый раз, когда считывают один из этих блоков данных, дополнительно считывают максимум 32 сектора избыточных данных. Служебные данные, связанные с обработкой коррекции ошибок, оценивают как общее время для считывания избыточных данных, то есть, 32 сектора × на 2 048 байтов × на 8 битов/байт × 2 случая/скорость считывания Rud-2D. Следует отметить, что в результате конфигурирования каждого блока данных в модулях блока ECC, служебные данные, связанные с обработкой коррекции ошибок, могут быть устранены из времени перехода ноль секторов.
Когда носитель 100 записи представляет собой многослойный диск, во время длинного перехода, связанного с переключением между слоями, в дополнение к максимальному времени Tjump перехода, установленному на фиг. 64, также необходимо специально назначенное время, такое как 350 мс, для переключения между слоями записи, например, для выполнения перехода фокусирования. Ниже такое время называется "временем переключения слоя".
На основе приведенного выше описания, время Tjump-2D[n] перехода, которое требуется подставить в выражение 1, определяют как сумму двух параметров, TJ[n] и TL[n]: Tjump-2D[n]=TJ[n]+TL[n]. Первый параметр TJ[n] представляет максимальное время перехода, установленное для каждого расстояния перехода в соответствии со стандартами диска BD-ROM. Первый параметр TJ[n] равен, например, максимальному времени перехода в таблице на фиг. 64, которое соответствует количеству секторов от конца n-той 2D протяженности EXT2D[n] до конца (n+1)-ой 2D протяженности EXT2D[n+1], то есть, расстоянию перехода. Когда существует граница LB слоя между n-той 2D протяженностью EXT2D[n] и (n+1)-ой 2D протяженностью EXT2D[n+1], второй параметр TL[n] равен времени переключения слоя, например 50 мс, и когда отсутствует граница LB слоя, второй параметр TL[n] равен нулю. Например, когда максимальное значение времени Tjump-2D[n] перехода ограничено 700 мс, тогда расстояние перехода между двумя 2D протяженностями EXT2D[n] и EXT2D[n+1] может составлять вплоть до 1/10 рабочих ходов (приблизительно 1,2 Гб), когда отсутствуют границы между слоями между этими 2D протяженностями и 40 000 секторов (приблизительно 78,1 Мб), когда присутствует граница между слоями.
<Условия на основе режима 3D воспроизведения>
На фиг. 65 показана схема, представляющая систему обработки воспроизведения в устройстве 200 воспроизведения в режиме 3D воспроизведения. Как показано на фиг. 65, среди элементов, представленных на фиг. 57, такая система обработки воспроизведения включает в себя привод 4901 BD-ROM, переключатель 4911, первый буфер 4921 считывания, второй буфер 4922 считывания и целевой декодер 4903 системы. Привод 4901 BD-ROM считывает 3D протяженности c носителя 100 записи и передает эти 3D протяженности в переключатель 4911 со скоростью Rud-3D считывания. Переключатель 4911 выделяет протяженности основной точки обзора и протяженности зависимой точки обзора из 3D протяженностей и разделяет выделенные протяженности. Протяженности основной точки обзора сохраняют в первом буфере 4921 считывания, и протяженности зависимой точки обзора сохраняют во втором буфере 4922 считывания. Накопленные данные во втором буфере 4922 считывания состоят из протяженностей правой точки обзора в режиме L/R и протяженностей карты глубины в режиме глубины. Целевой декодер 4903 системы считывает пакеты источника из протяженностей основной точки обзора, накопленные в первом буфере 4921 считывания с первой средней скоростью Rext1 передачи. Целевой декодер 4903 системы в режиме L/R считывает пакеты источника из протяженностей правой точки обзора, накопленной во втором буфере 4922 считывания со второй средней скоростью Rext2 передачи. Целевой декодер 4903 системы в режиме глубины считывает пакеты источника из протяженностей карты глубины, накопленных во втором буфере 4922 считывания с третьей средней скоростью Rext3 передачи. Целевой декодер 4903 системы также декодирует пары считанных протяженностей основной точки обзора и протяженностей зависимой точки обзора в видеоданные VD и аудиоданные AD.
Первая средняя скорость Rext1 передачи называется "скоростью передачи основной точки обзора". Скорость Rext1 передачи основной точки обзора равна 192/188 средней скорости RTS1 передачи пакетов TS из первого блока 5011 выделения данных из пакета источника в первый фильтр 5013 PID, показанный на фиг. 58. Обычно такая скорость Rext1 передачи основной точки обзора изменяется для каждой протяженности основной точки обзора. Максимальное значение Rmax1 скорости Rext1 передачи основной точки обзора равно в 192/188 скорости системы для файла 2D. Файл информации 2D клипа устанавливает скорость системы. Скорость Rext1 передачи основной точки обзора обычно представлена в битах/секунду и, в частности, равна значению размера протяженности основной точки обзора, выраженной в битах, разделенной на время ATC протяженности. Время ATC протяженности представляет диапазон ATS, назначенный для пакетов источника в протяженности основной точки обзора. В соответствии с этим, время ATC протяженности равно времени, необходимому для передачи всех пакетов источника в протяженности основной точки обзора из первого буфера 4921 считывания в целевой декодер 4903 системны.
Вторая средняя скорость Rext2 передачи называется "скоростью передачи правой точки обзора", и третья средняя скорость Rext3 передачи называется "скоростью передачи карты глубины". Обе скорости Rext2 и Rext3 передачи равны 192/188 средней скорости RTS2 передачи пакетов TS из второго блока 5012 восстановления данных из пакета источник во второй фильтр 5014 PID. Обычно эти скорости Rext2 и Rext3 передачи изменяются для каждой протяженности зависимой точки обзора. Максимальное значение Rmax2 скорости Rext2 передачи правой точки обзора равно в 192/188 скорости системы для файла DEP, который включает в себя видеопоток правой точки обзора, и максимальное значение Rmax3 скорости Rext3 передачи карты глубины равно 192/188 скорости системы для файла DEP, который включает в себя поток карты глубины. Файл информации клипа правой точки обзора и файл информации клипа карты глубины устанавливают соответствующие скорости системы. Скорости Rext2 и Rext3 передачи обычно представлены в битах/секунду и, в частности, равны значению размера каждой протяженности зависимой точки обзора, выраженной в битах, разделенному на время ATC протяженности. Время ATC протяженности представляет протяженность ATS, назначенную для пакетов источника в протяженности зависимой точки обзора. В соответствии с этим, время ATC протяженности равно времени, необходимому для передачи всех пакетов источника в протяженности зависимой точки обзора из второго буфера 4922 считывания в целевой декодер 4903 системы.
Скорость Rud-3D считывания обычно выражена в битах/секунду и установлена на более высокое значение, например, 72 Мбит/с, чем максимальные значения Rmax1-Rmax3 первой - третьей средних скоростей Rext1-Rext3 передачи: Rud-3D>Rmax1, Rud-3D>Rmax2, Rud-3D>Rmax3. Это предотвращает незаполнение буферов 4921 и 4922 считывания, в результате обработки декодирования, выполняемой целевым декодером 4903 системы, в то время как привод 4901 BD-ROM считывает 3D протяженность c носителя 100 записи.
[Режим L/R]
На фиг. 66A и 66B показаны графики, представляющие изменение количества DA1 и DA2 данных, накопленных в буферах 4921 и 4922 считывания во время обработки воспроизведения блока 3D протяженности в режиме L/R. На фиг. 66C показана схема, представляющая взаимосвязь между блоком 5810 3D протяженности и путем 5820 воспроизведения в режиме L/R. Как показано на фиг. 66C, блок 5810 3D протяженности состоит из группы блока данных основной точки обзора и группы блока данных зависимой точки обзора в виде компоновки с перемежением. В соответствии с путем 5820 воспроизведения, каждую пару соседних блоков Rk данных правой точки обзора и блоков Lk (k=0, 1, 2, …) данных основной точки обзора считывают как одну 3D протяженность EXTSS[k]. Для удобства пояснения предполагается, что (n-1) 3D протяженности уже были считаны, и что целое число n существенно более, чем единица. В этом случае, накопленные количества DA1 и DA2 данных в буферах 4921 и 4922 считывания уже содержатся на уровне или выше соответствующих нижних пределов UL1 и UL2. Эти нижние пределы UL1 и UL2 называются "величиной запаса объема буфера". Способ для гарантирования величин UL1 и UL2 запаса объема буфера описан ниже.
Как показано на фиг. 66C, во время (2n-1)-того периода PRR [n]-того считывания n-тую протяженность Rn правой точки обзора считывают с носителя 100 записи во второй буфер 4922 считывания. Во время (2n-1)-того периода PRR[n] считывания накопленное количество DA2 данных во втором буфере 4922 считывания увеличивается со скоростью, равной Rud-3D-Rext2[n], разности между скоростью Rud-3D считывания и скоростью Rext2[n] передачи правой точки обзора, как показано на фиг. 66B. И наоборот, как показано на фиг. 66A, накопленное количество DA1 данных в первом буфере 4921 считывания уменьшается со скоростью Rext1[n-1] передачи основной точки обзора.
Когда считывают конец n-той протяженности Rn правой точки обзора, происходит передача J0[n] n-того нулевого сектора. Во время периода PJ0[n] передачи n-того нулевого сектора считывание данных с носителя 100 записи приостанавливают. В соответствии с этим, накопленное количество DA1 данных в первом буфере 4921 считывания продолжает уменьшаться со скоростью Rext1[n-1] передачи основной точки обзора и накопленное количество DA2 данных во втором буфере 4922 считывания уменьшается со скоростью Rext2[n] передачи правой точки обзора.
После окончания периода PJ0[n] перехода n-того нулевого сектора начинается 2n-тый период PRL[n] считывания. Во время 2n-того периода PRL[n], считывания n-тую протяженность Ln основной точки обзора считывают с носителя 100 записи в первый буфер 4921 считывания. В соответствии с этим, накопленное количество DA1 данных в первом буфере 4921 считывания увеличивается со скоростью, равной Rud-3D-Rext1[n], разность между скоростью Rud-3D считывания и скоростью Rext1[n] передачи основной точки обзора, как показано на фиг. 66A. И, наоборот, как показано на фиг. 66B, накопленное количество DA2 данных во втором буфере 4922 считывания продолжает уменьшаться со скоростью Rext2[n] передачи правой точки обзора.
Когда будет считан конец n-той протяженности Ln основной точки обзора, происходит n-тый переход JLR[n]. Во время периода PJLR[n] n-того перехода считывание протяженности D(n+1), (n+1)-ой карты глубины пропускают и, поэтому, считывание данных с носителя 100 записи приостанавливается. В соответствии с этим, во время n-того периода PJLR[n] n-того перехода накопленное количество DA1 данных в первом буфере 4921 считывания уменьшается со скоростью Rext1[n] передачи основной точки обзора, как показано на фиг. 66A. В то же время, накопленное количество DA2 данных во втором буфере 4922 считывания продолжает уменьшаться со скоростью Rext2[n] передачи правой точки обзора, как показано на фиг. 66B.
Здесь принято следующее: количество данных, накопленное во втором буфере 4922 считывания во время (2n-1)-ого периода PRR[n] считывания, то есть, размер Sext2[n] n-той протяженности Rn правой точки обзора, по меньшей мере, равен количеству данных, переданному из второго буфера 4922 считывания в целевой декодер 4903 системы из (2n-1)-того периода PRR[n] считывания в течение n-того периода PJLR[n] перехода. В этом случае, как показано на фиг. 66B, после окончания периода PJLN[n] перехода, накопленное количество DA2 данных во втором буфере 4922 считывания не падает ниже величины UL2 запаса объема второго буфера.
После окончания периода PJLR[n] n-того перехода начинается (2n+1)-ый период PRR[n+1] считывания. Во время (2n+1)-ого периода PRR [n+1] считывания, (n+1)-ую протяженность R(n+1) правой точки обзора считывают с носителя 100 записи во второй буфер 4922 считывания. В соответствии с этим, как показано на фиг. 66B, накопленное количество DA2 данных во втором буфере 4922 считывания увеличивается со скоростью, равной Rud-3D-Rext2[n+1], разность между скоростью Rud-3D считывания и скоростью Rext2[n+1] передачи правой точки обзора. И, наоборот, накопленное количество DA1 данных в первом буфере 4921 считывания продолжает уменьшаться со скоростью Rext1[n] передачи основной точки обзора, как показано на фиг. 66A.
Когда будет считан конец (n+1)-ой протяженности R(n+1) правой точки обзора, происходит переход J0[n+1] (n+1)-того нулевого сектора. Во время периода PJ0[n+1] перехода (n+1)-ого нулевого сектора считывание данных с носителя 100 записи приостанавливается. В соответствии с этим, накопленное количество DA1 данных в первом буфере 4921 считывания продолжает уменьшаться со скоростью Rext1[n] передачи основной точки обзора, и накопленное количество DA2 данных во втором буфере 4922 считывания уменьшается со скоростью Rext2[n+1] передачи правой точки обзора.
Здесь принято следующее: количество данных, накопленных в первом буфере 4921 считывания во время 2n-того периода PRL[n] считывания, то есть, размер Sext1[n] n-той протяженности Ln основной точки обзора, по меньшей мере, равен количеству данных, переданному из первого буфера 4921 считывания в целевой декодер 4903 системы из 2n-того периода PRL[n] считывания через период PJ0 [n+1] перехода (n+1)-ого нулевого сектора. В этом случае, как показано на фиг. 66A, после окончания периода PJ0[n+1] перехода (n+1)-ого нулевого сектора, накопленное количество DA1 данных в первом буфере 4921 считывания не падает ниже количества UL1 запаса объема первого буфера.
Для воспроизведения без стыков 3D видеоизображений из 3D протяженностей EXTSS[n]=Rn+Ln, EXTSS[n+1]=R(n+1)+L(n+1), … несмотря на переходы между этими протяженностями, достаточно повторить описанные выше изменения в накопленных количествах DA1 и DA2 данных. С этой целью должны удовлетворяться следующие три условия [3], [4] и [5].
[3] Размер Sext1[n] n-той протяженности Ln основной точки обзора, по меньшей мере, равен количеству данных, переданных из первого буфера 4921 считывания в целевой декодер 4903 системы из 2n-ого периода PRL[n] считывания через период PJ0[n+1] перехода (n+1)-ого сектора. Длина 2n-того периода PRL[n] считывания равна Sext1[n]/Rud-3D, значение, получаемое путем деления размера Sext1[n] n-той протяженности Ln основной точки обзора на скорость Rud-3D считывания. Длина (2n+1)-ого периода PRR[n+1] считывания равна Sext2[n+1]/Rud-3D, значение, получаемое путем деления размера Sext2[n+1] (n+1)-ой протяженности R(n+1) правой точки обзора на скорость Rud-3D считывания. В соответствии с этим, достаточно, чтобы размер Sext1[n] n-той протяженности Ln основной точки обзора удовлетворял выражению 2.
[4] Размер Sext2[n] n-той протяженности Rn правой точки обзора, по меньшей мере, равен количеству данных, переданных из второго буфера 4922 считывания в целевой декодер 4903 системы из (2n-1)-ого периода PRR[n] считывания в течение периода PJLR[n] n-того перехода. Длина (2n-1)-ого периода PRR[n] считывания равна Sext2[n]/Rud-3D, значение, полученное путем деления размера Sext2[n] n-той протяженности Rn правой точки обзора на скорость Rud-3D считывания. В соответствии с этим, достаточно, чтобы размер Sext2[n] n-той протяженности Rn правой точки обзора удовлетворял выражению 3.
[5] В отличие от времени Tjump-2D[n] перехода, которое подставлено в выражение 1, время Tjump-3D[n] перехода, подставляемое в выражения 2 и 3, определяют только по первому параметру TJ[n]: Tjump-3D[n]=TJ[n]. Первый параметр TJ[n] равен, например, максимальному времени перехода в таблице на фиг. 54, которое соответствует количеству секторов от конца n-той протяженности Ln основной точки обзора до верхней части (n+1)-ой протяженности R(n+1) правой точки обзора, то есть, расстоянию перехода.
[Режим глубины]
На фиг. 67A и 67B показаны графики, представляющие изменение количеств DA1 и DA2 данных, сохраненных в буферах 4921 и 4922 считывания во время обработки воспроизведения блока 3D протяженности в режиме глубины. На фиг. 67C показана схема, представляющая взаимосвязь между блоком 5910 3D протяженности и путем 5920 воспроизведения. Как показано на фиг. 67C, блок 5810 3D протяженности состоит из групп блоков данных, размещенных с перемежением, аналогично блоку 5810 3D протяженности, показанному на фиг. 66C. В соответствии с путем 5920 воспроизведения, блоки Dk данных карты глубины и блоки Lk (k=0, 1, 2, …) данных основной точки обзора считывают, как одну протяженность. Как и на фиг. 58, предполагается, что (n-1) 3D протяженностей уже были считаны, и что целое число n достаточно более, чем единица. В этом случае, накопленные количества DA1 и DA2 данных в буферах 4921 и 4922 считывания уже поддерживаются на уровне или выше соответствующих величин UL1 и UL2 запаса объема буфера.
Как показано на фиг. 67C, во время (2n-1)-ого периода PRD[n] считывания, n-тую протяженность Dn карты глубины считывают с носителя 100 записи во второй буфер 4922 считывания. Во время (2n-1)-ого периода PRD[n] считывания, накопленное количество DA2 данных во втором буфере 4922 считывания увеличивается со скоростью, равной Rud-3D-Rext3[n] разности между скоростью Rud-3D считывания и скоростью Rext3[n] передачи карты глубины, как показано на фиг. 67B. И, наоборот, как показано на фиг. 67A, накопленное количество DA1 данных в первом буфере 4921 считывания уменьшается со скоростью Rext1[n-1] передачи основной точки обзора.
Когда будет считан конец n-той протяженности Dn карты глубины, происходит n-тый переход JLD[n]. Во время периода PJLD[n] n-того перехода считывание n-той протяженности Rn правой точки обзора пропускают, и, поэтому, считывание данных с носителя 100 записи приостанавливается. В соответствии с этим, во время периода PJLD[n] n-того перехода накопленное количество DA1 данных в первом буфере 4921 считывания продолжает уменьшаться со скоростью Rext1[n-1] передачи основной точки обзора, как показано на фиг. 67A. В то же время, накопленное количество DA2 данных во втором буфере 4922 считывания уменьшается со скоростью Rext3[n] передачи карты глубины, как показано на фиг. 67B.
После окончания периода PJLD[n] n-того перехода начинается 2n-тый период PRL[n] считывания. Во время 2n-того периода PRL[n] считывания n-тую протяженность Ln основной точки обзора считывают с носителя 100 записи в первый буфер 4921 считывания. В соответствии с этим, как показано на фиг. 67A, накопленное количество DA1 данных в первом буфере 4921 считывания увеличивается со скорость, равной Rud-3D-Rext1[n], разности между скоростью Rud-3D считывания и скоростью Rext1[n] передачи основной точки обзора. И, наоборот, накопленное количество DA2 данных во втором буфере 4922 считывания продолжает уменьшаться со скоростью Rext3[n] передачи карты глубины, как показано на фиг. 67B.
Когда считывают конец n-той протяженности Ln основной точки обзора, возникает n-тый переход J0[n] нулевого сектора. Во время периода PJ0[n] n-того перехода нулевого сектора считывание данных с носителя 100 записи приостанавливается. В соответствии с этим, накопленное количество DA1 данных в первом буфере 4921 считывания уменьшается со скоростью Rext1[n] передачи основной точки обзора и накопленное количество DA2 данных во втором буфере 4922 считывания продолжает уменьшаться со скоростью Rext3[n] передачи карты глубины.
Здесь принято следующее: количество данных, накопленных во втором буфере 4922 считывания во время (2n-1)-ого периода PRD[n] считывания, то есть, размер Sext3[n] n-той протяженности Dn карты глубины, по меньшей мере, равен количеству данных, переданных из второго буфера 4922 считывания в целевой декодер 4903 системы из (2n-1)-ого периода PRD[n] считывания через период PJ0n n-того перехода нулевого сектора. В этом случае, как показано на фиг. 67B, после окончания периода PJ0[n] n-того перехода нулевого сектора, накопленное количество DA2 данных во втором буфере 4922 считывания не падает ниже величины UL2 запаса объема второго буфера.
После окончания периода PJ0[n] второго перехода нулевого сектора начинается (2n-1)-ый период PRD[n+1] считывания. Во время (2n-1)-ого периода PRD[n+1] считывания, (n+1)-ую протяженность D (n+1) карты глубины считывают с носителя 100 записи во второй буфер 4922 считывания. В соответствии с этим, накопленное количество DA1 данных в первом буфере 4921 считывания продолжает уменьшаться со скоростью Rext1[n] передачи основной точки обзора, как показано на фиг. 67A. И, наоборот, как показано на фиг. 67B, накопленное количество DA2 данных во втором буфере 4922 считывания увеличивается со скоростью Rud-3D-Rext3[n+1].
Когда считывают конец (n+1)-ой протяженности D(n+1) карты глубины, происходит (n+1)-ый переход JLD[n+1]. Во время периода PJLD[n+1] (n+1)-ого перехода, считывание (n+1)-ой протяженности R(n+1) правой точки обзора пропускают и, поэтому, считывание данных с носителя 100 записи приостанавливается. В соответствии с этим, во время периода PJLD[n+1] (n+1)-ого перехода накопленное количество DA1 данных в первом буфере 4921 считывания продолжает уменьшаться со скоростью Rext1[n] передачи основной точки обзора, и накопленное количество DA2 данных во втором буфере 4922 считывания уменьшается со скоростью Rext3[n+1] передачи карты глубины.
После окончания периода PJLD[n+1] (n+1)-ого перехода, начинается (2n+2)-ой период PRL[n+1] считывания. Во время (2n+2)-ого периода PRL[n+1] считывания, (n+1)-ую протяженность L(n+1) основной точки обзора считывают с носителя 100 записи в первый буфер 4921 считывания. В соответствии с этим, как показано на фиг. 67A, накопленное количество DA1 данных в первом буфере 4921 считывания увеличивается со скоростью Rud-3D-Rext1[n+1]. И, наоборот, накопленное количество DA2 данных во втором буфере 4922 считывания продолжается уменьшаться со скоростью Rext3[n+1] передачи карты глубины, как показано на фиг. 67B.
Здесь принято следующее: количество данных, накопленных в первом буфере 4921 считывания во время 2n-того периода PRL[n] считывания, то есть, размер Sext1[n] n-той протяженности Ln основной точки обзора, по меньшей мере, равно количеству данных, переданных из первого буфера 4921 считывания в целевой декодер 4903 системы с 2n-того периода PRL[n] считывания по период PJLD[n+1] (n+1)-ого перехода. В этом случае, как показано на фиг. 67A, после окончания (n+1)-ого периода PJLD[n+1] перехода, накопленное количество DA1 данных в первом буфере 4921 считывания не падает ниже величины UL1 запаса объема первого буфера.
Для воспроизведения без стыков 3D видеоизображений из протяженности Dn D(n+1), … карты глубины и протяженностей Ln, L(n+1), … основной точки обзора, несмотря на переход между этими протяженностями, достаточно повторять описанные выше изменения в накопленных количествах DA1 и DA2 данных. С этой целью, должны удовлетворяться следующие условия [6], [7] и [8].
[6] Размер Sext1[n] n-той протяженности Ln основной точки обзора, по меньшей мере, равен количеству данных, передаваемых из первого буфера 4921 считывания в целевой декодер 4903 системы из 2n-того периода PRL[n] считывания через период PJLD[n+1] (n+1)-ого перехода. Длина 2n-того периода PRL[n] считывания равна Sext1[n]/Rud-3D, значение, получаемое путем деления размера Sext1[n] n-той протяженности Ln основноЙ точки обзора на скорость Rud-3D считывания. Длина (2n+1)-ого периода PRD[n+1] считывания равна Sext3 [n+1]/Rud-3D, значение, получаемое путем деления размера Sext3[n+1] (n+1)-ой протяженности D(n+1) карты глубины на скорость Rud-3D считывания. В соответствии с этим, достаточно, чтобы размер Sext1[n] n-той протяженности Ln основной точки обзора удовлетворял выражению 4.
[7] Размер Sext3[n] n-той протяженности Dn карты глубины, по меньшей мере, равен количеству данных, передаваемых из второго буфера 4922 считывания в целевой декодер 4903 системы из (2n-1)-ого периода PRD[n] считывания через период PJ0[n] n-того перехода через нулевой сектор. Длина (2n-1)-ого периода PRD[n] считывания равна Sext3[n]/Rud-3D, значение, получаемое путем деления размера Sext3[n] n-той протяженности Dn карты глубины на скорость Rud-3D считывания. В соответствии с этим, достаточно, чтобы размер Sext3[n] n-той протяженности Dn карты глубины удовлетворял выражению 5.
[8] Время Tjump-3D[n] перехода, которое подставляют в выражения 4 и 5, равно, например, максимальному времени перехода в таблице по фиг. 64, которое соответствует количеству секторов от конца n-той протяженности Dn карты глубины до начала n-той протяженности Ln основной точки обзора, то есть, расстоянию перехода. Следует отметить, что в компоновке групп блоков данных в таком варианте выполнения настоящего изобретения, пара протяженности Dn карты глубины и протяженности Ln основной точки обзора с одинаковыми значениями времени ATC протяженности расположены так, что между ними не находится граница уровня.
Время Tjump-0[n] перехода нулевого сектора равно указанному значению, определенному только временем, требуемым для фактического перехода нулевого сектора, независимо от того, находится ли граница LB слоя между n-той протяженностью Ln основной точки обзора и (n+1)-ой протяженностью D (n+1) карты глубины.
На основе приведенного выше, для того, чтобы обеспечить возможность воспроизведение без стыков 2D видеоизображений, 3D видеоизображений в режиме L/R и 3D видеоизображений в режиме глубины, из групп блоков данных при компоновке с перемежением достаточно, чтобы размер каждого блока данных удовлетворял всем приведенным выше выражениям 1-5. В частности размер блока данных основной точки обзора должен быть равен или более, чем наиболее значение среди значений правой стороны выражений 1, 2 и 4. Ниже нижний предел размера блока данных, который удовлетворяет всем выражениям 1-5, называется "минимальным размером протяженности".
<Величина запаса объема буфера считывания>
Нижние пределы UL1 и UL2 накопленных количеств DA1 и DA2 данных в буферах 4921 и 4922 считывания, показанных на фиг. 66A, 66B, 67A и 67B, представляет величины запаса объема буфера. "Величины запаса объема буфера" представляют собой нижний предел накопленного количества данных, который требуется поддерживать в каждом буфере 4921 считывания во время считывания одного блока 3D протяженности, то есть, последовательных групп блоков данных при компоновке с перемежением. Во время считывания потоковых данных длинный переход происходит между двумя разными блоками 3D протяженности, когда считываемый слой записи переключают, или когда обработку считывания прерывают для считывания из другого файла. Термин "другой файл" относится к другому файлу, кроме файла AV потока, и включает в себя, например, файл объекта кинофильма, файл объекта BD-J, и файл JAR. Длинный переход является более длинным, чем переходы, которые возникают в пределах блока 3D протяженности, которые выводят из выражений 2-5. Кроме того, моменты времени длинного перехода, связанного с прерыванием на считывание другого файла, являются нерегулярными и могут возникать даже во время считывания одного блока данных. В соответствии с этим, вместо установки минимального размера протяженности путем подстановки максимального времени перехода длинного перехода в выражения 2-5, более предпочтительно поддерживать величину запаса объема буфера на уровне, который позволяет предотвратить незаполнение в буферах считывания во время длинного перехода.
На фиг. 68 показана схема, представляющая длинные переходы JLY, JBDJ1 и JBDJ2, формируемые во время обработки воспроизведения в режиме L/R. Как показано на фиг. 68, первый блок 6001 3D протяженности расположен в первом слое записи, который расположен перед границей LB слоя. Между концом блока 6001 L3 первой 3D протяженности и границей LB слоя, записан блок L42D, предназначенный исключительно для 2D воспроизведения. С другой стороны, блок 6002 второй 3D протяженности записан на втором слое записи, который расположен после границы LB слоя. Кроме того, файл 6003 объекта BD-J записан в области, расположенной на расстоянии от обоих блоков 6001 и 6002 3D протяженности. Во время обработки воспроизведения от блока 6001 первой 3D протяженности до блока 6002 второй 3D протяженности, происходит длинный переход JLY при переключении слоев. В отличие от этого, считывание первого блока 6001 3D протяженности прерывается для считывания файла 6003 объекта BD-J, и, таким образом, возникает пара длинных переходов, JBDJ1 и JBDJ2. Величины UL1 и UL2 запаса объема буфера, необходимые для длинных переходов JLY и JBDJ, рассчитывают следующим образом.
Максимальное время Tjump-LY перехода для длинного перехода JLY, связанного с переключением слоев, равно сумме времени переключения слоя и максимального времени перехода, в соответствии с таблицей, показанной на фиг. 64, которая соответствует расстоянию перехода первого длинного перехода JLY. Такое расстояние перехода равно количеству секторов между концом блока L3 данных основной точки обзора, последним блоком в блоке 6001 первой 3D протяженности, и началом верхнего блока R4 данных правой точки обзора в блоке 6002 второй 3D протяженности. Также следует отметить, что скорость Rext1 передачи основной точки обзора не превышает максимальное значение Rmax1. Таким образом, количество данных, потребляемых из первого буфера считывания во время длинного перехода JLY не превышает произведение максимального значения Rmax1 скорости передачи основной точки обзора и максимального времени Tjump-LY перехода. Значение этого произведения устанавливают, как величину UL1 запаса объема первого буфера. Другими словами, величину UL1 запаса объема первого буфера рассчитывают, используя уравнение 6.
Например, когда максимальное расстояние перехода равно 40000 секторов, тогда, в соответствии с таблицей на фиг. 64, максимальное время перехода Tjump-LY равно 700 мс, которые включают в себя время переключения слоя, составляющее 350 мс. В соответствии с этим, когда скорость системы, соответствующая файлу 2D, составляет 48 Мбит/с, величина UL1 запаса объема первого буфера равна (48 Мбит/с × 192/188) × 0,7 секунды = приблизительно 4,09 Мб.
Аналогично, максимальное значение количества данных, потребляемых из второго буфера 4922 считывания во время длинного перехода JLY, то есть, произведение максимального значения Rmax2 скорости передачи правой точки обзора и максимального времени Tjump-LY перехода определяют как величину UL2 запаса объема второго буфера. Другими словами, величину UL2 запаса объема второго буфера рассчитывают используя уравнение 7.
Например, когда максимальное расстояние перехода равно 40000 секторов, что означает, что максимальное время Tjump-LY перехода равно 700 мс, и когда скорость система, соответствующая первому файлу DEP, составляет 16 Мбит/с, величина UL2 запаса объема второго буфера равняется (16 Мбит/с×192/188)×0,7 секунды = приблизительно 1,36 Мб.
Рассмотрим снова фиг. 68, когда при считывании файла 6003 объекта BD-J прерывают период считывания блока 6001 первой 3D протяженности, происходит первый длинный переход JBDJ1. Таким образом, положение - цель для считывания сдвигается из области записи второго блока L2 данных основной точки обзора в область записи файла 6003 объекта BD-J. Соответствующее время TBDJ перехода устанавливают как заданное фиксированное значение, например, 900 мс. Затем считывают файл 6003 объекта BD-J. Время, требуемое для считывания, равно восьмикратной величине размера SBDJ протяженности, принадлежащей файлу 6003, разделенной на скорость Rud-3D считывания, или 8×SBDJ[n]/Rud-3D (обычно, размер SBDJ протяженности выражают в байтах, и скорость Rud-3D считывания в битах/секунду; поэтому, необходимо умножить на восемь). Затем происходит второй длинный переход JBDJ2. Положение - цель считывания, таким образом, возвращается из области записи файла 6003 объекта BD-J обратно к области записи второго блока L2 данных основной точки обзора. Соответствующее время TBDJ перехода равно первому периоду перехода, например, 900 мс. Во время двух переходов JBDJ1 и JBDJ2 и считывания файла 6003 объекта BD-J, данные не считывают в первый буфер 4921 считывания. В соответствии с этим, максимальное значение количества данных, потребляемых из первого буфера 4921 считывания в это время, определяют как величину UL1 запаса объема первого буфера считывания. Другими словами, величину UL1 запаса объема первого буфера считывания рассчитывают через уравнение 8.
Аналогично, максимальное значение количества данных, потребляемых из второго буфера 4922 считывания во время двух длинных переходов JBDJ1 и JBDJ2 и считывание файла 6003 объекта BD-J определяют, как величину UL2 запаса объема второго буфера. Другими словами, величину UL2 запаса объема второго буфера рассчитывают через уравнение 9.
Величину UL1 запаса объема первого буфера устанавливают большей, чем значения с правой стороны уравнений 6 и 8. Величину UL2 запаса объема второго буфера устанавливают большей значений с правой стороны уравнений 7 и 9.
<Минимальная емкость буферов считывания>
Во время обработки воспроизведения последовательных блоков 3D протяженности, показанных на фиг. 66C и 67C, минимальное значение емкости, необходимое для каждого из буферов 4921 и 4922 считывания, рассчитывают следующим образом.
Когда n-тый блок Ln (n=0, 1, 2, …) данных основной точки обзора считывают в режиме 3D воспроизведения, достаточно, чтобы емкость RB1[n], необходимая для первого буфера 4921 считывания, была равна или более, чем наибольшее значение пиков на графиках, показанных на фиг. 66A и 67A. Если размер Sext1 блока данных основной точки обзора, который предназначен для считывания будет фиксированным, тогда пиковое значение достигает своего максимума, когда скорость Rext1 передачи основной точки обзора равна ее максимальному значению Rmax1. В соответствии с этим, емкость RB1[n] должна удовлетворять выражению 10, как в режиме L/R, так и в режиме глубины.
Когда n-тый блок Rn данных правой точки обзора считывают в режиме L/R, достаточно, чтобы емкость RB2LR[n], необходимая для второго буфера 4922 считывания, была равна или больше, чем наибольшее значение пиков на графике, показанном на фиг. 66B. Если размер Sext2 блока данных правой точки обзора, предназначенный для считывания, будет фиксированным, тогда пиковое значение достигает своего максимума, когда скорость передачи Rext2 правой точки обзора равна ее максимальному значению Rmax2. В соответствии с этим, емкость RB2LR[n] должна удовлетворять выражению 11.
В данном варианте выполнения любой из блоков данных правой точки обзора может быть считан первым при воспроизведении с прерыванием. В таком случае целевой декодер 4903 системы не считывает данные из второго буфера 4922 считывания до тех пор, пока весь блок данных правой точки обзора, который был считан вначале, не будет сохранен во втором буфере 4922 считывания. В соответствии с этим, в отличие от емкости RB1[n] первого буфера 4921 считывания, емкость RB2LR[n] второго буфера 4922 считывания должна дополнительно удовлетворять условию, при котором она "по меньшей мере, больше, чем размер Sext2[n] n-того блока Rn данных правой точки обзора".
Аналогично, при считывании n-того блока Dn данных карты глубины, емкость RB2LD[n] второго буфера 4922 считывания должна удовлетворять выражению 12.
<Преимущества разделения путей воспроизведения перед и после границы слоя>
На носителе 100 записи, в соответствии с этими вариантами выполнения настоящего изобретения, группы блока данных перед и после границы слоя записаны в виде одной из компоновок 1-6, показанных на фиг. 20, 24, 26, 28, 30 и 32. В результате, перед и после переключения слоев, указанный участок видеопотока основной точки обзора воспроизводят из блока Ln2D, предназначенного исключительно для 2D воспроизведения, в режиме 2D воспроизведения, и из блока LnSS, предназначенного исключительно для 3D воспроизведения в режиме 3D воспроизведения. В этом случае, в отличие от компоновки, показанной на фиг. 22, размер Sext2D 2D протяженности, в которой содержится указанный участок, равен сумме размера Sext1 протяженности основной точки обзора и размера блока Ln2D, предназначенному исключительно для 2D воспроизведения. Хотя выражение 1 удовлетворяется этой суммой Sext2D, выражения 2-5 удовлетворяются другим размером блоков данных, чем блок Ln2D, предназначенный исключительно для 2D воспроизведения. В соответствии с этим, нижний предел размеров Sext2 и Sext3 протяженностей зависимой точки обзора, которые удовлетворяют выражениям 2-5, то есть, минимальным размерам протяженности, может быть эффективно дополнительно уменьшен, независимо от регулировки размера блока Ln2D, предназначенного исключительно для 2D воспроизведения, для того, чтобы размер Sext2D всей 2D протяженности удовлетворял выражению 1. Поэтому, как можно видеть из выражений 11 и 12, минимальные емкости RB2LR и RB2LD второго буфера 4922 считывания могут быть эффективно дополнительно уменьшены, независимо от выражения 1.
<Время ATC протяженности в блоке 3D протяженности>
В блоке 3D протяженности, то есть, в группе блоков данных при компоновке с перемежением, все последовательные блоки Dn, Rn, Ln (n=0, 1, 2, …) данных имеют одинаковое время ATC протяженности. Другими словами, различие в ATS от пакета источника в верхней части каждого блока данных до пакета источника в верхней части следующего блока данных является одинаковым. Однако, при расчете этой разности, необходимо учитывать возникновение технического возврата в ATS. В этом случае, в пределах того же времени, измеряемого ATC, первый блок 5011 восстановления данных из пакетов источника получает пакеты TS из всех пакетов источника в блоке Ln данных основной точки обзора и передает пакеты TS в первый фильтр 5013 PID, и второй блок 5012 восстановления данных из пакетов источника получает пакеты TS из всех пакетов источника в блоке Dn или Rn данных зависимой точки обзора и передает пакеты TS во второй фильтр 5014 PID. В соответствии с этим, в частности, во время воспроизведения с прерыванием, первичный видеодекодер 5015 может легко синхронизировать декодирование пакетов TS между видеопотоком основной точки обзора и видеопотоком зависимой точки обзора.
<Условные выражения размера протяженности, относящиеся к времени ATC протяженности>
В выражениях 2-5, размер протяженностей основной точки обзора и протяженностей зависимой точки обзора ограничен размером расположенных далее протяженностей. Однако, учитывая перспективы использования протяженностей в процессе авторских разработок, предпочтительно, чтобы условия в отношении размера каждой протяженности были выражены в форме, которая не зависит от размера других протяженностей. В соответствии с этим, выражения 2-5 повторно определены условными выражениями, которые относятся к времени ATC протяженности.
Как описано выше, все три непрерывных протяженности Dn, Rn, Ln (n=0, 1, 2, …) имеют одинаковое время Text[n] ATC протяженности. Минимальное значение этого времени ATC протяженности установлено, как минимальное время minText ATC протяженности, и максимальное значение, как максимальное время maxText ATC протяженности: minText≤Text[n]≤maxText. В этом случае, размеры Sext1[n], Sext2[n] и Sext3[n] n-тых протяженностей EXT1[n], EXT2[n] и EXT3[n] ограничены диапазонами в выражениях 13, 14 и 15.
Затем разность между максимальным временем maxText ATC протяженности и минимальным временем minText ATC протяженности устанавливают как фиксированное значение Tm: maxText=minText+Tm. В этом случае, минимальное время minText ATC протяженности рассчитывают следующим образом, ссылаясь на минимальный размер протяженности, то есть, с правой стороны выражений 2-5.
Когда размер n-той протяженности основной точки обзора равен минимальному размеру протяженности, тогда из выражений 2 и 13, минимальное время minText ATC протяженности удовлетворяет выражению 16.
При этом разрешено, чтобы размер Sext2 [n+1] (n+1)-ой протяженности правой точки обзора составлял произведение максимального значения Rmax2 скорости Rext2 передачи правой точки обзора и максимального времени maxText: Sext2 [n+1]≤Rmax2×maxText=Rmax2×(minText+Tm) ATC протяженности. Кроме того, скорость Rext1[n] передачи основной точки обзора не превышает максимальное значение Rmax1: Rext1[n]≤Rmax1. Поскольку минимальное время minText ATC протяженности должно составлять верхний предел правой стороны выражения 16, должно удовлетворяться выражение 17.
Если выражение 4 аналогично модифицировать вместо выражения 2, минимальное время minText ATC протяженности должно дополнительно удовлетворять выражению 18.
С другой стороны, когда размер n-той протяженности основной точки обзора равен минимальному размеру протяженности, соответствующее время ATC протяженности равно минимальному времени minText ATC протяженности. Поскольку n-тая протяженность правой точки обзора совместно использует одно и то же время ATC протяженности, что и протяженность основной точки обзора, тогда из выражений 3 и 14, минимальное время minText ATC протяженности удовлетворяет выражению 19.
Скорость Rext2[n] передачи правой точки обзора не превышает максимальное значение Rmax2, и скорость Rext1[n] передачи основной точки обзора не превышает максимальное значение Rmax1: Rext2[n]≤Rmax2, и Rext1[n]≤Rmax1. Поскольку минимальное время minText ATC протяженности должно составлять верхний предел правой стороны выражения 19, должно удовлетворяться выражение 20.
Если выражение 5 используется вместо выражения 3, тогда, аналогично, минимальное время minText ATC протяженности должно удовлетворять выражению 21.
В результате, минимальное время minText ATC протяженности установлено как максимальное значение среди правой стороны выражений 17, 18, 20 и 21. В этом случае, время Tjump-0, перехода нулевого сектора, время Tjump-3D перехода, и диапазон Tm флуктуаций времени ATC протяженности могут быть ограничены до заданных, фиксированных значений. В частности, при модификации (F), описанной ниже, время Tjump-3D перехода можно оценить со ссылкой на максимальное расстояние MAX_EXTJUMP3D перехода. Таким образом, минимальное время minText ATC протяженности может быть, по существу, определено только по константам, таким, как максимальное значение Rmax среднего времени передачи. В соответствии с этим, условия по размеру протяженности, показанные в выражениях 13-15, используют во время процесса авторской разработки.
<Гарантирование величины запаса объема буфера>
Величины UL1 и UL2 запаса объема буфера гарантируют следующим образом. Во-первых, условие, что "время Text ATC протяженности равно или более, чем минимальное время minText ATC протяженности", установлено при разработке каждого блока данных. В этом случае, как показано в выражениях 17, 18, 20 и 21, минимальное время minText ATC протяженности представляет собой значение, рассчитываемое, когда средние скорости Rext1, Rext2 и Rext3 передачи равны их соответствующим максимальным значениям Rmax1, Rmax2 и Rmax3. Фактические средние скорости Rext1, Rext2 и Rext3 передачи, однако, обычно ниже, чем их соответствующие максимальные значения Rmax1, Rmax2 и Rmax3. В соответствии с этим, фактические размеры блоков Rext1×Text, Rext2×Text и Rext3×Text данных обычно меньше, чем значения, предполагаемые в описанных выше условиях, то есть, Rmax1×Text, Rmax2×Text и Rmax3×Text. Поэтому, после начала считывания каждого блока данных, считывание следующего блока данных начинается перед тем, как пройдет время Text ATC протяженности. Другими словами, накопленные величины DA1 и DA2 данных в буферах 4921 и 4922 считывания обычно начинают увеличиваться снова перед возвратом к их значению в начале считывания, в отличие от случая, показанного на фиг. 66A, 66B, 67A и 67B. Накопленные величины DA1 и DA2 данных, поэтому, увеличиваются на заданную величину каждый раз, когда считывают пару блоков данных основной точки обзора и зависимой точки обзора. В результате, путем последовательного считывания определенного количества блоков данных в буферах 4921 и 4922 считывания, величины UL1 и UL2 запаса объема буфера гарантируют.
На фиг. 69A показан график, представляющий взаимосвязь между блоком 6110 3D протяженности и путем 6120 воспроизведения в режиме L/R. Как показано на фиг. 69A, блок 6110 3D протяженности состоит из групп Lk блока данных основной точки обзора и групп Dk и Rk (k=0, 1, 2, …) блока данных зависимой точки обзора при компоновке с перемежением. В соответствии с путем 6120 воспроизведения, каждую пару соседних блоков Rk данных правой точки обзора и блоков Lk данных основной точки обзора считывают, как одну 3D протяженность, то есть как пару из протяженности зависимой точки обзора и протяженности основной точки обзора. Размер Sext1[k] протяженности для протяженности Lk основной точки обзора равен произведению скорости Rext1[k] передачи основной точки обзора и времени Text[k] [k]:Sext1[k]=Rext1[k]×Text[k] ATC протяженности. Такой размер Sext1 [k] протяженности обычно меньше, чем произведение максимального значения Rmax1 скорости передачи основной точки обзора и времени Text[k]:Sext1[k]<Rmax1×Text[k] ATC протяженности. То же справедливо для размеров Sext3[k] и Sext2[k] протяженности для протяженностей Dk и Rk зависимой точки обзора.
На фиг. 69B показан график, представляющий изменение количества DA1 данных в первом буфере 4921 считывания, когда блок 6110 3D протяженности считывают в соответствии с путем 6120 воспроизведения в режиме L/R. Тонкая линия обозначает изменения, когда средние скорости Rext1[k], Rext2[k] и Rext3[k] передачи равны максимальным значениям Rmax1, Rmax2 и Rmax3. С другой стороны, толстая линия обозначает изменения, когда скорость Rext1[0] передачи верхней протяженности L0 основной точки обзора ниже, чем максимальное значение Rmax1. Следует отметить, что для удобства пояснения, предполагается, что скорости Rext2 [k] и Rext3 [k] передачи зависимой точки обзора равны их соответствующим максимальным значениям Rmax2 и Rmax3. В этом случае, размеры Rext2[k]×Text[k] и Rext3[k]×Text[k] протяженностей зависимой точки обзора равны максимальным возможным допустимым значениям, Rmax2[k]×Text[k] и Rmax3[k]×Text[k].
Как показано на фиг. 69B тонкой линией, после того, как время Text[0] ATC протяженности пройдет от начала считывания верхней протяженности L0 основной точки обзора, начинается считывание следующей протяженности L1 основной точки обзора. В соответствии с этим, накопленное количество DA1 данных в этот момент, по существу, равно значению DM10 в начале считывания. И, наоборот, как показано толстой линией, время Sext1[0]/Rud-3D необходимо для считывания всей верхней протяженности L0 основной точки обзора с носителя 100 записи в первый буфер 4921 считывания. Это время короче, чем время Rmax1[k]×Text[0]/Rud-3D на тонкой линии на время ΔTb:ΔTb=Sext1[0]/Rud-3D-Rmax1×Text[0]/Rud-3D=(Rext1[0]-Rmax1)×Text[0]/Rud-3D. В соответствии с этим, накопленное количество DA1 данных достигает своего пикового значения на толстой линии раньше, чем на тонкой линии на время ΔTb. С другой стороны, размеры Sext2[1] и Sext3[1] протяженностей D1 и R1 зависимой точки обзора являются одинаковыми для обеих линий: Rmax2×Text[1] и Rmax3×Text[1]. В соответствии с этим, время ΔT от пика накопленного количества DA1 данных до начала считывания следующей протяженности L1 основной точки обзора является одинаковым для обеих линий. В результате, в отличие от тонкой линии, считывание следующей протяженности L1 основной точки обзора начинается с толстой линии в момент времени, который на ΔTb раньше момента, когда время Text ATC протяженности проходит от начала считывания верхней протяженности L0 основной точки обзора. В результате, значение DM11 накопленной величины DA1 данных в этот момент увеличивается выше значения DM10 в начале считывания верхней протяженности L0 основной точки обзора на величину последовательного приращения DM1[0]. Как можно видеть из фиг. 61B, такое увеличение DM1[0] равно произведению фактической скорости уменьшения Rext1[0] накопленного количества DA1 данных и времени ΔTb:DM1[0]=Rext1[0]×ΔTb=Rext1[0]×(Rext1[0]-Rmax1)×Text[0]/Rud-3D.
На фиг. 69C показан график, представляющий изменение количества DA2 данных во втором буфере 4922 считывания, в то время как количество DA1 данных в первом буфере 4921 считывания изменяется, как показано на фиг. 69B. Тонкая линия обозначает изменения, когда средние скорости Rext1[k], Rext2[k] и Rext3[k] передачи равны максимальным значениям Rmax1, Rmax2 и Rmax3. С другой стороны, толстая линия обозначает изменения, когда скорость Rext1[0] передачи верхней протяженности L0 основной точки обзора ниже, чем максимальное значение Rmax1. Следует отметить, что для удобства пояснения, предполагается, что скорости Rext2[k] и Rext3[k] передачи зависимой точки обзора равны их соответствующим максимальным значениям Rmax2 и Rmax3.
Как показано на фиг. 69C, для тонкой линии, после того, как время Text[0] ATC протяженности пройдет от начала считывания верхней протяженности R0 правой точки обзора, начинается считывание следующей протяженности R1 правой точки обзора. В соответствии с этим, накопленное количество DA2 данных в этот момент времени, по существу, равно значению DM20 в начале считывания. И, наоборот, для толстой линии, всю верхнюю протяженность L0 основной точки обзора считывают с носителя 100 записи в первый буфер 4921 считывания раньше, чем на тонкой линии на время ΔTb. В соответствии с этим, считывание следующей протяженности R1 правой точки обзора начинается на толстой линии раньше, чем на тонкой линии на время ΔTb, то есть, на время ΔTb раньше, чем время Text ATC протяженности пройдет от начала считывания верхней протяженности R0 правой точки обзора. В результате, значение DM21 накопленного количества DA2 данных в этот момент увеличивается более значения DM20 в начале считывания верхней протяженности R0 правой точки обзора на величину приращения DM2[0]. Как можно видеть на фиг. 69C, это увеличение DM2[0] равно произведению фактической скорости уменьшения Rext2[0] накопленного количества DA2 данных и времени ΔTb:DM2[0]=Rext2[0]×ΔTb=Rext2[0]×(Rext1[0]-Rmax1)×Text[0]/Rud-3D.
На фиг. 69 предполагается, что скорости Rext2[k] и Rext3[k] передачи зависимой точки обзора равны их соответствующим максимальным значениям Rmax2 и Rmax3. Фактические скорости Rext2[k] и Rext3[k] передачи зависимой точки обзора, однако, обычно ниже, чем их соответствующие максимальные значения Rmax2 и Rmax3. В этом случае, как показано на фиг. 69B, накопленное количество DA2 данных на фиг. 69C достигает своего пика раньше на время ΔTd:ΔTd=Sext2[0]/Rud-3D-Rmax2×Text[0]/Rud-3D=(Rext2[0]-Rmax2)×Text[0]/Rud-3D. На графике, показанном на фиг. 69B, время ΔT от пика накопленного количества DA1 данных до начала считывания следующей протяженности L1 основной точки обзора сокращено на ту же величину времени ΔTd. Учитывая эти изменения, каждый раз, когда обрабатывают пару из протяженности Lk основной точки обзора и протяженности Rk правой точки обзора, накопленное количество DA1 и DA2 данных в буферах считывания увеличивается на величину приращения DM1[k] и DM2[k], как показано в выражениях 22 и 23.
=Rext1[k]×{(Rext1[k]-Rmax1)+(Rext2[k]-Rmax2)}×Text[k]/Rud-3D
=Rext2[k]×{(Rext1[k]-Rmax1)+(Rext2[k]-Rmax2)}×Text[k]/Rud-3D
В режиме L/R каждый раз, когда протяженность Lk основной точки обзора и протяженность Rk правой точки обзора считывают из 3D протяженности EXTSS[k] в буферы 4921 и 4922 считывания, накопленные величины DA1 и DA2 данных увеличивают на величину последовательных приращений DM1[k] и DM2[k]. Аналогично, в режиме глубины, каждый раз, когда протяженность Lk основной точки обзора и протяженность Dk карты глубины считывают в буферы 4921 и 4922 считывания, накопленное количество DA1 и DA2 данных увеличивают на величины DM3[k] и DM4[k] последовательных приращений. Эти величины DM3[k] и DM4[k] последовательных приращений показаны в выражениях 24 и 25.
Rext1[k]×{(Rext1[k]-Rmax1)+(Rext3[k]-Rmax3)}×Text[k]/Rud-3D
Rext3[k]×{(Rext1[k]-Rmax1)+(Rext3[k]-Rmax3)}×Text[k]/Rud-3D
В соответствии с этим, когда общая сумма Tsum=Text[0]+Text[1]+Text[2]+… значений времени ATC протяженности для всего блока 6110 3D протяженности удовлетворяет выражению 26, величины UL1 и UL2 запаса объема буфера в буферах 4921 и 4922 считывания могут быть гарантированы в результате считывания всего блока 6110 3D протяженности.
Здесь используется следующая аппроксимация: во всем блоке 6110 3D протяженности, скорость Rext1[k] передачи основной точки обзора равна среднему значению Rext1-av, и скорости Rext2[k] и Rext3[k] передачи зависимой точки обзора, соответственно, равны средним значениям Rext2-av и Rext3-av.
Следует отметить, что во время считывания последовательных блоков 3D протяженности, накопленное количество DA1 и DA2 данных в буферах считывания продолжает увеличиваться при условии, что не возникает длинный переход. В соответствии с этим, когда накопленное количество DA1 и DA2 данных превышают заданное пороговое значение, устройство 200 воспроизведения обеспечивает прекращение операции считывания и передачи приводом 4901 BD-ROM. Скорость Rud-3D считывания, таким образом, понижается, что ограничивает увеличение количеств DA1 и DA2 накопленных данных. Переполнение в буферах 4921 и 4922 считывания, таким образом, может быть исключено.
(Способ 1 накопления величин запаса объема буфера)
Далее поясняется, как происходит накопление величин запаса объема буфера, обеспечиваемых в буферах считывания для перехода при переключении слоя во время AV воспроизведения.
При пояснении компоновки для бесстыкового соединения между блоками 3D протяженности, выше пояснялось, что проигрыватель продолжает воспроизведение 3D изображений, потребляя величину UL1 запаса объема буфера, накопленную в первом буфере 4921 считывания перед переходом и величину UL2 запаса объема буфера, накопленную во втором буфере 4922 считывания перед переходом.
Кроме того, выше пояснялось, что величина UL1 запаса объема буфера первого буфера 4921 считывания и величина UL2 запаса объема буфера второго буфера 4922 считывания обеспечиваются путем компоновки в буфере 3D изображений в начале воспроизведения. Однако, в случае бесстыкового соединения между тремя или более блоками 3D протяженностей, как показано на фиг. 70, величины UL1 и UL2 запаса объема буфера используются при первом переходе между блоками 3D протяженности, и остальное количество будет не достаточным при втором переходе между блоками 3D протяженности. В результате возникает незагруженность буфера, что делает невозможным воспроизведение без стыков.
Таким образом, когда блок 3D протяженности соединен без стыков с другим блоком 3D протяженности и соединен без стыков с еще одним блоком 3D протяженности, необходимо накапливать величины UL1 и UL2 запаса объема буфера в буферах (1) 3702 и (2) 3711 считывания перед переходом между блоками 3D протяженности во время воспроизведения 3D изображений. Здесь блок 3D протяженности, который соединен без стыков с другим блоком 3D протяженности, и соединен без стыков с еще одним другим блоком 3D протяженности, обозначают как блок 6902 3D протяженности без стыков.
Учитывая описанное выше, следующие ограничения могут быть установлены для "средней скорости передачи битов" и "общего времени ATC протяженности блоков 3D протяженности" на участке блока 6902 3D протяженности без стыков. В результате, становится возможным защитить величины UL1 и UL2 запаса объема буфера при воспроизведении блока 6902 3D протяженности без стыков.
Общее время ATC протяженности блока 3D протяженности без стыков >=
UL1×Rud3D/(REXT1×{(RMAX1+RMAX3)-(REXT1+REXT3)}),
UL2×Rud3D/(REXT2×{(RMAX1+RMAX2)-(REXT1+REXT2)}),
UL2×Rud3D/(REXT3×{(RMAX1+RMAX3)-(REXT1+REXT3)})
UL1 и UL2 представляют собой величины запаса объема буфера (единицы: биты) буферов считывания, рассчитанных на основе времени перехода в блок 3D протяженности, который предшествует блоку 3D протяженности без стыков. MAX() представляет собой функцию, которая возвращает большое значение. REXT1 представляет собой среднюю скорость битов AV потока 2D/левого глаза на участке блока 3D протяженности. REXT2 представляет собой среднюю скорость в битах потока DEP файла на участке 3D протяженности. REXT3 представляет собой среднюю скорость в битах AV потока depthmap на участке блока 3D протяженности.
Далее поясняются основные принципы для представленного выше выражения, со ссылкой на фиг. 71. Хотя здесь поясняется случай воспроизведения 3D изображений в режиме L/R, выражение для режима глубины может быть получено аналогичным образом.
На фиг. 71 показана передача количеств данных для данных, накопленных в первом буфере 4921 считывания и во втором буфере 4922 считывания. На этих чертежах показаны состояния непосредственно после перехода в блок 3D протяженности без стыков. Предполагается, что воспроизведение начинается после полного употребления величин UL1 и UL2 запаса объема буфера. Также предполагается, что протяженности расположены с перемежением в соответствии с определениями минимального размера протяженности и максимального размера протяженности, приведенными выше.
Минимальный размер протяженности и максимальный размер протяженности рассчитывают на основе предположения, что средняя скорость передачи битов протяженностей составляет RMAX1 или RMAX2. Каждая нормальная линия на фиг. 71 представляет переход количества накопленных данных, когда средняя скорость передачи битов протяженностей составляет RMAX1 или RMAX2. С другой стороны, каждой полужирной линией на фиг. 70 показан переход количества накопленных данных, когда средняя скорость передачи битов протяженностей (REXT1[n]) AV потока 2D/левого глаза составляет REXT1, что меньше, чем RMAX1.
Когда скорость битов протяженностей AV потока 2D/левого глаза меньше, чем RMAX1, считывание протяженностей заканчивается раньше, чем тогда, когда скорость битов равна RMAX1. Это переносит переход величины накопленных данных к перенесенному времени, обозначенному стрелкой 7001. В результате, размер, обозначенный стрелкой 7002 (перенесенное время × REXT1), накапливают как величину запаса объема буфера. Перенесенное время может быть представлено как TEXT×(RMAX1-REXT1)/RUD3D, где TEXT представляет собой время воспроизведения протяженностей. Кроме того, переход величины данных, накопленных во втором буфере 4922 считывания, также переносят. В результате, размер, обозначенный стрелкой 7003 (перенесенное время × REXT2), накапливается как величина запаса объема буфера.
Аналогично, когда скорость битов протяженностей потока DEP файла REXT2 меньше, чем RMAX2, переносят переход величины накопленных данных. В результате, величины запаса объема буфера накапливаются в первом буфере 4921 считывания и втором буфере 4922 считывания.
Когда время воспроизведения протяженностей AV потока 2D/левого глаза и протяженности соответствующего потока DEP файла представляет собой TEXT, и их соответствующие средние скорости битов составляют REXT1 и REXT2, величина запаса объема буфера, накопленная в первом буфере 4921 считывания и величина запаса объема буфера, накопленная во втором буфере 4922 считывания, накопленные в результате считывания протяженностей, могут быть выражены следующим образом.
Таким образом, Выражение (27) может быть получено из Выражений (28) и (29) путем установки времени для накопления UL1 и UL2, требуемых для перехода при соединении без стыков.
(Способ 2 накопления величин запаса объема буфера)
Ниже поясняется другой способ накопления величин запаса объема буфера, гарантируемых в буферах считывания для слоя для перехода при переключении слоя во время AV воспроизведения.
Размер каждой протяженности, включенной в блок 6902 3D протяженности без стыков, установлен равным или более, чем минимальный размер протяженности, рассчитанной по Выражениям (1)-(5). Здесь эти выражения модифицированы путем добавления запаса объема для накопления величины запаса объема буфера. Модифицированные выражения представляют собой следующие.
Tmergin представляет собой время запаса объема (единицы: секунды) для накопления величины запаса объема буфера.
Ниже поясняется переход количества данных для данных, накопленных в буфере считывания при воспроизведении 3D изображений в режиме L/R при использовании фиг. 72.
Благодаря включению протяженностей, каждая из которых имеет минимальный размер протяженности, рассчитанной, как описано выше, в блок 6902 3D протяженностей без стыков, считывают дополнительное Tmergin×REXT1[n] количество данных, накопленное в первом буфере 4921 считывания, как одну протяженность AV потока 2D/левого глаза, как показано при переходе количества данных на фиг. 72. Кроме того, дополнительное количество Tmergin×REXT2[n] данных накапливают во втором буфере 4922 считывания, по мере считывания одной протяженности файла DEP потока.
Кроме того, вход данных протяженности AV потока 2D /левого глаза в первый буфер 4921 считывания переносят на Tmergin по мере считывания одной протяженности потока DEP файла. Поэтому дополнительное количество Tmergin×REXT1[n] данных накапливают в первом буфере 4921 считывания каждый раз, когда считывают одну протяженность потока DEP файла. Аналогично, вход данных протяженности правого AV потока во второй буфер 4922 считывания переносят на Tmergin, по мере считывания одной протяженности AV потока 2D/левого глаза. Поэтому, дополнительные величины Tmergin×REXT1[n] данных накапливают во втором буфере 4922 считывания каждый раз, когда считывают одну протяженность AV потока 2D/левого глаза.
Учитыая приведенное выше, следующие ограничения могут быть установлены для "общего количества времени ATC протяженности блоков 3D протяженности" на участке блока 6902 3D протяженности без стыков. В результате, становится возможным обеспечить величины UL1 и UL2 запаса объема буфера при воспроизведении участка блока 6902 3D протяженности без стыков.
Общее количество времени ATC протяженности блока 3D протяженности без стыков
UL1 и UL2 представляют собой величины запаса объема буфера (единицы: биты) буферов считывания, рассчитанных на основе времени перехода блока 3D протяженности, который следует после блока 3D протяженности без стыков. MAX() представляет собой функцию, которая возвращает большое значение. REXT1 представляет собой среднюю скорость передачи битов AV потока 2D/левого глаза на участке блока 3D протяженности. REXT2 представляет собой среднюю скорость передачи битов потока DEP файла на участке блока 3D протяженности. REXT3 представляет собой среднюю скорость передачи битов AV потока depthmap на участке блока 3D протяженности. TEXT представляет собой среднюю протяженность времени ATC одной протяженности.
Следует отметить, что указанное выше ограничение и ограничение, установленное для "средней скорости передачи битов" и "общего времени ATC протяженность блоков 3D протяженности" могут быть определены вместе. То есть, "общее время ATC протяженности блока 3D протяженности без стыков" может быть определено следующим образом.
Общее время ATC протяженности блока 3D протяженности без стыков
<Величины запаса объема буфера, требуемые для 3D воспроизведения данных при компоновке 1>
Ниже описаны величины запаса объема буфера, требуемые для воспроизведения 3D изображения, используя данные в соответствии с компоновкой 1, показанной на фиг. 20.
Вначале поясняется запас объема буфера, требуемый для воспроизведения 3D изображения в режиме L/R.
На фиг. 73A показан длинный переход, который происходит, в то время как данные в соответствии с компоновкой 1 воспроизводят в режиме L/R. На фиг. 73B и 73C, соответственно, показан переход количества данных, накопленных в первом буфере 4921 считывания, и переход количества данных, накопленных во втором буфере 4922 считывания, когда данные в соответствии с компоновкой 1, воспроизводят в режиме L/R.
Здесь, размер каждого из трех блоков D3, R3 и L3SS данных, которые расположены в конце блока 2002 3D протяженности перед переходом, и значения времени ATC протяженности которых соответствуют друг другу, предполагаются равными 0, с учетом самого худшего значения требуемой величины запаса объема буфера.
Вначале поясняют величину UL1 запаса объема буфера, накопленную в первом буфере 4921 считывания. Незаполнение первого буфера 4921 считывания будет исключено при соединении без стыков, когда данные воспроизводят по пути, показанному на фиг. 73A, если только незаполнение не будет вызвано перед точкой B, которая расположена непосредственно перед верхним блоком L4 данных левой точки обзора при считывании последующего элемента воспроизведения. То есть, размер буфера считывания в точке B должен только удовлетворять условию ≥0. По этой причине требуется, чтобы величина (UL1) запаса объема буфера была накоплена до точки А (непосредственно перед блоком L1 данных левой точки обзора в конце считывания блока 2001 3D протяженности) на фиг. 73.
Уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B может быть рассчитано в соответствии со следующим выражением.
Уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B=(TjumpEX+3×Tjump0+Tjump+TLAYER + 2×SEXT2/RUD3D)×RMAX1=2×(Tjump0+Tjump+SEXT2/RUD3D)×RMAX1+(Tjump0+TjumpEX+TLAYER-Tjump)×RMAX1 (36)
SEXT2 представляет собой размер блока данных правой точки обзора, который присутствует между точками A и B. Увеличенное количество данных в первом буфере 4921 считывания от точки А до точки B может быть рассчитано в соответствии со следующим выражением.
Увеличенное количество данных в первом буфере 4921 считывания от точки А до точки B=2×SEXT1/RUD3D×(RUD3D-RMAX1) (37)
SEXT1 представляет собой размер блока данных левой точки обзора, который присутствует между точками A и B. В соответствии с этим, требуемую величину запаса объема буфера в точке A рассчитывают следующим образом в соответствии с Выражениями (36) и (37).
UL1 = уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B - увеличенное количество данных в первом буфере 4921 считывания от точки А до точки B=2×(Tjump0+Tjump+SEXT2/RUD3D)×RMAX1+(Tjump0+TjumpEX+TLAYER-Tjump×RMAX1-2×SEXT1/RUD3D×(RUD3D-RMAX1) (38).
Здесь минимальный размер протяженности определяют таким образом, что каждое (Tjump0+Tjump+SEXT2/RUD3D)×RMAX1 и SEXT1/RUD3D×(RUD3D-RMAX1) равно 0 или более. То есть, до тех пор, пока размер протяженности равен или более, чем минимальный размер протяженности, удовлетворяющей Выражению (2), эти значения всегда равны или более 0.
Когда значение становится равным 0, если рассматривать наихудшие значения, величина UL1 запаса объема буфера, требуемая для воспроизведения в режиме L/R, равна следующему Выражению (39), которое получают из Выражения (38).
Далее поясняется величина запаса объема буфера, накопленная во втором буфере 4922 считывания. Незаполнение второго буфера 4922 считывания будет предотвращено в соединении без стыков, если только эта незаполнение не возникло перед точкой D, которая расположена непосредственно перед тем, как будет считан блок R4 данных правой точки обзора, расположенный вначале последующего элемента воспроизведения. То есть, размер буфера считывания в точке D должен только удовлетворять ≥0. С этой целью, величина (UL2) запаса объема буфера должна быть накоплена к точке C (непосредственно перед тем, как будет считан блок R1 данных правой точки обзора, расположенной в конце блока 2001 считывания 3D протяженности) на фиг. 73.
Уменьшенное количество данных во втором буфере 4922 считывания от точки C до точки D можно рассчитать в соответствии со следующим выражением.
Уменьшенное количество данных во втором буфере 4922 считывания от точки C до точки D=(TjumpEX+3×Tjump0+Tjump+TLAYER+2 ×SEXT1/RUD3D)×RMAX2=2×(Tjump0+Tjump+SEXT1/RUD3D)×RMAX2+(Tjump0+TjumpEX+TLAYER-Tjump)×RMAX2 (40).
SEXT1 представляет размер блока данных левой точки обзора, которая находится между точками C и D. Увеличенное количество данных во втором буфере 4922 считывания от точки C до точки D можно рассчитать в соответствии со следующим выражением.
Увеличенное количество данных во втором буфере 4922 считывания от точки C до точки D=2×SEXT2/RUD3D×(RUD3D-RMAX2) (41)
SEXT2 представляет собой размер блока данных левой точки обзора, который присутствует между точками C и D. В соответствии с этим, требуемую величину запаса объема буфера в точке C рассчитывают следующим образом, в соответствии с Выражениями (40) и (41).
UL2 = уменьшенное количество данных во втором буфере 4922 считывания от точки C до точки D - увеличенное количество данных во втором буфере 4922 считывания от точки C до точки D=2×(Tjump0+Tjump+SEXT1/RUD3D)×RMAX2+(Tjump0+TjumpEX+TLAYER-Tjump)×RMAX2-2×SEXT2/RUD3D×(RUD3D-RMAX2) (42).
Здесь минимальный размер протяженности определяют таким образом, что (Tjump0+Tjump+SEXT1/RUD3D)×RMAX2, и SEXT2/RUD3D×(RUD3D-RMAX2) каждое равно 0 или более. То есть, если только размер протяженности равен или более, чем минимальный размер протяженности, удовлетворяющий Выражению (3), эти значения всегда становятся равными или более 0.
Когда значение становится равным 0, если рассматривать наихудшие значения, величина UL2 запаса объема буфера, требуемая для воспроизведения в режиме L/R, представляет следующее Выражение (43), которое выведено из Выражения (42).
Выше были описаны величины запаса объема буфера, требуемые для воспроизведения данных в соответствии с компоновкой 1 в режиме L/R.
Далее поясняется величина запаса объема буфера, требуемая для воспроизведения данных в соответствии с компоновкой 1 в режиме глубины.
На фиг. 74A показан длинный переход, который происходит, в то время как данные, в соответствии с компоновкой 1, воспроизводят в режиме глубины. На фиг. 73B и 73C, соответственно, показан переход количеств данных, накопленных в первом буфере 4921 считывания, и переход количеств данных, накопленных во втором буфере 4922 считывания, когда данные в соответствии с компоновкой 1 воспроизводят в режиме глубины.
Здесь размер каждого из трех блоков D3, R3 и L3SS данных, которые расположены в конце блока 2002 3D протяженности перед переходом и значения времени ATC протяженности которых соответствуют друг другу, принимают равными 0, учитывая наихудшие значения требуемой величины запаса объема буфера.
Вначале поясняется величина UL1 запаса объема буфера, накопленного в первом буфере 4921 считывания. Незаполнение первого буфера 4921 считывания предотвращается при соединении без стыков, когда данные воспроизводят по пути, показанному на фиг. 74A, если только незаполнение не было вызвано перед точкой B, которая расположена непосредственно перед тем, как будет считана начальная часть блока L4 данных левой точки обзора в последующем элементе воспроизведения. То есть, размер буфера считывания в точке B должен только удовлетворять условию ≥0. По этой причине величина (UL1) запаса объема буфера должна быть накоплена до точки А (непосредственно перед тем, как будет считан блок L1 данных левой точки обзора в конце блока 2001 3D протяженности) на фиг. 74.
Уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B может быть рассчитано в соответствии со следующим выражением.
Уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B=(TjumpEX+3×Tjump+Tjump0+TLAYER+2×SEXT3/RUD3D)×RMAX1=2×(Tjump0+Tjump+SEXT3/RUD3D)×RMAX1+(Tjump+TjumpEX+TLAYER-Tjump0)×RMAX1 (44)
SEXT3 представляет собой размер блока данных карты глубины, который присутствует между точкой A и точкой B. Увеличенное количество данных в первом буфере 4921 считывания от точки А до B может быть рассчитано в соответствии со следующим выражением.
Увеличенное количество данных в первом буфере 4921 считывания от точки A до точки B=2×SEXT1/RUD3D×(RUD3D-RMAX1) (45)
SEXT1 представляет собой размер блока данных левой точки обзора, который присутствует между точкой A и точкой B. В соответствии с этим, требуемую величину запаса объема буфера в точке A рассчитывают следующим образом, в соответствии с Выражениями (44) и (45).
UL1 = уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B - увеличенное количество данных в первом буфере 4921 считывания от точки А до точки B=2×(Tjump0+Tjump+SEXT3/RUD3D)×RMAX1+(Tjump+TjumpEX+TLAYER-Tjump0)×RMAX1-2×SEXT1/RUD3D×(RUD3D-RMAX1) (46)
Здесь минимальный размер протяженности определяют таким образом, что (Tjump0+Tjump+SEXT3/RUD3D)×RMAX1, и SEXT1/RUD3D×(RUD3D-RMAX1) каждый равен 0 или более. То есть, до тех пор, пока размер протяженности равен или более, чем минимальный размер протяженности, удовлетворяющий Выражению (4), эти значения всегда становятся равными или более 0.
Когда значение становится равным 0, если рассматривать наихудшие значения, величина UL1 запаса объема буфера, требуемая для воспроизведения в режиме глубины, представляет следующее Выражение (47), которое выведено из Выражения (46).
Далее поясняется величина запаса объема буфера во втором буфере 4922 считывания. Незаполнение второго буфера 4922 считывания предотвращается при соединении без стыков, если только незаполнение не было вызвано перед точкой D, которая находится непосредственно перед считыванием блока D4 данных карты глубины, расположенным в начале следующего элемента воспроизведения. То есть, размер буфера считывания в точке D должен только удовлетворять условию ≥0. По этой причине величина (UL2) запаса объема буфера должна быть накоплена до точки С (непосредственно перед тем, как будет считан блок D1 данных карты глубины, расположенный в конце блока 2001 3D протяженности) на фиг. 74.
Уменьшенное количество данных в первом буфере 4922 считывания от точки С до точки D может быть рассчитано в соответствии со следующим выражением.
Уменьшенное количество данных во втором буфере 4922 считывания от точки С до точки D=(TjumpEX+3×Tjump+Tjump0+TLAYER+2 ×SEXT1/RUD3D)×RMAX3=2×(Tjump0+Tjump+SEXT2/RUD3D)×RMAX3+(Tjump+TjumpEX+TLAYER-Tjump0)×RMAX3 (48)
SEXT1 представляет собой размер блока данных левой точки обзора, который присутствует между точкой С и точкой D. Увеличенное количество данных во втором буфере 4922 считывания от точки C до D может быть рассчитано в соответствии со следующим выражением.
Увеличенное количество данных во втором буфере 4922 считывания от точки C до D=2×SEXT3/RUD3D×(RUD3D-RMAX3) (49)
SEXT3 представляет собой размер блока данных карты глубины, присутствует между точкой C и D. Соответственно, требуемую величину запаса объема буфера в точке С рассчитывают следующим образом, в соответствии с Выражениями (48) и (49).
UL2 = уменьшенное количество данных во втором буфере 4922 считывания от точки C до точки D - увеличенное количество данных во втором буфере 4922 считывания от точки C до точки D=2×(Tjump0+Tjump+SEXT1/RUD3D)×RMAX3+(Tjump+TjumpEX+TLAYER-Tjump0)×RMAX3-2×SEXT3/RUD3D×(RUD3D-RMAX3) (50)
Здесь минимальный размер протяженности определяют таким образом, что (Tjump0+Tjump+SEXT1/RUD3D)×RMAX3, и SEXT3/RUD3D×(RUD3D-RMAX3) каждый равен 0 или более. То есть, до тех пор, пока размер протяженности равен или более, чем минимальный размер протяженности, удовлетворяющий Выражению (5), эти значения всегда становятся равными или более 0.
Когда значение становится равным 0, если рассматривать наихудшие значения, величина UL2 запаса объема буфера, требуемая для воспроизведения в режиме глубины, представляет следующее Выражение (51), которое выведено из Выражения (50).
Выше были описаны величины запаса объема буфера, требуемые для воспроизведения данных в соответствии с компоновкой 1 в режиме глубины.
2D/3D воспроизведение позволяет воспроизводить без стыков данные, соответствующие компоновке 1, описанной со ссылкой на фиг. 20, при гарантировании рассчитанных выше значений UL1 и UL2, в качестве величины запаса объема буфера.
<Величины запаса объема буфера, требуемые для 3D воспроизведения данных в соответствии с компоновкой 2>
Далее описаны величины запаса объема буфера, требуемые для воспроизведения 3D изображения, используя данные в соответствии с компоновкой 2, показанной на фиг. 24. Вначале поясняются величины запаса объема буфера, требуемые для воспроизведения 3D изображения в режиме глубины.
На фиг. 75 показан длинный переход, который происходит, в то время как данные в соответствии с компоновкой 2 воспроизводят в режиме L/R. На фиг. 75B и 75C, соответственно, показан переход количества данных, накопленных в первом буфере 4921 считывания, и переход количества данных, накопленных во втором буфере 4922 считывания, когда данные в соответствии с компоновкой 2, воспроизводят в режиме L/R.
Здесь, размер каждого из трех блоков D3, R3 и L3SS данных, которые расположены в конце блока 2002 3D протяженности перед переходом, и значения времени ATC протяженности которых соответствуют друг другу, предполагаются равными 0, с учетом самого худшего значения требуемой величины запаса объема буфера.
Вначале поясняют величину UL1 запаса объема буфера, накопленную в первом буфере 4921 считывания. Незаполнение первого буфера 4921 считывания будет исключено при соединении без стыков, когда данные воспроизводят по пути, показанному на фиг. 75A, если только незаполнение не будет вызвано перед точкой B, которая расположена непосредственно перед верхним блоком L4 данных левой точки обзора при считывании последующего элемента воспроизведения. То есть, размер буфера считывания в точке B должен только удовлетворять условию ≥0. По этой причине требуется, чтобы величина (UL1) запаса объема буфера была накоплена до точки А (непосредственно перед блоком L1 данных левой точки обзора в конце считывания блока 2001 3D протяженности) на фиг. 75.
Уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B может быть рассчитано в соответствии со следующим выражением.
Уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B=(2×Tjump+Tjump0+TLAYER +SEXT3/RUD3D)×RMAX1=(Tjump0+Tjump+SEXT3/RUD3D)×RMAX1+(Tjump+TLAYER)×RMAX1 (52)
SEXT3 представляет собой размер блока данных карты глубины, который присутствует между точками A и B. Увеличенное количество данных в первом буфере 4921 считывания от точки А до точки B может быть рассчитано в соответствии со следующим выражением.
Увеличенное количество данных в первом буфере 4921 считывания от точки А до точки B=SEXT1/RUD3D×(RUD3D-RMAX1) (53)
SEXT1 представляет собой размер блока данных левой точки обзора, который присутствует между точками A и B. В соответствии с этим, требуемую величину запаса объема буфера в точке A рассчитывают следующим образом в соответствии с Выражениями (52) и (53).
UL1 = уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B - увеличенное количество данных в первом буфере 4921 считывания от точки А до точки B=(Tjump0+Tjump+SEXT3/RUD3D)×RMAX1+(Tjump+TLAYER)×RMAX1-SEXT1/RUD3D×(RUD3D-RMAX1) (54)
Здесь минимальный размер протяженности определяют таким образом, что каждое (Tjump0+Tjump+SEXT2/RUD3D)×RMAX1 и SEXT1/RUD3D×RUD3D-RMAX1) равно 0 или более. То есть, до тех пор, пока размер протяженности равен или более, чем минимальный размер протяженности, удовлетворяющей Выражению (3), эти значения всегда равны или более 0.
Когда значение становится равным 0, если рассматривать наихудшие значения, величина UL1 запаса объема буфера, требуемая для воспроизведения в режиме глубины, равна следующему Выражению (55), которое получают из Выражения (54).
Далее поясняется величина запаса объема буфера, накопленная во втором буфере 4922 считывания. Незаполнение второго буфера 4922 считывания будет предотвращено в соединении без стыков, если только это незаполнение не возникло перед точкой D, которая расположена непосредственно перед тем, как будет считан блок R4 данных правой точки обзора, расположенный вначале последующего элемента воспроизведения. То есть, размер буфера считывания в точке D должен только удовлетворять ≥0. С этой целью, величина (UL2) запаса объема буфера должна быть накоплена к точке C (непосредственно перед тем, как будет считан блок R1 данных правой точки обзора, расположенной в конце блока 2001 считывания 3D протяженности) на фиг. 75.
Уменьшенное количество данных во втором буфере 4922 считывания от точки C до точки D можно рассчитать в соответствии со следующим выражением.
Уменьшенное количество данных во втором буфере 4922 считывания от точки C до точки D=(2×Tjump+Tjump0+TLAYER+SEXT1/RUD3D)×RMAX3=(Tjump0+Tjump+SEXT1/RUD3D)×RMAX3+(Tjump+TLAYER)×RMAX3 (56)
SEXT1 представляет размер блока данных левой точки обзора, которая находится между точками C и D. Увеличенное количество данных во втором буфере 4922 считывания от точки C до точки D можно рассчитать в соответствии со следующим выражением.
Увеличенное количество данных во втором буфере 4922 считывания от точки C до точки D=SEXT3/RUD3D×(RUD3D-RMAX3) (57)
SEXT2 представляет собой размер блока данных карты глубины, который присутствует между точками C и D. В соответствии с этим, требуемую величину запаса объема буфера в точке C рассчитывают следующим образом, в соответствии с Выражениями (56) и (57).
UL2 = уменьшенное количество данных во втором буфере 4922 считывания от точки C до точки D - увеличенное количество данных во втором буфере 4922 считывания от точки C до точки D=(Tjump0+Tjump+SEXT1/RUD3D)×RMAX3+(Tjump+TLAYER)×RMAX3-SEXT3/RUD3D×(RUD3D-RMAX3) (58)
Здесь минимальный размер протяженности определяют таким образом, что (Tjump0+Tjump+SEXT1/RUD3D)×RMAX3, и SEXT3/RUD3D×(RUD3D-RMAX3) каждое равно 0 или более. То есть, если только размер протяженности равен или более, чем минимальный размер протяженности, удовлетворяющий Выражению (3), эти значения всегда становятся равными или более 0.
Когда значение становится равным 0, если рассматривать наихудшие значения, величина UL2 запаса объема буфера, требуемая для воспроизведения в режиме глубины, представляет следующее Выражение (59), которое выведено из Выражения (58).
Выше были описаны величины запаса объема буфера, требуемые для воспроизведения данных в соответствии с компоновкой 2 в режиме глубины.
Далее поясняется величина запаса объема буфера, требуемая для воспроизведения 3D изображения в режиме L/R.
Величина запаса объема буфера, требуемая для воспроизведения 3D изображения в режиме L/R, может быть рассчитана в соответствии со следующим выражением.
Эти выражения поясняются так же, как и в случае режима глубины.
При 2D/3D воспроизведении обеспечивается возможность воспроизведения без стыков данный компоновки 2, описанной со ссылкой на фиг. 24 при обеспечении рассчитанных выше UL1 и UL2 как величины запаса объема буфера.
Здесь величина запаса объема буфера, требуемая для воспроизведения данных в соответствии с компоновкой 2 в режиме L/R, которую рассчитывают по Выражениям (60) и (61), меньше, чем требуется для воспроизведения данных в соответствии с компоновкой 1 в режиме L/R, рассчитанной в соответствии с Выражениями (39) и (43). Кроме того, величина запаса объема буфера, требуемая для воспроизведения данных в соответствии с компоновкой 2 в режиме глубины, которую рассчитывают по Выражениям (55) и (59), меньше, чем требуется для воспроизведения данных в соответствии с компоновкой 1 в режиме глубины, рассчитанной в соответствии с Выражениями (47) и (51).
В соответствии с этим, структура данных в соответствии с компоновкой 2, описанная со ссылкой на фиг. 24, позволяет устанавливать величины (UL1, UL2) запаса объема буфера, требуемые для соединения без стыков, меньшие по сравнению со структурой данных в соответствии с компоновкой 1. В результате, размеры первого буфера 4921 считывания и второго буфера 4922 считывания, требуемые для воспроизведения 3D изображения, могут быть уменьшены.
Следует отметить, что следующее описанное выше условие, которое не требуется в структуре данных, пояснявшейся со ссылкой на фиг. 20, требуется для компоновки данных в структуре данных, пояснявшейся со ссылкой на фиг. 24.
Кроме того, протяженность окончания AV потока 2D/левого глаза в блоке 2001 3D протяженности должна быть равной или более, чем минимальный размер протяженности для устройства 2D воспроизведения, полученного в соответствии с Выражением (2), где Tjump представляет собой расстояние перехода от конца оконечной протяженности AV потока 2D/левого глаза в блоке 2001 3D протяженности до 2D протяженности EXT2D[1] перед переходом. Расстояние перехода от оконечной протяженности AV потока 2D/левого глаза в блоке 2001 3D протяженности до 2D протяженности EXT2D[1] перед переходом установлено равным или меньше, чем максимальное расстояние перехода, определенное данной спецификацией при выполнении перехода устройства 2D воспроизведения.
Как показано на фиг. 76, когда считывают блок L1 данных левой точки обзора в конце блока 2001 3D протяженности, имеющий размер, определенный по условию размера протяженности блока 3D протяженности, и расстояние перехода, требуемое для устройства 2D воспроизведения для выполнения воспроизведения без стыков, более чем размер блока 2002 3D протяженности перед переходом, данные могут быть расположены в структуре данных, которая пояснялось со ссылкой на фиг. 24. Однако, когда считывают блок L1 данных левой точки обзора в конце блока 2002 3D протяженности, имеющий размер, определенный по условию размера протяженности блока 3D протяженности, и расстояние перехода, требуемое для устройства 2D воспроизведения для выполнения воспроизведение без стыков, меньше, чем размер блока 3D протяженности перед переходом, данные не могут быть расположены в структуре данных, пояснявшейся со ссылкой на фиг. 24.
В соответствии с этим, предпочтительно располагать данные в структуре данных, пояснявшейся с использованием компоновки 2, показанной на фиг. 24, когда упомянутые выше условия удовлетворяются, и располагать данные в структуре данных, пояснявшейся с использованием компоновки 1, показанной на фиг. 20, когда описанное выше условие не соблюдается.
Кроме того, как показано в Выражении (1), размер протяженности, требуемый для выполнения воспроизведения без стыков в режиме 2D воспроизведения, зависит от скорости системы. При установлении скорости системы видеопотока левой точки обзора, удовлетворяющей описанному выше условию, и когда скорость AV потока системы выше, чем скорость системы видеопотока левой точки обзора, данные могут быть расположены в структуре данных в соответствии с компоновкой 1, пояснявшейся со ссылкой на фиг. 20, и когда скорость системы AV потока ниже, чем скорость системы видеопотока левой точки обзора, данные могут быть расположены в структуре данных в соответствии с компоновкой 2, пояснявшейся со ссылкой на фиг. 24.
Следует отметить, что в компоновке 2, показанной на фиг. 24, 2D протяженность EXT2D[n] пред переходом состоит только из блоков, предназначенных исключительно для 2D воспроизведения, и, соответственно, 2D протяженность EXT2D[n] перед переходом должна быть скопирована в блок, предназначенный исключительно для 3D воспроизведения, который имеет тот же размер данных, что и протяженность 2D EXT2D[n] перед переходом. С другой стороны, в компоновке 1, показанной на фиг. 20, блок Ln данных основной точки обзора, который используется как часть 2D протяженности EXT2D[n] перед переходом, также используется как часть 3D протяженности EXTSS[n], и, соответственно, предпочтительно, таким образом, подавлять увеличение размера данных - дубликата, сохраненных в разных протяженностях.
<Величины запаса объема буфера, требуемая для 3D воспроизведения данных в соответствии с компоновкой 3>
Ниже описаны величины запаса объема буфера, требуемые для воспроизведения 3D изображения, используя данные в соответствии с компоновкой 3, показанной на фиг. 26. Вначале поясняется величина запаса объема буфера, требуемая для воспроизведения 3D изображения в режиме глубины.
На фиг. 77 показан длинный переход, который происходит, в то время как данные, в соответствии с компоновкой 2, воспроизводят в режиме глубины. На фиг. 77B и 73C, соответственно, показан переход количеств данных, накопленных в первом буфере 4921 считывания, и переход количеств данных, накопленных во втором буфере 4922 считывания, когда данные в соответствии с компоновкой 3 воспроизводят в режиме глубины.
Здесь размер каждого из трех блоков D3, R3 и L3SS данных, которые расположены в конце блока 2002 3D протяженности перед переходом и значения времени ATC протяженности которые соответствуют друг другу, принимают равными 0, учитывая наихудшие значения требуемой величины запаса объема буфера.
Вначале поясняется величина UL1 запаса объема буфера, накопленного в первом буфере 4921 считывания. Незаполнение первого буфера 4921 считывания предотвращается при соединении без стыков, когда данные воспроизводят по пути, показанному на фиг. 77A, если только незаполнение не было вызвано перед точкой B, которая расположена непосредственно перед тем, как будет считана начальная часть блока L4 данных левой точки обзора в последующем элементе воспроизведения. То есть, размер буфера считывания в точке B должен только удовлетворять условию ≥ 0. По этой причине величина (UL1) запаса объема буфера должна быть накоплена до точки А (непосредственно перед тем, как будет считан блок L1 данных левой точки обзора в конце блока 2001 3D протяженности) на фиг. 77.
Уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B=(2×Tjump+2×Tjump0+TLAYER+TjumpEX +SEXT3/RUD3D)×RMAX1=(Tjump0+Tjump+SEXT3/RUD3D)×RMAX1+(TjumpEX+TLAYER)×RMAX1 (62)
SEXT3 представляет собой размер блока данных карты глубины, который присутствует между точкой A и точкой B. Увеличенное количество данных в первом буфере 4921 считывания от точки А до B может быть рассчитано в соответствии со следующим выражением.
Увеличенное количество данных в первом буфере 4921 считывания от точки A до точки =2×SEXT1/RUD3D×(RUD3D-RMAX1) (63)
SEXT1 представляет собой размер блока данных левой точки обзора, который присутствует между точкой A и точкой B. В соответствии с этим, требуемую величину запаса объема буфера в точке A рассчитывают следующим образом, в соответствии с Выражениями (62) и (63).
UL1 = уменьшенное количество данных в первом буфере 4921 считывания от точки А до точки B - увеличенное количество данных в первом буфере 4921 считывания от точки А до точки B=2×(Tjump0+Tjump+SEXT3/RUD3D)×RMAX1+(TjumpEX+TLAYER)×RMAX1-2×SEXT1/RUD3D×(RUD3D-RMAX1) (64)
Здесь минимальный размер протяженности определяют таким образом, что (Tjump0+Tjump+SEXT3/RUD3D)×RMAX1, и SEXT1/RUD3D×(RUD3D-RMAX1) каждый равен 0 или более. То есть, до тех пор, пока размер протяженности равен или более, чем минимальный размер протяженности, удовлетворяющий Выражению (3), эти значения всегда становятся равными или более 0.
Когда значение становится равным 0, если рассматривать наихудшие значения, величина UL1 запаса объема буфера, требуемая для воспроизведения в режиме глубины, представляет следующее Выражение (65), которое выведено из Выражения (64).
Далее поясняется величина запаса объема буфера во втором буфере 4922 считывания. Незаполнение второго буфера 4922 считывания предотвращается при соединении без стыков, если только незаполнение не было вызвано перед точкой D, которая находится непосредственно перед считыванием блока D4 данных правой точки обзора, расположенным в начале следующего элемента воспроизведения. То есть, размер буфера считывания в точке D должен только удовлетворять условию ≥0. По этой причине величина (UL2) запаса объема буфера должна быть накоплена до точки С (непосредственно перед тем, как будет считан блок R1 данных карты глубины, расположенный в конце блока 2001 3D протяженности) на фиг. 77.
Уменьшенное количество данных в первом буфере 4922 считывания от точки С до точки D может быть рассчитано в соответствии со следующим выражением.
Уменьшенное количество данных во втором буфере 4922 считывания от точки С до точки D=(2×Tjump+2×Tjump0+TjumpEX+TLAYER +2×SEXT1/RUD3D)×RMAX3=2×(Tjump0+Tjump+SEXT1/RUD3D)×RMAX3+(TjumpEX +TLAYER)×RMAX3 (66)
SEXT1 представляет собой размер блока данных левой точки обзора, который присутствует между точкой С и точкой D. Увеличенное количество данных во втором буфере 4922 считывания от точки C до D может быть рассчитано в соответствии со следующим выражением.
Увеличенное количество данных во втором буфере 4922 считывания от точки C до D=2×SEXT3/RUD3D×(RUD3D-RMAX3) (67)
SEXT3 представляет собой размер блока данных карты глубины, присутствует между точкой C и D. Соответственно, требуемую величину запаса объема буфера в точке С рассчитывают следующим образом, в соответствии с Выражениями (66) и (67).
UL2 = уменьшенное количество данных во втором буфере 4922 считывания от точки C до точки D - увеличенное количество данных во втором буфере 4922 считывания от точки C до точки D=2×(Tjump0 +Tjump+SEXT1/RUD3D)×RMAX3+(TjumpEX+TLAYER)×RMAX3-2×SEXT3/RUD3D×(RUD3D-RMAX3) (68)
Здесь минимальный размер протяженности определяют таким образом, что (Tjump0+Tjump+SEXT1/RUD3D)×RMAX3, и SEXT3/RUD3D×(RUD3D-RMAX3) каждый равен 0 или более. То есть, до тех пор, пока размер протяженности равен или более, чем минимальный размер протяженности, удовлетворяющий Выражению (3), эти значения всегда становятся равными или более 0.
Когда значение становится равным 0, если рассматривать наихудшие значения, величина UL2 запаса объема буфера, требуемая для воспроизведения в режиме глубины, представляет следующее Выражение (69), которое выведено из Выражения (68).
Выше были описаны величины запаса объема буфера, требуемые для воспроизведения данных в соответствии с компоновкой 3 в режиме глубины.
Далее описана величина запаса объема буфера, требуемая для воспроизведения 3D изображения в режиме L/R.
Величина запаса объема буфера, требуемая для воспроизведения 3D изображения в режиме L/R, может быть рассчитана в соответствии со следующими выражениями.
Эти выражения можно пояснить, используя тот же подход, как и в случае режима глубины.
Устройство 2D/3D воспроизведения может без стыков воспроизвести данные компоновки 3, описанной со ссылкой на фиг. 26, при обеспечении рассчитанных выше UL1 и UL2 в качестве величин запаса объема буфера.
Здесь, когда устройство 2D/3D воспроизведения может воспроизводить 3D изображения, как в режиме L/R, так и в режиме глубины, требуемая величина запаса объема буфера становится наихудшим значением. Наихудшее значение (максимальное значение) величины запаса объема буфера, требуемое для воспроизведения 3D изображения, имеющего структуру данных, пояснявшуюся со ссылкой на фиг. 20, равно величине запаса объема буфера, требуемой для воспроизведения 3D изображения в режиме глубины, имеющей размер, рассчитанный по Выражениям (47) и (51). Наихудшее значение (максимальное значение) величины запаса объема буфера, требуемое для воспроизведения 3D изображений, имеющих структуру данных, пояснявшуюся со ссылкой на фиг. 26, равно величине запаса объема буфера, требуемой для воспроизведения 3D изображений в режиме L/R, имеющей размер, рассчитанный по Выражениям (70) и (71), или величине запаса объема буфера, требуемый для воспроизведения 3D изображения в режиме глубины, имеющей размер, рассчитанный по Выражениям (65) и (69). Здесь каждый из размера, рассчитанного по Выражениям (70) и (71), и размера, рассчитанного по Выражениям (65) и (69), меньше, чем размер, рассчитанный по Выражениям (47) и (51). Другими словами, компоновка 3 может устанавливать меньшие величины (UL1, UL2) запаса объема буфера, требуемые для соединения без стыков в обоих режимах глубины и L/R, по сравнению со структурой данных в соответствии с компоновкой 1. В соответствии с этим, учитывая размер буфера считывания, когда устройство 2D/3D воспроизведения может воспроизводить 3D изображения одновременно в режимах L/R и режима глубины, предпочтительно располагать на носителе записи данные потока в соответствии со структурой данных в соответствии с компоновкой 1, пояснявшейся со ссылкой на фиг. 26.
(Структура данных для уменьшения размера буфера считывания для соединения без стыков)
В дополнение к компоновке данных для соединения без стыков, описанной со ссылкой на фиг. 20, 24 и 26, ниже описана компоновка данных для уменьшения размера буфера считывания, требуемого для устройства 2D/3D воспроизведения, для воспроизведения 3D изображения со ссылкой на фиг. 78.
Ниже описана компоновка данных для уменьшения размера буфера считывания, требуемого для воспроизведения 3D изображения.
В верхней части фиг. 78 показан путь воспроизведения для режима L/R и путь воспроизведения для режима глубины, используя компоновку 3, пояснявшуюся со ссылкой на фиг. 26.
В структуре данных, показанной в верхней части на фиг. 78, размер каждого из блока данных левой точки обзора, блока данных правой точки обзора и блока данных карты глубины, расположенных в конце блока 7501 3D протяженности перед переходом, не должен удовлетворять минимальному размеру протяженности, полученному при использовании Выражений (2)-(5). Причина этого состоит в следующем. При определении минимального размера протяженности, как "средняя скорость передачи протяженностей × минимальное время ATC протяженности" (например, REXT1[n]×MIN_TEXT) и при определении максимального размера протяженности как "средняя скорость передачи протяженностей × минимальное время ATC протяженности" (например, REXT1[n]×MIN_TEXT), например, дополнительную протяженность, не удовлетворяющую минимальному размеру протяженности, можно оставить в зависимости от времени воспроизведения содержания. Например, предполагается, что минимальное время ATC протяженности составляет две секунды, максимальное время ATC протяженности = минимальное время ATC протяженности, и время ATC AV потока составляет 11 секунд. В этом случае, если разделить протяженности в единицах две секунды, которые представляют собой минимальное время ATC протяженности, от начала AV потока, протяженность, равная одной секунде ATC протяженности, останется в конце протяженности.
Предпочтительно, чтобы установленная оконечная протяженность удовлетворяла размеру минимальной протяженности, полученному в соответствии с Выражениями (2)-(5), как показано на нижнем уровне фиг. 78, поскольку при этом можно уменьшить величины UL1 и UL2 запаса объема буфера, требуемые для устройства 2D/3D воспроизведения.
Установлены следующие ограничения так, что установленная оконечная протяженность может удовлетворять минимальному размеру протяженности, полученному в соответствии с Выражениями (2)-(5).
Максимальное время ATC протяженности определено следующим образом, в случае, когда минимальное время ATC AV потока для воспроизведения без стыков составляет TDURATION.
TMAX_TEXT≥(TMIN_TEXT×TDURATION)/(TDURATION-MIN_TEXT) (72)
На нижнем уровне на фиг. 79 представлена основа для этого. Если разделить протяженности на отрезки минимального времени ATC протяженности от начала AV потока, и протяженность, не удовлетворяющую минимальному размеру протяженности, оставить в конце AV потока, максимальное значение размера протяженности составит MIN_TEXT. Если MIN_TEXT в конце распределить на каждую протяженность, которая была разделена на отрезки минимального времени ATC протяженности, и каждая протяженность, включающая в себя дополнительно распределенную протяженность, будет равна или короче, чем максимальное время ATC протяженности, дополнительная протяженность не может быть оставлена.
В примерах, показанных на фиг. 79, когда MIN_TEXT составляет две секунды и TDURATION составляет 20 секунд, максимальное время ATC протяженности составляет 2,222 секунды. Когда MIN_TEXT составляет две секунды, и TDURATION составляет 30 секунд, максимальное время ATC протяженности составляет 2,142 секунды. Чем дольше максимальное время ATC протяженности, тем большим становится размер протяженности. Таким образом, размер буфера, требуемый для устройства 2D/3D воспроизведения, увеличивается. Поэтому, значения MAX_TEXT и TDURATION соответствующим образом устанавливают на основе параметра, относящегося, например, к выполнению перехода. Такое ограничение может быть установлено на основе заданной спецификации. Например, время ATC (TDURATION) AV потока для воспроизведения без стыков установлено равным или дольше, чем 30 секунд, и MAX_TEXT установлено равным 2,15 секунд.
В пределах описанного выше ограничения, установленная оконечная протяженность всегда может удовлетворять минимальному времени ATC протяженности. Поэтому, величины UL1 и UL2 запаса объема буфера, требуемые для устройства 2D/3D воспроизведения, могут быть уменьшены.
Причина, по которой величины UL1 и UL2 запаса объема буфера могут быть уменьшены, поясняется при использовании способа расчета, который пояснялся со ссылкой на фиг. 75. Способ расчета величин UL1 и UL2 запаса объема буфера в режиме L/R представлен на фиг. 80.
<Множество углов съемки>
Как показано на фиг. 81A, в качестве компоновки данных для реализации множества углов съемки при воспроизведении 2D видеоданных, может быть размещено множество групп мультиплексированного потока, представляющих видеоизображения, снятые под определенным углом съемки, с перемежением для каждого угла.
Для реализации 3D изображений, снятых под множеством углов съемки, как показано на фиг. 81B, блок, в котором блоки видеопотока левой точки обзора и видеопотока правой точки обзора и поток карты глубины, который принадлежит одному углу съемки, расположены с перемежением, и могут рассматриваться, как один блок, и точка обзора под множеством углов съемки может быть реализована путем компоновки этих блоков с перемежением для каждого угла.
<Другие структуры данных для реализации множества углов съемки 3D изображений>
Следует отметить, что при реализации точек обзора под множеством углов съемки 3D изображений, как показано на фиг. 82B, на участке множества углов съемки протяженности видеопотока левой точки обзора, видеопотока зависимой точки обзора и потока карты глубины, не обязательно должны быть разделены на разные файлы, но могут содержаться в одном мультиплексированном потоке. В таком случае, для воспроизведения мультиплексированного потока, используя устройство 2D воспроизведения, сумма видеопотока левой точки обзора, видеопотока зависимой точки обзора и потока карты глубины должны находиться в пределах скорости системы для AV потока.
В такой модификации, для того, чтобы соответствовать случаю, в котором количество AV потоков, которые должны быть переданы в целевой декодер системы, меняется между элементами воспроизведения, при этом, в каждом элементе воспроизведения предусмотрен флаг, представляющий количество TS, которые должны быть воспроизведены, как показано на фиг. 82B. В частности, в случае элементов №1 и №3 воспроизведения, используемых для воспроизведения двух AV потоков (видеопотока левой точки обзора и видеопотока зависимой точки обзора в режиме L/R, и видеопотока левой точки обзора, и видеопотока карты глубины в режиме глубины) для воспроизведения 3D изображений в блоке, в котором не используется точка обзора под множеством углов съемки, режим TS установлен как режим 2TS, тогда как в случае, когда элемент №2 воспроизведения, предназначенный для воспроизведения одного AV потока, для воспроизведения 3D изображений на участке, снятом под множеством углов съемки, режим Ts установлен как режим 1TS. Это позволяет устройству 2D/3D воспроизведения изменять количество AV потоков, которые должны быть переданы в целевой декодер системы, используя флаг. Следует отметить, что флаг может быть добавлен как условие соединения. Например, режим, в котором 2TS переключают на 1TS, может быть обозначен условием "7" соединения, и режим, в котором 1TS переключают на 2TS, может быть обозначен условием "8" соединения.
Ниже приведены подробности поддержки воспроизведения 3D изображений под множеством углов съемки.
<Стереоскопический файл потока с перемежением>
Ниже описано выделение данных области записи, в которой записан стереоскопический файл с перемежением, составляющий множество углов съемки.
На фиг. 83A показаны файлы потока, называемые "элементами воспроизведения" и подэлементами воспроизведения 3D списка воспроизведения. Элементы воспроизведения и подэлементы воспроизведения 3D списка воспроизведения включают в себя флаг множества углов съемки, обозначающий состав участка, снятого под множеством углов съемки. В элементах воспроизведения и подэлементах воспроизведения, которые составляют участок, снятый под множеством углов съемки, флаг установлен в состояние включено. На фиг. 83A показан 3D список воспроизведения, который включает в себя элементы воспроизведения и подэлементы воспроизведения, принадлежащие участку, снятому под множеством углов съемки, который может быть воспроизведен путем переключения изображений из трех углов съемки, то есть, 3D изображения, снятого под углом номер 1 (ниже называется изображением A1), 3D изображения, снятого под углом номер 2 (ниже называется изображением A2), и 3D изображения, снятого под углом номер 3 (ниже называется изображением A3).
Элементы воспроизведения участка, снятого под множеством углом съемки, соответственно, имеют информацию 8301 опорного клипа, имеют информацию 8302 опорного клипа липа и информацию 8303 опорного клипа, которые соответствуют файлам потока, в которых содержатся видеопотоки основной точки обзора для изображений, снятых под определенным углом. Подэлементы воспроизведения на участке, снятом под множеством углов, типы подпути которого обозначают 3D, соответственно, имеют информацию 8304 опорного клипа, информацию 8305 опорного клипа и информацию 8306 опорного клипа, которые соответствуют файлам потока, в которых содержатся видеопотоки зависимой точки обзора для изображений, снятых под соответствующими углами съемки. На данном чертеже, в кадре каждой информации опорного клипа показано название файла для файла потока, соответствующего информации опорного клипа.
Информация 8301 опорного клипа и информация 8304 опорного клипа устанавливают поток основной точки обзора изображения A1 и поток зависимой точки обзора, и, соответственно, как описано со ссылкой на фиг. 40E и 51, устройство воспроизведения может воспроизводить первый файл SS (000001.ssif) 8307, в котором содержится изображение A1, используя точку начала протяженности информации клипа, обозначенную информацией 8301 опорного клипа и информацией 8304 опорного клипа. Информация 8302 опорного клипа и информация 8305 опорного клипа устанавливают поток основной точки обзора изображения A2 и поток зависимой точки обзора, и, соответственно, устройство воспроизведения может воспроизводить второй файл SS (000002.ssif) 8308, в котором содержится изображение A2, используя точку начала протяженности информации клипа, обозначенную информацией 8302 опорного клипа и информацией 8305 опорного клипа. Кроме того, информация 8303 опорного клипа и информация 8306 опорного клипа устанавливают поток основной точки обзора изображения A3 и поток зависимой точки обзора и, соответственно, устройство воспроизведения может воспроизводить третий файл SS (000003.ssif) 8309, в котором содержится изображение A3, используя точку начала протяженности информации клипа, обозначенную информацией 8303 опорного клипа и информацией 8306 опорного клипа.
На фиг. 83B показана компоновка физических данных первого файла SS 8307, второго файла SS 8308 и третьего файла SS 8309 на носителе 100 записи.
Для каждого участка, для которого is_angle_change установлен в положение ВКЛЮЧЕНО, то есть, для каждого участка, для которого разрешено переключение углов, на карте входа информации клипа, обозначенной информацией 8301 опорного клипа и информацией 8304 опорного клипа, видеопоток зависимой точки обзора и видеопоток основной точки обзора первого файла SS 8307 разделены на блок D[0]A1, D[1]A1..., данных зависимой точки обзора и блок B[0]A1, B[1]A1..., данных основной точки обзора, соответственно. D[n]A1 и B[n]A1 составляют "модуль с перемежением" A1[n] (n=0, 1...) файла SS 8307. Доступ к модулю A1[n] с перемежением может осуществляться как к n-ой протяженности первого файла SS 8307.
Для каждого участка, для которого is_angle_change установлен в положение включено, то есть, для каждого участка, для которого разрешено переключение угла, на карте входов информации клипа, обозначенной информацией 8302 опорного клипа, и информацией 8305 опорного клипа, видеопоток зависимой точки обзора и видеопоток основной точки обзора второго файла SS 8308 разделены на блок D[0]A2, D[1]A2..., данных зависимой точки обзора и блок B[0]A2, B[1]A2..., данных основной точки обзора, соответственно. D[n]A2 и B[n]A2 составляют "модуль с перемежением" A2[n] (n=0, 1...) второго файла SS 8308. Доступ к модулю A2[n] с перемежением может осуществляться как к n-той протяженности второго файла SS 8308.
Для каждого участка, для которого is_angle_change установлен в положение включено, то есть, для каждого участка, который обеспечивает возможность переключения угла, в карте точек входа информации клипа, обозначенной информацией 8303 опорного клипа и информацией 8306 опорного клипа, видеопоток зависимой точки обзора и видеопоток основной точки обзора второго файла SS 8309 разделены на блок D[0]A3, D[1]A3..., данных зависимой точки обзора и блок B[0]A3, B[1]A3..., данных основной точки обзора, соответственно. D[n]A1 и B[n]A1 составляют "модуль A3[n] с перемежением" (n=0, 1...) третьего файла SS 8309. Доступ к модулю A3[n] с перемежением может осуществляться как к n-ой протяженности третьего файла SS 8309.
Как показано в самой нижней части чертежа, группы этих модулей с перемежением, непрерывно записаны вдоль дорожки на носителе записи. Кроме того, модуль для A1 с перемежением, то есть, A1[0], A1[1]..., модуль для A2 с перемежением, то есть, A2[0], A2[1]..., и модуль для A3 с перемежением, то есть, A3[0], A3[1]..., поочередно расположены в порядке изображения A1, изображения A2 и изображения A3.
На фиг. 84 поясняются пути воспроизведения в области сохранения, в которой первый файл SS 8307, второй файл SS 8308 и третий файл SS 8309 расположены, как показано на фиг. 83.
В дальнейшем для примера поясняется случай, в котором изображение, снятое под определенным углом воспроизведения, переключают с угла 1 на угол 3 на участке, снятом с множеством углов съемки.
В режиме 2D воспроизведения, вначале считывают блок B[0]A1 данных основной точки обзора, составляющий первый модуль A1[0] с перемежением первого файла SS 8307, как изображение, снятое под углом номер 1. Затем, во время воспроизведения, изображение переключают на угол номер 3, производя переход с конца B[0]A1 в начало блока B[1]A3 данных основной точки обзора модуля A3[1] с перемежением в третьем файле SS 8309, где возможно переключение углов, и считывают B[0]A1.
В режиме 3D воспроизведения вначале последовательно считывают блок D[0]A1 данных зависимой точки обзора и блок B[0]A1 данных основной точки обзора, составляющие первый модуль A1[0] с перемежением первого файла SS 8307, как изображение снятое под углом номер 1. Затем во время воспроизведения, изображение переключают на угол номер 3, обеспечивая переход с конца блока B[0]A1 в начало блока D[1]A3 данных зависимой точки обзора модуля A3[1] с перемежением в третьем файле SS 8309, где возможно переключение угла, и считывают блок D[1]A3 данных зависимой точки обзора и последующий блок B[0]A3 данных основной точки обзора.
Таким образом, как описано выше, видеопоток основной точки обзора и видеопоток зависимой точки обзора изображений, снятых под разными углами считывают с помощью устройства воспроизведения в соответствии с установкой номера угла.
<Модификации>
(A) Первый вариант выполнения настоящего изобретения относится к размещению протяженностей при сохранении 3D видеоизображений на носителе записи. Однако, настоящее изобретение также можно использовать для сохранения видеоизображений с высокой частотой кадров на носителе записи. В частности, видеоизображение, снятое с высокой частотой кадров, может быть разделено, например, на группу кадров с нечетным номерами и группу кадров с четными номерами, которую можно рассматривать как видеопоток данных основной точки обзора и видеопоток данных зависимой точки обзора и могут быть записаны на носителе записи с компоновкой протяженностей, как описано в первом варианте выполнения. Устройство воспроизведения, которое поддерживает только воспроизведение видеоизображений с нормальной частотой кадров, может воспроизводить видеоизображения для группы кадров с нечетными номерами с носителя записи. И, наоборот, устройство воспроизведения, которое поддерживает воспроизведение видеоизображений с высокой частотой кадров, может выбрать воспроизведение видеоизображений только для группы кадров с нечетными номерами или видеоизображений для обеих групп кадров. Таким образом, совместимость с устройством воспроизведения, которое поддерживает только воспроизведение видеоизображений с нормальной частотой кадров, может быть обеспечена на носителе записи, на котором содержится видеоизображение с высокой частотой кадров.
(B) В первом варианте выполнения настоящего изобретения видеопоток основной точки обзора представляет левую точку обзора, и видеопоток зависимой точки обзора представляет правую точку обзора. И, наоборот, однако, видеопоток основной точки обзора может представлять правую точку обзора и видеопоток зависимой точки обзора может представлять левую точку обзора.
(C) Таблица 3041 смещения, показанная на фиг. 39A, включает в себя таблицу 3210 входов 3203 смещения для каждого PID. Таблица смещения дополнительно может включать в себя таблицу входов смещения для каждого плана. В этом случае, анализ таблицы смещения, выполняемый устройством 3D воспроизведения, может быть упрощен. Кроме того, нижний предел, такой как одна секунда, может быть установлен для длительности действительного участка входа смещения в соответствии с возможностями устройства 3D воспроизведения в отношении композиции плана.
(D) Файл 3D списка воспроизведения, показанный на фиг. 48, включает в себя один подпуть, обозначающий путь воспроизведения вспомогательного TS. В качестве альтернативы, файл 3D списка воспроизведения может включать в себя подпути, обозначающие пути воспроизведения для разных вспомогательных TS. Например, тип подпути для одного подпути может представлять собой "3D L/R", и тип подпути другого подпути может представлять собой "3D глубина". Когда 3D видеоизображения воспроизводят в соответствии с таким файлом 3D списка воспроизведения, устройство 102 воспроизведения может легко переключаться между режимом L/R и режимом глубины путем переключения подпути для воспроизведения между этими двумя типами подпутей. В частности, такая обработка переключения может быть выполнена быстрее, чем переключение самого файла 3D списка воспроизведения.
Файл 3D списка воспроизведения может включать в себя множество подпутей одного типа подпути. Например, когда 3D видеоизображения для одной сцены представлены с разными значениями бинокулярного параллакса путем использования множества правых точек обзора, которые совместно используют одну и ту же левую точку обзора, отличающийся файл DEP записан на диске BD-ROM 101 для каждого отличающего потока видеопотока правой точки обзора. Файл 3D списка воспроизведения затем содержит множество подпутей с типом подпути "3D L/R". Такие подпути по отдельности устанавливают путь воспроизведения для разных файлов DEP. Кроме того, один файл 2D может включать в себя два или более типов потоков карты глубины. В этом случае, файл 3D списка воспроизведения включает в себя множество подпутей с типом подпути "3D глубины". Такие подпути по отдельности устанавливают путь воспроизведения для файлов DEP, которые включают в себя потоки карты глубины. Когда 3D видеоизображения воспроизводят в соответствии с таким файлом 3D списка воспроизведения, подпуть для воспроизведения можно быстро переключать, например, в соответствии с операцией пользователя, и, таким образом, бинокулярный параллакс для 3D видеоизображений может изменяться без существенной задержки. Таким образом, пользователи получают возможность легко выбирать требуемый бинокулярный параллакс для 3D видеоизображений.
(E) Для того, чтобы правильно рассчитать время ATC протяженности при оценке средней скорости Rext передачи данных из буфера считывания в целевой декодер системы, размер каждой протяженности может быть отрегулирован как фиксированное кратное длины пакета источника. Кроме того, когда определенная протяженность включает в себя более пакетов источника, чем это кратное число, сумма (i) произведения количества пакетов источника, превышающих это кратное, и время передачи на пакет источника (=188×8/скорость системы) и (ii) время ATC протяженности, соответствующее этому кратному, можно рассматривать как время ATC протяженности для определенной протяженности. Кроме того, время ATC протяженности может быть определено как сумма (iii) значения интервала времени от ATS верхнего пакета источника в протяженности до ATS последнего пакета источника в той же протяженности и (iv) время передачи на пакет источника. В этом случае, ссылка на следующую протяженность является ненужной для расчета времени ATC протяженности и, таким образом, расчеты могут быть упрощены. Следует отметить, что в описанных выше расчетах времени ATC протяженности следует учитывать возникновение циклического возврата в ATC.
(F) Среди групп блоков данных при компоновке с перемежением могут быть записаны протяженности, которые принадлежат другому файлу, например, файлу BD-J объекта. На фиг. 86A показана схема, представляющая блоки данных при компоновке с перемежением, которые включают в себя только данные мультиплексированного потока. На фиг. 86B показана схема, представляющая блоки данных при компоновке с перемежением, которая включает в себя протяженности, принадлежащие другому файлу.
Как показано на фиг. 86A, группа 6201 блока данных включает в себя блоки D1, D2, и D3 данных карты глубины, блоки R1, R2 и R3 данных правой точки обзора и блоки L1, L2 и L3 данных основной точки обзора при компоновке с перемежением. На пути 6202 воспроизведения в режиме L/R, пары соседних блоков R1+L1, R2+L2 и R3+L3 данных правой точки обзора и левой точки обзора считывают по-порядку. В каждой паре происходит переход J0 нулевого сектора между блоком данных правой точки обзора и блоком данных основной точки обзора. Кроме того, считывание каждого блока D1, D2 и D3 данных карты глубины пропускают из-за перехода JLR. На пути 6203 воспроизведения в режиме глубины, блоки D1, D2 и D3 данных карты глубины и блоки L1, L2 и L3 данных основной точки обзора поочередно считывают. Переход J0 с переходом через нулевой сектор происходит между соседними блоками данных основной точки обзора и блоками данных карты глубины. Кроме того, считывание каждого из блоков R1, R2 и R3 данных правой точки обзора пропускают в результате перехода JLD.
С другой стороны, как показано на фиг. 86B, протяженности A1 и A2, принадлежащие разным файлам, вставляют между группой 6204 блока данных, которая является той же, что и на фиг. 86A. Такой "другой файл" может представлять собой, например, файл объекта кинофильма, файл объекта BD-J или файл JAR. Эти протяженности A1 и A2 обе вставляют между блоком данных карты глубины и блоком данных правой точки обзора, которые расположены рядом друг с другом на фиг. 86A. В этом случае, на пути 6205 воспроизведения в режиме L/R, расстояние перехода JLR длиннее, чем на пути 6202 воспроизведения, показанном на фиг. 86A. Однако, переход J0 с переходом через нулевой сектор не требуется изменять на обычный переход, в отличие от случая, когда протяженности A1 и A2 вставлены рядом с блоком данных основной точки обзора. То же относится к пути 6206 воспроизведения в режиме глубины. Как понятно из фиг. 64, максимальное время перехода обычно увеличивается в большей степени при изменении перехода нулевого сектора на обычный переход, чем при изменении расстояния перехода. В соответствии с этим, как можно видеть из выражений 2-5, минимальный размер протяженности обычно увеличивается в большей степени при замене перехода нулевого сектора на обычный переход, чем при изменении расстояния перехода. Поэтому, когда вставляют протяженности A1 и A2 в группу 6201 блока данных, которая имеет компоновку с перемежением, протяженности A1 и A2 вставляют между блоками данных карты глубины и блоками данных правой точки обзора, как показано на фиг. 86B. Увеличение минимального размера протяженности, вызванное такой вставкой, таким образом, подавляется, что позволяет исключить увеличение минимальной емкости буферов считывания.
Кроме того, в компоновке, показанной на фиг. 86B, размеры в секторах G1 и G2 протяженностей A1 и A2 могут быть ограничены, и могут быть равными или меньше, чем максимальное расстояние MAX_EXTJUMP3D: G1≤MAX_EXTJUMP3D и G2≤MAX_EXTJUMP3D максимального перехода. Такое расстояние MAX_EXTJUMP3D максимального перехода представляет, в секторах, максимальное расстояние перехода между переходами JLR и JLD, возникающими в группе 6204 блока данных. При таком ограничении трудно увеличить максимальное время перехода, которое требуется подставить с правой стороны выражений 2-5, и, таким образом, трудно увеличить минимальный размер протяженности. В соответствии с этим, становится возможным исключить увеличение минимальной емкости буферов считывания из-за вставки протяженностей A1 и A2.
Кроме того, суммы (i) размеров G1 и G2 протяженностей A1 и A2 и (ii) размеров Sext3[2], Sext2[2], Sext3[3] и Sext2[3] блоков D2, R2, D3 и R3 данных зависимой точки обзора, расположенных рядом с протяженностями A1 и A2, могут быть ограничены так, что они будут равны или меньше, чем расстояние MAX_EXTJUMP3D максимального перехода.
CEIL (Sext3[2]/2 048)+G1≤MAX_EXTJUMP3D,
CEIL (Sext2[2]/2 048)+G1≤MAX_EXTJUMP3D,
CEIL (Sext3[3]/2 048)+G2≤MAX_EXTJUMP3D,
CEIL (Sext2[3]/2 048)+G2≤MAX_EXTJUMP3D.
В этих выражениях размер в байтах блока данных зависимой точки обзора делят на 2048, количество байтов на сектор, для изменения единиц размера с байтов на сектора. Если только удовлетворяются эти условия, время максимального перехода, которое требуется вставить с правой стороны выражений 2-5, не превышает фиксированное значение. Например, если расстояние MAX_EXTJUMP3D максимального перехода установлено как 40000 секторов, тогда время максимального перехода по фиг. 64 не превышает 350 мс. В соответствии с этим, размер минимальной протяженности не превышает фиксированное значение. Таким образом, становится возможным надежно исключить увеличение минимальной емкости буферов считывания в результате вставки протяженностей A1 и A2.
В отличие от описанных выше ограничений, сумма (i) размеров G1 и G2 протяженностей A1 и A2 и (ii) размеров Sext3[2], Sext2[2], Sext3[3] и Sext2[3] блоков D2, R2, D3 и R3 данных зависимой точки обзора, расположенных рядом с протяженностями A1 и A2, могут быть дополнительно ограничены, и могут быть сделаны равными или меньше, чем расстояние MAX_JUMP(•) максимального перехода, соответствующее размеру каждого блока данных зависимой точки обзора.
CEIL (Sext3[2]/2 048)+G1≤MAX_JUMP (Sext3[2]),
CEIL (Sext2[2]/2 048)+G1≤MAX_JUMP (Sext2[2]),
CEIL (Sext3[3]/2 048)+G2≤MAX_JUMP (Sext3[3]),
CEIL (Sext2[3]/2 048)+G2≤MAX_JUMP (Sext2[3]).
Когда размер блока данных зависимой точки обзора выражен в секторах, и соответствующее время максимального перехода получают из таблицы на фиг. 64, расстояние MAX_JUMP(•) максимального перехода относится к максимальному значению протяженности секторов, которым соответствует время максимального перехода. Например, если размер блока данных зависимой точки обзора составляет 5000 секторов, тогда время максимального перехода в таблице на фиг. 64 для 5000 секторов составляет 250 мс, что соответствуют протяженности 1 - 10000 секторов. В соответствии с этим, расстояние MAX_JUMP максимального перехода (5000 × 2048 байтов) представляет собой максимальное значение на этой протяженности, то есть, 10000 секторов. До тех пор, пока описанное выше условие удовлетворяется, время максимального перехода, которое вставляют с правой стороны выражений 2-5, не изменяется, и, таким образом, размер минимальной протяженности не изменяется. В соответствии с этим, становится возможным надежно исключить увеличение минимальной емкости буферов считывания из-за вставки протяженностей A1 и A2.
(Компоновка файла для вставки файлов, отличающихся от AV потока между протяженностями с перемежением)
Далее приведено подробное описание предпочтительной компоновки протяженностей для вставки файлов, отличающихся от AV потока (таких, как файлы программы BD) между протяженностями, размещенными с перемежениями.
В верхней части фиг. 87 показан случай, где протяженности AV потока расположены непрерывно. В случае пути воспроизведения для режима L/R в устройстве 2D/3D воспроизведения, EXT2[n] и EXT1[n] расположены непрерывно, и, таким образом, время для перемещения между этими протяженностями представляет собой время перехода для случая, когда расстояние перехода составляет 0 секторов (Tjump0). В случае пути воспроизведения для режима глубины в устройстве 2D/3D воспроизведения, EXT1[n] и EXT3[n+1] расположены непрерывно, и, таким образом, время для перемещения между этими протяженностями представляет собой время перехода для случая, когда расстояние перехода равно 0 секторов (Tjump0). Как пояснялось выше, во время Tjump0, привод может последовательно считывать протяженности с высокой скоростью. Таким образом Tjump0 короче, чем другие времена перехода, как показано на фиг. 64.
Однако, в некоторых случаях, файл, отличающийся от AV потока (такой, как файл программы BD), может быть расположен на том же участке, где расположена протяженность AV потока. В таких случаях невозможно разместить все протяженности непрерывно, в отличие от случая, показанного в верхней части на фиг. 87. Файл, отличающийся от AV потока, вставляют между протяженностями.
Как показано на среднем уровне на фиг. 87, когда файл, отличающийся от AV потока, размещен между EXT1[n] и EXT3[n+1], EXT1[n] и EXT3[n+1] не являются непрерывными, хотя EXT2[n] и EXT1[n] являются непрерывными. В этом случае на пути воспроизведения для режима L/R в устройстве 2D/3D воспроизведения переход между EXT2[n] и EXT1[n] может быть выполнен при Tjump0, поскольку они являются непрерывными. Однако, на пути воспроизведения для режима глубины в устройстве 2D/3D воспроизведения нет никакого участка, на котором протяженности непрерывны (Tjump0). Таким образом, требуется более длительное время перехода, чем путь воспроизведения для режима L/R.
Здесь минимальный размер протяженности SEXT1[n] для воспроизведения без стыков с использованием устройства 2D/3D воспроизведения должен удовлетворять Выражениям (2) и (4). Аналогично, минимальный размер протяженности SEXT2[n] должен удовлетворять Выражению (3), и для SEXT3[n] должен удовлетворять Выражению (5). При компоновке, показанной на среднем уровне на фиг. 87, значение Tjump0 в Выражениях (4) и (5) является большим, и, соответственно, минимальный размер протяженности для SEXT1[n] и SEXT3[n] является большим. Поскольку размер протяженности большой, размер буфера, требуемый для устройства 2D/3D воспроизведения, большой, что обозначено Выражениями (10)-(12).
С учетом этого, когда файлы, отличающиеся от AV потока, вставляют между протяженностями AV потока, каждый файл вставляют между EXT3[n] и EXT2[n] (EXT2[n], EXT1[n] и EXT3[n+1] расположены непрерывно). При такой компоновке путь воспроизведения для режима L/R устройства 2D/3D воспроизведения обеспечивает для привода возможность перемещения от одной протяженности к другой при выполнении Tjump0, поскольку EXT2[n] и EXT1[n] расположены непрерывно. Кроме того, путь воспроизведения для режима глубины устройства 2D/3D воспроизведения обеспечивает возможность для привода перемещения от одной протяженности к другой при выполнении Tjump0, поскольку EXT1[n] и EXT3[n+1] расположены непрерывно. Таким образом, значение Tjump0 в Выражениях (2), (3), (4) и (5) может быть уменьшено, и, соответственно, минимальный размер протяженности может быть меньше, чем при компоновке, показанной на среднем уровне фиг. 87.
Следует отметить, что, когда файл, отличающийся от AV потока, вставляют между EXT3[n] и EXT2[n], размер такого файла может быть ограничен следующим образом.
Как показано в фиг. 88, интервал между концом EXT3[n] и началом EXT2[n] обозначен как GAP (EXT3[n], EXT2[n]) (единицы: блоки). MAX_EXTJUMP3D (единицы: блоки) обозначает максимальное расстояние перехода на участке протяженности с перемежением. Такие ограничения препятствуют тому, чтобы размер протяженности стал слишком большим, в результате чрезмерного увеличения значения Tjump в Выражениях (2), (3), (4) и (5), из-за чрезмерного увеличения интервала между EXT3[n] и EXT2[n].
Следует отметить, что, когда файл, отличающийся от AV потока, вставляют между EXT3[n] и EXT2[n], размер этого файла может быть ограничен следующим образом.
Как показано на фиг. 88, интервал между концом EXT3[n] и началом EXT2[n] обозначен как GAP (EXT3[n], EXT2[n]) (единицы: блоки). MAX_EXTJUMP3D (единицы: блоки) обозначает расстояние максимального перехода на участке протяженности с перемежением. Такие ограничения более эффективно ограничивают минимальный размер протяженности по сравнению с Выражениями (73) и (74). В соответствии с Выражениями (73) и (74), когда MAX_EXTJUMP3D составляет 10000 блоков, например, расстояние перехода между протяженностями может превысить 10000 в зависимости от значений SEXT3[n] и SEXT2[n]. Это увеличивает величину Tjump, например, до 250 мс в примере, показанном на фиг. 64. С другой стороны, Выражения (75) и (76) устанавливают расстояние максимального перехода между протяженностями. Когда MAX_EXTJUMP3D составляет 10000 блоков, например, значение Tjump не превышает фиксированное значение (на фиг. 64, Tjump не превышает 250 мс).
Следует отметить, что, когда файл, отличающийся от AV потока, вставляют между EXT3[n] и EXT2[n], размер файла может быть ограничен следующим образом.
Как показано на фиг. 88, интервал между концом EXT3[n] и началом EXT2[n] обозначен как GAP (EXT3[n], EXT2[n]) (единицы: блоки). MAX_JUMP (SEXT3[n]) (единицы: блоки) обозначает максимальное расстояние перехода (единицы: блоки), которое может быть достигнуто за время, требуемое для перехода с SEXT3[n]. MAX_JUMP (SEXT2[n]) (единицы: блоки) обозначает максимальное расстояние перехода (единицы: блоки), которое может быть достигнуто за время, требуемое для перехода SEXT2[n]. Например, когда SEXT3[n] 5000×2048 (байт), время для перехода через эту протяженность составляет 250 мс, как показано на фиг. 64. В соответствии с таблицей, показанной на фиг. 64, MAX_JUMP (SEXT3[n]) для 250 мс составляет 10000 блоков. Такие ограничения для Выражений (77) и (78) более эффективно ограничивают размер минимальной протяженности, чем в Выражениях (75) и (76), поскольку значение Tjump в выражениях (2), (3), (4) и (5) не изменяется, даже если интервал между EXT3[n] и EXT2[n] изменяется.
Следует отметить, что для протяженностей AV потока, расположенных с перемежением, размеры EXT3[n] и EXT2[n] могут быть ограничены таким образом, что зазор между протяженностями с перемежением не будет допущен.
Как показано на фиг. 88, MAX_EXTJUMP3D (единицы: блоки), обозначает максимальное расстояние перехода на участке протяженности с перемежением. Такие ограничения могут зафиксировать расстояние максимального перехода между протяженностями. Например, когда MAX_EXTJUMP3D составляет 10000 блоков, значение Tjump не превышает заданное фиксированное значение (на фиг. 64 Tjump не превышает 250 мс).
<Второй вариант выполнения>
В первом варианте выполнения, как показано на фиг. 54, данные вводят в целевой декодер системы, используя два буфера, то есть, первый буфер 4921 считывания и второй буфер 4922 считывания. Однако, во втором варианте выполнения поясняется структура, которая реализует 3D воспроизведение видеоизображения, используя только один буфер.
В частности, как показано на фиг. 89, данные вводят в целевой декодер 3703 системы только из буфера 3707 считывания, и, как показано на фиг. 90, данные могут быть введены в блок (1) 4111 восстановления данных пакета источника и в блок (2) 4112 восстановления данных пакета источника из буфера 3707 считывания.
Эта структура может обеспечить возможность уменьшения размера буфера считывания, требуемого для устройства 2D/3D воспроизведения для воспроизведения 3D изображения.
В верхней части на фиг. 91 показан переход количества данных для данных, накапливаемых в первом буфере 4921 считывания во время 3D воспроизведения при использовании двух буферов, то есть, первого буфера 4921 считывания и второго буфер 4922 считывания. На среднем уровне на фиг. 91 показан переход количеств данных для данных, накопленных во втором буфере 4922 считывания во время 3D воспроизведения при использовании двух буферов, то есть, первого буфера 4921 считывания и второго буфера 4922 считывания. Пик количества данных для данных, накапливаемых в первом буфере 4921 считывания в верхней части на фиг. 91 и пик количества данных для данных, накапливаемых во втором буфере 4922 считывания на среднем уровне на фиг. 91 не совпадают друг с другом. Поэтому, при вводе EXT1[n] и EXT2[n] (или EXT3[n]) в первый буфер 4921 считывания размер буфера может быть уменьшен, как показано линией 9601 на нижнем уровне фиг. 91, по сравнению со случаем, когда используются два буфера считывания.
В этом случае, требуется общая скорость системы AV потоков, вводимых в первый буфер 4921 считывания × 192/188, как скорость передачи из первого буфера 4921 считывания. В верхней части на фиг. 92 схематично показан переход количеств данных для данных, накапливаемых в первом буфере 4921 считывания при использовании одного буфера считывания. В верхней части на фиг. 92 показан переход количеств данных, когда 3D изображения воспроизводят в режиме L/R. Кроме того, каждый прямоугольник представляет первый буфер 4921 считывания. В позиции 9701 представлены данные, накапливаемые в буфере (1) 3707 считывания в момент времени, когда EXT2[0], которая представляет собой начальную протяженность блока 3D протяженности, показанную на нижнем уровне фиг. 92, была считана (в положении A). В момент времени, когда будет считана начальная EXT2[0], данные не передают в целевой декодер 3703 системы. Таким образом, данные EXT2[0] накапливаются в буфере. В позиции 9702 представлены данные, накопленные в буфере (1) 3707 считывания в момент времени, когда EXT1[0] считывают (в положении B). Когда данные начинают передавать в целевой декодер 3703 системы, данные EXT2[0], накопленные в буфере (1) 3707 считывания, уменьшают, по мере передачи данных в целевой декодер 3703 системы. Одновременно, данные EXT1[0] накапливают в буфере (1) 3707 считывания, но одновременно их количество уменьшается, по мере передачи этих данных в целевой декодер 3703 системы. В позиции 9703 представлены данные, накопленные в буфере (1) 3707 считывания в момент времени, когда EXT1[0] было считана (в положении C). В позиции 9704 представлены данные, накопленные в буфере (1) 3707 считывания в момент времени, когда EXT2[1] считывают (в положении D). Данные EXT1[0], накопленные в буфере (1) 3707 считывания, уменьшают, по мере передачи данных в целевой декодер 3703 системы. Одновременно, данные EXT2[1] накапливают в буфере (1) 3707 считывания, но при этом их количество уменьшается, поскольку данные передают в целевой декодер 3703 системы. Таким образом, настоящее изобретение может быть реализовано с использованием одного буфера, то есть, буфера (1) 3707 считывания.
Здесь данные передают в целевой декодер 3703 системы в моменты времени, показанные ATS, предоставляемого для пакета источника, как описано выше. Когда два AV потока подают в первый буфер 4921 считывания, и тот же ATS предоставляют в каждый пакет источника, записанный в каждом из двух потоков AV, такие пакеты источника не могут быть переданы из первого буфера 4921 считывания в целевой декодер 3703 системы в одни и те же моменты времени. То есть, данные не могут быть переданы в целевой декодер 3703 системы в моменты времени, показанные ATS. Далее описан пример, в котором используются пакет источника в AV потоке 2D/левого глаза, в котором предусмотрен ATS=100, и пакет источника в потоке DEP файла, в котором предусмотрен ATS=100. Когда пакет источника в AV потоке 2D/левого глаза, для которого предусмотрен ATS=100, передают первым, пакет источника в потоке DEP файла, для которого предусмотрен ATS=100, передают в блок (2) 4112 восстановления данных из пакета источника в целевом декодере системы после того, как пройдет время передачи 1 пакета источника, после времени, представленного ATS. Это может привести к недогрузке буфера в процессе, выполняемом целевым декодером 3703 системы.
Для решения этой задачи, ATS, предоставляемый в пакет источника в AV потоке, устанавливают, как показано в верхней части на фиг. 93. В верхней части на фиг. 93 показана строка пакета источника для AV потока 2D/левого глаза и потока DEP файла, и пакеты источника, расположенные на времени ATC. SP №N обозначает каждый пакет источника, и для суффикса N выполняют последовательное приращение, когда начальный пакет источника в AV потоке равен 0. И стрелка, предусмотренная в начале каждого пакета источника, представляет моменты времени ATC. Размер прямоугольника каждого пакета источника представляет время передачи (ниже называется "временем 9801 передачи 3D пакета источника"), в котором устройство 2D/3D воспроизведения передает каждый пакет источника в целевой декодер системы. Стрелкой 9801 показано время передачи, во время которого устройство 2D/3D воспроизведения передает один пакет источника из буфера (1) 3707 считывания в целевой декодер системы, и стрелка 9802 показывает время передачи (ниже называется "временем 9802 передачи пакета 2D источника"), в которое устройство 2D воспроизведения передает один пакет источника из буфера считывания в целевой декодер системы.
Как показано в верхней части на фиг. 93, интервалы между ATS, предусмотренными для соседних пакетов источника в AV потоке 2D/левого глаза, должны быть равны или более, чем время 9802 передачи 2D пакета источника, в противном случае устройство 2D воспроизведения не сможет вовремя передавать данные в целевой декодер системы. Пример, показанный на нижнем уровне на фиг. 93, является несоответствующим, поскольку интервал между ATS SP №0 и SP №1 в AV потоке 2D/левого глаза меньше, чем время передачи, за которое устройство 2D воспроизведения передает один пакет источника из буфера считывания в целевой декодер системы. Кроме того, (i) интервал между ATS, предусмотренный для пакета источника в потоке DEP файла, и время ATC, полученное путем добавления времени 9801 передачи 3D пакета источника к ATC, не могут накладываться с (ii) интервалом между ATC, предусмотренным для пакета источника в AV потоке 2D/левого глаза, и временем ATC, полученным путем добавления времени 9801 передачи 3D пакета источника к ATS. Пример, показанный на нижнем уровне фиг. 93, является несоответствующим, поскольку SP №2 в потоке DEP файла накладывается на SP №3 в AV потоке 2D/левого глаза.
При составлении AV потоков с такими ограничениями становится возможным предотвратить ввод двух пакетов источника, для каждого из которых предусмотрен одинаковый ATS, в один буфер считывания, то есть, в данном случае, в буфер (1) 3707 считывания.
<Третий вариант выполнения>
Ниже описаны, как и во втором варианте выполнения настоящего изобретения, устройство записи и способ записи, для записи с носителя записи в соответствии с первым вариантом выполнения настоящего изобретения.
Устройство записи, описанное здесь, называется устройством авторской разработки. Устройство авторской разработки, обычно установлено в режиссерской студии, в которой создают содержание кинофильмов для распространения, и используется персоналом, занятым в авторской разработке. Во-первых, в соответствии с операциями, выполняемыми персоналом авторской разработки, устройство записи преобразует содержание кинофильма в цифровой поток, который кодируют со сжатием, в соответствии со спецификацией MPEG, то есть, в файл AV потока. Затем устройство записи генерирует сценарий, который представляет собой информацию, определяющую, как каждое название, включенное в содержание кинофильма, должно быть воспроизведено. В частности, сценарий включает в себя описанную выше информацию динамического сценария и информацию статического сценария. Затем устройство записи генерирует объемное изображение или набор обновления для диска BD-ROM из упомянутых выше цифровых потоков и сценария. Наконец, устройство записи записывает объемное изображение на носителе записи в соответствии с компоновками протяженностей, пояснявшимися в первом варианте выполнения.
На фиг. 93 показана блок-схема, представляющая внутреннюю структуру описанного выше устройства записи. Как показано на фиг. 93, устройство записи включает в себя видеокодер 6301, модуль 6302 формирования материала, модуль 6303 генерирования сценария, модуль 6304 формирования программы BD, модуль 6305 обработки мультиплексирования, модуль 6306 обработки формата и модуль 6307 базы данных.
Модуль 6307 базы данных представляет собой энергонезависимое устройство сохранения, внедренное в устройство записи, и, в частности, накопитель на жестком магнитном диске (HDD, НЖМД). В качестве альтернативы, модуль 6307 базы данных может представлять собой внешний НЖМД, соединенный с устройством записи, энергонезависимое полупроводниковое запоминающее устройство, встроенное в устройство записи, или внешнее энергонезависимое полупроводниковое запоминающее устройство, соединенное с устройством записи.
Видеокодер 6301 принимает видеоданные, такие как несжатые данные растрового отображения, от персонала, занятого в авторской разработке, и сжимает принятые видеоданные в соответствии со схемой сжатия/кодирования, такой как MPEG-4 AVC или MPEG-2. Такой процесс преобразует первичные видеоданные в первичный видеопоток и вторичные видеоданные во вторичный видеопоток. В частности, данные 3D видеоизображения преобразуют в видеопоток основной точки обзора и видеопоток зависимой точки обзора. Видеокодер 6301 преобразует видеопоток левой точки обзора в видеопоток основной точки обзора, выполняя межкадровое предикативное кодирование с изображениями видеопотока левой точки обзора. С другой стороны, видеокодер 6301 преобразует видеопоток правой точки обзора в видеопоток зависимой точки обзора путем выполнения межкадрового предикативного кодирования, используя не только изображения видеопотока правой точки обзора, но также и изображения видеопотока основной точки обзора. Следует отметить, что видеопоток правой точки обзора может быть преобразован в видеопоток основной точки обзора. Кроме того, видеопоток левой точки обзора может быть преобразован в видеопоток зависимой точки обзора. Преобразованные видеопотоки 6311 сохраняют в модуле 6307 базы данных.
Во время описанной выше обработки межкадрового предикативного кодирования видеокодер 6301 дополнительно детектирует векторы движения между левыми видеоизображениями и правыми видеоизображениями, и рассчитывает информацию глубины для каждого 3D видеоизображения на основе детектированных векторов движения. Рассчитанную информацию глубины каждого 3D видеоизображения организуют в информацию 6310 глубины кадра, которую сохраняют в модуле 6307 базы данных.
На фиг. 94A и 94B показаны схемы, представляющие изображение левого видеоизображения и изображение правого видеоизображения, используемые при отображении одной сцены в 3D видеоизображении, и на фиг. 64C показана схема, представляющая информацию глубины, рассчитанную по этим изображениям видеокодером 6301.
Видеокодер 6301 вначале сжимает каждое изображение, используя избыточность между левым и правым изображениями. Затем видеокодер 6301 сравнивает несжатое левое изображение и несжатое правое изображение на основе макроблоков (каждый макроблок содержит матрицу из 8×8 или 16×16 пикселей), таким образом, чтобы детектировать вектор движения для каждого изображения в двух изображениях. В частности, как показано на фиг. 94A и 94B, левое видеоизображение 6401 и правое видеоизображение 6402 каждое разделено на макроблоки 6403, и все они вместе представляют матрицу. Затем области, занятые данными изображения в изображении 6401 и в изображении 6402, сравнивают для каждого макроблока 6403, и вектор движения между этими частями данных изображения детектируют на основе результата сравнения. Например, область, занятая изображением 6404, представляющая "дом" в изображении 6401, по существу, является той же, что и в изображении 6402. В соответствии с этим, вектор движения не детектируют в таких областях. С другой стороны, область, занятая изображением 6405, представляющая "круг" в изображении 6401, по существу, отличается от этой области в изображении 6402. В соответствии с этим, вектор движения, обозначающий смещение между изображениями 6405, представляющими "круг" в изображениях 6401 и 6402, детектируют из этих областей.
Видеокодер 6301 затем использует детектированный вектор движения, не только при сжатии изображений 6401 и 6402, но также и при расчете бинокулярного параллакса, относящегося к 3D видеоизображению, составленному из частей данных 6404 и 6405 изображений. Кроме того, в соответствии с полученным таким образом бинокулярным параллаксом, видеокодер 6301 рассчитывает значения "глубины" каждого изображения, такие, как изображения 6404 и 6405 "дома" и "круга". Информация, обозначающая глубину каждого изображения, может быть организована, например, в виде матрицы 6406 такого же размера, что и матрица макроблоков в изображениях 6401 и 6402, как показано на фиг. 94C. Информация 6310 глубины кадра, показанная на фиг. 93, включает в себя эту матрицу 6406. В такой матрице 6406 блоки 6407 находятся во взаимно-однозначном соответствии с макроблоками 6403 в изображениях 6401 и 6402. Каждый блок 6407 обозначает глубину изображения, показанную соответствующими макроблоками 6403, используя, например, глубину восемь битов. В примере, показанном на фиг. 94A-C, глубину изображения 6405 "круга" сохраняют в каждом из блоков в области 6408 в матрице 6406. Эта область 6408 соответствует всем областям в изображениях 6401 и 6402, которые представляют изображение 6405.
И снова обращаясь к фиг. 93, модуль 6302 формирования материала формирует элементарные потоки, другие, кроме видеопотоков, таких как аудиопоток 6312, поток 6313 PG и поток 6314 IG, и сохраняет сформированные потоки в модуле 6307 базы данных. Например, модуль 6302 формирования материала принимает несжатые аудиоданные LPCM от персонала, занятого авторской разработкой, кодирует несжатые аудиоданные LPCM в соответствии со схемой сжатия/кодирования, такой как AC3, и преобразует кодированные аудиоданные LPCM в аудиопоток 6312. Модуль 6302 формирования материала дополнительно принимает файл информации субтитров от персонала, занятого авторской разработкой, и формирует поток 6313 PG в соответствии с файлом информации субтитров. Файл информации субтитров определяет данные изображения для представления субтитров, моменты времени отображения субтитров и визуальные эффекты, которые должны быть добавлены к субтитрам (например, плавное возникновение и плавное исчезновение). Кроме того, модуль 6302 формирования материала принимает данные растрового изображения и файл меню от персонала, занятого авторской разработкой, и формирует поток 6314 IG в соответствии с данными растрового изображения и файлом меню. Данные растрового отображения представляют изображения, которые должны быть представлены в меню. Файл меню определяет, как каждая кнопка в меню должна быть переведена из одного состояния в другое, и определяет визуальные эффекты, которые должны быть добавлены каждой кнопке.
Модуль 6303 генерирования сценария формирует данные 6315 сценария BD-ROM в соответствии с инструкцией, которая была выработана персоналом авторской разработки и принята через GUI, и затем сохраняет сформированные данные 6315 сценария BD-ROM в модуле 6307 базы данных. Данные 6315 сценария BD-ROM, описанные здесь, представляют собой группу файлов, которая определяет способы воспроизведения элементарных потоков 6311-6314, сохраненных в модуле 6307 базы данных. Из группы файлов, показанной на фиг. 7, данные 6315 сценария BD-ROM включают в себя файл 511 индекса, файл 512 объекта кинофильма и файлы 521-523 списка воспроизведения. Модуль 6303 генерирования сценария дополнительно формирует файл 6316 параметра и передает сформированный файл 6316 параметра в модуль 6305 обработки мультиплексирования. Файл 6316 параметра определяет, среди элементарных потоков 6311-6314, сохраненных в модуле 6307 базы данных, данные потока, которые должны быть мультиплексированы в основной TS и вспомогательный TS.
Модуль 6304 формирования программы BD предоставляет для персонала, занятого авторской разработкой, программную среду для программирования объекта BD-J и программы приложения Java. Модуль 6304 формирования программы BD принимает запрос от пользователя через GUI и формирует каждый исходный код программы в соответствии с этим запросом. Модуль 6304 формирования программы BD дополнительно формирует файл 551 объекта BD-J из объекта BD-J и сжимает программы приложения Java в файле 561 JAR. Файлы 551 и 561 передают в модуль 6306 обработки формата.
Здесь предполагается, что объект BD-J программируют следующим образом: объект BD-J обеспечивает передачу модулями 4606 и 4906 исполнения программы, показанными на фиг. 54 и 59 графических данных для GUI в целевые декодеры 4603 и 4903 системы. Кроме того, объект BD-J обеспечивает обработку целевыми декодерами 4603 и 4903 системы графических данных, как данных плана изображения. В этом случае, модуль 6304 формирования программы BD может устанавливать информацию смещения, которая соответствует данным плана изображения в объекте BD-J, используя информацию 6310 глубины кадра, сохраненную в модуле 6307 базы данных.
В соответствии с файлом 6316 параметра, модуль 6305 обработки мультиплексирования мультиплексирует каждый из элементарных потоков 6311-6314, сохраненных в модуле 6307 базы данных, для формирования файла потока в формате MPEG-2 TS. Более конкретно, как показано на фиг. 10, каждый из элементарных потоков преобразуют в последовательность пакета источника, и пакеты источника, включенные в каждую последовательность, собирают для построения одной части данных мультиплексированного потока. Таким образом, формируют основной TS и вспомогательный TS.
Параллельно с упомянутой выше обработкой, модуль 6305 обработки мультиплексирования формирует файл информации 2D клипа и файл информации клипа зависимой точки обзора, используя следующую процедуру. Вначале генерируют карту 3130 входов, показанную на фиг. 39, для каждого файла 2D и файла DEP. Затем, обращаясь к каждой карте 3130 входа, формируют список 3320 начальной точки протяженности, показанный на фиг. 40. После этого выделяют информацию атрибута потока, показанную на фиг.38 из каждого элементарного потока, который должен быть мультиплексирован в основной TS и вспомогательного TS. Кроме того, как показано на фиг. 38, комбинацию карты входа, часть 3D метаданных, и часть информации атрибута потока ассоциируют с частью информации клипа.
Модуль 6306 обработки формирует изображение 6320 диска BD-ROM структуры директории, показанной на фиг. 7 из (i) данных 6315 сценария BD-ROM, сохраненных в модуле 6307 базы данных, (ii) группы программных файлов, включающих в себя, помимо прочих, файл объекта BD-J, сформированный модулем 6304 формирования программы BD, и (iii) данные мультиплексированного потока и файлы информации клипа, генерируемые модулем 6305 обработки мультиплексирования. В этой структуре директорий UDF используют как систему файлов.
При формировании входов файла для каждого из файлов 2D, файлов DEP и файлов SS, модуль 6306 обработки формата обращается к картам входов и к 3D метаданным, включенным в каждый из файлов информации 2D клипа и файлов информации клипа зависимой точки обзора. SPN для каждой точки входа и начальную точку протяженности, таким образом, используют при формировании каждого дескриптора выделения. В частности, дескрипторы выделения формируют так, чтобы они представляли компоновку с перемежением, показанную на фиг. 15. Файл SS и файл 2D, таким образом, совместно используют каждый блок данных основной точки обзора, и файл SS, и файл DEP, таким образом, совместно используют каждый блок данных зависимой точки обзора. С другой стороны, в местах расположения, в которых необходимо выполнять длинный переход, дескрипторы выделения формируют таким образом, чтобы они представляли одну из компоновок 1-6, соответственно представленных на фиг. 20, 24, 26, 28, 30 и 32. В частности, к некоторым блокам данных основной точки обзора обращаются только посредством дескрипторов выделения в файле 2D, как к блокам, предназначенным исключительно для 2D воспроизведения, и к их данным - дубликатам обращаются только посредством дескрипторов выделения в файле SS, как к блокам, предназначенным исключительно для 3D воспроизведения. Кроме того, размер каждой протяженности для основной точки обзора и зависимой точки обзора устанавливают так, чтобы он удовлетворял выражениям 1-5, и значение логического адреса, показанного каждым дескриптором выделения, определяют соответственно.
Кроме того, путем использования информации 6310 глубины кадра, сохраненной в модуле 6307 базы данных, модуль 6306 обработки формата формирует таблицу смещения, показанную на фиг. 39A, для каждого вторичного видеопотока 6311, потока 6313 PG и потока 6314 IG. Модуль 6306 обработки формата, кроме того, сохраняет таблицу смещения в 3D метаданных для файла информации 2D клипа. В этот момент автоматически регулируют положения частей данных изображения в пределах левого и правого видеокадров таким образом, что в 3D видеоизображениях, представленных одним потоком, исключается наложение с 3D видеоизображениями, представленными другими потоками, в одном и том же визуальном направлении. Кроме того, значение смещения для каждого видеокадра также автоматически регулируют таким образом, чтобы глубину 3D видеоизображений, представленных одним потоком, исключают в соответствии с глубиной 3D видеоизображений, представленных другими потоками.
После этого, изображение 6320 диска BD-ROM, сгенерированное модулем 6306 обработки формата, преобразуют в данные, пригодные для обработки диска BD-ROM. Эти данные затем записывают на мастер-диск BD-ROM, предназначенный для прессования. Массовое производство носителя 100 записи, относящегося к первому варианту выполнения настоящего изобретения, становится возможным, благодаря прессованию с помощью мастер-диска.
<Четвертый вариант выполнения>
В настоящем варианте выполнения описана примерная структура устройства воспроизведения, предназначенного для воспроизведения данных структуры, описанной в более раннем варианте выполнения (фиг. 95), который реализован путем использования интегральной схемы 3.
Модуль 1 интерфейса носителя принимает (считывает) данные с носителя информации и передает эти данные в интегральную схему 3. Следует отметить, что модуль 1 интерфейса носителя принимает данные со структуры, описанной в раннем варианте выполнения. Модуль 1 интерфейса носителя представляет собой, например: привод диска, когда носитель представляет собой оптический или жесткий диск; интерфейс для карты, когда носитель представляет собой полупроводниковое запоминающее устройство, такое как карту SD или запоминающее устройство USB; тюнер CAN или тюнер Si, когда носитель представляет собой волны широковещательный передачи или широковещательную передачу, включая в себя CATV; или сетевой интерфейс, когда носитель представляет собой Ethernet, беспроводную LAN или беспроводную линию общего пользования.
Запоминающее устройство 2 представляет собой запоминающее устройство, предназначенное для временного сохранения данных, принятых (считанных) с носителя, и данных, которые обрабатывают с помощь интегральной схемы 3. Например, SDRAM (СДОЗУ, синхронное динамическое оперативное запоминающее устройство), DDRx SDRAM (СДОЗУ ДОДх, синхронное динамическое оперативное запоминающее устройство с двойным рейтингом данных; x=1, 2, 3…), или подобное, используется как запоминающее устройство 2. Следует отметить, что количество запоминающих устройств 2 не фиксировано, но может составлять одно или два, или более, в соответствии с необходимостью.
Интегральная схема 3 представляет собой системную LSI (БИС, большая интегральная микросхема), предназначенную для выполнения видео/аудио обработки для данных, переданных из модуля 1 интерфейса, и включает в себя модуль 6 основного управления, модуль 5 обработки потока, модуль 7 обработки сигнала, модуль 9 управления памятью и модуль 8 вывода AV.
Модуль 6 основного управления включает в себя ядро процессора, имеющее функцию таймера и функцию обработки прерываний. Ядро процессора управляет интегральной схемой 3, в целом, в соответствии с программой, сохраненной в запоминающем устройстве программы или тому подобное. Следует отметить, что основное программное обеспечение, такое как OS (ОС, операционная система), сохранено в запоминающем устройстве программы или тому подобное заранее.
Модуль 5 обработки потока, под управлением основного модуля 6 управления, принимает данные, переданные с носителя через модуль 1 интерфейса и сохраняет их в запоминающем устройстве 2 через шину данных в интегральной схеме 3. Модуль 5 обработки потока, под управлением основного модуля 6 управления, также разделяет принятые данные на данные видеооснования и данные аудиооснования. Как описано выше, на носителе расположены AV клипы для 2D/L, включающие в себя видеопоток левой точки обзора и AV клипы для R, включающие в себя видеопоток правой точки обзора, расположенные с перемежением, в состоянии, когда каждый клип разделен на некоторые протяженности (например, см. фиг. 41 или фиг. 81 и 82 (множество углов съемки)). В соответствии с этим, основной модуль 6 управления выполняет управление таким образом, что, когда интегральная схема 3 принимает данные для левого глаза, включающие в себя видеопоток левой точки обзора, принимаемые данные сохраняют в первой области в запоминающем устройстве 2; и когда интегральная схема 3 принимает данные правого глаза, включающие в себя видеопоток правой точки обзора, принятые данные сохраняют во второй области в запоминающем устройстве 2. Следует отметить, что данные левого глаза принадлежат протяженности левого глаза, и данные правого глаза принадлежат протяженности правого глаза. Также следует отметить, что первая и вторая области в запоминающем устройстве 2 могут представлять собой области, сгенерированные путем логического разделения запоминающего устройства, или могут быть представлены физически разными запоминающими устройствами. В настоящем варианте выполнения пояснение приведено на основе предположения, что данные левого глаза, включающие в себя видеопоток левой точки обзора, представляют собой данные общего вида, и данные правого глаза, включающие в себя видеопоток правой точки обзора, представляют собой данные подвида. Однако, в качестве альтернативы, данные правого глаза могут представлять собой данные общего вида, и данные левого глаза представляют собой данные подвида.
Модуль 7 обработки сигнала, под управлением основного модуля 6 управления, декодирует, используя соответствующий способ, данные видеооснования и данные аудиооснования, разделенные модулем 5 обработки потока. Данные видеооснования были записаны после кодирования, используя такой способ, как MPEG-2, MPEG-4 AVC, MPEG-4 MVC или SMPTE VC-1. Кроме того, данные аудиооснования были записаны после обработки кодирования со сжатием, используя такой способ, как Dolby AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, или Linear PCM. Таким образом, модуль 7 обработки сигнала декодирует данные видеооснования и данные аудиооснования, используя соответствующие им способы. Модели модуля 7 обработки сигнала представляют собой различные декодеры, соответствующие варианту выполнения 9, показанному на фиг. 65.
Модуль 9 управления памятью выносит решение в отношении модуля 2 памяти, используя функциональные блоки 5-8 интегральной схемы 3.
Модуль 8 AV выхода, под управлением основного модуля 6 управления, выполняет наложение данных видеооснования, которые были декодированы модулем 7 обработки сигнала, или преобразование формата данных видеооснования и т.п., и выводит данные, подвергнутые такой обработке, за пределы интегральной схемы 3.
На фиг. 96 показана функциональная блок-схема, представляющая типичную структуру модуля 5 обработки потока. Модуль 5 обработки потока включает в себя модуль 51 интерфейса устройства/потока, модуль 52 демультиплексирования и модуль 53 переключения.
Модуль 51 интерфейса устройства/потока представляет собой интерфейс для передачи данных между модулем 1 интерфейса и интегральной схемой 3. Модуль 51 интерфейса устройства/потока может представлять собой: SATA (последовательный интерфейс ATA), ATAPI (пакетный интерфейс периферийных устройств для AT совместимых компьютеров) или PATA (параллельный интерфейс ATA), когда носитель представляет собой оптический диск или жесткий диск; интерфейс карты, когда носитель представляет собой полупроводниковое запоминающее устройство, такое как карта SD, или запоминающее устройство USB; интерфейс тюнера, когда носитель представляет собой волны широковещательной передачи или широковещательную передачу, включающую в себя CATV; или сетевой интерфейс, когда носитель представляет собой Ethernet, беспроводную LAN или беспроводную линию связи общего пользования. Модуль 51 интерфейса устройства/потока может иметь часть функции модуля 1 интерфейса, или модуль 1 интерфейса может быть встроен в интегральную схему 3, в зависимости от типа носителя информации.
Модуль 52 демультиплексирования разделяет воспроизводимые данные, передаваемые с носителя, включающие в себя видео и аудиоданные, на данные видеооснования и данные аудиооснования. Каждая протяженность, которая была описана выше, состоит из пакетов источника видеоданных, аудиоданных, PG (субтитров), IG (меню) и т.п. (данные вспомогательного отображения могут не включать в себя аудиоданные). Модуль 52 демультиплексирования разделяет данные воспроизведения на пакеты TS видеооснования и пакеты TS аудиооснования на основе PID (идентификатор), включенного в каждый пакет источника. Модуль 52 демультиплексирования передает данные после разделения в модуль 7 обработки сигнала. Модель модуля 52 демультиплексирования представляет собой, например, блок восстановления данных из пакета источника и фильтр PID в соответствии с вариантом выполнения 9, показанным на фиг. 65.
Модуль 53 переключения переключает место назначения выхода (место назначения сохранения) таким образом, что, когда модуль 51 интерфейса устройства/потока принимает данные левого глаза, принимаемые данные сохраняют в первой области, в запоминающем устройстве 2; и когда интегральная схема 3 принимает данные правого глаза, принимаемые данные сохраняют во второй области, в запоминающем устройстве 2. Здесь модуль 53 переключения представляет собой, например, DMAC (КПДП, контроллер прямого доступа к памяти). На фиг. 97 показана концептуальная схема, представляющая собой модуль 53 переключения и периферийное устройство, когда модуль 53 переключения представляет собой DMAC. DMAC, под управлением основного модуля 6 управления, передает данные, принимаемые интерфейсом потока устройства, и адрес назначения сохранения данных в модуль 9 управления памятью. Более конкретно, DMAC прямого переключает место назначения выхода (место назначения сохранения) в зависимости от принимаемых данных, путем передачи Адреса 1 (первая область сохранения) в модуль 9 управления памятью, когда интерфейс потока устройства принимает данные левого глаза, и передает Адрес 2 (вторая область сохранения) в модуль 9 управления памятью, когда интерфейс потока устройства принимает данные правого глаза. Модуль 9 управления памятью сохраняет данные в запоминающем устройстве 2, в соответствии с адресом места назначения сохранения, переданным из DMAC. Следует отметить, что основной модуль 6 управления управляет модулем 53 переключения, используя начальные точки протяженности (основание файла или файл в зависимости от стереоскопического воспроизведении) включенного в описанный выше CLIPINF, который был принят перед воспроизведением и сохранением данных в запоминающем устройстве 2. Другими словами, основной модуль 6 управления управляет модулем 53 переключения после распознавания данных, принятых модулем 51 IF потока устройства, как данными левого глаза, используемыми основанием файла, и управляет модулем 53 переключения, для переключения места назначения выхода (место назначения сохранения) в запоминающее устройство 2 после распознавания, что данные, принятые модулем 51 IF потока устройства, представляют собой данные правого глаза. Вместо основного модуля 6 управления может быть предусмотрена специализированная схема he 53 для управления.
В приведенном выше описании модуль 51 интерфейса устройства/потока, модуль 52 демультиплексирования и модуль 53 переключения пояснялись как типичная структура модуля 5 обработки потока. Однако, модуль 5 обработки потока может дополнительно включать в себя модуль механизма шифрования, предназначенный для дешифрования принятых зашифрованных данных, данные ключа или тому подобное, модуль надежного управления, предназначенный для управления выполнением протокола аутентификации устройства между носителем и устройством воспроизведения, и для содержания секретного ключа, и контроллер для непосредственного доступа к памяти. Выше пояснялось, что, когда данные, принимаемые с носителя, сохраняют в запоминающем устройстве 2, модуль 53 переключения переключает место назначения сохранения, в зависимости от того, являются ли принимаемые данные данными левого глаза или данными правого глаза. Однако, без ограничения этим, данные, принимаемые с носителя, могут быть временно сохранены в запоминающем устройстве 2, и затем, когда данные требуется передать в модуль 52 разделения, данные могут быть разделены на данные левого глаза и данные правого глаза.
На фиг. 98 показана функциональная блок-схема, представляющая типичную структуру модуля 8 AV выхода. Модуль 8 AV выхода включает в себя модуль 81 наложения изображения, модуль 82 преобразования выходного формата видеоизображения и модуль 83 интерфейса вывода аудио/видеоданных.
Модуль 81 наложения изображения накладывает декодированные данные видеооснования. Более конкретно, модуль 81 наложения изображения накладывает PG (субтитры) и IG (меню) на данные видеоизображения левой точки обзора или данные видеоизображения правой точки обзора в единицах, составляющих изображения. Модель модуля 81 наложения изображения показана, например, в варианте выполнения 11 и на фиг. 98.
Модуль 82 преобразования выходного формата видеоизображения выполняет следующую обработку и т.п., в соответствии с необходимостью: обработку изменения размеров для увеличения или уменьшения декодированных данных видеооснования; обработку IP преобразования для преобразования способа сканирования с последовательного способа на способ чередования и наоборот; процесс уменьшения шумов для удаления шумов; и процесс преобразования частоты кадров для преобразования частоты кадров.
Модуль 83 интерфейса вывода аудио/видеоданных кодирует, в соответствии с форматом передачи данных, данные видеооснования, которые были подвергнуты наложению изображений и преобразованию формата, и декодированные аудиоданные основания. Следует отметить, что, как будет описано ниже, модуль 83 интерфейса вывода аудио/видеоданных может быть предусмотрен за пределами интегральной схемы 3.
На фиг. 99 более подробно показана примерная структура, представляющая модуль 8 AV выхода, или часть выхода данных устройства воспроизведения. Интегральная схема 3 в соответствии с настоящим вариантом выполнения и устройство воспроизведения поддерживают множество форматов передачи данных для данных видеооснования и данных аудиооснования. Модуль 83 интерфейса вывода аудио/видеоданных, показанный на фиг. 98, соответствует модулю 83a интерфейса вывода аналогового видеосигнала, модуля 83b интерфейса вывода цифровых аудио/видеоданных и модуля 83c интерфейса вывода аналогового аудиосигнала.
Модуль 83a интерфейса вывода аналогового видеосигнала преобразует и кодирует данные видеооснования, которые были подвергнуты процессу наложения изображений и процессу преобразования выходного формата, в формат аналогового видеосигнала, и выводит результат преобразования. Модуль 83a интерфейса вывода аналогового видеосигнала представляет собой, например: кодер композитного видеоизображения, который поддерживает любой из способа NTSC, способа PAL и способа SECAM; кодер для сигнала S-изображения (Y/C разделение); кодер для сигнала компонентного изображения; или DAC (D/A преобразователь).
Модуль 83b интерфейса вывода цифровых видео/аудио данных синтезирует декодированные данные аудиооснования с данными видеооснования, которые были подвергнуты наложению изображения и преобразованию выходного формата, шифрует эти синтезированные данные, кодирует в соответствии со стандартом передачи данных, и выводит эти кодированные данные. Модуль 83b интерфейса вывода цифровых видео/аудиоданных представляет собой, например, HDMI (МИВЧ, мультимедийный интерфейс высокой четкости).
Модуль 83c интерфейса вывода аналогового аудиосигнала, представляющий собой аудио DAC или тому подобное, выполняет D/A преобразование для декодированных данных аудио основания и выводит аналоговые аудиоданные.
Формат передачи данных видеооснования и данных аудиооснования можно переключать, в зависимости от устройства приема данных (терминал входа данных), поддерживаемого устройством дисплея/громкоговорителем, или можно переключать в соответствии с выбором пользователя. Кроме того, возможно передавать множество частей данных, соответствующих одному содержанию, параллельно, используя множество форматов передачи, без ограничений на передачу с использованием одного формата передачи.
В приведенном выше описании модуль 81 наложения изображения, модуль 82 преобразования формата выхода видеоданных, и модуль 83 интерфейса вывода аудио/видеоданных пояснялись как типичная структура модуля 8 выхода AV. Однако, модуль 8 выхода AV может дополнительно включать в себя, например, модуль графического механизма, предназначенный для выполнения графической обработки, такой как обработка фильтра, синтез изображения, вычерчивание кривых и 3D отображения.
На этом заканчивает описание структуры устройства воспроизведения в соответствии с настоящим вариантом выполнения. Следует отметить, что все функциональные блоки, включенные в интегральную схему 3, не обязательно могут быть внедрены в нее и, что, наоборот, запоминающее устройство 2, показанное на фиг. 95, может быть внедрено в интегральную схему 3. Кроме того, в настоящем варианте выполнения основной модуль 6 управления и модуль 7 обработки сигнала были описаны, как разные функциональные блоки. Однако, без ограничений этим, основной модуль 6 управления может выполнять часть обработки, выполняемой модулем 7 обработки сигнала.
Прокладку шин управления и шин для передачи данных в интегральной схеме 3 разрабатывают произвольным образом в зависимости от процедуры обработки каждого блока обработки или содержания обработки. Однако шины для передачи данных могут быть расположены таким образом, что блоки обработки будут соединены непосредственно друг с другом, как показано на фиг. 100, или могут быть расположены так, что блоки обработки будут соединены через запоминающее устройство 2 (модуль 9 управления памятью), как показано на фиг. 101.
Интегральная схема 3 может представлять собой модуль из нескольких кристаллов, которые генерируют путем установки множества кристаллов в одном пакете, и внешне может выглядеть как одна LSI.
Также возможно реализовать системную LSI, используя FPGA (ППВМ, программируемая пользователем вентильная матрица), которая может быть перепрограммирована после изготовления LSI, или процессор с изменяемой конфигурацией, в котором конфигурация соединений и установок входящих в микросхему ячеек внутри LSI, может быть изменена.
Далее поясняется работа устройства воспроизведения, имеющего описанную выше структуру.
На фиг. 102 показана блок-схема последовательности операций, представляющая процедуру воспроизведения, в которой данные принимают (считывают) с носителя данных, декодируют и выводят как видеосигнал и аудиосигнал.
S1: данные принимают (считывают) с носителя (модуль 1 интерфейса, модуль 5 обработки потока).
S2: данные, принятые (считанные) на этапе S1, разделяют на различные данные (данные видеооснования и данные аудиооснования) (модуль 5 обработки потока).
S3: различные данные, сгенерированные путем разделения на этапе S2, декодируют с использованием соответствующего формата (модуль 7 обработки сигнала).
S4: среди различных данных, декодированных на этапе S3, данные видеооснования подвергают процессу наложения (модуль 8 выхода AV).
S5: данные видеооснования и данные аудиооснования, которые были подвергнуты обработке на этапах S2-S4, выводят (модуль 8 выхода AV).
На фиг. 103 показана блок-схема последовательности операций, представляющая подробную процедуру воспроизведения. Каждую из операций и процессоров выполняют под управлением основного модуля 6 управления.
S101: модуль 51 интерфейса устройства/потока модуля 5 обработки потока принимают (считывают) данные (PLAYLIST, CLIPINF и т.д.), которые являются другими, чем данные, сохраненные на носителе информации, предназначенном для воспроизведения, и которые необходимы для воспроизведения данных, через модуль 1 интерфейса, и сохраняет принятые данные в запоминающем устройстве 2 (модуль 1 интерфейса, устройство модуль 51 интерфейса устройства/потока, модуль 9 управления памятью, запоминающее устройство 2).
S102: основной модуль 6 управления распознает способ сжатия видео и аудиоданных, сохраненных на носителе информации, обращаясь к атрибуту потока, включенному в принятый CLIPINF, и инициирует модуль 7 обработки сигнала таким образом, что соответствующая обработка декодирования может быть выполнена (основной модуль 6 управления).
S103: модуль 51 интерфейса устройства/потока модуля 5 обработки потока принимает (считывает) данные видео/аудиоданных, которые должны быть воспроизведены с носителя через модуль 1 интерфейса, и сохраняет принятые данные в запоминающем устройстве 2 через модуль 5 обработки потока и модуль 9 управления памятью. Следует отметить, что данные принимают (считывают) в единицах протяженностей, и основной модуль 6 управления управляет модулем 53 переключения таким образом, что, когда данные левого глаза принимают (считывают), принятые данные сохраняют в первой области; и когда принимают (считывают) данные правого глаза, принятые данные сохраняют во второй области, и модуль 53 переключения переключает место назначения выхода данных (место назначения сохранения) (модуль 1 интерфейса, модуль 51 интерфейса устройства/потока, основной модуль 6 управления, модуль 53 переключения, модуль 9 управления памятью, запоминающее устройство 2).
S104: данные, сохраненные в запоминающем устройстве 2, передают в модуль 52 демультиплексирования модуля 5 обработки потока, и модуль 52 демультиплексирования идентифицирует данные видеооснования (основные видеоданные, вспомогательные видеоданные), PG (субтитры), IG (меню) и данные аудиооснования (аудиоданные, вспомогательные данные) на основе PID, включенных в пакеты источника, составляющие данные потока, и передает данные в каждый соответствующий декодер в модуле 7 обработки сигнала в единицах пакетов TS (модуль 52 демультиплексирования).
S105: каждый из модуля 7 обработки сигнала выполняет обработку декодирования для переданных пакетов TS, используя соответствующий способ (модуль 7 обработки сигнала).
S106: среди данных видеооснования, декодированных модулем 7 обработки сигнала, данные, соответствующие видеопотоку левой точки обзора и видеопотоку правой точки обзора, распознают на основе устройства дисплея (модуль 82 преобразования формата выхода видеоданных).
S107: PG (субтитры) и IG (меню) накладывают на видеопоток, размеры которого были преобразованы на этапе S106 (модуль 81 наложения изображения).
S108: IP преобразование, которое представляет собой преобразование способа сканирования, выполняют для видеоданных после наложения на этапе S107 (модуль 82 преобразования выходного формата видеоданных).
S109: кодирование, D/A преобразование и т.п. выполняют для данных видеооснования и данных аудиооснования, которые были подвергнуты описанной выше обработке, на основе формата выхода данных устройства дисплея/громкоговорителя или формата передачи данных для передачи в устройство дисплея/громкоговоритель. Композитный видеосигнал, сигнал S-изображения, сигнал компонентного изображения и т.п. поддерживают для аналогового выхода данных видеооснования. Кроме того, HDMI поддерживают для цифрового выхода данных видеооснования и данных аудиооснования. (Модуль 83 интерфейса выхода аудио/видеоданных).
S110: данные видеооснования и данные аудиооснования, после обработки в процессе S109, выводят и передают в устройство дисплея/громкоговорителя (модуль 83 интерфейса выхода аудио/видеоданных, устройство дисплея/громкоговоритель).
На этом заканчивается описание операции процедуры устройства воспроизведения в настоящем варианте выполнения. Следует отметить, что результат обработки может быть временно сохранен в запоминающем устройстве 2 каждый раз после завершения обработки. Кроме того, при выполнении описанной выше процедуры операции модуль 82 преобразования выходного формата видеоданных выполняет обработку изменения размеров и обработку преобразования IP. Однако, он не ограничивается этим, и обработка может быть исключена в случае необходимости, или могут быть выполнены другие процессы (процесс уменьшения уровня шумов, процесс преобразования частоты кадров и т.д.). Кроме того, процедуры обработки могут быть изменены, если это возможно.
<Дополнительное пояснение>
<<Распределение данных при широковещательной передаче или при использовании схемы передачи данных>>
Носитель записи в соответствии с первым вариантом выполнения настоящего изобретения может представлять собой, в дополнение к оптическому диску, общий, съемный носитель записи, доступный как коробочный носитель записи, такой как портативное полупроводниковое запоминающее устройство, включающее в себя карту памяти SD. Кроме того, в первом варианте выполнения описан пример оптического диска, в котором данные были записаны заранее, а именно, обычного доступного оптического диска, предназначенного только для чтения, такого как BD-ROM или DVD-ROM. Однако, вариант выполнения настоящего изобретения не ограничивается этим. Например, когда устройство терминала записывает 3D видеосодержание, которое было распределено путем широковещательной передачи или по сети, на обычно доступный оптический диск, предназначенный для записи, такой как BD-RE или DVD-RAM, можно использовать компоновку протяженностей в соответствии с описанным выше вариантом выполнения. Здесь устройство терминала может быть внедрено в устройство воспроизведения, или может представлять собой устройство, отличающееся от устройства воспроизведения.
<<Воспроизведение полупроводниковой карты памяти>>
Ниже описан модуль считывания данных устройства воспроизведения в случае, когда полупроводниковую карту памяти используют как носитель записи в соответствии с первым вариантом выполнения настоящего изобретения, вместо оптического диска.
Часть устройства воспроизведения, которая считывает данные с оптического диска, состоит, например, из привода оптического диска. И, наоборот, часть устройства воспроизведения, которая считывает данные из полупроводниковой карты памяти, состоит из особого интерфейса (I/F). В частности, паз для карты предусмотрен в устройстве воспроизведения, и I/F установлен в этом пазу для карты. Когда полупроводниковую карту памяти вставляют в паз для карты, полупроводниковая карта памяти электрически соединяется с устройством воспроизведения через I/F. Кроме того, данные считывают из полупроводниковой карты памяти в устройство воспроизведения через I/F.
<<Технология защиты авторского права для данных, сохраненных на BD-ROM диске>>
Далее описан механизм защиты авторского права данных, записанных на BD-ROM диске, как предположение для следующего дополнительного пояснения.
Учитывая, например, необходимость улучшения защиты авторского права или конфиденциальности данных, возникают случаи, в которых часть данных, записанных на BD-ROM, являются зашифрованными. Зашифрованные данные представляют собой, например, видеопоток, аудиопоток или другой поток. В таком случае зашифрованные данные декодируют следующим образом.
На устройстве воспроизведения записана заранее часть данных, необходимых для генерирования "ключа", предназначенного для использования, для декодирования зашифрованных данных, записанных на BD-ROM диске, а именно, ключа устройства. С другой стороны, на BD-ROM диске записана другая часть данных, необходимых для генерирования "ключа", а именно, блок (MKB) ключа носителя информации и зашифрованные данные "ключа", а именно, зашифрованный ключ названия. Ключ устройства, MKB, и зашифрованный ключ названия ассоциируются друг с другом, и каждый из них дополнительно ассоциирован с определенным ID, записанным на BCA 201, который записан на носителе 100 записи, показанном на фиг. 6, а именно, ID объема. Когда комбинация ключа устройства, MKB, зашифрованного ключа названия и ID объема не корректна, зашифрованные данные не могут быть декодированы. Другими словами, только когда эта комбинация корректна, упомянутый выше "ключ", а именно, ключ названия, может быть сгенерирован. В частности, зашифрованный ключ названия вначале дешифруют, используя ключ устройства, MKB, и ID объема. Только, когда ключ названия может быть получен как результат дешифрования, зашифрованные данные могут быть декодированы, используя ключ названия, как описанный выше "ключ".
Когда устройство воспроизведения пытается воспроизвести зашифрованные данные, записанные на диске BD-ROM, устройство воспроизведения не может воспроизвести зашифрованные данные до тех пор, пока устройство воспроизведения не сохранит на нем ключ устройства, который был ассоциирован заранее с ключом зашифрованного названия, MKB, устройством и ID объема, записанными на диске BD-ROM. Это связано с тем, что ключ, необходимый для декодирования зашифрованных данных, а именно, ключ названия, может быть получен только путем дешифрования зашифрованного ключа названия на основе правильной комбинации MKB, ключа устройства и ID объема.
Для защиты авторского права, по меньшей мере, одного из видеопотока аудиопотока, которые должны быть записаны на диске BD-ROM, поток, предназначенный для защиты, шифруют, используя ключ названия, и зашифрованный поток записывают на диске BD-ROM. Затем генерируют ключ на основе комбинации MKB, ключа устройства и ID объема, и ключ названия шифруют, используя этот ключ таким образом, что его преобразуют в зашифрованный ключ названия. Кроме того, MKB, ID объема и зашифрованный ключ названия записывают на BD-ROM диске. Только устройство воспроизведения, в котором содержится ключ устройства, предназначенный для использования, для генерирования упомянутого выше ключа, может декодировать зашифрованный видеопоток и/или зашифрованный аудиопоток, записанный на BD-ROM диске, используя декодер. Таким образом, становится возможным защитить авторское право данных, записанных на BD-ROM диске.
Описанный выше механизм для защиты авторского права данных, записанных на BD-ROM диске, применим для другого носителя записи, кроме BD-ROM диска. Например, этот механизм может применяться для предназначенного для считывания и предназначенного для перезаписи устройства полупроводниковой памяти и, в частности, для портативной полупроводниковой карты памяти, такой как карта SD.
<<Запись данных на носителе записи через электронное распространение>>
Ниже описана обработка для данных передачи, таких как файл AV потока для 3D видеоизображений (ниже называются "данными распространения"), в устройстве воспроизведения в соответствии с первым вариантом выполнения настоящего изобретения, через электронное распространение, и для обеспечения записи устройством воспроизведения данных распространения на полупроводниковой карте памяти. Следует отметить, что следующие операции могут быть выполнены с помощью специализированного устройства терминала, предназначенного для выполнения обработки, вместо упомянутого выше устройства воспроизведения. Кроме того, следующее описание основано на предположении, что полупроводниковая карта памяти, которая представляет собой место назначения записи, представляет собой карту памяти SD.
Устройство воспроизведения включает в себя описанный паз для карты. Карту памяти SD вставляют в паз для карты. Устройство воспроизведения в этом состоянии вначале передает запрос на передачу данных распространения в сервер распространения по сети. В этот момент устройство воспроизведения считывает информацию идентификации карты памяти SD из карты памяти SD и передает считанную информацию идентификации в сервер распространения вместе с запросом на передачу. Информация идентификации карты памяти SD представляет собой, например, идентификационный номер, специфичный для карты памяти SD и, более конкретно, представляет собой серийный номер карты памяти SD. Информацию идентификации используют, как описанный выше ID объема.
В сервере распространения содержатся части данных распространения. Данные распределения, которые должны быть защищены путем шифрования, такие как видеопоток и/или аудиопоток, были зашифрованы с использованием заданного ключа названия. Зашифрованные данные распространения могут быть дешифрованы, используя тот же ключ названия.
В сервере распространения содержится ключ устройства, как частный ключ, общий с устройством воспроизведения. В сервере распространения дополнительно содержится MKB совместно с картой памяти SD. При приеме запроса на передачу данных распространения и идентификационной информации карты памяти SD из устройства воспроизведения сервер распространения вначале генерирует ключ из ключа устройства, MKB и идентификационной информации, и шифрует ключ названия, используя сгенерированный ключ, для генерирования зашифрованного ключа названия.
Затем сервер распространения генерирует информацию открытого ключа. Информация открытого ключа включает в себя, например, MKB, зашифрованный ключ названия, информацию подписи, идентификационный номер карты памяти SD и список устройства. Информация подписи включает в себя, например, хеш-значение информации открытого ключа. Список устройств представляет собой список устройств, которые должны быть сделаны недействительными, то есть, устройств, которые имеют риск выполнения несанкционированного воспроизведения зашифрованных данных, включенных в данные распространения. Список устройств устанавливает ключ устройства и идентификационный номер для устройства воспроизведения, а также идентификационный номер или функцию (программу) для каждого элемента в устройстве воспроизведения, таком как декодер.
Сервер распространения передает данные распространения и информацию открытого ключа в устройство воспроизведения. Устройство воспроизведения принимает данные распространения и информацию открытого ключа и записывает их в карту памяти SD через особый I/F (интерфейс) паза карты.
Зашифрованные данные распространения, записанные на карту памяти SD, дешифруют, используя информацию открытого ключа, например, следующим образом. Вначале выполняют три типа проверок, как аутентификацию информации открытого ключа. Такие проверки могут быть выполнены в любом порядке.
(1) Соответствует ли информация идентификации карты памяти SD, включенной в информацию открытого ключа, идентификационному номеру, сохраненному в карте памяти SD, вставленной в паз карты?
(2) Соответствует ли хеш-значение, рассчитанное на основе информации открытого ключа, хеш-значению, включенному в информацию подписи?
(3) Было ли устройство воспроизведения исключено из списка устройств, обозначенных информацией открытого ключа, и, в частности, был ли ключ устройства для устройства воспроизведения исключен из списка устройств?
Если, по меньшей мере, один из результатов проверок (1)-(3) будет отрицательным, устройство воспроизведения останавливает обработку дешифрования зашифрованных данных. И, наоборот, если все результаты проверок (1)-(3) будут утвердительными, устройство воспроизведения выполняет авторизацию информации открытого ключа и дешифрует зашифрованный ключ названия, включенный в информацию открытого ключа, используя ключ устройства, MKB и идентификационную информацию карты памяти SD, получая, таким образом, ключ названия. Устройство воспроизведения дополнительно дешифрует зашифрованные данные, используя ключ названия, получая, таким образом, например, видеопоток и/или аудиопоток.
Описанный выше механизм имеет следующее преимущество. Если устройство воспроизведения, составные элементы и функция (программа), которые имеют риск использования без авторизации, уже заранее известны при передаче данных через электронное распространение, соответствующие части информации идентификации представлены в виде списка в списке устройств, и их распространяют как часть информации открытого ключа. С другой стороны, устройство воспроизведения, которое запросило данные распространения, неизбежно должно сравнивать части информации идентификации, включенные в список устройств, с частями информации идентификации устройства воспроизведения, его составными элементами и т.п. В результате, если устройство воспроизведения, его составные элементы и т.п. идентифицированы в списке устройств, устройство воспроизведения не может использовать информацию открытого ключа для дешифрования зашифрованных данных, включенных в данные распространения, даже если комбинация идентификационного номера карты памяти SD, MKB, зашифрованного ключа названия и ключа устройства будут правильными. Таким образом, становится возможным эффективно предотвращать использование данных распространения без авторизации.
Идентификационная информация полупроводниковой карты памяти по желанию записана в области записи, обладающие высокой конфиденциальностью, включенные в область записи полупроводниковой карты памяти. Это связано с тем, что, если идентификационная информация, такая как серийный номер карты памяти SD, будет подделана без авторизации, становится возможным легко реализовать нелегальную копию карты памяти SD. Другими словами, если подделка обеспечивает возможность генерирования множества полупроводниковых карт памяти, имеющих одинаковую информацию идентификации, становится невозможным различать авторизованные продукты и продукты неавторизованной копии при выполнении описанной выше проверки (1). Поэтому, необходимо записывать идентификационную информацию полупроводниковой карты памяти в области записи с высокой конфиденциальностью для защиты идентификационной информации от фальсификации, выполняемой без авторизации.
Область записи с высокой конфиденциальностью выделена в полупроводниковой карте памяти, например, следующим образом. Вначале, в качестве области записи, электрически отсоединенной от области записи, предназначенной для записи нормальных данных (ниже называется "первой областью записи"), предусмотрена другая область записи (ниже называется "второй областью записи"). Затем схема управления, предназначенная исключительно для обращения ко второй области записи, предусмотрена в полупроводниковой карте памяти. В результате, доступ ко второй области записи может быть выполнен только через схему управления. Например, предположим, что только зашифрованные данные записаны на второй области записи, и схема для дешифрования зашифрованных данных внедрена только в схему управления. В результате, доступ к данным, записанным во второй области записи, может быть выполнен только при обеспечении обращения схемы управления для сохранения в ней адреса каждой части данных, записанных во второй области записи. Кроме того, адрес каждой части данных, записанных во второй области записи, может быть сохранен только в схеме управления. В этом случае, только схема управления может идентифицировать адрес каждой части данных, записанных во второй области записи.
В случае, когда информация идентификации полупроводниковой карты памяти записана во второй области записи, тогда, когда программа приложения, работающая в устройстве воспроизведения, получает данные из сервера распространения, используя электронное распространение, и записывает полученные данные в полупроводниковой карте памяти, выполняют следующую обработку. Вначале программа приложения вырабатывает запрос на доступ к схеме управления через I/F карты памяти, для доступа к идентификационной информации полупроводниковой карты памяти, записанной во второй области записи. В ответ на запрос на доступ, схема управления вначале считывает идентификационную информацию из второй области записи. Затем схема управления передает идентификационную информацию в программу приложения через I/F карты памяти. Программа приложения передает запрос на передачу данных распространения вместе с идентификационной информацией. Программа приложения дополнительно записывает в первой области записи полупроводниковой карты памяти, через I/F карты памяти, информацию открытого ключа и данные распространения, принятые из сервера распространения, в ответ на запрос на передачу.
Следует отметить, что предпочтительно, чтобы описанная выше программа приложения проверяла, не была ли сама программа приложения изменена, прежде, чем выработать запрос на доступ к схеме управления полупроводниковой карты памяти. Проверка может быть выполнена с использованием цифрового сертификата, который соответствуют стандарту X.509. Кроме того, необходимо только записать данные распространения в первой области записи полупроводниковой карты памяти, как описано выше. Доступ к данным распространения не должен управляться схемой управления полупроводниковой карты памяти.
<<Применение для записи в режиме реального времени>>
Третий вариант выполнения настоящего изобретения основан на предположении, что файл AV потока и файл списка воспроизведения записаны на диске BD-ROM, используя технологию предварительной записи системы авторской разработки, и пользователям предоставляют записанный файл AV потока и файл списка воспроизведения. В качестве альтернативы, возможно записывать, при выполнении записи в режиме реального времени, файл AV потока и файл списка воспроизведения на перезаписываемый носитель записи, такой как диск BD-RE, диск BD-R, жесткий диск или полупроводниковая карта памяти (ниже называется "диском BD-RE или тому подобное"), и предоставлять пользователю записанный файл AV потока и файл списка воспроизведения. В таком случае файл AV потока может представлять собой транспортный поток, который был получен как результат декодирования в режиме реального времени аналогового входного сигнала, выполняемого устройством записи. В качестве альтернативы, файл AV потока может представлять собой потоки транспортирования, получаемые как результат дифференциации цифрового входного транспортного потока, предоставляемого устройством записи.
Устройство записи, выполняющее запись в режиме реального времени, включает в себя видеокодер, аудиокодер, мультиплексор и блок формирования пакета из данных источника. Видеокодер кодирует видеосигнал, предназначенный для преобразования его в видеопоток. Аудиокодер кодирует аудиосигнал для преобразования его в поток аудиоданных. Мультиплексор умножает видеопоток и аудиопоток для преобразования их в цифровой поток в формате TS MPEG-2. Блок формирования пакетов источника преобразует TS пакеты в цифровой поток в формате TS MPEG-2 в пакеты источника. Устройство записи сохраняет каждый пакет источника в файле AV потока и записывает файл AV потока на диске BD-RE или тому подобное.
Параллельно с обработкой записи файла AV потока модуль управления устройства записи генерирует файл информации клипа и файл списка воспроизведения в запоминающем устройстве, и записывает эти файлы на BD-RE диске или тому подобное. В частности, когда пользователь запрашивает характеристики обработки записи, модуль управления вначале генерирует файл информации клипа в соответствии с файлом AV потока и записывает этот файл на диске BD-RE или тому подобное. В таком случае, каждый раз, когда детектируют начало GOP видеопотока из транспортного потока, принятого снаружи, или каждый раз, когда генерируют GOP видеопотока с помощью видеокодера, модуль управления получает PTS изображения I, которое расположено в начале GOP и SPN пакета источника, в котором было сохранено начало GOP. Модуль управления дополнительно сохраняет пару PTS и SPN, как одну точку входа во всю карту файла информации клипа. В этот момент флаг "is_angle_change" добавляют к точке входа. Флаг is_angle_change устанавливают как "включен", когда заголовок GOP представляет собой IDR изображение, и как "выключен", когда заголовок GOP не является изображением IDR. В файле информации клипа, кроме того, устанавливают информацию атрибута потока в соответствии с атрибутом потока, предназначенного для записи. Таким образом, после записи файла AV потока и файла информации клипа на BD-RE диск или тому подобное, модуль управления генерирует файл списка воспроизведения, используя карту входа в файл информации клипа и записывает файл на диск BD-RE или тому подобное.
<<Управляемая копия>>
Устройство воспроизведения в соответствии с первым вариантом выполнения настоящего изобретения может записывать цифровой поток, записанный на носителе 100 записи, на другом носителе записи через управляемую копию. Здесь управляемой копией называется технология, которая разрешает копирование цифрового потока, файла списка воспроизведения, файла информации клипа и программы приложения с носителя записи, предназначенного только для считывания, такого как BD-ROM диск на носитель записи, предназначенный для записи только в случае, когда аутентификация, полученная в результате обмена данными с сервером, будет успешно выполнена. Такой носитель записи, выполненный с возможностью записи, может представлять собой оптический диск с возможностью записи, такой как BD-R, BD-RE, DVD-R, DVD-RW или DVD-RAM, жесткий диск или портативное полупроводниковое запоминающее устройство, такое как карта памяти SD, запоминающие устройства типа Memory Stick™, Compact Flash™, Smart Media™ или Multimedia Card™. Управляемая копия обеспечивает возможность ограничения количества резервных копий данных, записанных на носителе записи, предназначенных только для считывания и изменения оплаты за резервные копирование.
Когда создают управляемую копию с BD-ROM диска на диск BD-RE, и два диска имеют эквивалентную емкость записи, потоки битов, записываемые на оригинальный диск, могут быть скопированы в том порядке, в котором они расположены.
Если управляемую копию получают между разными типами носителей записи, необходимо выполнить транскодирование. Такое "транскодирование" относится к обработке для регулирования цифровых потоков, записанных на первоначальном диске, в формат приложения носителя записи, который представляет собой место назначения копирования. Например, транскодирование включает в себя процесс преобразования формата MPEG-2 TS в формат потока программы MPEG-2, и процесс уменьшения скорости передачи битов каждого из видеопотока и аудиопотока и повторное кодирование видеопотока и аудиопотока. Во время транскодирования файл AV потока, файл информации клипа и файл списка воспроизведения должны быть сгенерированы при упомянутой выше записи в режиме реального времени.
<<Способ описания структуры данных>>
Среди структур данных в первом варианте выполнения настоящего изобретения повторяющаяся структура "существует множество частей информации, имеющих заданный тип" определена путем описания исходной величины переменной управления и циклического условия для оператора "for". Кроме того, структура данных, "если заданное условие удовлетворяется, определена заданная информация", определена путем описания в операторе "if" условия и переменной, которые устанавливают в момент времени, когда удовлетворяется условие. Таким образом, структура данных, описанная в первом варианте выполнения, описана с использованием языка программирования высокого уровня. В соответствии с этим, структуру данных преобразуют с помощью компьютера в считываемый компьютером код через процесс трансляции, выполняемый компьютером, который включает в себя "анализ синтаксиса", "оптимизацию", "выделение ресурсов" и "генерирование объектного кода", и структуру данных затем записывают на носителе записи. Благодаря описанию на языке программирования высокого уровня, структуру данных обрабатывают, как другую часть, чем способ структуры класса в объектно-ориентированном языке, в частности, как переменную типа массива структуры класса, и она составляет часть программы. Другими словами, структура данных, по существу, эквивалентна программе. Поэтому структура данных должна быть защищена, как изобретение, относящееся к компьютеру.
<<Управление файлом списка воспроизведения и файлом информации клипа, выполняемое программой воспроизведения>>
Когда файл списка воспроизведения и файл AV потока записаны на носителе записи, программа воспроизведения записана на носителе записи в исполнительном формате. Программа воспроизведения обеспечивает воспроизведение компьютером файла AV потока в соответствии с файлом списка воспроизведения. Программу воспроизведения загружают с носителя записи в запоминающее устройство компьютера и затем выполняют с помощью компьютера. Процесс загрузки включает в себя обработку компиляции или обработку связывания. В результате этой обработки программу воспроизведения разделяют на множество участков в запоминающем устройстве. Эти участки включают в себя участок текста, участок данных, участок bss и участок стека. Участок текста включает в себя массив кода программы воспроизведения, исходное значение и данные, не предназначенные для перезаписи. Участок данных включает в себя переменные с исходными значениями и данные, предназначенные для перезаписи. В частности, участок данных включает в себя файл, записанный на устройстве записи, доступ к которому может осуществляться в любой момент времени. Участок bss включает в себя переменные, не имеющие исходного значения. К данным включенным в участок bss, обращаются в соответствии с командами, обозначенными кодом на участке текста. Во время обработки компиляции или обработки связывания, область для участка bss устанавливают отдельно во внутреннем ОЗУ компьютера. Участок стека представляет собой область памяти, временно установленную отдельно от остальных частей, если необходимо. Во время выполнения каждой из обработок программой воспроизведения, временно используются локальные переменные. Эти локальные переменные помещают в участок стека. Когда выполняют программу, переменные из участка bss первоначально устанавливают равными нулю, и необходимую область памяти устанавливают отдельно от участка стека.
Как описано выше, файл списка воспроизведения и файл информации клипа уже преобразованы в устройстве записи в считываемый компьютером код. В соответствии с этим, во время выполнения программы воспроизведения, каждым из этих файлов управляют как "данными, не предназначенными для перезаписи" на участке текста или как "файл, доступ к которому осуществляется в любой момент времени" на участке данных. Другими словами, файл списка воспроизведения и файл информации клипа, каждый включены как составляющий элемент программы воспроизведения в момент его выполнения. Поэтому, файл списка воспроизведения и файл информации клипа выполняют большую роль в программе воспроизведения, чем простое представление данных.
[Промышленная применимость]
На носителе записи информации, относящемся к настоящему изобретению, содержатся 3D видеоданные. Однако, при воспроизведении, как в устройстве воспроизведения для 2D видеоизображения, так и в устройстве воспроизведения для 3D видеоизображения, носитель записи информации может передавать видеосодержание, такое как кинофильм, включающий в себя 3D видеоизображения, на рынок без учета совместимости, что способствует, таким образом, активации рынка кинофильмов, рынка устройств потребления и т.п. Таким образом, носитель записи и устройство воспроизведения, относящиеся к настоящему изобретению, широко применимы в киноиндустрии, промышленности устройств потребления и т.п.
[Список номеров ссылочных позиций]
100 носитель записи
200 устройство воспроизведения
300 устройство дисплея
400 3D очки
500 пульт дистанционного управления
2001 первый блок 3D протяженности
2002 второй блок 3D протяженности
2003 третий блок 3D протяженности
2010 вход в файл в первом 2D файле
2011 вход в файл во втором 2D файле
2020 вход в файл в первом файле SS
2021 вход в файл во втором файле SS
LB граница слоя
D0, D1, D2, D3, D4, блок данных карты глубины
R0, R1, R2, R3, R4 блок данных правой точки обзора
L0, L1, L4 блок данных основной точки обзора
L22D, L32D блок, предназначенный исключительно для 2D воспроизведения
L2ss, L3ss блок, предназначенный исключительно для 3D воспроизведения
EXT2D[0], EXT2D[1], EXT2D[2] 2D протяженность
EXTSS[0], EXTSS[1], EXTSS[2], EXTSS[3], EXTSS[4] 3D протяженность
Изобретение относится к области техники, соответствующей технологии воспроизведения 3D видеоизображения и 2D видеоизображения. Техническим результатом является уменьшение объема буфера, который требуется предоставлять во время стереоскопического воспроизведения. Носитель записи обеспечивает возможность соединения без стыков между предшествующими элементами воспроизведения, которые представляют собой потоковые данные, расположенные перед длинным переходом и последующими элементами воспроизведения, которые представляют собой потоковые данные, расположенные после длинного перехода. Поток с перемежением включает в себя поток общего вида для воспроизведения 2D видеоизображения и поток подвида для воспроизведения 3D видеоизображения в комбинации с потоком общего вида. Блок Ln2D, предназначенный для 2D воспроизведения, расположен так, что он следует после блока 3D протяженности, в которой блок данных карты глубины, блок данных правой точки обзора и блок данных левой точки обзора расположены с перемежением. Блок 3D протяженности, включающий в себя блок L3ss, предназначенный для 3D воспроизведения, расположен между блоком Ln2D и точкой LB длинного перехода. Блок Ln2D и блок L3ss являются идентичными по содержанию. 3 н. и 4 з.п. ф-лы, 104 ил.
1. Носитель записи, на который записан поток с перемежением, включающий в себя множество блоков данных, и информация управления, в котором
поток с перемежением включает в себя поток общего вида, используемый для воспроизведения моноскопического видеоизображения, и поток подвида, используемый для стереоскопического воспроизведения видеоизображения, в комбинации с потоком общего вида,
множество блоков данных включает в себя множество блоков данных общего вида, содержащихся в потоке общего вида, и множество блоков данных подвида, содержащихся в потоке подвида,
информация управления включает в себя информацию 2D управления, которая относится к блокам данных общего вида при воспроизведении моноскопического видеоизображения, и информацию 3D управления, которая относится к блокам данных общего вида при воспроизведении стереоскопического видеоизображения,
множество блоков данных сгруппированы в группу блоков общих данных, группу блоков 2D данных и группу блоков 3D данных,
группа блоков общих данных включает в себя один или более блоков данных общего вида и один или более блоков данных подвида, обращение к блокам данных общего вида, включенным в группу блоков общих данных, выполняют как со стороны информации 2D управления, так и со стороны информации 3D управления,
группа блоков 2D данных включает в себя один или более блоков данных общего вида, к блокам данных общего вида, включенным в группу блоков 2D данных, не обращаются со стороны информации 3D управления и обращаются со стороны информации 2D управления,
группа блоков 3D данных включает в себя один или более из блоков данных общего вида и один или более блоков данных подвида, к блокам данных общего вида, включенным в группу блоков 3D данных, не обращаются со стороны информации 2D управления и обращаются со стороны информации 3D управления,
группа блоков 2D данных записана в области, доступ к которой осуществляется непосредственно перед длинным переходом, который происходит при воспроизведении моноскопического видеоизображения, и логический адрес которой следует за логическим адресом области, в которой записана группа блоков общих данных, и
группа блоков 3D данных записана в области, доступ к которой осуществляют непосредственно перед длинным переходом, который происходит при воспроизведении стереоскопического видеоизображения, и логический адрес которой следует за логическим адресом области, в которой записана группа блоков 2D данных, и
блоки данных общего вида, включенные в группу блоков 2D данных, и блоки данных общего вида, включенные в группу блоков 3D данных, идентичны по содержанию.
2. Носитель записи по п.1, в котором
штамп времени представления последнего изображения, включенного в группу блоков 2D данных, и штамп времени представления последнего изображения, включенного в группу блоков 3D данных, соответствуют друг другу.
3. Носитель записи по п.2, на который дополнительно записана информация пути воспроизведения, которая обозначает путь воспроизведения, с использованием множества блоков воспроизведения, причем
воспроизведение без стыков с последующим участком воспроизведения обеспечивается для каждого участка воспроизведения, определенного для группы блоков 2D данных, и каждого участка воспроизведения, определенного для группы блоков 3D данных.
4. Носитель записи по п.1, в котором
группа блоков 3D данных имеет размер данных, который не вызывает незаполнение буфера в устройстве воспроизведения во время длинного перехода, который происходит при стереоскопическом воспроизведении, и
группа блоков 2D данных имеет размер данных, который при считывании непосредственно после группы блоков общих данных не вызывает незаполнение буфера в устройстве воспроизведения во время длинного перехода, который происходит при воспроизведении моноскопического видеоизображения.
5. Носитель записи по п.1, содержащий множество слоев записи, причем
каждый длинный переход представляет собой переход с одного из слоев записи на другой один из слоев записи.
6. Устройство воспроизведения, предназначенное для воспроизведения видеоизображения с носителя записи, на котором были записаны поток с перемежением, включающий в себя множество блоков данных, и информация управления, причем
поток с перемежением включает в себя поток общего вида, используемый для воспроизведения моноскопического видеоизображения, и поток подвида, используемый для воспроизведения стереоскопического видеоизображения, в комбинации с потоком общего вида,
множество блоков данных включает в себя множество блоков данных общего вида, содержащихся в потоке общего вида, и множество блоков данных подвида, содержащихся в потоке подвида,
информация управления включает в себя информацию 2D управления, которая обращается к блокам данных общего вида во время воспроизведения моноскопического видеоизображения, и информацию 3D управления, которая обращается к блокам данных общего вида при воспроизведении стереоскопического видеоизображения,
множество блоков данных сгруппированы в общую группу блоков данных, группу блоков 2D данных и группу блоков 3D данных,
группа блоков общих данных включает в себя один или более из блоков данных общего вида и один или более из блоков данных подвида, причем к блокам данных общего вида, включенным в группу блоков общих данных, обращаются как информация 2D управления, так и информация 3D управления,
группа блоков 2D данных включает в себя один или более из блоков данных общего вида, причем к блокам данных общего вида, включенным в группу блоков 2D данных, не обращается информация 3D управления и обращается информация 2D управления,
группа блоков 3D данных включает в себя один или более из блоков данных общего вида и один или более из блоков данных подвида, причем к блокам данных общего вида, включенным в группу блоков 3D данных, не обращается информация 2D управления и обращается информация 3D управления,
группа блоков 2D данных записана в области, доступ к которой осуществляется непосредственно перед длинным переходом, который происходит при воспроизведении моноскопического видеоизображения, и логический адрес которой следует за логическим адресом области, в которую записана группа блоков общих данных, и
группа блоков 3D данных записана в области, доступ к которой осуществляется непосредственно перед длинным переходом, который происходит при воспроизведении стереоскопического видеоизображения, и логический адрес которой следует за логическим адресом области, в которой записана группа блоков 2D данных,
блоки данных общего вида, включенные в группу блоков 2D данных, и блоки данных общего вида, включенные в группу блоков 3D данных, являются идентичными по содержанию, и
устройство воспроизведения содержит:
модуль считывания, который во время работы считывает поток с перемежением с носителя записи;
модуль разделения, который во время работы выделяет поток общего вида и поток подвида путем разделения блоков данных общего вида и блоков данных подвида от потока с перемежением;
буфер считывания, который во время работы сохраняет выделенный поток общего вида и поток подвида; и
декодер, который во время работы принимает сжатое изображение, включенное в поток общего вида, и поток подвида из буфера считывания и декодирует сжатое изображение, причем
модуль считывания считывает блоки данных общего вида, используя информацию 2D управления при воспроизведении моноскопического видеоизображения, и
модуль разделения выделяет поток общего вида путем отделения блоков данных общего вида от потока с перемежением, используя информацию 3D управления.
7. Полупроводниковая интегральная схема, предназначенная для выполнения обработки аудио- и видеосигналов на данных, принятых с носителя записи, на котором записаны поток с перемежением, состоящий из множества блоков данных, и информация управления, причем
поток с перемежением включает в себя поток общего вида, используемый для воспроизведения моноскопического видеоизображения, и поток подвида, используемый для воспроизведения стереоскопического видеоизображения, в комбинации с потоком общего вида,
множество блоков данных включает в себя множество блоков данных общего вида, содержащихся в потоке общего вида, и множество блоков данных подвида, содержащихся в потоке подвида,
информация управления включает в себя информацию 2D управления, которая обращается к блокам данных общего вида при воспроизведении моноскопического видеоизображения, и информацию 3D управления, которая обращается к блокам данных общего вида при воспроизведении стереоскопического видеоизображения,
множество блоков данных сгруппировано в группу блоков общих данных, группу блоков 2D данных и группу блоков 3D данных,
группа блоков общих данных включает в себя один или более из блоков данных общего вида и один или более из блоков данных подвида, к блокам данных общего вида, включенным в группу блоков общих данных, обращается как информация 2D управления, так и информация 3D управления,
группа блоков 2D данных включает в себя один или более из блоков данных общего вида, причем к блокам данных общего вида, включенным в группу блоков 2D данных, не обращается информация 3D управления и обращается информация 2D управления,
группа блоков 3D данных включает в себя один или более из блоков данных общего вида и один или более из блоков данных подвида, причем к блокам данных общего вида, включенным в группу блоков 3D данных, не обращается информация 2D управления и обращается информация 3D управления,
группа блоков 2D данных записана в области, доступ к которой осуществляют непосредственно перед длинным переходом, который происходит при воспроизведении моноскопического видеоизображения, и логический адрес которой следует за логическим адресом области, в которой записана группа блоков общих данных, и
группа блоков 3D данных записана в области, доступ к которой осуществляют непосредственно перед длинным переходом, который происходит при воспроизведении стереоскопического видеоизображения, и логический адрес которой следует за логическим адресом области, в которой записана группа блоков 2D данных,
блоки данных общего вида, включенные в группу блоков 2D данных, и блоки данных общего вида, включенные в группу блоков 3D данных, являются идентичными по содержанию,
блоки данных общего вида и блоки данных подвида оба включают в себя видеоданные,
по меньшей мере, один из блоков данных общего вида и блоков данных подвида включает в себя аудиоданные, и
полупроводниковая интегральная микросхема содержит:
основной модуль управления, который во время работы управляет полупроводниковой интегральной схемой;
модуль обработки потока, который во время работы принимает поток с перемежением и после временного сохранения принятого потока с перемежением в одном из модулей памяти, расположенных внутри и снаружи полупроводниковой интегральной схемы, демультиплексирует принятый поток с перемежением на видеоданные и аудиоданные;
модуль обработки сигнала, который во время работы декодирует аудиоданные и видеоданные; и
модуль AV выхода, который во время работы выводит декодированные аудиоданные и декодированные видеоданные, причем
модуль обработки потока включает в себя модуль переключения, который переключает место положения сохранения принятого потока с перемежением в запоминающем устройстве, которое имеет первую область и вторую область,
во время воспроизведения стереоскопического видеоизображения основной модуль управления обеспечивает сохранение модулем переключения данных, содержащихся в блоках данных общего вида в первой области, и сохранение данных, содержащихся в блоках данных подвида во второй области, и
основной модуль управления использует информацию 3D управления при обеспечении сохранения модулем переключения данных, содержащихся в блоках данных общего вида в первой области.
| Станок для изготовления деревянных ниточных катушек из цилиндрических, снабженных осевым отверстием, заготовок | 1923 |
|
SU2008A1 |
| Установка для изучения фрикционных свойств материалов | 1980 |
|
SU888018A1 |
| JP 2000134642 A, 12.05.2000 | |||
| JP 3272271 B2, 08.04.2002 | |||
| СИСТЕМА ОБЪЕМНОЙ ВИДЕОЗАПИСИ И ВОСПРОИЗВЕДЕНИЯ | 2006 |
|
RU2315439C1 |
