СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2014 года по МПК H04N19/597 H04N13/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к способу кодирования изображений, который включает в себя: видеослой по формированию кодированного потока путем кодирования изображения, состоящего из одного или нескольких изображений; и системный слой по формированию системного потока для передачи или хранения кодированного потока.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Рекомендация H.264 ITU-T (Международный союз электросвязи - Сектор стандартизации телекоммуникаций) содержит стандарт-расширение, называемый Масштабируемым кодированием видеосигнала (SVC), для достижения пространственной масштабируемости и временной масштабируемости.

SVC обеспечивает масштабируемость с помощью множества слоев, которые включают в себя базовый слой, слой расширения и т.п. Например, изображение с низким разрешением получается из базового слоя, а изображение с высоким разрешением получается из слоя расширения.

В SVC пространственная масштабируемость означает масштабируемость в разрешении изображения, размере изображения или т.п., тогда как временная масштабируемость означает масштабируемость в частоте кадров или т.п. Управление ими на множестве уровней приводит к ранжированному качеству.

Рекомендация H.264 ITU-T также содержит стандарт-расширение, называемый Многовидовым (многоплановым) кодированием видеосигнала (MVC), который дает возможность эффективного кодирования множества изображений для множества видов.

В MVC кодируется множество изображений для множества видов (планов), которые включают в себя базовый вид (также называемый независимым видом) и неосновной вид (также называемый зависимым видом). Кодирование может выполняться с использованием межвидового предсказания. Например, изображение неосновного вида кодируется с использованием изображения базового вида в качестве предсказывающего изображения. Это повышает эффективность кодирования.

Непатентные источники информации (NPL) с 1 по 5 описывает стандарты для идентификации вышеупомянутых стандартов-расширений в системах MPEG-2 для кодирования изображений и звука.

СПИСОК ИСТОЧНИКОВ

Непатентные источники информации [NPL 1]

ITU-T Rec. H.222.0 | ISO/IEC 13818-1

[NPL 2]

ISO/IEC 13818-1: 2007/Amd 4: 2009

[NPL 3]

Рекомендация H.222.0 (2006), изменение 4 (12/09) "Transport of multiview video over ITU-T Rec. H.222.0 | ISO/IEC 13818-1"

[NPL 4]

ISO/IEC 13818-1: 2007/Amd 3: 2009

[NPL 5]

Рекомендация H.222.0 (2006), изменение 3 (03/09) "Transport of scalable video over ITU-T Rec. H.222.0 | ISO/IEC 13818-1"

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Однако традиционному SVC не хватает спецификаций для обработки трехмерных изображений, и поэтому оно не может обрабатывать трехмерные изображения. Традиционное MVC может обрабатывать трехмерные изображения, но не может обрабатывать трехмерные изображения с разными разрешениями.

Например, существует формат видеоизображения, называемый SBS (англ. Side By Side, дословно "Бок о бок"), который делит область изображения на две области - левую и правую, и размещает изображение для левого глаза в левой области, а изображение для правого глаза - в правой области. В SBS разрешение каждой стороны составляет половину обычного разрешения. Если точнее, то в среде Full HD с разрешением 1920 пикселей × 1080 пикселей каждая сторона в SBS имеет половину разрешения Full HD.

Традиционное SVC и традиционное MVC не содержат функции кодирования изображения с использованием формата видеоизображения SBS, так что базовый слой обеспечивает половину разрешения Full HD, а слой расширения обеспечивает разрешение Full HD.

Предположим, что изображение кодируется в формате видеоизображения SBS в соответствии с традиционным MVC или традиционным SVC. Сложно отличить друг от друга поток двоичных сигналов, полученный с использованием SBS, и поток двоичных сигналов, полученный без использования SBS. Если подробнее, то сложно определить разницу между форматами видеоизображений в системном слое в NPL 1 (ITU-T Rec. H.222.0 | ISO/IEC 13818-1) и т.п. Устройство декодирования изображений должно иметь сложную конструкцию для определения такой разницы.

В связи с этим настоящее изобретение имеет задачей предоставление способа кодирования изображений и способа декодирования изображений, которые могут должным образом обрабатывать формат трехмерного видеоизображения, включающий базовый слой и слой расширения.

РЕШЕНИЕ ЗАДАЧИ

Чтобы решить заявленную задачу, способ кодирования изображений в соответствии с настоящим изобретением является способом кодирования изображений, включающим: видеослой по формированию кодированного потока путем кодирования изображения, состоящего из одного или нескольких изображений; и системный слой по формированию системного потока для передачи или хранения кодированного потока, причем видеослой включает в себя кодирование изображения для формирования кодированного потока, а системный слой включает в себя мультиплексирование кодированного потока, сформированного при кодировании, и идентификатора для формирования системного потока, причем идентификатор указывает, является ли формат изображения лево-правым смешанным форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении, где кодирование включает в себя кодирование изображения, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении, чтобы сформировать кодированный поток, в случае, где формат изображения является лево-правым смешанным форматом.

Таким образом, способ кодирования изображений в соответствии с настоящим изобретением может формировать системный поток, который дает возможность определения в системном слое на декодирующей стороне, имеет ли изображение лево-правый смешанный формат. Поэтому способ кодирования изображений в соответствии с настоящим изобретением может должным образом обрабатывать формат трехмерного видеоизображения, включающий базовый слой и слой расширения.

Кроме того, системный слой может быть совместим с системами MPEG-2, где видеослой совместим со схемой многовидового кодирования видеосигнала, кодирование включает в себя кодирование изображения в соответствии со схемой многовидового кодирования видеосигнала для формирования кодированного потока, и мультиплексирование включает в себя вставку идентификатора в дескриптор для схемы многовидового кодирования видеосигнала и мультиплексирование кодированного потока и дескриптора, который включает в себя идентификатор, для формирования системного потока.

Таким образом, изображение кодируется в соответствии со схемой многовидового кодирования видеосигнала, и идентификатор вставляется в дескриптор для схемы многовидового кодирования видеосигнала. Поэтому способ кодирования изображений в соответствии с настоящим изобретением может формировать надлежащий системный поток с использованием дескриптора.

Кроме того, видеослой может быть совместим с H.264 MVC, где дескриптор для схемы многовидового кодирования видеосигнала является дескриптором MVC для H.264 MVC, кодирование включает в себя кодирование изображения в соответствии с H.264 MVC для формирования кодированного потока, и мультиплексирование включает в себя вставку идентификатора в дескриптор MVC для H.264 MVC и мультиплексирование кодированного потока и дескриптора MVC, который включает в себя идентификатор, для формирования системного потока.

Таким образом, изображение кодируется в соответствии с H.264 MVC, и идентификатор вставляется в дескриптор MVC для H.264 MVC. Поэтому способ кодирования изображений в соответствии с настоящим изобретением может формировать надлежащий системный поток с использованием дескриптора MVC.

Кроме того, кодирование может включать в себя: кодирование изображения лево-правого смешанного формата в случае, где форматом изображения является лево-правый смешанный формат; и кодирование изображения лево-правого независимого формата в случае, где форматом изображения не является лево-правый смешанный формат, причем лево-правый независимый формат является форматом, который включает в себя изображение левого плана и изображение правого плана в виде отдельных изображений.

Таким образом, способ кодирования изображений в соответствии с настоящим изобретением может кодировать изображение лево-правого смешанного формата или изображение лево-правого независимого формата.

Кроме того, системный слой может быть совместим с системами MPEG-2, где видеослой совместим со схемой масштабируемого кодирования видеосигнала, кодирование включает в себя кодирование изображения в соответствии со схемой масштабируемого кодирования видеосигнала для формирования кодированного потока, и мультиплексирование включает в себя вставку идентификатора в дескриптор для схемы масштабируемого кодирования видеосигнала и мультиплексирование кодированного потока и дескриптора, который включает в себя идентификатор, для формирования системного потока.

Таким образом, изображение кодируется в соответствии со схемой масштабируемого кодирования видеосигнала, и идентификатор вставляется в дескриптор для схемы масштабируемого кодирования видеосигнала. Поэтому способ кодирования изображений в соответствии с настоящим изобретением может формировать надлежащий системный поток с использованием дескриптора.

Кроме того, видеослой может быть совместим с H.264 SVC, где дескриптор для схемы масштабируемого кодирования видеосигнала является дескриптором SVC для H.264 SVC, кодирование включает в себя кодирование изображения в соответствии с H.264 SVC для формирования кодированного потока, и мультиплексирование включает в себя вставку идентификатора в дескриптор SVC для H.264 SVC и мультиплексирование кодированного потока и дескриптора SVC, который включает в себя идентификатор, для формирования системного потока.

Таким образом, изображение кодируется в соответствии с H.264 SVC, и идентификатор вставляется в дескриптор SVC для H.264 SVC. Поэтому способ кодирования изображений в соответствии с настоящим изобретением может формировать надлежащий системный поток с использованием дескриптора SVC.

Кроме того, кодирование может включать в себя: кодирование изображения для стереоскопического отображения в случае, где форматом изображения является лево-правый смешанный формат; и кодирование изображения для моноскопического отображения в случае, где форматом изображения не является лево-правый смешанный формат.

Таким образом, способ кодирования изображений в соответствии с настоящим изобретением может кодировать изображение для стереоскопического отображения или изображение для моноскопического отображения.

Кроме того, способ кодирования изображений может дополнительно включать в себя формирование изображения в лево-правом смешанном формате путем (i) формирования изображения, в качестве изображения базового слоя, в котором первая часть левого изображения, которое является изображением левого плана, включается в область изображения левого плана, а вторая часть правого изображения, которое является изображением правого плана, включается в область изображения правого плана, и (ii) формирования изображения, в качестве изображения слоя расширения, в котором третья часть левого изображения включается в область изображения левого плана, а четвертая часть правого изображения включается в область изображения правого плана, причем третья часть отличается от первой части, а четвертая часть отличается от второй части, где кодирование включает в себя кодирование изображения, сформированного при формировании для формирования кодированного потока, при кодировании изображения лево-правого смешанного формата.

Таким образом, изображение слоя расширения формируется из части, отличной от части, которая соответствует изображению базового слоя. Такое изображение базового слоя и изображение слоя расширения обеспечивают ранжированную точность.

Кроме того, способ кодирования изображений может дополнительно включать в себя формирование изображения в лево-правом смешанном формате путем (i) формирования изображения, в качестве изображения базового слоя, в котором первая часть левого изображения, которое является изображением левого плана, включается в область изображения левого плана, а вторая часть правого изображения, которое является изображением правого плана, включается в область изображения правого плана, и (ii) формирования изображения, в качестве изображения слоя расширения, в котором все левое изображение или третья часть левого изображения включается в область изображения левого плана, а все правое изображение или четвертая часть правого изображения включается в область изображения правого плана, причем третья часть включает в себя первую часть, а четвертая часть включает в себя вторую часть, где кодирование включает в себя кодирование изображения, сформированного при формировании для формирования кодированного потока, при кодировании изображения лево-правого смешанного формата.

Таким образом, изображение слоя расширения формируется из части, включающей в себя часть, которая соответствует изображению базового слоя. Такое изображение базового слоя и изображение слоя расширения обеспечивают ранжированную точность.

Способ декодирования изображений в соответствии с настоящим изобретением может быть способом декодирования изображений, включающим: системный слой по получению кодированного потока из системного потока для передачи или хранения кодированного потока, который включает в себя изображение, состоящее из одного или нескольких изображений; и видеослой по декодированию изображения, включенного в кодированный поток, причем системный слой включает в себя демультиплексирование системного потока на кодированный поток и идентификатор для получения кодированного потока и идентификатора, причем идентификатор указывает, является ли формат изображения лево-правым смешанным форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении, видеослой включает в себя декодирование изображения, включенного в кодированный поток, полученный при демультиплексировании, и способ декодирования изображений дополнительно включает в себя вывод изображения, декодированного при декодировании, в режиме вывода, заданном в соответствии с идентификатором, полученным при демультиплексировании, где декодирование включает в себя декодирование изображения, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении, в случае, где формат изображения является лево-правым смешанным форматом.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением может переключать режим вывода изображения в соответствии с идентификатором, указывающим, имеет ли изображение лево-правый смешанный формат. Поэтому способ декодирования изображений в соответствии с настоящим изобретением может должным образом обрабатывать формат трехмерного видеоизображения, включающий базовый слой и слой расширения.

Кроме того, системный слой может быть совместим с системами MPEG-2, где видеослой совместим со схемой многовидового кодирования видеосигнала, демультиплексирование включает в себя демультиплексирование системного потока на кодированный поток и дескриптор для схемы многовидового кодирования видеосигнала, чтобы получить кодированный поток и идентификатор, включенный в дескриптор, и декодирование включает в себя декодирование изображения, кодированного в соответствии со схемой многовидового кодирования видеосигнала.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением может декодировать изображение, кодированное в соответствии со схемой многовидового кодирования видеосигнала, и получить идентификатор из дескриптора для схемы многовидового кодирования видеосигнала. Поэтому способ декодирования изображений в соответствии с настоящим изобретением может должным образом обрабатывать лево-правый смешанный формат.

Кроме того, видеослой может быть совместим с H.264 MVC, где дескриптор для схемы многовидового кодирования видеосигнала является дескриптором MVC для H.264 MVC, демультиплексирование включает в себя демультиплексирование системного потока на кодированный поток и дескриптор MVC для H.264 MVC, чтобы получить кодированный поток и идентификатор, включенный в дескриптор MVC, и декодирование включает в себя декодирование изображения, кодированного в соответствии с H.264 MVC.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением может декодировать изображение, кодированное в соответствии с H.264 MVC, и получить идентификатор из дескриптора MVC для H.264 MVC. Поэтому способ декодирования изображений в соответствии с настоящим изобретением может должным образом обрабатывать лево-правый смешанный формат.

Кроме того, декодирование может включать в себя: декодирование изображения лево-правого смешанного формата в случае, где форматом изображения является лево-правый смешанный формат; и декодирование изображения лево-правого независимого формата в случае, где форматом изображения не является лево-правый смешанный формат, причем лево-правый независимый формат является форматом, который включает в себя изображение левого плана и изображение правого плана в виде отдельных изображений.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением может декодировать изображение лево-правого смешанного формата или изображение лево-правого независимого формата.

Кроме того, системный слой может быть совместим с системами MPEG-2, где видеослой совместим со схемой масштабируемого кодирования видеосигнала, демультиплексирование включает в себя демультиплексирование системного потока на кодированный поток и дескриптор для схемы масштабируемого кодирования видеосигнала, чтобы получить кодированный поток и идентификатор, включенный в дескриптор, и декодирование включает в себя декодирование изображения, кодированного в соответствии со схемой масштабируемого кодирования видеосигнала.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением может декодировать изображение, кодированное в соответствии со схемой масштабируемого кодирования видеосигнала, и получить идентификатор из дескриптора для схемы масштабируемого кодирования видеосигнала. Поэтому способ декодирования изображений в соответствии с настоящим изобретением может должным образом обрабатывать лево-правый смешанный формат.

Кроме того, видеослой может быть совместим с H.264 SVC, где дескриптор для схемы масштабируемого кодирования видеосигнала является дескриптором SVC для H.264 SVC, демультиплексирование включает в себя демультиплексирование системного потока на кодированный поток и дескриптор SVC для H.264 SVC, чтобы получить кодированный поток и идентификатор, включенный в дескриптор SVC, и декодирование включает в себя декодирование изображения, кодированного в соответствии с H.264 SVC.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением может декодировать изображение, кодированное в соответствии с H.264 SVC, и получить идентификатор из дескриптора SVC для H.264 SVC. Поэтому способ декодирования изображений в соответствии с настоящим изобретением может должным образом обрабатывать лево-правый смешанный формат.

Кроме того, декодирование может включать в себя: декодирование изображения для стереоскопического отображения в случае, где форматом изображения является лево-правый смешанный формат; и декодирование изображения для моноскопического отображения в случае, где форматом изображения не является лево-правый смешанный формат.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением может декодировать изображение для стереоскопического отображения или изображение для моноскопического отображения.

Кроме того, способ декодирования изображений может дополнительно включать в себя формирование левого изображения, которое является изображением левого плана, и правого изображения, которое является изображением правого плана, в случае, где форматом изображения является лево-правый смешанный формат, где формирование включает в себя: получение первой части левого изображения из области изображения левого плана в изображении базового слоя, причем изображение базового слоя является изображением базового слоя и включается в изображение, декодированное при декодировании; получение второй части правого изображения из области изображения правого плана в изображении базового слоя; получение третьей части левого изображения из области изображения левого плана в изображении слоя расширения, причем изображение слоя расширения является изображением слоя расширения и включается в изображение, декодированное при декодировании, причем третья часть отличается от первой части; получение четвертой части правого изображения из области изображения правого плана в изображении слоя расширения, причем четвертая часть отличается от второй части; формирование левого изображения из полученной первой части и полученной третьей части; и формирование правого изображения из полученной второй части и полученной четвертой части, и вывод включает в себя вывод, в качестве изображения, левого изображения и правого изображения, сформированных при формировании, в случае, где форматом изображения является лево-правый смешанный формат.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением может формировать левое изображение с высоким разрешением и правое изображение с высоким разрешением путем объединения изображения базового слоя и изображения слоя расширения.

Кроме того, способ декодирования изображений может дополнительно включать в себя формирование левого изображения из области изображения левого плана в декодированном изображении и правого изображения из области изображения правого плана в декодированном изображении в случае, где форматом изображения является лево-правый смешанный формат, причем левое изображение является изображением левого плана, правое изображение является изображением правого плана, а декодированное изображение является изображением одного из базового слоя и слоя расширения и включается в изображение, декодированное при декодировании, где вывод включает в себя вывод, в качестве изображения, левого изображения и правого изображения, сформированных при формировании, в случае, где форматом изображения является лево-правый смешанный формат.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением может формировать левое изображение и правое изображение из любого изображения базового слоя и изображения слоя расширения. Поэтому способ декодирования изображений в соответствии с настоящим изобретением может формировать изображение, обладающее любой из множества степеней точности.

Устройство кодирования изображений в соответствии с настоящим изобретением может быть устройством кодирования изображений, включающим: блок видеослоя, который формирует кодированный поток путем кодирования изображения, состоящего из одного или нескольких изображений; и блок системного слоя, который формирует системный поток для передачи или хранения кодированного потока, причем блок видеослоя включает в себя блок кодирования, который кодирует изображение для формирования кодированного потока, и блок системного слоя включает в себя блок мультиплексирования, который мультиплексирует кодированный поток, сформированный блоком кодирования, и идентификатор для формирования системного потока, причем идентификатор указывает, является ли формат изображения лево-правым смешанным форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении, где блок кодирования кодирует изображение, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении, чтобы сформировать кодированный поток, в случае, где формат изображения является лево-правым смешанным форматом.

Таким образом, способ кодирования изображений в соответствии с настоящим изобретением реализуется в виде устройства кодирования изображений.

Устройство декодирования изображений в соответствии с настоящим изобретением может быть устройством декодирования изображений, включающим: блок системного слоя, который получает кодированный поток из системного потока для передачи или хранения кодированного потока, который включает в себя изображение, состоящее из одного или нескольких изображений; и блок видеослоя, который декодирует изображение, включенное в кодированный поток, причем блок системного слоя включает в себя блок демультиплексирования, который демультиплексирует системный поток на кодированный поток и идентификатор для получения кодированного потока и идентификатора, причем идентификатор указывает, является ли формат изображения лево-правым смешанным форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении, блок видеослоя включает в себя блок декодирования, который декодирует изображение, включенное в кодированный поток, полученный блоком демультиплексирования, и устройство декодирования изображений дополнительно включает в себя блок вывода, который выводит изображение, декодированное блоком декодирования, в режиме вывода, заданном в соответствии с идентификатором, полученным блоком демультиплексирования, где блок декодирования декодирует изображение, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении, в случае, где формат изображения является лево-правым смешанным форматом.

Таким образом, способ декодирования изображений в соответствии с настоящим изобретением реализуется в виде устройства декодирования изображений.

ПОЛОЖИТЕЛЬНЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ

В соответствии с настоящим изобретением, в системном слое можно определить, имеет ли изображение лево-правый смешанный формат. Поэтому способ кодирования изображений и способ декодирования изображений в соответствии с настоящим изобретением могут должным образом обрабатывать формат трехмерного видеоизображения, включающий базовый слой и слой расширения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема, показывающая пример устройства кодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 2 - блок-схема, показывающая пример устройства декодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 3 - блок-схема, показывающая другой пример устройства декодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 4 - схематическое представление, показывающее пример способа уменьшения размера изображения в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 5 - схематическое представление, показывающее пример способа синтеза изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 6 - схема, показывающая пример синтаксиса дескриптора MVC в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 7 - схема, показывающая другой пример синтаксиса дескриптора MVC в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 8 - блок-схема, показывающая пример устройства кодирования изображений в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 9 - блок-схема, показывающая пример устройства декодирования изображений в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 10 - блок-схема, показывающая другой пример устройства декодирования изображений в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 11 - схема, показывающая пример синтаксиса дескриптора SVC в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 12 - схема, показывающая системный поток в системах MPEG-2 в соответствии с Вариантом 3 осуществления настоящего изобретения.

Фиг. 13 - схема, показывающая пример структуры блока в MP4 в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 14 - схема, показывающая пример структуры файла MP4 в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 15 - схема, показывающая иерархическую структуру блока в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 16 - схема, показывающая пример информации заголовка в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 17 - блок-схема, показывающая пример устройства кодирования изображений в соответствии с Вариантом 5 осуществления настоящего изобретения.

Фиг. 18 - блок-схема алгоритма, показывающая пример работы устройства кодирования изображений в соответствии с Вариантом 5 осуществления настоящего изобретения.

Фиг. 19 - блок-схема, показывающая пример устройства декодирования изображений в соответствии с Вариантом 5 осуществления настоящего изобретения.

Фиг. 20 - блок-схема алгоритма, показывающая пример работы устройства декодирования изображений в соответствии с Вариантом 5 осуществления настоящего изобретения.

Фиг. 21 - блок-схема, показывающая пример устройства кодирования изображений в соответствии с Вариантом 6 осуществления настоящего изобретения.

Фиг. 22 - блок-схема алгоритма, показывающая пример работы устройства кодирования изображений в соответствии с Вариантом 6 осуществления настоящего изобретения.

Фиг. 23 - блок-схема, показывающая пример устройства декодирования изображений в соответствии с Вариантом 6 осуществления настоящего изобретения.

Фиг. 24 - блок-схема алгоритма, показывающая пример работы устройства декодирования изображений в соответствии с Вариантом 6 осуществления настоящего изобретения.

Фиг. 25 иллюстрирует общую конфигурацию системы предоставления контента для реализации услуг распространения контента.

Фиг. 26 иллюстрирует общую конфигурацию системы цифрового вещания.

Фиг. 27 - блок-схема, иллюстрирующая пример конфигурации телевизора.

Фиг. 28 - блок-схема, иллюстрирующая пример конфигурации блока воспроизведения/записи информации, который считывает и записывает информацию с носителя записи или на него, который является оптическим диском.

Фиг. 29 показывает пример конфигурации носителя записи, который является оптическим диском.

Фиг. 30A показывает пример сотового телефона.

Фиг. 30B показывает пример конфигурации сотового телефона.

Фиг. 31 показывает структуру мультиплексированных данных.

Фиг. 32 схематически иллюстрирует то, как каждый из потоков мультиплексируется в мультиплексированные данные.

Фиг. 33 более подробно иллюстрирует то, как видеопоток сохраняется в потоке пакетов PES.

Фиг. 34 показывает структуру пакетов TS и исходных пакетов в мультиплексированных данных.

Фиг. 35 показывает структуру данных PMT.

Фиг. 36 показывает внутреннюю структуру информации о мультиплексированных данных.

Фиг. 37 показывает внутреннюю структуру информации об атрибутах потока.

Фиг. 38 показывает этапы для идентификации видеоданных.

Фиг. 39 - блок-схема, иллюстрирующая пример конфигурации интегральной схемы для реализации способа кодирования кинофильма и способа декодирования кинофильма в соответствии с каждым из Вариантов осуществления.

Фиг. 40 показывает конфигурацию для переключения между частотами возбуждения.

Фиг. 41 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 42 показывает пример справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения.

Фиг. 43A показывает пример конфигурации для совместного использования модуля в блоке обработки сигналов.

Фиг. 43B показывает другой пример конфигурации для совместного использования модуля в блоке обработки сигналов.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Нижеследующее подробно описывает варианты осуществления настоящего изобретения со ссылкой на чертежи. Описанные ниже варианты осуществления представляют предпочтительный вариант осуществления настоящего изобретения. Цифры, формы, материалы, компоненты, позиции размещения компонентов, соединения, этапы, последовательности этапов и т.п., описанные в вариантах осуществления, являются всего лишь примерами и не должны ограничивать объем настоящего изобретения. Объем настоящего изобретения ограничивается только формулой изобретения. Соответственно, компоненты, которые включаются в варианты осуществления, но не задаются в независимых пунктах формулы изобретения, представляющие самые широкие понятия настоящего изобретения, описываются как не обязательно необходимые для достижения цели настоящего изобретения, но образующие более предпочтительные варианты осуществления.

В нижеследующем описании изображение является изображением, состоящим из одного поля или одного кадра. План является видеоизображением, которое является изображением, состоящим из множества изображений. Например, левый план является видеоизображением для левого глаза, а правый план является видеоизображением для правого глаза. Левый план и правый план объединяются для получения стереоскопического отображения. Существует пример, где изображение состоит из множества изображений, например, когда изображение состоит из изображения, включенного в левый план, и изображения, включенного в правый план.

Кроме того, в нижеследующем описании системный слой и видеослой являются технологическим слоем (технологической группой), состоящим из множества процессов. Видеослой также называется уровнем видеокодирования (VCL). Базовый слой и слой расширения являются данными.

[Вариант 1 осуществления]

Фиг. 1 - блок-схема, показывающая пример устройства кодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения. Устройство 100 кодирования изображений, показанное на фиг. 1, включает в себя четыре блока 111 - 114 горизонтального уменьшения на 1/2, два блока 121 и 122 объединения, четыре буфера 131 - 134 кадров, два переключателя 151 и 152, блок 160 управления входным сигналом, кодер 170 MVC и системный кодер 180. Кодер 170 MVC включает в себя два кодера 171 и 172.

Устройство 100 кодирования изображений принимает, в качестве входного сигнала, трехмерное изображение в трехмерном формате независимых изображений левого-правого плана (также называемом лево-правым независимым форматом). Трехмерный формат независимых изображений левого-правого плана является форматом, который включает в себя изображение левого плана и изображение правого плана в виде отдельных изображений.

В устройстве 100 кодирования изображений четыре блока 111 - 114 горизонтального уменьшения на 1/2 и два блока 121 и 122 объединения преобразуют трехмерное изображение в трехмерном формате независимых изображений левого-правого плана в трехмерное изображение в трехмерном формате смешанных пикселей левого-правого плана (также называемом лево-правым смешанным форматом). Трехмерный формат смешанных пикселей левого-правого плана является форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении.

Если подробнее, то блок 111 горизонтального уменьшения на 1/2 уменьшает левое изображение, которое является изображением левого плана, на 1/2 в горизонтальном направлении. Блок 112 горизонтального уменьшения на 1/2 уменьшает правое изображение, которое является изображением правого плана, на 1/2 в горизонтальном направлении. Блок 121 объединения объединяет левое изображение, уменьшенное блоком 111 горизонтального уменьшения на 1/2, и правое изображение, уменьшенное блоком 112 горизонтального уменьшения на 1/2, чтобы сформировать изображение, которое включает в себя область изображения левого плана и область изображения правого плана.

Блок 113 горизонтального уменьшения на 1/2 уменьшает левое изображение на 1/2 в горизонтальном направлении. Блок 114 горизонтального уменьшения на 1/2 уменьшает правое изображение на 1/2 в горизонтальном направлении. Блок 122 объединения объединяет левое изображение, уменьшенное блоком 113 горизонтального уменьшения на 1/2, и правое изображение, уменьшенное блоком 114 горизонтального уменьшения на 1/2, чтобы сформировать изображение, которое включает в себя область изображения левого плана и область изображения правого плана.

Таким образом, трехмерное изображение в трехмерном формате независимых изображений левого-правого плана преобразуется в трехмерное изображение в трехмерном формате смешанных пикселей левого-правого плана. Изображение, сформированное блоком 121 объединения, сохраняется в буфере 131 кадров, а изображение, сформированное блоком 122 объединения, сохраняется в буфере 132 кадров.

Кодер 171 в кодере 170 MVC кодирует изображение, сохраненное в буфере кадров 131, в качестве изображения базового слоя, а также в качестве изображения базового вида. Кодер 172 в кодере 170 MVC кодирует изображение, сохраненное в буфере кадров 132, в качестве изображения слоя расширения, а также в качестве изображения неосновного вида. Кодер 170 MVC соответственно преобразует трехмерное изображение в два кодированных потока двоичных сигналов базового слоя и слоя расширения.

В качестве альтернативы устройство 100 кодирования изображений вводит трехмерное изображение в трехмерном формате независимых изображений левого-правого плана в кодер 170 MVC без его преобразования в трехмерный формат смешанных пикселей левого-правого плана.

То есть изображение левого плана сохраняется непосредственно в буфере 133 кадров, а изображение правого плана сохраняется непосредственно в буфере 134 кадров. Кодер 171 в кодере 170 MVC кодирует изображение, сохраненное в буфере 133 кадров, в качестве базового вида. Кодер 172 в кодере 170 MVC кодирует изображение, сохраненное в буфере 134 кадров, в качестве неосновного вида.

Кодер 170 MVC соответственно преобразует трехмерное изображение в два кодированных потока двоичных сигналов левого плана и правого плана.

Блок 160 управления входным сигналом переключает два переключателя 151 и 152 в соответствии с командой от пользователя, посредством этого переключая изображения, введенные в кодер 170 MVC.

Например, в случае, где пользователь дает команду устройству 100 кодирования изображений кодировать изображение в трехмерный формат смешанных пикселей левого-правого плана, изображения, сохраненные в двух буферах 131 и 132 кадров, вводятся в кодер 170 MVC. В случае, где пользователь дает команду устройству 100 кодирования изображений кодировать изображение в трехмерный формат независимых изображений левого-правого плана, изображения, сохраненные в двух буферах 133 и 134 кадров, вводятся в кодер 170 MVC.

Системный кодер 180 выполняет системное кодирование над двумя кодированными потоками двоичных сигналов, полученными кодером 170 MVC, и типом трехмерного формата. Системный кодер 180 затем выводит системный поток, включающий в себя два кодированных потока двоичных сигналов и тип трехмерного формата. Тип трехмерного формата указывает, является ли форматом трехмерного изображения трехмерный формат смешанных пикселей левого-правого плана или трехмерный формат независимых изображений левого-правого плана.

Хотя этот вариант осуществления описывает случай, где блок 160 управления входным сигналом переключает формат трехмерного изображения на основе команды пользователя, формат трехмерного изображения, которое нужно кодировать, можно зафиксировать в одном из трехмерного формата смешанных пикселей левого-правого плана и трехмерного формата независимых изображений левого-правого плана.

Фиг. 2 - блок-схема, показывающая пример устройства декодирования изображений в соответствии с этим вариантом осуществления. Устройство 200 декодирования изображений, показанное на фиг. 2, включает в себя системный декодер 210, декодер 220 MVC, два буфера 231 и 232 кадров, блок 260 вывода и блок 290 отображения. Декодер 220 MVC включает в себя два декодера 221 и 222. Блок 260 вывода включает в себя четыре переключателя 261-264, блок 265 управления выводом, блок 266 синтеза изображений, блок 267 перегруппировки пикселей и два буфера 271 и 272 кадров.

Системный декодер 210 выполняет системное декодирование над системным потоком, чтобы демультиплексировать системный поток на тип трехмерного формата и два кодированных потока двоичных сигналов.

Например, системный декодер 210 демультиплексирует системный поток на тип трехмерного формата и два кодированных потока двоичных сигналов базового слоя и слоя расширения. Декодер 221 в декодере 220 MVC декодирует изображение, включенное в базовый слой, и сохраняет декодированное изображение в буфере 231 кадров. Декодер 222 в декодере 220 MVC декодирует изображение, включенное в слой расширения, и сохраняет декодированное изображение в буфере 232 кадров.

В качестве альтернативы системный декодер 210 демультиплексирует системный поток на тип трехмерного формата и два кодированных потока двоичных сигналов левого плана и правого плана. Декодер 221 в декодере 220 MVC декодирует изображение, включенное в левый план, и сохраняет декодированное изображение в буфере 231 кадров. Декодер 222 в декодере 220 MVC декодирует изображение, включенное в правый план, и сохраняет декодированное изображение в буфере 232 кадров.

Блок 265 управления выводом в блоке 260 вывода переключает три переключателя с 261 по 263 в соответствии с типом трехмерного формата, посредством этого управляя режимом вывода.

Если подробно, то в случае, где типом трехмерного формата является трехмерный формат смешанных пикселей левого-правого плана, блок 266 синтеза изображений синтезирует изображение базового слоя и изображение слоя расширения, чтобы сформировать изображение SBS с высоким разрешением. В изображении SBS область левого плана располагается с левой стороны, а область правого плана располагается с правой стороны. Блок 266 синтеза изображений сохраняет сформированное изображение SBS в буфере 271 кадров.

Блок 267 перегруппировки пикселей выполняет перегруппировку над изображением SBS, сохраненным в буфере 271 кадров. А именно, блок 267 перегруппировки пикселей отделяет изображение левого плана и изображение правого плана от изображения SBS, и поочередно расставляет изображение левого плана и изображение правого плана в качестве левого и правого кадров.

В случае, где типом трехмерного формата является трехмерным формат независимых изображений левого-правого плана, переключатель 264 поочередно расставляет левый и правый кадры.

Как упоминалось выше, блок 260 вывода выводит изображение, декодированное декодером 220 MVC, в режиме вывода, заданном типом трехмерного формата. Здесь блок 260 вывода может хранить изображение в буфере 272 кадров, чтобы вывести изображение в надлежащий момент времени. Блок 290 отображения показывает изображение, выведенное из блока 260 вывода.

В этом варианте осуществления о типе трехмерного формата сообщается в системном слое от кодирующей стороны декодирующей стороне. Это позволяет устройству 200 декодирования изображений распознавать разницу в режиме вывода, ассоциированную с разницей в трехмерном формате, перед декодированием в видеослое. Поэтому устройство 200 декодирования изображений может заранее выполнять распределение ресурсов и инициализацию в блоке 260 вывода, например, распределяя область памяти для хранения изображения SBS с высоким разрешением. В результате можно уменьшить задержку в показе изображения.

Кроме того, нет необходимости сообщать о типе трехмерного формата от декодера 220 MVC, который является видеодекодером, блоку 260 вывода. Это вносит вклад в простую структуру устройства 200 декодирования изображений.

Фиг. 3 - блок-схема, показывающая другой пример устройства декодирования изображений в соответствии с этим вариантом осуществления. Устройство 300 декодирования изображений, показанное на фиг. 3, включает в себя системный декодер 310, декодер 320 AVC, буфер 331 кадров и блок 390 отображения. Устройство 300 декодирования изображений является совместимым с AVC устройством воспроизведения.

Устройство 300 декодирования изображений не способно на декодирование вида (неосновного вида), кроме базового вида, в системном потоке, сформированном устройством 100 кодирования изображений в соответствии с этим вариантом осуществления. То есть слой расширения или правый план не декодируется. Декодер 321 в декодере 320 AVC декодирует только базовый слой или левый план, и блок 390 отображения показывает только базовый слой или левый план.

Таким образом, системный поток, сформированный устройством 100 кодирования изображений в соответствии с этим вариантом осуществления, является обратно-совместимым с устройством воспроизведения, совместимым с AVC.

Фиг. 4 - схематическое представление, показывающее пример способа уменьшения размера изображения в соответствии с этим вариантом осуществления. Устройство 100 кодирования изображений, показанное на фиг. 1, уменьшает входное изображение для формирования изображения SBS. Способ уменьшения размера изображения, используемый для этого уменьшения, показан на фиг. 4.

Например, блок 411 горизонтального уменьшения на 1/2 на фиг. 4 соответствует блоку 111 горизонтального уменьшения на 1/2 на фиг. 1, а блок 413 горизонтального уменьшения на 1/2 на фиг. 4 соответствует блоку 113 горизонтального уменьшения на 1/2 на фиг. 1. В качестве альтернативы, блок 411 горизонтального уменьшения на 1/2 на фиг. 4 соответствует блоку 112 горизонтального уменьшения на 1/2 на фиг. 1, а блок 413 горизонтального уменьшения на 1/2 на фиг. 4 соответствует блоку 114 горизонтального уменьшения на 1/2 на фиг. 1.

Устройство 100 кодирования изображений делит изображение каждого вида на нечетные столбцы и четные столбцы. Если подробно, то блок 411 горизонтального уменьшения на 1/2 отбирает только пиксели нечетных столбцов в изображении, а блок 413 горизонтального уменьшения на 1/2 отбирает только пиксели четных столбцов в изображении. В результате получаются изображение нечетных столбцов и изображение четных столбцов.

Устройство 100 кодирования изображений объединяет изображение нечетных столбцов, полученное из одного вида, и изображение нечетных столбцов, полученное из другого вида, чтобы сформировать изображение SBS, и кодирует сформированное изображение SBS в виде базового слоя. Устройство 100 кодирования изображений также объединяет изображение четных столбцов, полученное из одного вида, и изображение четных столбцов, полученное из другого вида, чтобы сформировать изображение SBS, и кодирует сформированное изображение SBS в виде слоя расширения.

Фиг. 5 - схематическое представление, показывающее пример способа синтеза изображений в соответствии с этим вариантом осуществления. Блок 566 синтеза изображений на фиг. 5 соответствует блоку 266 синтеза изображений на фиг. 2.

Устройство 200 декодирования изображений декодирует базовый слой для получения декодированного изображения базового слоя. Устройство 200 декодирования изображений затем получает изображение нечетных столбцов левого плана из области изображения левого плана в декодированном изображении базового слоя. Устройство 200 декодирования изображений также декодирует слой расширения для получения декодированного изображения слоя расширения. Устройство 200 декодирования изображений затем получает изображение четных столбцов левого плана из области изображения левого плана в декодированном изображении слоя расширения.

Блок 566 синтеза изображений поочередно синтезирует изображение нечетных столбцов и изображение четных столбцов на каждый столбец пикселей. Устройство 200 декодирования изображений соответственно формирует изображение левого плана в исходном разрешении.

Хотя вышесказанное описывает случай, где устройство 200 декодирования изображений формирует изображение левого плана, устройство 200 декодирования изображений таким же образом может формировать изображение правого плана. Устройство 200 декодирования изображений получает изображение нечетных столбцов правого плана и изображение четных столбцов правого плана соответственно из области изображения правого плана в базовом слое и области изображения правого плана в слое расширения. Блок 566 синтеза изображений поочередно синтезирует изображение нечетных столбцов и изображение четных столбцов на каждый столбец пикселей. Устройство 200 декодирования изображений соответственно формирует изображение правого плана в исходном разрешении.

Совместимое с AVC устройство воспроизведения, допускающее декодирование только базового слоя, может декодировать трехмерное изображение с низким разрешением путем декодирования только изображения нечетных столбцов. Это гарантирует обратную совместимость. Между тем совместимое с MVC устройство воспроизведения, допускающее декодирование как базового слоя, так и слоя расширения, может восстановить трехмерное изображение с высоким разрешением путем декодирования изображения нечетных столбцов и изображения четных столбцов.

Хотя этот вариант осуществления описывает пример, где SBS используется в качестве трехмерного формата смешанных пикселей левого-правого плана, трехмерным форматом смешанных пикселей левого-правого плана вместо этого может быть TAB ("Верх и низ") и т.п. Уменьшение и синтез могут осуществляться путем правильного выбора направления увеличения или уменьшения (например, горизонтальное или вертикальное) и способа выборки пикселей (например, чересстрочная развертка на строках или столбцах или решетчатое прореживание) в соответствии с разностью положения области изображения левого плана и области изображения правого плана.

Кроме того, устройство 100 кодирования изображений и устройство 200 декодирования изображений могут выполнять процесс шумоподавления, например фильтрацию нижних частот, после восстановления трехмерного изображения с высоким разрешением. Таким путем можно добиться более высокого качества изображения.

Фиг. 6 показывает пример дескриптора MVC в соответствии с этим вариантом осуществления. Дескриптор является данными, используемыми в системах MPEG-2 и т.п. В дескриптор включается информация об атрибутах кодированного потока двоичных сигналов, например о частоте кадров. Системный поток в соответствии с этим вариантом осуществления включает в себя дескриптор MVC.

Дескриптор MVC является типом дескриптора для схемы многовидового кодирования видеосигнала. Поэтому дескриптор MVC включает в себя информацию об атрибутах кодированного потока двоичных сигналов, полученного путем кодирования изображения в соответствии со схемой многовидового кодирования видеосигнала. Дескриптор MVC также называется дескриптором расширения MVC.

Синтаксис дескриптора MVC описывается в NPL 2 (ISO/IEC 13818-1: 2007/Amd 4: 2009) либо в NPL 3 (Рекомендация H.222.0 (2006), изменение 4 (12/09) "Transport of multiview video over ITU-T Rec. H.222.0 | ISO/IEC 13818-1").

На фиг. 6 признак frame_packing_info_present_flag добавляется в качестве типа трехмерного формата в синтаксис, описанный в вышеупомянутых документах. Кроме того, добавляется семь зарезервированных разрядов, чтобы дескриптор MVC имел размер, кратный байту.

Например, форматом изображения является трехмерный формат смешанных пикселей левого-правого плана в случае, где frame_packing_info_present_flag равен 1, и трехмерный формат независимых изображений левого-правого плана (обычный поток MVC) в случае, где frame_packing_info_present_flag равен 0.

Хотя frame_packing_info_present_flag используется здесь в качестве примера типа трехмерного формата, синтаксическое название, диапазон значения (0 и 1) и смысл значения не ограничиваются этим примером. Другие виды выражения также применимы при условии, что можно сообщать, является ли форматом изображения трехмерный формат смешанных пикселей левого-правого плана.

Хотя этот вариант осуществления описывает пример, где тип трехмерного формата вставляется в конец дескриптора MVC, положение вставки не ограничивается таковым. Тип трехмерного формата может вставляться в другую позицию разряда в дескрипторе MVC или вставляться в дескриптор, отличный от дескриптора MVC.

Фиг. 7 показывает другой пример дескриптора MVC в соответствии с этим вариантом осуществления. На фиг. 7 четыре зарезервированных разряда в синтаксисе, описанном в вышеупомянутых документах, заменяются frame_packing_info_present_flag из одного разряда и тремя зарезервированными разрядами. Таким образом, frame_packing_info_present_flag может включаться в дескриптор MVC, сохраняя при этом общее количество разрядов дескриптора MVC.

Как описано выше, устройство 100 кодирования изображений уведомляет устройство 200 декодирования изображений в системном слое, является ли форматом изображения трехмерный формат смешанных пикселей левого-правого плана. Это дает возможность устройству 200 декодирования изображений плавно переключать режим вывода. Поэтому устройство 100 кодирования изображений и устройство 200 декодирования изображений могут должным образом обрабатывать формат трехмерного видеоизображения, включающий базовый слой и слой расширения.

[Вариант 2 осуществления]

Фиг. 8 - блок-схема, показывающая пример устройства кодирования изображений в соответствии с Вариантом 2 осуществления настоящего изобретения. Устройство 800 кодирования изображений, показанное на фиг. 8, включает в себя два блока 811 и 812 горизонтального уменьшения на 1/2, блок 815 горизонтально-вертикального уменьшения, два блока 821 и 822 объединения, четыре буфера 831 - 834 кадров, два переключателя 851 и 852, блок 860 управления входным сигналом, кодер 870 SVC и системный кодер 880. Кодер 870 SVC включает в себя два кодера 871 и 872.

Устройство 800 кодирования изображений принимает, в качестве входного сигнала, трехмерное изображение в трехмерном формате независимых изображений левого-правого плана или двумерное изображение.

В случае кодирования трехмерного изображения устройство 800 кодирования изображений преобразует трехмерное изображение в трехмерном формате независимых изображений левого-правого плана в трехмерное изображение в трехмерном формате смешанных пикселей левого-правого плана. После этого устройство 800 кодирования изображений дополнительно преобразует трехмерное изображение в трехмерном формате смешанных пикселей левого-правого плана в два изображения, соответствующие двум разрешениям.

Например, блок 811 горизонтального уменьшения на 1/2 уменьшает изображение левого плана на 1/2 в горизонтальном направлении. Блок 812 горизонтального уменьшения на 1/2 уменьшает изображение правого плана на 1/2 в горизонтальном направлении. Блок 821 объединения объединяет изображение, уменьшенное блоком 811 горизонтального уменьшения на 1/2, и изображение, уменьшенное блоком 812 горизонтального уменьшения на 1/2. В результате изображение SBS формируется в виде изображения слоя с низким разрешением (базового слоя). Блок 821 объединения сохраняет изображение слоя с низким разрешением в буфере 831 кадров.

Два блока 811 и 812 горизонтального уменьшения на 1/2 и блок 821 объединения могут выполнять такой же процесс, как и два блока 111 и 112 горизонтального уменьшения на 1/2 и блок 121 объединения в соответствии с Вариантом 1 осуществления. В качестве альтернативы два блока 811 и 812 горизонтального уменьшения на 1/2 и блок 821 объединения могут выполнять такой же процесс, как и два блока 113 и 114 горизонтального уменьшения на 1/2 и блок 122 объединения в соответствии с Вариантом 1 осуществления.

Блок 822 объединения объединяет изображение левого плана и изображение правого плана без их уменьшения. В результате изображение SBS формируется в виде изображения слоя с высоким разрешением (слоя расширения). Блок 822 объединения сохраняет изображение слоя с высоким разрешением в буфере 832 кадров.

С помощью вышеупомянутой процедуры устройство 800 кодирования изображений преобразует трехмерное изображение в трехмерном формате смешанных пикселей левого-правого плана в два изображения, соответствующие двум разрешениям.

В случае кодирования двумерного изображения, с другой стороны, устройство 800 кодирования изображений преобразует двумерное изображение в два изображения, соответствующие двум разрешениям.

Например, блок 815 горизонтально-вертикального уменьшения уменьшает двумерное изображение в горизонтальном и вертикальном направлениях. В результате формируется изображение слоя с низким разрешением. Изображение слоя с низким разрешением сохраняется в буфере 833 кадров. Между тем двумерное изображение непосредственно сохраняется в буфере 834 кадров в качестве изображения слоя с высоким разрешением.

С помощью вышеупомянутой процедуры устройство 800 кодирования изображений преобразует двумерное изображение в два изображения, соответствующие двум разрешениям.

Кодер 870 SVC преобразует два изображения слоя с низким разрешением и слоя с высоким разрешением в два кодированных потока двоичных сигналов в слое с низким разрешением и слое с высоким разрешением.

Например, кодер 871 в кодере 870 SVC кодирует изображение, сохраненное в буфере 831 кадров, а кодер 872 в кодере 870 SVC кодирует изображение, сохраненное в буфере 832 кадров.

В качестве альтернативы кодер 871 в кодере 870 SVC кодирует изображение, сохраненное в буфере 833 кадров, а кодер 872 в кодере 870 SVC кодирует изображение, сохраненное в буфере 834 кадров.

Таким образом, кодер 870 SVC преобразует два изображения слоя с низким разрешением и слоя с высоким разрешением в два кодированных потока двоичных сигналов в слое с низким разрешением и слое с высоким разрешением.

Блок 860 управления входным сигналом переключает два переключателя 851 и 852 в соответствии с командой от пользователя, посредством этого переключая изображения, введенные в кодер 870 SVC.

Например, в случае, где пользователь дает команду устройству 800 кодирования изображений кодировать трехмерное изображение, изображения, сохраненные в двух буферах 831 и 832 кадров, вводятся в кодер 870 SVC. В случае, где пользователь дает команду устройству 800 кодирования изображений кодировать двумерное изображение, изображения, сохраненные в двух буферах 833 и 834 кадров, вводятся в кодер 870 SVC.

Системный кодер 880 выполняет системное кодирование над двумя кодированными потокам двоичных сигналов и сигналом уведомления о трехмерном формате и выводит системный поток. Сигнал уведомления о трехмерном формате указывает, является ли форматом изображения трехмерный формат смешанных пикселей левого-правого плана или двумерный формат.

Хотя этот вариант осуществления описывает случай, где блок 860 управления входным сигналом переключает формат изображения на основе команды пользователя, формат изображения, которое нужно кодировать, можно зафиксировать в одном из трехмерного формата смешанных пикселей левого-правого плана и двумерного формата.

Фиг. 9 - блок-схема, показывающая пример устройства декодирования изображений в соответствии с этим вариантом осуществления. Устройство 900 декодирования изображений, показанное на фиг. 9, включает в себя системный декодер 910, декодер 920 SVC, буфер 931 кадров, блок 960 вывода и блок 990 отображения. Декодер 920 SVC включает в себя два декодера 921 и 922. Блок 960 вывода включает в себя два переключателя 961 и 963, блок 965 управления выводом, блок 967 перегруппировки пикселей и два буфера 971 и 972 кадров.

Системный декодер 910 выполняет системное декодирование над системным потоком, чтобы демультиплексировать системный поток на сигнал уведомления о трехмерном формате и два кодированных потока двоичных сигналов в слое с низким разрешением и слое с высоким разрешением. Декодер 921 в декодере 920 SVC декодирует изображение, включенное в слой с низким разрешением. Декодер 922 в декодере 920 SVC декодирует изображение, включенное в слой с высоким разрешением. Здесь декодер 922 может декодировать изображение слоя с высоким разрешением, используя изображение слоя с низким разрешением.

Декодер 922 сохраняет декодированное изображение в буфере 931 кадров. То есть изображение слоя с высоким разрешением сохраняется в буфере 931 кадров.

Блок 965 управления выводом в блоке 960 вывода переключает два переключателя 961 и 963 в соответствии с сигналом уведомления о трехмерном формате, посредством этого управляя режимом вывода.

Если подробно, то в случае, где сигнал уведомления о трехмерном формате указывает трехмерный формат смешанных пикселей левого-правого плана, блок 967 перегруппировки пикселей выполняет перегруппировку. Например, блок 967 перегруппировки пикселей отделяет изображение левого плана и изображение правого плана от изображения SBS слоя с высоким разрешением и поочередно расставляет изображение левого плана и изображение правого плана в качестве левого и правого кадров. Блок 960 вывода выводит изображение, полученное в результате перегруппировки.

В случае, где сигнал уведомления о трехмерном формате указывает двумерный формат, блок 960 вывода непосредственно выводит двумерное изображение слоя с высоким разрешением.

С помощью вышеупомянутой процедуры блок 960 вывода выводит изображение, декодированное декодером 920 SVC, в режиме вывода, заданном сигналом уведомления о трехмерном формате. Здесь блок 960 вывода может хранить изображение в любом из двух буферов 971 и 972 кадров, чтобы вывести изображение в надлежащий момент времени. Трехмерное изображение включает в себя изображение левого плана и изображение правого плана. Другими словами, трехмерное изображение включает в себя в два раза больше изображений, чем двумерное изображение. Признавая это, в случае трехмерного изображения блок 960 вывода выполняет процесс вывода с высокой скоростью. Блок 990 отображения показывает изображение, выведенное из блока 960 вывода.

В этом варианте осуществления сигнал уведомления о трехмерном формате сообщается в системном слое от кодирующей стороны декодирующей стороне. Это позволяет устройству 900 декодирования изображений распознавать разницу в режиме вывода, ассоциированную с разницей в формате изображения, перед декодированием в видеослое. Поэтому устройство 900 декодирования изображений может заранее выполнять распределение ресурсов и инициализацию в блоке 960 вывода, например, распределяя память для хранения изображения SBS с высоким разрешением или двумерного изображения с высоким разрешением.

Кроме того, нет необходимости сообщать сигнал уведомления о трехмерном формате от декодера 920 SVC, который является видеодекодером, блоку 960 вывода. Это вносит вклад в простую структуру устройства 900 декодирования изображений.

Фиг. 10 - блок-схема, показывающая другой пример устройства декодирования изображений в соответствии с этим вариантом осуществления. Устройство 1000 декодирования изображений, показанное на фиг. 10, включает в себя системный декодер 1010, декодер 1020 AVC, буфер 1031 кадров и блок 1090 отображения. Устройство 1000 декодирования изображений является совместимым с AVC устройством воспроизведения.

Устройство 1000 декодирования изображений не способно на декодирование слоя, кроме слоя с низким разрешением, в системном потоке, сформированном устройством 800 кодирования изображений в соответствии с этим вариантом осуществления. То есть не декодируется слой с высоким разрешением. Декодер 1021 в декодере 1020 AVC декодирует только слой с низким разрешением, и блок 1090 отображения показывает только слой с низким разрешением. Таким образом, системный поток, сформированный устройством 800 кодирования изображений в соответствии с этим вариантом осуществления, является обратно-совместимым с устройством воспроизведения, совместимым с AVC.

Хотя этот вариант осуществления описывает пример, где SBS используется в качестве трехмерного формата смешанных пикселей левого-правого плана, трехмерным форматом смешанных пикселей левого-правого плана вместо этого может быть TAB ("Верх и низ") и т.п. Уменьшение и синтез могут осуществляться путем правильного выбора направления увеличения или уменьшения (например, горизонтальное или вертикальное) и способа выборки пикселей (например, чересстрочная развертка на строках или столбцах или решетчатое прореживание) в соответствии с разностью положения области изображения левого плана и области изображения правого плана.

Кроме того, устройство 800 кодирования изображений и устройство 900 декодирования изображений могут выполнять процесс шумоподавления, например фильтрацию нижних частот, после восстановления трехмерного изображения с высоким разрешением. Таким путем можно добиться более высокого качества изображения.

Фиг. 11 показывает пример дескриптора SVC в соответствии с этим вариантом осуществления. Дескриптор является данными, используемыми в системах MPEG-2 и т.п. В дескриптор включается информация об атрибутах кодированного потока двоичных сигналов, например о частоте кадров. Системный поток в соответствии с этим вариантом осуществления включает в себя дескриптор SVC.

Дескриптор SVC является типом дескриптора для схемы масштабируемого кодирования видеосигнала. Поэтому дескриптор SVC включает в себя информацию об атрибутах кодированного потока двоичных сигналов, полученного путем кодирования изображения в соответствии со схемой масштабируемого кодирования видеосигнала. Дескриптор SVC также называется дескриптором расширения SVC.

Синтаксис дескриптора SVC описывается в NPL 4 (ISO/IEC 13818-1: 2007/Amd 3: 2009) либо в NPL 5 (Рекомендация H.222.0 (2006), изменение 3 (03/09) "Transport of scalable video over ITU-T Rec. H. 222.0 | ISO/IEC 13818-1").

На фиг. 11 frame_packing_info_present_flag вставляется в качестве сигнала уведомления о трехмерном формате вместо зарезервированного разряда в синтаксис, описанный в вышеупомянутых документах.

Например, форматом изображения является трехмерный формат смешанных пикселей левого-правого плана в случае, где frame_packing_info_present_flag равен 1, и двумерный формат (обычный поток SVC) в случае, где frame_packing_info_present_flag равен 0.

Хотя frame_packing_info_present_flag используется здесь в качестве примера сигнала уведомления о трехмерном формате, синтаксическое название, диапазон значения (0 и 1) и смысл значения не ограничиваются этим примером. Другие виды выражения также применимы при условии, что можно сообщать, является ли форматом изображения трехмерный формат смешанных пикселей левого-правого плана.

Хотя этот вариант осуществления описывает пример, где сигнал уведомления о трехмерном формате вставляется в конец дескриптора SVC, положение вставки не ограничивается таковым. Сигнал уведомления о трехмерном формате может вставляться в другую позицию разряда в дескрипторе SVC или вставляться в дескриптор, отличный от дескриптора SVC.

В дополнение к последнему зарезервированному разряду дескриптор SVC также содержит пять зарезервированных разрядов в качестве девятого элемента. Например, эти пять зарезервированных разрядов можно заменить frame_packing_info_present_flag из одного разряда и четырьмя зарезервированными разрядами.

Как описано выше, устройство 800 кодирования изображений уведомляет устройство 900 декодирования изображений в системном слое, является ли форматом изображения трехмерный формат смешанных пикселей левого-правого плана. Это дает возможность устройству 900 декодирования изображений плавно переключать режим вывода. Поэтому устройство 800 кодирования изображений и устройство 900 декодирования изображений могут должным образом обрабатывать формат трехмерного видеоизображения, включающий базовый слой и слой расширения.

[Вариант 3 осуществления]

Вариант 3 осуществления настоящего изобретения описывает системный слой, совместимый с системами MPEG-2, который применим к устройству кодирования изображений и устройству декодирования изображений в соответствии с каждым из Вариантов 1 и 2 осуществления.

Фиг. 12 - схема, показывающая системный поток в системах MPEG-2 в соответствии с этим вариантом осуществления. Системный поток, показанный на фиг. 12, состоит из пакетов TS (транспортного потока). Системный кодер 180 в Варианте 1 осуществления и системный кодер 880 в Варианте 2 осуществления могут формировать системный поток, состоящий из пакетов TS, показанных на фиг. 12. Нижеследующее подробно описывает структуру системного потока.

Кодер 170 MVC в Варианте 1 осуществления и кодер 870 SVC в Варианте 2 осуществления формируют кодированные данные видеоизображения в видеослое. Кодированные данные видеоизображения, сформированные в видеослое, сохраняются в пакетах PES (пакетизированного элементарного потока).

Здесь кодированные данные видеоизображения, соответствующие одному изображению, могут храниться в одном пакете PES или в множестве пакетов PES. Кроме того, кодированные данные видеоизображения, соответствующие множеству изображений, могут храниться в одном пакете PES. Кроме того, в пакетах PES могут храниться кодированные данные звукозаписи. Пакеты PES затем делятся на множество пакетов TS фиксированной длины.

Между тем в секции сохраняется дескриптор. Секция является одной из структур данных, используемых в системах MPEG-2. Секции разделяются на множество пакетов TS фиксированной длины, как и в случае с пакетами PES.

Пакеты TS, соответствующие пакетам PES, и пакеты TS, соответствующие секциям, мультиплексируются в виде системного потока. Если подробно, то пакеты TS, соответствующие секциям, периодически вставляются между пакетами TS, соответствующими пакетам PES. Отметим, что интервалы, с которыми периодически вставляются пакеты TS, не ограничиваются равными интервалами.

Существует пример, где множество дескрипторов сохраняются в системном потоке. Эти дескрипторы имеют два типа, а именно, дескриптор, указывающий атрибуты звукозаписи и видеоизображения, и дескриптор, указывающий атрибуты программы, которая содержит звукозапись и видеоизображение. Дескриптор MVC и дескриптор SVC являются дескриптором, указывающим атрибуты звукозаписи и видеоизображения. Информация о формате в каждом из Вариантов 1 и 2 осуществления может храниться в дескрипторе, указывающем атрибуты программы.

Системный слой в каждом из Вариантов 1 и 2 осуществления может быть совместим с системами MPEG-2. А именно, системный поток, сформированный в системном слое, может включать в себя кодированный поток и дескриптор.

[Вариант 4 осуществления]

Вариант 4 осуществления настоящего изобретения описывает системный слой, совместимый с MP4, который применим к устройству кодирования изображений и устройству декодирования изображений в соответствии с каждым из Вариантов 1 и 2 осуществления.

Фиг. 13 - схема, показывающая пример структуры блока в MP4 в соответствии с этим вариантом осуществления. Файл MP4 состоит из блоков. Например, блок имеет размер, тип и данные, как показано на фиг. 13. Размер указывает размер всего блока. Тип является идентификатором блока и выражается четырьмя алфавитными знаками. Блок может дополнительно включать в себя информацию о версии и флаговую информацию. Блоки иерархически хранятся в файле MP4.

Фиг. 14 - схема, показывающая пример структуры файла MP4 в соответствии с этим вариантом осуществления. В примере, показанном на фиг. 14, файл MP4 состоит из блока, чьим типом является ftyp, блока, чьим типом является moov, и блока, чьим типом является mdat (в дальнейшем называемые просто ftyp, moov и mdat соответственно). ftyp, moov и mdat являются блоками верхнего уровня в иерархической структуре из множества блоков в файле MP4.

В moov хранится не только время воспроизведения кадра и адресная информация в файле MP4, но также информация об атрибутах видеоизображения или звукозаписи в файле MP4. Другими словами, в moov хранится заголовочная информация, необходимая для воспроизведения аудиовизуальных кодированных данных (кодированные данные звукозаписи и кодированные данные видеоизображения). Аудиовизуальные кодированные данные хранятся в mdat.

Системный кодер 180 в Варианте 1 осуществления и системный кодер 880 в Варианте 2 осуществления могут формировать такой файл MP4. Информация о формате в каждом из Вариантов 1 и 2 осуществления может храниться в moov в качестве атрибутов кодированных данных видеоизображения. Если подробнее, то информация о формате может храниться в блоке в moov.

Фиг. 15 - схема, показывающая иерархическую структуру блока в соответствии с этим вариантом осуществления. Фиг. 15 показывает moov. Множество блоков дополнительно содержится в области данных в moov. Таким образом, множество блоков иерархически упорядочены в файле MP4. Это дает возможность хранить различную информацию в файле MP4.

Фиг. 16 - схема, показывающая пример информации заголовка в соответствии с этим вариантом осуществления. Фиг. 16 показывает множество блоков, включенных в moov. Например, moov включает в себя блок, чьим типом является tkhd (Блок заголовка дорожки) (в дальнейшем называемый просто tkhd), и блок, чьим типом является vmhd (Блок заголовка видеоинформации) (в дальнейшем называемый просто vmhd).

Информация заголовка верхнего уровня, соответствующая дорожке, хранится в tkhd. Дорожка соответствует одному набору аудиовизуальных кодированных данных видеоизображения или звукозаписи. В случае, где дорожка является кодированными данными видеоизображения, информация заголовка в кодированных данных видеоизображения хранится в vmhd.

Информация о формате в каждом из Вариантов 1 и 2 осуществления может храниться в зарезервированной области в tkhd или vmhd. В качестве альтернативы информация о формате может храниться в graphicsmode, которое является полем, включенным в vmhd. Список значений, указывающий структуру видеоизображения, задается в graphicsmode. Значение, указывающее трехмерный формат смешанных пикселей левого-правого плана, можно добавить в этот заданный список.

Можно добавить новый блок в файл MP4. Поэтому в каждом из Вариантов 1 и 2 осуществления к файлу MP4 может добавляться новый блок для хранения информации о формате.

Системный слой в каждом из Вариантов 1 и 2 осуществления может быть совместим с MP4. А именно, системный поток, сформированный в системном слое, может включать в себя блок, содержащий информацию о формате, и блок, содержащий кодированный поток. В этом случае устройству кодирования изображений и устройству декодирования изображений в каждом из Вариантов 1 и 2 осуществления не нужно использовать дескриптор MVC или дескриптор SVC.

[Вариант 5 осуществления]

Устройство кодирования изображений и устройство декодирования изображений в соответствии с Вариантом 5 осуществления настоящего изобретения включают в себя основные компоненты устройства кодирования изображений и устройства декодирования изображений, описанные в вышеприведенных вариантах осуществления.

Фиг. 17 - блок-схема, показывающая пример устройства кодирования изображений в соответствии с этим вариантом осуществления. Устройство 1700 кодирования изображений, показанное на фиг. 17, включает в себя блок 1710 видеослоя и блок 1720 системного слоя. Блок 1710 видеослоя формирует кодированный поток путем кодирования изображения, состоящего из одного или нескольких изображений. Блок 1720 системного слоя формирует системный поток для передачи или хранения кодированного потока.

Блок 1710 видеослоя включает в себя блок 1701 кодирования. Блок 1720 системного слоя включает в себя блок 1702 мультиплексирования.

Фиг. 18 - блок-схема алгоритма, показывающая пример работы устройства 1700 кодирования изображений, показанного на фиг. 17.

Сначала блок 1701 кодирования кодирует изображение для формирования кодированного потока (этап S1801). Здесь в случае, где формат изображения является лево-правым смешанным форматом, блок 1701 кодирования кодирует изображение, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении.

Далее блок 1702 мультиплексирования мультиплексирует кодированный поток и идентификатор, чтобы сформировать системный поток (этап S1802). Идентификатор указывает, является ли форматом изображения лево-правый смешанный формат. Лево-правый смешанный формат является форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении. Кодированный поток является кодированным потоком, сформированным блоком 1701 кодирования.

Таким образом, устройство 1700 кодирования изображений может формировать системный поток, который дает возможность определения в системном слое на декодирующей стороне, имеет ли изображение лево-правый смешанный формат. Поэтому устройство 1700 кодирования изображений может должным образом обрабатывать формат трехмерного видеоизображения, включающий базовый слой и слой расширения.

Отметим, что блок 1710 видеослоя и блок 1701 кодирования соответствуют кодеру 170 MVC и двум кодерам 171 и 172 в соответствии с Вариантом 1 осуществления и соответствуют кодеру 870 SVC и двум кодерам 871 и 872 в соответствии с Вариантом 2 осуществления.

Поэтому блок 1710 видеослоя и блок 1701 кодирования могут выполнять такой же процесс, что и кодер 170 MVC и два кодера 171 и 172 в соответствии с Вариантом 1 осуществления, и могут выполнять такой же процесс, что и кодер 870 SVC и два кодера 871 и 872 в соответствии с Вариантом 2 осуществления.

К тому же блок 1720 системного слоя и блок 1702 мультиплексирования соответствуют системному кодеру 180 в соответствии с Вариантом 1 осуществления и соответствуют системному кодеру 880 в соответствии с Вариантом 2 осуществления. Поэтому блок 1720 системного слоя и блок 1702 мультиплексирования могут выполнять такой же процесс, что и системный кодер 180 в соответствии с Вариантом 1 осуществления, и могут выполнять такой же процесс, что и системный кодер 880 в соответствии с Вариантом 2 осуществления.

Кроме того, блок 1720 системного слоя (системный слой) может быть совместим с системами MPEG-2. То есть блок 1702 мультиплексирования в блоке 1720 системного слоя может формировать системный поток, включающий кодированный поток и дескриптор.

Кроме того, блок 1710 видеослоя (видеослой) может быть совместим со схемой многовидового кодирования видеосигнала. То есть блок 1701 кодирования в блоке 1710 видеослоя может кодировать изображение в соответствии со схемой многовидового кодирования видеосигнала для формирования кодированного потока. Если подробнее, то блок 1701 кодирования может кодировать базовый слой в качестве базового вида и слой расширения в качестве неосновного вида, и при кодировании слоя расширения в качестве неосновного вида обращаться к базовому слою в качестве базового вида.

В случае, где блок 1720 системного слоя совместим с системами MPEG-2, а блок 1710 видеослоя совместим со схемой многовидового кодирования видеосигнала, блок 1702 мультиплексирования может вставить идентификатор в дескриптор для схемы многовидового кодирования видеосигнала и мультиплексировать кодированный поток и дескриптор, который включает в себя идентификатор, для формирования системного потока.

Таким образом, изображение кодируется в соответствии со схемой многовидового кодирования видеосигнала, и идентификатор вставляется в дескриптор для схемы многовидового кодирования видеосигнала. Поэтому устройство 1700 кодирования изображений может формировать надлежащий системный поток с использованием дескриптора.

Кроме того, блок 1710 видеослоя (видеослой) может быть совместим с H.264 MVC, который является стандартом схемы многовидового кодирования видеосигнала. То есть блок 1701 кодирования в блоке 1710 видеослоя может кодировать изображение в соответствии с H.264 MVC для формирования кодированного потока.

В случае, где блок 1720 системного слоя совместим с системами MPEG-2, а блок 1710 видеослоя совместим с H.264 MVC, блок 1702 мультиплексирования может вставить идентификатор в дескриптор MVC для H.264 MVC и мультиплексировать кодированный поток и дескриптор MVC, который включает в себя идентификатор, для формирования системного потока.

Таким образом, изображение кодируется в соответствии с H.264 MVC, и идентификатор вставляется в дескриптор MVC для H.264 MVC. Поэтому устройство 1700 кодирования изображений может формировать надлежащий системный поток с использованием дескриптора MVC.

Хотя H.264 MVC является типичным примером схемы многовидового кодирования видеосигнала, блок 1710 видеослоя (видеослой) может быть совместим со стандартом, отличным от H.264 MVC. Например, блок 1710 видеослоя может быть совместим с наследником H.264 MVC. Существует вероятность, что схема многовидового кодирования видеосигнала задается в HEVC (Высокоэффективное кодирование видеосигнала), которое является наследником H.264. Блок 1710 видеослоя может быть совместим со схемой многовидового кодирования видеосигнала в HEVC.

Кроме того, блок 1701 кодирования может кодировать изображение в лево-правом смешанном формате в случае, где форматом изображения является лево-правый смешанный формат, и кодировать изображение в лево-правом независимом формате в случае, где форматом изображения не является лево-правый смешанный формат. Лево-правый независимый формат является форматом, который включает в себя изображение левого плана и изображение правого плана в виде отдельных изображений.

Таким образом, устройство 1700 кодирования изображений может кодировать изображение лево-правого смешанного формата или изображение лево-правого независимого формата.

Кроме того, блок 1710 видеослоя (видеослой) может быть совместим со схемой масштабируемого кодирования видеосигнала. То есть блок 1701 кодирования в блоке 1710 видеослоя может кодировать изображение в соответствии со схемой масштабируемого кодирования видеосигнала для формирования кодированного потока. Если подробнее, то блок 1701 кодирования может кодировать изображение, включающее базовый слой и слой расширения.

В случае, где блок 1720 системного слоя совместим с системами MPEG-2, а блок 1710 видеослоя совместим со схемой масштабируемого кодирования видеосигнала, блок 1702 мультиплексирования может вставить идентификатор в дескриптор для схемы масштабируемого кодирования видеосигнала и мультиплексировать кодированный поток и дескриптор, который включает в себя идентификатор, для формирования системного потока.

Таким образом, изображение кодируется в соответствии со схемой масштабируемого кодирования видеосигнала, и идентификатор вставляется в дескриптор для схемы масштабируемого кодирования видеосигнала. Поэтому устройство 1700 кодирования изображений может формировать надлежащий системный поток с использованием дескриптора.

Кроме того, блок 1710 видеослоя (видеослой) может быть совместим с H.264 SVC, который является стандартом схемы масштабируемого кодирования видеосигнала. То есть блок 1701 кодирования в блоке 1710 видеослоя может кодировать изображение в соответствии с H.264 SVC для формирования кодированного потока.

В случае, где блок 1720 системного слоя совместим с системами MPEG-2, а блок 1710 видеослоя совместим с H.264 SVC, блок 1702 мультиплексирования может вставить идентификатор в дескриптор SVC для H.264 SVC и мультиплексировать кодированный поток и дескриптор SVC, который включает в себя идентификатор, для формирования системного потока.

Таким образом, изображение кодируется в соответствии с H.264 SVC, и идентификатор вставляется в дескриптор SVC для H.264 SVC. Поэтому устройство 1700 кодирования изображений может формировать надлежащий системный поток с использованием дескриптора SVC.

Хотя H.264 SVC является типичным примером схемы масштабируемого кодирования видеосигнала, блок 1710 видеослоя (видеослой) может быть совместим со стандартом, отличным от H.264 SVC. Например, блок 1710 видеослоя может быть совместим с наследником H.264 SVC. Существует вероятность, что схема масштабируемого кодирования видеосигнала задается в HEVC, которое является наследником H.264. Блок 1710 видеослоя может быть совместим со схемой масштабируемого кодирования видеосигнала в HEVC.

Кроме того, блок 1701 кодирования может кодировать изображение для стереоскопического отображения в случае, где форматом изображения является лево-правый смешанный формат, и кодировать изображение для моноскопического отображения в случае, где форматом изображения не является лево-правый смешанный формат.

Таким образом, способ кодирования изображений в соответствии с настоящим изобретением может кодировать изображение для стереоскопического отображения или изображение для моноскопического отображения.

Кроме того, изображение, например изображение в лево-правом смешанном формате, введенное в устройство 1700 кодирования изображений, может формироваться отдельным, независимым устройством формирования изображений. То есть устройству 1700 кодирования изображений не нужно обладать функцией формирования такого изображения.

Фиг. 19 - блок-схема, показывающая пример устройства декодирования изображений в соответствии с этим вариантом осуществления. Устройство 1900 декодирования изображений, показанное на фиг. 19, включает в себя блок 1910 системного слоя, блок 1920 видеослоя и блок 1903 вывода.

Блок 1910 системного слоя получает кодированный поток из системного потока для передачи или сохранения кодированного потока. Кодированный поток включает в себя изображение, состоящее из одного или нескольких изображений. Блок 1920 видеослоя декодирует изображение в кодированном потоке.

Блок 1910 системного слоя включает в себя блок 1901 демультиплексирования. Блок 1920 видеослоя включает в себя блок 1902 декодирования.

Фиг. 20 - блок-схема алгоритма, показывающая пример работы устройства 1900 декодирования изображений, показанного на фиг. 19.

Сначала блок 1901 демультиплексирования демультиплексирует системный поток на кодированный поток и идентификатор, чтобы получить кодированный поток и идентификатор (этап S2001). Идентификатор указывает, является ли форматом изображения лево-правый смешанный формат. Лево-правый смешанный формат является форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении.

Далее блок 1902 декодирования декодирует изображение, включенное в кодированный поток, полученный блоком 1901 демультиплексирования (этап S2002). Здесь в случае, где формат изображения является лево-правым смешанным форматом, блок 1902 декодирования декодирует изображение, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении.

После этого блок 1903 вывода выводит изображение, декодированное блоком 1902 декодирования, в режиме вывода, заданном в соответствии с идентификатором, полученным блоком 1901 демультиплексирования (этап S2003). Режим вывода включает в себя не только формат выходного изображения, но также способ и процесс формирования выходного изображения.

Таким образом, устройство 1900 декодирования изображений может переключать режим вывода изображения в соответствии с идентификатором, указывающим, имеет ли изображение лево-правый смешанный формат. Поэтому устройство 1900 декодирования изображений может должным образом обрабатывать формат трехмерного видеоизображения, включающий базовый слой и слой расширения.

Отметим, что блок 1910 системного слоя и блок 1901 демультиплексирования соответствуют системному декодеру 210 в соответствии с Вариантом 1 осуществления и соответствуют системному декодеру 910 в соответствии с Вариантом 2 осуществления. Поэтому блок 1910 системного слоя и блок 1901 демультиплексирования могут выполнять такой же процесс, что и системный декодер 210 в соответствии с Вариантом 1 осуществления, и могут выполнять такой же процесс, что и системный декодер 910 в соответствии с Вариантом 2 осуществления.

К тому же блок 1920 видеослоя и блок 1902 декодирования соответствуют декодеру 220 MVC и двум декодерам 221 и 222 в соответствии с Вариантом 1 осуществления и соответствуют декодеру 920 SVC и двум декодерам 921 и 922 в соответствии с Вариантом 2 осуществления.

Поэтому блок 1920 видеослоя и блок 1902 декодирования могут выполнять такой же процесс, что и декодер 220 MVC и два декодера 221 и 222 в соответствии с Вариантом 1 осуществления, и могут выполнять такой же процесс, что и декодер 920 SVC и два декодера 921 и 922 в соответствии с Вариантом 2 осуществления.

Дополнительно блок 1903 вывода соответствует блоку 260 вывода в соответствии с Вариантом 1 осуществления и соответствует блоку 960 вывода в соответствии с Вариантом 2 осуществления. Поэтому блок 1903 вывода может выполнять такой же процесс, что и блок 260 вывода в соответствии с Вариантом 1 осуществления, и может выполнять такой же процесс, что и блок 960 вывода в соответствии с Вариантом 2 осуществления.

Кроме того, блок 1910 системного слоя (системный слой) может быть совместим с системами MPEG-2. То есть блок 1901 демультиплексирования в блоке 1910 системного слоя может демультиплексировать системный поток на кодированный поток и дескриптор.

Кроме того, блок 1920 видеослоя (видеослой) может быть совместим со схемой многовидового кодирования видеосигнала. А именно, блок 1902 декодирования в блоке 1920 видеослоя может декодировать изображение, кодированное в соответствии со схемой многовидового кодирования видеосигнала. Если подробнее, то блок 1902 декодирования может декодировать базовый слой в качестве базового вида и слой расширения в качестве неосновного вида, и при декодировании слоя расширения в качестве неосновного вида обращаться к базовому слою в качестве базового вида.

В случае, где блок 1910 системного слоя совместим с системами MPEG-2, а блок 1920 видеослоя совместим со схемой многовидового кодирования видеосигнала, блок 1901 демультиплексирования может демультиплексировать системный поток на кодированный поток и дескриптор для схемы многовидового кодирования видеосигнала, чтобы получить кодированный поток и идентификатор, включенный в дескриптор.

Таким образом, устройство 1900 декодирования изображений может декодировать изображение, кодированное в соответствии со схемой многовидового кодирования видеосигнала, и получить идентификатор из дескриптора для схемы многовидового кодирования видеосигнала. Поэтому устройство 1900 декодирования изображений может должным образом обрабатывать лево-правый смешанный формат.

Кроме того, блок 1920 видеослоя (видеослой) может быть совместим с H.264 MVC. А именно, блок 1902 декодирования в блоке 1920 видеослоя может декодировать изображение, кодированное в соответствии с H.264 MVC.

В случае, где блок 1910 системного слоя совместим с системами MPEG-2, а блок 1920 видеослоя совместим с H.264 MVC, блок 1901 демультиплексирования может демультиплексировать системный поток на кодированный поток и дескриптор MVC для H.264 MVC, чтобы получить кодированный поток и идентификатор, включенный в дескриптор MVC.

Таким образом, устройство 1900 декодирования изображений может декодировать изображение, кодированное в соответствии с H.264 MVC, и получить идентификатор из дескриптора MVC для H.264 MVC. Поэтому устройство 1900 декодирования изображений может должным образом обрабатывать лево-правый смешанный формат.

Кроме того, блок 1902 декодирования может декодировать изображение в лево-правом смешанном формате в случае, где форматом изображения является лево-правый смешанный формат, и декодировать изображение в лево-правом независимом формате в случае, где форматом изображения не является лево-правый смешанный формат. Лево-правый независимый формат является форматом, который включает в себя изображение левого плана и изображение правого плана в виде отдельных изображений.

Таким образом, устройство 1900 декодирования изображений может декодировать изображение лево-правого смешанного формата или изображение лево-правого независимого формата.

Кроме того, блок 1920 видеослоя (видеослой) может быть совместим со схемой масштабируемого кодирования видеосигнала. А именно, блок 1902 декодирования в блоке 1920 видеослоя может декодировать изображение, кодированное в соответствии со схемой масштабируемого кодирования видеосигнала. Если подробнее, то блок 1902 декодирования может декодировать изображение, включающее базовый слой и слой расширения.

В случае, где блок 1910 системного слоя совместим с системами MPEG-2, а блок 1920 видеослоя совместим со схемой масштабируемого кодирования видеосигнала, блок 1901 демультиплексирования может демультиплексировать системный поток на кодированный поток и дескриптор для схемы масштабируемого кодирования видеосигнала, чтобы получить кодированный поток и идентификатор, включенный в дескриптор.

Таким образом, устройство 1900 декодирования изображений может декодировать изображение, кодированное в соответствии со схемой масштабируемого кодирования видеосигнала, и получить идентификатор из дескриптора для схемы масштабируемого кодирования видеосигнала. Поэтому устройство 1900 декодирования изображений может должным образом обрабатывать лево-правый смешанный формат.

Кроме того, блок 1920 видеослоя (видеослой) может быть совместим с H.264 SVC. А именно, блок 1902 декодирования в блоке 1920 видеослоя может декодировать изображение, кодированное в соответствии с H.264 SVC.

В случае, где блок 1910 системного слоя совместим с системами MPEG-2, а блок 1920 видеослоя совместим с H.264 SVC, блок 1901 демультиплексирования может демультиплексировать системный поток на кодированный поток и дескриптор SVC для H.264 SVC, чтобы получить кодированный поток и идентификатор, включенный в дескриптор SVC.

Таким образом, устройство 1900 декодирования изображений может декодировать изображение, кодированное в соответствии с H.264 SVC, и получить идентификатор из дескриптора SVC для H.264 SVC. Поэтому устройство 1900 декодирования изображений может должным образом обрабатывать лево-правый смешанный формат.

Кроме того, блок 1902 декодирования может декодировать изображение для стереоскопического отображения в случае, где форматом изображения является лево-правый смешанный формат, и декодировать изображение для моноскопического отображения в случае, где форматом изображения не является лево-правый смешанный формат.

Таким образом, устройство 1900 декодирования изображений может декодировать изображение для стереоскопического отображения или изображение для моноскопического отображения.

[Вариант 6 осуществления]

Устройство кодирования изображений и устройство декодирования изображений в соответствии с Вариантом 6 осуществления настоящего изобретения включают в себя дополнительные компоненты к устройству кодирования изображений и устройству декодирования изображений в соответствии с вариантом 5 осуществления.

Фиг. 21 - блок-схема, показывающая пример устройства кодирования изображений в соответствии с этим вариантом осуществления. Устройство 2100 кодирования изображений, показанное на фиг. 21, включает в себя блок 2104 формирования, блок 2110 видеослоя и блок 2120 системного слоя. Блок 2110 видеослоя включает в себя блок 2101 кодирования. Блок 2120 системного слоя включает в себя блок 2102 мультиплексирования.

Блок 2110 видеослоя, блок 2120 системного слоя, блок 2101 кодирования и блок 2102 мультиплексирования соответствуют и работают точно так же, как блок 1710 видеослоя, блок 1720 системного слоя, блок 1701 кодирования и блок 1702 мультиплексирования в соответствии с Вариантом 5 осуществления.

Блок 2104 формирования формирует изображение лево-правого смешанного формата из левого изображения и правого изображения. Левое изображение является изображением левого плана. Правое изображение является изображением правого плана. При кодировании изображения лево-правого смешанного формата блок 2101 кодирования кодирует изображение, сформированное блоком 2104 формирования, чтобы сформировать кодированный поток.

Фиг. 22 - блок-схема алгоритма, показывающая пример работы устройства 2100 кодирования изображений, показанного на фиг. 21.

Сначала блок 2104 формирования формирует изображение лево-правого смешанного формата из левого изображения и правого изображения (этап S2201).

Если подробно, то блок 2104 формирования формирует, в качестве изображения базового слоя, изображение, в котором первая часть левого изображения включается в область изображения левого плана, а вторая часть правого изображения включается в область изображения правого плана. Блок 2104 формирования также формирует, в качестве изображения слоя расширения, изображение, в котором третья часть левого изображения включается в область изображения левого плана, а четвертая часть правого изображения включается в область изображения правого плана. Здесь третья часть отличается от первой части, а четвертая часть отличается от второй части.

В качестве альтернативы блок 2104 формирования формирует, в качестве изображения базового слоя, изображение, в котором первая часть левого изображения включается в область изображения левого плана, а вторая часть правого изображения включается в область изображения правого плана. Блок 2104 формирования также формирует, в качестве изображения слоя расширения, изображение, в котором все левое изображения или третья часть левого изображения включается в область изображения левого плана, а все правое изображение или четвертая часть правого изображения включается в область изображения правого плана. Здесь третья часть включает в себя первую часть, а четвертая часть включает в себя вторую часть.

С помощью вышеупомянутой процедуры блок 2104 формирования формирует изображение лево-правого смешанного формата из левого изображения и правого изображения.

Далее блок 2101 кодирования кодирует изображение для формирования кодированного потока (этап S2202). Блок 2101 кодирования кодирует изображение, сформированное блоком 2104 формирования, чтобы сформировать кодированный поток при кодировании изображения лево-правого смешанного формата.

После этого блок 2102 мультиплексирования мультиплексирует кодированный поток и идентификатор, чтобы сформировать системный поток (этап S2203). Идентификатор указывает, является ли форматом изображения лево-правый смешанный формат.

Таким образом, устройство 2100 кодирования изображений может формировать изображение лево-правого смешанного формата. Поэтому устройство 2100 кодирования изображений может формировать системный поток, который дает возможность определения в системном слое на декодирующей стороне, имеет ли изображение лево-правый смешанный формат.

Изображение слоя расширения формируется из части, отличной от части, которая соответствует изображению базового слоя, или из части, включающей в себя часть, которая соответствует изображению базового слоя. Такое изображение базового слоя и изображение слоя расширения обеспечивают ранжированную точность.

Отметим, что блок 2104 формирования соответствует четырем блокам 111-114 горизонтального уменьшения на 1/2 и двум блокам 121 и 122 объединения в соответствии с Вариантом 1 осуществления, и соответствует двум блокам 811 и 812 горизонтального уменьшения на 1/2 и двум блокам 821 и 822 объединения в соответствии с Вариантом 2 осуществления.

Поэтому блок 2104 формирования может выполнять такой же процесс, что и четыре блока 111-114 горизонтального уменьшения на 1/2 и два блока 121 и 122 объединения в соответствии с Вариантом 1 осуществления, и может выполнять такой же процесс, что и два блока 811 и 812 горизонтального уменьшения на 1/2 и два блока 821 и 822 объединения в соответствии с Вариантом 2 осуществления.

Фиг. 23 - блок-схема, показывающая пример устройства декодирования изображений в соответствии с этим вариантом осуществления. Устройство 2300 декодирования изображений, показанное на фиг. 23, включает в себя блок 2310 системного слоя, блок 2320 видеослоя, блок 2304 формирования и блок 2303 вывода. Блок 2310 системного слоя включает в себя блок 2301 демультиплексирования. Блок 2320 видеослоя включает в себя блок 2302 декодирования.

Блок 2310 системного слоя, блок 2320 видеослоя, блок 2301 демультиплексирования и блок 2302 декодирования соответствуют и работают точно так же, как блок 1910 системного слоя, блок 1920 видеослоя, блок 1901 демультиплексирования и блок 1902 декодирования в соответствии с Вариантом 5 осуществления.

Блок 2304 формирования формирует левое изображение и правое изображение в случае, где форматом изображения является лево-правый смешанный формат. Левое изображение является изображением левого плана. Правое изображение является изображением правого плана. Блок 2303 вывода выводит, в качестве изображения, левое изображение и правое изображение, сформированные блоком 2304 формирования, в случае, где форматом изображения является лево-правый смешанный формат.

Фиг. 24 - блок-схема алгоритма, показывающая пример работы устройства 2300 декодирования изображений, показанного на фиг. 23.

Сначала блок 2301 демультиплексирования демультиплексирует системный поток на кодированный поток и идентификатор, чтобы получить кодированный поток и идентификатор (этап S2401). Идентификатор указывает, является ли форматом изображения лево-правый смешанный формат.

Далее блок 2302 декодирования декодирует изображение, включенное в кодированный поток, полученный блоком 2301 демультиплексирования (этап S2402).

После этого блок 2304 формирования формирует левое изображение и правое изображение в случае, где форматом изображения является лево-правый смешанный формат (этап S2403).

Если подробно, то блок 2304 формирования получает первую часть левого изображения из области изображения левого плана в изображении базового слоя и получает вторую часть правого изображения из области изображения правого плана в изображении базового слоя. Изображение базового слоя является изображением базового слоя и включается в изображение, декодированное блоком 2302 декодирования.

Блок 2304 формирования также получает третью часть левого изображения из области изображения левого плана в изображении слоя расширения и получает четвертую часть правого изображения из области изображения правого плана в изображении слоя расширения. Изображение слоя расширения является изображением слоя расширения и включается в изображение, декодированное блоком 2302 декодирования. Третья часть отличается от первой части, а четвертая часть отличается от второй части.

Блок 2304 формирования затем формирует левое изображение из полученной первой части и полученной третьей части и формирует правое изображение из полученной второй части и полученной четвертой части.

Блок 2303 вывода выводит изображение, декодированное блоком 2302 декодирования, в режиме вывода, заданном в соответствии с идентификатором, полученным блоком 2301 демультиплексирования (этап S2404). Блок 2303 вывода выводит, в качестве изображения, левое изображение и правое изображение, сформированные блоком 2304 формирования, в случае, где форматом изображения является лево-правый смешанный формат.

Таким образом, устройство 2300 декодирования изображений может переключать режим вывода изображения в соответствии с идентификатором, указывающим, имеет ли изображение лево-правый смешанный формат. Устройство 2300 декодирования изображений также может формировать левое изображение с высоким разрешением и правое изображение с высоким разрешением путем объединения изображения базового слоя и изображения слоя расширения.

Отметим, что блок 2304 формирования соответствует блоку 266 синтеза изображений и блоку 267 перегруппировки пикселей в соответствии с Вариантом 1 осуществления. Поэтому блок 2304 формирования может выполнять такой же процесс, что и блок 266 синтеза изображений и блок 267 перегруппировки пикселей в соответствии с Вариантом 1 осуществления.

Кроме того, блок 2304 формирования в случае, где форматом изображения является лево-правый смешанный формат, может формировать левое изображение из области изображения левого плана в декодированном изображении и правое изображение из области изображения правого плана в декодированном изображении. Декодированное изображение является изображением одного из базового слоя и слоя расширения и включается в изображение, декодированное блоком 2302 декодирования.

Таким образом, устройство 2300 декодирования изображений может формировать левое изображение и правое изображение из любого изображения базового слоя и изображения слоя расширения. Поэтому устройство 2300 декодирования изображений может формировать изображение, обладающее любой из множества степеней точности.

В этом случае блок 2304 формирования соответствует блоку 967 перегруппировки пикселей в соответствии с Вариантом 2 осуществления. Поэтому блок 2304 формирования может выполнять такой же процесс, что и блок 967 перегруппировки пикселей в соответствии с Вариантом 2 осуществления.

Хотя устройство кодирования изображений и устройство декодирования изображений в соответствии с настоящим изобретением описаны посредством вариантов осуществления, настоящее изобретение не ограничивается этими вариантами осуществления. Другие варианты осуществления, реализованные путем применения модификаций, предполагаемых специалистами в данной области техники, к вариантам осуществления и любому сочетанию компонентов в вариантах осуществления, также включаются в настоящее изобретение.

Например, процесс, выполняемый определенным блоком обработки, может выполняться другим блоком обработки. Кроме того, последовательность исполнения процессов может меняться, либо множество процессов может выполняться параллельно.

Хотя вышеизложенное описывает случай, где слой расширения состоит из изображения в лево-правом смешанном формате, слой расширения не должен состоять из изображения и может быть любыми данными для повышения точности изображения базового слоя. Точность не ограничивается разрешением и может быть частотой кадров, количеством пикселей, глубиной цвета, отношением сигнал/шум или т.п.

Настоящее изобретение может быть реализовано не только как устройство кодирования изображений и устройство декодирования изображений, но также как способы, включающие в себя этапы, соответствующие блокам обработки, включенным в устройство кодирования изображений и устройство декодирования изображений. Например, эти этапы выполняются компьютером. Настоящее изобретение также может быть реализовано в виде программы для побуждения компьютера выполнить этапы, включенные в такие способы. Настоящее изобретение еще может быть реализовано в виде машиночитаемого носителя записи, например CD-ROM, на который записывается программа.

Компоненты, включенные в устройство кодирования изображений и устройство декодирования изображений, могут быть реализованы с помощью LSI (большая интегральная схема), которая является интегральной схемой. Компоненты могут быть реализованы в виде одной микросхемы либо могут быть частично или полностью реализованы на одной микросхеме. В качестве примера компоненты помимо запоминающего устройства могут быть реализованы в виде одной микросхемы. Хотя здесь упоминается LSI, интегральная схема может называться IC (интегральной схемой), системной LSI, супер-LSI, ультра-LSI или т.п. в зависимости от степени интеграции.

Способ интегральных схем не ограничивается LSI и может быть реализован специализированной схемой или универсальным процессором. Также может использоваться FPGA (программируемая пользователем вентильная матрица), которая может программироваться, или реконфигурируемый процессор, который допускает реконфигурирование соединений и настроек элементов схемы в LSI.

Когда технология интегральных схем, которая заменяет LSI, появляется из развития полупроводниковых технологий или других производных технологий, такая технология может использоваться для создания интегральных схем из компонентов, включенных в устройство кодирования изображений и устройство декодирования изображений.

[Вариант 7 осуществления]

Обработка, описанная в каждом из Вариантов осуществления, может быть просто реализована в независимой компьютерной системе путем записи на носитель записи программы для реализации конфигураций способа кодирования кинофильма и способа декодирования кинофильма, описанных в каждом из Вариантов осуществления. Носители записи могут быть любыми носителями записи при условии, что на них можно записать программу, например магнитным диском, оптическим диском, магнитооптическим диском, платой ИС и полупроводниковой памятью.

Ниже будут описываться применения к способу кодирования кинофильма и способу декодирования кинофильма, описанным в каждом из Вариантов осуществления, и системы, их использующие.

Фиг. 25 иллюстрирует общую конфигурацию системы e×100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи делится на соты нужного размера, и в каждой из сот размещаются базовые станции e×106, e×107, e×108, e×109 и e×110, которые являются стационарными беспроводными станциями.

Система e×100 предоставления контента подключается к устройствам, например компьютеру e×111, персональному цифровому помощнику (PDA) e×112, камере e×113, сотовому телефону e×114 и игровому устройству e×115, через Интернет e×101, поставщика e×102 услуг Интернета, телефонную сеть e×104, а также базовые станции e×106-e×110 соответственно.

Однако конфигурация системы e×100 предоставления контента не ограничивается конфигурацией, показанной на фиг. 25, и допустимо сочетание, в котором соединяются любые элементы. К тому же каждое устройство может быть подключено к телефонной сети e×104 напрямую, а не через базовые станции e×106-e×110, которые являются стационарными беспроводным станциями. Кроме того, устройства могут быть взаимосвязаны друг с другом посредством ближней беспроводной связи и других.

Камера e×113, например цифровая видеокамера, допускает съемку видеоизображения. Камера e×116, например цифровая видеокамера, допускает съемку как неподвижных изображений, так и видеоизображения. Кроме того, сотовый телефон e×114 может быть телефоном, который соответствует любому из стандартов, например Глобальной системе мобильной связи (GSM), Коллективному доступу с кодовым разделением каналов (CDMA), Широкополосному коллективному доступу с кодовым разделением каналов (W-CDMA), Системе долгосрочного развития (LTE) и Высокоскоростному пакетному доступу (HSPA). В качестве альтернативы сотовый телефон e×114 может относиться к Системе персональных переносных телефонов (PHS).

В системе e×100 предоставления контента сервер e×103 потоковой передачи подключается к камере e×113 и другим через телефонную сеть e×104 и базовую станцию e×109, что дает возможность распространения изображений передачи в прямом эфире и прочих. При таком распространении контент (например, видеоизображение музыкальной передачи в прямом эфире), снятый пользователем с использованием камеры e×113, кодируется как описано выше в каждом из Вариантов осуществления, и кодированный контент передается на сервер e×103 потоковой передачи. С другой стороны, сервер e×103 потоковой передачи осуществляет потоковое распространение данных переданного контента клиентам по их запросам. Клиенты включают в себя компьютер e×111, PDA e×112, камеру e×113, сотовый телефон e×114 и игровое устройство e×115, которые допускают декодирование вышеупомянутых кодированных данных. Каждое из устройств, которое приняло распространенные данные, декодирует и воспроизводит кодированные данные.

Записанные данные могут кодироваться камерой e×113 или сервером e×103 потоковой передачи, который передает данные, либо процессы кодирования могут распределяться между камерой e×113 и сервером e×103 потоковой передачи. Аналогичным образом, распространенные данные могут декодироваться клиентами или сервером e×103 потоковой передачи, либо процессы декодирования могут распределяться между клиентами и сервером e×103 потоковой передачи. Кроме того, данные неподвижных изображений и видеоизображения, снятых не только камерой e×113, но также и камерой e×116, могут передаваться серверу e×103 потоковой передачи через компьютер e×111. Процессы кодирования могут выполняться камерой e×116, компьютером e×111 или сервером e×103 потоковой передачи, либо распределяться между ними.

Кроме того, процессы кодирования и декодирования могут выполняться с помощью LSI e×500, обычно включенной в каждый из компьютера e×111 и устройств. LSI e×500 может конфигурироваться из одиночной микросхемы или множества микросхем. Программное обеспечение для кодирования и декодирования видеоизображения может встраиваться в некоторый тип носителя записи (например, CD-ROM, гибкий диск и жесткий диск), который считывается компьютером e×111 и другими, и процессы кодирования и декодирования могут выполняться с использованием этого программного обеспечения. Кроме того, когда сотовый телефон e×114 оборудован камерой, можно передавать данные изображения, полученные камерой. Видеоданные являются данными, кодированными LSI e×500, включенной в сотовый телефон e×114.

Кроме того, сервер e×103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.

Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе e×100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, переданную пользователем, и воспроизводить декодированные данные в реальном масштабе времени в системе e×100 предоставления контента, чтобы пользователь, у которого нет никакого конкретного права и оборудования, мог реализовать личную трансляцию.

Помимо примера системы e×100 предоставления контента по меньшей мере одно из устройства кодирования кинофильма и устройства декодирования кинофильма, описанных в каждом из Вариантов осуществления, может быть реализовано в системе e×200 цифрового вещания, проиллюстрированной на фиг. 26. Точнее говоря, вещательная станция e×201 сообщает или передает посредством радиоволн вещательному спутнику e×202 мультиплексированные данные, полученные путем мультиплексирования звуковых данных и прочих на видеоданные. Видеоданные являются данными, кодированными по способу кодирования кинофильма, описанному в каждом из Вариантов осуществления. При приеме мультиплексированных данных вещательный спутник e×202 передает радиоволны для транслирования. Затем домашняя антенна e×204 с функцией приема спутникового вещания принимает радиоволны. Далее устройство, например телевизор e×300 (приемник) и телевизионная приставка e×217 (STB), декодирует принятые мультиплексированные данные и воспроизводит декодированные данные.

Кроме того, считывающе-записывающее устройство e×218 (i) считывает и декодирует мультиплексированные данные, записанные на носителях e×215 записи, например DVD и BD, либо (ii) кодирует видеосигналы на носителе e×215 записи и в некоторых случаях записывает данные, полученные путем мультиплексирования звукового сигнала на кодированные данные. Считывающе-записывающее устройство e×218 может включать в себя устройство декодирования кинофильма или устройство кодирования кинофильма, которые показаны в каждом из Вариантов осуществления. В этом случае восстановленные видеосигналы отображаются на мониторе e×219 и могут быть воспроизведены другим устройством или системой с использованием носителя e×215 записи, на котором записаны мультиплексированные данные. Также возможно реализовать устройство декодирования кинофильма в телевизионной приставке e×217, подключенной к кабелю e×203 для кабельного телевидения или к антенне e×204 для спутникового и/или наземного вещания, чтобы отобразить видеосигналы на мониторе e×219 телевизора e×300. Устройство декодирования кинофильма может быть реализовано не в телевизионной приставке, а в телевизоре e×300.

Фиг. 27 иллюстрирует телевизор (приемник) e×300, который использует способ кодирования кинофильма и способ декодирования кинофильма, описанные в каждом из Вариантов осуществления. Телевизор e×300 включает в себя: тюнер e×301, который получает или предоставляет мультиплексированные данные, полученные путем мультиплексирования звуковых данных на видеоданные, через антенну e×204 или кабель e×203 и т.д., который принимает трансляцию; блок e×302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные для поставки их наружу блока; и блок e×303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные на видеоданные и звуковые данные либо мультиплексирует видеоданные и звуковые данные, кодированные блоком e×306 обработки сигналов, в данные.

Телевизор e×300 дополнительно включает в себя: блок e×306 обработки сигналов, включающий в себя блок e×304 обработки звукового сигнала и блок e×305 обработки видеосигнала, которые декодируют звуковые данные и видеоданные и кодируют звуковые данные и видеоданные соответственно; и блок e×309 вывода, включающий в себя динамик e×307, который предоставляет декодированный звуковой сигнал, и блок e×308 отображения, который показывает декодированный видеосигнал, например дисплей. Кроме того, телевизор e×300 включает в себя интерфейсный блок e×317, включающий в себя блок e×312 ввода операции, который принимает ввод действия пользователя. Кроме того, телевизор e×300 включает в себя блок e×310 управления, который управляет в общем каждым составляющим элементом телевизора e×300, и схему e×311 питания, которая снабжает энергией каждый из элементов. Помимо блока e×312 ввода операции интерфейсный блок e×317 может включать в себя: мост e×313, который подключается к внешнему устройству, например считывающе-записывающему устройству e×218; разъем e×314 для обеспечения присоединения носителя e×216 записи, например карты SD; драйвер e×315, который нужно подключить к внешнему носителю записи, например жесткому диску; и модем e×316, который нужно подключить к телефонной сети. Здесь носитель e×216 записи может электрически записывать информацию с использованием элемента энергонезависимой/энергозависимой полупроводниковой памяти для хранения. Составляющие элементы телевизора e×300 соединяются друг с другом по синхронной шине.

Сначала будет описываться конфигурация, в которой телевизор e×300 декодирует мультиплексированные данные, полученные извне через антенну e×204 и прочие, и воспроизводит декодированные данные. В телевизоре e×300 в результате действия пользователя с пультом e×220 дистанционного управления и прочими блок e×303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные блоком e×302 модуляции/демодуляции, под управлением блока e×310 управления, включающего в себя CPU. Кроме того, в телевизоре e×300 блок e×304 обработки звукового сигнала декодирует демультиплексированные звуковые данные, а блок e×305 обработки видеосигнала декодирует демультиплексированные видеоданные, используя способ декодирования, описанный в каждом из Вариантов осуществления. Блок e×309 вывода предоставляет декодированный видеосигнал и звуковой сигнал соответственно. Когда блок e×309 вывода предоставляет видеосигнал и звуковой сигнал, сигналы могут быть временно сохранены в буферах e×318 и e×319 и других, чтобы сигналы воспроизводились синхронно друг с другом. Кроме того, телевизор e×300 может считывать мультиплексированные данные не путем трансляции и прочего, а с носителей e×215 и e×216 записи, например магнитного диска, оптического диска и карты SD. Далее будет описываться конфигурация, в которой телевизор e×300 кодирует звуковой сигнал и видеосигнал и передает данные вовне или записывает данные на носитель записи. В телевизоре e×300 в результате действия пользователя с пультом e×220 дистанционного управления и прочими блок e×304 обработки звукового сигнала кодирует звуковой сигнал, а блок e×305 обработки видеосигнала кодирует видеосигнал, под управлением блока e×310 управления с использованием способа кодирования, описанного в каждом из Вариантов осуществления. Блок e×303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и звуковой сигнал и предоставляет наружу результирующий сигнал. Когда блок e×303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и звуковой сигнал, сигналы могут быть временно сохранены в буферах e×320 и e×321 и других, чтобы сигналы воспроизводились синхронно друг с другом. Здесь буферы e×318, e×319, e×320 и e×321 могут быть многочисленными, как проиллюстрировано, или по меньшей мере один буфер может использоваться совместно в телевизоре e×300. Кроме того, хотя и не проиллюстрировано, данные могут храниться в буфере, чтобы можно было избежать переполнения и незаполнения системы, например, между блоком e×302 модуляции/демодуляции и блоком e×303 мультиплексирования/демультиплексирования.

Кроме того, телевизор e×300 может включать в себя конфигурацию для приема аудиовизуальных входных данных от микрофона или камеры, помимо конфигурации для получения звуковых данных и видеоданных из трансляции или с носителя записи, и может кодировать полученные данные. Хотя в описании телевизор e×300 может кодировать, мультиплексировать и предоставлять вовне данные, он может допускать только прием, декодирование и предоставление наружу данных, но не кодирование, мультиплексирование и предоставление данных вовне.

Кроме того, когда считывающе-записывающее устройство e×218 считывает или записывает мультиплексированные данные с носителя записи или на него, одно из телевизора e×300 и считывающе-записывающего устройства e×218 может декодировать или кодировать мультиплексированные данные, и телевизор e×300 и считывающе-записывающее устройство e×218 могут распределять декодирование или кодирование.

В качестве примера фиг. 28 иллюстрирует конфигурацию блока e×400 воспроизведения/записи информации, когда данные считываются или записываются с оптического диска или на него. Блок e×400 воспроизведения/записи информации включает в себя составляющие элементы e×401, e×402, e×403, e×404, e×405, e×406 и e×407, которые будут описаны ниже. Оптическая головка e×401 излучает лазерное пятно на поверхность записи у носителя e×215 записи, который является оптическим диском, для записи информации и обнаруживает отраженный свет от поверхности записи у носителя e×215 записи для считывания информации. Блок e×402 модуляционной записи электрически управляет полупроводниковым лазером, включенным в оптическую головку e×401, и модулирует лазерное излучение в соответствии с записанными данными. Блок e×403 демодуляции при воспроизведении усиливает сигнал воспроизведения, полученный путем электрического обнаружения отраженного света от поверхности записи с использованием фотодетектора, включенного в оптическую головку e×401, и демодулирует сигнал воспроизведения путем отделения составляющей сигнала, записанной на носителе e×215 записи, чтобы воспроизвести необходимую информацию. Буфер e×404 временно хранит информацию, которую нужно записать на носитель e×215 записи, и информацию, воспроизведенную с носителя e×215 записи. Двигатель e×405 диска вращает носитель e×215 записи. Блок e×406 сервоуправления перемещает оптическую головку e×401 на заранее установленную информационную дорожку, управляя при этом вращением двигателя e×405 диска, чтобы следовать за лазерным пятном. Блок e×407 системного управления управляет в целом блоком e×400 воспроизведения/записи информации. Процессы считывания и записи могут быть реализованы блоком e×407 системного управления, использующим различную информацию, сохраненную в буфере e×404, и формирующим и добавляющим новую информацию по необходимости, и блоком e×402 модуляционной записи, блоком e×403 демодуляции при воспроизведении и блоком e×406 сервоуправления, которые записывают и воспроизводят информацию посредством оптической головки e×401, будучи управляемыми при этом согласованным способом. Блок e×407 системного управления включает в себя, например, микропроцессор и выполняет обработку путем побуждения компьютера выполнить программу для считывания и записи.

Хотя в описании оптическая головка e×401 излучает лазерное пятно, она может выполнять запись с высокой плотностью, используя свет ближней зоны.

Фиг. 29 иллюстрирует носитель e×215 записи, который является оптическим диском. На поверхности записи носителя e×215 записи направляющие канавки образуются по спирали, и информационная дорожка e×230 заранее записывает адресную информацию, указывающую абсолютное положение на диске в соответствии с изменением в форме направляющих канавок. Адресная информация включает в себя информацию для определения положений блоков e×231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки e×230 и считывание адресной информации в устройстве, которое записывает и воспроизводит данные, может привести к определению положений блоков записи. Кроме того, носитель e×215 записи включает в себя область e×233 записи данных, область e×232 внутренней окружности и область e×234 внешней окружности. Область e×233 записи данных является областью для использования при записи пользовательских данных. Область e×232 внутренней окружности и область e×234 внешней окружности, которые находятся внутри и снаружи области e×233 записи данных соответственно, предназначены для специального использования за исключением записи пользовательских данных. Блок e×400 воспроизведения/записи информации считывает и записывает кодированные звуковые данные, кодированные видеоданные или мультиплексированные данные, полученные путем мультиплексирования кодированных звуковых и видеоданных, из области e×233 записи данных в носителе e×215 записи и на нее.

Хотя в описании в качестве примера описывается оптический диск, содержащий слой, например DVD и BD, оптический диск не ограничивается таковым и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на части, отличной от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, например, записи информации с использованием света с цветами разных длин волн в одной и той же части оптического диска и для записи информации, имеющей разные слои, с различных углов.

Кроме того, в системе e×200 цифрового вещания автомобиль e×210, имеющий антенну e×205, может принимать данные со спутника e×202 и других и воспроизводить видеоизображение на устройстве отображения, например автомобильной навигационной системе e×211, установленной в автомобиле e×210. Здесь конфигурация автомобильной навигационной системы e×211 будет конфигурацией, например, включающей в себя приемный блок GPS из конфигурации, проиллюстрированной на фиг. 27. То же будет справедливо для конфигурации компьютера e×111, сотового телефона e×114 и прочих.

Фиг. 30A иллюстрирует сотовый телефон e×114, который использует способ кодирования кинофильма и способ декодирования кинофильма, описанные в Вариантах осуществления. Сотовый телефон e×114 включает в себя: антенну e×350 для передачи и приема радиоволн посредством базовой станции e×110; камеру e×365, допускающую съемку подвижных и неподвижных изображений; и блок e×358 отображения, например жидкокристаллический дисплей для отображения данных, например декодированного видеоизображения, снятого камерой e×365 или принятого антенной e×350. Сотовый телефон e×114 дополнительно включает в себя: корпус, включающий в себя панель e×366 кнопок; блок e×357 вывода звука, например динамик для вывода звукозаписи; блок e×356 ввода звука, например микрофон для ввода звукозаписи; запоминающее устройство e×367 для хранения снятого видеоизображения или фотоснимков, записанного звука, кодированных или декодированных данных принятого видеоизображения, фотоснимков, электронных писем или прочего; и разъем e×364, который является интерфейсным блоком для носителя записи, который хранит данные таким же образом, что и запоминающее устройство e×367.

Далее пример конфигурации сотового телефона e×114 будет описываться со ссылкой на фиг. 30B. В сотовом телефоне e×114 главный блок e×360 управления, спроектированный для управления в целом каждым блоком корпуса, включающего блок e×358 отображения, а также панель e×366 кнопок, взаимно подключается через синхронную шину e×370 к схеме e×361 питания, блоку e×362 управления вводом операции, блоку e×355 обработки видеосигнала, интерфейсному блоку e×363 камеры, блоку e×359 управления жидкокристаллическим дисплеем (LCD), блоку e×352 модуляции/демодуляции, блоку e×353 мультиплексирования/демультиплексирования, блоку e×354 обработки звукового сигнала, разъему e×364 и запоминающему устройству e×367.

Когда клавиша завершения вызова или клавиша питания нажимается в результате действия пользователя, схема e×361 питания снабжает соответствующие блоки энергией от аккумуляторной батареи, чтобы активизировать сотовый телефон e×114.

В сотовом телефоне e×114 блок e×354 обработки звукового сигнала преобразует звуковые сигналы, собранные блоком e×356 ввода звука в режиме разговора, в цифровые звуковые сигналы под управлением главного блока e×360 управления, включающего CPU, ROM и RAM. Затем блок e×352 модуляции/демодуляции выполняет обработку по расширению спектра над цифровыми звуковыми сигналами, а блок e×351 передачи и приема выполняет цифроаналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну e×350. Также в сотовом телефоне e×114 блок e×351 передачи и приема усиливает данные, принятые антенной e×350 в режиме разговора, и выполняет преобразование частоты и аналого-цифровое преобразование над данными. Затем блок e×352 модуляции/демодуляции выполняет обработку по обратному расширению спектра над данными, а блок e×354 обработки звукового сигнала преобразует их в аналоговые звуковые сигналы, чтобы вывести их через блок e×357 вывода звука.

Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные из электронной почты, введенные путем воздействия на панель e×366 кнопок и прочие в корпусе, отправляются главному блоку e×360 управления через блок e×362 управления вводом операции. Главный блок e×360 управления побуждает блок e×352 модуляции/демодуляции выполнить обработку по расширению спектра над текстовыми данными, а блок e×351 передачи и приема выполняет цифроаналоговое преобразование и преобразование частоты над результирующими данными, чтобы передать данные базовой станции e×110 через антенну e×350. Когда принимается электронная почта, над принятыми данными выполняется обработка, которая приблизительно обратна обработке для передачи электронной почты, и результирующие данные предоставляются блоку e×358 отображения.

Когда передаются видеоизображение, неподвижные изображения или видеоизображение и звукозапись в режиме передачи данных, блок e×355 обработки видеосигнала сжимает и кодирует видеосигналы, поступившие от камеры e×365, используя способ кодирования кинофильма, показанный в каждом из Вариантов осуществления, и передает кодированные видеоданные блоку e×353 мультиплексирования/демультиплексирования. В отличие от этого, во время того, когда камера e×365 снимает видеоизображение, неподвижные изображения и другие, блок e×354 обработки звукового сигнала кодирует звуковые сигналы, собранные блоком e×356 ввода звука, и передает кодированные звуковые данные блоку e×353 мультиплексирования/демультиплексирования.

Блок e×353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, поступившие от блока e×355 обработки видеосигнала, и кодированные звуковые данные, поступившие от блока e×354 обработки звукового сигнала, используя заранее установленный способ. Затем блок e×352 модуляции/демодуляции выполняет обработку по расширению спектра над мультиплексированными данными, а блок e×351 передачи и приема выполняет цифроаналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну e×350.

При приеме данных видеофайла, который связан с веб-страницей и другими в режиме передачи данных, или при приеме электронной почты с прикрепленным видеоизображением и/или звукозаписью, чтобы декодировать мультиплексированные данные, принятые через антенну e×350, блок e×353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные на поток двоичных сигналов видеоданных и поток двоичных сигналов звуковых данных, и снабжает блок e×355 обработки видеосигнала кодированными видеоданными, а блок e×354 обработки звукового сигнала - кодированными звуковыми данными посредством синхронной шины e×370. Блок e×355 обработки видеосигнала декодирует видеосигнал с использованием способа декодирования кинофильма, соответствующего способу кодирования, показанному в каждом из Вариантов осуществления, а затем блок e×358 отображения показывает, например, видеоизображение и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, посредством блока e×359 управления LCD. Кроме того, блок e×354 обработки звукового сигнала декодирует звуковой сигнал, и блок e×357 вывода звука предоставляет звукозапись.

Кроме того, аналогично телевизору e×300, терминал, например сотовый телефон e×114, возможно имеет 3 типа конфигураций исполнения, включающих не только (i) передающий и приемный терминал, включающий в себя устройство кодирования и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании система e×200 цифрового вещания принимает и передает мультиплексированные данные, полученные путем мультиплексирования звуковых данных на видеоданные, мультиплексированные данные могут быть данными, полученными путем мультиплексирования не звуковых данных, а символьных данных, имеющих отношение к видеоизображению, на видеоданные, и могут быть не мультиплексированными данными, а самими видеоданными.

По существу, способ кодирования кинофильма и способ декодирования кинофильма в каждом из Вариантов осуществления может использоваться на любом из описанных устройств и систем. Таким образом, можно получить преимущества, описанные в каждом из Вариантов осуществления.

Кроме того, настоящее изобретение не ограничивается Вариантами осуществления, и возможны различные модификации и изменения без отклонения от объема настоящего изобретения.

[Вариант 8 осуществления]

Видеоданные могут формироваться путем переключения, по необходимости, между (i) способом кодирования кинофильма или устройством кодирования кинофильма, показанными в каждом из Вариантов осуществления, и (ii) способом кодирования кинофильма или устройством кодирования кинофильма в соответствии с другим стандартом, например MPEG-2, MPEG4-AVC и VC-1.

Здесь, когда формируется множество видеоданных, которые соответствуют разным стандартам, а затем декодируется, нужно выбирать способы декодирования, которые соответствуют разным стандартам. Однако, поскольку нельзя определить то, какому стандарту соответствуют каждые из множества видеоданных, которые нужно декодировать, существует задача, что нельзя выбрать подходящий способ декодирования.

Чтобы решить эту задачу, мультиплексированные данные, полученные путем мультиплексирования звуковых данных и других на видеоданные, имеют структуру, включающую идентификационную информацию, указывающую, какому стандарту соответствуют видеоданные. Ниже будет описываться конкретная структура мультиплексированных данных, включающих видеоданные, сформированные по способу кодирования кинофильма и с помощью устройства кодирования кинофильма, показанных в каждом из Вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортного потока MPEG2.

Фиг. 31 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 31, мультиплексированные данные можно получить путем мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока демонстрационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видеоизображение и вторичное видеоизображение фильма, аудиопоток представляет первичную звуковую часть и вторичную звуковую часть, которую нужно смешать с первичной звуковой частью, а поток демонстрационной графики представляет субтитры фильма. Здесь первичное видеоизображение является обычным видеоизображением, показанным на экране, а вторичное видеоизображение является видеоизображением, которое нужно показать на меньшем окне в первичном видеоизображении. Кроме того, поток интерактивной графики представляет интерактивный экран, который нужно сформировать путем размещения компонентов GUI на экране. Видеопоток кодируется по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, показанных в каждом из Вариантов осуществления, либо по способу кодирования кинофильма или с помощью устройства кодирования кинофильма в соответствии с традиционным стандартом, например MPEG-2, MPEG4-AVC и VC-1. Аудиопоток кодируется в соответствии со стандартом, например Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD и линейной PCM.

Каждый поток, включенный в мультиплексированные данные, идентифицируется по PID. Например, 0×1011 назначается видеопотоку, который нужно использовать для видеоизображения фильма, 0×1100 - 0×111F назначаются аудиопотокам, 0×1200 - 0×121F назначаются потокам демонстрационной графики, 0×1400 - 0×141F назначаются потокам интерактивной графики, 0×1B00 - 0×1B1F назначаются видеопотокам, которые нужно использовать для вторичного видеоизображения фильма, и 0×1A00 - 0×1A1F назначаются аудиопотокам, которые нужно использовать для вторичного звука, который нужно смешать с первичным звуком.

Фиг. 32 схематически иллюстрирует то, как мультиплексируются данные. Сначала видеопоток e×235, состоящий из видеокадров, и аудиопоток e×238, состоящий из звуковых кадров, преобразуются в поток e×236 пакетов PES и поток e×239 пакетов PES, и дополнительно в пакеты e×237 TS и пакеты e×240 TS соответственно. Аналогичным образом данные из потока e×241 демонстрационной графики и данные из потока e×244 интерактивной графики преобразуются в поток e×242 пакетов PES и поток e×245 пакетов PES, и дополнительно в пакеты e×243 TS и пакеты e×246 TS соответственно. Эти пакеты TS мультиплексируются в поток для получения мультиплексированных данных e×247.

Фиг. 33 более подробно иллюстрирует то, как видеопоток сохраняется в потоке пакетов PES. Первая полоса на фиг. 33 показывает поток видеокадров в видеопотоке. Вторая полоса показывает поток пакетов PES. Как указано стрелками, обозначенными yy1, yy2, yy3 и yy4 на фиг. 33, видеопоток делится на изображения в виде I-изображений, B-изображений и P-изображений, каждое из которых является блоком видеодемонстрации, и изображения сохраняются в полезной нагрузке каждого из пакетов PES. Каждый из пакетов PES имеет заголовок PES, и заголовок PES хранит Временную отметку воспроизведения (PTS), указывающую время показа изображения, и Временную отметку декодирования (DTS), указывающую время декодирования изображения.

Фиг. 34 иллюстрирует формат пакетов TS, которые в конечном счете должны быть записаны в мультиплексированные данные. Каждый из пакетов TS является 188-байтным пакетом фиксированной длины, включающим 4-байтный заголовок TS, содержащий информацию, например PID для идентификации потока, и 184-байтную полезную нагрузку TS для хранения данных. Пакеты PES разделяются и сохраняются в полезных нагрузках TS соответственно. Когда используется BD ROM, каждому из пакетов TS выдается 4-байтный TP_Extra_Header, соответственно приводя к 192-байтным исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит информацию, например Временную отметку поступления (ATS). ATS показывает время начала передачи, в которое каждый из пакетов TS нужно передать в фильтр PID. Исходные пакеты размещаются в мультиплексированных данных, как показано в нижней части фиг. 34. Номера, увеличивающиеся от начала мультиплексированных данных, называются номерами исходных пакетов (SPN).

Каждый из пакетов TS, включенных в мультиплексированные данные, включает в себя не только потоки звукозаписи, видеоизображения, субтитров и других, но также Таблицу взаимосвязи программ (PAT), Таблицу преобразования программ (PMT) и Опорный сигнал программы (PCR). PAT показывает, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самой PAT регистрируется как ноль. PMT хранит PID потоков видеоизображения, звукозаписи, субтитров и других, включенных в мультиплексированные данные, и информацию об атрибутах потоков, соответствующих PID. PMT также содержит различные дескрипторы, относящиеся к мультиплексированным данным. Дескрипторы обладают информацией, например информацией управления копированием, показывающей, разрешено ли копирование мультиплексированных данных. PCR хранит временную информацию STC, соответствующую ATS, показывающей, когда пакет PCR передается декодеру, чтобы достичь синхронизации между Таймером поступления (ATC), который является осью времени ATS, и Системным таймером (STC), который является осью времени PTS и DTS.

Фиг. 35 подробно иллюстрирует структуру данных PMT. Заголовок PMT располагается в начале PMT. Заголовок PMT описывает длину данных, включенных в PMT, и прочее. После заголовка PMT располагается множество дескрипторов, относящихся к мультиплексированным данным. В дескрипторах описывается информация, например информация управления копированием. После дескрипторов располагается множество порций информации о потоке, относящихся к потокам, включенным в мультиплексированные данные. Каждая порция информации о потоке включает в себя дескрипторы потока, описывающее информацию, например тип потока для идентификации кодека сжатия потока, PID потока и информацию об атрибутах потока (например, частоту кадров или соотношение сторон). Дескрипторы потока по числу равны количеству потоков в мультиплексированных данных.

Когда мультиплексированные данные записываются на носитель записи и прочие, они записываются вместе с информационными файлами мультиплексированных данных.

Каждый из информационных файлов мультиплексированных данных является управляющей информацией о мультиплексированных данных, как показано на фиг. 36. Информационные файлы мультиплексированных данных находятся однозначном соответствии с мультиплексированными данными, и каждый из файлов включает в себя информацию о мультиплексированных данных, информацию об атрибутах потока и карту входов.

Как проиллюстрировано на фиг. 36, мультиплексированные данные включают в себя системную скорость, время начала воспроизведения и время окончания воспроизведения. Системная скорость указывает максимальную скорость передачи, с которой конечный декодер системы, который будет описан позже, передает мультиплексированные данные в фильтр PID. Интервалы ATS, включенных в мультиплексированные данные, устанавливаются не выше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в начале мультиплексированных данных. Интервал из одного кадра добавляется в PTS в видеокадре в конце мультиплексированных данных, и PTS устанавливается во время окончания воспроизведения.

Как показано на фиг. 37, порция информации об атрибутах регистрируется в информации об атрибутах потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждая порция информации об атрибутах содержит разную информацию в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком демонстрационной графики или потоком интерактивной графики. Каждая порция информации об атрибутах видеопотока несет информацию, включающую, какой вид кодека сжатия используется для сжатия видеопотока, и разрешение, соотношение сторон и частоту кадров у порций данных изображения, которые включаются в видеопоток. Каждая порция информации об атрибутах аудиопотока несет информацию, включающую то, какой вид кодека сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопоток и какова частота дискретизации. Информация об атрибутах видеопотока и информация об атрибутах аудиопотока используются для инициализации декодера перед тем, как проигрыватель воспроизводит информацию.

В Варианте 8 осуществления мультиплексированные данные, которые нужно использовать, принадлежат к типу потока, включенному в PMT. Кроме того, когда мультиплексированные данные записываются на носитель записи, используется информация об атрибутах видеопотока, включенная в информацию о мультиплексированных данных. Точнее говоря, способ кодирования кинофильма или устройство кодирования кинофильма, описанные в каждом из Вариантов осуществления, включают в себя этап или блок для назначения уникальной информации, указывающей видеоданные, сформированные по способу кодирования кинофильма или с помощью устройства кодирования кинофильма в каждом из Вариантов осуществления, типу потока, включенному в PMT, или информации об атрибутах видеопотока. С помощью этой конфигурации видеоданные, сформированные способом кодирования кинофильма или устройством кодирования кинофильма, описанными в каждом из Вариантов осуществления, можно отличить от видеоданных, которые соответствуют другому стандарту.

Кроме того, фиг. 38 иллюстрирует этапы способа декодирования кинофильма в соответствии с Вариантом 8 осуществления. На этапе e×S100 тип потока, включенный в PMT, или информация об атрибутах видеопотока получаются из мультиплексированных данных. Далее на этапе e×S101 определяется, указывает ли тип потока или информация об атрибутах видеопотока, что мультиплексированные данные формируются способом кодирования кинофильма или устройством кодирования кинофильма в каждом из Вариантов осуществления. Когда определяется, что тип потока или информация об атрибутах видеопотока указывает, что мультиплексированные данные формируются способом кодирования кинофильма или устройством кодирования кинофильма в каждом из Вариантов осуществления, то на этапе e×S102 выполняется декодирование по способу декодирования кинофильма в каждом из Вариантов осуществления. Кроме того, когда тип потока или информация об атрибутах видеопотока указывает соответствие традиционным стандартам, например MPEG-2, MPEG4-AVC и VC-1, то на этапе e×S103 выполняется декодирование по способу декодирования кинофильма в соответствии с традиционными стандартами.

По существу, назначение нового уникального значения типу потока или информации об атрибутах видеопотока дает возможность определения, могут ли способ декодирования кинофильма или устройство декодирования кинофильма, которые описаны в каждом из Вариантов осуществления, выполнять декодирование. Даже при мультиплексированных данных, которые соответствуют другому стандарту, можно выбрать подходящий способ или устройство декодирования. Таким образом, становится возможным декодировать информацию без какой-либо ошибки. Кроме того, способ или устройство кодирования кинофильма либо способ или устройство декодирования кинофильма в Варианте 8 осуществления могут использоваться в устройствах и системах, описанных выше.

[Вариант 9 осуществления]

Каждый из способа кодирования кинофильма, устройства кодирования кинофильма, способа декодирования кинофильма и устройства декодирования кинофильма в каждом из Вариантов осуществления обычно выполняется в виде интегральной схемы или Большой интегральной схемы (LSI). В качестве примера LSI фиг. 39 иллюстрирует конфигурацию LSI e×500, которая превращена в одну микросхему. LSI e×500 включает в себя элементы e×501, e×502, e×503, e×504, e×505, e×506, e×507, e×508 и e×509, которые будут описаны ниже, и эти элементы соединяются друг с другом посредством шины e×510. Схема e×505 питания активизируется путем подачи питания каждому из элементов, когда включается схема e×505 питания.

Например, когда выполняется кодирование, LSI e×500 принимает аудиовизуальный сигнал от микрофона e×117, камеры e×113 и других посредством аудиовизуального ввода/вывода e×509 под управлением блока e×501 управления, включающего в себя CPU e×502, контроллер e×503 памяти, контроллер e×504 потока и блок e×512 регулировки частоты возбуждения. Принятый аудиовизуальный сигнал временно сохраняется во внешнем запоминающем устройстве e×511, например SDRAM. Под управлением блока e×501 управления сохраненные данные сегментируются на порции данных в соответствии с объемом и скоростью обработки для передачи их блоку e×507 обработки сигналов. Затем блок e×507 обработки сигналов кодирует звуковой сигнал и/или видеосигнал. Здесь кодирование видеосигнала является кодированием, описанным в каждом из Вариантов осуществления. Кроме того, блок e×507 обработки сигналов иногда мультиплексирует кодированные звуковые данные и кодированные видеоданные, и ввод-вывод e×506 потока предоставляет мультиплексированные данные вовне. Предоставленные мультиплексированные данные передаются базовой станции e×107 или записываются на носители e×215 записи. Когда мультиплексируются наборы данных, данные следует временно сохранить в буфере e×508, чтобы наборы данных синхронизировались друг с другом.

Хотя запоминающее устройство e×511 является элементом вне LSI e×500, оно может включаться в LSI e×500. Буфер e×508 не ограничивается одним буфером, а может состоять из буферов. Кроме того, LSI e×500 можно превратить в одну микросхему или множество микросхем.

Кроме того, хотя блок e×510 управления включает в себя CPU e×502, контроллер e×503 памяти, контроллер e×504 потока, блок e×512 регулировки частоты возбуждения, конфигурация блока e×510 управления не ограничивается таковой. Например, блок e×507 обработки сигналов может дополнительно включать в себя CPU. Включение другого CPU в блок e×507 обработки сигналов может повысить скорость обработки. Кроме того, в качестве другого примера CPU e×502 может работать в качестве блока e×507 обработки сигналов или быть его частью, и, например, может включать в себя блок обработки звукового сигнала. В таком случае блок e×501 управления включает в себя блок e×507 обработки сигналов или CPU e×502, включающий в себя часть блока e×507 обработки сигналов.

Используемым здесь наименованием является LSI, но она также может называться системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.

Кроме того, способы достижения интеграции не ограничиваются LSI, и специальная схема или универсальный процессор и т.д. также могут обеспечить интеграцию. С той же целью может использоваться программируемая пользователем вентильная матрица (FPGA), которую можно запрограммировать после производства LSI, или реконфигурируемый процессор, который допускает реконфигурацию соединения или конфигурацию LSI.

В будущем, с развитием полупроводниковой технологии совершенно новая технология может заменить LSI. Функциональные блоки можно интегрировать с использованием такой технологии. Есть вероятность, что настоящее изобретение применяется к биотехнологии.

[Вариант 10 осуществления]

Когда декодируются видеоданные, сформированные по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, описанных в каждом из Вариантов осуществления, по сравнению с тем, когда декодируются видеоданные, которые соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, объем обработки скорее всего увеличивается. Таким образом, LSI e×500 нужно настраивать на частоту возбуждения выше, чем у CPU e×502, которую нужно использовать, когда декодируются видеоданные в соответствии с традиционным стандартом. Однако, когда частота возбуждения устанавливается выше, имеется задача, что увеличивается энергопотребление.

Чтобы решить эту задачу, устройство декодирования кинофильма, например телевизор e×300 и LSI e×500, конфигурируется для определения, какому стандарту соответствуют видеоданные, и переключения между частотами возбуждения в соответствии с определенным стандартом. Фиг. 40 иллюстрирует конфигурацию e×800 в Варианте 10 осуществления. Блок e×803 переключения частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения, когда видеоданные формируются способом кодирования кинофильма или устройством кодирования кинофильма, описанными в каждом из Вариантов осуществления. Затем блок e×803 переключения частоты возбуждения дает команду блоку e×801 декодирующей обработки, который выполняет способ декодирования кинофильма, описанный в каждом из Вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, блок e×803 переключения частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, чем у видеоданных, сформированных способом кодирования кинофильма или устройством кодирования кинофильма, описанными в каждом из Вариантов осуществления. Затем блок e×803 переключения частоты возбуждения дает команду блоку e×802 декодирующей обработки, который соответствует традиционному стандарту, декодировать видеоданные.

Точнее говоря, блок e×803 переключения частоты возбуждения включает в себя CPU e×502 и блок e×512 регулировки частоты возбуждения на фиг. 39. Здесь каждый из блока e×801 декодирующей обработки, который выполняет способ декодирования кинофильма, описанный в каждом из Вариантов осуществления, и блока e×802 декодирующей обработки, который соответствует традиционному стандарту, соответствует блоку e×507 обработки сигналов на фиг. 39. CPU e×502 определяет, какому стандарту соответствуют видеоданные. Затем блок e×512 регулировки частоты возбуждения определяет частоту возбуждения на основе сигнала от CPU e×502. Кроме того, блок e×507 обработки сигналов декодирует видеоданные на основе сигнала от CPU e×502. Например, идентификационная информация, описанная в Варианте 8 осуществления, скорее всего используется для идентификации видеоданных. Идентификационная информация не ограничивается описанной в Варианте 8 осуществления, а может быть любой информацией при условии, что эта информация указывает, какому стандарту соответствуют видеоданные. Например, когда на основе внешнего сигнала для определения, что видеоданные используются для телевидения или диска и т.д., можно определить, какому стандарту соответствуют видеоданные, определение можно выполнять на основе такого внешнего сигнала. Кроме того, CPU e×502 выбирает частоту возбуждения на основе, например, справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения, как показано на фиг. 42. Частота возбуждения может выбираться путем сохранения справочной таблицы в буфере e×508 и во внутреннем запоминающем устройстве LSI, и при обращении к справочной таблице с помощью CPU e×502.

Фиг. 41 иллюстрирует этапы для выполнения способа в Варианте 10 осуществления. Сначала на этапе e×S200 блок e×507 обработки сигналов получает идентификационную информацию из мультиплексированных данных. Далее на этапе e×S201 на основе идентификационной информации CPU e×502 определяет, формируются ли видеоданные с помощью способа кодирования и устройства кодирования, описанных в каждом из Вариантов осуществления. Когда видеоданные формируются способом кодирования и устройством кодирования, описанными в каждом из Вариантов осуществления, на этапе e×S202 CPU e×502 передает блоку e×512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в более высокую частоту возбуждения. Затем блок e×512 регулировки частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения. С другой стороны, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, на этапе e×S203 CPU e×502 передает блоку e×512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в меньшую частоту возбуждения. Затем блок e×512 регулировки частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, нежели в случае, где видеоданные формируются способом кодирования кинофильма и устройством кодирования кинофильма, описанными в каждом из Вариантов осуществления.

Кроме того, вместе с переключением частот возбуждения можно усилить эффект экономии энергии путем изменения напряжения, которое нужно подать на LSI e×500 или устройство, включающее в себя LSI e×500. Например, когда частота возбуждения устанавливается ниже, напряжение, которое нужно подать на LSI e×500 или устройство, включающее в себя LSI e×500, скорее всего устанавливается в напряжение ниже, чем в случае, где частота возбуждения устанавливается выше.

Кроме того, в качестве способа для настройки частоты возбуждения, когда объем обработки для декодирования больше, частоту возбуждения можно установить выше, а когда объем обработки для декодирования меньше, частоту возбуждения можно установить ниже. Таким образом, способ настройки не ограничивается способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG-AVC больше объема обработки для декодирования видеоданных, сформированных способом кодирования кинофильма и устройством кодирования кинофильма, описанными в каждом из Вариантов осуществления, частота возбуждения скорее всего устанавливается в обратном порядке к установке, описанной выше.

Кроме того, способ для установки частоты возбуждения не ограничивается способом для установки частоты возбуждения ниже. Например, когда идентификационная информация указывает, что видеоданные формируются способом кодирования кинофильма и устройством кодирования кинофильма, описанными в каждом из Вариантов осуществления, напряжение, которое нужно подать на LSI e×500 или устройство, включающее в себя LSI e×500, скорее всего устанавливается выше. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, напряжение, которое нужно подать на LSI e×500 или устройство, включающее в себя LSI e×500, скорее всего устанавливается ниже. В качестве другого примера, когда идентификационная информация указывает, что видеоданные формируются способом кодирования кинофильма и устройством кодирования кинофильма, описанными в каждом из Вариантов осуществления, приведение в действие CPU e×502, скорее всего, не нужно приостанавливать. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, приведение в действие CPU e×502, скорее всего, приостанавливается в заданный момент, потому что у CPU e×502 есть избыточная производительность обработки. Даже когда идентификационная информация указывает, что видеоданные формируются способом кодирования кинофильма и устройством кодирования кинофильма, описанными в каждом из Вариантов осуществления, в случае, где у CPU e×502 есть избыточная производительность обработки, приведение в действие CPU e×502 скорее всего приостанавливается в заданный момент. В таком случае время приостановки, скорее всего, устанавливается короче, нежели в случае, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1.

Соответственно, можно усилить эффект экономии энергии путем переключения между частотами возбуждения в соответствии со стандартом, которому соответствуют видеоданные. Кроме того, когда LSI e×500 или устройство, включающее в себя LSI e×500, приводится в действие с использованием батареи, время работы от батарей можно продлить вместе с эффектом экономии энергии.

[Вариант 11 осуществления]

Имеются случаи, где множество видеоданных, которые соответствуют разным стандартам, предоставляется устройствам и системам, например телевизору и мобильному телефону. Чтобы обеспечить возможность декодирования множества видеоданных, которые соответствуют разным стандартам, блок e×507 обработки сигналов в LSI e×500 должен соответствовать разным стандартам. Однако возникают задачи увеличения масштаба схемы LSI e×500 и увеличения стоимости с отдельным использованием блоков e×507 обработки сигналов, которые соответствуют соответствующим стандартам.

Чтобы решить эту задачу, представляется конфигурация, в которой блок декодирующей обработки для реализации способа декодирования кинофильма, описанного в каждом из Вариантов осуществления, и блок декодирующей обработки, который соответствует традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, частично используются совместно. e×900 на фиг. 43A показывает пример этой конфигурации. Например, способ декодирования кинофильма, описанный в каждом из Вариантов осуществления, и способ декодирования кинофильма, который соответствует MPEG4-AVC, имеют отчасти общие подробности обработки, например энтропийное кодирование, обратное квантование, фильтрацию уменьшения блочности и предсказание с компенсацией движения. Подробности обработки, которые должны использоваться совместно, скорее всего включают в себя использование блока e×902 декодирующей обработки, который соответствует MPEG4-AVC. В отличие от этого специализированный блок e×901 декодирующей обработки скорее всего используется для другой обработки, которая не соответствует MPEG4-AVC и уникальна для настоящего изобретения. Поскольку настоящее изобретение отличается, в частности, системным декодированием, то для системного декодирования используется, например, специализированный блок e×901 декодирующей обработки. В противном случае блок декодирующей обработки, скорее всего, совместно используется для одного из обратного квантования, энтропийного кодирования, фильтрации уменьшения блочности и предсказания с компенсацией движения, или всей обработки. Блок декодирующей обработки для реализации способа декодирования кинофильма, описанного в каждом из Вариантов осуществления, может совместно использоваться для обработки, которую нужно распределить, а специализированный блок декодирующей обработки может использоваться для обработки, уникальной для обработки в MPEG4-AVC.

Кроме того, e×1000 на фиг. 43B показывает другой пример, в котором обработка частично используется совместно. Этот пример использует конфигурацию, включающую специализированный блок e×1001 декодирующей обработки, который поддерживает обработку, уникальную для настоящего изобретения, специализированный блок e×1002 декодирующей обработки, который поддерживает обработку, уникальную для другого традиционного стандарта, и блок e×1003 декодирующей обработки, который поддерживает обработку, которую нужно распределить между способом декодирования кинофильма в настоящем изобретении и традиционным способом декодирования кинофильма. Здесь специализированные блоки e×1001 и e×1002 декодирующей обработки не обязательно являются специализированными для обработки по настоящему изобретению и обработки по традиционному стандарту соответственно, а могут быть блоками, допускающими реализацию общей обработки. Кроме того, конфигурация Варианта 11 осуществления может быть реализована с помощью LSI e×500.

По существу, уменьшение масштаба схемы LSI и сокращение затрат возможны путем совместного использования блока декодирующей обработки для обработки, которую нужно распределить между способом декодирования кинофильма в настоящем изобретении и способом декодирования кинофильма в соответствии с традиционным стандартом.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Способ кодирования изображений и способ декодирования изображений в соответствии с настоящим изобретением применимы, например, к телевизорам, цифровым видеомагнитофонам, автомобильным навигационным системам, мобильным телефонам, цифровым фотокамерам, цифровым видеокамерам и так далее.

СПИСОК ССЫЛОК

100, 800, 1700, 2100 Устройство кодирования изображений

200, 300, 900, 1000, 1900, 2300 Устройство декодирования изображений

111, 112, 113, 114, 411, 413, 811, 812 Блок горизонтального уменьшения на 1/2

121, 122, 821, 822 Блок объединения

131, 132, 133, 134, 231, 232, 271, 272, 331, 831, 832, 833, 834, 931, 971, 972, 1031 Буфер кадров

151, 152, 261, 262, 263, 264, 851, 852, 961, 963 Переключатель

160, 860 Блок управления входным сигналом

170 Кодер MVC

171, 172, 871, 872 Кодер

180, 880 Системный кодер

210, 310, 910, 1010 Системный декодер

220 Декодер MVC

221, 222, 321, 921, 922, 1021 Декодер

260, 960, 1903, 2303 Блок вывода

265, 965 Блок управления выводом

266, 566 Блок синтеза изображений

267, 967 Блок перегруппировки пикселей

290, 390, 990, 1090 Блок отображения

320, 1020 Декодер AVC

815 Блок горизонтально-вертикального уменьшения

870 Кодер SVC

920 Декодер SVC

1701, 2101 Блок кодирования

1702, 2102 Блок мультиплексирования

1710, 1920, 2110, 2320 Блок видеослоя

1720, 1910, 2120, 2310 Блок системного слоя

1901, 2301 Блок демультиплексирования

1902, 2302 Блок декодирования

2104, 2304 Блок формирования

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности обрабатывать формат трехмерного видеоизображения, включающий базовый слой и слой расширения. Способ кодирования изображений, содержащий видеослой формирования кодированного потока путем кодирования изображения, состоящего из одного или нескольких изображений; и системный слой формирования системного потока для передачи или хранения кодированного потока, причем видеослой содержит кодирование изображения для формирования кодированного потока, и системный слой содержит мультиплексирование кодированного потока, сформированного при упомянутом кодировании, и идентификатора для формирования системного потока, причем идентификатор указывает, является ли формат изображения лево-правым смешанным форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении, причем упомянутое кодирование включает в себя, в случае, когда формат изображения является лево-правым смешанным форматом, кодирование изображения, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении, чтобы сформировать кодированный поток. 4 н. и 16 з.п. ф-лы, 45 ил.

1. Способ кодирования изображений, содержащий: видеослой формирования кодированного потока путем кодирования изображения, состоящего из одного или нескольких изображений; и системный слой формирования системного потока для передачи или хранения кодированного потока,
причем упомянутый видеослой содержит:
кодирование изображения для формирования кодированного потока, и
упомянутый системный слой содержит
мультиплексирование кодированного потока, сформированного при упомянутом кодировании, и идентификатора для формирования системного потока, причем идентификатор указывает, является ли формат изображения лево-правым смешанным форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении,
причем упомянутое кодирование включает в себя, в случае, когда формат изображения является лево-правым смешанным форматом, кодирование изображения, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении, чтобы сформировать кодированный поток.

2. Способ кодирования изображений по п.1,
в котором упомянутый системный слой совместим с системами MPEG-2,
упомянутый видеослой совместим со схемой многовидового кодирования видеосигнала,
упомянутое кодирование включает в себя кодирование изображения в соответствии со схемой многовидового кодирования видеосигнала, чтобы сформировать кодированный поток, и
упомянутое мультиплексирование включает в себя вставку идентификатора в дескриптор для схемы многовидового кодирования видеосигнала и мультиплексирование кодированного потока и дескриптора, который включает в себя идентификатор, для формирования системного потока.

3. Способ кодирования изображений по п.2,
в котором упомянутый видеослой совместим с Н.264 MVC,
дескриптор для схемы многовидового кодирования видеосигнала является дескриптором MVC для Н.264 MVC,
упомянутое кодирование включает в себя кодирование изображения в соответствии с Н.264 MVC для формирования кодированного потока, и
упомянутое мультиплексирование включает в себя вставку идентификатора в дескриптор MVC для Н.264 MVC и мультиплексирование кодированного потока и дескриптора MVC, который включает в себя идентификатор, для формирования системного потока.

4. Способ кодирования изображений по п.2,
в котором упомянутое кодирование включает в себя:
кодирование изображения лево-правого смешанного формата в случае, когда форматом изображения является лево-правый смешанный формат; и
кодирование изображения лево-правого независимого формата в случае, когда форматом изображения не является лево-правый смешанный формат, причем лево-правый независимый формат является форматом, который включает в себя изображение левого плана и изображение правого плана в виде отдельных изображений.

5. Способ кодирования изображений по п.1,
в котором упомянутый системный слой совместим с системами MPEG-2,
упомянутый видеослой совместим со схемой масштабируемого кодирования видеосигнала,
упомянутое кодирование включает в себя кодирование изображения в соответствии со схемой масштабируемого кодирования видеосигнала, чтобы сформировать кодированный поток, и
упомянутое мультиплексирование включает в себя вставку идентификатора в дескриптор для схемы масштабируемого кодирования видеосигнала и мультиплексирование кодированного потока и дескриптора, который включает в себя идентификатор, для формирования системного потока.

6. Способ кодирования изображений по п.5,
в котором упомянутый видеослой совместим с Н.264 SVC,
дескриптор для схемы масштабируемого кодирования видеосигнала является дескриптором SVC для Н.264 SVC,
упомянутое кодирование включает в себя кодирование изображения в соответствии с Н.264 SVC для формирования кодированного потока, и
упомянутое мультиплексирование включает в себя вставку идентификатора в дескриптор SVC для Н.264 SVC и мультиплексирование кодированного потока и дескриптора SVC, который включает в себя идентификатор, для формирования системного потока.

7. Способ кодирования изображений по п.5,
в котором упомянутое кодирование включает в себя этапы, на которых:
кодируют изображение для стереоскопического отображения в случае, когда форматом изображения является лево-правый смешанный формат; и
кодируют изображение для моноскопического отображения в случае, когда форматом изображения не является лево-правый смешанный формат.

8. Способ кодирования изображений по п.1, дополнительно содержащий этап, на котором
формируют изображение в лево-правом смешанном формате путем (i) формирования, в качестве изображения базового слоя, изображения, в котором первая часть левого изображения, которое является изображением левого плана, включается в область изображения левого плана, а вторая часть правого изображения, которое является изображением правого плана, включается в область изображения правого плана, и (ii) формирования, в качестве изображения слоя расширения, изображения, в котором третья часть левого изображения включается в область изображения левого плана, а четвертая часть правого изображения включается в область изображения правого плана, причем третья часть отличается от первой части, а четвертая часть отличается от второй части,
причем упомянутое кодирование включает в себя кодирование изображения, сформированного при упомянутом формировании для формирования кодированного потока, при кодировании изображения лево-правого смешанного формата.

9. Способ кодирования изображений по п.1, дополнительно содержащий этап, на котором
формируют изображение в лево-правом смешанном формате путем (i) формирования, в качестве изображения базового слоя, изображения, в котором первая часть левого изображения, которое является изображением левого плана, включается в область изображения левого плана, а вторая часть правого изображения, которое является изображением правого плана, включается в область изображения правого плана, и (ii) формирования, в качестве изображения слоя расширения, изображения, в котором все левое изображение или третья часть левого изображения включается в область изображения левого плана, а все правое изображение или четвертая часть правого изображения включается в область изображения правого плана, причем третья часть включает в себя первую часть, а четвертая часть включает в себя вторую часть,
причем упомянутое кодирование включает в себя кодирование изображения, сформированного при упомянутом формировании для формирования кодированного потока, при кодировании изображения лево-правого смешанного формата.

10. Способ декодирования изображений, содержащий: системный слой получения кодированного потока из системного потока для передачи или хранения кодированного потока, который включает в себя изображение, состоящее из одного или нескольких изображений; и видеослой декодирования изображения, включенного в кодированный поток,
причем упомянутый системный слой содержит:
демультиплексирование системного потока на кодированный поток и идентификатор для получения кодированного потока и идентификатора, причем идентификатор указывает, является ли формат изображения лево-правым смешанным форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении,
причем упомянутый видеослой содержит:
декодирование изображения, включенного в кодированный поток, полученный при упомянутом демультиплексировании, и
упомянутый способ декодирования изображений дополнительно содержит этап, на котором:
выводят изображение, декодированное при упомянутом декодировании, в режиме вывода, заданном в соответствии с идентификатором, полученным при упомянутом демультиплексировании,
причем упомянутое декодирование включает в себя, в случае, когда формат изображения является лево-правым смешанным форматом, декодирование изображения, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении.

11. Способ декодирования изображений по п.10,
в котором упомянутый системный слой совместим с системами MPEG-2,
упомянутый видеослой совместим со схемой многовидового кодирования видеосигнала,
упомянутое демультиплексирование включает в себя демультиплексирование системного потока на кодированный поток и дескриптор для схемы многовидового кодирования видеосигнала, чтобы получить кодированный поток и идентификатор, включенный в дескриптор, и
упомянутое декодирование включает в себя декодирование изображения, кодированного в соответствии со схемой многовидового кодирования видеосигнала.

12. Способ декодирования изображений по п.11,
в котором упомянутый видеослой совместим с Н.264 MVC,
дескриптор для схемы многовидового кодирования видеосигнала является дескриптором MVC для Н.264 MVC,
упомянутое демультиплексирование включает в себя демультиплексирование системного потока на кодированный поток и дескриптор MVC для Н.264 MVC, чтобы получить кодированный поток и идентификатор, включенный в дескриптор MVC, и
упомянутое декодирование включает в себя декодирование изображения, кодированного в соответствии с Н.264 MVC.

13. Способ декодирования изображений по п.11,
в котором упомянутое декодирование включает в себя этапы, на которых:
декодируют изображение лево-правого смешанного формата в случае, когда форматом изображения является лево-правый смешанный формат; и
декодируют изображение лево-правого независимого формата в случае, когда форматом изображения не является лево-правый смешанный формат, причем лево-правый независимый формат является форматом, который включает в себя изображение левого плана и изображение правого плана в виде отдельных изображений.

14. Способ декодирования изображений по п.10,
в котором упомянутый системный слой совместим с системами MPEG-2,
упомянутый видеослой совместим со схемой масштабируемого кодирования видеосигнала,
упомянутое демультиплексирование включает в себя демультиплексирование системного потока на кодированный поток и дескриптор для схемы масштабируемого кодирования видеосигнала, чтобы получить кодированный поток и идентификатор, включенный в дескриптор, и
упомянутое декодирование включает в себя декодирование изображения, кодированного в соответствии со схемой масштабируемого кодирования видеосигнала.

15. Способ декодирования изображений по п.14,
в котором упомянутый видеослой совместим с Н.264 SVC,
дескриптор для схемы масштабируемого кодирования видеосигнала является дескриптором SVC для Н.264 SVC,
упомянутое демультиплексирование включает в себя демультиплексирование системного потока на кодированный поток и дескриптор SVC для Н.264 SVC, чтобы получить кодированный поток и идентификатор, включенный в дескриптор SVC, и
упомянутое декодирование включает в себя декодирование изображения, кодированного в соответствии с Н.264 SVC.

16. Способ декодирования изображений по п.14,
в котором упомянутое декодирование включает в себя этапы, на которых:
декодируют изображение для стереоскопического отображения в случае, когда форматом изображения является лево-правый смешанный формат; и
декодируют изображение для моноскопического отображения в случае, когда форматом изображения не является лево-правый смешанный формат.

17. Способ декодирования изображений по п.10, дополнительно содержащий этап, на котором
формируют левое изображение, которое является изображением левого плана, и правое изображение, которое является изображением правого плана, в случае, когда форматом изображения является лево-правый смешанный формат,
причем упомянутый этап, на котором формируют, включает в себя этапы, на которых:
получают первую часть левого изображения из области изображения левого плана в изображении базового слоя, причем изображение базового слоя является изображением базового слоя и включается в изображение, декодированное при упомянутом декодировании;
получают вторую часть правого изображения из области изображения правого плана в изображении базового слоя;
получают третью часть левого изображения из области изображения левого плана в изображении слоя расширения, причем изображение слоя расширения является изображением слоя расширения и включается в изображение, декодированное при упомянутом декодировании, причем третья часть отличается от первой части;
получают четвертую часть правого изображения из области изображения правого плана в изображении слоя расширения, причем четвертая часть отличается от второй части;
формируют левое изображение из полученной первой части и полученной третьей части; и
формируют правое изображение из полученной второй части и полученной четвертой части, и
причем упомянутый вывод включает в себя этап, на котором в качестве изображения выводят левое изображение и правое изображение, сформированные при упомянутом формировании, в случае, когда форматом изображения является лево-правый смешанный формат.

18. Способ декодирования изображений по п.10, дополнительно содержащий этап, на котором
формируют левое изображение из области изображения левого плана в декодированном изображении и правое изображение из области изображения правого плана в декодированном изображении, в случае, когда форматом изображения является лево-правый смешанный формат, причем левое изображение является изображением левого плана, правое изображение является изображением правого плана, а декодированное изображение является изображением одного из базового слоя и слоя расширения и включается в изображение, декодированное при упомянутом декодировании,
причем упомянутый вывод включает в себя этап, на котором в качестве изображения выводят левое изображение и правое изображение, сформированные при упомянутом формировании, в случае, когда форматом изображения является лево-правый смешанный формат.

19. Устройство кодирования изображений, содержащее: блок видеослоя, сконфигурированный для формирования кодированного потока путем кодирования изображения, состоящего из одного или нескольких изображений; и блок системного слоя, сконфигурированный для формирования системного потока для передачи или хранения кодированного потока,
причем упомянутый блок видеослоя содержит:
блок кодирования, сконфигурированный для кодирования изображения, чтобы сформировать кодированный поток, и
упомянутый блок системного слоя содержит:
блок мультиплексирования, сконфигурированный для мультиплексирования кодированного потока, сформированного упомянутым блоком кодирования, и идентификатора для формирования системного потока, причем идентификатор указывает, является ли формат изображения лево-правым смешанным форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении,
причем упомянутый блок кодирования, в случае, когда формат изображения является лево-правым смешанным форматом, сконфигурирован для кодирования изображения, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении, чтобы сформировать кодированный поток.

20. Устройство декодирования изображений, содержащее: блок системного слоя, сконфигурированный для получения кодированного потока из системного потока для передачи или хранения кодированного потока, который включает в себя изображение, состоящее из одного или нескольких изображений; и блок видеослоя, сконфигурированный для декодирования изображения, включенного в кодированный поток,
причем упомянутый блок системного слоя содержит:
блок демультиплексирования, сконфигурированный для демультиплексирования системного потока на кодированный поток и идентификатор для получения кодированного потока и идентификатора, причем идентификатор указывает, является ли формат изображения лево-правым смешанным форматом, который включает в себя базовый слой и слой расширения для обеспечения множества степеней точности и который содержит область изображения левого плана и область изображения правого плана в каждом изображении,
упомянутый блок видеослоя содержит:
блок декодирования, сконфигурированный для декодирования изображения, включенного в кодированный поток, полученный упомянутым блоком демультиплексирования, и
упомянутое устройство декодирования изображений дополнительно содержит:
блок вывода, сконфигурированный для вывода изображения, декодированного упомянутым блоком декодирования, в режиме вывода, заданном в соответствии с идентификатором, полученным упомянутым блоком демультиплексирования,
причем упомянутый блок декодирования сконфигурирован для, в случае, когда формат изображения является лево-правым смешанным форматом, декодирования изображения, которое включает в себя базовый слой и слой расширения и которое содержит область изображения левого плана и область изображения правого плана в каждом изображении.