СПОСОБЫ И УСТРОЙСТВО ДЛЯ ИСПОЛЬЗОВАНИЯ В СИСТЕМЕ КОДИРОВАНИЯ МНОГОВИДОВОГО ВИДЕО Российский патент 2014 года по МПК H04N19/597 H04N19/172 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Данная заявка испрашивает приоритет предварительной заявки США с серийным номером 60/787,092, поданной 29 марта 2006 г., которая полностью включается в данный документ посредством ссылки. Эта заявка также непосредственно относится к двум другим заявкам, одновременно поданным с рассматриваемой в данный момент заявкой и имеющим общих авторов изобретения и общего правопреемника (Номера дел поверенного №№ PU070031 и PU070032), каждая из которых полностью включается посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящие принципы, в общем, относятся к кодированию и декодированию видео, а более конкретно к способам и устройству для использования в системе кодирования многовидового видео (видео с несколькими представлениями).

УРОВЕНЬ ТЕХНИКИ

В текущей реализации кодирования многовидового видео (MVC), совместимого со стандартом Улучшенного кодирования видео (AVC) части 10 стандарта 4-й Экспертной группы по движущимся изображениям (MPEG-4) Международной организации по стандартизации/Международной электротехнической комиссии (ISO/IEC)/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи (ITU-T) (в дальнейшем - "стандарт MPEG-4 AVC"), отсутствует положение для идентификации конкретного вида (кадра) и сигнализирования параметров камеры. Эта информация о виде (кадре) необходима по нескольким причинам. Масштабируемость вида, произвольный доступ к виду, параллельная обработка, формирование вида и синтез вида являются требованиями кодирования многовидового видео, которые используют информацию о виде. Кроме того, некоторые из этих требований также используют параметры камеры, которые в настоящее время не передаются стандартизованным способом.

Предложен способ для задействования эффективного произвольного доступа в многовидовых сжатых потоках двоичных сигналов. В предложенном способе определяются тип V-изображения и сообщение с дополнительной информацией расширения (SEI) о зависимости видов. Обязательным признаком в предложенном типе V-изображения является то, что V-изображения одновременно не должны иметь временной зависимости от других изображений в той же камере и могут лишь предсказываться по изображениям в других камерах в то же самое время. Предложенное сообщение с дополнительной информацией расширения о зависимости видов будет точно описывать, какие виды V-изображения, а также предшествующие и последующие последовательности изображений, от чего могут зависеть. В последующем описании подробно указываются предложенные изменения.

По отношению к синтаксису и семантике V-изображения отдельная таблица синтаксиса, относящаяся к стандарту MPEG-4 AVC, расширяется для включения в себя типа 14 уровня абстракции сети (NAL), соответствующего V-изображению. Также, тип V-изображения определяется, как имеющий следующую семантику:

V-изображение: кодированное изображение, в котором все секции ссылаются только на секции с одинаковым временным индексом (то есть, только секции в других видах, а не секции в текущем виде). Когда V-изображение будет выведено или показано, это также заставит процесс декодирования пометить все изображения из одинакового вида, которые не являются IDR-изображениями или V-изображениями, и которые предшествуют V-изображению в порядке выхода, как "неиспользуемые для ссылки". Каждое V-изображение будет ассоциировано с сообщением с SEI о зависимости видов, возникающим в том же NAL.

Что касается синтаксиса и семантики сообщения с дополнительной информацией расширения о зависимости видов, то сообщение с дополнительной информацией расширения о зависимости видов задается следующим синтаксисом:

view_dependency ( payloadSize ) {

num_seq_reference_views ue(v)

seq_reference_view_0 ue(v)

seq_reference_view_1 ue(v)

…

seq_reference_view_N ue(v)

num_pic_reference_views ue(v)

pic_reference_view_0 ue(v)

pic_reference_view_1 ue(v)

…

pic_reference_view_N ue(v)

}

где num_seq_reference_views/num_pic_reference_views обозначает количество возможных видов, которое может использоваться как базис для текущей последовательности/изображения, и seq_reference_view_i/pic_reference_view_i обозначает номер вида для i^го базового вида.

Изображение, ассоциированное с сообщением с дополнительной информацией расширения о зависимости видов, будет ссылаться только на указанные виды, описываемые при помощи pic_reference_view_i. Аналогичным образом все последующие изображения в порядке выхода этого вида до следующего сообщения с дополнительной информацией расширения о зависимости видов в этом виде будут ссылаться только на указанные виды, описываемые при помощи seq_reference_view_i.

Сообщение с дополнительной информацией расширения о зависимости видов будет ассоциировано с каждым изображением с мгновенным обновлением декодирования (IDR) и V-изображением.

По меньшей мере, одним недостатком этого способа является сложность, представленная в декодере, вследствие рекурсивно получаемой зависимости. Дополнительно этот способ требует, чтобы каждое V-изображение содержало сообщение SEI (которое является ненормативной частью стандарта MPEG-4 AVC), приводя к зависимости, которую невозможно использовать для нормативного режима работы, например выбора базисного изображения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Настоящие принципы обращаются к этим и другим недостаткам и неудобствам предшествующего уровня техники, которые ориентированы на способы и устройство для использования в системе кодирования многовидового видео.

Согласно аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов (кадров), соответствующих многовидовому (многокадровому) видео контенту в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.

Согласно другому аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов (кадров), соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.

Согласно еще одному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов (кадров), соответствующих многовидовому (многокадровому) видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется для определения относящейся к виду особой информации, включенной в него, причем относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.

Согласно еще одному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов (кадров), соответствующих многовидовому видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется для определения относящейся к виду особой информации, включенной в него. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.

Согласно дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов (кадров), соответствующих многовидовому видео контенту, путем задания в качестве основного вида любого, по меньшей мере, из двух видов, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.

Согласно другому дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем задания в качестве основного вида любого, по меньшей мере, из двух видов, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.

Согласно еще одному дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором декодер определяет, какой, по меньшей мере, из двух видов, при их наличии, является основным видом, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.

Согласно дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором этап декодирования определяет, какой, по меньшей мере, из двух видов, при их наличии, является основным видом, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.

Согласно аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем кодирования, по меньшей мере, одного из, по меньшей мере, двух видов в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним.

Согласно другому аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем кодирования, по меньшей мере, одного из, по меньшей мере, двух видов в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникации Международного союза электросвязи для обратной совместимости с ним.

Согласно еще одному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором, по меньшей мере, один из, по меньшей мере, двух видов включается в поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним.

Согласно еще одному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором, по меньшей мере, один из, по меньшей мере, двух видов включается в поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним.

Согласно дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем выбора между одним из двух предопределенных типов секций.

Согласно другому дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем выбора между одним из двух предопределенных типов секций.

Согласно еще одному дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем определения между одним из двух предопределенных типов секций.

Согласно дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование по меньшей мере одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем определения между одним из двух предопределенных типов секций.

Согласно аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования по меньшей мере двух видов, соответствующих многовидовому контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя по меньшей мере один параметр камеры, соответствующий по меньшей мере одному из, по меньшей мере, двух видов.

Согласно другому аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один параметр камеры, соответствующий по меньшей мере одному из, по меньшей мере, двух видов.

Согласно еще одному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры, включенный в него. По меньшей мере, один параметр камеры соответствует, по меньшей мере, одному из, по меньшей мере, двух видов.

Согласно еще одному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры, включенный в него. По меньшей мере, один параметр камеры соответствует, по меньшей мере, одному из, по меньшей мере, двух видов.

Согласно дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры, по меньшей мере, для одного из, по меньшей мере, двух видов.

Согласно другому дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры для, по меньшей мере, одного из, по меньшей мере, двух видов.

Согласно еще одному дополнительному аспекту настоящих принципов предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры для, по меньшей мере, одного из, по меньшей мере, двух видов на основе, по меньшей мере, одного синтаксического элемента, включенного в поток двоичных сигналов.

Согласно дополнительному аспекту настоящих принципов предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры для, по меньшей мере, одного из, по меньшей мере, двух видов на основе, по меньшей мере, одного синтаксического элемента, включенного в поток двоичных сигналов.

Эти и другие аспекты, признаки и преимущества настоящих принципов станут очевидными из последующего Осуществления изобретения с подробным описанием примерных вариантов осуществления, которые необходимо рассматривать применительно к прилагаемым чертежам.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Настоящие принципы могут быть лучше поняты в соответствии со следующими иллюстративными чертежами, на которых:

Фиг. 1 - блок-схема для примерного видеокодера, к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов.

Фиг. 2 - блок-схема для примерного видеодекодера, к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов.

Фиг. 3 - схема для структуры межвидового временного предсказания на основе стандарта MPEG-4 AVC, использующей иерархические B-изображения, в соответствии с вариантом осуществления настоящих принципов.

Фиг. 4 - блок-схема алгоритма для примерного способа для кодирования нескольких видов многовидового видео контента в соответствии с вариантом осуществления настоящих принципов.

Фиг. 5 - блок-схема алгоритма для примерного способа для декодирования нескольких видов многовидового видео контента в соответствии с вариантом осуществления настоящих принципов.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Настоящие принципы ориентированы на способы и устройство для использования в системе кодирования многовидового (многокадрового) видео.

Данный раздел «Осуществление изобретения» иллюстрирует настоящие принципы. Таким образом, будет принято во внимание, что специалисты в данной области техники смогут разработать различные схемы, которые, хотя и не явно описаны или показаны в данном документе, реализуют настоящие принципы и включены в их сущность и объем.

Все примеры и условный язык, изложенные в данном документе, предназначены для учебных целей, чтобы помочь читателю в понимании настоящих принципов и идей, внесенных автором (авторами) изобретения как вклад в развитие уровня техники, и должны быть истолкованы как не ограничивающие до таких конкретно изложенных примеров и условий.

Кроме того, все утверждения, излагающие в данном документе принципы, аспекты и варианты осуществления настоящих принципов, а также их отдельные примеры, предназначены для охвата как структурных, так и их функциональных эквивалентов. Дополнительно подразумевается, что такие эквиваленты включают в себя как известные в настоящее время эквиваленты, так и эквиваленты, разработанные в будущем, т.е. любые разработанные элементы, которые выполняют ту же функцию, независимо от структуры.

Таким образом, например, специалистами в данной области техники будет принято во внимание, что представленные в данном документе блок-схемы представляют концептуальные представления иллюстративной схемы, реализующей настоящие принципы. Аналогично будет принято во внимание, что любые блок-схемы алгоритма, блок-схемы, диаграммы перехода из одного состояния в другое, псевдокод и тому подобное представляют различные процессы, которые по существу могут быть представлены в машиночитаемом носителе и поэтому могут выполняться компьютером или процессором, показан ли явно такой компьютер или процессор или нет.

Функции различных элементов, показанных на чертежах, могут предоставляться посредством использования специализированных аппаратных средств, а также аппаратных средств, допускающих выполнение программного обеспечения в связи с соответствующим программным обеспечением. Будучи предоставленными процессором, функции могут предоставляться единственным специализированным процессором, единственным общим процессором или набором отдельных процессоров, некоторые из которых могут быть совместно использованы. Более того, явное использование термина "процессор" или "контроллер" не следует толковать исключительно для ссылки на аппаратные средства, допускающие выполнение программного обеспечения, и может неявным образом включать в себя без ограничения оборудование с цифровым процессором сигналов ("DSP"), постоянное запоминающее устройство ("ROM") для хранения программного обеспечения, оперативное запоминающее устройство ("RAM") и энергонезависимое запоминающее устройство.

Также могут включаться другие аппаратные средства, общепринятые и/или заказные. Аналогично, любые переключатели, показанные на чертежах, являются лишь концептуальными. Их функция может выполняться посредством работы программной логики, посредством нестандартной логики, посредством взаимодействия программного управления и нестандартной логики, или даже вручную, причем конкретная методика выбирается конструктором, как более точно понятная из контекста.

В формуле изобретения любой элемент, выраженный как средство для выполнения заданной функции, предназначается для охвата любого способа выполнения этой функции, включая, например, a) сочетание элементов схемы, которое выполняет эту функцию, или b) программное обеспечение в любой форме, включая микропрограммное обеспечение, микрокод или тому подобное, объединенные с соответствующей схемой для выполнения этого программного обеспечения для выполнения функции. Настоящие принципы, которые определены такой формулой изобретения, заключаются в том, что функциональные возможности, предоставленные различными перечисленными средствами, объединяются и сводятся вместе способом, который требует формула изобретения. Таким образом, считается, что любое средство, которое может предоставлять эти функциональные возможности, эквивалентно показанным в данном документе.

Ссылка в описании изобретения на «один вариант осуществления» или «вариант осуществления» настоящих принципов означает, что конкретный признак, конструкция, характеристика и так далее, описанные в связи с вариантом осуществления, включается, по меньшей мере, в один вариант осуществления настоящих принципов. Таким образом, появления фразы «в одном варианте осуществления» или «в варианте осуществления», возникающие в разных местах во всем описании изобретения, необязательно указывают на один и тот же вариант осуществления.

Обращаясь к Фиг. 1, примерный видеокодер, к которому могут применяться настоящие принципы, в целом указывается номером ссылки 100.

Вход в видеокодер 100 соединен для обмена сигналами с не инвертирующим входом сумматора 110. Выход сумматора 110 соединен для обмена сигналами с преобразователем/квантователем 120. Выход преобразователя/квантователя 120 соединен для обмена сигналами со статистическим кодером 140. Выход статистического кодера 140 действителен как выход кодера 100.

Выход преобразователя/квантователя 120 дополнительно соединен для обмена сигналами с обратным преобразователем/квантователем 150. Выход обратного преобразователя/квантователя 150 соединен для обмена сигналами с входом фильтра 160 уменьшения блочности. Выход фильтра 160 уменьшения блочности соединен для обмена сигналами с накопителем 170 опорных изображений. Первый выход накопителя 170 опорных изображений соединен для обмена сигналами с первым входом блока 180 анализа движения. Вход кодера 100 дополнительно соединен для обмена сигналами со вторым входом блока 180 анализа движения. Выход блока 180 анализа движения соединен для обмена сигналами с первым входом компенсатора 190 движения. Второй выход накопителя 170 опорных изображений соединен для обмена сигналами со вторым входом компенсатора 190 движения. Выход компенсатора 190 движения соединен для обмена сигналами с инвертирующим входом сумматора 110.

Обращаясь к Фиг. 2, примерный видеодекодер, к которому могут применяться настоящие принципы, в целом указывается номером ссылки 200.

Видеодекодер 200 включает в себя статистический декодер 210 для приема видеопоследовательности. Первый выход статистического декодера 210 соединен для обмена сигналами с входом обратного квантователя/преобразователя 220. Выход обратного квантователя/преобразователя 220 соединен для обмена сигналами с первым не инвертирующим входом сумматора 240.

Выход сумматора 240 соединен для обмена сигналами с входом фильтра 290 уменьшения блочности. Выход фильтра 290 уменьшения блочности соединен для обмена сигналами с входом накопителя 250 опорных изображений. Выход накопителя 250 опорных изображений соединен для обмена сигналами с первым входом компенсатора 260 движения. Выход компенсатора 260 движения соединен для обмена сигналами со вторым не инвертирующим входом сумматора 240. Второй выход статистического декодера 210 соединен для обмена сигналами со вторым входом компенсатора 260 движения. Выход фильтра 290 уменьшения блочности действителен как выход видеодекодера 200.

В варианте осуществления настоящих принципов предлагается высокоуровневый синтаксис для эффективной обработки многовидовой последовательности. В частности, мы предлагаем создание нового набора параметров, названного набором параметров вида (VPS) со своим собственным типом модуля NAL, и два более новых типа модуля NAL для поддержки многовидовых секций, с типами модуля NAL, включающими идентификатор вида (id) в заголовке NAL для идентификации, к какому виду принадлежит секция. Для видовой масштабируемости и обратной совместимости с декодерами, совместимыми со стандартом MPEG-4 AVC, мы предлагаем сохранить один вид (изображение), совместимый с MPEG-4 AVC, который мы называем "Основным видом, совместимым с MPEG-4 AVC".

При использовании в данном документе "высокоуровневый синтаксис" относится к синтаксису, представленному в потоке двоичных сигналов, который постоянно находится выше уровня макроблока по иерархии. Например, высокоуровневый синтаксис при использовании в данном документе может относиться, но не ограничивается, к синтаксису на уровне заголовка секции, уровне дополнительной информации расширения (SEI), уровне набора параметров изображения и уровне набора параметров последовательности.

В данной реализации системы кодирования многовидового (многокадрового) видео, описанной выше как не имеющей обеспечения для идентификации отдельного вида (кадра) и сигнализации параметров камеры, разные виды чередуются для формирования единой последовательности, вместо обработки разных видов как отдельных видов. Поскольку синтаксис совместим со стандартом MPEG-4 AVC, как отмечено выше, в настоящее время невозможно идентифицировать, к какому из видов принадлежит данная секция. Эта информация о виде (изображении) необходима по нескольким причинам. Масштабируемость вида, произвольный доступ к виду, параллельная обработка, формирование вида и синтез вида являются требованиями кодирования многовидового видео, которые необходимы для идентификации вида. Для эффективной поддержки произвольного доступа к виду и масштабируемости вида декодеру важно знать, как разные изображения зависят друг от друга, чтобы декодировались только нужные изображения. Параметры камеры необходимы для синтеза вида. Если синтез вида, в конечном счете, используется в цикле декодирования, должен быть задан стандартизованный способ сигнализации параметров камеры. В соответствии с вариантом осуществления, используется набор параметров вида.

В варианте осуществления предполагается, что необходим один вид, который полностью обратно совместим со стандартом MPEG-4 AVC с целью поддержки декодеров, не совместимых с MVC, но совместимых с MPEG-4 AVC. В варианте осуществления предполагается, что будут виды, которые декодируются независимо, чтобы облегчить быстрый произвольный доступ к виду. Мы ссылаемся на эти виды как на "основные виды". Основной вид может быть или не быть совместимым со стандартом MPEG-4 AVC, но совместимый с MPEG-4 AVC вид всегда является основным видом.

Обращаясь к Фиг. 3, структура межвидового временного предсказания на основе стандарта MPEG-4 AVC, использующая иерархические B-изображения, указывается в целом номером ссылки 300. На Фиг. 3 переменная I обозначает изображение с интра кодированием, переменная P обозначает кодированное с предсказанием изображение, переменная B обозначает кодированное с двунаправленным предсказанием изображение, переменная T обозначает положение конкретного изображения, и переменная S обозначает конкретный вид, которому соответствует конкретное изображение.

В соответствии с вариантом осуществления определяются следующие условия:

Опорное изображение определяется как изображение, декодирование которого не затрагивает никакого изображения, дискретизированного в разные моменты времени. Опорное изображение сигнализируется путем установки nal_ref_idc в 3. На Фиг. 3 все изображения в положениях T0, T8…, T96 и T100 являются примерами опорных изображений.

Неопорное изображение определяется как изображение, которое не имеет вышеупомянутого ограничения, заданного для опорного изображения. На Фиг. 3 изображения B2, B3 и B4 являются неопорными изображениями.

Основным видом является вид, который не зависит от любого другого вида и может декодироваться независимо. На Фиг. 3 вид S0 является примером основного вида.

Также в варианте осуществления предлагается новый набор параметров, названный Набором параметров вида со своим собственным типом модуля NAL, и два новых типа модулей NAL для поддержки секций кодирования многовидового видео. Мы также изменяем синтаксис заголовка секции для указания view_id и набора параметров вида, который нужно использовать.

Стандарт MPEG-4 AVC включает в себя следующие два набора параметров: (1) Набор параметров последовательности (SPS), который включает в себя информацию, которая не предполагается к изменению во всей последовательности; и (2) Набор параметров изображения (PPS), который включает в себя информацию, которая не предполагается к изменению для каждого изображения.

Так как кодирование многовидового видео имеет дополнительную информацию, которая специфична для каждого вида, мы создали отдельный Набор параметров вида (VPS), чтобы передавать эту информацию. Вся информация, которая необходима для определения зависимости между разными видами, указывается в Наборе параметров вида. Таблица синтаксиса для предложенного набора параметров вида показана в ТАБЛИЦЕ 1 (синтаксис набора RBSP параметров вида). Набор параметров вида включается в новый тип модуля NAL, например, тип 14, как показано в ТАБЛИЦЕ 2 (коды типов модулей NAL).

В соответствии с описанием настоящего изобретения, определяются следующие условия:

view_parameter_set_id идентифицирует набор параметров вида, на который ссылаются в заголовке секции. Значение view_parameter_set_id должно быть в диапазоне от 0 до 255.

number_of_views_minus_1 плюс 1 идентифицирует общее количество видов в потоке двоичных сигналов. Значение number_of_views_minus_1 должно быть в диапазоне от 0 до 255.

avc_compatible_view_id указывает view_id совместимого с AVC вида. Значение avc_compatible_view_id должно быть в диапазоне от 0 до 255.

is_base_view_flag[i], равное 1, указывает, что вид i является основным видом и является независимо декодируемым. is_base_view_flag[i], равное 0, указывает, что вид i не является основным видом. Значение is_base_view_flag[i] должно быть равно 1 для вида i, совместимого с AVC.

dependency_update_flag, равный 1, указывает, что информация о зависимости для этого вида обновляется в VPS. dependency_update_flag, равный 0, указывает, что информация о зависимости для этого вида не обновляется и не должна изменяться.

anchor_picture_dependency_maps[i][j], равное 1, указывает, что опорные изображения с view_id, равное j, будут зависеть от опорных изображений с view_id, равное i.

non_anchor_picture_dependency_maps[i][j], равное 1, указывает что неопорные изображения с view_id, равное j, будут зависеть от неопорных изображений с view_id, равное i. non_anchor_picture_dependency_maps[i][j] присутствует, только когда anchor_picture_dependency_maps[i][j] равно 1. Если anchor_picture_dependency_maps[i][j] присутствует и равно нулю, то non_anchor_picture_dependency_maps[i][j] должно расцениваться как равное 0.

Таблица 1 view_parameter_set_rbsp() { C Дескриптор view_parameter_set_id 0 ue(v) number_of_views_minus_1 0 ue(v) avc_compatible_view_id 0 ue(v) for( i = 0; i <= number_of_views_minus_1; i++) {     is_base_view_flag[i] 0 u(1) dependency_update_flag 0 u(1) if (dependency_update_flag == 1) {     for(j = 0; j <= number_of_views_minus_1; j++) {     anchor_picture_dependency_maps[i][j] 0 f(1) if (anchor_picture_dependency_maps[i][j] == 1)     non_anchor_picture_dependency_maps[i][j] 0 f(1) }     }     }     for(i = 0; i <= number_of_views_minus_1; i++ ) {     camera_parameters_present_flag 0 u(1) if (camera_parameters_present_flag == 1){     camera_parameters_1_1[i] 0 f(32) ***     camera_parameters_3_4[i] 0 f(32) }     }     }    

Таблица 2 nal_unit_type Содержание модуля NAL и структура синтаксиса RBSP C 0 Не задано   1 Кодированная секция не-IDR изображения slice_layer_without_partitioning_rbsp() 2, 3, 4 2 Сегмент A данных кодированной секции slice_data_partition_a_layer_rbsp() 2 3 Сегмент B данных кодированной секции slice_data_partition_b_layer_rbsp() 3 4 Сегмент C данных кодированной секции slice_data_partition_c_layer_rbsp() 4 5 Кодированная секция IDR-изображения slice_layer_without_partitioning_rbsp() 2, 3 6 Дополнительная информация расширения (SEI) sei_rbsp() 5 7 Набор параметров последовательности seq_parameter_set_rbsp() 0 8 Набор параметров изображения pic_parameter_set_rbsp() 1 9 Разделитель блока доступа access_unit_delimiter_rbsp() 6 10 Конец последовательности end_of_seq_rbsp() 7 11 Конец потока end_of_stream_rbsp() 8 12 Заполняющие данные filler_data_rbsp() 9 13 Расширение набора параметров последовательности seq_parameter_set_extension_rbsp() 10 14 Набор параметров вида view_parameter_set_rbps() 11 15..18 Зарезервировано   19 Кодированная секция добавочно кодированного изображения без разделения slice_layer_without_partitioning_rbsp() 2, 3, 4 20 Кодированная секция не-IDR изображения в изменяемом расширении slice_layer_in_scalable_extension_rbsp() 2, 3, 4 21 Кодированная секция IDR-изображения в изменяемом расширении slice_layer_in_scalable_extension_rbsp() 2, 3 22 Кодированная секция не-IDR изображения в многовидовом расширении slice_layer_in_mvc_extension_rbsp() 2, 3, 4 23 Кодированная секция IDR изображения в многовидовом расширении slice_layer_in_mvc_extension_rbsp() 2, 3 24..31 Не задано  

Необязательные параметры в Наборе параметров вида включают в себя следующие:

camera_parameters_present_flag, равный 1, указывает, что проекционная матрица сигнализируется, как изложено ниже.

camera_parameters, предполагающий параметр камеры, передается в виде проекционной матрицы P размером 3x4, которая может использоваться для преобразования точки в трехмерном мире в координату плоского изображения:

I = P*[X _w :Y _w :Zw:1]

где I - однородные координаты I = [λ·I _x :λ·Iy:λ].

Каждый элемент camera_parameters_*_* может быть представлен в соответствии со стандартом IEEE одинарной точности для плавающей запятой (32 бита).

Преимущество помещения этой информации в отдельный набор параметров в том, что мы еще сохраняем Наборы параметров последовательности (SPS) и Наборы параметров изображения (PPS), которые совместимы со стандартом MPEG-4 AVC. Если мы поместим эту информацию в Набор параметров последовательности или в Набор параметров изображения, то для каждого вида нам потребуется отправлять отдельный Набор параметров последовательности и Набор параметров изображения. Это слишком ограничивает. Также эта информация не соответствует ни Набору параметров последовательности, ни Набору параметров изображения. Другой причиной является то, что поскольку мы предлагаем иметь основной вид, совместимый со стандартом MPEG-4 AVC, нам придется использовать отдельные (совместимые с MPEG-4 AVC) Наборы параметров последовательности и Наборы параметров изображения для такого вида, и отдельные Наборы параметров последовательности/Наборы параметров изображения (с относящейся к виду особой информацией) для всех остальных видов.

Размещение всей информации о зависимости в одном Наборе параметров вида в самом начале последовательности очень выгодно. Декодер может создать карту, используя всю информацию о зависимости, как только он примет Набор параметров вида. Это дает ему возможность знать, какие виды необходимы для декодирования конкретного вида, до того как он примет какую-либо секцию. В результате нам нужно только проанализировать заголовок секции, чтобы получить view_id и определить, нужен ли этот вид для декодирования конечного вида, который указан пользователем. Таким образом, нам не нужно буферизировать какие-либо кадры или ждать до определенного момента, чтобы определить, какие кадры нужны для декодирования конкретного вида.

Информация о зависимости и то, является ли она основным видом, указывается в Наборе параметров вида. Даже совместимый с MPEG-4 AVC основной вид ассоциирован с этой информацией, которая относится к тому виду (например, параметры камеры). Эта информация может использоваться другими видами для разных целей, включая синтез/интерполяцию вида. Мы предлагаем поддерживать только один вид, совместимый с MPEG-4 AVC, поскольку если имеются много совместимых с MPEG-4 AVC видов, то сложно идентифицировать для каждой такой секции, к какому виду она принадлежит, и декодер кодирования не-многовидового видео легко путается.

Путем его ограничения только до одного такого вида гарантируется, что декодер кодирования не-многовидового видео сможет правильно декодировать вид, и декодер кодирования многовидового видео сможет легко идентифицировать такой вид в Наборе параметров вида, используя синтаксис avc_compatible_view_id. Все остальные основные виды (не совместимые с MPEG-4 AVC) могут быть идентифицированы с использованием is_base_view_flag.

Предлагается новый заголовок секции для секций с кодированием многовидового видео. Для поддержки масштабируемости вида, произвольного доступа к виду и так далее, нам необходимо знать, от каких видов зависит текущая секция. Для синтеза вида и интерполяции вида нам, возможно, также потребуются параметры камеры. Эта информация присутствует в Наборе параметров вида, который показан выше в Таблице 1. Набор параметров вида идентифицируется с использованием view_parameter_set_id. Мы предлагаем добавить view_parameter_set_id в заголовок секции всех секций, не совместимых с MPEG-4 AVC, как показано в Таблице 3 (Синтаксис заголовка секции). Информация view_id необходима для некоторых требований кодирования многовидового видео, включая интерполяцию/синтез вида, произвольный доступ к виду, параллельную обработку и так далее. Эта информация также может быть полезна для особых режимов кодирования, которые относятся только к предсказанию перекрестных видов. Чтобы найти соответствующие параметры в Наборе параметров вида для этого вида, нам необходимо отправить view_id в заголовке секции.

Таблица 3 slice_header() { C Дескриптор first_mb_in_slice 2 ue(v) slice_type 2 ue(v) pic_parameter_set_id 2 ue(v)

if (nal_unit_type == 22 || nal_unit_type == 23) {     view_parameter_set_id 2 ue(v) view_id 2 ue(v) }     frame_num 2 u(v) if( !frame_mbs_only_flag) {     field_pic_flag 2 u(1) if( field_pic_flag)     bottom_field_flag 2 u(1) }     ………     }    

Для новых секций кодирования многовидового видео мы предлагаем создать новые типы модуля NAL для каждого типа секций (Мгновенное обновление декодирования (IDR) и не-IDR). Мы предлагаем использовать тип 22 для секций IDR и тип 23 для не-IDR секций, как показано в Таблице 2.

view_parameter_set_id задает используемый набор параметров вида. Значение view_parameter_set_id должно быть в диапазоне от 0 до 255.

view_id указывает идентификатор вида у текущего вида. Значение view_parameter_set_id должно быть в диапазоне от 0 до 255.

Сейчас будет описываться пример произвольного доступа к виду в соответствии с вариантом осуществления настоящих принципов.

Произвольный доступ к виду является требованием кодирования многовидового видео. Целью является получение доступа к любому виду с минимальными усилиями декодирования. Давайте рассмотрим простой пример произвольного доступа к виду для структуры предсказания, показанной на Фиг. 3.

Предположим, что пользователь просит декодировать вид S3. Из Фиг. 3 мы видим, что этот вид зависит от вида S0, вида S2 и вида S4. Ниже проиллюстрирован пример Набора параметров вида.

Давайте предположим, что view_id для видов нумеруются последовательно от 0 до 7 в синтаксисе заголовка секции, и существует только один Набор параметров вида с view_parameter_set, равным 0, number_of_views_minus_1 устанавливается в 7. avc_compatible_view_id может быть установлено в 0.

Для видов S0 is_base_view_flag устанавливается в 1, а для остальных видов он устанавливается в 0. Карта зависимости для S0, S1, S2, S3 и S4 будет выглядеть, как показано в Таблице 4А (Таблица зависимости anchor_picture_dependency_map для S0) и Таблице 4В (таблица зависимости non_anchor_picture_dependency_map для S0). Карта зависимости для остальных видов может быть записана аналогичным образом.

Поскольку эта таблица доступна на декодере, декодер легко может определять, нужна ли секция, которую он принимает, для декодирования конкретного вида. Декодеру нужно только проанализировать заголовок секции, чтобы определить view_id текущей секции, и для конечного вида S3 он может искать столбцы S3 в двух таблицах (Таблица 4А и Таблица 4В), чтобы определить, нужно ли ему сохранить текущую секцию. Декодеру необходимо различать опорные изображения и неопорные изображения, поскольку они могут иметь разные зависимости, как видно из Таблицы 4A и Таблицы 4B. Для конечного вида S3 нам нужно декодировать опорные изображения видов S0, S2 и S4, но нужно декодировать только неопорные изображения видов S2 и S4.

Таблица 4A i\j S0 S1 S2 S3 S4 S5 S6 S7 S0 0 1 1 1 1 1 1 1 S1 0 0 0 0 0 0 0 0 S2 0 1 0 1 1 1 1 1 S3 0 0 0 0 0 0 0 0 S4 0 0 0 1 0 1 1 1

Таблица 4B i\j S0 S1 S2 S3 S4 S5 S6 S7 S0 0 1 0 0 0 0 0 0 S1 0 0 0 0 0 0 0 0 S2 0 1 0 1 0 0 0 0 S3 0 0 0 0 0 0 0 0 S4 0 0 0 1 0 1 0 0

Обращаясь к Фиг. 4, примерный способ для кодирования нескольких видов многовидового видео контента указывается в целом номером ссылки 400.

Способ 400 включает в себя начальный этап 405, который передает управление на функциональный этап 410. На функциональном этапе 410 считывают конфигурационный файл ради параметров кодирования, которые нужно использовать для кодирования набора видов, и передают управление на функциональный этап 415. На функциональном этапе устанавливают N равным количеству видов, которое нужно кодировать, и передают управление на функциональный этап 420. На функциональном этапе 420 устанавливают number_of_views_minus_1 равным N - 1, устанавливают avc_compatible_view_id равным view_id у совместимого с MPEG-4 AVC вида и передают управление на функциональный этап 425. На функциональный этап 425 устанавливают view_parameter_set_id равным допустимому целому значению, инициализируют переменную i нулевым значением и передают управление на этап 430 ветвления. На этапе 430 ветвления определяют, больше ли i, чем N. Если это так, то управление передается на этап 435 ветвления. Иначе управление передается на функциональный этап 470.

На этапе ветвления 435 определяют, является ли текущий вид основным видом. Если это так, то управление передается на функциональный этап 440. Иначе управление передается на функциональный этап 480.

На функциональном этапе 440 устанавливают is_base_view_flag[i] равным единице и передают управление на этап 445 ветвления. На этапе 445 ветвления определяют, обновляется ли зависимость. Если это так, управление передается на функциональный этап 450. Иначе управление передается на функциональный этап 485.

На функциональном этапе 450 устанавливают dependency_update_flag равным единице и передают управление на функциональный этап 455. На функциональном этапе 455 устанавливают переменную j равной 0 и передают управление на этап 460 ветвления. На этапе 460 ветвления определяют, меньше ли j, чем N. Если это так, то управление передается на функциональный этап 465. Иначе управление передается на функциональный этап 487.

На функциональном этапе 465 устанавливают anchor_picture_dependency_maps[i][j] и non_anchor_picture_dependency_maps[i][j] в значения, указанные конфигурационным файлом, и передают управление на функциональный этап 467. На функциональном этапе 467 увеличивают переменную j на единицу и возвращают управление на этап 460 ветвления.

На функциональном этапе 470 устанавливают camera_parameters_present_flag равным единице, когда имеются параметры камеры, устанавливают camera_parameters_present_flag равным нулю в ином случае и передают управление на этап 472 ветвления. На этапе 472 ветвления определяют, равен ли единице camera_parameters_present_flag. Если это так, то управление передается на функциональный этап 432. Иначе управление передается на функциональноый этап 434.

На функциональный этап 432 записывают параметры камеры и передают управление на функциональный этап 434.

На функциональном этапе 434 записывают Набор параметров вида (VPS) или Набор параметров последовательности (SPS) и передают управление на конечный этап 499.

На функциональном этапе 480 устанавливают is_base_view_flag[i] равным нулю и передают управление на этап 445 ветвления.

На функциональном этапе 485 устанавливают dependency_update_flag равным нулю и передают управление на функциональный этап 487. На функциональном этапе 487 увеличивают переменную i на 1 и возвращают управление на этап 430 ветвления.

Обращаясь к Фиг. 5, примерный способ для декодирования нескольких видов многовидового видео контента указывается в целом номером ссылки 500.

Способ 500 включает в себя начальный этап 505, на котором передают управление на функциональный этап 510. На функциональном этапе 510 анализируют Набор параметров последовательности (SPS) или Набор параметров вида (VPS), view_parameter_set_id, number_of_views_minus_1, avc_compatible_view_id, устанавливают переменные l и j равными нулю, устанавливают N равным number_of_views_minus_1 и передают управление на этап 515 ветвления. На этапе 515 ветвления определяют, i меньше или равно N. Если это так, то управление передается на функциональный этап 570. Иначе управление передается на функциональный этап 525.

На функциональном этапе 570 анализируют camera_parameters_present_flag и передают управление на этап 572 ветвления. На этапе 572 ветвления определяют, равен ли единице camera_parameters_present_flag. Если это так, то управление передается на функциональный этап 574. Иначе управление передается на функциональный этап 576.

На функциональном этапе 574 анализируют параметры камеры и передают управление на функциональный этап 576.

На функциональном этапе 576 продолжают декодирование и передают управление на конечный этап 599.

На функциональном этапе 525 анализируют is_base_view_flag[i] и dependency_update_flag и передают управление на этап 530 ветвления. На этапе 530 ветвления определяют, равен ли нулю dependency_update_flag. Если это так, то управление передается на функциональный этап 532. Иначе управление передается на этап 535 ветвления.

На функциональном этапе 532 увеличивают i на единицу и возвращают управление на этап 515 ветвления.

На этапе 535 ветвления определяют, что j меньше или равно N. Если это так, то управление передается на функциональный этап 540. Иначе управление передается на функциональный этап 537.

На функциональном этапе 540 анализируют anchor_picture_dependency_maps[i][j] и передают управление на этап 545 ветвления. На этапе 545 ветвления определяют, равно ли единице non_anchor_picture_dependency_maps[i][j]. Если это так, то управление передается на функциональный этап 550. Иначе управление передается на функциональный этап 547.

На функциональном этапе 550 анализируют non_anchor_picture_dependency_maps[i][j] и передают управление на функциональный этап 547.

На функциональном этапе 547 увеличивают j на единицу и возвращают управление на этап 535 ветвления.

На функциональном этапе 537 увеличивают i на единицу и возвращают управление на функциональный этап 515.

Сейчас будет дано описание некоторых из многих сопутствующих преимуществ/признаков настоящего изобретения, некоторые из них упомянуты выше. Например, одним преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов. Другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором взаимозависимость декодирования позволяет соответствующее декодирование, по меньшей мере, одного из, по меньшей мере, двух видов с использованием только поднабора, по меньшей мере, из двух видов для соответствующего декодирования. Еще одним преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором взаимозависимость декодирования, указанная в относящейся к виду особой информации, используется для произвольного доступа, по меньшей мере, одного из, по меньшей мере, двух видов путем отбрасывания секций, относящихся к любым другим из, по меньшей мере, двух видов, указанных как не взаимозависимые относительно, по меньшей мере, одного вида. Еще одним преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включается в высокоуровневый синтаксис. Дополнительным преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включается в набор параметров, совместимый со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи. Еще дополнительным преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включается в Набор параметров вида. Еще дополнительным преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включается в Набор параметров вида, которое описано выше, где Набору параметров вида назначается тип модуля NAL специально для использования только с Набором параметров вида. Дополнительным преимуществом/признаком является устройство, имеющее кодер, в котором тип модуля NAL назначается специально для использования только с Набором параметров вида, который описан выше, где типом модуля NAL является 14. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания идентификатора (id) Набора параметров вида. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания идентификатора Набора параметров вида, который описан выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента view_parameter_set_id. Также другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания количества видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания количества видов, который описан выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента number_of_views_minus_1. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания идентификатора вида для конкретного вида, по меньшей мере, из двух видов, когда конкретный вид, по меньшей мере, из двух видов кодируется в результирующий поток двоичных сигналов, который совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания идентификатора вида для конкретного вида, по меньшей мере, из двух видов, который описан выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента avc_compatible_view_id. Также другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент или неявно выводима из высокоуровневого синтаксиса, причем, по меньшей мере, один синтаксический элемент и высокоуровневый синтаксис для указания, что конкретный вид, по меньшей мере, из двух видов является совместимым со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент или неявно выводима из высокоуровневого синтаксиса, как описано выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента is_base_view_flag. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, присутствует ли информация о зависимости, по меньшей мере, для одного из, по меньшей мере, двух видов, в результирующем потоке двоичных сигналов. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, присутствует ли информация о зависимости, по меньшей мере, для одного из, по меньшей мере, двух видов, в результирующем потоке двоичных сигналов, как описано выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента dependency_update_flag. Также другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, используется ли, по меньшей мере, одно опорное изображение в текущем виде, по меньшей мере, из двух видов для декодирования любых других видов, по меньшей мере, из двух видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, используется ли, по меньшей мере, одно опорное изображение в текущем виде, по меньшей мере, из двух видов для декодирования любых других видов, по меньшей мере, из двух видов, как описано выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента anchor_picture_dependency_maps[i][j]. Также, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, используется ли, по меньшей мере, одно неопорное изображение в текущем виде, по меньшей мере, из двух видов для декодирования любых других видов, по меньшей мере, из двух видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, используется ли, по меньшей мере, одно неопорное изображение в текущем виде, по меньшей мере, из двух видов для декодирования любых других видов, по меньшей мере, из двух видов, как описано выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента non_anchor_picture_dependency_maps[i][j]. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры, по меньшей мере, для одного из, по меньшей мере, двух видов. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры, по меньшей мере, для одного из, по меньшей мере, двух видов, как описано выше, где, по меньшей мере, один синтаксис включается в набор параметров, соответствующий результирующему потоку двоичных сигналов.

Кроме того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем задания в качестве основного вида любого, по меньшей мере, из двух видов, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.

Более того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем кодирования, по меньшей мере, одного из, по меньшей мере, двух видов в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним. Также, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором, по меньшей мере, один вид является основным видом, который для его декодирования независим от любого другого, по меньшей мере, из двух видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором синтаксический элемент avc_compatible_view_id идентифицирует, по меньшей мере, один вид как кодируемый в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-й Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости.

Кроме того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем выбора между одним из двух предопределенных типов секций. Более того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором двумя предопределенными типами секций являются тип секций с мгновенным обновлением декодирования и тип секций с не мгновенным обновлением декодирования. Также другим преимуществом/признаком является устройство, имеющее кодер, который выбирает между типом секций с мгновенным обновлением декодирования и типом секций с не мгновенным обновлением декодирования, которые описаны выше, где тип 22 модуля NAL используется для типа секции с мгновенным обновлением декодирования и тип 23 модуля NAL используется для секций с не мгновенным обновлением декодирования. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором заголовки секций, по меньшей мере, для одной из, по меньшей мере, двух секций включают в себя относящийся к виду синтаксис. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором заголовки секций, по меньшей мере, для одной из, по меньшей мере, двух секций включают в себя относящийся к виду синтаксис, как описано выше, где относящийся к виду синтаксис обусловлен типом 23 модуля NAL и типом 24 модуля NAL. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором заголовки секций, по меньшей мере, для одной из, по меньшей мере, двух секций включают в себя относящийся к виду синтаксис, как описано выше, где относящийся к виду синтаксис включает в себя идентификатор набора параметров вида и идентификатор вида. Также другим преимуществом/признаком является устройство, имеющее кодер, в котором относящийся к виду синтаксис включает в себя идентификатор набора параметров вида и идентификатор вида, как описано выше, где идентификатор набора параметров вида обозначается с помощью синтаксического элемента view_parameter_set_id, а идентификатор вида обозначается с помощью синтаксического элемента view_id.

Кроме того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один параметр камеры, соответствующий по меньшей мере одному из, по меньшей мере, двух видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором результирующий поток двоичных сигналов кодируется, чтобы включать Набор параметров вида, и, по меньшей мере, один параметр камеры включается в Набор параметров вида. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором присутствие, по меньшей мере, одного параметра камеры указывается с помощью синтаксического элемента. Также другим преимуществом/признаком является устройство, имеющее кодер, в котором присутствие, по меньшей мере, одного параметра камеры указывается с помощью синтаксического элемента, как описано выше, где синтаксическим элементом является синтаксический элемент camera_parameters_present_flag. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором, по меньшей мере, один параметр камеры обозначается с помощью синтаксического элемента camera_parameters.

Кроме того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя по меньшей мере один синтаксический элемент, относящийся по меньшей мере к одному параметру камеры для, по меньшей мере, одного из, по меньшей мере, двух видов. Более того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором, по меньшей мере, один синтаксис является высокоуровневым синтаксическим элементом. Также другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором, по меньшей мере, один синтаксис включается в набор параметров, соответствующий результирующему потоку двоичных сигналов.

Эти и другие признаки и преимущества настоящих принципов могут легко быть установлены обычным специалистом в данной области техники на основе идей в этом документе. Нужно понимать, что идеи настоящих принципов могут быть реализованы в различных формах аппаратных средств, программного обеспечения, микропрограммного обеспечения, процессоров специального назначения или их сочетаний.

Наиболее предпочтительно, чтобы идеи настоящих принципов реализовывались как сочетание аппаратных средств и программного обеспечения. Кроме того, программное обеспечение может быть реализовано как прикладная программа, реально реализованная в запоминающем устройстве для хранения программ. Прикладная программа может быть загружена и исполнена компьютером, содержащим любую подходящую архитектуру. Предпочтительно, чтобы компьютер реализовывался на компьютерной платформе, имеющей аппаратные средства, например один или более центральных процессоров ("CPU"), оперативное запоминающее устройство ("RAM") и интерфейсы ввода/вывода ("I/O"). Компьютерная платформа также может включать в себя операционную систему и код из микрокоманд. Различные процессы и функции, описанные в этом документе, могут быть либо частью кода из микрокоманд, либо частью прикладной программы, или их сочетанием, которые могут исполняться посредством CPU. К тому же различные другие периферийные модули могут быть подключены к компьютерной платформе, например дополнительный модуль хранения данных и печатающее устройство.

Дополнительно нужно понимать, что поскольку некоторые из составляющих системных компонентов и способов, изображенных на прилагаемых чертежах, предпочтительно реализуются в программном обеспечении, фактические связи между системными компонентами или функциональными этапами процессов могут отличаться в зависимости от способа, в котором программируются настоящие принципы. Получив идеи в этом документе, обычный специалист в данной области техники сможет предположить эти и аналогичные реализации или конфигурации настоящих принципов.

Хотя пояснительные варианты осуществления описаны в этом документе со ссылкой на прилагаемые чертежи, нужно понимать, что настоящие принципы не ограничиваются этими определенными вариантами осуществления, и что различные изменения и модификации могут быть осуществлены обычным специалистом в данной области техники без отклонения от объема или сущности настоящих принципов. Все такие изменения и модификации предназначаются для включения в объем настоящих принципов, как изложено в прилагаемой формуле изобретения.

Изобретение относится к кодированию и декодированию видео, а более конкретно к способам и устройству для использования в системе кодирования многовидового видео (MVC) (видео с несколькими представлениями). Техническим результатом является обеспечение эффективного произвольного доступа в многовидовых сжатых потоках двоичных сигналов. Указанный технический результат достигается тем, что устройство кодирования многовидового видео включает в себя: кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию, которая указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов. 4 н. и 8 з.п. ф-лы, 5 ил., 5 табл.

1. Устройство кодирования многовидового видео контента, содержащее: кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, причем результирующий поток двоичных сигналов кодируется таким образом, чтобы включать в себя информацию о зависимости видов, при этом информация о зависимости видов указывает взаимозависимость декодирования между, по меньшей мере, некоторыми из, по меньшей мере, двух видов, причем все виды из числа, по меньшей мере, двух видов, необходимые для декодирования некоторого вида, указываются как имеющие взаимозависимость по отношению к этому виду, при этом информация о зависимости видов включает в себя, по меньшей мере, один синтаксический элемент для указания общего числа видов в результирующем потоке двоичных сигналов.

2. Устройство по п.1, в котором взаимозависимость декодирования позволяет выполнять соответствующее декодирование, по меньшей мере, одного из, по меньшей мере, двух видов с использованием только некоторого поднабора из, по меньшей мере, двух видов для соответствующего декодирования.

3. Устройство по п.1, в котором взаимозависимость декодирования, указанная в информации о зависимости видов, используется для произвольного доступа к, по меньшей мере, одному из, по меньшей мере, двух видов путем отбрасывания секций, относящихся к любым другим из числа, по меньшей мере, двух видов, указанным как не взаимозависимые по отношению к этому, по меньшей мере, одному виду.

4. Способ кодирования многовидового видео контента, содержащий этапы, на которых: кодируют, по меньшей мере, два вида, соответствующие многовидовому видео контенту, в результирующий поток двоичных сигналов, причем результирующий поток двоичных сигналов кодируется таким образом, чтобы включать в себя информацию о зависимости видов, при этом информация о зависимости видов указывает взаимозависимость декодирования между, по меньшей мере, некоторыми из, по меньшей мере, двух видов, причем все виды, из числа, по меньшей мере, двух видов, необходимые для декодирования некоторого вида, указываются как имеющие взаимозависимость по отношению к этому виду, при этом информация о зависимости видов включает в себя, по меньшей мере, один синтаксический элемент для указания общего числа видов в результирующем потоке двоичных сигналов.

5. Способ по п.4, в котором взаимозависимость декодирования позволяет выполнять соответствующее декодирование, по меньшей мере, одного из, по меньшей мере, двух видов с использованием только некоторого поднабора из, по меньшей мере, двух видов для соответствующего декодирования.

6. Способ по п.4, в котором взаимозависимость декодирования, указанная в информации о зависимости видов, используется для произвольного доступа к, по меньшей мере, одному из, по меньшей мере, двух видов путем отбрасывания секций, относящихся к любым другим из числа, по меньшей мере, двух видов, указанным как не взаимозависимые по отношению к этому, по меньшей мере, одному виду.

7. Устройство декодирования многовидового видео контента, содержащее: декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, из потока двоичных сигналов, при этом поток двоичных сигналов декодируется для определения информации о зависимости видов, включенной в него, причем информация о зависимости видов указывает взаимозависимость декодирования между, по меньшей мере, некоторыми из, по меньшей мере, двух видов, при этом все виды из числа, по меньшей мере, двух видов, необходимые для декодирования некоторого вида, указаны как имеющие взаимозависимость по отношению к этому виду, при этом информация о зависимости видов включает в себя, по меньшей мере, один синтаксический элемент для указания общего числа видов в результирующем потоке двоичных сигналов.

8. Устройство по п.7, в котором взаимозависимость декодирования позволяет упомянутому декодеру декодировать, по меньшей мере, один из, по меньшей мере, двух видов с использованием только некоторого поднабора из, по меньшей мере, двух видов.

9. Устройство по п. 7, в котором взаимозависимость декодирования, указанная в информации о зависимости видов, используется для произвольного доступа к, по меньшей мере, одному из, по меньшей мере, двух видов путем отбрасывания секций, относящихся к любым другим из числа, по меньшей мере, двух видов, указанным как не взаимозависимые по отношению к этому, по меньшей мере, одному виду.

10. Способ декодирования многовидового видео контента, содержащий этапы, на которых: декодируют, по меньшей мере, два вида, соответствующие многовидовому видео контенту, из потока двоичных сигналов, при этом поток двоичных сигналов декодируется для определения информации о зависимости видов, включенной в него, причем информация о зависимости видов указывает взаимозависимость декодирования между, по меньшей мере, некоторыми из, по меньшей мере, двух видов, при этом все виды из числа, по меньшей мере, двух видов, необходимые для декодирования некоторого вида, указаны как имеющие взаимозависимость по отношению к этому виду, при этом информация о зависимости видов включает в себя, по меньшей мере, один синтаксический элемент для указания общего числа видов в результирующем потоке двоичных сигналов.

11. Способ по п.10, в котором взаимозависимость декодирования позволяет на упомянутом этапе декодирования выполнять декодирование, по меньшей мере, одного из, по меньшей мере, двух видов с использованием только некоторого поднабора из, по меньшей мере, двух видов.

12. Способ по п.10, в котором взаимозависимость декодирования, указанная в информации о зависимости видов, используется для произвольного доступа к, по меньшей мере, одному из, по меньшей мере, двух видов путем отбрасывания секций, относящихся к любым другим из, по меньшей мере, двух видов, указанным как не взаимозависимые по отношению к этому, по меньшей мере, одному виду.