ПЕРЕДАЮЩЕЕ УСТРОЙСТВО, СПОСОБ ПЕРЕДАЧИ, ПРИЕМНОЕ УСТРОЙСТВО И СПОСОБ ПРИЕМА Российский патент 2018 года по МПК H04N19/30 

Область техники, к которой относится изобретение

Настоящее изобретение относится к передающему устройству, способу передачи, приемному устройству и способу приема, и в частности, к передающему устройству, осуществляющему иерархическое кодирование данных изображения кадров, составляющих данные движущегося изображения, и передающему полученные кодированные данные, и к другим подобным устройствам.

Уровень техники

При предоставлении клиенту сжатых движущихся изображений посредством широкого вещания, через сети связи или другим подобным способом имеет место верхний предел воспроизводимой частоты кадров в зависимости от декодирующей способности приемника. Поэтому провайдеры услуг передачи изображений должны ограничивать предоставляемые ими услуги только сервисами с низкой частотой кадров или предоставлять одновременно сервисы с высокой частотой кадров и сервисы с низкой частотой кадров с учетом способностей преобладающего большинства приемников воспроизводить изображение.

Для обеспечения соответствия требованиям сервисов с высокой частотой кадров приемники становятся все дороже и дороже, что затрудняет их распространение. Поскольку первоначально широкое распространение получили сравнительно недорогие приемники, рассчитанные на работу с сервисами с низкой частотой кадров, то когда потом, в будущем провайдеры начинают внедрение сервисов с высокой частотой кадров, клиенты не могут принимать эти сервисы без новых приемников, что затрудняет распространение новых сервисов.

Например, предложена масштабируемость по оси времени, реализуемая путем иерархического кодирования данных изображения кадров, составляющих данные движущегося изображения, с применением алгоритмов высокоэффективного видео кодирования (high efficiency video coding (HEVC)) (см. Непатентный документ 1). На приемной стороне уровни кадров могут быть идентифицированы на основе информации временного идентификатора (temporal ID (temporal_id)), вставленного в заголовок единицы слоя сетевой абстракции (network abstraction layer (NAL)), так что это позволяет осуществлять избирательное декодирование вплоть до уровня, соответствующего декодирующей способности.

Список литературы

Непатентный документ

Непатентный документ 1: Гэри Дж. Салливан, Йенс-Райнер Ом, Ву-Джин Хан, Томас Виганд «Обзор стандарта высокоэффективного видео кодирования (HEVC)» (Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012)

Раскрытие сущности изобретения

Проблемы, которые должно решить настоящее изобретение

Целью технологии, представляющей собой предмет настоящего изобретения, является создание возможностей для осуществления успешного и эффективного декодирования на приемной стороне.

Решение проблем

Концепция технологии, являющейся предметом настоящего изобретения, состоит в том, что передающее устройство содержит:

модуль кодирования изображения для классификации данных изображения кадров, составляющих данные движущегося изображения, с целью разбиения их на множество уровней и кодирования классифицированных данных изображения кадров на соответствующих уровнях для генерирования потока видеоданных, содержащего кодированные данные изображения кадров для соответствующих уровней; и

передающий модуль для передачи контейнера в заданном формате, содержащего сгенерированный поток видеоданных, при этом

модуль кодирования изображения выполнен с возможностью уравновешивания иерархической структуры между стороной низкого уровня и стороной высокого уровня и объединения соответствующих кадров со стороны низкого уровня и со стороны высокого уровня в одну группу и, затем, кодирования их последовательно.

Согласно технологии, являющейся предметом настоящего изобретения, модуль кодирования изображения осуществляет кодирование данных изображения кадров, составляющих данные движущегося изображения, для генерирования потока видеоданных (кодированного потока данных). В этом случае данные изображения кадров, составляющие данные движущегося изображения, классифицируют на множество уровней и кодируют для генерирования потока видеоданных, содержащего данные изображения кадров для соответствующих уровней. Эту иерархическую структуру уравновешивают между стороной низкого уровня и стороной высокого уровня. Соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединяют в одну группу и кодируют последовательно.

Передающий модуль осуществляет передачу контейнера в заданном формате, содержащего указанный выше поток видеоданных. Например, модуль кодирования изображения может генерировать один поток видеоданных, содержащий кодированные данные изображения кадров для соответствующих уровней, или разбить совокупность множества уровней на две группы - сторону высокого уровня и сторону низкого уровня, и генерировать два потока видеоданных, содержащие кодированные данные изображения кадров для соответствующих групп уровней.

Согласно технологии, являющейся предметом настоящего изобретения, иерархическую структуру уравновешивают между стороной низкого уровня и стороной высокого уровня, объединяют соответствующие кадры со стороны низкого уровня и со стороны высокого уровня в одну группу и последовательно кодируют. Это позволяет на приемной стороне декодировать кодированные данные изображения кадров на стороне низкого уровня и на стороне высокого уровня с использованием буфера меньшего размера и с уменьшенной задержкой декодирования.

Согласно технологии, являющейся предметом настоящего изобретения, например, устройство может также содержать модуль вставки иерархической информации, который вставляет иерархическую информацию в слой контейнера. В этом случае, например, иерархическая информация может содержать информацию относительно заданных величин параметров уровней, относящихся к соответствующим уровням. Кроме того, в этом случае, например, модуль вставки иерархической информации может вставлять иерархическую информацию в слой контейнера в позициях, синхронизированных с кодированными данными изображения кадров в потоке видеоданных.

Например, модуль вставки иерархической информации может вставить иерархическую информацию в поле расширения пакета из состава пакетированного элементарного потока (PES). В этом случае модуль вставки иерархической информации может вставить иерархическую информацию в поле расширения PES-пакета по меньшей мере для каждой кодированной видео последовательности. Кроме того, в этом случае, например, устройство может содержать модуль вставки информации, встраивающий информацию для описания в явном виде, вставлена ли иерархическая информация в поле расширения PES-пакета, в соответствии с таблицей отображения программ.

Кроме того, например, модуль вставки иерархической информации может вставлять иерархическую информацию в соответствии с таблицей отображения программ. В дополнении к этому, например, модуль вставки иерархической информации может вставлять эту иерархическую информацию в соответствии с таблицей информации о событиях.

Иерархическую информацию вставляют в слой контейнера, а приемная сторона может справиться с иерархической информацией, чтобы достаточно простым и легким способом избирательно извлекать кодированные данные изображения кадров из потока видеоданных вплоть до уровня, соответствующего возможностям (декодирующей способности) декодера.

Кроме того, другая концепция технологии, являющейся предметом настоящего изобретения, состоит в том, что приемное устройство содержит приемный модуль, который принимает контейнер в заданном формате, имеющий в составе поток видеоданных, содержащий кодированные данные изображения кадров, полученные посредством классификации данных изображения кадров, составляющих данные движущегося изображения, на множество уровней и кодирования этих уровней, так что

в процессе кодирования иерархическую структуру уравновешивают между стороной низкого уровня и стороной высокого уровня, а соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединяют в одной группе и последовательно кодируют, и

приемное устройство дополнительно содержит процессорный модуль, обрабатывающий принятый контейнер.

Согласно технологии, являющейся предметом настоящего изобретения, приемный модуль принимает контейнер в заданном формате. Контейнер содержит поток видеоданных, имеющий в составе данные изображения кадров для соответствующих уровней, полученных посредством классификации данных изображения кадров, составляющих данные движущегося изображения, по нескольким уровням и кодирования этих уровней. В таком случае, в процессе кодирования уравновешивают иерархическую структуру между стороной низкого уровня и стороной высокого уровня, и соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединяют в одну группу и последовательно кодируют.

Процессорный модуль обрабатывает принятый контейнер. Например, процессорный модуль может быть конфигурирован для избирательного вызова кодированных данных изображения кадров с заданного уровня и более низких уровней из потока видеоданных и для декодирования этих данных на основе иерархической информации, получая в результате данные изображения кадров для заданного уровня и более низких уровней.

Как описано выше, согласно технологии, являющейся предметом настоящего изобретения, в потоке видеоданных, содержащемся в принятом контейнере, иерархическая структура уравновешена между стороной низкого уровня и стороной высокого уровня, а соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединены в одну группу и последовательно кодированы. Это делает возможным декодирование кодированных данных изображения кадров на стороне низкого уровня и на стороне высокого уровня с использованием буфера меньшего размера и с уменьшенной задержкой декодирования.

Согласно технологии, являющейся предметом настоящего изобретения, иерархическая информация может быть вставлена в какой-либо слой контейнера, и

процессорный модуль может избирательно вызывать из потока видеоданных кодированные данные изображения кадров для заданного уровня и более низких уровней и декодировать эти уровни на основе иерархической информации для получения данных изображения кадров для заданного уровня и более низких уровней. В таком случае, можно легко вызывать избирательно из потока видеоданных кодированные данные изображения кадров для уровня, соответствующего возможностям декодера.

Преимущества изобретения

Согласно технологии, являющейся предметом настоящего изобретения, приемная сторона может эффективно осуществлять декодирование. Преимущества этой технологии не ограничиваются теми, что описаны здесь, а могут быть любыми преимуществами, приведенными в описании предмета настоящего изобретения.

Краткое описание чертежей

Фиг. 1 представляет блок-схему приемопередающей системы согласно одному из вариантов настоящего изобретения.

Фиг. 2 представляет блок-схему примера конфигурации передающего устройства.

Фиг. 3 представляет диаграмму, иллюстрирующую иерархическое кодирование, осуществляемое кодирующим модулем.

Фиг. 4(a) и 4(b) представляют диаграммы, иллюстрирующие пример структуры (синтаксиса) заголовка единицы NAL и содержания (семантики) основных параметров примера структуры.

Фиг. 5 представляет диаграмму, иллюстрирующую другой пример иерархического кодирования, осуществляемого кодирующим модулем.

Фиг. 6 представляет диаграмму, иллюстрирующую пример конфигурации кодированных данных изображения кадров.

Фиг. 7(a) и 7(b) представляют диаграммы, иллюстрирующие пример структуры (синтаксис) дескриптора декодирования слоев (Layer_decoding_descriptor).

Фиг. 8 представляет диаграмму, иллюстрирующую содержание (семантику) основной информации в примере структуры дескриптора декодирования слоев.

Фиг. 9 представляет диаграмму, иллюстрирующую пример структуры (синтаксис) данных поля расширения PES-пакета ("pes_extension_field_data()").

Фиг. 10(a) и 10(b) представляют диаграммы, иллюстрирующую пример структуры (синтаксис) дескриптора расширения PES (PES_extension_descriptor) и содержание (семантику) основной информации в этом примере структуры.

Фиг. 11 представляет диаграмму примера конфигурации транспортного потока TS в случае, когда осуществляется однопотоковое распределение, а иерархическую информацию вставляют в соответствии с таблицей отображения программ.

Фиг. 12 представляет диаграмму примера конфигурации транспортного потока TS в случае, когда осуществляется двухпотоковое распределение, а иерархическую информацию вставляют в соответствии с таблицей отображения программ.

Фиг. 13 представляет диаграмму примера конфигурации транспортного потока TS в случае, когда осуществляется однопотоковое распределение, а иерархическую информацию вставляют в соответствии с таблицей информации о событиях.

Фиг. 14 представляет диаграмму примера конфигурации транспортного потока TS в случае, когда осуществляется двухпотоковое распределение, а иерархическую информацию вставляют в соответствии с таблицей информации о событиях.

Фиг. 15 представляет диаграмму примера конфигурации транспортного потока TS в случае, когда осуществляется однопотоковое распределение, а иерархическую информацию вставляют в поле расширения в заголовке PES-пакета.

Фиг. 16 представляет диаграмму примера конфигурации транспортного потока TS в случае, когда осуществляется двухпотоковое распределение, а иерархическую информацию вставляют в поле расширения в заголовке PES-пакета.

Фиг. 17 представляет блок-схему, иллюстрирующую пример конфигурации приемного устройства.

Фиг. 18 представляет диаграмму, иллюстрирующую пример соответствия между сигнализационным сообщением о параметре "level_idc" и иерархической информацией о

кодированных данных изображения с изменениями в иерархической структуре.

Осуществление изобретения

Ниже будет описан вариант осуществления изобретения (далее он будет именоваться просто «вариант»). Описание будет дано в следующем порядке:

1. Вариант

2. Пример модификации

1. Вариант

Приемопередающая система

Фиг. 1 иллюстрирует пример конфигурации приемопередающей системы 10 согласно одному из вариантов. Эта приемопередающая система 10 содержит передающее устройство 100 и приемное устройство 200.

Передающее устройство 100 осуществляет передачу транспортного потока TS в виде контейнера, передаваемого в системе вещания или в форме пакетов через сеть связи. Транспортный поток TS содержит поток видеоданных, где данные изображения кадров, составляющие данные движущегося изображения, классифицированы по нескольким уровням и в поток включены кодированные данные изображения кадров для соответствующих уровней. В этом случае транспортный поток TS содержит один поток видеоданных, имеющий в составе кодированные данные изображения кадров для соответствующих уровней, или два потока видеоданных, где совокупность указанных нескольких уровней разбита на две группы - для стороны высокого уровня и для стороны низкого уровня, и куда включены кодированные данные изображения кадров для соответствующих групп уровней.

Например, указанные кадры кодируют в соответствии с алгоритмами H.264/AVC или H.265/HEVC, так что они принадлежат к своим уровням и/или более низким уровням. В этом случае иерархическая структура оказывается уравновешена между стороной низкого уровня и стороной высокого уровня, и соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединены в одну группу и кодированы последовательно. Осуществление такого кодирования позволяет приемной стороне декодировать кодированные данные изображения кадров на стороне низкого уровня и на стороне высокого уровня с использованием буфера меньшего размера и с уменьшенной задержкой декодирования.

К кодированным данным изображения кадров для соответствующих уровней добавляют информацию для идентификации уровней с целью идентификации уровней, к которым принадлежат рассматриваемые кадры. В рассматриваемом варианте эту информацию для идентификации уровней ("nuh_temporal_id_plus 1" обозначающий идентификатор temporal_id) добавляют к заголовкам единиц NAL (nal_unit) для кадров. Добавление информации для идентификации уровней позволяет приемной стороне избирательно вызвать кодированные данные изображения для заданного уровня и более низких уровней для осуществления декодирования.

В слой контейнера вставляют иерархическую информацию, содержащую информацию относительно величин, специфицированных для соответствующих уровней, и другую информацию. Приемная сторона может использовать эту иерархическую информацию для избирательного вызова кодированных данных изображения кадров из потока видеоданных на уровне, соответствующем возможностям декодирующего модуля, достаточно простым способом. Например, иерархическую информацию вставляют в соответствии с таблицей отображения программ (program map table (PMT)) или в соответствии с таблицей информации о событиях (event information table (EIT)).

Кроме того, иерархическую информацию вставляют в поля расширения PES в составе заголовков PES-пакетов синхронно с кодированными данными изображения кадров в составе потока видеоданных, например. Это позволяет приемной стороне, даже при изменениях иерархической структуры, избирательно вызвать из потока видеоданных кодированные данные изображения кадров на уровне, соответствующем возможностям декодирующего модуля.

Когда иерархическая информация вставлена в поле расширения PES-пакета, как описано выше, идентификационную информацию, указывающую, что иерархическая информация вставлена в поле расширения PES-пакета, вставляют в соответствии с таблицей отображения программ. В этом случае приемная сторона может идентифицировать ситуацию, когда иерархическая информация вставлена в поле расширения PES-пакета на основе идентификационной информации.

Приемное устройство 200 осуществляет прием транспортного потока TS, передаваемого от передающего устройства 100 с использованием сигналов широкого вещания или в виде пакетов данных через сеть связи. Приемное устройство 200 обрабатывает этот принятый ею транспортный поток TS. В этом случае приемное устройство 200 из потока видеоданных избирательно вызывает кодированные данные изображения кадров для заданного уровня и более низких уровней соответственно возможностям декодирующего модуля и декодирует вызванные данные на основе иерархической информации, содержащейся в слое контейнера, получая в результате данные изображения кадров для заданного уровня и более низких уровней.

"Конфигурация передающего устройства"

Фиг. 2 иллюстрирует пример конфигурации передающего устройства 100. Это передающее устройство 100 содержит центральный процессор (CPU) 101, кодирующий модуль 102, буфер сжатых данных (cpb: буфер кодированных кадров) 103, мультиплексор 104 и передающий модуль 105. Процессор CPU 101 представляет собой модуль управления, осуществляющий управление операциями компонентов передающего устройства 100.

На вход кодирующего модуля 102 поступают несжатые данные движущегося изображения (VD) для осуществления иерархического кодирования. Этот кодирующий модуль 102 классифицирует данные изображения кадров, составляющих данные VD движущегося изображения, на множество уровней. Затем кодирующий модуль 102 кодирует классифицированные данные изображения кадров по соответствующим уровням с целью генерирования потока видеоданных, содержащего кодированные данные изображения кадров для соответствующих уровней.

Кодирующий модуль 102 осуществляет кодирование, такое как кодирование согласно алгоритмам H.264/AVC или H.265/HEVC. В это время кодирующий модуль 102 осуществляет кодирование таким образом, что рассматриваемые кадры принадлежат соответствующим уровням и/или более низким уровням. Этот кодирующий модуль 102 также разбивает совокупность из нескольких уровней на сторону низкого уровня и сторону высокого уровня, и уравновешивает иерархическую структуру между стороной низкого уровня и стороной высокого уровня, а также объединяет соответствующие кадры со стороны низкого уровня и со стороны высокого уровня в одну группу и кодирует эти кадры последовательно.

Фиг. 3 иллюстрирует пример иерархического кодирования, осуществляемого кодирующим модулем 102. В этом примере данные изображения кадров классифицируют на шесть уровней от 0 по 5 и затем кодируют.

По вертикальной оси отложены уровни. Величины с 0 по 5 задают в виде идентификаторов temporal_id (информация для идентификации уровней), добавляемых к заголовкам единиц NAL (nal_unit), составляющих кодированные данные изображения кадров для уровней с 0 по 5. При этом по горизонтальной оси отложен порядок кадров в композиции (picture order of composition (РОС)), время представления на дисплее становится все более ранним по мере приближения к левой стороне и все более поздним по мере приближения к правой стороне.

Фиг. 4(a) иллюстрирует пример структуры (синтаксис) заголовка модуля NAL, а Фиг. 4(b) иллюстрирует содержание (семантику) основных параметров примера структуры. Значение 1-битового поля "Forbidden_zero_bit" равно по существу 0. 6-битовое поле "Nal_unit_type" обозначает тип модуля NAL. В качестве предварительного условия значение 6-битового поля "Nuh_layer_id" равно 0. 3-битовое поле "Nuh_temporal_id_plus 1" указывает идентификатор temporal_id и принимает значение, увеличивающееся с шагом 1 (от 1 до 6).

Возвращаясь к Фиг. 3, прямоугольные рамки обозначают кадры, а цифры в этих прямоугольных рамках обозначают порядок соответствующих кодированных кадров, иными словами порядок кодирования (порядок декодирования на приемной стороне). Например, восемь кадров с "0" по "7" составляют подгруппу кадров, и кадр "0" становится первым кадром в подгруппе кадров. Несколько подгрупп кадров собирают в группу кадров (group of pictures (GOP)).

В этом примере, три уровня с 0 по 2 располагаются на стороне низкого уровня и три уровня с 3 по 5 располагаются на стороне высокого уровня. Как показано на чертеже, иерархическая структура уравновешена между стороной низкого уровня и стороной высокого уровня, и соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединены в одну группу и кодированы последовательно. Например, сначала объединяют и кодируют кадр "0" на стороне низкого уровня и кадр "1" на стороне высокого уровня, а затем объединяют и кодируют кадр "2" на стороне низкого уровня и кадр "3" на стороне высокого уровня. Кадры последующих уровней кодируют таким же образом. В этом случае, нижние уровни ограничены уровнями ниже заданного конкретного уровня. Соответственно, для декодирования кадров на низких уровнях только кадры на этих ограниченных низких уровнях могут быть декодированы и представлены на дисплее устойчивым образом. Это применимо таким же образом к случаю, когда кадры не разбиты на низкие уровни и высокие уровни.

На Фиг. 3 стрелки в виде сплошных линий и штриховых линий обозначают ссылочные соотношения между кадрами в процессе кодирования. Например, кадр "0" представляет собой кадр с внутрикадровым кодированием (I-кадр), для которого не нужны ссылки на другие кадры, а кадр "1" представляет собой однонаправлено прогнозируемый кадр (Р-кадр), кодируемый со ссылками на кадр "0". Кадр "2" представляет собой кадр с двунаправленным прогнозированием (В-кадр), кодируемый со ссылками на кадр "0" и на один из кадров из состава предшествующей подгруппы кадров (не показан). Кадр "3" представляет собой В-кадр, кодируемый со ссылками на кадры "0" и "2". Аналогично другие кадры кодируют со ссылками на кадры, близкие к ним в порядке кадров в композиции. Код "D" указывает, насколько далеко каждый кадр отстоит от опорного (ссылочного) кадра в порядке кадров в композиции. Если код "D" не указан, это означает D=1.

Фиг. 5 иллюстрирует другой пример иерархического кодирования, осуществляемого кодирующим модулем 102. Хотя подробное описание здесь приведено не будет, в примере, показанном на Фиг. 3, порядок кадров в композиции на стороне высокого уровня смещен на один кадр назад относительно порядка кадров в композиции на стороне низкого уровня, тогда как в примере, представленном на Фиг. 5, порядок кадров в композиции на стороне высокого уровня смещен на один кадр вперед относительно порядка кадров в композиции на стороне низкого уровня. В этом случае иерархическая структура уравновешена между стороной низкого уровня и стороной высокого уровня, а соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединяют в одну группу и кодируют последовательно.

Кодирующий модуль 102 генерирует поток видеоданных, содержащий кодированные данные изображения кадров для соответствующих уровней. Например, кодирующий модуль 102 генерирует один поток видеоданных, содержащий кодированные данные изображения кадров для соответствующих уровней, или генерирует два потока видеоданных, содержащих кодированные данные изображения кадров со стороны уровней более низкого порядка и со стороны уровней более низкого порядка.

Фиг. 6 иллюстрирует пример конфигурации кодированных данных изображения кадров. Кодированные данные изображения первого кадра в группе GOP кадров составлены из таких единиц NAL, как AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI и EOS. В то же время, кадры, отличные от первого кадра в группе GOP кадров, составлены из таких единиц NAL, как AUD, PPS, PSEI, SLICE, SSEI и EOS. Единица VPS может быть передана вместе с единицей SPS по одному разу в каждой последовательности (GOP), а единица PPS может быть передана в каждом кадре. Единица EOS может отсутствовать.

В набор параметров последовательности (sequence parameter set (SPS)) вставляют величину идентификатора "general_level_idc", специфицируемую уровнем потока битов данных. Кроме того, когда кадры, принадлежащие к уровням, обозначенным идентификатором "temporal_id", объединены в подслои (sub_layer) и флаг "Sublayer_level_presented_flag" задан равным "1", в единицу SPS может быть также для каждого подслоя вставлена величина "sublayer_level_idc", определяемая скоростью передачи битов данных для соответствующего уровня. Это же применяется не только к единице SPS, но и к единице VPS.

Например, рассмотрим пример иерархического кодирования, показанный на Фиг. 3. Величина "general_level_idc", вставленная в единицу SPS, представляет собой значение уровня, охватывающее все кадры на уровнях с 0 по 5. Например, когда частота кадров равна 120Р, указанная величина равна "Level 5.2." Величина параметра "sublayer_level_idc[2]", вставленная в единицу SPS, становится значением уровня, охватывающим только кадры на уровнях с 0 по 2. Например, когда частота кадров равна 60Р, эта величина равна "Level 5.1."

Показанный на Фиг. 2 буфер 103 сжатых данных (cpb) временно аккумулирует поток видеоданных, содержащий кодированные данные изображения кадров для соответствующих уровней, генерируемые кодирующим модулем 102. Мультиплексор 104 считывает поток видеоданных, аккумулированный в буфере 103 сжатых данных, превращает прочитанные данные в PES-пакет и затем превращает этот пакет в транспортный пакет для мультиплексирования с подобными пакетами, в результате чего получается транспортный поток TS, представляющий собой мультиплексированный поток. Транспортный поток TS содержит один или более потоков видеоданных, как описано выше.

Мультиплексор 104 вставляет иерархическую информацию в слой контейнера. Передающий модуль 105 осуществляет передачу транспортного потока TS, полученного мультиплексором 104 с использованием сигналов широкого вещания или в виде пакетов по сети связи приемному устройству 200.

Вставка иерархической информации

Далее будет дополнительно пояснена вставка иерархической информации посредством мультиплексора 104. Этот мультиплексор 104 вставляет иерархическую информацию в слой контейнера с применением какого-либо из следующих способов (А), (В) и (С), например:

(A) Вставка иерархической информации в соответствии с таблицей отображения программ (РМТ);

(B) Вставка иерархической информации в соответствии с таблицей информации о событиях (EIT); и

(C) Вставка иерархической информации в поле расширения в заголовке PES-пакета.

"Описание способа (А)"

Транспортный поток TS содержит таблицу РМТ в качестве специфической информации программ (program specific information (PSI)). Таблица РМТ содержит элементарный видео контур (видео ES1-контур) с информацией, относящейся к каждому потоку видеоданных. Этот элементарный видео контур содержит такую информацию, как указание типа потока данных и идентификатор пакета (PID), а также дескрипторы, описывающие каждый поток видеоданных, расположены в соответствии каждый со своим потоком видеоданных.

Мультиплексор 104 вставляет дескриптор декодирования слоев (Layer_decoding_descriptor), вновь определенный в качестве одного из дескрипторов. Фиг. 7(a) и 7(b) иллюстрируют пример структуры (синтаксис) дескриптора декодирования слоев. Фиг. 8 иллюстрирует содержание (семантику) основной информации этого примера структуры.

8-битовое поле маркера "Layer_decoding_descriptor_tag" обозначает тип дескриптора и, в рассматриваемом примере, это дескриптор декодирования слоев. 8-битовое поле длины "Layer_decoding_descriptor_length" обозначает длину (размер) дескриптора в виде числа байтов последующей информации "layer_information()."

Фиг. 7(b) иллюстрирует пример структуры (синтаксис) информации "layer_information()-" 3-битовое поле идентификатора "layer_minimum LMI" указывает уровень (слой), обозначенный минимальной величиной идентификатора "temporal_id." 3-битовое поле "layer_maximum LMX" указывает уровень (слой), обозначенный максимальной величиной идентификатора "tempora_lid." В этом примере число слоев, которым назначен идентификатор "temporal_id", равно (LMX - LMI+1). 8-битовое поле "layer_level_idc[i]" указывает параметр "level_idc" в качестве специфицируемой уровнем величины скорости передачи битов данных для каждого уровня.

"Описание способа (В)"

Транспортный поток TS содержит также таблицу EIT в качестве сервисной информации SI (serviced information) для управления каждым событием. Мультиплексор 104 организует дескриптор декодирования слоев, описанный выше, (см. Фиг. 7(a) и 7(b)) в соответствии с таблицей EIT. В этом случае мультиплексор 104 организует также общеизвестный дескриптор компонентов в соответствии с таблицей EIT для создания связи с PES-потоком.

"Описание способа (С)"

В заголовке PES-пакета может быть создано поле расширения PES-пакета. Мультиплексор 104 вставляет данные, содержащие иерархическую информацию, в поле расширения PES-пакета. При таком подходе мультиплексор 104 создает поле расширения PES-пакета в заголовке этого PES-пакета, чтобы вставить данные поля расширения PES-пакета, содержащие иерархическую информацию по меньшей мере для каждой кодированной видео последовательности (coded video sequence (CVS)), например. Фиг. 9 иллюстрирует пример структуры (синтаксис) данных поля расширения PES-пакета ("pes_extension_field_data().")

Параметр The "PES extension field length" длины поля расширения располагается вне синтаксической структуры. 8-битовое поле "start_sync_byte" указывает кодовую величину, представляющую начало поля расширения. 8-битовое поле "extension_field_type" указывает тип поля расширения, что означает подачу иерархической информации в этом примере. Параметр "layer_irformation()" содержит поля "layer_minimum LMI", "laye_minimum LMX" и "layer_level_idc[i]", как описано выше (см. Фиг. 7(b)).

В этом случае мультиплексор 104 организует дескриптор расширения PES (PES_extension_descriptor) в качестве одного из дескрипторов в элементарном видео контуре для описания в явном виде, что в поле расширения PES-пакета вставлена иерархическая информация.

Фиг. 10(a) иллюстрирует пример структуры (синтаксис) этого дескриптора расширения PES (PES_extension_descriptor). Фиг. 10(b) иллюстрирует содержание (семантику) основной информации в примере структуры. 8-битовое поле маркера "PES_extention_descriptor_tag" указывает тип дескриптора, что в этом примере обозначает дескриптор расширения PES.

8-битовое поле "PES_extention_descriptor_length" указывает длину (размер) дескриптора в виде числа последующих байтов. 1-битовое поле "PES_extension_existed" указывает, кодировано ли поле расширения PES-пакета для применимого потока PES данных. Значение "1" означает, что кодировано поле расширения PES-пакета, а значение "0", что поле расширения PES-пакета не кодировано.

Конфигурация транспортного потока TS

Фиг. 11 иллюстрирует пример конфигурации транспортного потока TS в случае, когда осуществляется однопотоковое распределение, а иерархическую информацию вставляют в соответствии с таблицей отображения программ (РМТ) (рассмотренный выше случай (А)). В этом примере конфигурации показан PES-пакет "video PES1'' потока видеоданных, содержащего данные изображения кадров, кодированные способом HEVC, для нескольких уровней, например.

Кодированные данные изображения кадров содержат единицы NAL, такие как VPS, SPS, PPS, SLICE и SEI. Как описано выше, в заголовки единиц NAL встроена информация для идентификации уровней ("nuh_temporal_id_plus 1", указывающая идентификатор temporal_id) для кадра. В единицу SPS вставляют специфицируемую уровнем величину "general_level_idc" для потока битов данных. Кроме того, кадры, принадлежащие к уровням, обозначенным идентификатором "temporal_id", объединены в подслои (sub_layer), а флаг "Sublayer_level_presented_flag" задан равным "1", вследствие чего в единицу SPS вставляют специфицируемую уровнем величину скорости передачи битов данных для каждого подуровня ("sublayer_level_idc").

Транспортный поток TS содержит также таблицу отображения программ (РМТ) в качестве специфической информации программ (program specific information (PSI)). Эта информация PSI представляет собой информацию, описывающую, к какой программе принадлежит каждый элементарный поток данных, входящий в состав транспортного потока.

Таблица РМТ содержит программный контур, описывающий информацию, относящуюся ко всей программе. Таблица РМТ содержит также элементарный контур, имеющий информацию, относящуюся к каждому элементарному потоку. В этом примере конфигурации имеется элементарный видео контур (видео ES контур).

В составе этого элементарного видео контура информация, такая как информация о типе потока данных и идентификатор пакетов (PID), организована в соответствии с потоком видеоданных (видео PES1), а также встроены дескрипторы, описывающие информацию, относящуюся к потоку видеоданных. В качестве одного из таких дескрипторов, вставляют описанный выше дескриптор декодирования слоев (Layer_decoding_descriptor).

Например, в примерах иерархического кодирования, показанных на Фиг. 3 и 5, дескрипторы описывают следующее содержание: "layer_minimum LMI"=0, "layer_maximum LMX"=5, "layer_level_idc[0]"=Level 5, "layer_level_idc[1]"=Level 5, "layer_level_idc[2]"=Level 5.1, "layer_level_idc[3]"=Level 5.2, "layer_level_idc[4]"=Level 5.2, и "layer_level_idc[5]''=Level 5.2.

Фиг. 12 иллюстрирует пример конфигурации транспортного потока TS в случае, где осуществляется двухпотоковое распределение и где иерархическую информацию вставляют в соответствии с таблицей отображения программ (РМТ) (описанный выше способ (А)). В этом примере конфигурации совокупность множества уровней разбита на две группы - сторона низкого уровня и сторона высокого уровня, и существуют PES-пакеты "video PES1" и "video PES2", составляющие потоки видеоданных, содержащие данные изображения, кодированные способом HEVC, для кадров из этих двух групп, например.

Кодированные данные изображения кадров на стороне низкого уровня содержат единицы NAL, такие как VPS, SPS, PPS, SLICE и SEI. Иерархическую идентификационную информацию (параметр "nuh_temporal_id_plus 1", обозначающий идентификатор temporalid) для кадра встраивают в заголовки единиц NAL. Специфицируемую уровнем величину "general_level_idc" скорости передачи данных вставляют в единицу SPS. Кроме того, кадры, принадлежащие к уровням, обозначенным идентификатором "temporal_id", объединяют в подслои (sub_layer) и присваивают флагу "sublayer_level_presented_flag" значение "1", в результате чего специфицируемая уровнем величина "sublayer_level_idc" скорости передачи битов данных для каждого подслоя оказывается вставлена в единицу SPS.

В то же время, кодированные данные изображения кадров на стороне высокого уровня содержат такие единицы NAL, как PPS и SLICE. Иерархическую идентификационную информацию (параметр "nuh_temporal_id_plus 1", обозначающий идентификатор temporal_id) для кадра встраивают в заголовки единиц NAL.

Транспортный поток TS содержит также таблицу отображения программ (РМТ) в качестве специфической информации программ (PSI). Эта информация PSI представляет собой информацию, описывающую, к какой программе принадлежит каждый элементарный поток данных, входящий в состав транспортного потока.

Таблица РМТ содержит программный контур, описывающий информацию, относящуюся ко всей программе. Таблица РМТ содержит также элементарный контур, имеющий информацию, относящуюся к каждому элементарному потоку. В этом примере конфигурации имеются два элементарных видео контура (видео ES1 контур и видео ES2 контур).

В составе этого элементарного видео контура информация, такая как информация о типе потока данных и идентификатор пакетов (PID), организована в соответствии с потоками видеоданных (видео PES1 и видео PES2), а также встроены дескрипторы, описывающие информацию, относящуюся к этим потокам видеоданных. В качестве одного из таких дескрипторов, вставляют описанный выше дескриптор декодирования слоев (Layer_decoding_descriptor).

Например, в примерах иерархического кодирования, показанных на Фиг. 3 и 5, дескрипторы, соответствующие PES-пакетам "video PES1" и "video PES2", описывают следующее содержание: дескриптор, соответствующий PES-пакету "video PES1", описывает "layer_minimum LMI"=0, "layer_maximum LMX"=2, "layer_level_idc[0]"=Level 5, "layer_level_idc[1]"=Level 5, и "layer_level_idc[2]"=Level 5.1; а дескриптор, соответствующий PES-пакету "video PES2", описывает "layer_minimum LMI"=3, "layer_maximum LMX"=5, "layer_level_idc[3]''=Level 5.2, "layer_level_idc[4]"=Level 5.2, и "layer_level_idc[5]''=Level 5.2.

Фиг. 13 иллюстрирует пример конфигурации транспортного потока TS в случае, когда осуществляется однопотоковое распределение, а иерархическую информацию вставляют в соответствии с таблицей информации о событиях (EIT) (описанный выше случай (В)). В этом примере конфигурации, как и в примере конфигурации, представленном на Фиг. 11, имеется PES-пакет "video PES1" из состава потока видеоданных, содержащего данные изображения кадров, кодированные способом HEVC, на нескольких уровнях, например.

Транспортный поток TS содержит также таблицу отображения программ (РМТ) в качестве специфической информации программ (PSI). Эта информация PSI представляет собой информацию, описывающую, к какой программе принадлежит каждый элементарный поток данных, входящий в состав транспортного потока.

Таблица РМТ содержит программный контур, описывающий информацию, относящуюся ко всей программе. Таблица РМТ содержит также элементарный контур, имеющий информацию, относящуюся к каждому элементарному потоку. В этом примере конфигурации имеется элементарный видео контур (видео ES контур). В составе этого элементарного видео контура информация, такая как информация о типе потока данных и идентификатор пакетов (PID), организована в соответствии с потоком видеоданных (видео PES1), а также встроены дескрипторы, описывающие информацию, относящуюся к потоку видеоданных.

Транспортный поток TS содержит также таблицу EIT в качестве сервисной информации SI (serviced information) для управления каждым событием. Дескриптор декодирования слоев (Layer_decoding_descriptor), описанный выше, организуют в соответствии с EIT. Хотя это не объясняется подробно, содержание, описываемое этим дескриптором, является таким же, как в примере конфигурации, представленном на Фиг. 11. Общеизвестный дескриптор компонентов организуют в соответствии с таблицей EIT для создания связи с PES-пакетом "video PES1."

Фиг. 14 иллюстрирует пример конфигурации транспортного потока TS для случая, когда осуществляется двухпотоковое распределение, а иерархическую информацию вставляют в соответствии с таблицей информации о событиях (EIT) (описанный выше случай (В)). В этом примере конфигурации совокупность нескольких уровней разбита на две группы - на стороне низкого уровня и на стороне высокого уровня, а также имеются PES-пакеты "video PES2 и "video PES2" из состава потоков видеоданных, содержащих данные изображения, кодированные способом HEVC, для кадров из этих двух групп, например, как в примере конфигурации, показанном на Фиг. 12.

Транспортный поток TS содержит также таблицу отображения программ (РМТ) в качестве специфической информации программ (PSI). Эта информация PSI представляет собой информацию, описывающую, к какой программе принадлежит каждый элементарный поток данных, входящий в состав транспортного потока.

Таблица РМТ содержит программный контур, описывающий информацию, относящуюся ко всей программе. Таблица РМТ содержит также элементарный контур, имеющий информацию, относящуюся к каждому элементарному потоку. В этом примере конфигурации имеются два элементарных видео контура (видео ES1 контур и видео ES2 контур). В составе этого элементарного видео контура информация, такая как информация о типе потока данных и идентификатор пакетов (PID), организована в соответствии с потоками видеоданных (видео PES1 и видео PES2), а также встроены дескрипторы, описывающие информацию, относящуюся к этим потокам видеоданных.

Транспортный поток TS содержит также таблицу EIT в качестве сервисной информации SI (serviced information) для управления каждым событием. Дескрипторы декодирования слоев (Layer_decoding_descriptor), соответствующие PES-пакетам "video PES1 и "video PES2", организованы в соответствии с таблицей EIT. Хотя это не поясняется подробно, содержание, описываемое этими дескрипторами, является таким же, как в примере конфигурации, показанном на Фиг. 12. Общеизвестный дескриптор компонентов организуют в соответствии с таблицей EIT для создания связей с PES-пакетами "video PES1'' и "video PES2."

Фиг. 15 иллюстрирует пример конфигурации транспортного потока TS для случая, когда осуществляется однопотоковое распределение, а иерархическую информацию вставляют в поле расширение заголовка PES-пакета (описанный выше случай (С)). В этом примере конфигурации имеется PES-пакет "video PES1'' из состава потока видеоданных, содержащего данные изображения кадров, кодированные способом HEVC, для совокупности нескольких уровней, например, как это показано на примере конфигурации на Фиг. 11.

В заголовке PES-пакета создано поле расширения PES, в которое вставляют данные "pes_extension_field_data()" поля расширения PES, содержащие информацию "layer_information()". Хотя это не объясняется подробно, содержание, описываемое информацией "layer_information()", является таким же, какое описывает дескриптор декодирования слоев в примере конфигурации, показанном на Фиг. 11.

Транспортный поток TS содержит также таблицу отображения программ (РМТ) в качестве специфической информации программ (PSI). Эта информация PSI представляет собой информацию, описывающую, к какой программе принадлежит каждый элементарный поток данных, входящий в состав транспортного потока.

Таблица РМТ содержит программный контур, описывающий информацию, относящуюся ко всей программе. Таблица РМТ содержит также элементарный контур, имеющий информацию, относящуюся к каждому элементарному потоку. В этом примере конфигурации имеется элементарный видео контур (видео ES контур).

В составе этого элементарного видео контура информация, такая как информация о типе потока данных и идентификатор пакетов (РГО), организована в соответствии с потоками видеоданных (видео PES1 и видео PES2), а также встроены дескрипторы, описывающие информацию, относящуюся к этим потокам видеоданных. В качестве одного из таких дескрипторов, вставляют описанный выше дескриптор расширения PES (PES_extention_descriptor). Этот дескриптор расширения PES представляет собой дескриптор, предназначенный для описания в явном виде того факта, что в поле расширения PES вставлена иерархическая информация.

Фиг. 16 иллюстрирует пример конфигурации транспортного потока TS для случая, когда осуществляется двухпотоковое распределение, а иерархическую информацию вставляют в поле расширения заголовка PES-пакета (описанный выше случай (С)). В этом примере конфигурации совокупность нескольких уровней разбивают на две группы - на стороне низкого уровня и на стороне высокого уровня, и при этом имеются PES-пакеты "video PES1" и "video PES2" из состава потоков видеоданных, содержащих данные изображения, кодированные способом HEVC, для кадров из указанных двух групп, например, как в примере конфигурации, показанном на Фиг. 12.

В заголовке PES-пакета "video PES1" создано поле расширения PES, в которое вставляют данные "pes_extension_field_data()" поля расширения PES, содержащие информацию "layer_information()". Хотя это не объясняется подробно, содержание, описываемое информацией "layer_information()", является таким же, какое описывает дескриптор декодирования слоев, соответствующий PES-пакету "video PES1", в примере конфигурации, показанном на Фиг. 12.

В заголовке PES-пакета "video PES2" создано поле расширения PES, в которое вставляют данные "pes_extension_field_data()" поля расширения PES, содержащие информацию "layer_information()". Хотя это не объясняется подробно, содержание, описываемое информацией "layer_information()", является таким же, какое описывает дескриптор декодирования слоев, соответствующий PES-пакету "video PES2", в примере конфигурации, показанном на Фиг. 12.

Транспортный поток TS содержит также таблицу отображения программ (РМТ) в качестве специфической информации программ (PSI). Эта информация PSI представляет собой информацию, описывающую, к какой программе принадлежит каждый элементарный поток данных, входящий в состав транспортного потока.

Таблица РМТ содержит программный контур, описывающий информацию, относящуюся ко всей программе. Таблица РМТ содержит также элементарный контур, имеющий информацию, относящуюся к каждому элементарному потоку. В этом примере конфигурации имеются два элементарных видео контура (видео ES1 контур и видео ES2 контур).

В составе этого элементарного видео контура информация, такая как информация о типе потока данных и идентификатор пакетов (PID), организована в соответствии с потоками видеоданных (видео PES1 и видео PES2), а также встроены дескрипторы, описывающие информацию, относящуюся к этим потокам видеоданных. В качестве одного из таких дескрипторов, вставляют описанный выше дескриптор расширения PES (PES_extention_descriptor). Этот дескриптор расширения PES представляет собой дескриптор, предназначенный для описания в явном виде того факта, что в поле расширения PES вставлена иерархическая информация.

Далее будет вкратце описана работа передающего устройства 100, показанного на Фиг. 2. Несжатые данные движущегося изображения (VD) поступают на вход кодирующего модуля 102. Этот кодирующий модуль 102 осуществляет иерархическое кодирование полученных им данных VD движущегося изображения. В частности, кодирующий модуль 102 классифицирует данные изображения кадров, составляющие данные VD движущегося изображения, по нескольким уровням и кодирует эти данные, генерируя при этом поток видеоданных, содержащий кодированные данные изображения кадров для соответствующих уровней.

В этом случае справочные кадры кодируют таким образом, что они принадлежат своим уровням и/или более низким уровням. В этом случае совокупность нескольких уровней разбивают на две группы - на стороне низкого уровня и на стороне высокого уровня, иерархическую структуру уравновешивают между стороной низкого уровня и стороной высокого уровня, а соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединяют в одну группу и кодируют последовательно. Кроме того, в этом случае генерируют единый поток видеоданных, содержащий кодированные данные изображения кадров для соответствующих уровней, или два потока видеоданных, содержащие кодированные данные изображения кадров на стороне высокого уровня и на стороне низкого уровня.

Поток видеоданных, генерируемый кодирующим модулем 102 и содержащий кодированные данные кадров для соответствующих уровней, поступает в буфер 103 сжатых данных (cpb) и временно аккумулируется там. Мультиплексор 104 считывает поток видеоданных из буфера 103 сжатых данных, преобразует этот поток в PES-пакет и затем преобразует этот пакет в транспортный пакет для мультиплексирования, получая в результате транспортный поток TS в виде мультиплексированного потока. Этот транспортный поток TS содержит один или несколько потоков видеоданных, как описано выше.

Когда мультиплексор 104 генерирует транспортный поток TS, иерархическую информацию вставляют в слой контейнера в соответствии с таблицей отображения программ (РМТ), или в соответствии с таблицей информации о событиях (EIT) или вставляют в поле расширения PES-пакета. Транспортный поток TS, генерируемый мультиплексором 104, направляют в передающий модуль 105. Передающий модуль 105 осуществляет передачу транспортного потока TS в системе вещания или в форме пакетов через сеть связи приемному устройству 200.

"Конфигурация приемного устройства"

Фиг. 17 иллюстрирует пример конфигурации приемного устройства 200. Приемное устройство 200 содержит центральный процессор (CPU) 201, приемный модуль 202, демультиплексор 203 и буфер 204 сжатых данных (cpb: буфер кодированных кадров). Это приемное устройство 200 содержит также декодирующий модуль 205, буфер 206 расширенных данных (dpb: буфер декодированных кадров) 206, постпроцессорный модуль 207 и дисплейный модуль 208. Процессор CPU 201 образует модуль управления, осуществляющий управление работой компонентов приемного устройства 200.

Приемный модуль 202 осуществляет прием транспортного потока TS через систему вещания или в форме пакетов через сеть связи от передающего устройства 100. Демультиплексор 203 избирательно выделяет из транспортного потока TS кодированные данные изображения кадров для уровня, соответствующего возможностям декодера 205, и передает выделенные данные в буфер сжатых данных (cpb: буфер кодированных кадров) 204. В этом случае демультиплексор 203 проверяет величину параметра "nuh_temporal_id_plus1", указывающего идентификатор "temporal id" и расположенного в заголовках единиц NAL (nal unit) из состава кадров.

В этом случае демультиплексор 203 выделяет иерархическую информацию, вставленную в слой контейнера, распознает параметр "layer_level_idc" для соответствующих уровней на основе этой иерархической информации и определяет, до какого уровня возможно декодирование в соответствии с возможностями декодера 205. Например, в показанных на Фиг. 3 и 5 примерах иерархического кодирования предполагаются следующие значения параметров "layer_level_idc[0]"=Level 5, "layer_level_idc[1]"=Level 5, "layer_level_idc[2]"=Level 5.1, "layer_level_idc[3]"=Level 5.2, "layer_level_idc[4]"=Level 5.2 и "layer_level_idc[5]"=Level 5.2. В этом случае, когда декодер 205 имеет возможности 60Р, иными словами, "Level 5.1," демультиплексор 203 определяет, что декодирование возможно вплоть до уровня 2. Кроме того, в этом случае, когда декодер 205 имеет возможности 120Р, иными словами, "Level 5.2", демультиплексор 203 определяет, что декодирование возможно до уровня 5.

Буфер 204 сжатых данных (cpb) временно аккумулирует кодированные данные изображения кадров для соответствующих уровней, переданные от демультиплексора 203. Декодер 205 считывает и декодирует кодированные данные изображения кадров, аккумулированные в буфере 204 сжатых данных, в соответствии с синхросигналом декодирования, определяемым метками времени декодирования (decoding time stamp (DTS)) кадров, и передает декодированные данные в буфер 206 расширенных данных (dpb).

Буфер 206 расширенных данных (dpb) временно аккумулирует данные изображения кадров, декодированные посредством декодером 205. Постпроцессорный модуль 207 согласует частоту кадров для данных изображения кадров, считываемых последовательно в соответствии с синхросигналом дисплея, предоставляемым метками времени презентации (presentation time stamp (PTS)) из буфера 206 расширенных данных (dpb), с возможностями устройства отображения.

Например, если частота кадров в составе данных изображения кадров после декодирования равна 60 кадр/с, а возможности дисплея соответствуют 120 кадр/с, постпроцессорный модуль 207 осуществляет интерполяцию данных изображения кадров после декодирования, так что разрешающая способность по оси времени удваивается, и передает результат в виде данных изображения с частотой 120 кадр/с модулю 208 отображения.

Модуль 208 отображения содержит жидкокристаллический дисплей (LCD), органическую электролюминесцентную панель (EL) или другое подобное устройство, например. Модуль 208 отображения может представлять собой внешнее устройство, соединенное с приемным устройством 200.

Далее будет вкратце описана работа приемного устройства 200, показанного на Фиг. 17. Приемный модуль 202 осуществляет прием транспортного потока TS через систему вещания или в форме пакетов через сеть связи от передающего устройства 100. Транспортный поток TS передают в демультиплексор 203. Этот демультиплексор 203 избирательно выделяет из транспортного потока TS кодированные данные кадров для уровня, соответствующего возможностям (декодирующей способности) декодера 205, на основе иерархической информации, вставленной в слой контейнера, и передает выделенные данные в буфер 204 сжатых данных (cpb) для временного аккумулирования.

Декодер 205 вызывает кодированные данные изображения кадров для соответствующих уровней, аккумулированные в буфере 204 сжатых данных. Затем декодер 205 осуществляет декодирование вызванных кодированных данных изображения кадров в соответствии с синхросигналом декодирования для кадров и передает результат в буфер расширенных данных (dpb) 206 для временного аккумулирования.

Далее, данные изображения кадров, считываемые последовательно в соответствии с синхросигналом дисплея из буфера 206 расширенных данных (dpb), передают в постпроцессорный модуль 207. Этот постпроцессорный модуль 207 осуществляет интерполяцию или субдискретизацию данных изображения кадров для согласования частоты кадров с возможностями дисплея. Данные изображения кадров, обработанные постпроцессорным модулем 207, поступают в модуль 208 отображения для представления движущихся изображений на экране.

Как описано выше, в приемопередающей системе 10, показанной на Фиг. 1, передающее устройство 100 уравновешивает иерархическую структуру между стороной низкого уровня и стороной высокого уровня, и объединяет соответствующие кадры со стороны низкого уровня и со стороны высокого уровня в одну группу и кодирует их последовательно. Соответственно, приемное устройство 200 может декодировать кодированные данные изображения кадров на стороне низкого уровня и на стороне высокого уровня в соответствии с одним и тем же синхросигналом, используя в результате буфер меньшего размера и уменьшая задержку декодирования

Кроме того, в приемопередающей системе 10, показанной на Фиг. 1, передающее устройство 100 вставляет иерархическую информацию в слой контейнера для генерации транспортного потока, содержащего поток видеоданных, имеющий в составе данные изображения кодированных кадров для соответствующих уровней. Соответственно приемное устройство 200 может обращаться к иерархической информации, чтобы избирательно вызывать из потока видеоданных кодированные данные изображения кадров до уровня, соответствующего возможностям декодера, достаточно простым способом, например.

В приемопередающей системе 10, показанной на Фиг. 1, передающее устройство 100 вставляет иерархическую информацию в поле расширения PES-пакета в позицию, синхронизированную с кодированными данными изображения кадров из состава потока видеоданных, по меньшей мере для каждой кодированной видео последовательности (coded video sequence (CVS)). Это позволяет приемной стороне, даже при изменениях иерархической структуры, избирательно выделять из потока видеоданных кодированные данные изображения кадров до уровня, соответствующего возможностям декодера.

Фиг. 18 иллюстрирует пример соответствия между сигнализационным сообщением параметра "level_idc" и иерархической информацией для кодированных данных изображения с изменениями иерархической структуры. В этом примере иерархическая структура изменяется от первой системы 50Р CVS, где кодирование осуществляется на трех уровнях с 0 по 2, ко второй системе 50Р CVS, где кодирование осуществляется на четырех уровнях с 0 по 3, и далее к системе 100Р CVS, где кодирование осуществляется на шести уровнях с 0 по 5. В показанном примере иерархическую информацию вставляют в соответствии с таблицей РМТ. Однако изложенное выше применимо также к случаю, когда иерархическую информацию вставляют в соответствии с таблицей EIT или в поле расширения PES-пакета, как описано выше.

В период первой системы 50Р CVS данные распределяют в одном потоке видеоданных. Величине "general_level_idc", вставленной в единицу SPS кодированных данных изображения, присваивают значение "Level 5.1" в качестве величины уровня, содержащего все кадры на уровнях с 0 по 2. Величину параметра "sublayer_level_idc[1]", в качестве специфицируемой уровнем величины скорости передачи битов данных для уровня 1 задают равной "Level 5". В этом случае иерархическую информацию описывают как "layer_level_idc[0]"=Level 4.1, "layer_level_idc[1]"=Level 5, и "layer_level_idc[2]"=Level 5.1."

В период второй системы 50Р CVS данные распределяют в виде одного потока видеоданных. Величине "general_level_idc", вставленной в единицу SPS кодированных данных изображения, присваивают значение "Level 5.1" в качестве величины уровня, содержащего все кадры на уровнях с 0 по 3. Величину параметра "sublayer_level_idc[2]" в качестве специфицируемой уровнем величины скорости передачи битов данных для уровня 2 задают равной "Level 5". В этом случае иерархическую информацию описывают как "layer_level_idc[0]"=Level 4, "layer_level_idc[1]"=Level 4.1, "layer_level_idc[2]"=Level 5" и "layer_level_idc[3]"=Level 5.1".

В период системы 100P CVS данные распределяют в виде двух потоков видео данных. Величине "general_level_idc", вставленной в единицу SPS кодированных данных изображения, присваивают значение "Level 5.2" в качестве величины уровня, содержащего все кадры на уровнях с 0 по 5. Величину параметра "sublayer_level_idc[2]" в качестве специфицируемой уровнем величины скорости передачи битов данных для уровня 2 задают равной "Level 5.1". В этом случае иерархическую информацию описывают как "layer_level_idc[0]"=Level 4.1, "layer_level_idc[1]''=Level 5, "layer_level_idc[2]"=Level 5.1, "layer_level_idc[3]"=Level 5.2, "layer_level_idc[4]"=Level 5.2, и "layer_level_idc[5]"=Level 5.2".

Когда иерархическая структура изменяется, как показано на чертеже, если декодер 205 приемного устройства 200 соответствует системе 50Р, например, мультиплексор 203 вызывает уровни с 0 по 2 в период первой системы 50Р CVS, вызывает уровни с 0 по 3 в период второй системы 50Р CVS и вызывает уровни с 0 по 2 в период системы 100Р CVS на основе иерархической структуры и передает их в буфер 204 сжатых данных. Декодер 205 осуществляет декодирование кодированных данных изображения кадров в соответствии с синхросигналом декодирования для получения данных изображения 50Р.

2. Пример модификации

В рассмотренном выше варианте приемопередающая система 10 содержит передающее устройство и приемное устройство 200. Однако конфигурация приемопередающей системы 10, к которой применим способ, являющийся предметом настоящего изобретения, этим не ограничивается. Например, часть приемного устройства 200 может быть выполнена в виде приставки и монитора, соединенных через цифровой интерфейс, такой как мультимедийный интерфейс высокой четкости (high-definition multimedia interface (HDMI)). Аббревиатура "HDMI" является зарегистрированной торговой маркой.

В рассмотренном выше варианте контейнер представляет собой транспортный поток (MPEG-2 TS). Однако технология, являющаяся предметом настоящего изобретения, также применима к другим системам, где распределение данных в адрес приемных терминалов осуществляется через сеть связи, такую как Интернет. При передаче через Интернет данные часто распределяет в виде контейнера в формате МР4 или другом подходящем формате. Иными словами, контейнер может представлять собой транспортный поток (MPEG-2 TS), используемый в соответствии со стандартами цифрового вещания, или какой-либо другой контейнер в различных форматах, таких как формат МР4, применяемый при доставке данных через Интернет.

Технология, являющаяся предметом настоящего изобретения, может быть конфигурирована, как описано ниже.

(1) Передающее устройство, содержащее:

модуль кодирования изображения для классификации данных изображения кадров, составляющих данные движущегося изображения, на множество уровней и кодирования классифицированных данных изображения кадров соответствующих уровней для генерирования потока видеоданных, содержащего кодированные данные изображения кадров соответствующих уровней; и

передающий модуль для передачи контейнера в заданном формате, содержащего сгенерированный поток видеоданных, при этом

модуль кодирования изображения выполнен с возможностью уравновешивания иерархической структуры между стороной низкого уровня и стороной высокого уровня, объединения соответствующих кадров со стороны низкого уровня и со стороны высокого уровня в одну группу и последовательного кодирования указанных кадров.

(2) Передающее устройство по (1), дополнительно содержащее

модуль вставки иерархической информации, выполненный с возможностью вставки иерархической информации в слой контейнера.

(3) Передающее устройство по (2), в котором

иерархическая информация содержит информацию об определяемых уровнем величинах для соответствующих уровней.

(4) Передающее устройство по (2) или (3), в котором

модуль вставки иерархической информации выполнен с возможностью вставки иерархической информации в слой контейнера в позиции, синхронизированные с кодированными данными изображения кадров в составе потока видеоданных.

(5) Передающее устройство по (4), в котором

модуль вставки иерархической информации выполнен с возможностью вставки иерархической информации в поле расширения PES-пакета.

(6) Передающее устройство по (5), в котором

модуль вставки иерархической информации выполнен с возможностью вставки иерархической информации в поле расширения PES-пакета по меньшей мере для каждой кодированной видео последовательности.

(7) Передающее устройство по (5) или (6), дополнительно содержащее

модуль вставки информации, выполненный с возможностью вставки информации для описания в явном виде, вставлена ли иерархическая информация в поле расширения PES-пакета в соответствии с таблицей отображения программ.

(8) Передающее устройство по (2) или (3), в котором

модуль вставки иерархической информации выполнен с возможностью вставки иерархической информации в соответствии с таблицей отображения программ.

(9) Передающее устройство по (2) или (3), в котором

модуль вставки иерархической информации выполнен с возможностью вставки иерархической информации в соответствии с таблицей информации о событиях.

(10) Передающее устройство по любому из (1)-(9), в котором

модуль кодирования изображения выполнен с возможностью генерирования одного потока видеоданных, содержащего кодированные данные изображения кадров для соответствующих уровней, или разбивки совокупность множества уровней на две группы сторону высокого уровня и сторону низкого уровня, и генерирования двух потоков видеоданных, содержащих кодированные данные изображения кадров для соответствующих групп уровней.

(11) Способ передачи, содержащий:

этап кодирования изображения, на котором классифицируют данные изображения кадров, составляющие данные движущегося изображения на множество уровней, и кодируют классифицированные данные изображения кадров соответствующих уровней для генерирования потока видеоданных, содержащего кодированные данные изображения кадров для соответствующих уровней; и

этап передачи, на котором передают с помощью передающего модуля, контейнер заданного формата, содержащий сгенерированный поток видеоданных, так что

на этапе кодирования изображения уравновешивают иерархическую структуру между стороной низкого уровня и стороной высокого уровня, объединяют соответствующие кадры со стороны низкого уровня и со стороны высокого уровня в одну группу и кодируют последовательно.

(12) Приемное устройство, содержащее приемный модуль для приема контейнера заданного формата, имеющего в составе поток видеоданных, содержащий кодированные данные изображения кадров, полученные посредством классификации данных изображения кадров, составляющих данные движущегося изображения, на множество уровней, и затем кодированных, так что

в процессе кодирования иерархическая структура уравновешена между стороной низкого уровня и стороной высокого уровня, объединены соответствующие кадры со стороны низкого уровня и со стороны высокого уровня в одну группу и последовательно кодированы, при этом

приемное устройство дополнительно содержит процессорный модуль для обработки принятого контейнера.

(13) Приемное устройство по (12), в котором

иерархическая информация вставлена в слой контейнера, а

процессорный модуль выполнен с возможностью избирательного выделения, из потока видеоданных, кодированных данных изображения кадров для заданного уровня и более низких уровней и декодирования выделенных данных, на основе иерархической информации, для получения данных изображения кадров для заданного уровня и более низких уровней.

(14) Способ приема, содержащий этап приема, на котором принимают с помощью приемного модуля контейнер в заданном формате, имеющий в составе поток видеоданных, содержащий кодированные данные изображения кадров для совокупности множества уровней, полученных посредством классификации данных изображения кадров, составляющих данные движущегося изображения, на множество уровней и кодирования указанных уровней, при этом

в процессе кодирования иерархическая структура уравновешена между стороной низкого уровня и стороной высокого уровня, соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединены в одну группу и кодирована последовательно, при этом

способ приема дополнительно содержит этап обработки, на котором обрабатывают принятый контейнер.

Применимость в промышленности

Главным признаком технологии, являющейся предметом настоящего изобретения, является то, что иерархическую структуру уравновешивают между стороной низкого уровня и стороной высокого уровня, соответствующие кадры со стороны низкого уровня и со стороны высокого уровня объединяют в одну группу и кодируют последовательно, позволяя тем самым приемной стороне декодировать кодированные данные изображения кадров на стороне низкого уровня и на стороне высокого уровня с использованием буфера меньшего размера и с уменьшенной задержкой декодирования (см. Фиг. 3 и 5). Другой главный признак технологии, являющейся предметом настоящего изобретения, состоит в том, что в слой контейнера вставляют иерархическую информацию, чтобы позволить приемной стороне избирательно выделять из потока видеоданных кодированные данные изображения кадров до уровня, соответствующего возможностям декодера, достаточно простым способом (см. Фиг. 7(a) и 7(b), и Фиг. 11-16).

Список позиционных обозначений

10 Приемопередающая система

100 Передающее устройство

101 Процессор CPU

102 Кодирующий модуль

103 Буфер сжатых данных (cpb)

104 Мультиплексор

105 Передающий модуль

200 Приемное устройство

201 Процессор CPU

202 Приемный модуль

203 Демультиплексор

204 Буфер сжатых данных (cpb)

205 Декодер

206 Буфер расширенных данных (dpb)

207 Постпроцессорный модуль

208 Модуль отображения.

Изобретение относится к технологиям декодирования изображения. Технический результат заключается в повышении эффективности декодирования. Передающее устройство, содержащее модуль кодирования изображения для выполнения иерархического кодирования данных изображения кадров, составляющих данные движущегося изображения, для генерирования первого потока данных, содержащего кодированные данные изображения кадров со стороны низкого уровня, и второго потока данных, содержащего кодированные данные изображения кадров со стороны высокого уровня, при этом кодированные данные изображения имеют структуру модуля NAL, а модуль кодирования изображения выполнен с возможностью вставки, определяемой уровнем величины для первого потока данных вместе с определяемой уровнем величиной для потока битов данных, образованного посредством сочетания первого потока данных и второго потока данных, в модуль NAL SPS для первого потока данных. 4 н. и 3 з.п. ф-лы, 18 ил.

1. Передающее устройство, содержащее модуль кодирования изображения для выполнения иерархического кодирования данных изображения кадров, составляющих данные движущегося изображения, для генерирования первого потока данных, содержащего кодированные данные изображения кадров со стороны низкого уровня, и второго потока данных, содержащего кодированные данные изображения кадров со стороны высокого уровня, при этом

кодированные данные изображения имеют структуру модуля NAL, а модуль кодирования изображения выполнен с возможностью вставки, определяемой уровнем величины для первого потока данных вместе с определяемой уровнем величиной для потока битов данных, образованного посредством сочетания первого потока данных и второго потока данных, в модуль NAL SPS для первого потока данных, и

передающий модуль, содержащий:

мультиплексор для мультиплексирования первого потока данных и второго потока данных, генерируемых модулем кодирования изображения, для получения контейнера в заданном формате, вставки первого дескриптора, описывающего определяемую уровнем величину для первого потока данных, в контейнер в соответствии с первым потоком данных и вставки второго дескриптора, описывающего определяемую уровнем величину для потока битов данных, образованного в результате сочетания первого потока данных и второго потока данных, в контейнер в соответствии со вторым потоком данных; при этом

передающий модуль выполнен с возможностью передачи контейнера, полученного мультиплексором, в заданном формате.

2. Передающее устройство по п. 1, в котором первый дескриптор дополнительно описывает информацию о максимальном и минимальном уровнях кадров, входящих в состав первого потока данных, а второй дескриптор дополнительно описывает информацию о максимальном и минимальном уровнях кадров, входящих в состав второго потока данных.

3. Передающее устройство по п. 1, в котором

контейнер представляет собой транспортный поток, а

первый дескриптор и второй дескриптор вставлены в соответствии с таблицей отображения программ.

4. Передающее устройство по п. 1, в котором в модуль NAL SPS первого потока данных дополнительно вставлена информация флага, указывающего факт вставки, определяемой уровнем величины для первого потока данных.

5. Способ передачи, содержащий этап кодирования изображения, на котором с помощью модуля кодирования изображения осуществляют иерархическое кодирование данных изображения кадров, составляющих данные движущегося изображения, для генерирования первого потока данных, содержащего кодированные данные изображения кадров со стороны низкого уровня, и второго потока данных, содержащего кодированные данные изображения кадров со стороны высокого уровня, при этом

кодированные данные изображения имеют структуру модуля NAL, а модуль кодирования изображения выполнен с возможностью вставки, определяемой уровнем величины для первого потока данных вместе с определяемой уровнем величиной для потока битов данных, образованного в результате сочетания первого потока данных и второго потока данных, в модуль NAL SPS для первого потока данных, причем

способ передачи дополнительно содержит:

этап мультиплексирования, на котором осуществляют с помощью мультиплексора, мультиплексирование первого потока данных и второго потока данных, генерируемых на этапе кодирования изображения, для получения контейнера в заданном формате, вставку первого дескриптора, описывающего определяемую уровнем величину для первого потока данных, в контейнер в соответствии с первым потоком данных и вставку второго дескриптора, описывающего определяемую уровнем величину для потока битов данных, образованного в результате сочетания первого потока данных и второго потока данных, в контейнер в соответствии со вторым потоком данных; и

этап передачи, на котором передают с помощью передающего модуля полученный на этапе мультиплексирования контейнер в заданном формате.

6. Приемное устройство, содержащее приемный модуль для приема контейнера в заданном формате, имеющего в составе первый поток данных, содержащий кодированные данные изображения кадров со стороны низкого уровня, и второй поток данных, содержащий кодированные данные изображения кадров со стороны высокого уровня, при этом указанные потоки данных сгенерированы посредством иерархического кодирования данных изображения кадров, составляющих данные движущегося изображения, и имеющего в составе первый дескриптор, описывающий определяемую уровнем величину для первого потока данных и вставленный в контейнер в соответствии с первым потоком данных, и второй дескриптор, описывающий определяемую уровнем величину для потока битов данных, образованного в результате сочетания первого потока данных и второго потока данных, и вставленный в контейнер в соответствии со вторым потоком данных, при этом

кодированные данные изображения имеют структуру модуля NAL, а определяемая уровнем величина для первого потока данных вставлена вместе с определяемой уровнем величиной для потока битов данных, образованного в результате сочетания первого потока данных и второго потока данных, в модуль NAL SPS для первого потока данных, а

приемное устройство дополнительно содержит процессорный модуль для декодирования первого потока данных или обоих потоков из первого потока данных и второго потока данных, входящих в состав принятого контейнера, в зависимости от декодирующей способности для получения данных изображения кадров, составляющих данные движущегося изображения.

7. Способ приема, содержащий этап приема, на котором принимают с помощью приемного модуля, контейнер в заданном формате, имеющий в составе первый поток данных, содержащий кодированные данные изображения кадров со стороны низкого уровня, и второй поток данных, содержащий кодированные данные изображения кадров со стороны высокого уровня, так что указанные потоки данных сгенерированы посредством иерархического кодирования данных изображения кадров, составляющих данные движущегося изображения, и имеющего в составе первый дескриптор, описывающий определяемую уровнем величину для первого потока данных и вставленный в контейнер в соответствии с первым потоком данных, и второй дескриптор, описывающий определяемую уровнем величину для потока битов данных, образованного в результате сочетания первого потока данных и второго потока данных, и вставленный в контейнер в соответствии со вторым потоком данных, при этом

кодированные данные изображения имеют структуру модуля NAL, а определяемая уровнем величина для первого потока данных вставлена вместе с определяемой уровнем величиной для потока битов данных, образованного в результате сочетания первого потока данных и второго потока данных, в модуль NAL SPS для первого потока данных, причем

способ приема дополнительно содержит этап декодирования, на котором осуществляют декодирование с помощью процессорного модуля первого потока данных или обоих потоков из первого потока данных и второго потока данных, входящих в состав принятого контейнера, в зависимости от способности декодирования для получения данных изображения кадров, составляющих данные движущегося изображения.