УСТРОЙСТВО ПЕРЕДАЧИ, СПОСОБ ПЕРЕДАЧИ И УСТРОЙСТВО ПРИЕМА Российский патент 2018 года по МПК H04N21/236 H04N21/234 H04N19/31 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству передачи, способу передачи и устройству приема. Более конкретно, настоящая технология относится к устройству передачи, которое выполняет масштабируемое кодирование для данных изображения картинок, составляющих данные движущегося изображения, и передает кодированные данные изображения, и т.п.

Уровень техники

Когда предоставляют услуги с использованием сжатого движущегося изображения через широковещательную передачу или по сети, верхний предел воспроизводимой частоты кадров ограничен в соответствии с возможностями декодирования приемников. Таким образом, на стороне предоставления услуг необходимо ограничивать эту услугу до услуги с низкой частотой кадров или предоставлять услуги с множеством высоких и низких частот кадров одновременно, с учетом возможностей воспроизведения приемников, которые находятся в широком использовании.

Для поддержки услуг с высокой частотой кадров необходимо увеличивать стоимость приемников, и это представляет собой препятствующий фактор на ранних этапах распространении. На ранних этапах имели распространение только дешевые приемники, предназначенные для услуг с низкой частотой кадров, и если сторона предоставления услуг начнет предоставление услуг с высокой частотой кадров в будущем, будет трудно просматривать их без нового приемника, и это представляет собой сдерживающий фактор при распределении новых услуг.

Например, была предложена временная масштабируемость, выполняемая при масштабируемом кодировании данных изображения картинок, составляющих данные движущегося изображения в Н.265/Высокоэффективном кодировании видеоданных (HEVC) (см. непатентный документ 1). Сторона приема может идентифицировать слой каждого изображения на основе временного ID (temporal_id), вставленного в заголовок модуля Слоя сетевой абстракции (NAL) и выполнять избирательное декодирование вплоть до слоя, соответствующего возможностям декодирования.

Список литературы

Непатентный документ

Непатентный документ 1: Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard," IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012

Раскрытие изобретения

Задачи, решаемые изобретением

Цель настоящей технологии состоит в том, чтобы обеспечивать на стороне приема возможность выполнения отличного отображения даже при динамическом изменении частоты кадров.

Решения задач

Концепция настоящей технологией лежит в

устройстве передачи, включающем в себя:

модуль кодирования изображения для классификации данных изображения из картинок, составляющих данные движущегося изображения, на множество слоев, кодирования данных изображения картинок каждого из классифицированных слоев, разделения множества слоев на заданное количество наборов слоев и генерирования заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок разделенных наборов слоев, соответственно, при этом модуль кодирования изображения выполнен с возможностью кодирования так, что по меньшей мере интервалы декодирования кодированных данных изображения картинок набора самого нижнего слоя представляют собой заданные интервалы;

модуль передачи для передачи контейнера заданного формата, включающего в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества сгенерированных видеопотоков; и

модуль вставки информации для вставки, когда участок переключения, в котором последовательность видеопотоков, подлежащих передаче, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, отличную от первой последовательности, информации управления отображением в по меньшей мере кодированные данные изображения картинки, соответствующего части передачи пакета, содержащего кодированные данные изображения.

В настоящей технологии модуль кодирования изображения кодирует данные изображения картинок, составляющих данные движущегося изображения, и генерирует заданное количество видеопотоков. В этом случае данные изображения картинок, составляющих данные движущегося изображения, классифицируют на множество слоев и кодируют. Затем множество слоев разделяют на заданное количество наборов слоев и заданное количество видеопотоков, включающих в себя кодированные данные изображения картинок разделенных наборов слоя.

Модуль кодирования изображения выполняет кодирование так, что по меньшей мере интервалы декодирования кодированных данных изображения картинок с набором самого нижнего слоя представляют собой заданные интервалы, например, равные интервалы. В результате, например, когда сторона приема обладает возможностями декодирования, которые позволяют обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, сторона приема может последовательно, естественным образом, выполнять обработку декодирования кодированных данных изображения для каждой картинки.

Например, модуль кодирования изображения может выполнять кодирование так, что временные характеристики декодирования кодированных данных изображения картинок набора слоя, расположенного выше, чем набор самого нижнего слоя, представляет собой промежуточные временные характеристики для временных характеристик декодирования кодированных данных изображения картинок всех наборов слоев, расположенных ниже, чем набор слоя. Промежуточные временные характеристики, упомянутые здесь, не обязательно должны представлять собой средние временные характеристики и означают временные характеристики, которые не перекрываются с временными характеристиками декодирования на более низкой стороне. В результате, например, когда сторона приема обладает возможностью декодирования кодированных данных изображения для картинки набора слоя, расположенного выше, чем набор самого нижнего слоя, а также набора слоя набора самого нижнего слоя, сторона приема может последовательно плавно выполнять обработку декодирования каждой картинки.

Модуль передачи передает контейнер заданного формата, включающий в себя, по меньшей мере, видеопоток, имеющий кодированные данные изображения для картинки набора самого нижнего слоя среди заданного количества сгенерированных видеопотоков. Например, контейнер может представлять собой транспортный поток (MPEG 2 TS), используемый в стандарте цифровой широковещательной передачи. Кроме того, например, контейнер может представлять собой контейнер, имеющий формат МР4, используемый при доставке по Интернет, или любой другой формат.

Когда предусмотрен участок переключения, на котором последовательность видеопотоков, которые предназначены для передачи, переключают с первой последовательность на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, модуль вставки информации вставляет информацию управления отображением в по меньшей мере кодированные данные изображения картинки, соответствующего части переключения, или пакета, содержащего кодированные данные изображения. Например, информация управления дисплеем может представлять собой информацию для выполнения такого управления, что отображение последней картинки первой последовательности повторяют заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что выполняют пропуск отображения картинки второй последовательности.

Кроме того, например, информация управления отображением может представлять собой информацию смещения отображения для управления временными характеристиками отображения картинок второй последовательности. В таком случае, например, контейнер может представлять собой транспортный поток, и модуль вставки информации может вставлять информацию управления отображением в поле расширения пакета PES. В результате, возможно управлять считыванием данных изображения картинок из буфера несжатых данных, например, используя информацию управления отображением.

Как описано выше, в настоящей технологии, когда предусмотрена часть переключения, в которой последовательность видеопотоков, предназначенных для передачи, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем первая последовательность, информацию управления отображением вставляют в по меньшей мере кодированные данные изображения картинки, соответствующего части переключения пакета, содержащего кодированные данные изображения, и передают. Таким образом, сторона приема может управлять считыванием данных изображения картинки из буфера несжатых данных, например, на основе информации управления отображением, и может выполнять отличное отображение, без возникновения пропуска отображения, даже когда частота кадров динамически изменяется.

В настоящей технологии, например, модуль вставки информации может дополнительно вставлять информацию идентификации, идентифицирующую последнюю картинку первой последовательности в кодированных данных изображения последней картинки первой последовательности. В результате, когда предусмотрена часть переключения, в которой последовательность видеопотоков, предназначенных для передачи, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем первая последовательность, сторона приема может легко идентифицировать последнюю картинку первой последовательности на основе информации идентификации.

Кроме того, в настоящей технологии, например, может быть предусмотрен модуль вставки информации идентификации, который вставляет информацию идентификации, идентифицирующую, была ли вставлена информация управления отображением в кодированные данные изображения, или пакет, содержащий кодированные данные изображения, в слой контейнера. Например, контейнер может представлять собой транспортный поток, а модуль вставки информации идентификации может вставлять информацию идентификации в контур элементарного видеопотока, размещенный в ассоциации с каждым из заданного количества видеопотоков, в соответствии с таблицей отображения программы, в качестве дескриптора. В этом случае, на стороне приема, возможно легко идентифицировать, была или нет вставлена информация управления отображением в кодированные данные изображения на основе информации идентификации, без выполнения обработки декодирования для кодированных данных изображения.

Кроме того, другая концепция настоящей технологии состоит в устройстве приема, включающем в себя:

модуль приема для приема по меньшей мере видеопотока, имеющего кодированные данные изображения картинки набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, конфигурирующих данные движущегося изображения, на множество слоев, кодирования множества слоев и разделения множества слоев на заданное количество наборов слоев; и

модуль обработки для обработки принимаемого видеопотока, при этом

по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы, а

когда предусмотрена часть переключения, в которой последовательность принятого видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем первая последовательность, информацию управления отображением вставляют по меньшей мере в кодированные данные изображения картинки, соответствующего части переключения, или пакет, содержащий кодированные данные изображения.

В настоящей технологии модуль приема принимает по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодируют множество слоев и разделяют это множество слоев на заданное количество наборов слоев. Модуль обработки обрабатывает принимаемый видеопоток.

В этом случае по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы, например, равные интервалы. В результате, например, когда существует возможность декодирования, позволяющая обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, возможно последовательно, естественным образом, выполнять обработку декодирования кодированных данных изображения каждой картинки.

Кроме того, в этом случае, когда предусмотрена часть переключения, в которой последовательность принимаемого видеопотока переключается с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют, по меньшей мере, в кодированные данные изображения картинки, соответствующей части переключения, или пакет, содержащий кодированные данные изображения. Таким образом, например, возможно управлять считыванием данных изображения картинок из буфера несжатых данных на основе информации управления отображением и выполнять отличное отображение без возникновения пропуска отображения, даже когда частота кадров динамически изменяется.

Например, информация управления отображением может представлять собой информацию для выполнения такого управления, что отображение последней картинки первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что отображение картинок второй последовательности пропускают. Кроме того, например, информация управления отображением может представлять собой информацию смещения отображения, для управления временными характеристиками отображения картинок второй последовательности.

Кроме того, другая концепция настоящей технологии состоит в устройстве приема, включающем в себя:

модуль приема для приема контейнера заданного формата, включающего в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего уровня из заданного количества видеопотоков, включающих в себя кодированные данные картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодируют множество слоев и разделяют множество слоев на заданное количество наборов слоя, при этом

по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего уровня слоя из заданного количества видеопотоков кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы, и

когда предусмотрена часть переключения, в которой переключают последовательность принимаемого видеопотока с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют в по меньшей мере кодированные данные изображения картинки, соответствующей части переключения;

модуль обработки декодирования изображения для избирательного декодирования кодированных данных изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования из видеопотока, включенного в заданный контейнер, отбора данных изображения картинок, полученных в результате декодирования, в буфер, и считывания и вывода данных изображения картинок в заданные моменты времени; и

модуль управления для управления считыванием изображений картинок из буфера в модуль обработки декодирования изображения, на основе информации управления отображением.

В настоящей технологии модуль приема принимает контейнер заданного формата. Контейнер включает в себя по меньшей мере видеопоток, имеющий кодированные данные изображения, из изображений набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя данные кодированного изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодируют множество слоев и разделяют множество слоев на заданное количество наборов слоев.

В этом случае по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы, например, равные интервалы. В результате, например, когда существует возможность декодирования, позволяющая обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, возможно последовательно и естественным образом выполнять обработку декодирования кодированных данных изображения каждой картинки.

Модуль обработки декодирования изображения избирательно декодирует кодированные данные изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования из видеопотока, включенного в принимаемый контейнер, отбирает данные изображения картинок, полученных в результате декодирования, в буфер и считывает и выводит данные изображения картинок в заданные моменты времени. Модуль управления управляет считыванием на основе информации управления отображением.

Например, информация управления отображением может представлять собой информацию для выполнения такого управления, что отображение последней картинки первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что отображение картинки второй последовательности пропускается. Кроме того, например, информация управления отображением может представлять собой информацию смещения отображения для управления временными характеристиками отображения картинок второй последовательности.

Как описано выше, в настоящей технологии, когда данные изображения картинок, полученных в результате декодирования, отбирают в буфер, и данные изображения картинок считывают и выводят в заданные моменты времени, считыванием управляют на основе информации управления отображением. Таким образом, возможно выполнять отличное отображение, без возникновения перерывов при отображении, например, даже когда частота кадров динамически изменяется.

Кроме того, концепция настоящей технологии состоит в

устройстве приема, включающем в себя:

модуль приема для приема контейнера заданного формата, включающего в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, включающих в себя данные кодированного изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения на множество слоев, кодирования множества слоев и разделения множества слоев на заданное количество наборов слоев,

по меньшей мере, видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы;

модуль обнаружения переключения последовательности для обнаружения участка переключения, в которой последовательность видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, на основе видеопотока, включенного в заданный контейнер;

модуль обработки декодирования изображения для избирательного декодирования кодированных данных изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования, из видеопотока, включенного в принимаемый контейнер, отбора данных изображения картинок, получаемых в результате декодирования, в буфер и считывания и вывода данных изображения картинок в заданные моменты времени; и

модуль управления для управления считыванием изображений для изображений из буфера в модуле обработки декодирования изображения на основе обнаружения, выводимого модулем обнаружения переключения последовательности.

В настоящей технологии модуль приема принимает контейнер заданного формата. Контейнер включает в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодируют множество слоев и разделяют множество слоев на заданное количество наборов слоя.

В этом случае по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, кодируют так, что интервалы декодирования изображений представляют собой заданные интервалы, например, равные интервалы. В результате, например, когда возможности декодирования позволяют обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, возможно последовательно и естественным образом выполнять обработку декодирования кодированных данных изображения для каждой картинки.

Модуль обнаружения переключения последовательности обнаруживает часть переключения, в которой последовательность видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, на основе видеопотока, включенного в принимаемый контейнер. Модуль обработки декодирования изображения избирательно декодирует кодированные данные изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования, из заданного количества видеопотоков, включенных в принимаемый контейнер, отбирает данные изображения картинок, полученных в результате декодирования, в буфер, и считывает и выводит данные изображения картинок в заданные моменты времени. Модуль управления управляет считыванием на основе вывода обнаружения модуля обнаружения переключения последовательности.

Как описано выше, в настоящей технологии, когда данные изображения картинок, полученных в результате декодирования, отбирают в буфер, и данные изображения картинок считывают и выводят в заданные моменты времени, считыванием управляют на основе вывода обнаружения переключения последовательности. Таким образом, становится возможным выполнять отличное отображение, без возникновения перерывов при отображении, например, даже когда частота кадров динамически изменяется.

Эффекты изобретения

В соответствии с настоящей технологией, сторона приема может выполнять отличное отображение, даже когда частота кадров динамически изменяется. Эффекты, описанные здесь, не обязательно ограничены, и может быть включен любой эффект, описанный в настоящем раскрытии.

Краткое описание чертежей

На фиг. 1 показана блок-схема, поясняющая примерную конфигурацию системы приемопередатчика в соответствии с вариантом осуществления.

На фиг. 2 показана блок-схема, поясняющая примерную конфигурацию устройства передачи.

На фиг. 3 представлена схема, иллюстрирующая пример масштабируемого кодирования, выполняемого кодером.

На фиг. 4 представлена схема, иллюстрирующая другой пример масштабируемого кодирования, выполняемого кодером.

На фиг. 5(а) и 5(b) показаны схемы, поясняющие примерную структуру заголовка модуля NAL и содержание основных параметров в примерной структуре.

На фиг. 6 показана схема для описания конфигурации кодируемых данных изображения для каждого изображения HEVC.

На фиг. 7(а) и 7(b) показаны схемы для описания временных характеристик кодирования (временных характеристик декодирования) картинок с заданным количеством потоков видеоданных (2 потока).

На фиг. 8 представлена схема, иллюстрирующая пример временных характеристик кодирования (временных характеристик декодирования) каждой картинки, когда генерируют два потока видеоданных, то есть основной поток и поток расширения.

На фиг. 9(а) и 9(b) показаны схемы для описания временных характеристик кодирования (временных характеристик декодирования) картинок с заданным количеством потоков видеоданных (3 потока).

На фиг. 10 представлена схема, иллюстрирующая пример временных характеристик кодирования (временных характеристик декодирования) каждого изображения, когда генерируют три потока видеоданных, то есть основной поток и два потока расширения.

На фиг. 11 представлена схема, иллюстрирующая пример участка переключения последовательности.

На фиг. 12 представлена схема, иллюстрирующая пример управления HRD кодера в участке переключения последовательности.

На фиг. 13 представлена схема, иллюстрирующая другой пример участка переключения последовательности.

На фиг. 14 представлена схема, иллюстрирующая другой пример управления HRD кодера в участке переключения последовательности.

На фиг. 15 представлена схема, иллюстрирующая примерную структуру интерфейса для вставки информации SEI управления временными характеристиками AU.

На фиг. 16 представлена схема, иллюстрирующая примерную структуру информации SEI управления временными характеристиками AU.

На фиг. 17 представлена схема, иллюстрирующая содержание основной информации в примерной структуре информации SEI управления временными характеристиками AU.

На фиг. 18 представлена схема, иллюстрирующая пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 1х на скорость 2х).

На фиг. 19 представлена схема, иллюстрирующая другой пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 1х на скорость 2х).

На фиг. 20 представлена схема, иллюстрирующая пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 2х на скорость 1х).

На фиг. 21 представлена схема, иллюстрирующая другой пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 2х на скорость 1х).

На фиг. 22 представлена схема, иллюстрирующая пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 2х на скорость 4х).

На фиг. 23 представлена схема, иллюстрирующая другой пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 2х на скорость 4х).

На фиг. 24 представлена схема, иллюстрирующая пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 4х на скорость 1х).

На фиг. 25 представлена схема, иллюстрирующая другой пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 4х на скорость 1х).

На фиг. 26 показана блок-схема, поясняющая примерную конфигурацию кодера.

На фиг. 27 представлена схема, иллюстрирующая пример потока обработки кодера.

На фиг. 28(а) и 28(b) показаны схемы, поясняющие примерную структуру данных области расширения РЕ и содержания основной информации в ней.

На фиг. 29(а) и 29(b) показаны схемы, поясняющие примерную структуру информации о смещении временной метки и содержания основной информации в ней.

На фиг. 30 представлена схема, иллюстрирующая примерную структуру управления представлением AU.

На фиг. 31 представлена схема, иллюстрирующая содержание основной информации в примерной структуре управления представлением AU.

На фиг. 32 представлена схема, иллюстрирующая примерную структуру дескриптора временного управления.

На фиг. 33 представлена схема, иллюстрирующая примерную структуру дескриптора HEVC.

На фиг. 34 показана блок-схема, поясняющая примерную конфигурацию мультиплексора.

На фиг. 35 представлена схема, иллюстрирующая пример потока обработки мультиплексора.

На фиг. 36 представлена схема, иллюстрирующая пример конфигурации транспортного потока TS при доставке в двух потоках.

На фиг. 37 показана блок-схема, поясняющая примерную конфигурацию устройства приема.

На фиг. 38 показана блок-схема, поясняющая примерную конфигурацию демультиплексора.

На фиг. 39 представлена схема, иллюстрирующая пример комбинирования потока.

На фиг. 40 представлена схема, иллюстрирующая пример потока обработки демультиплексора.

На фиг. 41 показана блок-схема, поясняющая примерную конфигурацию декодера.

На фиг. 42 представлена схема, иллюстрирующая примерную конфигурацию модуля последующей обработки.

На фиг. 43 представлена схема, иллюстрирующая пример потока обработки декодера и модуля последующей обработки.

Осуществление изобретения

Далее будут описаны режимы (ниже называются "вариантами осуществления") выполнения изобретения. Описание будет представлено в следующем порядке.

1. Варианты осуществления

2. Модифицированные примеры

1. Варианты осуществления

Система приема и передачи

На фиг. 1 иллюстрируется примерная конфигурация системы 10 приема и передачи, в соответствии с вариантом осуществления, система 10 приема и передачи включает в себя устройство 100 передачи и устройство 200 приема.

Устройство 100 передачи передает транспортный поток TS, используемый, как контейнер, через волну широковещательной передачи. Транспортный поток TS включает в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, каждый из которых имеет кодированные данные изображения картинок каждого набора слоя, который получают таким образом, что данные изображения картинок, составляющих данные движущегося изображения, классифицируют на множество слоев и кодируют, и множество слоев разделяют на заданное количество наборов слоев. В этом случае, например, кодирование выполняют в соответствии с H.264/AVC, H.265/HEVC и т.п. так, что изображение ссылки принадлежит его собственному слою и/или слою ниже, чем его собственный слой.

В этом варианте осуществления, когда множество слоев разделяют на заданное количество наборов слоев, множество слоев включено в набор самого нижнего слоя, и один слой включен в набор слоя, расположенный так, чтобы он был выше, чем набор самого нижнего слоя. Благодаря такому разделению, например, когда сторона приема имеет способность декодировать, позволяющую обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, сторона приема может выбирать только видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя, отбирать выбранный поток видеоданных в буфер, и выполнять обработку декодирования.

Информацию идентификации слоя, идентифицирующую ассоциированный слой, добавляют к кодированным данным изображения картинки каждого слоя, для каждой картинки. В этом варианте осуществления информация идентификации слоя ("nuh_temporal_id_plus1", обозначающая temporal_id) размещена в части заголовка модуля NAL (nal_unit) каждой картинки. Поскольку информацию идентификации слоя добавляют, как описано выше, сторона приема может идентифицировать слой каждой картинки в слое модуля NAL и может избирательно выделять кодированные данные картинки для слоя, равного или ниже, чем заданный слой, и выполнять обработку декодирования.

В этом варианте осуществления по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков кодируют так, что интервалы декодирования картинок представляют собой равные интервалы. В результате такого кодирования, когда сторона приема имеет способность декодирования, позволяющую обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, сторона приема может последовательно и естественным образом выполнять обработку декодирования кодированных данных изображения каждой картинки.

В этом варианте осуществления кодирование выполняют так, что временные характеристики декодирования кодированных данных изображения картинок набора слоя, расположенного выше, чем набор самого нижнего слоя, представляют собой промежуточные временные характеристики для временных характеристик декодирования кодированных данных изображения картинок наборов всех слоев, расположенных ниже, чем указанный набор слоя. Промежуточные временные характеристики, упомянутые здесь, не обязательно должны представлять собой средние временные характеристики в отношении временных характеристик декодирования двух картинок на более низкой стороне и означают временные характеристики, которые не перекрываются с временными характеристиками декодирования на нижней стороне. Поэтому, в таком случае также включено, например, кодирование, при котором временные характеристики декодирования двух или больше картинок верхних слоев находятся между временными характеристиками декодирования двух картинок на более низкой стороне. В результате такого кодирования, когда сторона приема имеет возможность декодирования кодированных данных изображения картинок набора слоя, расположенного выше, чем набор самого нижнего слоя, так же, как и у набора самого нижнего слоя, сторона приема может последовательно и плавно выполнять обработку декодирования каждой картинки.

В этом варианте осуществления, когда предусмотрен участок переключения, в которой последовательность видеопотоков, предназначенных для передачи, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют в по меньшей мере кодированные данные изображения картинки, соответствующей участку переключения или пакету, содержащему кодированные данные изображения. Сторона приема может управлять считыванием данных изображения каждой картинки из буфера несжатых данных на основе информации управления отображением и выполнять отличное отображение, без возникновения перерыва при отображении, даже когда частота кадров динамически изменяется.

Например, информация управления отображением представляет собой информацию для выполнения такого управления, что, например, отображение последней картинки первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что пропускают отображение картинки второй последовательности. Кроме того, например, информация управления отображением представляет собой информацию смещения отображения для управления временными характеристиками отображения для картинок второй последовательности.

В данном варианте осуществления информацию идентификации, обозначающую последнюю картинку первой последовательности, вставляют в кодированные данные изображения последней картинки первой последовательности. Благодаря такой информации идентификации сторона приема может легко идентифицировать последнюю картинку первой последовательности.

Кроме того, в данном варианте осуществления, информация идентификации, обозначающая, была или нет вставлена информация управления отображением в кодированные данные изображения, или был или нет вставлен пакет, содержащий кодированные данные изображения, в слой транспортного потока TS. Такую информацию конфигурации вставляют в контуры элементарного видеопотока, размещенные в ассоциации с заданным количеством видеопотоков, в соответствии с таблицей отображения программы, в качестве дескриптора. Благодаря такой информации идентификации, сторона приема может легко идентифицировать, была или нет вставлена информация управления отображением в кодированные данные изображения, без выполнения обработки декодирования для кодированных данных изображения.

Устройство 200 приема принимает транспортный поток TS, передаваемый из устройства 100 передачи, через волну широковещательной передачи. Устройство 200 приема избирательно декодирует кодированные данные изображения картинок слоя, равного или ниже, чем заданный слой, выбранный в соответствии с возможностями декодирования из видеопотоков, включенных в транспортный поток TS, и отбирает данные изображения каждого изображения, полученного в результате декодирования, в буфер (буфер несжатых данных). Затем устройство 200 приема считывает данные изображения каждой картинки из буфера в заданные моменты времени, выводит считанные данные изображения и выполняет воспроизведение изображения.

Как описано выше, когда предусмотрен участок переключения, в котором последовательность видеопотоков, предназначенных для приема, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют в, по меньшей мере, кодированные данные изображения картинки, соответствующего участку переключения, или пакет, содержащий кодированные данные изображения. На основе информации управления отображением управляют считыванием изображения для каждой картинки из буфера. В результате такого управления становится возможным выполнять отличное отображение, без возникновения перерывов при отображении, даже когда частота кадров динамически изменяется.

Конфигурация устройства передачи

На фиг. 2 иллюстрируется пример конфигурация устройства 100 передачи. Устройство 100 передачи включает в себя центральное процессорное устройство (CPU) 101, кодер 102, буфер 103 сжатых данных (буфер кодированной картинки (cpb)), мультиплексор 104 и модуль 105 передачи. CPU 101 представляет собой модуль управления и управляет операцией каждого модуля устройства 100 передачи.

Кодер 102 принимает данные несжатого движущегося изображения и выполняет масштабируемое кодирование. Кодер 102 классифицирует данные изображения картинок, составляющих данные движущегося изображения, на множество слоев. Затем кодер 102 кодирует данные изображения картинки каждого классифицированного слоя, и генерирует видеопоток, включающий в себя кодированные данные изображения картинок каждого слоя. Кодер 102 выполняет, например, кодирование в соответствии с H.264/AVC, H.265/HEVC и т.п. В это время кодер 102 выполняет кодирование так, что картинка (опорная картинка), на которую делают ссылку, принадлежит его собственному слою и/или слою ниже, чем его собственный слой.

На фиг. 3 иллюстрируется пример масштабируемого кодирования, выполняемого кодером 102. В этом примере данные изображения классифицируют на четыре слоя от 0 до 3, и кодируют данные изображения картинки каждого слоя. На вертикальной оси обозначен слой. От 0 до 3 установлены как temporal_id (информация идентификации слоя), расположенный в части заголовка модуля NAL (nal_unit), конфигурирующего кодированные данные изображения картинки слоев от 0 до 3. В то же время, на горизонтальной оси обозначен порядок отображения (порядок изображения для композиции (РОС)), и левая сторона находится "раньше" с точки зрения времени отображения, а правая сторона находится "после" с точки зрения времени отображения.

На фиг. 4 иллюстрируется пример масштабируемого кодирования, выполняемого кодером 102. В этом примере данные изображения классифицируют на пять слоев от 0 до 4, и данные изображения картинок каждого слоя кодируют.На вертикальной оси обозначен слой. От 0 до 4 установлены, как temporal_id (информация идентификации слоя), расположенный в части заголовка модуля NAL (nal_unit), конфигурирующего кодированные данные изображения картинок слоев от 0 до 4. В то же время, на горизонтальной оси обозначен порядок отображения (РОС), и левая сторона находится "раньше" с точки зрения времени отображения, а правая сторона находится "после" с точки зрения времени отображения.

На фиг. 5 (а) иллюстрируется примерная структура (синтаксис) заголовка модуля NAL, и на фиг. 5 (b) иллюстрируется содержание (семантика) основного параметра в примерной структуре. 1-битное поле "Forbidden_zero_bit" обязательно равно 0. 6-битное поле "Nal_unit_type" обозначает тип модуля NAL. 6-битное поле "Nuh_layer_id", как предполагается, равно 0.3-битное поле "Nuh_temporal_id_plus1" обозначает temporal_id и имеет значение (1-7), получаемое в результате добавления 1.

Возвращаясь снова к фиг. 3 и 4, каждая из прямоугольных рамок обозначает изображение, число обозначает порядок кодированного изображения, то есть, порядок кодирования (порядок декодирования на стороне приема). В примере на фиг. 3, подгруппа изображений сконфигурирована из 8 изображений от "2" до "9", и "2" представляет собой первое изображение подгруппы картинок. "1" представляет собой изображение предыдущей подгруппы картинок. Группа картинок (GOP) сконфигурирована из нескольких подгрупп картинок.

В примере на фиг. 4 подгруппа картинок сконфигурирована из 16 картинок от "2" до "17", "2" представляет собой первую картинку подгруппы картинок. "1" представляет собой картинку предыдущей подгруппы картинок. GOP сконфигурирована из множества подгрупп картинок.

Как представлено на фиг. 6, кодированные данные изображения первой картинки в GOP состоят из модулей NAL AUD, VPS, SP, PPS, PSEI, SLICE, SSEI и EOS. С другой стороны, другая картинка, кроме первой картинки GOP, сконфигурировано из модулей NAL, таких как AUD, PPS, PSEI, SLICE, SSEI и EOS. VPS может быть передан один раз за последовательность (GOP) вместе с SPS, и PPS может быть передан для каждой картинки.

Обращаясь снова к фиг. 3 и 4, стрелки из сплошной линии обозначают соотношение опорной картинки при кодировании. Например, картинка "2" представляет собой картинку Р и кодируется со ссылкой на картинку "1". Кроме того, картинка "3" представляет собой картинку В и кодируется со ссылкой на картинку "1" и "2". Аналогично, другие картинки кодируют со ссылкой на картинку, которая расположена ближе в порядке отображения. Картинка самого верхнего слоя не имеет ссылок со стороны других картинок.

Кодер 102 разделяет множество слоев на заданное количество (2 или больше) наборов слоев и генерирует заданное количество видеопотоков, каждый из которых имеет кодированные данные изображений картинок каждого набора слоя. Например, кодер 102 разделяет множество слоев так, что набор самого нижнего слоя включает в себя множество слоев, а набор слоя, расположенный выше, чем набор самого нижнего слоя, включает в себя один слой.

Например, в примере масштабируемого кодирования на фиг. 3, кодер 102 разделяет множество слоев на наборы из двух слоев, такие, что слои от 0 до 2 принадлежат набору самого нижнего слоя, и слой 3 принадлежит набору слоя, расположенному выше, чем набор самого нижнего слоя, как ограничено пунктирной линией. В этом случае кодер 102 генерирует два видеопотока (кодированные потоки), каждый из которых включает в себя кодированные данных изображения картинок каждого набора слоя.

Кроме того, например, в примере масштабируемого кодирования на фиг. 4, кодер 102 разделяет множество слоев на три набора слоя так, что слои от 0 до 2 принадлежат набору самого нижнего слоя, слой 3 принадлежит набору слоя, расположенному выше, чем набор самого нижнего слоя, и слой 4 принадлежит набору слоя, расположенному выше, чем набор слоя, расположенный выше, чем набор самого нижнего слоя, как ограничено штрих-пунктирной линией с двумя точками и штрих-пунктирной линией с одной точкой. В этом случае кодер 102 генерирует три видеопотока (кодированные потоки), каждый из которых включает в себя кодированные данные изображения картинок каждого набора слоя.

В этом случае видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя представляет собой основной поток, и его тип потока представляет собой "0×24". Видеопоток, включающий в себя кодированные данные изображения картинок набора слоя, расположенного выше, чем набор самого нижнего слоя, представляет собой поток расширения, и его тип потока представляет собой "0×25", который является вновь определенным.

Кроме того, когда существует множество потоков расширения, тип потока также рассматривают, как вновь определенный таким образом, что каждый из потоков расширения является идентифицируем, вместо установки типов потока всех потоков расширения, как "0×25". Например, когда существуют два потока расширения, тип потока первого потока расширения устанавливают, как "0×25", и тип потока второго потока расширения улучшения устанавливают, как "0×26".

Тип потока конфигурирует информацию идентификации, идентифицирующую, является ли каждый из заданного количества видеопотоков основным потоком или потоком расширения. Тип потока вставляют в слой транспортного потока TS. Другими словами, тип потока вставляют в контур элементарного видеопотока (контур Video ES), расположенный в ассоциации с каждым из заданного количества видеопотоков под таблицей отображения программы (РМТ).

Кодер 102 выполняет кодирование таким образом, что, по меньшей мере, интервалы декодирования кодированных данных изображения картинок набора самого нижнего слоя представляют собой равные интервалы. На фиг. 7 (а) иллюстрируется пример, в котором, в примере масштабируемого кодирования на фиг. 3, каждую картинку кодируют в моменты времени, следующие с частотой 120 Гц, на которой временное разрешение является полным, и множество слоев разделяют на два набора слоя таким образом, что слои от 0 до 2 классифицируют, как набор самого нижнего слоя, конфигурирующий основной поток (В поток), и слой 3 классифицируют, как набор слоя, конфигурирующий поток расширения (Е поток), расположенный выше, чем набор самого нижнего слоя.

В этом случае, временное разрешение картинок набора самого нижнего слоя составляет 60 кадров/с, но существуют картинки, которые последовательно кодируются через моменты времени, следующие с частотой 120 Гц, и при этом трудно последовательно выполнять стабильную обработку декодирования, используя декодер, имеющий возможности декодирования 60 кадров/с.По этой причине, как представлено на фиг. (b), выполняется регулировка таким образом, что временные характеристики кодирования картинок набора самого нижнего слоя, конфигурирующие основной поток, составляют 60 Гц, и кодирование выполняют таким образом, что интервалы декодирования кодированных данных изображения картинок набора самого нижнего слоя представляют собой равные интервалы. В результате, декодер, имеющий возможности декодирования 60 кадров/с, может последовательно выполнять стабильную обработку декодирования кодированных данных изображения картинок набора самого нижнего слоя, конфигурирующих основной поток.

Как представлено на фиг. 7(b), кодирование выполняют таким образом, что временные характеристики кодирования изображений набора слоя, конфигурирующих поток расширения (Е поток), то есть, временные характеристики декодирования кодированных данных изображения картинок представляют собой промежуточные временные характеристики для временных характеристик декодирования кодированных данных изображения картинок набора самого нижнего слоя, конфигурирующего основной поток (В поток). В результате, когда сторона приема имеет возможность декодирования кодированных данных изображения картинок с набором слоя, конфигурирующим поток расширения в дополнение к основному потоку, сторона приема может последовательно плавно выполнять обработку декодирования каждой картинки.

На фиг. 8 иллюстрируется пример временных характеристик кодирования (временных характеристик декодирования) картинок, когда два видеопотока, то есть, основной поток (В поток) и поток расширения (Е поток) генерируют в примере масштабируемого кодирования на фиг. 3. В этом примере задержка декодирования потока расширения сводится к минимуму в отношении основного потока.

В этом примере временные характеристики кодирования картинок основного потока (В поток) пронумерованы, как четные моменты времени, и временные характеристики кодирования потока расширения (Е поток) пронумерованы, как нечетные моменты времени. Кроме того, в этом примере, поток расширения (Е поток) кодируют непосредственно после порядка кодирования наивысшего слоя в основном потоке (В поток). Другими словами, картинку "7" потока расширения (Е поток) кодируют непосредственно после картинки "6" основного потока (В потока).

На фиг. 9(а) иллюстрируется пример, в котором в примере масштабируемого кодирования на фиг. 4, каждая картинка кодируется с временными характеристиками с частотой 120 Гц, на которой временное разрешение является полным, и множество слоев разделяют на три набора слоя таким образом, что слои от 0 до 2 классифицируются, как набор самого нижнего слоя, конфигурирующий основной поток (В поток), слой 3 классифицируют, как набор слоя, конфигурирующего поток расширения (Е поток 1), расположенный выше, чем набор самого нижнего слоя, и слой 4 классифицируют, как набор слоя, конфигурирующий поток расширения (Е поток 2), расположенный выше, чем набор слоя, расположенный выше, чем набор самого нижнего слоя.

В этом случае, временное разрешение картинок набора самого нижнего слоя составляет 30 кадров/с, но существуют картинки, которые последовательно кодируют с временными характеристиками 120 Гц, и при этом трудно последовательно выполнять стабильную обработку декодирования через декодер, имеющий способности декодирования 30 кадров/с. По этой причине, как представлено на фиг. 9 (b), выполняется регулировка таким образом, что временные характеристики кодирования для изображений набора самого нижнего слоя, конфигурирующего основной поток, составляют 30 Гц, и кодирование выполняют так, что интервалы декодирования кодируемых данных изображения картинок набора самого нижнего слоя представляют собой равные интервалы. В результате, декодер, имеющий способность декодирования 30 кадров/с, может последовательно выполнять стабильную обработку декодирования для кодируемых данных изображения картинок набора самого нижнего слоя, конфигурирующего основной поток.

Как представлено на фиг. 9 (b), кодирование выполняют таким образом, что временные характеристики кодирования для картинок набора слоя, конфигурирующего поток расширения (Е поток 1), то есть, временные характеристики декодирования для кодированных данных изображения картинок, представляют собой промежуточные временные характеристики для временных характеристик декодирования кодированных данных изображения картинок набора самого низкого слоя, конфигурирующего основной поток (В поток). Кроме того, как представлено на фиг. 9 (b), кодирование выполняют таким образом, что временные характеристики кодирования для картинок набора слоя, составляющего поток расширения (Е поток 2), то есть временные характеристики декодирования кодированных данных изображения картинок представляют собой промежуточные временные характеристики для временных характеристик декодирования кодированных данных изображения картинок набора слоя, конфигурирующих основной поток (В поток) и поток расширения (Е поток 1). В результате, когда сторона приема обладает возможностью декодировать кодированные данные изображения картинок набора слоя, конфигурирующего два потока расширения в дополнение к основному потоку, сторона приема может последовательно плавно выполнять обработку декодирования каждой картинки.

На фиг. 10 иллюстрируется пример временных характеристик кодирования (временных характеристик декодирования) для картинок, когда три видеопотока, то есть, основной поток (В поток), поток расширения (Е поток 1), и поток расширения (Е поток 2) генерируют в примере масштабируемого кодирования на фиг. 4. В этом примере задержка декодирования потока расширения сводится к минимуму относительно основного потока.

В этом примере временные характеристики кодирования изображений основного потока (В поток) представляют собой временные характеристики кратные 4, и временные характеристики кодирования потока расширения (Е поток 1) представляют собой временные характеристики кратные 4, которые представляют собой промежуточные временные характеристики для временных характеристик кодирования картинок основного потока (В потока). Кроме того, временные характеристики кодирования потока расширения (Е поток 1) представляют собой моменты времени с нечетными номерами.

В этом примере поток расширения (Е поток 1) кодируют непосредственно после порядка кодирования наивысшего слоя основного потока (В потока). Другими словами, изображение "10" потока расширения (Е потока 1) кодируют непосредственно после картинки "8" основного потока (В потока). Кроме того, в этом примере, поток расширения (Е поток 2) кодируют непосредственно после порядка кодирования потока расширения (Е поток 1). Другими словами, картинку "11" потока расширения (Е поток 2) кодируют непосредственно после картинки "10" потока расширения (Е поток 1).

Когда предусмотрена часть переключения, в которой последовательность видеопотока, предназначенную для генерирования, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем первая последовательность, кодер 102 вставляет информацию управления отображением, по меньшей мере, в кодированные данные изображения картинки, соответствующей участку переключения.

Участок переключения последовательности, описанный выше, предусмотрен, например, когда частота кадров несжатых данных движущегося изображения, подаваемых в кодер 102, изменяется или когда частота кадров несжатых данных движущегося изображения, подаваемых в кодер 102, является такой же, но частота кадров изменяется в участке прореживания или интерполяции кадра. Кроме того, когда частота кадров изменяется частью переключения последовательности, количество видеопотоков, генерируемых кодером 102, может быть таким же или другим.

На фиг. 11 иллюстрируется пример участка переключения последовательности. В этом примере выполняют переключение с первой последовательности (последовательности изображений 60 Гц) на вторую последовательность (последовательность изображений 120 Гц). В первой последовательности генерируют только основной поток (В поток), включающий в себя кодированные данные изображения картинок слоев от 0 до 2 в примере масштабируемого кодирования на фиг. 3. С другой стороны, во второй последовательности, генерируют основной поток (В поток), включающий в себя кодированные данные изображения картинок слоев от 0 до 2 в примере масштабируемого кодирования на фиг. 3 и поток расширения (Е поток), включающий в себя кодированные данные изображения картинок слоя 3 в примере масштабируемого кодирования на фиг. 3.

На фиг. 12 иллюстрируется пример управления декодера гипотетической ссылки (HRD) для кодера 102 в части переключения последовательности, представленной на фиг. 11. В следующем описании основной поток, как предполагается, представляет собой подпоток 1 (кодирование подпотока 1), и поток расширения, как предполагается, представляет собой подпоток 2 (кодирование подпотока 2).

Сплошная линия a1 в виде лестницы обозначает переход количества данных подпотока 1, генерируемых в результате кодирования, и каждая ступенька соответствует одному модулю картинки. Высота ступеньки обозначает количество данных, генерируемых в результате кодирования. Сплошная линия b1 в виде лестницы обозначает переход количества данных в буфер сжатых данных (буфер 1 кодированной картинки (cpb 1)), потребляемых при декодировании, и каждая ступенька соответствует одному модулю картинки. Высота ступеньки обозначает количество данных, потребляемых при декодировании. Наклон R1 наклонной сплошной линии c1 обозначает скорость передачи битов кодированных данных изображения, подаваемых в cpb 1.

Момент времени Р01 представляет собой момент времени, в который данные первого байта картинки "2", служащей в качестве последней картинки для отображения первой последовательности, вводят в cpb 1. В момент времени Р01 декодер обнаруживает SEI кодированных данных изображения картинки "2", распознает, что картинка "2" представляет собой последнюю картинку (модуль доступа) перед переключением, и обнаруживает технологию управления последующей картинки (модуль доступа).

В этом случае, период времени отображения изображения перед переключением обнаруживают по "clock_tick" и "time_scale" VPS или SPS. Кроме того, обнаруживают изменение периода времени отображения на основе изменения того же элемента параметра в последующем модуле доступа (AU).

Кроме того, можно видеть, что подпоток верхнего слоя, включающий в себя модуль (AU) доступа, временные характеристики отображения которого запаздывают по сравнению с временными характеристиками отображения текущего модуля доступа (AU), вновь добавляют к cpb (если текущая частота кадров обозначена, как Р, изменение частоты кадров с Р на N:Р<N), или что подпоток верхнего слоя, включающий в себя модуль доступа (AU), имеющий временные характеристики отображения, запаздывающие по сравнению с временными характеристиками отображения текущего модуля доступа (AU), не добавляют, как новые в cpb (если текущая частота кадров обозначена, как N, изменение частоты кадров с N на Р:Р<N), и управляют параметром последующего модуля доступа (AU).

Например, когда "next_au_presentation_skip_flag" равен "1", отображение последующего модуля доступа (AU) пропускают до тех пор, пока период времени отображения текущего модуля доступа (AU) не закончится. Кроме того, когда "current_au_repeat_flag" равен "1", последующий модуль доступа (AU) заменяют путем многократного отображения текущего модуля доступа (AU) с количеством раз, которое обозначено "repeat_type". Соответствующие параметры будут описаны подробно ниже (см. фиг. 16).

Моменты времени Р02 представляют собой временные характеристики, в которых первый байт данных картинки "10", используемый, как первое декодируемое изображение второй последовательности, вводят в cpb 1. В моменты времени Р02 декодер обнаруживает SEI кодированных данных изображения картинки "10", и обнаруживает период времени отображения для картинки (модуля доступа) после переключения. В этом случае период времени отображения обнаруживают из "clock_tick" и "time_scale" VPS или SPS.

Сплошная линия а2 в виде звезды обозначает переход количества данных подпотока 2, генерируемых в результате кодирования, и каждый шаг соответствует одному модулю картинки. Высота шага обозначает количество данных, генерируемое в результате кодирования. Сплошная линия b2 в виде звезды обозначает переход количества данных в cpb 2, потребляемых при декодировании, и каждый шаг соответствует одному модулю картинки. Высота шага обозначает количество данных, потребляемое при декодировании. Наклон R2 наклонной сплошной линии с2 обозначает скорость передачи битов кодированных данных изображения, вводимых в cpb 2.

Моменты времени Р03 представляют собой моменты времени, в которые данные первого байта картинки "15", служащей в качестве первой отображаемой картинки второй последовательности, вводят в cpb 2. В моменты времени Р03 декодер обнаруживает SEI кодированных данных изображения картинки "15" и обнаруживает смещение временной метки. В этом случае отображение картинки выполняют в скорректированные моменты времени отображения, полученные путем добавления значения смещения к временным характеристикам "dpb_output_delay". Для декодирования временных характеристик декодируют картинку в скорректированные моменты времени декодирования, полученные путем добавления значения смещения к моментам времени "cpb_removal_delay".

Пример, в котором R1 и R2 представляют собой фиксированные скорости передачи битов (constant_bit_rate), был описан выше, но настоящее изобретение не ограничено этим, и концепция является такой же, даже когда R1 и R2 представляют собой переменные скорости передачи битов (variable_bit_rate).

В примере на фиг. 12, подпоток 1 декодируют в порядке картинок "0", "2", "4", "6", "8", "10", "12", и подпоток 2 декодируют в порядке картинок "15", "17", "19", … Другими словами, только изображения подпотока 1 декодируют в первой последовательности, а изображения подпотока 1 и изображения подпотока 2 поочередно декодируют во второй последовательности. Декодируемые данные изображения каждой картинки вводят в буфер несжатых данных (буфер декодированной картинки (dpb)) и считывают и выводят из dpb в моменты времени " отображения изображения", представленные на фиг. 12.

В этом случае картинка "2" представляет собой картинку первой последовательности (последовательность изображений 60 Гц), но отображаемой с частотой 120 Гц. В этом отношении, в этом варианте осуществления, как описано выше, информацию управления отображением вставляют, по меньшей мере, в одни кодированные данные изображения картинки части переключения, и, таким образом, сторона приема может отображать "отображение изображения" или "отображение изображения", представленные на фиг. 12.

В "отображении изображения 2" временные характеристики отображения каждой картинки второй последовательности задерживают на один цикл 120 Гц. В "отображении изображения 3" отображение картинки второй последовательности пропускают на период времени отображения последней картинки первой последовательности. Как в "отображении изображения 2", так и в "отображении изображения 3", картинку "2" отображают с частотой 60 Гц, и перерыв при отображении не происходит.

На фиг. 13 иллюстрируется другой пример участка переключения последовательности. В этом примере выполняют переключение с первой последовательности (последовательность изображений 120 Гц) на вторую последовательность (последовательность изображений 60 Гц). В первой последовательности генерируют основной поток (В поток), включающий в себя кодированные данные изображения картинок слоев от 0 до 2 в примере масштабируемого кодирования на фиг. 3 и поток расширения (Е поток), включающий в себя кодированные данные изображения картинки слоя 3 в примере масштабируемого кодирования на фиг. 3. С другой стороны, во второй последовательности генерируют только основной поток (В поток), включающий в себя кодированные данные изображения картинки слоев от 0 до 2 в примере масштабируемого кодирования по фиг. 3.

На фиг. 14 иллюстрируется пример управления HRD кодера 102 в части переключения последовательности, представленной на фиг. 13. В следующем описании, основной поток, как предполагается, представляет собой подпоток 1 (кодирование подпотока 1), и предполагается, что поток расширения представляет собой подпоток 2 (кодирование подпотока 2).

Сплошная линия a11 в виде лестницы обозначает переход количества данных подпотока 1, генерируемых при кодировании, и каждая ступенька соответствует одному модулю картинки. Высота ступеньки обозначает количество данных, генерируемых в результате кодирования. Сплошная линия b11 в виде лестницы обозначает переход количества данных в cpb 1 (буфер сжатых данных), потребляемых при декодировании, и каждая ступенька соответствует одному модулю картинки. Высота ступеньки обозначает количество данных, потребляемых при декодировании. Наклон R11 наклоненной сплошной линии c11 обозначает скорость передачи битов кодированных данных изображения, вводимых в cpb 1.

Моменты времени Р11 представляют собой моменты времени, в которые данные первого байта картинки "2", служащей в качестве последней отображаемой картинки для первой последовательности, вводят в cpb 1. В моменты времени Р11 декодер обнаруживает SEI кодированных данных изображения картинки "2", распознает, что картинка "2" представляет собой последнюю картинку (модуль доступа) перед переключением и обнаруживает технологию управления последующего изображения (модуля доступа).

Моменты времени Р12 представляют собой моменты времени, в которых данные первого байта изображения "10", используемые, как первое декодированное изображение второй последовательности, вводят в cpb 1. В моменты времени Р12 декодер обнаруживает SEI кодированных данных изображения картинки "10", и обнаруживает часть отображения для времени картинки (модуля доступа) после переключения.

Моменты времени Р13 представляют собой моменты времени, в которые данные первого байта картинки "14", служащей в качестве первой картинки отображения для второй последовательности, вводят в cpb 1. В моменты времени Р13 декодер обнаруживает SEI кодированных данных изображения картинки "14", и обнаруживает смещение временной метки.

Пример, в котором R11 и R21 представляют собой фиксированные скорости передачи битов (constant_bit_rate), был описан выше, но настоящее изобретение не ограничено этим, и концепция является такой же, даже когда R11 и R21 представляют собой переменные скорости передачи битов (variable_bit_rate).

В примере на фиг. 14 подпоток 1 декодируют в порядке картинок "2", "4", "6", "8", "10", "12" и подпоток 2 декодируют в порядке картинок "3", "5", "7",… Другими словами, картинки подпотока 1 и картинки подпотока 2 поочередно декодируют в первой последовательности, и только картинки подпотока 1 декодируют во второй последовательности. Декодированные данные изображения каждой картинки вводят в dpb (буфер несжатых данных) и считывают, и выводят из dpb в моменты времени "отображения изображения 1", представленного на фиг. 14.

В этом случае, картинка "2" представляет собой картинку первой последовательности (последовательность изображений, следующих с частотой 120 Гц), но отображаемой с частотой 60 Гц. В этом отношении, в данном варианте осуществления, как описано выше, информацию управления отображением вставляют в, по меньшей мере, кодированные данные изображения картинки участка переключения, и, таким образом, сторона приема может отображать "отображаемое изображение 2" или "отображаемое изображение 3", представленные на фиг. 14.

В "отображаемом изображении" моменты времени отображения каждой картинки второй последовательности переводят вперед на один цикл 120 Гц. В "отображаемом изображении 3" отображение последней картинки из первой последовательности повторяют один раз. Как в "отображаемом изображении 2 ", так и в "отображаемом изображении 3", картинку "2" отображают с частотой 120 Гц, и перерыв в отображении не возникает.

Кодер 102 вставляет информацию SEI управления временными характеристиками AU (au_timing_control_information SEI), которая включает в себя информацию управления отображением, и вновь определена, как один из префиксов SEI (Prefix_SEI).

На фиг. 15 (а) иллюстрируется примерная структура (синтаксис) интерфейса (I/F) для вставки информации управления временными характеристиками AU для SEI. Поле "uuid_iso_iec_11578" имеет значение UUID, описанное в "ISO/IEC 11578:1996 приложения A". "au_timing_control_information ()" вставлено в поле "user_data_payload_byte".

На фиг. 16 иллюстрируется примерная структура (синтаксис) "au_timing_control_information ()". На фиг. 17 иллюстрируется содержание основной информации (семантики) в примерной структуре. ID заданных данных пользователя добавляют к 16-битному полю "userdata_id". 8-битное поле "au_timing_control_information_length" обозначает количество байтов (величину подсчета от настоящего элемента до следующего элемента) в "au_timing_control_information".

1-битное поле "last_au_flag" обозначает, что текущий модуль доступа (картинка) представляет собой последний модуль доступа для кодированной последовательности видеоданных (CVD). "1" обозначает, что текущий модуль доступа (картинка) представляет собой последний модуль доступа, и "0" обозначает, что текущий модуль доступа (картинка) не является последним модулем доступа.

1-битное поле "next_au_presentation_skip_flag" обозначает, что отображение последовательного модуля доступа пропускают. "1" обозначает, что отображение последовательного модуля доступа пропускают до тех пор, пока период времени отображения текущего модуля доступа не закончится. "0" обозначает, что отображение последующего модуля доступа не пропускают. В этом случае, это обозначает, что декодированное изображение отображают в моменты времени отображения, обозначенные потоком.

1-битное поле "current_au_repeat_flag" обозначает, что отображение текущего модуля доступа повторяется. "1" обозначает, что модуль доступа, который должен отображаться в следующей временной сетке, заменяется путем повторного отображения текущего модуля доступа. "0" обозначает, что следующий модуль доступа отображается в моменты времени отображения, обозначенные потоком.

Когда "current_au_repeat_flag" равен "1", присутствует 4-битное поле "repeat_type". 4-битное поле обозначает количество повторений текущего модуля доступа. Например, "0001" обозначает, что количество повторений равно 1, "0010" обозначает, что количество повторений равно 2, и "0011" обозначает, что количество повторений равно 3.

1-битное поле "offset_timing_control_flag" обозначает, что передают информацию смещения. "1" обозначает, что передают "offset_to_cpb_removal_delay" и "offset_to_dpb_output_delay", и существует 24-битное поле, в котором размещен каждый из "offset_to_cpb_removal_delay" и "offset_to_dpb_output_delay". 24-битное поле "offset_to_cpb_removal_delay" обозначает значение разности с "cpb_removal_delay" соответствующего изображения. "offset_to_dpb_output_delay" обозначает значение разности с "dpb_output_delay" соответствующего изображения.

На фиг. 18 и 19 иллюстрируется переход значения каждого флага информации SEI управления временными характеристиками AU (см. фиг. 15-17) при переключении последовательности (переключение со скорости 1х на скорость 2х) по фиг. 11 и 12.

На фиг. 18 иллюстрируется переход значения каждого флага, когда выполняют управление изменениями с отображения "отображения изображения 1" на отображение "отображения изображения 2" на стороне приема. В этом случае иллюстрируется, что "last_au_flag" картинки "2", служащей в качестве последней картинки первой последовательности, равен "1", и эта изображение представляет собой последнюю картинку первой последовательности. Кроме того, "offset_timing_control_flag" картинок второй последовательности равен 1, и передают "offset_to_cpb_removal_delay" и "offset_to_dpb_output_delay". В результате, на стороне приема, выполняется управление таким образом, что временные характеристики отображения каждой картинки второй последовательности задерживают на один цикл второй последовательности, и, таким образом, выполняют отображение "отображения изображения 2".

На фиг. 19 иллюстрируется переход значения каждого флага, когда выполняют управление изменением с отображения "отображения изображения 1" на отображение "отображения изображения 3" на стороне приема. В этом случае представлено, что "last_au_flag" картинки "2", служащей в качестве последней картинки первой последовательности, равен "1", и такая картинка представляет собой последнюю картинку первой последовательности. Кроме того, представлено, что "next_au_presentation_skip_flag" картинки "2" равен "1", и отображение последующего модуля доступа пропускают до тех пор, пока период времени отображения для текущего модуля доступа не закончится. В результате, на стороне приема, отображение картинок второй последовательности пропускают на период времени отображения картинки "2", и, таким образом, выполняют отображение "отображения изображения 3".

На фиг. 20 и 21 иллюстрируется переход значения каждого флага информации SEI управлении временными характеристиками AU (см. фиг. 15-17) при последовательном переключении (переключения со скорости 1х на скорость 2х) по фиг. 13 и 14.

На фиг. 20 иллюстрируется переход значения каждого флага, когда выполняют управление изменением от отображения "отображения изображения 1" на отображение "отображения изображения 2" на стороне приема. В этом случае представлено, что "last_au_flag" картинки "2", служащей в качестве последней картинки первой последовательности, равен "1", и такая картинка представляет собой последнюю картинку первой последовательности. Кроме того, "offset_timing_control_flag" картинок второй последовательности равен "1", и передают "offset_to_cpb_removal_delay" и "offset_to_dpb_output_delay". В результате, на стороне приема, выполняют управление таким образом, что временные характеристики отображения каждой картинки второй последовательности переводят вперед на один цикл первой последовательности, и, таким образом, выполняют отображение "отображения изображения 2".

На фиг. 21 иллюстрируется переход значения каждого флага, когда управление изменениями от отображения "отображения изображения 1" до отображения "отображения изображения 3" выполняется на стороне приема. В этом случае иллюстрируется, что "last_au_flag" картинки "2", служащей в качестве последней картинки первой последовательности, равен "1", и такая картинка представляет собой последнюю картинку первой последовательности. Кроме того, представлено, что "current_au_repeat_flag" картинки "2" равен "1", и что модуль доступа, предназначенный для отображения, в следующей сетке временных характеристик, заменяется путем повторения отображения текущего модуля доступа. Кроме того, представлено, что "repeat_type" картинки "2" представляет собой "0001", и количество повторений равно 1. В результате, на стороне приема, отображение для картинки "2" повторяют один раз, и воплощают отображение для "отображения изображения 3".

На фиг. 22 и 23 иллюстрируется переход значения каждого флага информации SEI управления временными характеристиками AU (см. фиг. 15-17) при переключении последовательности со скорости 1х на скорость 4х. В этом примере, выполняют переключение с первой последовательности (например, последовательности изображений с частотой 30 Гц) на вторую последовательность (например, последовательность изображений с частотой 120 Гц).

Только основной поток (В поток), включающий в себя кодированные данные изображения картинок слоев от 0 до 2 в примере масштабируемого кодирования на фиг. 4 генерируют в первой последовательности. С другой стороны, основной поток (В поток), включающий в себя кодированные данные изображения картинок слоев от 0 до 2 в примере масштабируемого кодирования на фиг. 4, поток расширения (Е поток 1), включающий в себя кодированные данные изображения картинок слоя 3 в примере масштабируемого кодирования на фиг. 4, и поток расширения (Е поток 2), включающий в себя кодированные данные изображения картинок слоя 4 в примере масштабируемого кодирования на фиг. 4, генерируют во второй последовательности.

На фиг. 22 иллюстрируется переход значения каждого флага, когда управление изменений с отображения "отображения изображения 1" на отображение "отображения изображения 2" выполняют на стороне приема. В этом случае иллюстрируется, что "last_au_flag" картинки "0", служащей в качестве последней картинки первой последовательности, равен "1", и такая картинка представляет собой последнюю картинку первой последовательности. Кроме того, "offset_timing_control_fiag" картинок второй последовательности равен "1", и передают "offset_to_cpb_removal_delay" и "offset_to_dpb_output_delay". В результате, на стороне приема, выполняют такое управление, что временные характеристики отображения каждой из второй последовательности задерживают на три цикла второй последовательности, и воплощают отображение "отображения изображения 2".

На фиг. 23 иллюстрируется переход значения каждого флага, когда выполняется управление изменениями с отображения "отображения изображения 1" на отображение "отображения изображения 3" на стороне приема. В этом случае представлено, что "last_au_flag" картинки "0", служащей в качестве последней картинки первой последовательности, равен "1", и такая картинка представляет собой последнюю картинку первой последовательности. Кроме того, "next_au_presentation_skip_fiag" картинки «0» равен "1", и отображение последовательного модуля доступа пропускают до тех пор, пока период времени отображения текущего модуля доступа не закончится. В результате, на стороне приема, отображение картинок второй последовательности пропускает период времени отображения картинки «0», и выполняет отображение "отображения изображения 3".

На фиг. 24 и 25 иллюстрируется переход значения каждого флага для информации SEI управления временными характеристиками AU (см. фиг. 15-17) при переключении последовательности со скоростью 4х на скорость 1х. В этом примере выполняют переключение с первой последовательности (например, последовательности изображений 120 Гц) на вторую последовательность (например, последовательности изображений 30 Гц).

Основной поток (В поток), включающий в себя кодированные данные изображения картинок слоев от 0 до 2 в примере масштабируемого кодирования на фиг. 4, поток расширения (Е поток 1), включающий в себя кодированные данные изображения картинок слоя 3 в примере масштабируемого кодирования на фиг. 4, и поток расширения (Е поток 2), включающий в себя кодированные данные изображения картинок слоя 4 в примере масштабируемого кодирования на фиг. 4, генерируют в первой последовательности. С другой стороны, только основной поток (поток В), включающий в себя кодированные данные изображения картинок слоев от 0 до 2 в примере масштабируемого кодирования на фиг. 4 генерируют во второй последовательности.

На фиг. 24 иллюстрируется переход значения каждого флага, когда на стороне приема выполняют управление изменениями с отображения "отображения изображения 1" на отображение "отображения изображения 2". В этом случае представлено, что "last_au_flag" картинок "0", существует в качестве последней картинки первой последовательности, равен "1", и эта картинка представляет собой последнюю картинку первой последовательности. "offset_timing_control_flag" картинок второй последовательности равен "1", и передают "offset_to_cpb_removal_delay", и "offset_to_dpb_output_delay". В результате, на стороне приема, выполняют управление таким образом, что временные характеристики отображения каждой картинки второй последовательности перемещают на три цикла первой последовательности и воплощают отображение "отображения изображения 2".

На фиг. 25 иллюстрируется переход значения каждого флага, когда управление изменениями с отображения "отображения изображения 1" на отображение "отображения изображения 3" выполняют на стороне приема. В этом случае представлено, что "last_au_flag" картинки «0», служащей в качестве последней картинки первой последовательности, равен "1", и эта картинка представляет собой последнюю картинку первой последовательности. Кроме того, представлено, что "current_au_repeat_flag" картинки "2" равен "1", и модуль доступа, предназначенный для отображения в следующей временной сетке, заменяют путем повторения отображения текущего модуля доступа. Кроме того, представлено в "repeat_type" картинки "2", представляет собой "00011", и количество повторений равно 3. В результате, на стороне приема, отображение картинки "0" повторяется три раза, и воплощается отображение "отображения изображения 3".

Хотя подробное описание изобретения исключено для случая переключения на другую степень увеличения, такую как переключение последовательности со скорости 1х на скорость 3х, или переключение последовательности со скорости 3х на скорость 1х, управление выполняется аналогично на основе информации SEI управления временными характеристиками AU, и на стороне приема, осуществляется отображение "отображения изображения 2" или "отображения изображения 3".

На фиг. 26 иллюстрируется примерная конфигурация кодера 102. Кодер 102 включает в себя модуль 121 генерирования временного ID, модуль 122 управления задержкой буфера, модуль 123 установки HRD, модуль 124 кодирования набора параметра/SEI, модуль 125 кодирования среза и модуль 126 формирования пакетов NAL.

Информация о количестве слоев поступает из CPU 101 в модуль 121 генерирования временного ID. Модуль 121 генерирования временного ID генерирует temporal_id в соответствии с количеством слоев на основе информации о количестве слоев. Например, в примере масштабируемого кодирования на фиг. 3, генерируется temporal_id=от 0 до 3. Кроме того, например, в примере масштабируемого кодирования на фиг. 4, генерируют temporal_id = от 0 до 4.

В модуль 122 управления задержкой буфера подают информацию о минимальной возможности декодирования (целевой минимальной возможности декодера) из CPU 101 и подают temporal_id, генерируемый модулем 121 генерирования временного ID. Модуль 122 управления задержкой буфера рассчитывает "initial_cpb_removal_delay", используемый, как исходное значение буферизации (буферизация) cpb и "cpb_removal_delay" и "dpb_output_delay" каждой картинки для каждого видеопотока.

Модуль 122 управления задержкой буфера управляет "Cpb_removal_delay" в буфере cpb каждого подпотока. Модуль 122 управления задержкой буфера выполняет такое управление, что отказ буфера не происходит в буфере dpb между моментом времени декодирования и моментом времени отображения декодера. В этом случае "cpb_removal_delay" представляет собой такое управление, что моменты времени декодирования изображений установленного самого нижнего слоя расположены через равные интервалы.

Кроме того, в этом случае, "cpb_removal_delay" управляют таким образом, что моменты времени кодирования для кодированных данных изображения картинок набора слоя, расположенного выше, чем набор самого нижнего слоя, представляют собой промежуточные моменты времени кодирования для моментом времени кодированных данных изображения картинок всех наборов слоев, расположенных так, что они расположены ниже, чем набор слоя. Кроме того, "dpb_output_delay" управляют таким образом, что не возникает отказ в буфере cpb. Моменты времени кодирования имеют то же значение, что и моменты времени декодирования, в которые выполняют считывание из буфера сжатых данных (cpb) на стороне приема.

В модуль 123 установки HRD подают "cpb_removal_delay" и "dpb_output_delay" картинки каждого видеопотока, рассчитанного модулем 122 управления задержкой буфера, и в него подают информацию о количестве потоков из CPU 101. Модуль 123 установки HRD выполняет установку HRD на основе этой информации.

В модуль 124 набора параметров/кодирования SEI подают информацию об установке HRD и temporal_id. Модуль 124 набора параметров/кодирования SEI генерирует набор параметров для изображений каждого слоя, такие как VPS, SPS и PPS, и различные виды SEI, в соответствии с количеством потоков, предназначенных для кодирования.

Например, генерируют SEI управления моментами времени AU (au_timing_control SEI). Кроме того, например, генерируют SEI моменты времени изображения, включающее в себя "cpb_removal_delay" и "dpb_output_delay". Кроме того, например, генерируют SEI периода буферизации, включающий в себя "initial_cpb_removal_time". SEI периода буферизации генерируют в ассоциации с первой картинкой (модулем доступа) GOP.

"исходное время удаления cpb" обозначает время (исходное время), в которое кодированные данные изображения первого изображения GOP выделяют из буфера сжатых данных (cpb), когда декодируют кодированные данные изображения первого изображения GOP. "cpb_removal_delay" представляет собой время, в которое кодированные данные изображения каждой картинки выделяют из буфера сжатых данных (cpb), и время определяют в соответствии с "initial_cpb_removal_time". Кроме того, "dpb_output_delay" обозначает время, в которое его выделяют после его декодирования и ввода в буфер несжатых данных (dpb).

Модуль 125 кодирования среза кодирует данные изображения картинок каждого слоя, и получает данные среза (заголовок сегмента среза и данные сегмента среза). Модуль 125 кодирования среза вставляет "ref_idx_10_active (ref_idx_l1_active)", указывающий индекс картинки назначения прогнозирования "модуля прогнозирования" в "заголовок сегмента среза", как информацию, указывающую состояние прогнозирования в направлении времени через буфер фрейма. В результате, во время декодирования, изображение ссылки определяют вместе с уровнем слоя, обозначенным temporal_id. Кроме того, модуль 125 кодирования среза вставляет "short_term_ref_pic_set_idx" или "it_idx_sps" в "заголовок сегмента среза", как индекс текущего среза.

Модуль 126 формирования пакетов NAL генерирует кодированные данные изображения картинки каждого слоя на основе набора параметров и SEI, генерируемых модулем 124 набора параметра/кодирования SEI, и данных среза, генерируемых модулем 125 кодирования среза, и выводит видеопотоки (кодированные потоки), количество которых соответствует количеству потоков.

В это время, temporal_id, обозначающий слой, добавляют к заголовку модуля NAL для каждой картинки (см. фиг. 5 (а) и 5 (b)). Кроме того, картинки, принадлежащие слою, обозначенному temporal_id, группируют, как подслой (sub_layer), и значение "Level_idc", обозначающее уровень для скорости передачи битов каждого подуровня, обозначают, используя "sublayer_level_idc" и вставляют в VPS или SPS.

На фиг. 27 иллюстрируется поток обработки кодера 102. На этапе ST1, кодер 102 начинает обработку и затем переходит к обработке на этапе ST2. На этапе ST2, кодер 102 проверяет параметр последовательности движущегося изображения, предназначенный для кодирования. Параметр включает в себя также скорость кадров (частоту кадров).

Затем, на этапе ST3, кодер 102 определяет, происходит или нет изменение в частоте кадров между последовательностями. Когда происходит изменение частоты кадров, кодер 102 переходит к обработке на этапе ST4. На этапе ST4, выполняется управление, в соответствии с временными характеристиками ввода-вывода в буфер перед и после точки перехода.

После обработки на этапе ST4 кодер 102 переходит к обработке на этапе ST5. Когда отсутствуют изменения в скорости кадров на этапе ST3, кодер 102 непосредственно переходит к обработке на этапе 5. На этапе ST5 кодер 102 выполняет управление HRD во всех картинках (срезе), кодирует срез, набор параметров, SEI и т.п. и затем конфигурирует поток, используя пакеты NAL. После этого, на этапе ST6, кодер 102 заканчивает обработку.

Снова обращаясь к фиг. 2, буфер 103 сжатых данных (cpb) временно накапливает видеопоток, включающий в себя кодированные данные для картинок каждого слоя, которые генерируют с помощью кодера 102. Мультиплексор 104 получает транспортный поток TS, используемый, как мультиплексный поток, путем считывания видеопотока, накопленного в буфере 103 сжатых данных, генерирующих пакеты PES, генерируя пакеты транспортирования и выполняя мультиплексирование.

Транспортный поток TS включает в себя по меньшей мере видеопоток, включающий в себя кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок наборов слоя, полученных путем разделения множества слоев, как описано выше. Другими словами, транспортный поток TS обычно включает в себя все заданное количество видеопотоков, генерируемых кодером 102, но видеопоток, включающий в себя кодированные данные изображения картинок набора слоя на верхней стороне считается исключенным.

Мультиплексор 104 вставляет информацию управления отображением в пакет, содержащий видеопоток, например, пакет PES. Информация управления отображением является такой же, как и информация управления отображением, вставляемая в кодированные данные изображения с помощью кодера 102, как описано выше. В этом варианте осуществления информация отметки типа смещения (offset_timestamp_information), управления представления AU (au_presentation_control) и т.п. определена в поле расширения PES для пакета PES.

На фиг. 28 (а) иллюстрируется примерная структура (синтаксис) данных поля расширения PES (pes_extension_field_data). На фиг. 28 (b) иллюстрируется содержание основной информации (семантики) в примерной структуре. "Длину поля PES_extension", как предполагается, задают извне структуры синтаксиса. 8-битное поле "start_sync_byte" обозначает обозначение кода, обозначающее начало поля расширения.

8-битное поле "extension_field_type" обозначает тип поля расширения. "0×02" обозначает, что поступают "offset_timestamp_information ()" и "au__presentation_control ()". 4-битное поле "maximum_temporal_layer_minusr" обозначает количество слоев во всем множестве подпотоков (подпотоков), конфигурирующих услугу, и имеет значение, получаемое путем вычитания 1 от максимального значения "temporal_layer_id".

На фиг. 29 (а) иллюстрируется примерная структура (синтаксис) "offset_timestamp_information ()." На фиг. 29 (b) иллюстрируется содержание основной информации (семантики) в примерной структуре. 24-битое поле "offset_to_DTS" обозначает значение разности смещения (с единичным кодом 90 кГц) из временной метки декодирования (DTS), прикрепленной к заголовку PES. 24-битное поле "offset_to_PTS" обозначает значение разности смещения (с единичным кодом 90 кГц) из временной метки представления (PTS), прикрепленной к заголовку PES.

На фиг. 30 иллюстрируется примерная структура (синтаксис) "au_presentation_control ()." На фиг. 31 иллюстрируется содержание основной информации (семантики) в примерной структуре. 1-битное поле "last_au_flag" обозначает, что текущий модуль доступа (картинка) представляет собой последний модуль доступа CVD. "1" обозначает, что текущий модуль доступа представляет собой последний модуль доступа, и "0" обозначает, что текущий модуль доступа не является последним модулем доступа.

1-битное поле "next_au_presentation_skip_flag" обозначает, что отображение последующего модуля доступа пропускают."1" обозначает, что отображение последующего модуля доступа пропускают до тех пор, пока период времени отображения текущего модуля доступа не закончится. "0" обозначает, что отображение последующего модуля доступа не пропускают. В этом случае, это обозначает, что декодируемое изображение отображается во временя отображения, обозначенного потоком.

1-битное поле "current_au_repeat_flag" обозначает, что отображение текущего модуля доступа повторяется. "1" обозначает, что модуль доступа, предназначенный для отображения в следующее значение сетки временных характеристик, заменяется путем повторения отображения текущего модуля доступа. "0" обозначает, что следующий модуль доступа отображается в моменты времени отображения, обозначенные потоком.

Когда "current_au_repeat_flag" равен "1", присутствует 4-битное поле "repeat_type". 4-битное поле обозначает количество повторений текущего модуля доступа. Например, "0001" обозначает, что количество повторений равно 1, "0010" обозначает, что количество повторений равно 2, и "0011" обозначает, что количество повторений равно 3.

Мультиплексор 104 вставляет информацию идентификации, обозначающую, был или нет SEI управления временными характеристиками AU (au_timing_control SEI) вставлен в кодированные данные изображения, в слой транспортного потока TS. Эту информацию идентификации вставляют в контур элементарного видеопотока, расположенного в ассоциации с каждым из заданного количества видеопотоков, в соответствии с таблицей отображения программы, в качестве дескриптора.

Мультиплексор 104 вставляет дескриптор временного управления (Temporal_control_descriptor), который является вновь определенным вместе с дескриптором HEVC (HEVC_descriptor). На фиг. 32 иллюстрируется примерная структура (синтаксис) дескриптора временного управления.

8-битное поле "Temporal_control_descriptor_tag" обозначает тип дескриптора. Здесь это обозначает временный дескриптор управления. 8-битное поле "Temporal_control_descriptor_length" обозначает длину (размер) дескриптора, и длина дескриптора обозначается последующим количеством байтов. Здесь это обозначает, что длина дескриптора составляет один байт. 1-битное поле "au_timing_control_SEI_existed" обозначает, присутствует или нет SEI управления временными характеристиками AU, и "1" обозначает, что управление SEI временными характеристиками AU присутствует.

На фиг. 33 иллюстрируется примерная структура (синтаксис) дескриптора HEVC (HEVC_descriptor). 8-битное поле "descriptor_tag" обозначает тип дескриптора, и обозначает здесь дескриптор HEVC. 8-битное поле "descriptor_length" обозначает длину (размер) дескриптора, и длина дескриптора обозначена последовательным номером байта.

8-битное поле "level_idc" обозначает значение, обозначающее уровень для скорости передачи битов. Кроме того, когда "temporal_layer_subset_fiag равен 1", присутствуют 5-битное поле "temporal_id_min" и 5-битное поле "temporal_id_max". "temporal_id_min" обозначает значение temporal_id для самого нижнего слоя масштабируемых кодированных данных, включенных в соответствующий видеопоток. "temporal_id_max" обозначает значение temporal_id наивысшего слоя масштабируемых кодированных данных, включенных в соответствующий видеопоток.

Кроме того, мультиплексор 104 вставляет информацию идентификации для идентификации, является ли каждый видеопоток основным потоком или потоком расширения. В этом случае информацию идентификации вставляют в контур элементарного видеопотока (контур видео ES), расположенный в соответствии с каждым из заданного количества видеопотоков, как тип потока, под таблицей отображения программы.

В этом случае, тип потока основного потока устанавливают в "0×24". Тип потока для потока расширения устанавливают, например, в "0×25", который вновь определяют.Кроме того, когда существует множество потоков расширения, для всех потоков расширения не устанавливают тот же самый тип потока, и множество типов потока может быть вновь определено, как типы потока для потоков расширения таким образом, что каждый из потоков расширения может быть идентифицирован. Например, когда существуют два потока расширения, тип потока первого потока расширения устанавливают в "0×25", и тип потока второго потока расширения устанавливают в "0×26".

На фиг. 34 иллюстрируется примерная конфигурация мультиплексора 104. Мультиплексор 104 включает в себя модуль 142 кодирования блока, модули 143-1 - 143-N пакетирования PES, модуль 144 переключения и модуль 145 формирования пакетов транспортирования.

Модули 143-1 - 143-N пакетирования PES считывают видеопотоки от 1 до N, накопленные в буфере 103 сжатых данных, и генерируют пакеты PES. Здесь, по меньшей мере, один основной поток включен в каждый из видеопотоков от 1 до N. Когда N равен 2 или больше, включены один основной поток, и один или больше потоков расширения.

В это время модули 143-1 - 143-N пакетирования PES добавляют временные метки, такие как DTS и PTS, к заголовку PES, на основе информации HRD видеопотоков от 1 до N. В этом случае DTS и PTS генерируются с точностью, синхронизированной с временем часов системного времени (STC), со ссылкой на "cpu_removal_delay" и "dpb_output_delay" каждой картинки, и размещены в заданном положении заголовка PES.

Модули 143-1 - 143-N пакетирования PES считывают потоки видеоданных (элементарный поток), накопленные в буфере 103 сжатых данных, и генерируют пакеты PES. В это время модули 143-1 - 143-N пакетирования PES добавляют временную метку, такую как DTS и PTS, к заголовку PES на основе информации HRD видеопотоков и т.п. В этом случае преобразование в DTS и PTS выполняется с точностью, синхронизированной со временем STC, со ссылкой на "cpu_removal_delay" и "dpb_output_delay" каждого изображения, и DTS и PTS размещаются в заданном положении заголовка PES.

В это время модули 143-1 - 143-N пакетирования PES генерируют информацию временной метки (offset_timestamp_information) типа смещения и управления представлением AU (au_presentation_control) в поле расширения PES для пакета PES, на основе отсутствия непрерывности временной метки, SEI, информации HRD видеопотока и т.п. Затем модули 143-1 - 143-N пакетирования PES вставляют информацию в поле расширения PES пакета PES.

Модуль 144 переключения избирательно выделяет пакеты PES, генерируемые модулями 143-1 - 143-N пакетирования PES на основе идентификатора пакета (PID), и передает выделенный пакет PES в модуль 145 формирования пакетов транспортирования. Модуль 145 формирования пакетов транспортирования генерирует пакет TS, в котором пакет PES включен в полезную нагрузку, и получает транспортный поток TS.

Модуль 142 кодирования блока генерирует различного рода данные блока, предназначенные для вставки в транспортный поток TS. Информация, такая как количество слоев и количество потоков, поступает из CPU 101 в модуль 142 кодирования блока. Модуль 142 кодирования блока генерирует дескриптор HEVC (HEVC_descriptor) на основе информации. Кроме того, количество слоев и информацию, обозначающую, была или не вставлена SEI управления ременными характеристиками AU (au_timing_control SEI) в данные кодируемого изображения из CPU 101, подают из CPU 101 в модуль 142 кодирования блока. Модуль 142 кодирования блока генерирует дескриптор временного управления (Temporal_control_descriptor) на основе этой информации.

Модуль 142 кодирования блока передает различного рода данные блока в модуль 145 формирования пакетов транспортирования. Модуль 145 формирования пакетов транспортирования генерирует пакет TS, включающий в себя данные блока, и вставляет сгенерированный пакет TS в транспортный поток TS. В это время тип потока также вставляют в контур элементарного потока видеоданных (контур видео ES), расположенный в ассоциации с каждым видеопотоком. В этом случае тип потока основного потока устанавливают в "0×24", и тип потока для потока расширения, например, устанавливают в "0×25", который был вновь определен.

На фиг. 35 иллюстрируется обработка потока мультиплексора 104. На этапе ST11 мультиплексор 104 начинает обработку и затем переходит к обработке на этапе ST12. На этапе ST12 мультиплексор 104 рассчитывает временное обозначение на основе SEI временных характеристик изображения, SEI периода размещения в буфере и SEI управления временными характеристиками AU, или информации HRD видеопотока (элементарного потока).

Затем, на этапе ST13, мультиплексор 104 генерирует информацию метки типа смещения (offset_timestamp_information) и управление представлением AU (au_presentation_control), и вставляет информацию метки типа смещения (offset_timestamp_information) и управление представлением AU (au_presentation_control) в поле расширения PES. Затем, на этапе ST14, мультиплексор 104 вставляет видеопоток (элементарный поток) в полезную нагрузку PES.

Затем, на этапе ST15, мультиплексор 104 кодирует дескриптор временного управления (Temporal_control_descriptor) для области блока. Затем, на этапе ST16, мультиплексор 104 преобразует его в пакет TS, и выводит пакет TS. На этапе ST17, мультиплексор 104 заканчивает обработку после окончания обработки на этапе ST16.

На фиг. 36 представлена примерная конфигурация транспортного потока TS, когда определенная услуга предоставляется через два потока. Два видеопотока, то есть, основной поток и поток расширения, включены в транспортный поток TS. Другими словами, в этой примерной конфигурации, существует пакет PES "видео PES1" основного потока, и существует пакет PES "видео PES2" потока расширения.

Информацию метки типа смещения (offset_timestamp_information) и управление представлением AU (au_presentation_control) вставляют в поле расширения PES заголовка PES. Период SEI размещения в буфере временных характеристик SEI изображения, SEI управления временными характеристиками AU и т.п. вставляют в данные кодированного изображения для каждого изображения. DTS и PTS также размещают в заголовке PES.

Таблицу отображения программы (РМТ) включают в транспортный поток TS, в качестве одной из информации, специфичной для программы (PSI). PSI представляет собой информацию, обозначающую программу, которой принадлежит каждый элементарный поток, включенный в транспортный поток.

В РМТ существует контур программы, в котором описана информация, ассоциированная со всей программой. Кроме того, в РМТ, существует элементарный контур потока, включающий в себя информацию, ассоциированную с каждым видеопотоком. В этой примерной конфигурации существует "элементарный контур видеопотока" контура ES1, соответствующий основному потоку, и существует "контур элементарного видеопотока" контура ES2, соответствующий потоку расширения.

Информация, такая как тип потока и идентификатор пакета (PID), и информация, описывающая дескриптор, ассоциированную с видеопотоком, размещены в "контуре видео ES1", в ассоциации с основным потоком (видео PES1). Тип потока установлен в "0×24", обозначающий основной поток. Дескриптор HEVC и дескриптор временного управления вставлены, как один из дескрипторов.

Информация, такая как тип потока и идентификатор пакета (PID), и информация, описывающая дескриптор, ассоциированная с видеопотоком, размещены в "контуре видео ES2", в ассоциации с потоком расширения (видео PES2). Тип потока установлен, например, в "0×25", что обозначает, что поток расширения является вновь определенным. Дескриптор HEVC и дескриптор временного управления вставляют, как один из дескрипторов.

Снова, как показано на фиг. 2, модуль 105 передачи модулирует транспортный поток TS, например, в соответствии со схемой модуляции, пригодной для широковещательной передачи данных, такой как QPSK/OFDM и т.п., и передает сигнал модуляции RF через передающую антенну.

Операция устройства 100 передачи данных, представленная на фиг. 2, будет описана кратко. Несжатые данные движущегося изображения вводят в кодер 102. Кодер 102 выполняет масштабируемое кодирование для данных движущегося изображения. Другими словами, кодер 102 классифицирует данные изображения картинок, конфигурирующих данные движущегося изображения, на множество слоев, кодирует множество слоев и генерирует видеопотоки, включающие в себя кодированные данные изображения картинок соответствующих слоев. В это время кодирование выполняют таким образом, что изображение, предназначенное для ссылки на него, принадлежит его собственному слою и/или более низкому слою, чем его собственный слой.

Кодер 102 разделяет множество слоев на заданное количество наборов слоев, и генерирует заданное количество видеопотоков, каждый из которых включает в себя кодированные данные изображения картинок каждого набора слоя. В этом случае генерируют основной поток, включающий в себя кодированные данные изображения картинок набора самого нижнего слоя, и генерируют заданное количество потоков расширения, включающих в себя кодированные данные изображения картинок набора слоя, расположенного выше, чем набор самого нижнего слоя. Затем, в этом случае, выполняют кодирование таким образом, что интервалы декодирования для кодированных данных изображения картинок набора самого нижнего слоя представляют собой равные интервалы.

Когда участок переключения, в которой последовательность заданного количества видеопотоков, предназначенных для генерирования, переключают с первой последовательности на вторую последовательность, имеющую другую скорость передачи кадров, чем в первой последовательности, кодер 102 вставляет информации управления отображением (SEI информации управления временными характеристиками AU: см. фиг. 16), по меньшей мере, в данные кодированного изображения картинки, соответствующего участку переключения.

Заданное количество видеопотоков, генерируемое кодером 102, подают в и временно накапливают в буфере (cpb) 103 сжатых данных. Мультиплексор 104 получает транспортный поток TS, используемый, как мультиплексированный поток, путем считывания каждого видеопотока, накопленного в буфере 103 сжатых данных, генерирует пакеты РЕ, генерирует транспортные пакеты и выполняет мультиплексирование.

Мультиплексор 104 вставляет информацию управления отображением (информацию метки типа смещения и управление представлением AU: см. фиг. 29 и 30) в пакет, содержащий видеопоток, например, поле расширения PES для пакета РЕ. Мультиплексор 104 вставляет информацию идентификации (дескриптор временным управлением: см. фиг. 32), обозначающую, вставлено или нет SEI управления временными характеристиками AU (au_timing_control SEI), в данные кодированного изображения, в слой транспортного потока TS.

Мультиплексор 104 вставляет информацию идентификации, обозначающую, является ли каждый из заданного количества видеопотоков основным потоком или потоком расширения, в слой транспортного потока TS. Например, информация идентификации представляет собой тип потока, вставленный в контур элементарного видеопотока (контур видео ES), расположенный в ассоциации с каждым видеопотоком. В этом случае тип потока для основного потока установлен в "0×24", и тип потока для потока расширения установлен, например, в "0×25", который является вновь определенным.

Транспортный поток TS, генерируемый мультиплексором 104, передают в модуль 105 передачи. Модуль 105 передачи модулирует транспортный поток TS, например, в соответствии со схемой модуляции, пригодной для широковещательной передачи, такой как QPSK/OFDM и т.п., и передает сигнал модуляции RF через передающую антенну.

Конфигурация устройства приема

На фиг. 37 иллюстрируется примерная конфигурация устройства 200 приема. Устройство 200 приема включает в себя CPU 201, модуль 202 приема, демультиплексор 203 и буфер 204 сжатых данных (cpb). Устройство 200 приема дополнительно включает в себя декодер 205, буфер 206 (dpb) несжатых данных и модуль 207 последующей обработки. CPU 201 конфигурирует модуль управления и управляет операцией каждого модуля устройства 200 приема.

Модуль 202 приема демодулирует сигнал RF модуляции, принятый через принимающую антенну, и получает транспортный поток TS. Демультиплексор 203 избирательно выделяет кодированные данные изображения картинок набора слоя из транспортного потока TS, в соответствии с возможностями декодирования (декодер временных возможностей слоя) и передает выделенные кодированные данные изображения в буфер 204 сжатых данных (cpb).

На фиг. 38 иллюстрируется примерная конфигурация демультиплексора 203. Демультиплексор 203 включает в себя модуль 231 обработки PID, модулей 232-1 - 232-N обработки потока N, и модуль 233 комбинирования потока. Модуль 231 обработки PID выполняет фильтрацию на основе идентификатора пакета (PID) в соответствии с возможностями декодирования, и выделяет заданное количество видеопотоков, включающее в себя, по меньшей мере, основной поток. Видеопотоки, выделенные модулем 231 обработки PID, передают в соответствующие модули обработки потока. Например, модуль 232-1 обработки потока обрабатывает основной поток, и модули 232-2 - 232-N обработки потока обрабатывают поток расширения.

Модуль 232-1 обработки потока включает в себя анализатор 241 блока, анализатор 242 пакета PES, модуль 243 выделения заголовка PES и модуль 244 выделения полезной нагрузки PES. Модуль 241 анализа блока анализирует данные блока целевого видеопотока, получает информацию о присутствии SEI управления временными характеристиками AU в кодированных данных изображения на основе, например, дескриптора временного управления, и передает информацию о присутствии в CPU 201.

Модуль 242 анализа пакета PES анализирует пакет PES. Модуль 243 выделения заголовка PES получает PTS и DTS, вставленные в заголовок, и временную метку смещения, вставленную в расширение PES на основе анализа модуля 242 анализа пакета PES, и передает PTS, DTS и временную метку смещения в CPU 201. CPU 201 выполняет коррекцию PTS и DTS на основе временной метки смещения, и определяет временные характеристики декодера или временные характеристики отображения. Модуль 244 выделения полезной нагрузки PES выделяет кодированные данные изображения картинки, содержащейся в полезной нагрузке PES на основе анализа модуля 242 анализа пакета PES, и передает выделенные кодированные данные изображения в модуль 233 комбинирования потока.

Модули 232-2 - 232-N обработки потока выделяют кодированные данные изображения картинки, содержащейся в полезной нагрузке ES, путем выполнения той же обработки, что и у модуля 232-1 обработки потока, и передает выделенные кодированные данные изображения в модуль 233 комбинирования потока. Модуль 233 комбинирования потока комбинирует кодированные данные изображения соответствующих картинок, переданных из модулей 232-1 - 232-N обработки потока, и передает комбинированные кодированные данные изображения в буфер 204 сжатых данных (cpb), как одиночный видеопоток (элементарный видеопоток).

В этом случае, модуль 233 комбинирования потока комбинирует видеопотоки (кодированные потоки), предназначенные для вывода из модуля 252 выбора целевого слоя в один. Кодированные данные изображения соответствующих картинок комбинируют в один поток на основе информации о временных характеристиках при декодировании. На фиг. 39 иллюстрируется пример комбинирования потока. В этом примере картинки основного потока, расположенного в интервалах 60 Гц, комбинируют с картинками потока расширения в интервалах 60 Гц. В этом случае соответствующие картинки рассматриваются, как один поток, имеющий временную метку 120 Гц.

На фиг. 40 иллюстрируется пример обработки потока демультиплексора 203. На этапе ST31 демультиплексор 203 начинает обработку, и затем, на этапе ST32, демультиплексор 203 выделяет полезную нагрузку TS. Затем, на этапе ST33, демультиплексор 203 выполняет анализ PID, и определяет, представляет ли собой блок полезная нагрузка TS или нет. Когда полезная нагрузка TS определяется, как блок на этапе ST34, демультиплексор 203 демультиплексирует пакеты, прошедшие через соответствующий фильтр PID, и выполняет анализ блока.

Затем, на этапе ST35, демультиплексор 203 анализирует дескриптор временного управления (Temporal_control_descriptor). Затем, на этапе ST36, демультиплексор 203 определяет, присутствует или нет SEI управления временными характеристиками AU (au_timing_control SEI). Когда присутствует SEI управления временными характеристиками AU, на этапе ST37, демультиплексор 203 проверяет расширение PES заголовка PES.

После обработки на этапе ST37 демультиплексор 203 переходит на этап ST38 и заканчивает обработку. Кроме того, когда определяют на этапе ST36, что существует SEI управления временными характеристиками AU, демультиплексор 203 непосредственно переходит на этап ST38, и заканчивает обработку.

Кроме того, когда определяют, что полезная нагрузка TS не является блоком, на этапе ST33, на этапе ST39, демультиплексор 203 выделяет пакет PES. Затем, на этапе ST40, демультиплексор 203 определяет, является или нет пакет PES заголовком PES. Когда пакет PES представляет собой заголовок PES, на этапе ST42, демультиплексор 203 определяет, присутствует или нет информация временной метки смещения (offset_timestamp_information) в расширении PES.

Когда присутствует информация метки типа смещения, на этапе ST43, демультиплексор 203 уведомляет систему, то есть, CPU 201 о временной метке смещения (offset_to_DTS и offset_to_PTS). После этого, демультиплексор 203 переходит к обработке на этапе ST44. Когда на этапе ST42 определяют, что информация временной метки смещения отсутствует, демультиплексор 203 немедленно переходит к обработке на этапе ST44.

На этапе ST44, демультиплексор 203 определяет, присутствуют или нет DTS и PTS. Когда присутствуют DTS и PTS, демультиплексор 203 переходит к обработке на этапе ST46. С другой стороны, когда нет ни DTS, ни PTS, на этапе ST45, демультиплексор 203 генерирует DTS и PTS путем интерполяции, и затем переходит к обработке на этапе ST46. На этапе ST46 демультиплексор 203 уведомляет систему, то есть, CPU 201 о DTS и PTS. После этого, демультиплексор 203 переходит на этап ST38, и заканчивает обработку.

Кроме этого, когда на этапе ST40 определяют, что пакет PES не является заголовком РЕ, на этапе ST47, демультиплексор 203 выделяет полезную нагрузку PES. Затем, на этапе ST48, демультиплексор 203 комбинирует кодированные потоки, используемые, как цель PID, в порядке DTS, и передает полученный в результате поток в буфер 204 сжатых данных (cpb). После этого демультиплексор 203 переходит на этап ST38 и заканчивает обработку.

На фиг. 37 буфер 204 сжатых данных (cpb) временно накапливает видеопоток (кодированный поток), выделенный демультиплексором 203. Декодер 205 выделяет кодированные данные изображения картинок слоя, обозначенного как слой, предназначенный для декодирования, из видеопотоков, накопленных в буфере 204 сжатых данных. Затем декодер 205 декодирует выделенные данные кодированного изображения для каждой картинки в моменты времени декодирования картинки, и передает декодированные данные изображения в буфер 206 несжатых данных (dpb).

Здесь, в декодере 205, слой, предназначенный для декодирования, обозначен по temporal_id из CPU 201. Обозначенный слой представляет собой все слои, включенные в видеопоток (кодированный поток), выделенные демультиплексором 203, или некоторые слои на стороне никого слоя, и устанавливается автоматически CPU 201 или в соответствии с операцией пользователя. Кроме того, выделяют временные характеристики декодирования для декодера 205 из CPU 201 на основе DTS. При декодировании кодированных данных изображения каждого изображения декодер 205 считывает данные изображения опорной картинки из буфера 206 несжатых данных, в соответствии с необходимостью и использует эти данные изображения.

На фиг. 41 иллюстрируется примерная конфигурация декодера 205. Декодер 205 включает в себя модуль 251 анализа временного ID, модуль 252 выбора целевого слоя и модуль 254 декодирования. Модуль 251 анализа временного ID считывает видеопоток (кодированный поток), накопленный в буфере 204 сжатых данных, и анализирует temporal_id, вставленный в заголовок модуля NAL кодированных данных изображения для каждой картинки.

Модуль 252 выбора целевого слоя выделяет кодированные данные изображения картинки слоя, обозначенного, как слой, предназначенный для декодирования, из видеопотока, считываемого буфером 204 сжатых данных на основе результата анализа модуля 251 анализа временного ID. Кодированные данные изображения каждого изображения, выделенные модулем 252 выбора целевого слоя, передают в модуль 254 декодирования. Модуль 254 декодирования последовательно декодирует кодированные данные изображения каждой картинки в моменты времени декодирования и передает декодированные данные картинки в буфер 206 несжатых данных (dpb).

В этом случае, модуль 254 декодирования анализирует VPS и SPS, обнаруживает, например, значение, указывающее уровень "sublayer_level_idc" скорости передачи битов каждого подуровня, и проверяет, может или нет быть выполнено декодирование в пределах возможностей декодирования. В этом случае модуль 254 декодирования дополнительно анализирует SEI, обнаруживает, например, "initial_cpb_removal_time" и "cpb_removal_delay", и проверяет, являются ли временные характеристики декодирования, полученные из CPU 201, соответствующими.

Кроме того, модуль 254 декодирования анализирует управление SEI временными характеристиками AU (au_timing_control SEI) и передает включенную информацию управления отображением в CPU 201. CPU 201 управляет считыванием каждой картинки из буфера 206 сжатых данных (dpb) на основе информации управления отображением, и выполняет отображение "отображения изображения 2" или "отображения изображения 3" в части переключения последовательности, как описано выше (см. фиг. 12, фиг. 14 и фиг. 18-25).

Кроме того, при декодировании среза, модуль 254 декодирования получает "ref_idx_10_active (ref_idx_ll_active)", в качестве информации, обозначающей место назначения прогнозирования в направлении времени от заголовка среза, и выполняет прогнозирование в направлении времени. Декодированное изображение обрабатывают, как ссылку, другими картинками, используя "short_term_ref_pic_set_idx" или "it_idx_sps", полученные из заголовка среза, в качестве индекса.

Снова обращаясь к фиг. 37, буфер 206 несжатых данных (dpb) временно накапливает данные изображения каждого изображения, декодированного декодером 205. Модуль 207 последующей обработки выполняет обработку регулирования частоты кадров данных изображения картинок, последовательно считываемых из буфера 206 несжатых данных (dpb) в момент времени отображения, в соответствии с возможностями отображения. В этом случае моменты времени отображения подают из CPU 201 на основе PTS.

Например, когда частота кадров данных изображения для декодированных картинок составляет 120 кадров/с, и возможности отображения составляют 120 кадров/с, модуль 207 последующей обработки передает данные изображения декодированных картинок на устройство отображения без изменения. Кроме того, например, когда частота кадров данных изображения для декодируемых картинок составляет 120 кадров/с, и возможности отображения составляют 60 кадров/с, модуль 207 последующей обработки выполняет обработку подвыборки таким образом, что разрешение в направлении времени для данных изображения декодируемых изображений составляет 1/2 раз, и передает эти данные изображения с частотой 60 кадров/с в дисплей.

Кроме того, например, когда частота кадров данных изображения для декодируемых картинок составляет 60 кадров/с, и возможности отображения составляют 120 кадров/с, модуль 207 последующей обработки выполняет обработку интерполяции таким образом, что разрешение в направлении времени для данных изображения декодируемых картинок будет удвоено, и передает данные изображения с частотой 120 кадров/с в дисплей. Кроме того, например, когда частота кадров данных изображения декодируемых картинок составляет 60 кадров/с, и возможности дисплея составляют 60 кадров/с, модуль 207 последующей обработки передает данные изображения декодируемых изображений в дисплей без изменения.

На фиг. 42 иллюстрируется примерная конфигурация модуля 207 последующей обработки. Этот пример представляет собой пример, в котором возможно работать в случае, когда частота кадров данных изображения декодируемых картинок составляет 120 кадров/с или 60 кадров/с, и возможности дисплея составляют 120 кадров/с или 60 кадров/с.

Модуль 207 последующей обработки включает в себя модуль 271 интерполяции, модуль 272 подвыборки и модуль 273 переключателя. Данные изображения для декодированных изображений из буфера 206 несжатых данных поступают непосредственно в модуль 273 переключателя, после того, как частота кадров станет удвоенной в результате обработки в модуле 271 интерполяции, или после того, как частота кадров станет 1/2 в результате обработки в модуле 272 подвыборки.

Информацию выбора подают из CPU 201 в модуль 273 переключателя. CPU 201 автоматически генерирует информацию выбора со ссылкой на возможности отображения или в соответствии с операцией пользователя. Модуль 273 переключателя избирательно выводит любые одни из входных данных на основе информации выбора. В результате, частота кадров данных изображения картинок, последовательно считываемых из буфера 206 несжатых данных (dpb) в моменты времени отображения регулируется в соответствии с возможностями отображения.

На фиг. 43 иллюстрируется пример потока обработки декодера 205 и модуля 207 последующей обработки. На этапе ST51 декодер 205 и модуль 207 последующей обработки начинают обработку, и затем переходят к обработке на этапе ST52. На этапе ST52, декодер 205 считывает видеопоток цели декодирования, накопленной в буфере 204 сжатых данных (cpb), и выбирает изображение для слоя, обозначенного, как цель декодирования, из CPU 201 на основе temporal_id.

Затем, на этапе ST53, декодер 205 последовательно декодирует кодированные данные изображения выбранных изображений в моменты времени декодирования, передает эти данные изображения декодированных изображений для накопления по времени в буфере 206 несжатых данных (dpb). Затем, на этапе ST54, модуль 207 последующей обработки считывает данные изображения картинок из буфера 206 несжатых данных (dpb) в моменты времени отображения.

В это время, когда присутствует часть переключения последовательности, считыванием управляют на основе информации управления дисплеем. Управление считыванием включает в себя управление моментам времени считывания для воплощения "отображения изображения 2" в дополнение к управлению повтором и управлению спуском, для воплощения "отображения изображения 3", как описано выше. Кроме того, в качестве информации управления отображением, конечно, можно использовать SEI управления временными характеристиками AU (au_timing_control SEI), но могут использоваться информация временной метки типа смещения (offset_timestamp_information) и управление представлением AU (au_presentation_control), включенные в расширение PES.

Затем, на этапе ST55, модуль 207 последующей обработки определяет, соответствует или нет частота кадров считываемых данных изображения картинок возможностям дисплея. Когда частота кадров не соответствует возможностям дисплея, на этапе ST56, модуль 207 последующей обработки регулирует частоту кадров в соответствии с возможностями дисплея и передает отрегулированную частоту кадров в дисплей, и после этого, на этапе ST57, обработка заканчивается. С другой стороны, когда частота кадров соответствует возможностям дисплея, на этапе ST58, модуль 207 последующей обработки передает частоту кадров в дисплей без изменения, и затем, на этапе ST57, обработка заканчивается.

Далее будет кратко описана операция, выполняемая устройством 200 приема по фиг. 37. Модуль 202 приема демодулирует сигнал модуляции RF, принятый через приемную антенну, и получает транспортный поток TS. Транспортный поток TS передают в демультиплексор 203. Демультиплексор 203 выполняет фильтрацию PID для всех или некоторых видеопотоков из транспортного потока TS, в соответствии с возможностями декодирования (возможностями временного слоя декодера).

Например, когда возможности декодирования являются высокими, выбирают все видеопотоки основного потока и потока расширения. Кроме того, например, когда возможности декодирования низкие, выбирают заданное количество видеопотоков, включая в себя декодируемый слой и основной поток. Затем кодированные данные изображения картинок выбранных видеопотоков передают из демультиплексора 203, для временного накопления в буфере 204 сжатых данных (cpb).

Декодер 205 выделяет кодированные данные изображения картинок слоя, обозначенного как слой, предназначенный для декодирования, из видеопотоков, накопленных в буфере 204 сжатых данных. Затем декодер 205 декодирует выделенные кодированные данные изображения для соответствующего изображения в моменты времени декодирования соответствующего изображения, передает выделенные кодированные данные изображения для временного накопления в буфер 206 несжатых данных (dpb). В этом случае, когда кодированные данные изображения картинок декодируют, данные изображения ссылочного изображения считывают из буфера 206 несжатых данных и используют в соответствии с необходимостью.

Данные изображения картинок, последовательно считываемых из буфера 206 несжатых данных (dpb) в моменты времени отображения передают в модуль 207 последующей обработки. Модуль 207 последующей обработки выполняет интерполяцию или подвыборку для регулирования частоты кадров данных изображения, для изображений, в соответствии с возможностями дисплея для данных изображения картинок. Данные изображения картинок, обработанных модулем 207 последующей обработки, подают в дисплей и отображают движущееся изображение, сконфигурированное из данных изображения картинки.

Как описано выше, в системе 10 передачи, показанной на фиг. 1, на стороне передачи, когда предусмотрен участок переключения, в котором переключают последовательность видеопотоков, предназначенных для передачи, из первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют, по меньшей мере, в кодированные данные изображения картинки, соответствующей участку переключения и/или расширению PES, и затем передают. Таким образом, например, на стороне приема, возможно управлять считыванием данных изображения картинок из буфера несжатых данных на основе информации управления отображением, и при этом возможно выполнять отличное отображение, без возникновения перерывов отображения, даже при динамическом изменении частоты кадров.

Кроме того, в системе 10 приема и передачи, представленной на фиг. 1, на стороне передачи, информацию идентификации, идентифицирующую последнее изображение первой последовательности, вставляют в кодированные данные изображения последней картинки первой последовательности и/или расширения PES. Таким образом, например, когда предоставляют участок переключения, в которой последовательность видеопотоков, предназначенную для передачи, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, сторона приема может легко идентифицировать последнее изображение первой последовательности на основе информации идентификации.

Кроме того, в системе 10 приема и передачи, представленной на фиг. 1, на стороне передачи, информацию идентификации, идентифицирующую, была или нет вставлена информация управления отображением в данные кодированного изображения, вставляют в слой контейнера. Таким образом, например, на стороне приема, возможно легко идентифицировать, была или нет вставлена информация управления отображением в данные кодированного изображения на основе информации идентификации, без выполнения обработки декодирования для кодируемых данных изображения.

Кроме того, в системе 10 приема и передачи, показанной на фиг. 1, на стороне приема, данные изображения для каждой картинки, полученной в результате декодирования, отбирают в буфер, и когда данные изображения для каждой картинки считывают и выводят в заданные моменты времени, считыванием управляют на основе информации управления отображением, вставленной в данные кодированного изображения и/или расширения PES. Таким образом, становится возможным выполнять отличное отображение, без возникновения перерывов при отображении, например, даже когда происходит динамическое изменение частоты кадров.

2. Модифицированные примеры

В представленном выше варианте осуществления, на стороне передачи, информацию управления отображением вставляют в данные кодированного изображения и/или в расширение PES, на стороне приема, выполняют управление отображением (на основе информации управления отображением. Однако, даже когда информация управления отображением не вставлена в кодированные данные изображения и/или в расширение PES, считают, что сторона приема должна обнаружить последовательность участка переключения передаваемых видеопотоков и выполнять такое же управление отображением. В этом случае, например, возможно получить период отображения для времени из "clock_tick" и "time_scale" для VPS или SPS и обнаружить участок переключения последовательности на основе изменения периода времени отображения.

Кроме того, в представленном выше варианте осуществления, система 10 приема и передачи включает в себя устройство 100 передачи и устройство 200 приема, но конфигурация системы приема и передачи, в которой может применяться настоящая технология, не ограничивается этим. Например, часть устройства 200 приема может иметь телевизионную приставку и монитор, которые соединены через цифровой интерфейс, такой как интерфейс мультимедийных данных высокой четкости (HDMI). Здесь "HDMI" представляет собой зарегистрированный товарный знак.

Кроме того, в представленном выше варианте осуществления было описано соединение в примере, в котором контейнер представляет собой транспортный поток (MPEG-2 TS). Однако, настоящая технология аналогично может применяться в системе, имеющей конфигурацию переданную в терминал приема, также используя сеть, такую как Интернет. При доставке по Интернет доставка часто выполняется через контейнер, имеющий формат МР4 или любой другой формат. Другими словами, контейнеры, имеющие различные форматы, такие как транспортный поток (MPEG-2 TS), используемый в стандарте цифровой широковещательной передачи или МР4, используемый при доставке через Интернет, применяют в качестве контейнера.

Кроме того, описанный выше вариант осуществления был описан в связи с примером, в котором кодирование выполняют таким образом, что интервалы декодирования данных кодированного изображения картинки самого нижнего установленного слоя представляют собой равные интервалы, но существующая технология не обязательно ограничена этим, и кодирование требуется выполнять только через заданные интервалы.

Кроме того, настоящая технология может иметь следующую конфигурацию.

(1) Устройство передачи, включающее в себя:

модуль кодирования изображения для классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодирования данных изображения картинок каждого из классифицированных слоев, разделения множества слоев на заданное количество наборов слоев, и генерирования заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок разделенных наборов слоев, соответственно, при этом модуль кодирования изображения выполняет кодирование так, что по меньшей мере интервалы декодирования кодированных данных изображения картинок набора самого нижнего слоя представляют собой заданные интервалы;

модуль передачи для передачи контейнера заданного формата, содержащего по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества сгенерированных видеопотоков; и

модуль вставки информации для вставки, когда обеспечен участок переключения, в котором осуществляется переключение последовательности видеопотоков, подлежащих передаче, с первой последовательности на вторую последовательность, имеющую отличающуюся частоту кадров, чем у первой последовательности, информации управления отображением по меньшей мере в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения.

(2) Устройство передачи по (1),

в котором информация управления отображением представляет собой информацию для выполнения управления так, что отображение последней картинки первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности, что отображение картинок второй последовательности пропускают.

(3) Устройство передачи по (1),

в котором информация управления отображением представляет собой информацию смещения отображения для управления моментами времени отображения изображений второй последовательности.

(4) Устройство передачи по (1),

в котором контейнер представляет собой транспортный поток, а модуль вставки информации вставляет информацию управления отображением в поле расширения пакета PES.

(5) Устройство передачи по любому из (1)-(4),

в котором модуль вставки информации дополнительно вставляет информацию идентификации, идентифицирующую последнюю картинку первой последовательности, в кодированные данные изображения последней картинки первой последовательности.

(6) Устройство передачи по любому из (1)-(5), дополнительно включающее в себя модуль вставки информации идентификации для вставки информации

идентификации, идентифицирующей, была ли информация управления отображением вставлена в данные кодированного изображения в слое контейнера.

(7) Устройство передачи по (6),

в котором контейнер представляет собой транспортный поток, а модуль вставки информации идентификации вставляет информацию идентификации в контур элементарного видеопотока, размещенного в ассоциации с каждым из заданного количества видеопотоков, в соответствии с таблицей отображения программы, в качестве дескриптора.

(8) Устройство передачи по любому из (1)-(7),

в котором модуль кодирования изображения выполняет такое кодирование, что моменты времени декодирования кодированных данных изображения картинки набора слоя, расположенного выше, чем самый нижний набор слоя, представляют собой промежуточные моменты времени для момента времени декодирования кодированных данных изображения картинок наборов всех слоев, расположенных так, чтобы они были ниже, чем набор слоя.

(9) Способ передачи, включающий в себя:

этап кодирования изображения, на котором классифицируют данные изображения картинок, составляющих данные движущегося изображения на множество слоев, кодируют данные изображения картинок каждого из классифицированных слоев, разделяют множество слоев на заданное количество наборов слоев и генерируют заданное количество видеопотоков, каждый из которых включает в себя кодированные данные изображения картинок каждого разделенного набора слоя, при этом этап кодирования изображения включает в себя подэтап, на котором: выполняют кодирование так, что по меньшей мере интервалы декодирования кодируемых данных изображения картинок набора самого нижнего слоя представляют собой заданные интервалы;

этап передачи, на котором передают, с помощью модуля передачи, контейнер заданного формата, включающий в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя, имеющего заданное количество видеопотоков, сгенерированных на этапе кодирования изображения; и

этап вставки информации, на котором вставляют, когда обеспечен участок переключения, на котором переключают последовательность видеопотоков, подлежащих передаче, с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением, по меньшей мере, в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения.

(10) Устройство приема, включающее в себя:

модуль приема для приема по меньшей мере видеопотока, содержащего кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок наборов слоя, соответственно, при этом заданное количество видеопотоков получают посредством классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодирования множества слоев и разделения множества слоев на заданное количество наборов слоев; и

модуль обработки для обработки принятого видеопотока, при этом по меньшей мере видеопоток, содержащий кодированные данные изображения картинок самого низкого набора слоя из заданного количества видеопотоков, кодируют так, что интервалы декодирования для картинок представляют собой заданные интервалы, и

когда обеспечивается участок переключения, в котором последовательность принимаемого видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют по меньшей мере в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения.

(11) Устройство приема по (10),

в котором информация управления отображением представляет собой информацию для выполнения такого управления, что, отображение последней картинки первой последовательности повторяют заданное количество раз или управляют периодом времени отображения последнего изображения первой последовательности так, что отображение картинок второй последовательности пропускают.

(12) Устройство приема по (10),

в котором информация управления отображением представляет собой информацию смещения отображения для управления моментами времени отображения картинок второй последовательности.

(13) Устройство приема, включающее в себя:

модуль приема для приема контейнера заданного формата, включающего в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, включающих в себя данные кодированного изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодирования множество слоев и разделения множества слоев на заданное количество наборов слоев, причем

по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков кодируют так, что интервалы декодирования изображений представляют собой заданные интервалы, а

когда обеспечен участок переключения, в котором последовательность видеопотока, содержащаяся в принятом контейнере, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информация управления отображением вставлена по меньшей мере в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения;

модуль обработки декодирования картинки для избирательного декодирования кодированных данных изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования видеопотока, включенного в принятый контейнер, отбора данных изображения картинок, полученных в результате декодирования, в буфер, и считывания и вывода данных изображения картинок в заданные моменты времени; и

модуль управления для управления считыванием изображений картинок из буфера в модуль обработки декодирования изображения, на основе информации управления отображением.

(14) Устройство приема по (13),

в котором информация управления отображением представляет собой информацию для выполнения такого управления, что отображение последней картинки для первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что отображение картинки второй последовательности пропускают.

(15) Устройство приема по (13),

в котором информация управления отображением представляет собой информацию смещения отображения для управления моментами времени отображения картинок второй последовательности.

(16) Устройство приема, включающее в себя:

модуль приема для приема контейнера заданного формата, включающего в себя по меньшей мере видеопоток, содержащий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодирования множества слоев, и разделения множества слоев на заданное количество наборов слоя по меньшей мере видеопотока, имеющего кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, кодированных так, что интервалы декодирования картинок представляют собой заданные интервалы;

модуль обнаружения переключения последовательности для обнаружения участка переключения, в котором последовательность видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, на основе видеопотока, включенного в принятый контейнер;

модуль обработки декодирования изображения для избирательного декодирования кодированных данных изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования, из видеопотока, включенного в принимаемый контейнер, отбора данных изображения картинок, полученных в результате декодирования, в буфер, и считывания и вывода данных изображения картинок в заданные моменты времени; и

модуль управления для управления считыванием изображений картинок из буфера, в модуль обработки декодирования изображения, на основе обнаружения вывода, выполняемого модулем обнаружения переключения последовательности.

Одно из основных свойств настоящей технологии состоит в том, что, когда последовательность видеопотоков, предназначенную для передачи, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют по меньшей мере в кодированные данные изображения картинок, соответствующего части переключения или расширения PES, и, таким образом, даже когда частота кадров динамически изменяется, сторона приема может выполнять отличное отображение (см. фиг. 36).

Список номеров ссылочных позиций

10 система приема и передачи

100 устройство передачи

101 CPU

102 Кодер

103 Буфер сжатых данных (cpb)

104 Мультиплексор

105 Модуль передачи

121 Модуль генерирования временного ID

122 Модуль управления задержкой буфера

123 Модуль установки HRD

124 Модуль кодирования набора /SEI параметра

125 Модуль кодирования среза

126 Модуль формирования пакетов NAL

142 Модуль кодирования блока

143-1 - 143-N Модуль формирования пакетов PES

144 Модуль переключения

145 Модуль формирования пакетов транспортирования

200 Устройство приема

201 CPU

202 Модуль приема

203 Демультиплексор

204 Буфер сжатых данных (cpb)

205 Декодер

206 Буфер несжатых данных (dpb)

207 Модуль последующей обработки

231 Модуль обработки PID

232-1 - 232-N Модуль обработки потока

233 Модуль комбинирования потока

241 Анализатор блока

242 Анализатор пакета PES

243 Модуль выделения заголовка PES

244 Модуль выделения полезной нагрузки PES

251 Модуль анализа временного ID

252 Модуль выбора целевого слоя

254 Модуль декодирования

271 Модуль интерполяции

272 Модуль подвыборки

273 Модуль переключения

Изобретение относится к устройству передачи, которое выполняет масштабируемое кодирование для данных изображения, составляющих данные движущегося изображения, и передает кодированные данные изображения. Технический результат заключается в возможности выполнения отображения движущегося изображения при динамическом изменении частоты кадров. Предложено устройство передачи, содержащее, в частности, модуль вставки информации для вставки, когда обеспечен участок переключения, в котором выполняется переключение последовательности видеопотоков, подлежащих передаче, с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информации управления отображением по меньшей мере в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения. Сторона приема выполняет управление отображением картинок, используя информацию управления отображением, и обеспечивает отличное отображение. 5 н. и 11 з.п. ф-лы, 43 ил.

1. Устройство передачи, содержащее:

модуль кодирования изображения для классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодирования данных изображения картинок каждого из классифицированных слоев, разделения множества слоев на заданное количество наборов слоев и генерирования заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок, разделенных наборов слоев, соответственно, причем модуль кодирования изображения выполнен с возможностью осуществления кодирования так, что по меньшей мере интервалы декодирования кодированных данных изображения картинок набора самого нижнего слоя представляют собой заданные интервалы;

модуль передачи для передачи контейнера заданного формата, включающего в себя по меньшей мере видеопоток, содержащий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества сгенерированных видеопотоков; и

модуль вставки информации для вставки, когда обеспечен участок переключения, в котором выполняется переключение последовательности видеопотоков, подлежащих передаче, с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информации управления отображением по меньшей мере в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения.

2. Устройство передачи по п. 1, в котором

информация управления отображением представляет собой информацию для выполнения управления так, что отображение последней картинки первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что отображение картинки второй последовательности пропускают.

3. Устройство передачи по п. 1, в котором

информация управления отображением представляет собой информацию смещения отображения для управления моментами времени отображения изображений второй последовательности.

4. Устройство передачи по п. 1, в котором

контейнер представляет собой транспортный поток, а

модуль вставки информации выполнен с возможностью вставки информации управления отображением в поле расширения пакета пакетизированного элементарного потока (PES).

5. Устройство передачи по п. 1, в котором

модуль вставки информации дополнительно выполнен с возможностью вставки информации идентификации, идентифицирующей последнюю картинку первой последовательности, в кодированных данных изображения последней картинки первой последовательности.

6. Устройство передачи по п. 1, дополнительно содержащее:

модуль вставки информации идентификации, выполненный с возможностью вставки информации идентификации, идентифицирующей, вставлена ли информация управления отображением в данные кодированного изображения в слое контейнера.

7. Устройство передачи по п. 6, в котором

контейнер представляет собой транспортный поток, а

модуль вставки информации идентификации выполнен с возможностью вставки информации идентификации в контур элементарного видеопотока, размещенного в ассоциации с каждым из заданного количества видеопотоков, в соответствии с таблицей отображения программы, в качестве дескриптора.

8. Устройство передачи по п. 1, в котором

модуль кодирования изображения выполнен с возможностью осуществления кодирования так, что моменты времени декодирования кодированных данных изображения картинок набора слоя, расположенного выше, чем самый нижний набор слоя, представляют собой промежуточные моменты времени для момента времени декодирования кодированных данных изображения картинок наборов всех слоев, ниже, чем указанный набор слоя.

9. Способ передачи, содержащий:

этап кодирования изображения, на котором классифицируют данные изображения картинок, составляющих данные движущегося изображения на множество слоев, кодируют данные изображения картинок каждого из классифицированных слоев, разделяют множество слоев на заданное количество наборов слоев и генерируют заданное количество видеопотоков, каждый из которых включает в себя кодированные данные изображения картинок каждого разделенного набора слоя, причем этап кодирования изображения включает в себя подэтап, на котором осуществляют кодирование так, что по меньшей мере интервалы декодирования кодируемых данных изображения картинок набора самого нижнего слоя представляют собой заданные интервалы;

этап передачи, на котором передают, с помощью модуля передачи, контейнер заданного формата, содержащий по меньшей мере видеопоток, включающий в себя кодированные данные изображения картинок набора самого нижнего слоя, имеющего заданное количество видеопотоков, сгенерированных на этапе кодирования изображения; и

этап вставки информации, на котором вставляют, когда обеспечен участок переключения, в котором переключают последовательность видеопотоков, подлежащих передаче, с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением по меньшей мере в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения.

10. Устройство приема, содержащее:

модуль приема для приема по меньшей мере видеопотока, содержащего кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, содержащих кодированные данные изображения картинок наборов слоя, соответственно, причем заданное количество видеопотоков получены посредством классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодирования множества слоев и разделения множества слоев на заданное количество наборов слоев; и

модуль обработки для обработки принятого видеопотока, причем

по меньшей мере видеопоток, содержащий кодированные данные изображения картинки самого низкого набора слоя из заданного количества видеопотоков, кодирован так, что интервалы декодирования для картинок представляют собой заданные интервалы, при этом

когда обеспечен участок переключения, в котором последовательность принимаемого видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем первая последовательность, информация управления отображением вставлена по меньшей мере в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения.

11. Устройство приема по п. 10, в котором

информация управления отображением представляет собой информацию для осуществления управления так, что отображение последней картинки первой последовательности повторяется заданное количество раз или управления периодом времени отображения последней картинки первой последовательности так, что отображение картинки второй последовательности пропускают.

12. Устройство приема по п. 10, в котором

информация управления отображением представляет собой информацию смещения отображения для управления моментами времени отображения картинок второй последовательности.

13. Устройство приема, содержащее:

модуль приема для приема контейнера заданного формата, содержащего по меньшей мере видеопоток, включающий в себя кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, включающих в себя данные кодированного изображения картинок наборов слоев, соответственно, причем заданное количество видеопотоков получены посредством классификации данных изображения, картинок, составляющих данные движущегося изображения, на множество слоев, кодирования множества слоев и разделения множества слоев на заданное количество наборов слоев, при этом

по меньшей мере видеопоток, содержащий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, кодирован так, что интервалы декодирования картинок представляют собой заданные интервалы, при этом

когда обеспечен участок переключения, в котором последовательность видеопотока, включенную в принятый контейнер, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информация управления отображением вставлена по меньшей мере в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения;

модуль обработки декодирования изображения для избирательного декодирования кодированных данные изображения картинок слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования из видеопотока, содержащегося в принятом контейнере, отбора данных изображения картинок, полученных в результате декодирования, в буфер, и считывания и вывода данных изображения картинок в заданные моменты времени; и

модуль управления для управления считыванием изображений картинок из буфера в модуль обработки декодирования изображения, на основе информации управления отображением.

14. Устройство приема по п. 13, в котором

информация управления отображением представляет собой информацию для осуществления управления так, что отображение последней картинки для первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что отображение картинок второй последовательности пропускают.

15. Устройство приема по п. 13, в котором

информация управления отображением представляет собой информацию смещения отображения для управления моментами времени отображения картинок второй последовательности.

16. Устройство приема, содержащее:

модуль приема для приема контейнера заданного формата, содержащего по меньшей мере видеопоток, включающий в себя кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, содержащих кодированные данные изображения картинок наборов слоев, соответственно, причем заданное количество видеопотоков получено посредством классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодирования множества слоев и разделения множества слоев на заданное количество наборов слоев по меньшей мере видеопотока, содержащего кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, кодированных так, что интервалы декодирования картинок представляют собой заданные интервалы;

модуль обнаружения переключения последовательности для обнаружения участка переключения, в котором последовательность видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем первая последовательность, на основе видеопотока, содержащегося в принятом контейнере;

модуль обработки декодирования изображения для избирательного декодирования кодированных данных изображения картинок слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования, из видеопотока, содержащегося в принятом контейнере, отбора данных изображения картинок, полученных в результате декодирования, в буфер, и считывания и вывода данных изображения картинок в заданные моменты времени; и

модуль управления для управления считыванием изображений картинок из буфера в модуль обработки декодирования изображения, на основе обнаружения вывода, выполняемого модулем обнаружения переключения последовательности.