СПОСОБ КОДИРОВАНИЯ, СПОСОБ ДЕКОДИРОВАНИЯ, УСТРОЙСТВО КОДИРОВАНИЯ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ И УСТРОЙСТВО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ Российский патент 2017 года по МПК G06T9/00 H04N19/132 H04N19/423 H04N19/70 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к способам кодирования изображений, способам декодирования изображений, устройствам кодирования изображений, устройствам декодирования изображений и устройствам кодирования и декодирования изображений.

УРОВЕНЬ ТЕХНИКИ

[0002] Чтобы сжимать аудиоданные и видеоданные, было разработано несколько стандартов кодирования аудио и стандартов кодирования видео. Примеры стандарта кодирования видео включают в себя стандарт ITU-T, называемый H.26x, и стандарт ISO/IEC, называемый MPEG-X (см., например, непатентный документ (NPL) 1). Самый актуальный стандарт кодирования видео представляет собой стандарт, называемый H.264/MPEG-4AVC. Кроме того, стандарт кодирования следующего поколения, называемый "стандартом высокоэффективного кодирования видео (HEVC)", представляет собой объект исследования (см., например, непатентный документ (NPL) 2).

СПИСОК БИБЛИОГРАФИЧЕСКИХ ССЫЛОК

НЕПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] NPL 1. ISO/IEC 14496-10 "MPEG-4 Part 10 Advanced Video Coding"

NPL 2. Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting: Сан-Хосе, Калифорния, США, 1-10 февраля 2012 года, JCTVC-H1003, "High Efficiency Video Coding (HEVC) text specification draft 6", http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0004] В таком способе кодирования изображений и способе декодирования изображений, требуется уменьшение нагрузки по обработке.

[0005] Таким образом, настоящее изобретение имеет цель предоставления способа кодирования изображений или способа декодирования изображений, которые обеспечивают уменьшение нагрузки по обработке.

РЕШЕНИЕ ЗАДАЧИ

[0006] Чтобы достигать вышеуказанной цели, способ кодирования изображений согласно аспекту настоящего изобретения представляет собой способ кодирования изображений для кодирования одной или более единиц, которые включены в картинку, причем способ кодирования изображений содержит: формирование первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера посредством гипотетического декодера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; формирование второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; и формирование кодированного потока битов, включающего в себя кодированные данные, первый флаг и второй флаг.

[0007] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, такого как постоянная память на компакт-дисках (CD-ROM), а также могут быть реализованы с использованием любой комбинации систем, способов, интегральных схем, компьютерных программ и носителей записи.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[0008] Настоящее изобретение может предоставлять способ кодирования изображений или способ декодирования изображений, которые обеспечивают уменьшение нагрузки по обработке.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009]

Фиг. 1 показывает пример синтаксиса VUI согласно варианту 1 осуществления.

Фиг. 2 показывает пример синтаксиса SEI синхронизации картинок согласно варианту 1 осуществления.

Фиг. 3 показывает пример синтаксиса VUI согласно варианту 1 осуществления.

Фиг. 4 показывает пример синтаксиса SEI периода буферизации согласно варианту 1 осуществления.

Фиг. 5 показывает пример синтаксиса SEI синхронизации картинок согласно варианту 1 осуществления.

Фиг. 6A является блок-схемой последовательности операций способа декодирования изображений согласно варианту 1 осуществления.

Фиг. 6B является блок-схемой последовательности операций способа кодирования изображений согласно варианту 1 осуществления.

Фиг. 7A является блок-схемой устройства декодирования изображений согласно варианту 1 осуществления.

Фиг. 7B является блок-схемой модуля определения моментов времени извлечения, включенного в устройство декодирования изображений согласно варианту 1 осуществления.

Фиг. 8A является блок-схемой устройства кодирования изображений согласно варианту 1 осуществления.

Фиг. 8B является блок-схемой модуля определения моментов времени извлечения, включенного в устройство кодирования изображений согласно варианту 1 осуществления.

Фиг. 9 показывает пример синтаксиса SEI задержки CPB для единиц декодирования согласно варианту 1 осуществления.

Фиг. 10 показывает пример структуры кодированного потока битов согласно варианту 1 осуществления.

Фиг. 11 показывает пример структуры кодированного потока битов согласно варианту 1 осуществления.

Фиг. 12 показывает пример дескриптора согласно варианту 1 осуществления.

Фиг. 13 является блок-схемой устройства декодирования изображений (STD) согласно варианту 1 осуществления.

Фиг. 14A показывает пример заполнения буфера согласно варианту 1 осуществления в случае, если извлечение выполняется в расчете на единицу доступа.

Фиг. 14B показывает пример заполнения буфера согласно варианту 1 осуществления в случае, если извлечение выполняется в расчете на единицу декодирования.

Фиг. 15 является блок-схемой последовательности операций способа декодирования изображений согласно варианту 1 осуществления.

Фиг. 16 является блок-схемой последовательности операций способа кодирования изображений согласно варианту 1 осуществления.

Фиг. 17 является блок-схемой кодера согласно варианту 1 осуществления.

Фиг. 18 является блок-схемой декодера согласно варианту 1 осуществления.

Фиг. 19 иллюстрирует общую конфигурацию системы предоставления контента для реализации услуг распространения контента.

Фиг. 20 иллюстрирует общую конфигурацию системы цифрового вещания.

Фиг. 21 иллюстрирует блок-схему, иллюстрирующую пример конфигурации телевизионного приемника.

Фиг. 22 иллюстрирует блок-схему, иллюстрирующую пример конфигурации модуля воспроизведения/записи информации, который считывает и записывает информацию с и на носитель записи, который является оптическим диском.

Фиг. 23 иллюстрирует пример конфигурации носителя записи, который является оптическим диском.

Фиг. 24A иллюстрирует пример сотового телефона.

Фиг. 24B является блок-схемой, показывающей пример конфигурации сотового телефона.

Фиг. 25 иллюстрирует структуру мультиплексированных данных.

Фиг. 26 схематично иллюстрирует то, как каждый поток мультиплексируется в мультиплексированные данные.

Фиг. 27 иллюстрирует то, как видеопоток сохраняется в потоке PES-пакетов.

Фиг. 28 иллюстрирует структуру TS-пакетов и исходных пакетов в мультиплексированных данных.

Фиг. 29 иллюстрирует структуру данных PMT.

Фиг. 30 иллюстрирует внутреннюю структуру информации мультиплексированных данных.

Фиг. 31 иллюстрирует внутреннюю структуру информации атрибутов потока.

Фиг. 32 иллюстрирует этапы для идентификации видеоданных.

Фиг. 33 иллюстрирует пример конфигурации интегральной схемы для реализации способа кодирования движущихся картинок и способа декодирования движущихся картинок согласно каждому из вариантов осуществления.

Фиг. 34 иллюстрирует конфигурацию для переключения между частотами возбуждения.

Фиг. 35 иллюстрирует этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 36 показывает пример таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения.

Фиг. 37A является схемой, показывающей пример конфигурации для совместного использования узла модуля процессора сигналов.

Фиг. 37B является схемой, показывающей другой пример конфигурации для совместного использования узла модуля процессора сигналов.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0010] Базовая основа формирования знаний настоящего изобретения

Относительно традиционных технологий авторы изобретения обнаружили следующую проблему.

[0011] Далее описывается устройство декодирования изображений согласно сравнительному примеру настоящего изобретения.

[0012] Единица доступа (например, эквивалентная картинке) в видео разделяется на единицы декодирования. Кроме того, для каждой из единиц декодирования, задается момент времени извлечения, который представляет собой момент времени, когда устройство декодирования изображений извлекает кодированные данные единицы декодирования из буфера кодированных картинок (CPB). Вследствие этого, устройство декодирования изображений допускает последовательное декодирование кодированных данных единицы декодирования, как только кодированные данные готовы. За счет этого, устройство декодирования изображений не должно ожидать завершения приема всех данных единицы доступа и в силу этого дает возможность уменьшения времени задержки.

[0013] Все параметры для определения момента времени для извлечения каждой из единиц декодирования из CPB описываются, например, в SEI синхронизации картинок. Соответственно, устройство декодирования изображений должно синтаксически анализировать SEI синхронизации картинок в единице доступа каждый раз, чтобы получать момент времени извлечения единицы декодирования. Таким образом, авторы изобретения обнаружили проблему повышения загрузки устройства декодирования изображений.

[0014] Кроме того, возможный способ передачи информации относительно момента времени извлечения единицы декодирования из устройства кодирования изображений в устройство декодирования изображений представляет собой способ включения информации относительно момента времени извлечения каждой из единиц декодирования в кодированный поток битов. Тем не менее, интервалы между моментами времени извлечения единиц декодирования должны отличаться друг от друга в некоторых случаях и могут быть идентичными друг другу в других случаях. Авторы изобретения обнаружили, что в случае, если используются идентичные интервалы, включение информации относительно момента времени извлечения каждой из единиц декодирования в кодированный поток битов, как указано выше, приводит к кодированному потоку битов с избыточной информацией, включенной в него.

[0015] Способ кодирования изображений согласно аспекту настоящего изобретения представляет собой способ кодирования изображений для кодирования одной или более единиц, которые включаются в картинку, причем способ кодирования изображений содержит: формирование первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера посредством гипотетического декодера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; формирование второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; и формирование кодированного потока битов, включающего в себя кодированные данные, первый флаг и второй флаг.

[0016] За счет этого, способ кодирования изображений позволяет задавать постоянные временные интервалы, с которыми устройство декодирования изображений удаляет кодированные данные в расчете на единицу из буфера. Это дает возможность, например, уменьшения нагрузки по обработке в устройстве декодирования изображений.

[0017] Например, имеется вероятность того, что при формировании кодированного потока битов второй флаг включается в управляющую информацию в расчете на группу картинок, которая включается в кодированный поток битов и предоставляется в расчете на группу картинок, включающую в себя одну или более картинок.

[0018] Например, имеется вероятность того, что способ кодирования изображений дополнительно содержит формирование информации общего интервала, когда второй флаг указывает то, что интервал является постоянным, причем информация общего интервала указывает интервал, и при формировании кодированного потока битов, информация общего интервала включается в управляющую информацию в расчете на картинку, которая включается в кодированный поток битов и предоставляется в расчете на картинку.

[0019] Например, имеется вероятность того, что информация общего интервала включает в себя временной интервал между картинками и общее число единиц, включенных в одну картинку.

[0020] Например, имеется вероятность того, что способ кодирования изображений дополнительно содержит формирование информации переменного интервала, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц, и при формировании кодированного потока битов, информация переменного интервала включается в управляющую информацию в расчете на картинку.

[0021] Например, имеется вероятность того, что способ кодирования изображений дополнительно содержит формирование информации переменного интервала, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц, и при формировании кодированного потока битов, информация переменного интервала включается в управляющую информацию в расчете на единицу, которая включается в кодированный поток битов и предоставляется в расчете на единицу.

[0022] Например, имеется вероятность того, что кодированный поток битов включает в себя транспортный поток и дескриптор, и при формировании кодированного потока битов, второй флаг включается в дескриптор.

[0023] Кроме того, способ декодирования изображений согласно аспекту настоящего изобретения представляет собой способ декодирования изображений для декодирования кодированных данных в расчете на единицу, включенных в одну или более единиц, которые включаются в картинку, причем способ декодирования изображений содержит: получение, из кодированного потока битов, включающего в себя кодированные данные, первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; получение, из кодированного потока битов, второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; удаление кодированных данных из буфера в расчете на единицу и с постоянным или произвольным интервалом согласно второму флагу; и декодирование удаленных кодированных данных.

[0024] За счет этого, способ декодирования изображений дает возможность уменьшения нагрузки по обработке.

[0025] Например, имеется вероятность того, что при получении второго флага второй флаг получается из управляющей информации в расчете на группу картинок, которая включается в кодированный поток битов и предоставляется в расчете на группу картинок, включающую в себя одну или более картинок.

[0026] Например, имеется вероятность того, что способ декодирования изображений дополнительно содержит получение информации общего интервала из управляющей информации в расчете на картинку, когда второй флаг указывает то, что интервал является постоянным, причем информация общего интервала указывает интервал, и управляющая информация в расчете на картинку включается в кодированный поток битов и предоставляется в расчете на картинку, и при удалении, когда второй флаг указывает то, что интервал является постоянным, кодированные данные удаляются из буфера в расчете на единицу и с интервалом, указываемым в информации общего интервала.

[0027] Например, имеется вероятность того, что информация общего интервала указывает временной интервал между картинками и общее число единиц, включенных в одну картинку, и при удалении, интервал вычисляется с использованием временного интервала между картинками и общего числа единиц, и кодированные данные удаляются из буфера в расчете на единицу и с вычисленным интервалом.

[0028] Например, имеется вероятность того, что способ декодирования изображений дополнительно содержит получение информации переменного интервала из управляющей информации в расчете на картинку, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц, и при удалении, когда второй флаг указывает то, что интервал является произвольным, кодированные данные удаляются из буфера в расчете на единицу и с интервалом, указываемым в информации переменного интервала.

[0029] Например, имеется вероятность того, что способ декодирования изображений дополнительно содержит получение информации переменного интервала из управляющей информации в расчете на единицу, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц, и управляющая информация в расчете на единицу включается в кодированный поток битов и предоставляется в расчете на единицу, и при удалении, когда второй флаг указывает то, что интервал является произвольным, кодированные данные удаляются из буфера в расчете на единицу и с интервалом, указываемым в информации переменного интервала.

[0030] Например, имеется вероятность того, что кодированный поток битов включает в себя транспортный поток и дескриптор, и при получении второго флага, второй флаг получается из дескриптора.

[0031] Кроме того, устройство кодирования изображений согласно аспекту настоящего изобретения представляет собой устройство кодирования изображений для кодирования одной или более единиц, которые включены в картинку, причем устройство кодирования изображений содержит: схему управления; и хранилище, доступное из схемы управления, при этом схема управления исполняет: формирование первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера посредством гипотетического декодера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; формирование второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; и формирование кодированного потока битов, включающего в себя кодированные данные, первый флаг и второй флаг.

[0032] За счет этого, устройство кодирования изображений допускает задание постоянных временных интервалов, с которыми устройство декодирования изображений удаляет кодированные данные в расчете на единицу из буфера. Это дает возможность, например, уменьшения нагрузки по обработке в устройстве декодирования изображений.

[0033] Кроме того, устройство декодирования изображений согласно аспекту настоящего изобретения представляет собой устройство декодирования изображений для декодирования кодированных данных в расчете на единицу, включенных в одну или более единиц, которые включаются в картинку, причем устройство декодирования изображений содержит: схему управления; и хранилище, доступное из схемы управления, при этом схема управления исполняет: получение, из кодированного потока битов, включающего в себя кодированные данные, первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера в расчете на единицу, причем буфер предназначен для сохранения кодированных данных; получение, из кодированного потока битов, второго флага, указывающего то, является ли интервал между временами удаления единиц постоянным или произвольным, когда время удаления задается в расчете на единицу; удаление кодированных данных из буфера в расчете на единицу и с постоянным или произвольным интервалом согласно второму флагу; и декодирование удаленных кодированных данных.

[0034] За счет этого, устройство декодирования изображений дает возможность уменьшения нагрузки по обработке.

[0035] Кроме того, устройство кодирования и декодирования изображений согласно аспекту настоящего изобретения содержит вышеуказанное устройство кодирования изображений и вышеуказанное устройство декодирования изображений.

[0036] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, такого как постоянная память на компакт-дисках (CD-ROM), а также могут быть реализованы с использованием любой комбинации систем, способов, интегральных схем, компьютерных программ и носителей записи.

[0037] Ниже подробно описываются примерные варианты осуществления со ссылкой на чертежи.

[0038] Каждый из вариантов осуществления, описанных ниже, показывает конкретный пример настоящего изобретения. Числовые значения, формы, материалы, структурные элементы, компоновка и соединение структурных элементов, этапы, порядок обработки этапов и т.д., показанные в следующих примерных вариантах осуществления, являются просто примерами и, следовательно, не ограничивают настоящее изобретение. Следовательно, из структурных элементов в нижеприведенных примерных вариантах осуществления, структурные элементы, не изложенные в любом из независимых пунктов формулы изобретения, указывающих наиболее обобщенную идею, описываются как произвольные структурные элементы.

[0039] Первый вариант осуществления

Устройство кодирования изображений и устройство декодирования изображений согласно этому варианту осуществления используют два режима: интервал между моментами времени для извлечения единиц декодирования в единице доступа из CPB является (i) постоянным в одном режиме (режиме с общим интервалом) и (ii) произвольным в другом режиме (режиме с переменным интервалом). Устройство кодирования изображений допускает, в качестве гипотетического эталонного декодера, то устройство декодирования изображений, в которое передается информация, и переключает способ формирования и передачи информации моментов времени извлечения для каждого из режимов.

[0040] В качестве примера, устройство кодирования изображений и устройство декодирования изображений по существу используют режим с общим интервалом. Устройство кодирования изображений и устройство декодирования изображений используют режим с переменным интервалом для видео, которое в значительной степени отличается по объему кода в зависимости от области в единице доступа.

[0041] Кроме того, устройство кодирования изображений может включать информацию, указывающую интервал между моментами времени извлечения, вместо единицы доступа, в единицу (например, единицу картинок) на более высоком уровне по сравнению с такой единицей доступа, как набор параметров последовательности (SPS). Вследствие этого, устройство декодирования изображений не должно выполнять синтаксический анализ в расчете на единицу доступа.

[0042] Устройство декодирования изображений синтаксически анализирует единицу на более высоком уровне по сравнению с такой единицей доступа, как SPS (более конкретно, информацией применимости видео (VUI) в SPS), чтобы определять то, текущий режим представляет собой режим с общим интервалом или режим с переменным интервалом, и согласно определенному режиму, переключает способ получения информации моментов времени извлечения.

[0043] Кроме того, устройство декодирования изображений, которое поддерживает только режим с общим интервалом, может начинать декодирование в расчете на единицу доступа без начала декодирования в расчете на единицу декодирования, когда определено, что текущий режим представляет собой режим с переменным интервалом.

[0044] Кодированный поток, в общем, передается в форме мультиплексированного с использованием транспортного потока (TS) MPEG-2, MP4, транспортного протокола реального времени (RTP) и т.п. Таким образом, устройство кодирования изображений может передавать в мультиплексном слое информацию, общую для последовательностей (наборов картинок), к примеру, информацию для идентификации вышеуказанного режима, и интервал между моментами времени извлечения в режиме с общим интервалом.

[0045] Ниже описывается первый пример синтаксиса согласно этому варианту осуществления.

[0046] Фиг. 1 показывает пример синтаксиса VUI, включенной в SPS. Фиг. 2 показывает пример синтаксиса SEI синхронизации картинок, которая назначается каждой единице доступа.

[0047] Флаг переменного интервала (variable_sub_pic_removal_period_flag), который представляет собой информацию, указывающую то, представляет собой интервал между моментами времени для извлечения из CPB для единиц декодирования в единице доступа режим с общим интервалом или режим с переменным интервалом, сохраняется в VUI. Кроме того, устройство декодирования изображений определяет интервал между моментами времени извлечения с использованием параметра в VUI в случае режима с общим интервалом и определяет интервал между моментами времени извлечения с использованием параметра в SEI синхронизации картинок в случае режима с переменным интервалом.

[0048] Например, когда флаг переменного интервала (variable_sub_pic_removal_period_flag) равен 0, интервал между моментами времени для извлечения из CPB является общим для единиц декодирования в единице доступа (режим с общим интервалом). Помимо этого, интервал между моментами времени извлечения устанавливается посредством последующего синтаксиса в VUI.

[0049] С другой стороны, когда флаг переменного интервала равен 1, интервал между моментами времени для извлечения из CPB является произвольным для единиц декодирования в единице доступа (режим с переменным интервалом). Помимо этого, интервал между моментами времени извлечения устанавливается посредством SEI синхронизации картинок, которая назначается каждой единице доступа.

[0050] Помимо этого, флаг единицы декодирования (sub_pic_cpb_flag), включенный в VUI, указывает то, выполняется задание процесса декодирования (извлечение кодированных данных из CPB) в расчете на единицу доступа (картинку) или в расчете на единицу декодирования. Когда флаг единицы декодирования равен 0, это указывает в расчете на единицу доступа, а когда флаг единицы декодирования равен 1, это указывает в расчете на единицу декодирования.

[0051] Определения других синтаксисов являются такими, как указано, например, в NPL 2.

[0052] Когда флаг единицы декодирования (sub_pic_cpb_flag) и флаг переменного интервала (variable_sub_pic_removal_period_flag) равны 1, num_decoding_units_minus1 и cpb_removal_delay существуют в SEI синхронизации картинок. Число единиц декодирования в единице доступа составляет num_decoding_units_minus1+1. Кроме того, cpb_removal_delay устанавливает момент времени для извлечения каждой из единиц декодирования из CPB.

[0053] В других случаях, num_decoding_units_minus1 не существует в SEI синхронизации картинок, и его значение рассматривается в качестве 0.

[0054] Когда флаг единицы декодирования (sub_pic_cpb_flag) равен 0, извлечение из CPB выполняется в расчете на единицу доступа, и момент времени извлечения определяется на основе cpb_removal_delay.

[0055] Когда флаг единицы декодирования равен 1, и флаг переменного интервала равен 0 (sub_pic_cpb_flag=1 и variable_sub_pic_removal_period_flag=0), извлечение из CPB выполняется в расчете на единицу декодирования, и момент времени извлечения определяется на основе параметра в VUI.

[0056] Ниже описывается второй пример синтаксиса согласно этому варианту осуществления.

[0057] Фиг. 3 показывает пример синтаксиса VUI, включенной в SPS. Фиг. 4 показывает пример синтаксиса SEI периода буферизации, включенной в SPS. Фиг. 5 показывает пример синтаксиса SEI синхронизации картинок, которая назначается каждой единице доступа.

[0058] В этом примере синтаксиса, флаг переменного интервала (variable_sub_pic_removal_period_flag), который представляет собой информацию, указывающую то, представляет собой интервал между моментами времени извлечения единиц декодирования в единице доступа режим с общим интервалом или режим с переменным интервалом, сохраняется в SEI периода буферизации. Здесь, SEI периода буферизации включается в SPS, например, как VUI. Другими словами, SEI периода буферизации формируется в расчете на набор картинок.

[0059] Кроме того, устройство декодирования изображений определяет интервал между моментами времени извлечения с использованием параметра в VUI в случае режима с общим интервалом и определяет интервал между моментами времени извлечения с использованием параметра в SEI синхронизации картинок в случае режима с переменным интервалом.

[0060] Другими словами, устройство кодирования изображений устанавливает флаг переменного интервала (variable_sub_pic_removal_period_flag) в SEI периода буферизации.

[0061] Когда флаг единицы декодирования (sub_pic_cpb_flag) равен 1, устройство кодирования изображений может сохранять, в SEI периода буферизации, removal_time_offset, установленный в hrd_parameters() в VUI.

[0062] Кроме того, устройство кодирования изображений может сохранять, в SEI периода буферизации, параметр (num_ctbs_in_subpicture_minus1 и picture_interval) для определения момента времени для извлечения единицы декодирования из CPB в режиме с общим интервалом.

[0063] Далее описывается последовательность операций способа декодирования изображений, который выполняется посредством устройства декодирования изображений согласно этому варианту осуществления.

[0064] Фиг. 6A является блок-схемой последовательности операций способа декодирования изображений согласно этому варианту осуществления.

[0065] Во-первых, устройство декодирования изображений определяет то, извлекаются кодированные данные из CPB в расчете на единицу доступа или в расчете на единицу декодирования, на основе значения флага единицы декодирования (sub_pic_cpb_flag), включенного в VUI (S101).

[0066] Когда извлечение из CPB выполняется в расчете на единицу декодирования ("Да" на S102), устройство декодирования изображений определяет то, какой из режима с общим интервалом и режима с переменным интервалом представляет собой текущий режим, на основе значения флага переменного интервала (variable_sub_pic_removal_period_flag), включенного в VUI (S103).

[0067] Когда текущий режим представляет собой режим с общим интервалом ("Да" на S104), устройство декодирования изображений определяет момент времени извлечения единицы декодирования на основе параметра (num_ctbs_in_subpicture_minus1 и picture_interval), включенного в VUI (S105).

[0068] С другой стороны, когда текущий режим представляет собой режим с переменным интервалом ("Нет" на S104), устройство декодирования изображений определяет момент времени извлечения единицы декодирования на основе параметра (cpb_removal_delay), включенного в SEI синхронизации картинок (S106).

[0069] Кроме того, когда извлечение из CPB выполняется в расчете на единицу доступа ("Нет" на S102), устройство декодирования изображений определяет момент времени извлечения единицы доступа на основе параметра, включенного в SEI синхронизации картинок (S107).

[0070] Далее описывается последовательность операций способа кодирования изображений, который выполняется посредством устройства кодирования изображений согласно этому варианту осуществления.

[0071] Фиг. 6B является блок-схемой последовательности операций способа кодирования изображений согласно этому варианту осуществления.

[0072] Во-первых, устройство кодирования изображений определяет то, извлекаются кодированные данные из CPB в расчете на единицу доступа или в расчете на единицу декодирования. Устройство кодирования изображений затем сохраняет, в VUI, флаг единицы декодирования (sub_pic_cpb_flag), указывающий результат определения (S201).

[0073] Когда извлечение из CPB выполняется в расчете на единицу декодирования ("Да" на S202), устройство кодирования изображений определяет то, какой из режима с общим интервалом и режима с переменным интервалом представляет собой текущий режим, и сохраняет, в VUI, флаг переменного интервала (variable_sub_pic_removal_period_flag), указывающий результат определения (S203).

[0074] Когда текущий режим представляет собой режим с общим интервалом ("Да" на S204), устройство кодирования изображений определяет момент времени извлечения единицы декодирования и сохраняет, в VUI, параметр (num_ctbs_in_subpicture_minus2 и picture_interval), указывающий результат определения (S205).

[0075] С другой стороны, когда текущий режим представляет собой режим с переменным интервалом ("Нет" на S204), устройство кодирования изображений сохраняет, в SEI синхронизации картинок, параметр (cpb_removal_delay) для определения момента времени извлечения единицы декодирования (S206).

[0076] Когда извлечение из CPB выполняется в расчете на единицу доступа ("Нет" на S202), устройство кодирования изображений сохраняет, в SEI синхронизации картинок, параметр для определения момента времени извлечения единицы доступа (S207).

[0077] Следует отметить, что согласно инструкциям, предоставленным снаружи (извне), устройство кодирования изображений, например, выбирает единицу извлечения (извлечение в расчете на единицу доступа или извлечение в расчете на единицу декодирования) кодированных данных из CPB, выбирает режим с общим интервалом или режим с переменным интервалом, определяет момент времени извлечения единицы декодирования и определяет момент времени извлечения единицы доступа. Помимо этого, устройство кодирования изображений может выполнять выбор или определение согласно информации, полученной снаружи, свойствам входного изображения и т.п.

[0078] Здесь, в случае если используется режим с общим интервалом, устройство кодирования изображений регулирует процесс кодирования таким образом, что объем данных в каждой единице декодирования попадает в некоторый диапазон. Это дает возможность уменьшения задержки в процессе декодирования в устройстве декодирования изображений, которая обусловлена тем, что данные в некоторой единице декодирования имеют большой объем. Это означает то, что режим с общим интервалом является полезным для случая, в котором требуется работа в режиме реального времени. С другой стороны, в режиме с переменным интервалом, устройство кодирования изображений может адаптивно изменять объем данных в единице декодирования по мере необходимости. За счет этого, можно выделять большой объем данных, например, для единицы декодирования, которая требует большого объема данных для того, чтобы предоставлять некоторую степень качества изображений. Это означает то, что режим с переменным интервалом является полезным для случая, в котором приоритет предоставляется качеству изображений.

[0079] Далее описывается структура устройства декодирования изображений согласно этому варианту осуществления.

[0080] Фиг. 7A является блок-схемой устройства декодирования изображений согласно этому варианту осуществления. Как показано на Фиг. 7A, устройство 300 декодирования изображений включает в себя CPB 301, модуль 302 определения моментов времени извлечения, декодер 303 и DPB 304.

[0081] CPB 301 является буфером (памятью) для временного сохранения кодированного потока.

[0082] Модуль 302 определения внешних моментов времени определяет момент времени извлечения в расчете на единицу доступа из CPB 301 и момент времени извлечения в расчете на единицу декодирования из CPB 301.

[0083] Модуль 303 декодирования получает кодированные данные из CPB 301 в расчете на единицу доступа или в расчете на единицу декодирования в моменты времени извлечения, определенные посредством модуля 302 определения моментов времени извлечения, декодирует полученные кодированные данные и сохраняет результирующие декодированные данные в DPB 304.

[0084] DPB 304 является буфером (памятью) для временного сохранения декодированных данных.

[0085] Фиг. 7B является блок-схемой модуля 302 определения моментов времени извлечения. Как показано на Фиг. 7B, модуль 302 определения моментов времени извлечения включает в себя модуль 311 определения единиц извлечения, модуль 312 определения моментов времени извлечения единиц доступа, модуль 313 определения режима, модуль 314 определения моментов времени извлечения единиц декодирования и модуль 315 передачи моментов времени извлечения.

[0086] Модуль 311 определения единиц извлечения определяет то, извлекаются кодированные данные из CPB 301 в расчете на единицу доступа или в расчете на единицу декодирования.

[0087] Модуль 312 определения моментов времени извлечения единиц доступа определяет момент времени для извлечения единицы доступа из CPB 301, когда кодированные данные извлекаются в расчете на единицу доступа.

[0088] Модуль 313 определения режима определяет то, какой из режима с общим интервалом и режима с переменным интервалом представляет собой текущий режим, когда кодированные данные извлекаются в расчете на единицу декодирования.

[0089] Модуль 314 определения моментов времени извлечения единиц декодирования определяет, с использованием результата определения, выполненного посредством модуля 313 определения режима, момент времени для извлечения каждой из единиц декодирования, включенных в единицу доступа, из CPB 301.

[0090] Модуль 315 передачи моментов времени извлечения передает, в декодер 303, момент времени извлечения единицы доступа, определенный посредством модуля 312 определения моментов времени извлечения единиц доступа, или момент времени извлечения единицы декодирования, определенный посредством модуля 314 определения моментов времени извлечения единиц декодирования.

[0091] Фиг. 8A является блок-схемой устройства декодирования изображений согласно этому варианту осуществления. Как показано на Фиг. 8A, устройство 400 кодирования изображений включает в себя модуль 402 определения моментов времени извлечения и кодер 403.

[0092] Модуль 402 определения моментов времени извлечения определяет, для устройства декодирования изображений, момент времени извлечения в расчете на единицу доступа из CPB и момент времени извлечения в расчете на единицу декодирования из CPB.

[0093] Кодер 403 кодирует входное изображение. Кроме того, кодер 403 кодирует информацию, указывающую результат определения, выполненного посредством модуля 402 определения моментов времени извлечения. Кодер 403 затем формирует кодированный поток битов, включающий в себя кодированное входное изображение и кодированную информацию.

[0094] Фиг. 8B является блок-схемой модуля 402 определения моментов времени извлечения. Как показано на Фиг. 8B, модуль 402 определения моментов времени извлечения включает в себя модуль 411 определения единиц извлечения, модуль 412 определения моментов времени извлечения единиц доступа, модуль 413 определения режима и модуль 414 определения моментов времени извлечения единиц декодирования.

[0095] Модуль 411 определения единиц извлечения определяет то, выполняется извлечение кодированных данных из CPB в устройстве декодирования изображений в расчете на единицу доступа или в расчете на единицу декодирования.

[0096] Модуль 412 определения моментов времени извлечения единиц доступа определяет момент времени для извлечения единицы доступа из CPB, когда кодированные данные извлекаются в расчете на единицу доступа.

[0097] Модуль 413 определения режима определяет то, какой из режима с общим интервалом и режима с переменным интервалом представляет собой текущий режим, когда кодированные данные извлекаются в расчете на единицу декодирования.

[0098] Модуль 414 определения моментов времени извлечения единиц декодирования определяет, с использованием результата определения, выполненного посредством модуля 413 определения режима, момент времени для извлечения кодированных данных каждой из единиц декодирования, включенных в единицу доступа, из CPB.

[0099] Результат определения посредством каждой вышеуказанной единицы обработки кодируется посредством кодера 403.

[0100] Далее описывается SEI, указывающая момент времени извлечения из CPB в расчете на единицу декодирования.

[0101] В случае режима с переменным интервалом устройство кодирования изображений в вышеприведенном описании сохраняет, в SEI синхронизации картинок, момент времени извлечения из CPB каждой из единиц декодирования, включенных в доступ.

[0102] Тем не менее, в этой конфигурации, поскольку объем кода варьируется для каждой единицы декодирования, устройство кодирования изображений не может определять момент времени извлечения из CPB каждой единицы декодирования до тех пор, пока не будет завершено кодирование всех единиц декодирования, включенных в единицу доступа. Таким образом, устройство кодирования изображений не может определять данные SEI синхронизации картинок до тех пор, пока не будет завершено кодирование последней единицы декодирования, включенной в единицу доступа. Кроме того, SEI синхронизации картинок находится в единице декодирования, расположенной первой в единице доступа при передаче. Как результат, устройство кодирования изображений не может последовательно передавать единицы декодирования, как только завершается кодирование каждой единицы декодирования. Это приводит к увеличенной задержке на передающей стороне, в частности, когда контент передается в реальном времени.

[0103] Таким образом, устанавливается SEI, которая сохраняет момент времени извлечения из CPB каждой единицы декодирования. Когда эта SEI назначена единице декодирования, устройство кодирования изображений может передавать данные единицы декодирования, как только завершается кодирование единицы кодирования.

[0104] Фиг. 9 показывает пример синтаксиса SEI задержки CPB для единиц декодирования, которая представляет собой SEI, которая хранит момент времени извлечения из CPB в расчете на единицу декодирования.

[0105] Эта SEI является допустимой, когда извлечение из CPB выполняется в расчете на единицу декодирования в режиме с переменным интервалом. Кроме того, эта SEI указывает момент времени извлечения из CPB единицы декодирования, которая включает в себя эту SEI и данные слайса (сохраненные в VCL NAL-единице).

[0106] В частности, эта SEI включает в себя du_cpb_removal_delay; du_cpb_removal_delay указывает момент времени извлечения из CPB единицы декодирования.

[0107] Когда используется SEI задержки CPB для единиц декодирования, SEI синхронизации картинок указывает момент времени извлечения из CPB в расчете на единицу доступа и момент времени извлечения из DPB. Другими словами, момент времени извлечения из CPB в расчете на единицу декодирования управляется посредством SEI задержки CPB для единиц декодирования.

[0108] Фиг. 10 и 11 показывают пример структуры единицы доступа.

[0109] Как показано на Фиг. 10, каждая единица декодирования включает в себя SEI задержки CPB для единиц декодирования и данные слайса. Единица декодирования, расположенная первой, дополнительно включает в себя разделитель единиц доступа и SEI синхронизации картинок. Разделитель единиц доступа указывает начало единицы доступа.

[0110] Аналогично разделителю единиц доступа, может вводиться NAL-единица (разделитель единиц декодирования), указывающая начало единицы декодирования, как показано на Фиг. 11. Начало единицы декодирования, расположенной первой в единице доступа, может указываться посредством разделителя единиц доступа.

[0111] Далее описывается вариация способа кодирования изображений и способа декодирования изображений согласно этому варианту осуществления.

[0112] В режиме с общим интервалом, хотя устройство кодирования изображений сохраняет, в VUI, информацию, указывающую интервал между моментами времени извлечения из CPB в расчете на единицу декодирования, в примере, показанном на Фиг. 1 и 2, устройство кодирования изображений может задавать, на основе предварительно определенных общих интервалов, информацию относительно момента времени извлечения из CPB в SEI синхронизации картинок, вместо сохранения в VUI информации, указывающей временной интервал между моментами времени извлечения. В этом случае, поскольку моменты времени извлечения из CPB единиц декодирования, включенных в идентичную последовательность, являются постоянными, информация относительно момента времени извлечения из CPB в SEI синхронизации картинок также является постоянной. Соответственно, в режиме с общим интервалом, устройство декодирования изображений синтаксически анализирует информацию относительно момента времени извлечения из CPB в единице доступа, расположенной первой в последовательности, и имеет возможность использовать, для следующих единиц доступа, информацию относительно момента времени извлечения из CPB, полученного для первой единицы доступа.

[0113] Хотя разделитель единиц декодирования указывает границу единиц декодирования в примере по Фиг. 10 и 11, разделитель единиц декодирования не должен быть использован, когда число NAL-единиц данных слайса, включенных в единицу декодирования, является фиксированным. В этом случае, устройство декодирования изображений может определять границу единиц декодирования на основе NAL-единицы данных слайса. Например, устройство кодирования изображений предоставляет такую настройку, что когда имеется одна NAL-единица данных слайса, включенных в единицу декодирования, единица декодирования, расположенная первой в единице доступа, начинается с разделителя единиц доступа, и каждая из второй и последующих единиц декодирования начинается с соответствующей одной из второй и последующих NAL-единиц данных слайса. За счет этого, устройство декодирования изображений может определять границу единиц декодирования.

[0114] Далее описывается способ для мультиплексирования пакетов в MPEG-2 TS.

[0115] Информация, указывающая то, извлекаются кодированные данные из CPB в расчете на единицу доступа или в расчете на единицу декодирования, должна влиять на операции системы, такие как декодирование и отображение, и, следовательно, предпочтительно должна передаваться до декодирования посредством средства, отличающегося от кодированного потока. В случае если извлечение выполняется в расчете на единицу декодирования, оно применяется к информации, указывающей то, какой из режима с общим интервалом и режима с переменным интервалом представляет собой текущий режим.

[0116] Например, использование дескриптора обеспечивает передачу информации в качестве части информации программы из устройства кодирования изображений в устройство декодирования изображений. Следует отметить, что кроме способа с использованием дескриптора, stream_id или program_id, который отличается между случаем, в котором извлечение выполняется в расчете на единицу доступа, и случаем, в котором извлечение выполняется в расчете на единицу декодирования, может быть использован для того, чтобы передавать единицу извлечения из устройства кодирования изображений в устройство декодирования изображений.

[0117] Фиг. 12 показывает пример этого дескриптора. На Фиг. 12, sub_pic_cpb_removal_flag представляет собой флаг, указывающий то, извлекаются кодированные данные из CPB в расчете на единицу доступа или в расчете на единицу декодирования. Когда этот флаг равен 1, извлечение выполняется в расчете на единицу декодирования, а когда этот флаг равен 0, извлечение выполняется в расчете на единицу доступа.

[0118] Между тем, variable_sub_pic_removal_period_flag представляет собой флаг, указывающий то, извлекается единица декодирования из CPB в режиме с общим интервалом или режиме с переменным интервалом. Когда этот флаг равен 1, текущий режим представляет собой режим с переменным интервалом, а когда этот флаг равен 0, текущий режим представляет собой режим с общим интервалом.

[0119] Помимо этого, sub_pic_removal_period является допустимым только в режиме с общим интервалом. Этот sub_pic_removal_period указывает разность между моментами времени для извлечения последовательных единиц декодирования из CPB (интервал между моментами времени извлечения единиц декодирования).

[0120] Следует отметить, что вместо передачи информации, непосредственно указывающей разность между моментами времени извлечения, в устройство декодирования изображений, устройство кодирования изображений может передавать интервал между временными метками декодирования (DTS) единиц доступа, последовательных в порядке декодирования, и число единиц декодирования, включенных в единицу доступа. В этом случае, с использованием информации, устройство декодирования изображений может получать разность посредством вычисления.

[0121] Кроме того, устройство кодирования изображений может включать разность между моментами времени извлечения из CPB в кодированные данные (к примеру, SPS или SEI синхронизации картинок), передаваемые в PES-пакетах, вместо включения разности в дескриптор. В этом случае, устройство декодирования изображений получает разность между моментами времени извлечения из CPB из SPS, SEI синхронизации картинок и т.п.

[0122] Кроме того, устройство кодирования изображений может передавать, в устройство декодирования изображений, информацию, указывающую то, является или нет число единиц декодирования, включенных в единицу доступа, фиксированным. Кроме того, когда число единиц декодирования, включенных в единицу доступа, является фиксированным, устройство кодирования изображений может передавать, в устройство декодирования изображений, информацию, указывающую число единиц декодирования, включенных в единицу доступа. За счет этого, устройство декодирования изображений, например, может идентифицировать последнюю единицу декодирования в единице доступа.

[0123] Кроме того, когда частота кадров является фиксированной, устройство декодирования изображений может определять момент времени извлечения из CPB каждой единицы декодирования посредством деления интервала между DTS кадров на число единиц декодирования. За счет этого, устройство декодирования изображений может определять момент времени извлечения из CPB каждой единицы декодирования, включенной в единицу доступа, на стадии, когда DTS единицы доступа получается из заголовка PES-пакета.

[0124] Здесь, в PES-пакете в MPEG-2 TS, минимальная единица, которой может назначаться временная метка декодирования (DTS), представляет собой единицу доступа. Таким образом, устройство декодирования изображений получает DTS единицы декодирования из дескриптора, показанного на Фиг. 12, или информации в кодированном потоке и передает DTS в декодер.

[0125] Фиг. 13 является блок-схемой системного целевого декодера (STD) для передачи DTS единицы декодирования.

[0126] Этот STD 500 является примером устройства декодирования изображений согласно этому варианту осуществления и включает в себя TS-демультиплексор 501, транспортный буфер 502 (TB), буфер 503 мультиплексирования (MB), буфер 504 элементарных потоков (EB), декодер 505, модуль 506 определения моментов времени извлечения единиц декодирования и буфер 507 декодированных картинок (DPB).

[0127] Единица извлечения и способ определения моментов времени извлечения зависят от того, выполняется извлечение в расчете на единицу доступа или в расчете на единицу декодирования.

[0128] При работе в расчете на единицу доступа, STD 500 работает на основе DTS PES-пакетов, а при работе в расчете на единицу декодирования, STD 500 работает согласно отдельно полученным моментам времени извлечения единиц декодирования.

[0129] При выполнении извлечения в расчете на единицу декодирования, STD 500 использует, в качестве DTS PES-пакета, момент времени извлечения единицы декодирования, расположенной первой в единице доступа.

[0130] TS-демультиплексор 501 классифицирует данные, включенные во входной поток, посредством их фильтрации на основе PID. В частности, TS-демультиплексор 501 выводит, в модуль 506 определения моментов времени извлечения единиц декодирования, информацию программы, к примеру, дескриптор, включенный во входной поток. Кроме того, TS-демультиплексор 501 выводит TS-пакет, включающий в себя кодированные данные HEVC, в TB 502. Эти кодированные данные вводятся в декодер 505 и модуль 506 определения моментов времени извлечения единиц декодирования через MB 503 и EB 504.

[0131] Модуль 506 определения моментов времени извлечения единиц декодирования определяет, на основе информации, включенной в дескриптор и т.п., то, работает STD 500 в расчете на единицу декодирования или в расчете на единицу доступа. Кроме того, когда STD 500 работает в расчете на единицу декодирования, модуль 506 определения моментов времени извлечения единиц декодирования получает DTS единицы декодирования и передает DTS в декодер 505.

[0132] В частности, когда текущий режим представляет собой режим с общим интервалом, и дескриптор указывает интервал T между моментами времени извлечения из CPB единиц декодирования, модуль 506 определения моментов времени извлечения единиц декодирования определяет DTS единицы декодирования на основе интервала T и DTS единицы доступа, полученных из заголовка PES-пакета.

[0133] С другой стороны, когда текущий режим представляет собой режим с переменным интервалом, модуль 506 определения моментов времени извлечения единиц декодирования синтаксически анализирует SEI синхронизации картинок, SEI задержки CPB для единиц декодирования и т.п. и за счет этого определяет DTS единицы декодирования.

[0134] При работе в расчете на единицу доступа, STD 500 работает в расчете на единицу доступа на основе DTS PES-пакетов и т.п., как и в традиционном способе.

[0135] Модуль 505 декодирования извлекает кодированные данные, включенные в единицу декодирования из EB 504, согласно моменту времени извлечения единицы декодирования, передаваемой из модуля 506 определения моментов времени извлечения единиц декодирования.

[0136] Кроме того, модуль 505 декодирования определяет границу единиц декодирования на основе разделителя единиц декодирования или начальной позиции NAL-единицы, сохраняющей данные слайса.

[0137] Следует отметить, что модуль 506 определения моментов времени извлечения единиц декодирования также может обнаруживать границу единиц декодирования и передавать размер данных единицы декодирования в декодер 505. В этом случае, декодер 505 извлекает данные для размера передаваемых данных из EB 504.

[0138] DPB 507 сохраняет декодированные данные, сформированные посредством декодера 505.

[0139] Следует отметить, что работа устройства кодирования изображений является такой, как описано выше, за исключением того, что другая информация сохраняется в дескриптор.

[0140] Далее описывается вариация способа задания DTS PES-пакета.

[0141] При использовании DTS PES-пакета в качестве момента времени извлечения из CPB (=DTS) единицы декодирования, расположенной первой, устройство декодирования изображений не может обеспечивать совместимость с приемным устройством, которое не поддерживает работу в режиме в расчете на единицу декодирования. Таким образом, устройство декодирования изображений использует DTS PES-пакета в качестве DTS единицы доступа, как и в традиционном способе. Кроме того, имеется вероятность того, что устройство кодирования изображений сохраняет информацию DTS в отношении единицы декодирования в расширенную область заголовка PES-пакета, и устройство декодирования изображений использует информацию DTS.

[0142] Например, в расширенной области, устройство кодирования изображений может перечислять, в порядке декодирования, DTS единиц декодирования, включенных в единицу доступа, или может сохранять информацию, указывающую разность между DTS каждой единицы декодирования и DTS PES-пакета.

[0143] Кроме того, в режиме с общим интервалом, устройство кодирования изображений может сохранять, в расширенную область, только информацию, указывающую DTS единицы декодирования, расположенной первой в единице доступа.

[0144] Кроме того, с использованием DTS, включенной в PES-пакет, в качестве DTS единицы доступа, устройство декодирования изображений может синтаксически анализировать кодированный поток и за счет этого получать DTS единицы декодирования.

[0145] Кроме того, когда извлечение выполняется в расчете на единицу декодирования, устройство кодирования изображений может назначать DTS PES-пакету в расчете на единицу декодирования. В этом случае, модуль 506 определения моментов времени извлечения единиц декодирования может определять DTS единицы декодирования посредством обращения к DTS, сохраненной в заголовке PES-пакета.

[0146] Далее описывается преимущество, полученное, когда извлечение из CPB выполняется в расчете на единицу декодирования.

[0147] Фиг. 14A показывает переход кодированных данных при заполнении буфера EB 504, который наблюдается в случае, если извлечение выполняется в расчете на единицу доступа. Фиг. 14B показывает переход кодированных данных при заполнении буфера EB 504, который наблюдается в случае, если извлечение выполняется в расчете на единицу декодирования.

[0148] Как показано на Фиг. 14B, когда извлечение выполняется в расчете на единицу декодирования, кодированные данные единиц декодирования извлекаются последовательно, так что в итоге заполнение буфера EB 504 является низким по сравнению со случаем, показанным на Фиг. 14A, в котором извлечение выполняется в расчете на единицу доступа. Таким образом, когда извлечение из CPB выполняется в расчете на единицу декодирования, размер EB 504 может быть уменьшен по сравнению с размером в случае в расчете на единицу доступа.

[0149] Следует отметить, что устройство кодирования изображений может включать в дескриптор и т.п. информацию, указывающую размер EB, необходимый для того, чтобы выполнять извлечение в расчете на единицу декодирования, и передавать информацию в устройство декодирования изображений. Вследствие этого, устройство декодирования изображений может предоставлять EB 504 на основе размера EB.

[0150] Далее описывается способ вычисления интервала между моментами времени для извлечения единиц декодирования из CPB в устройстве декодирования изображений.

[0151] Устройство декодирования изображений использует, в качестве интервала между моментами времени извлечения в режиме с общим интервалом, значение, полученное посредством деления интервала (picture_interval) между DTS двух единиц доступа, последовательных в порядке декодирования, на число (num_ctbs_in_subpicture_minus1) единиц декодирования, включенных в каждую единицу доступа.

[0152] Например, когда интервал между DTS единиц доступа составляет 50 мс, и каждая единица доступа включает в себя пять единиц декодирования, интервал между моментами времени извлечения единиц декодирования устанавливается посредством 50/5=10 мс.

[0153] Следует отметить, что когда частота кадров единиц доступа является фиксированной, устройство декодирования изображений может определять интервал между моментами времени извлечения единиц декодирования на основе частоты кадров и числа единиц декодирования. Таким образом, в этом случае, имеется вероятность того, что устройство кодирования изображений пропускает передачу интервала между моментами времени извлечения, и устройство декодирования изображений получает интервал между моментами времени извлечения посредством вычисления.

[0154] Тем не менее, в случае если частота кадров является переменной, интервал между моментами времени извлечения не может быть уникально определен из частоты кадров. Таким образом, устройство кодирования изображений включает в MPEG-2 TS или в кодированный поток информацию, указывающую интервал между моментами времени извлечения, и передает его.

[0155] Далее описывается случай применения этого варианта осуществления к схемам мультиплексирования, отличным от MPEG-2 TS.

[0156] Схемы мультиплексирования включают в себя, помимо MPEG-2 TS, MP4, который является общим для загрузки, и транспортный протокол реального времени (RTP), который широко используется для потоковой передачи, и кодированный поток согласно этому варианту осуществления доступен в этих схемах мультиплексирования.

[0157] Сначала описывается случай использования MP4 для кодированного потока согласно этому варианту осуществления.

[0158] Устройство кодирования изображений сохраняет информацию, описанную в дескрипторе в MPEG-2 TS, в поле, имеющем структуру, установленную в MP4. В частности, устройство кодирования изображений сохраняет вышеуказанную информацию, например, в поле, которое сохраняет информацию инициализации для использования при декодировании кодированных данных. Кроме того, когда извлечение из CPB выполняется в расчете на единицу декодирования, устройство кодирования изображений может сохранять информацию, указывающую DTS каждой единицы декодирования, в поле.

[0159] Кроме того, в MP4 используется единица, называемая выборкой, которая соответствует единице доступа. Устройство кодирования изображений может сохранять, в дополнение к информации адреса каждой выборки, информацию адреса для осуществления доступа к единице декодирования, включенной в выборку.

[0160] Далее описывается случай использования RTP для кодированного потока согласно этому варианту осуществления.

[0161] Посредством устройства кодирования изображений, информация, описанная в дескрипторе в MPEG-2 TS, описывается в заголовке рабочих данных RTP-пакета или в протоколе описания сеанса (SDP), протоколе инициирования сеанса (SIP) и т.п., который используется для того, чтобы обмениваться дополнительной информацией относительно RTP-связи.

[0162] Следует отметить, что устройство кодирования изображений может переключать единицу пакетирования согласно тому, выполняется извлечение из CPB в расчете на единицу доступа или в расчете на единицу декодирования. Например, в случае если извлечение выполняется в расчете на единицу декодирования, устройство кодирования изображений передает одну единицу декодирования в качестве одного RTP-пакета. Кроме того, устройство кодирования изображений передает, в устройство декодирования изображений, информацию, указывающую единицу пакетирования, с использованием дополнительной информации, такой как SDP.

[0163] Кроме того, согласно единице извлечения из CPB, устройство кодирования изображений может переключать способ сохранения DTS, который должен быть описан в заголовке рабочих данных RTP-пакета. Например, устройство кодирования изображений назначает DTS в расчете на единицу доступа в случае, если извлечение выполняется в расчете на единицу доступа, и назначает DTS в расчете на единицу декодирования в случае, если извлечение выполняется в расчете на единицу декодирования.

[0164] Кроме того, когда извлечение выполняется в расчете на единицу декодирования, и текущий режим представляет собой режим с общим интервалом, устройство кодирования изображений может указывать DTS только для единицы декодирования, расположенной первой в единице доступа. В этом случае, устройство декодирования изображений использует, например, интервал по умолчанию для последующих единиц декодирования. Это дает возможность уменьшения объема кода, необходимого для того, чтобы передавать DTS.

[0165] Как описано выше, в способе декодирования изображений согласно этому варианту осуществления, кодированные данные декодируются для каждой из одной или более единиц (в расчете на единицу декодирования), включенных в картинку (единицу доступа). Как показано на Фиг. 15, устройство декодирования изображений получает, из кодированного потока, включающего в себя кодированные данные, первый флаг (флаг единицы декодирования), указывающий то, задается или нет время удаления кодированных данных из буфера (CPB) для сохранения кодированных данных в расчете на единицу (S121).

[0166] Затем, когда время удаления кодированных данных задается в расчете на единицу, устройство декодирования изображений получает, из кодированного потока битов, второй флаг (флаг переменного интервала), указывающий то, является ли интервал между временами удаления единиц постоянным или произвольным (S122).

[0167] Затем, устройство декодирования изображений удаляет кодированные данные из буфера в расчете на единицу декодирования и с постоянным или произвольным интервалом согласно второму флагу (S124 и S125). В частности, когда второй флаг указывает то, что интервал является произвольным ("Да" на S123), устройство декодирования изображений удаляет кодированные данные единиц декодирования с переменными интервалами (S124). Когда второй флаг указывает то, что интервал является постоянным ("Нет" на S123), устройство декодирования изображений удаляет кодированные данные единиц декодирования с общими интервалами (S125).

[0168] Устройство декодирования изображений затем декодирует кодированные данные единиц декодирования, удаленных на этапе S124 или S125 (S126).

[0169] За счет этого, когда временной интервал является постоянным, например, устройство декодирования изображений может определять временные интервалы единиц декодирования на основе одного общего интервала. Это дает возможность уменьшения нагрузки по обработке устройства декодирования изображений.

[0170] Кроме того, в способе кодирования изображений согласно варианту осуществления в настоящем изобретении, кодируется одна или более единиц (единиц декодирования), включенных в картинку (единицу доступа). Как показано на Фиг. 16, устройство кодирования изображений формирует первый флаг (флаг единицы декодирования), указывающий то, задается или нет время удаления кодированных данных посредством гипотетического эталонного декодера из буфера (CPB) для сохранения кодированных данных в расчете на единицу (S221). Затем, устройство кодирования изображений формирует второй флаг (флаг переменного интервала), указывающий то, является ли интервал между временами удаления кодированных данных постоянным или произвольным (S222). Затем, устройство кодирования изображений формирует кодированный поток битов, включающий в себя кодированные данные, первый флаг и второй флаг (S223).

[0171] Кроме того, как описано выше, устройство кодирования изображений формирует второй флаг в расчете на группу картинок, включающую в себя одну или более картинок. Кроме того, устройство кодирования изображений включает второй флаг в управляющую информацию в расчете на группу картинок (заголовок), которая включается в кодированный поток битов и предоставляется в расчете на группу картинок. Это означает то, что устройство декодирования изображений получает второй флаг из управляющей информации в расчете на группу картинок.

[0172] Здесь, группа картинок представляет собой, например, единицу картинок (последовательность). Управляющая информация в расчете на группу картинок представляет собой SPS, а более конкретно, представляет собой VUI, включенную в SPS. Следует отметить, что управляющая информация в расчете на группу картинок может представлять собой дескриптор в MPEG-2 TS.

[0173] Кроме того, когда второй флаг указывает то, что интервал является постоянным (режим с общим интервалом), устройство кодирования изображений формирует информацию общего интервала, указывающую интервал, который является общим. Здесь, информация общего интервала указывает, например, число (num_ctbs_in_subpicture_minus1) единиц декодирования, включенных в одну картинку (единицу доступа), и временной интервал между картинками (picture_interval). С использованием числа единиц декодирования и временного интервала между картинками, устройство декодирования изображений вычисляет интервал, который является общим, и удаляет кодированные данные из буфера в расчете на единицу декодирования и с вычисленным интервалом.

[0174] Кроме того, устройство кодирования изображений включает, как и второй флаг, информацию общего интервала в управляющую информацию в расчете на группу картинок (например, VUI). Это означает то, что когда второй флаг указывает то, что интервал является постоянным (режим с общим интервалом), устройство декодирования изображений получает, из управляющей информации в расчете на группу картинок, информацию общего интервала, указывающую интервал. Кроме того, когда второй флаг указывает то, что интервал является общим (режим с общим интервалом), устройство декодирования изображений удаляет кодированные данные из буфера в расчете на единицу декодирования и с общим интервалом, указываемым в информации общего интервала. Следует отметить, что устройство кодирования изображений может включать информацию общего интервала в управляющую информацию в расчете на картинку (например, SEI синхронизации картинок), которая предоставляется в расчете на картинку. Это означает то, что, когда второй флаг указывает то, что интервал является постоянным (режим с общим интервалом), устройство декодирования изображений получает информацию общего интервала, указывающую интервал, из управляющей информации в расчете на картинку.

[0175] Когда второй флаг указывает то, что временной интервал является произвольным (режим с переменным интервалом), устройство кодирования изображений формирует информацию переменного интервала (cpb_removal_delay), указывающую интервалы между временами удаления единиц декодирования. Кроме того, устройство кодирования изображений включает в эту информацию переменного интервала в управляющую информацию в расчете на картинку (например, SEI синхронизации картинок), которая включается в кодированный поток битов и предоставляется в расчете на картинку. Это означает то, что, когда второй флаг указывает то, что интервал является произвольным (режим с переменным интервалом), устройство декодирования изображений получает информацию переменного интервала из управляющей информации в расчете на картинку. Устройство декодирования изображений затем удаляет кодированные данные из буфера в расчете на единицу декодирования и с интервалами, указываемыми в информации переменного интервала.

[0176] Следует отметить, что устройство кодирования изображений может включать эту информацию переменного интервала в управляющую информацию в расчете на единицу (например, SEI задержки CPB для единиц декодирования), которая включается в кодированный поток и предоставляется в расчете на единицу декодирования. Это означает то, что устройство декодирования изображений может получать информацию переменного интервала из управляющей информации в расчете на единицу декодирования.

[0177] Кодированный поток битов включает в себя транспортный поток (TS) и дескриптор, и устройство кодирования изображений может включать второй флаг в дескриптор. Это означает то, что устройство декодирования изображений может получать второй флаг из дескриптора.

[0178] Далее описываются базовые структуры кодера 403, включенного в устройство кодирования изображений, и декодера 303 или 505, включенного в устройство декодирования изображений.

[0179] Фиг. 17 является блок-схемой кодера 100, который является примером кодера 403. Этот кодер 100 кодирует, например, аудиоданные и видеоданные с низкой скоростью прохождения битов (с низким битрейтом).

[0180] Кодер 100, показанный на Фиг. 17, кодирует сигнал 101 входного изображения, чтобы формировать кодированный сигнал 191. Кодер 100 включает в себя модуль 110 вычитания, модуль 120 преобразования, модуль 130 квантования, модуль 140 обратного квантования, модуль 150 обратного преобразования, сумматор 160, память 170, модуль 180 предсказания и энтропийный кодер 190.

[0181] Модуль 110 вычитания вычитает сигнал 181 предсказания из сигнала 101 входного изображения, чтобы формировать сигнал 111 ошибки предсказания (входной сигнал преобразования), и предоставляет сформированный сигнал 111 ошибки предсказания в модуль 120 преобразования.

[0182] Модуль 120 преобразования выполняет преобразование частоты над сигналом 111 ошибки предсказания, чтобы формировать выходной сигнал 121 преобразования. Более конкретно, модуль 120 преобразования преобразует, из временно-пространственной области в частотную область, сигнал 111 ошибки предсказания или входной сигнал преобразования, сформированный посредством выполнения определенной обработки над сигналом 111 ошибки предсказания. Как результат, модуль 120 преобразования формирует выходной сигнал 121 преобразования, имеющий уменьшенную корреляцию.

[0183] Модуль 130 квантования квантует выходной сигнал 121 преобразования, за счет этого формируя коэффициент 131 квантования, имеющий небольшой общий объем данных.

[0184] Энтропийный кодер 190 кодирует коэффициент 131 квантования посредством использования алгоритма энтропийного кодирования, за счет этого формируя кодированный сигнал 191, имеющий дополнительно сжатую избыточность.

[0185] Модуль 140 обратного квантования обратно квантует коэффициент 131 квантования, чтобы формировать декодированный выходной сигнал 141 преобразования. Модуль 150 обратного преобразования обратно преобразует декодированный выходной сигнал 141 преобразования, чтобы формировать декодированный входной сигнал 151 преобразования.

[0186] Сумматор 160 суммирует декодированный входной сигнал 151 преобразования и сигнал 181 предсказания, чтобы формировать декодированный сигнал 161. Память 170 сохраняет декодированный сигнал 161.

[0187] Модуль 180 предсказания получает предварительно определенный сигнал из памяти 170 согласно способу предсказания, такому как внутреннее (интра-) предсказание или внешнее (интер-) предсказание, и формирует сигнал 181 предсказания согласно предварительно определенному способу на основе способа предсказания. Более конкретно, модуль 180 предсказания определяет способ предсказания с целью достигать максимальной эффективности кодирования и формирует сигнал 181 предсказания согласно определенному способу предсказания. Кроме того, энтропийный кодер 190 выполняет энтропийное кодирование над информацией, указывающей способ предсказания, при необходимости.

[0188] Здесь, модуль 140 обратного квантования, модуль 150 обратного преобразования, сумматор 160, память 170 и модуль 180 предсказания также включаются в устройство декодирования изображений. Декодированный сигнал 161 соответствует сигналу воспроизведенного изображения (декодированному сигналу 261), сформированному посредством устройства декодирования изображений.

[0189] Фиг. 18 является блок-схемой декодера 200, который является примером декодеров 303 и 505. Декодер 200, показанный на Фиг. 18, декодирует кодированный сигнал 191, чтобы формировать декодированный сигнал 261. Декодер 200 включает в себя модуль 240 обратного квантования, модуль 250 обратного преобразования, сумматор 260, память 270, модуль 280 предсказания и энтропийный декодер 290.

[0190] Энтропийный декодер 290 выполняет энтропийное декодирование над кодированным сигналом 191, чтобы формировать коэффициент 231 квантования и способ 291 предсказания.

[0191] Модуль 240 обратного квантования обратно квантует коэффициент 231 квантования, чтобы формировать декодированный выходной сигнал 241 преобразования. Модуль 250 обратного преобразования обратно преобразует декодированный выходной сигнал 241 преобразования, чтобы формировать декодированный входной сигнал 251 преобразования.

[0192] Сумматор 260 суммирует декодированный входной сигнал 251 преобразования и сигнал 281 предсказания, чтобы формировать декодированный сигнал 261. Декодированный сигнал 261 является воспроизведенным изображением, сформированным посредством декодера 200. Декодированный сигнал 261 выводится в качестве выходного сигнала декодера 200 изображений и также сохраняется в память 270.

[0193] Модуль 280 предсказания получает предварительно определенный сигнал из памяти 270 согласно способу 291 предсказания и формирует сигнал 281 предсказания согласно предварительно определенному способу на основе способа 291 предсказания.

[0194] Хотя выше описано устройство кодирования изображений и устройство декодирования изображений согласно варианту осуществления, настоящее изобретение не ограничено этим вариантом осуществления.

[0195] Кроме того, каждый из процессоров, включенных в устройство кодирования изображений и устройство декодирования изображений согласно вышеописанному варианту осуществления, типично реализуется в качестве большой интегральной схемы (LSI), которая является интегральной схемой. Компоненты могут формироваться как один кристалл, и также можно интегрировать часть или все компоненты на одном кристалле.

[0196] Эта схемная интеграция не ограничивается LSI и может достигаться посредством предоставления специализированной схемы или с использованием процессора общего назначения. Также можно использовать программируемую пользователем вентильную матрицу (FPGA), с использованием которой можно программировать LSI после изготовления, либо переконфигурируемый процессор, с использованием которого соединения, настройки и т.д. схемных элементов в LSI являются переконфигурируемыми.

[0197] Каждый из структурных элементов в вышеописанном варианте осуществления может быть сконфигурирован в форме специализированного аппаратного обеспечения либо может быть реализован посредством исполнения программы, подходящей для структурного элемента. Каждый из структурных элементов может быть реализован посредством модуля исполнения программ, такого как CPU и процессор, считывающий и исполняющий программу, записанную на носителе записи, таком как жесткий диск или полупроводниковая память.

[0198] Другими словами, устройство кодирования изображений или устройство декодирования изображений включает в себя схему управления и хранилище, доступное из схемы управления (т.е. доступное посредством схемы управления). Схема управления включает в себя по меньшей мере одно из специализированного аппаратного обеспечения и модуля исполнения программ. В случае, если схема управления включает в себя модуль исполнения программ, устройство хранения сохраняет программу, которая исполняется посредством модуля исполнения программ.

[0199] Кроме того, настоящее изобретение может представлять собой вышеуказанную программу или считываемый компьютером невременной носитель записи, на котором записана вышеуказанная программа. Само собой разумеется, что вышеуказанная программа может распространяться через сеть связи, к примеру, через Интернет.

[0200] Номера в данном документе приводятся с тем, чтобы конкретно иллюстрировать настоящее изобретение, и, следовательно, не ограничивают его.

[0201] Сегментация функциональных блоков на каждой блок-схеме является примером, и некоторые функциональные блоки могут быть реализованы как один функциональный блок, тогда как один функциональный блок может быть разделен на несколько частей, либо часть функции одного функционального блока может передаваться другому функциональному блоку. Кроме того, функции множества функциональных блоков, которые имеют аналогичные функции, могут быть обработаны параллельно или на основе временного квантования посредством только аппаратного обеспечения или программного обеспечения.

[0202] Порядок обработки этапов, включенных в вышеуказанный способ кодирования или декодирования изображений, предоставляется для того, чтобы конкретно иллюстрировать настоящее изобретение, и, следовательно, может быть предусмотрен любой другой порядок. Часть вышеуказанных этапов может выполняться одновременно (параллельно) с другим этапом.

[0203] Хотя устройство кодирования изображений и устройство декодирования изображений согласно одному или более аспектам настоящего изобретения описаны выше на основе варианта осуществления, настоящее изобретение не ограничено этим вариантом осуществления. Один или более аспектов настоящего изобретения могут включать в себя варианты осуществления, полученные посредством выполнения различных модификаций, которые специалисты в данной области техники могут вносить в вышеописанный вариант осуществления, и посредством произвольного комбинирования структурных элементов в различных вариантах осуществления, если такие варианты осуществления не отступают от принципов и сущности настоящего изобретения.

[0204] Второй вариант осуществления

Обработка, описанная выше в варианте осуществления, может быть реализована просто в независимой компьютерной системе, посредством записи, на носителе записи, программы для реализации конфигураций способа кодирования движущихся картинок (способа кодирования изображений) и способа декодирования движущихся картинок (способа декодирования изображений), описанных выше в варианте осуществления. Носители записи могут быть любыми носителями записи при условии, что программа может записываться, такими как магнитный диск, оптический диск, магнитооптический диск, IC-карта и полупроводниковая память.

[0205] В дальнейшем в этом документе описываются варианты применения к способу кодирования движущихся картинок (способу кодирования изображений) и способу декодирования движущихся картинок (способу декодирования изображений), описанных выше в варианте осуществления, и к системам с их использованием. Система имеет особенность наличия устройства кодирования и декодирования изображений, которое включает в себя устройство кодирования изображений с использованием способа кодирования изображений и устройство декодирования изображений с использованием способа декодирования изображений. Другие конфигурации в системе могут быть изменены надлежащим образом в зависимости от случаев применения.

[0206] Фиг. 19 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи разделяется на соты требуемого размера, и базовые станции ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями, размещаются в каждой из сот.

[0207] Система ex100 предоставления контента подключается к таким устройствам, как компьютер ex111, персональное цифровое устройство (PDA) ex112, камера ex113, сотовый телефон ex114 и игровая машина ex115, через Интернет ex101, поставщика ex102 Интернет-услуг, телефонную сеть ex104, а также базовые станции ex106-ex110, соответственно.

[0208] Тем не менее, конфигурация системы ex100 предоставления контента не ограничена конфигурацией, показанной на Фиг. 19, и комбинация, в которой подключаются любые из элементов, является допустимой. Помимо этого, каждое устройство может подключаться к телефонной сети ex104 непосредственно, а не через базовые станции ex106-ex110, которые являются стационарными беспроводными станциями. Кроме того, устройства могут быть подключены друг к другу через беспроводную связь ближнего действия и т.п.

[0209] Камера ex113, такая как цифровая видеокамера, допускает захват видео. Камера ex116, такая как цифровая видеокамера, допускает захват как неподвижных изображений, так и видео. Кроме того, сотовый телефон ex114 может быть телефоном, который удовлетворяет любому из таких стандартов, как глобальная система мобильной связи (GSM) (зарегистрированный товарный знак), множественный доступ с кодовым разделением каналов (CDMA), широкополосный множественный доступ с кодовым разделением каналов (W-CDMA), стандарт долгосрочного развития (LTE) и высокоскоростной пакетный доступ (HSPA). Альтернативно, сотовый телефон ex114 может соответствовать стандарту системы персональных мобильных телефонов (PHS).

[0210] В системе ex100 предоставления контента сервер ex103 потоковой передачи подключается к камере ex113 и т.п. через телефонную сеть ex104 и базовую станцию ex109, которая предоставляет распространение изображений трансляции в прямом эфире и т.п. При таком распределении, контент (например, видео музыкального концерта в прямом эфире), захватываемый пользователем с использованием камеры ex113, кодируется так, как описано выше в варианте осуществления (т.е. камера выступает в качестве устройства кодирования изображений согласно аспекту настоящего изобретения), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи выполняет потоковое распространение передаваемых данных контента в клиенты при запросах. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровую машину ex115, которые допускают декодирование вышеуказанных кодированных данных. Каждое из устройств, которое принимает распределенные данные, декодирует и воспроизводит кодированные данные (т.е. выступает в качестве устройства декодирования изображений согласно аспекту настоящего изобретения).

[0211] Захватываемые данные могут кодироваться посредством камеры ex113 или сервера ex103 потоковой передачи, который передает данные, или процессы кодирования могут быть совместно использованы камерой ex113 и сервером ex103 потоковой передачи. Аналогично, распространенные данные могут быть декодированы посредством клиентов или сервера ex103 потоковой передачи, или процессы декодирования могут быть совместно использованы клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видео, захватываемых не только посредством камеры ex113, но также и камеры ex116, могут быть переданы на сервер ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут выполняться посредством камеры ex116, компьютера ex111 или сервера ex103 потоковой передачи или совместно использоваться ими.

[0212] Кроме того, процессы кодирования и декодирования могут выполняться посредством LSI ex500, в общем, включенной в каждый из компьютера ex111 и устройств. LSI ex500 может быть сконфигурирована из одного кристалла или множества кристаллов. Программное обеспечение для кодирования и декодирования видео может быть объединено в определенный тип носителя записи (такой как CD-ROM, гибкий диск и жесткий диск), который является читаемым посредством компьютера ex111 и т.п., и процессы кодирования и декодирования могут выполняться с использованием программного обеспечения. Кроме того, когда сотовый телефон ex114 содержит камеру, могут передаваться видеоданные, полученные посредством камеры. Видеоданные – это данные, кодированные посредством LSI ex500, включенной в сотовый телефон ex114.

[0213] Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.

[0214] Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, передаваемую пользователем, и воспроизводить декодированные данные в режиме реального времени в системе ex100 предоставления контента, так что пользователь, который не имеет конкретных прав и оборудования, может реализовывать персональную широковещательную передачу.

[0215] Помимо примера системы ex100 предоставления контента по меньшей мере одно из устройства кодирования движущихся картинок (устройства кодирования изображений) и устройства декодирования движущихся картинок (устройства декодирования изображений), описанных выше в варианте осуществления, может быть реализовано в цифровой широковещательной системе ex200, проиллюстрированной на Фиг. 20. Более конкретно, широковещательная станция ex201 сообщает или передает по радиоволнам в широковещательный спутник ex202 мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и т.п. в видеоданные. Видеоданные являются данными, кодированными посредством способа кодирования движущихся картинок, описанного выше в варианте осуществления (т.е. данными, кодированными посредством устройства кодирования изображений согласно аспекту настоящего изобретения). При приеме мультиплексированных видеоданных широковещательный спутник ex202 передает радиоволны для широковещательной передачи. Затем, антенна ex204 для домашнего применения с функцией приема спутниковой широковещательной передачи принимает радиоволны. Далее такое устройство, как телевизионный приемник (приемное устройство) ex300 и абонентская приставка (STB) ex217, декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (т.е. выступает в качестве устройства декодирования изображений согласно аспекту настоящего изобретения).

[0216] Кроме того, модуль ex218 считывания/записи (i) считывает и декодирует мультиплексированные данные, записанные на носителе ex215 записи, таком как DVD и BD, или (i) кодирует видеосигналы на носителе ex215 записи, и в некоторых случаях записывает данные, полученные посредством мультиплексирования аудиосигнала, в кодированные данные. Модуль ex218 считывания/записи может включать в себя устройство декодирования движущихся картинок или устройство кодирования движущихся картинок, как показано выше в варианте осуществления. В этом случае, воспроизведенные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены посредством другого устройства или системы с использованием носителя ex215 записи, на котором записываются мультиплексированные данные. Также можно реализовывать устройство декодирования движущихся картинок в абонентской приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутниковой и/или наземной широковещательной передачи, с тем чтобы отображать видеосигналы на мониторе ex219 телевизионного приемника ex300. Устройство декодирования движущихся картинок может быть реализовано не в абонентской приставке, а в телевизионном приемнике ex300.

[0217] Фиг. 21 иллюстрирует телевизионный приемник (приемное устройство) ex300, который использует способ кодирования движущихся картинок и способ декодирования движущихся картинок, описанные выше в варианте осуществления. Телевизионный приемник ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные посредством мультиплексирования аудиоданных в видеоданные, через антенну ex204 или кабель ex203 и т.д., который принимает широковещательную передачу; модуль ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные, которые должны подаваться наружу; и модуль ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные в видеоданные и аудиоданные или мультиплексирует видеоданные и аудиоданные, кодированные посредством процессора ex306 сигналов, в данные.

[0218] Телевизионный приемник ex300 дополнительно включает в себя: процессор ex306 сигналов, включающий в себя процессор ex304 аудиосигналов и процессор ex305 видеосигналов, которые декодируют аудиоданные и видеоданные и кодируют аудиоданные и видеоданные, соответственно (которые выступают в качестве устройства кодирования изображений и устройства декодирования изображений согласно аспектам настоящего изобретения); и модуль ex309 вывода, включающий в себя динамик ex307, который предоставляет декодированный аудиосигнал, и модуль ex308 отображения, который отображает декодированный видеосигнал, такой как дисплей. Кроме того, телевизионный приемник ex300 включает в себя интерфейсный модуль ex317, включающий в себя модуль ex312 функционального ввода, который принимает ввод пользовательской операции. Кроме того, телевизионный приемник ex300 включает в себя модуль ex310 управления, который осуществляет общее управление каждым составляющим элементом телевизионного приемника ex300, и модуль ex311 схемы электропитания, который предоставляет питание в каждый из элементов. Кроме модуля ex312 функционального ввода, интерфейсный модуль ex317 может включать в себя: мост ex313, который подключается к внешнему устройству, такому как модуль ex218 считывания/записи; модуль ex314 гнезда для предоставления возможности присоединения носителя ex216 записи, такого как SD-карта; драйвер ex315 для того, чтобы подключаться к внешнему носителю записи, такому как жесткий диск; и модем ex316 для того, чтобы подключаться к телефонной сети. Здесь, носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимой/энергозависимой полупроводниковой памяти для хранения. Составляющие элементы телевизионного приемника ex300 подключены друг к другу через синхронную шину.

[0219] Во-первых, описывается конфигурация, в которой телевизионный приемник ex300 декодирует мультиплексированные данные, полученные снаружи через антенну ex204 и т.п., и воспроизводит декодированные данные. В телевизионном приемнике ex300, при пользовательской операции через удаленный контроллер ex220 и т.п., модуль ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные посредством модуля ex302 модуляции/демодуляции, под управлением модуля ex310 управления, включающего в себя CPU. Кроме того, процессор ex304 аудиосигналов декодирует демультиплексированные аудиоданные, и процессор ex305 видеосигналов декодирует демультиплексированные видеоданные с использованием способа декодирования, описанного выше в варианте осуществления, в телевизионном приемнике ex300. Модуль ex309 вывода предоставляет декодированный видеосигнал и аудиосигнал наружу, соответственно. Когда модуль ex309 вывода предоставляет видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex318 и ex319 и т.п. так, что сигналы воспроизводятся синхронно друг с другом. Кроме того, телевизионный приемник ex300 может считывать мультиплексированные данные не через широковещательную передачу и т.п., а из носителей ex215 и ex216 записи, таких как магнитный диск, оптический диск и SD-карта. Далее описывается конфигурация, в которой телевизионный приемник ex300 кодирует аудиосигнал и видеосигнал и передает данные наружу или записывает данные на носитель записи. В телевизионном приемнике ex300, при пользовательской операции через удаленный контроллер ex220 и т.п., процессор ex304 аудиосигналов кодирует аудиосигнал, и процессор ex305 видеосигналов кодирует видеосигнал под управлением модуля ex310 управления с использованием способа кодирования, как описано выше в варианте осуществления. Модуль ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и аудиосигнал и предоставляет результирующий сигнал наружу. Когда модуль ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex320 и ex321 и т.п. так, что сигналы воспроизводятся синхронно друг с другом. Здесь, буферов ex318, ex319, ex320 и ex321 может быть множество, как проиллюстрировано, или по меньшей мере один буфер может быть совместно использован в телевизионном приемнике ex300. Кроме того, хотя не проиллюстрировано, данные могут быть сохранены в буфере, так что переполнение и опустошение в системе может не допускаться, например, между модулем ex302 модуляции/демодуляции и модулем ex303 мультиплексирования/демультиплексирования.

[0220] Кроме того, телевизионный приемник ex300 может включать в себя конфигурацию для приема AV-ввода из микрофона или камеры, отличную от конфигурации для получения аудио- и видеоданных из широковещательной передачи или носителя записи, и может кодировать полученные данные. Хотя телевизионный приемник ex300 может кодировать, мультиплексировать и предоставлять наружу данные в описании, он может допускать только прием, декодирование и предоставление наружу данных, а не кодирование, мультиплексирование и предоставление наружу данных.

[0221] Кроме того, когда модуль ex218 считывания/записи считывает или записывает мультиплексированные данные с или на носитель записи, один из телевизионного приемника ex300 и модуля ex218 считывания/записи может декодировать или кодировать мультиплексированные данные, и телевизионный приемник ex300 и модуль ex218 считывания/записи могут совместно использовать декодирование или кодирование.

[0222] В качестве примера, Фиг. 22 иллюстрирует конфигурацию модуля ex400 воспроизведения/записи информации, когда данные считываются или записываются с или на оптический диск. Модуль ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые описаны ниже. Оптическая головка ex401 испускает лазерное пятно на поверхности для записи носителя ex215 записи, который является оптическим диском, чтобы записывать информацию, и обнаруживает отраженный свет от поверхности для записи носителя ex215 записи, чтобы считывать информацию. Модуль ex402 модуляционной записи электрически возбуждает полупроводниковый лазер, включенный в оптическую головку ex401, и модулирует лазерное излучение согласно записанным данным. Модуль ex403 демодуляции при воспроизведении усиливает сигнал воспроизведения, полученный посредством электрического обнаружения отраженного света от поверхности для записи, с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения посредством разделения компонента сигнала, записанного на носитель ex215 записи, чтобы воспроизводить необходимую информацию. Буфер ex404 временно хранит информацию, которая должна записываться на носитель ex215 записи, и информацию, воспроизведенную из носителя ex215 записи. Дисковый электромотор ex405 вращает носитель ex215 записи. Модуль ex406 сервоуправления перемещает оптическую головку ex401 в заранее определенную информационную дорожку при одновременном управлении вращательным приводом дискового электромотора ex405, чтобы следовать лазерному пятну. Модуль ex407 управления системой осуществляет общее управление модулем ex400 воспроизведения/записи информации. Процессы считывания и записи могут реализовываться посредством модуля ex407 управления системой с использованием различной информации, хранимой в буфере ex404, и формирования и добавления новой информации по мере необходимости, и посредством модуля ex402 модуляционной записи, модуля ex403 демодуляции при воспроизведении и модуля ex406 сервоуправления, которые записывают и воспроизводят информацию через оптическую головку ex401 при координированном управлении. Модуль ex407 управления системой включает в себя, например, микропроцессор и выполняет обработку посредством инструктирования компьютеру выполнять программу для считывания и записи.

[0223] Хотя в описании оптическая головка ex401 испускает лазерное пятно, она может выполнять запись с высокой плотностью с использованием света в поле в ближней зоне.

[0224] Фиг. 23 иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности для записи носителя ex215 записи, направляющие канавки формируются по спирали, и информационная дорожка ex230 записывает, заранее, информацию адреса, указывающую абсолютную позицию на диске, согласно изменению в форме направляющих канавок. Информация адреса включает в себя информацию для определения позиций блоков ex231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки ex230 и считывание информации адреса в устройстве, которое записывает и воспроизводит данные, может приводить к определению позиций блоков записи. Кроме того, носитель ex215 записи включает в себя зону ex233 записи данных, зону ex232 внутренней окружности и зону ex234 внешней окружности. Зона ex233 записи данных является зоной для использования при записи пользовательских данных. Зона ex232 внутренней окружности и зона ex234 внешней окружности, которые находятся внутри и снаружи зоны ex233 записи данных, соответственно, предназначены для конкретного применения за исключением записи пользовательских данных. Модуль 400 воспроизведения/записи информации считывает и записывает кодированное аудио, кодированные видеоданные или мультиплексированные данные, полученные посредством мультиплексирования кодированного аудио и кодированных видеоданных, из и в зону ex233 записи данных носителя ex215 записи.

[0225] Хотя оптический диск, имеющий слой, такой как DVD и BD, описывается в качестве примера в описании, оптический диск не ограничен таким образом и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на часть, отличную от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, к примеру, записи информации с использованием света цветов с различными длинами волн в одной части оптического диска и для записи информации, имеющей различные слои, с различных углов.

[0226] Кроме того, автомобиль ex210, имеющий антенну ex205, может принимать данные из спутника ex202 и т.п. и воспроизводить видео на устройстве отображения, таком как автомобильная навигационная система ex211, установленная в автомобиле ex210, в цифровой широковещательной системе ex200. Здесь, конфигурация автомобильной навигационной системы ex211 является конфигурацией, например, включающей в себя приемный GPS-модуль, из конфигурации, проиллюстрированной на Фиг. 21. То же применимо для конфигурации компьютера ex111, сотового телефона ex114 и т.п.

[0227] Фиг. 24A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущихся картинок и способ декодирования движущихся картинок, описанные выше в варианте осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн через базовую станцию ex110; модуль ex365 камеры, допускающий захват движущихся и неподвижных изображений; и модуль ex358 отображения, к примеру, жидкокристаллический дисплей для отображения данных, таких как декодированное видео, захватываемое посредством модуля ex365 камеры или принимаемое посредством антенны ex350. Сотовый телефон ex114 дополнительно включает в себя: модуль основного корпуса, включающий в себя модуль ex366 функциональных клавиш; модуль ex357 аудиовывода, к примеру, динамик для вывода аудио; модуль ex356 аудиоввода, к примеру, микрофон для ввода аудио; блок ex367 памяти для сохранения захваченного видео или неподвижных изображений, записанного аудио, кодированных или декодированных данных принимаемого видео, неподвижных изображений, почтовых сообщений и т.п.; и модуль ex364 гнезда, который является интерфейсным модулем для носителя записи, который сохраняет данные таким же образом, как блок ex367 памяти.

[0228] Далее описывается пример конфигурации сотового телефона ex114 со ссылкой на Фиг. 24B. В сотовом телефоне ex114 главный модуль ex360 управления, спроектированный с возможностью полностью управлять каждым модулем основного корпуса, включающим в себя модуль ex358 отображения, а также модуль ex366 функциональных клавиш, взаимно соединяется, через синхронную шину ex370, с модулем ex361 схемы электропитания, модулем ex362 управления функциональным вводом, процессором ex355 видеосигналов, модулем ex363 интерфейса камеры, модулем ex359 управления жидкокристаллическим дисплеем (ЖК-дисплеем), модулем ex352 модуляции/демодуляции, модулем ex353 мультиплексирования/демультиплексирования, процессором ex354 аудиосигналов, модулем ex364 гнезда и блоком ex367 памяти.

[0229] Когда клавиша завершения вызова или клавиша включения питания включается посредством пользовательской операции, модуль ex361 схемы электропитания предоставляет в соответствующие модули питание из аккумуляторной батареи с тем, чтобы активировать сотовый телефон ex114.

[0230] В сотовом телефоне ex114 процессор ex354 аудиосигналов преобразует аудиосигналы, собираемые посредством модуля ex356 аудиоввода в режиме речевой связи, в цифровые аудиосигналы под управлением главного модуля ex360 управления, включающего в себя CPU, ROM и RAM. Затем, модуль ex352 модуляции/демодуляции выполняет обработку с расширенным спектром для цифровых аудиосигналов, и приемо-передающий модуль ex351 выполняет цифро-аналоговое преобразование и преобразование частоты для данных, с тем чтобы передавать результирующие данные через антенну ex350. Так же, в сотовом телефоне ex114, приемо-передающий модуль ex351 усиливает данные, принимаемые посредством антенны ex350 в режиме речевой связи, и выполняет преобразование частоты и аналого-цифровое преобразование для данных. Затем, модуль ex352 модуляции/демодуляции выполняет обработку с обратным расширенным спектром для данных, и процессор ex354 аудиосигналов преобразует их в аналоговые аудиосигналы, с тем чтобы выводить их через модуль ex357 аудиовывода.

[0231] Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные электронной почты, введенные посредством операций с модулем ex366 функциональных клавиш и т.п. основного корпуса, отправляются в главный модуль ex360 управления через модуль ex362 управления функциональным вводом. Главный модуль ex360 управления инструктирует модулю ex352 модуляции/демодуляции выполнять обработку с расширенным спектром для текстовых данных, и приемо-передающий модуль ex351 выполняет цифро-аналоговое преобразование и преобразование частоты для результирующих данных, чтобы передавать данные в базовую станцию ex110 через антенну ex350. Когда принимается почтовое сообщение, обработка, которая является приблизительно обратной относительно обработки для передачи почтового сообщения, выполняется для принимаемых данных, и результирующие данные предоставляются в модуль ex358 отображения.

[0232] Когда передается видео, неподвижные изображения либо видео и аудио в режиме передачи данных, процессор ex355 видеосигналов сжимает и кодирует видеосигналы, предоставляемые из модуля ex365 камеры, с использованием способа кодирования движущихся картинок, показанного выше в варианте осуществления (т.е. выступает в качестве устройства кодирования изображений согласно аспекту настоящего изобретения), и передает кодированные видеоданные в модуль ex353 мультиплексирования/демультиплексирования. В отличие от этого, в течение времени, когда модуль ex365 камеры захватывает видео, неподвижные изображения и т.п., процессор ex354 аудиосигналов кодирует аудиосигналы, собранные посредством модуля ex356 аудиоввода, и передает кодированные аудиоданные в модуль ex353 мультиплексирования/демультиплексирования.

[0233] Модуль ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, подаваемые из процессора ex355 видеосигналов, и кодированные аудиоданные, подаваемые из процессора ex354 аудиосигналов, с использованием предварительно определенного способа. Затем, модуль ex352 модуляции/демодуляции (модуль схемы модуляции/демодуляции) выполняет обработку с расширенным спектром для мультиплексированных данных, и приемо-передающий модуль ex351 выполняет цифро-аналоговое преобразование и преобразование частоты для данных с тем, чтобы передавать результирующие данные через антенну ex350.

[0234] При приеме данных видеофайла, который связывается с веб-страницей и т.п., в режиме передачи данных или при приеме почтового сообщения с присоединенным видео и/или аудио, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, модуль ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные в поток битов видеоданных и поток битов аудиоданных и предоставляет в процессор ex355 видеосигналов кодированные видеоданные, а в процессор ex354 аудиосигналов кодированные аудиоданные через синхронную шину ex370. Процессор ex355 видеосигналов декодирует видеосигнал с использованием способа декодирования движущихся картинок, соответствующего способу кодирования движущихся картинок, показанному выше в варианте осуществления (т.е. выступает в качестве устройства декодирования изображений согласно аспекту настоящего изобретения), и затем модуль ex358 отображения отображает, например, видеоизображения и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, через модуль ex359 управления ЖК-дисплеем. Кроме того, процессор ex354 аудиосигналов декодирует аудиосигнал, и модуль ex357 аудиовывода предоставляет аудио.

[0235] Кроме того, аналогично телевизионному приемнику ex300, терминал, такой как сотовый телефон ex114, вероятно, имеет 3 типа реализованных конфигураций, включающих в себя не только (i) приемо-передающий терминал, включающий в себя как устройство кодирования, так и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании цифровая широковещательная система ex200 принимает и передает мультиплексированные данные, полученные посредством мультиплексирования аудиоданных в видеоданные в описании, мультиплексированные данные могут быть данными, полученными посредством мультиплексирования не аудиоданных, а символьных данных, связанных с видео, в видеоданные, и могут быть не мультиплексированными данными, а самими видеоданными.

[0236] По сути, способ кодирования движущихся картинок и способ декодирования движущихся картинок в вышепоказанном варианте осуществления могут использоваться в любых из описанных устройств и систем. Таким образом, могут быть получены преимущества, описанные выше в варианте осуществления.

[0237] Кроме того, настоящее изобретение не ограничено вышеописанным вариантом осуществления и различными модификациями, и изменения возможны без отступления от объема настоящего изобретения.

[0238] Третий вариант осуществления

Видеоданные могут быть сформированы посредством переключения, по мере необходимости, между (i) способом кодирования движущихся картинок или устройством кодирования движущихся картинок, показанными в каждом из вариантов осуществления, и (ii) способом кодирования движущихся картинок или устройством кодирования движущихся картинок в соответствии с другим стандартом, таким как MPEG-2, MPEG-4 AVC и VC-1.

[0239] Здесь, когда множество видеоданных, которые соответствуют различным стандартам, формируются, а затем декодируются, способы декодирования должны быть выбраны таким образом, что они соответствуют различным стандартам. Тем не менее, поскольку не может быть обнаружено то, какому стандарту соответствуют каждые из множества видеоданных, которые должны быть декодированы, имеется проблема в том, что не может быть выбран надлежащий способ декодирования.

[0240] Чтобы разрешать проблему, мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и т.п. в видеоданные, имеют структуру, включающую в себя идентификационную информацию, указывающую то, какому стандарту соответствуют видеоданные. Далее описывается конкретная структура мультиплексированных данных, включающих в себя видеоданные, сформированные в способе кодирования движущихся картинок и посредством устройства кодирования движущихся картинок, показанных в каждом из вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортных потоков MPEG-2.

[0241] Фиг. 25 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на Фиг. 25, мультиплексированные данные могут быть получены посредством мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока презентационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видео и вторичное видео фильма, аудиопоток (IG) представляет часть первичного аудио и часть вторичного аудио, которая должна смешиваться с частью первичного аудио, а поток презентационной графики представляет субтитры фильма. Здесь, первичное видео является обычным видео, которое должно отображаться на экране, а вторичное видео является видео, которое должно отображаться в меньшем окне в первичном видео. Кроме того, поток интерактивной графики представляет интерактивный экран, который должен быть сформирован посредством размещения GUI-компонентов на экране. Видеопоток кодируется в способе кодирования движущихся картинок или посредством устройства кодирования движущихся картинок, показанных в каждом из вариантов осуществления, либо в способе кодирования движущихся картинок или посредством устройства кодирования движущихся картинок в соответствии с традиционным стандартом, таким как MPEG-2, MPEG-4-AVC и VC-1. Аудиопоток кодируется в соответствии с таким стандартом, как AC-3 Dolby, Dolby Digital Plus, MLP, DTS, DTS-HD и линейная PCM.

[0242] Каждый поток, включенный в мультиплексированные данные, идентифицируется посредством PID. Например, 0×1011 выделяется видеопотоку, который должен быть использован для видео фильма, 0×1100-0×111F выделяются аудиопотокам, 0×1200-0×121F выделяются потокам презентационной графики, 0×1400-0×141F выделяются потокам интерактивной графики, 0×1B00-0×1B1F выделяются видеопотокам, которые должны быть использованы для вторичного видео фильма, и 0×1A00-0×1A1F выделяются аудиопотокам, которые должны быть использованы для вторичного аудио, которое должно смешиваться с первичным аудио.

[0243] Фиг. 26 схематично иллюстрирует то, как мультиплексируются данные. Во-первых, видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из аудиокадров, преобразуются в поток PES-пакетов ex236 и поток PES-пакетов ex239 и дополнительно в TS-пакеты ex237 и TS-пакеты ex240, соответственно. Аналогично, данные потока ex241 презентационной графики и данные потока ex244 интерактивной графики преобразуются в поток PES-пакетов ex242 и поток PES-пакетов ex245 и дополнительно в TS-пакеты ex243 и TS-пакеты ex246, соответственно. Эти TS-пакеты мультиплексируются в поток, чтобы получать мультиплексированные данные ex247.

[0244] Фиг. 27 иллюстрирует то, как видеопоток сохраняется в потоке PES-пакетов. Первая панель на Фиг. 27 показывает поток видеокадров в видеопотоке. Вторая панель показывает поток PES-пакетов. Как указано посредством стрелок, обозначенных как yy1, yy2, yy3 и yy4 на Фиг. 27, видеопоток разделяется на изображения, такие как I-изображения, B-изображения и P-изображения, каждое из которых является единицей видеопредставления, и изображения сохраняются в рабочих данных каждого из PES-пакетов. Каждый из PES-пакетов имеет PES-заголовок, и PES-заголовок сохраняет временную метку представления (PTS), указывающую время отображения изображения, и временную метку декодирования (DTS), указывающую время декодирования изображения.

[0245] Фиг. 28 иллюстрирует формат TS-пакетов, которые должны быть в итоге записаны в мультиплексированные данные. Каждый из TS-пакетов является 188-байтовым пакетом фиксированной длины, включающим в себя 4-байтовый TS-заголовок, имеющий такую информацию, как PID для идентификации потока, и 184-байтовые рабочие TS-данные для сохранения данных. PES-пакеты разделяются и сохраняются в рабочих данных TS, соответственно. Когда используется BD-ROM, каждому из TS-пакетов присваивается 4-байтовый TP_Extra_Header, тем самым приводя к 192-байтовым исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит такую информацию, как Arrival_Time_Stamp (ATS). ATS показывает время начала передачи, в которое каждый из TS-пакетов должен быть передан в PID-фильтр. Исходные пакеты размещаются в мультиплексированных данных, как показано в нижней части Фиг. 28. Номера, увеличивающиеся с заголовка мультиплексированных данных, называются номерами исходных пакетов (SPN).

[0246] Каждый из TS-пакетов, включенных в мультиплексированные данные, включает в себя не только потоки аудио, видео, субтитров и т.п., но также и таблицу ассоциаций программ (PAT), таблицу структуры программ (PMT) и временную отметку программ (PCR). PAT показывает то, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самого PAT регистрируется как нуль. PMT сохраняет PID потоков видео, аудио, субтитров и т.п., включенных в мультиплексированные данные, и информацию атрибутов потоков, соответствующих PID. PMT также имеет различные дескрипторы, связанные с мультиплексированными данными. Дескрипторы имеют такую информацию, как информация управления копированием, показывающая то, разрешено или нет копирование мультиплексированных данных. PCR сохраняет информацию STC-времени, соответствующую ATS, показывающей, когда PCR-пакет передается в декодер, чтобы достигать синхронизации между таймером поступления (ATC), т.е. временной осью ATS, и системным таймером (STC), т.е. временной осью PTS и DTS.

[0247] Фиг. 29 подробно поясняет структуру данных PMT. PMT-заголовок располагается в верхней части PMT. PMT-заголовок описывает длину данных, включенных в PMT, и т.п. Множество дескрипторов, связанных с мультиплексированными данными, располагается после PMT-заголовка. Информация, такая как информация управления копированием, описывается в дескрипторах. После дескрипторов располагается множество фрагментов информации потока, связанных с потоками, включенными в мультиплексированные данные. Каждый фрагмент информации потока включает в себя дескрипторы потоков, каждый из которых описывает такую информацию, как тип потока для идентификации кодека сжатия потока, PID потока и информация атрибутов потока (такая как частота кадров или соотношение сторон). Дескрипторы потоков по числу равны числу потоков в мультиплексированных данных.

[0248] Когда мультиплексированные данные записываются на носителе записи и т.д., они записываются вместе с файлами информации мультиплексированных данных.

[0249] Каждый из файлов информации мультиплексированных данных является управляющей информацией мультиплексированных данных, как показано на Фиг. 30. Файлы информации мультиплексированных данных находятся в соответствии "один-к-одному" с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, информацию атрибутов потока и карту вхождений.

[0250] Как проиллюстрировано на Фиг. 30, информация мультиплексированных данных включает в себя системную скорость, время начала воспроизведения и время завершения воспроизведения. Системная скорость указывает максимальную скорость передачи, на которой декодер системных целевых объектов, который должен быть описан ниже, передает мультиплексированные данные в PID-фильтр. Интервалы ATS, включенных в мультиплексированные данные, задаются не больше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в заголовке мультиплексированных данных. Интервал одного кадра добавляется к PTS в видеокадре в конце мультиплексированных данных, и PTS задается равным времени завершения воспроизведения.

[0251] Как показано на Фиг. 31, фрагмент информации атрибутов регистрируется в информации атрибутов потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждый фрагмент информации атрибутов имеет различную информацию в зависимости от того, является соответствующий поток видеопотоком, аудиопотоком, потоком презентационной графики или потоком интерактивной графики. Каждый фрагмент информации атрибутов видеопотока переносит информацию, включающую в себя то, какой кодек сжатия используется для сжатия видеопотока, а также разрешение, соотношение сторон и частоту кадров фрагментов данных изображений, которые включаются в видеопоток. Каждый фрагмент информации атрибутов аудиопотока переносит информацию, включающую в себя то, какой кодек сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопотока, и насколько высокой является частота дискретизации. Информация атрибутов видеопотока и информация атрибутов аудиопотока используются для инициализации декодера до того, как проигрыватель воспроизводит информацию.

[0252] В этом варианте осуществления мультиплексированные данные, которые должны быть использованы, имеют тип потока, включенный в PMT. Кроме того, когда мультиплексированные данные записываются на носителе записи, используется информация атрибутов видеопотока, включенная в информацию мультиплексированных данных. Более конкретно, способ кодирования движущихся картинок или устройство кодирования движущихся картинок, описанные в каждом из вариантов осуществления, включают в себя этап или модуль для выделения уникальных видеоданных, указывающих информацию, сформированную посредством способа кодирования движущихся картинок или устройства кодирования движущихся картинок в каждом из вариантов осуществления, для типа потока, включенного в PMT, или информации атрибутов видеопотока. При этой конфигурации, видеоданные, сформированные посредством способа кодирования движущихся картинок или устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления, могут отличаться от видеоданных, которые соответствуют другому стандарту.

[0253] Кроме того, Фиг. 32 иллюстрирует этапы способа декодирования движущихся картинок согласно этому варианту осуществления. На этапе exS100, тип потока, включенный в PMT или информацию атрибутов видеопотока, включенную в информацию мультиплексированных данных, получается из мультиплексированных данных. Затем, на этапе exS101, определяется то, указывает или нет тип потока либо информация атрибутов видеопотока то, что мультиплексированные данные формируются посредством способа кодирования видео или устройства кодирования видео в каждом из вариантов осуществления. Когда определяется то, что тип потока или информация атрибутов видеопотока указывают то, что мультиплексированные данные формируются посредством способа кодирования движущихся картинок или устройства кодирования движущихся картинок в каждом из вариантов осуществления, на этапе exS102, декодирование выполняется посредством способа декодирования движущихся картинок в каждом из вариантов осуществления. Кроме того, когда тип потока или информация атрибутов видеопотока указывает соответствие традиционным стандартам, таким как MPEG-2, MPEG-4-AVC и VC-1, на этапе exS103, декодирование выполняется посредством способа декодирования движущихся картинок в соответствии с традиционными стандартами.

[0254] Также, выделение нового уникального значения для типа потока или информации атрибутов видеопотока обеспечивает определение того, могут или нет выполнять декодирование способ декодирования движущихся картинок или устройство декодирования движущихся картинок, которые описываются в каждом из вариантов осуществления. Даже когда вводятся мультиплексированные данные, которые соответствуют различному стандарту, может быть выбран надлежащий способ или устройство декодирования. Таким образом, появляется возможность декодировать информацию без ошибок. Кроме того, способ или устройство кодирования движущихся картинок либо способ или устройство декодирования движущихся картинок в этом варианте осуществления могут быть использованы в устройствах и системах, описанных выше.

[0255] Четвертый вариант осуществления

Каждый из способа кодирования движущихся картинок, устройства кодирования движущихся картинок, способа декодирования движущихся картинок и устройства декодирования движущихся картинок в каждом из вариантов осуществления типично осуществляется в форме интегральной схемы или большой интегральной (LSI) схемы. В качестве примера, Фиг. 33 иллюстрирует конфигурацию LSI ex500, которая изготовлена на одном кристалле. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые должны быть описаны ниже, и элементы соединяются друг с другом через шину ex510. Модуль ex505 схемы электропитания активируется посредством предоставления питания в каждый из элементов, когда модуль ex505 схемы электропитания включается.

[0256] Например, когда выполняется кодирование, LSI ex500 принимает AV-сигнал из микрофона ex117, камеры ex113 и т.п. через AV-ввод/вывод ex509 под управлением модуля ex501 управления, включающего в себя CPU ex502, контроллер ex503 памяти, потоковый контроллер ex504 и модуль ex512 управления частотой возбуждения. Принимаемый AV-сигнал временно сохраняется во внешней памяти ex511, к примеру, SDRAM. Под управлением модуля ex501 управления, сохраненные данные сегментируются на части данных согласно объему и скорости обработки так, что они передаются в процессор ex507 сигналов. Затем, процессор ex507 сигналов кодирует аудиосигнал и/или видеосигнал. Здесь, кодирование видеосигнала является кодированием, описанным в каждом из вариантов осуществления. Кроме того, процессор ex507 сигналов иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и потоковый ввод-вывод ex506 предоставляет мультиплексированные данные наружу. Предоставляемый поток битов передается в базовую станцию ex107 или записывается на носители ex215 записи. Когда наборы данных мультиплексируются, данные должны временно сохраняться в буфере ex508 так, что наборы данных являются синхронизированными друг с другом.

[0257] Хотя память ex511 является элементом за пределами LSI ex500, оно может быть включено в LSI ex500. Буфер ex508 не ограничен одним буфером, а может состоять из буферов. Кроме того, LSI ex500 может состоять из одного кристалла или множества кристаллов.

[0258] Кроме того, хотя модуль ex501 управления включает в себя CPU ex502, контроллер ex503 памяти, потоковый контроллер ex504, модуль ex512 управления частотой возбуждения, конфигурация модуля ex501 управления не ограничена этой. Например, процессор ex507 сигналов дополнительно может включать в себя CPU. Включение другого CPU в процессор ex507 сигналов может повышать скорость обработки. Кроме того, в качестве другого примера, CPU ex502 может выступать в качестве или быть частью процессора ex507 сигналов и, например, может включать в себя процессор аудиосигналов. В таком случае, модуль ex501 управления включает в себя процессор ex507 сигналов или CPU ex502, включающий в себя часть процессора ex507 сигналов.

[0259] Используемым здесь названием является LSI, но она также может называться IC, системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.

[0260] Кроме того, способы достигать интеграции не ограничены LSI, и специальная схема или процессор общего назначения и т.д. также позволяет достигать интеграции. Программируемая пользователем вентильная матрица (FPGA), которая может программироваться после изготовления LSI, или реконфигурируемый процессор, который дает возможность переконфигурирования подключения или конфигурации LSI, может использоваться для аналогичной цели. Такое программируемое логическое устройство может типично выполнять способ кодирования движущихся картинок и/или способ декодирования движущихся картинок согласно любому из вышеописанных вариантов осуществления путем загрузки или считывания из памяти и т.п. одной или более программ, которые включаются в программное обеспечение или микропрограммное обеспечение.

[0261] В будущем, с развитием полупроводниковых технологий совершенно новая технология может заменять LSI. Функциональные блоки могут быть интегрированы с использованием этой технологии. Имеется возможность того, что настоящее изобретение применимо к биотехнологии.

[0262] Пятый вариант осуществления

Когда декодируются видеоданные, сформированные в способе кодирования движущихся картинок или посредством устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления, по сравнению с тем, когда декодируются видеоданные, которые соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, объем обработки, вероятно, возрастает. Таким образом, LSI ex500 должна задаваться на частоте возбуждения, превышающей частоту CPU ex502, которая должна быть использована, когда видеоданные декодируются в соответствии с традиционным стандартом. Тем не менее, когда частота возбуждения задается большей, имеется проблема в том, что возрастает энергопотребление.

[0263] Чтобы разрешать проблему, устройство декодирования движущихся картинок, такое как телевизионный приемник ex300 и LSI ex500, выполнено с возможностью определять то, какому стандарту соответствуют видеоданные, и переключаться между частотами возбуждения согласно определенному стандарту. Фиг. 34 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Модуль ex803 переключения частоты возбуждения задает частоту возбуждения равной высокой частоте возбуждения, когда видеоданные формируются посредством способа кодирования движущихся картинок или устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления. Затем, модуль ex803 переключения частоты возбуждения инструктирует процессору ex801 декодирования, который осуществляет способ декодирования движущихся картинок, описанный в каждом из вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, модуль ex803 переключения частоты возбуждения задает частоту возбуждения равной меньшей частоте возбуждения, чем частота возбуждения видеоданных, сформированных посредством способа кодирования движущихся картинок или устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления. Затем, модуль ex803 переключения частоты возбуждения инструктирует процессору ex802 декодирования, который соответствует традиционному стандарту, декодировать видеоданные.

[0264] Более конкретно, модуль ex803 переключения частоты возбуждения включает в себя CPU ex502 и модуль ex512 управления частотой возбуждения на Фиг. 33. Здесь, каждый из процессора ex801 декодирования, который осуществляет способ декодирования движущихся картинок, описанный в каждом из вариантов осуществления, и процессора ex802 декодирования, который соответствует традиционному стандарту, соответствует процессору ex507 сигналов на Фиг. 33. CPU ex502 определяет то, какому стандарту соответствуют видеоданные. Затем, модуль ex512 управления частотой возбуждения определяет частоту возбуждения на основе сигнала из CPU ex502. Кроме того, процессор ex507 сигналов декодирует видеоданные на основе сигнала из CPU ex502. Например, идентификационная информация, описанная в варианте 3 осуществления, вероятно, используется для идентификации видеоданных. Идентификационная информация не ограничена идентификационной информацией, описанной в варианте 3 осуществления, а может быть любой информацией при условии, что информация указывает то, какому стандарту соответствуют видеоданные. Например, когда то, какому стандарту соответствуют стандартные видеоданные, может быть определено на основе внешнего сигнала для определения того, что видеоданные используются для телевизионного приемника или диска и т.д., определение может выполняться на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения, как показано на Фиг. 36. Частота возбуждения может быть выбрана посредством сохранения таблицы поиска в буфере ex508 и внутренней памяти LSI и при обращении к таблице поиска посредством CPU ex502.

[0265] Фиг. 35 иллюстрирует этапы для осуществления способа в настоящем варианте осуществления. Во-первых, на этапе exS200, процессор ex507 сигналов получает идентификационную информацию из мультиплексированных данных. Затем, на этапе exS201, CPU ex502 определяет на основе идентификационной информации то, формируются или нет видеоданные посредством способа кодирования и устройства кодирования, описанных в каждом из вариантов осуществления. Когда видеоданные формируются посредством способа кодирования движущихся картинок и устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления, на этапе exS202, CPU ex502 передает сигнал для задания частоты возбуждения равной большей частоте возбуждения в модуль ex512 управления частотой возбуждения. Затем, модуль ex512 управления частотой возбуждения задает частоту возбуждения равной большей частоте возбуждения. С другой стороны, когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, на этапе exS203, CPU ex502 передает сигнал для задания частоты возбуждения равной меньшей частоте возбуждения в модуль ex512 управления частотой возбуждения. Затем, модуль ex512 управления частотой возбуждения задает частоту возбуждения равной меньшей частоте возбуждения, чем частота возбуждения в случае, если видеоданные формируются посредством способа кодирования движущихся картинок и устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления.

[0266] Кроме того, наряду с переключением частот возбуждения, энергосберегающий эффект может быть повышен посредством изменения напряжения, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500. Например, когда частота возбуждения задается меньшей, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается равным напряжению, меньшему напряжения в случае, если частота возбуждения задается большей.

[0267] Кроме того, когда объем обработки для декодирования больше, частота возбуждения может задаваться большей, а когда объем обработки для декодирования меньше, частота возбуждения может задаваться меньшей в качестве способа для задания частоты возбуждения. Таким образом, способ задания не ограничен способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG-4 AVC превышает объем обработки для декодирования видеоданных, сформированных посредством способа кодирования движущихся картинок и устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления, частота возбуждения, вероятно, задается в обратном порядке относительно задания, описанного выше.

[0268] Кроме того, способ для задания частоты возбуждения не ограничен способом для задания частоты возбуждения меньшей. Например, когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся картинок и устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается большим. Когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается меньшим. В качестве другого примера, когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся картинок и устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления, возбуждение CPU ex502, вероятно, не должно приостанавливаться. Когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, возбуждение CPU ex502, вероятно, приостанавливается в данное время, поскольку CPU ex502 имеет дополнительную производительность обработки. Даже когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся картинок и устройства кодирования движущихся картинок, описанных в каждом из вариантов осуществления, в случае если CPU ex502 имеет дополнительную производительность обработки, возбуждение CPU ex502, вероятно, приостанавливается в данное время. В таком случае, время приостановки, вероятно, задается меньшим времени приостановки в случае, когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1.

[0269] Соответственно, энергосберегающий эффект может быть повышен посредством переключения между частотами возбуждения согласно стандарту, которому соответствуют видеоданные. Кроме того, когда LSI ex500 или устройство, включающее в себя LSI ex500, возбуждается с использованием аккумулятора, время работы от аккумулятора может быть продлено за счет энергосберегающего эффекта.

[0270] Шестой вариант осуществления

Возникают случаи, когда множество видеоданных, которые соответствуют различным стандартам, предоставляются в устройства и системы, такие как телевизионный приемник и сотовый телефон. Чтобы обеспечивать декодирование множества видеоданных, которые соответствуют различным стандартам, процессор ex507 сигналов LSI ex500 должен соответствовать различным стандартам. Тем не менее, проблемы увеличения масштаба схемы LSI ex500 и роста затрат возникают при отдельном использовании процессоров ex507 сигналов, которые соответствуют соответствующим стандартам.

[0271] Чтобы разрешать проблему, задумана конфигурация, в которой частично совместно используются процессор декодирования для реализации способа декодирования движущихся картинок, описанного в каждом из вариантов осуществления, и процессор декодирования, который соответствует традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1. Ex900 на Фиг. 37A показывает пример конфигурации. Например, способ декодирования движущихся картинок, описанный в каждом из вариантов осуществления, и способ декодирования движущихся картинок, который соответствует MPEG-4 AVC, имеют, частично совместно, сведения по обработке, такой как энтропийное кодирование, обратное квантование, фильтрация для удаления блочности и предсказание с компенсацией движения. Сведения по обработке, которая должна совместно использоваться, вероятно, включают в себя использование процессора ex902 декодирования, который соответствует MPEG-4 AVC. Напротив, выделенный процессор ex901 декодирования, вероятно, используется для другой обработки, уникальной для аспекта настоящего изобретения. Since the aspect of the present invention is characterized by the extraction of coded data from the buffer in particular, for example, the dedicated decoding processing unit ex901 is used for this extraction of coded data. В противном случае, процессор декодирования, вероятно, совместно используется для одного из энтропийного кодирования, обратного квантования, фильтрации для удаления блочности и компенсации движения или всей обработки. Процессор декодирования для реализации способа декодирования движущихся картинок, описанного в каждом из вариантов осуществления, может быть совместно использован для обработки, которая должна совместно использоваться, и выделенный процессор декодирования может использоваться для обработки, уникальной для MPEG-4 AVC.

[0272] Кроме того, ex1000 на Фиг. 37B показывает другой пример, в котором обработка совместно используется частично. Этот пример использует конфигурацию, включающую в себя выделенный процессор ex1001 декодирования, который поддерживает обработку, уникальную для аспекта настоящего изобретения, выделенный процессор ex1002 декодирования, который поддерживает обработку, уникальную для другого традиционного стандарта, и процессор ex1003 декодирования, который поддерживает обработку, которая должна совместно использоваться способом декодирования движущихся картинок согласно аспекту настоящего изобретения и традиционным способом декодирования движущихся картинок. Здесь, выделенные процессоры ex1001 и ex1002 декодирования не обязательно являются специализированными для обработки согласно аспекту настоящего изобретения и обработки по традиционному стандарту, соответственно, и могут быть процессорами, допускающими реализацию общей обработки. Кроме того, конфигурация настоящего варианта осуществления может быть реализована посредством LSI ex500.

[0273] Так же, уменьшение масштаба схемы LSI и сокращение затрат возможно за счет совместного использования процессора декодирования для обработки, которая должна совместно использоваться способом декодирования движущихся картинок согласно аспекту настоящего изобретения и способом декодирования движущихся картинок в соответствии с традиционным стандартом.

[0274] ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изобретение является применимым к способам кодирования изображений, способам декодирования изображений, устройствам кодирования изображений и устройствам декодирования изображений. Настоящее изобретение может быть использовано для устройств отображения информации и устройств формирования изображений с высоким разрешением, которые включают в себя устройства кодирования изображений, таких как телевизионные приемники, цифровые записывающие видеоустройства, автомобильные навигационные системы, сотовые телефоны, цифровые камеры и цифровые видеокамеры.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ

[0275] 100, 403 - кодер

101 - сигнал входного изображения

110 - модуль вычитания

111 - сигнал ошибки предсказания

120 - модуль преобразования

121 - выходной сигнал преобразования

130 - модуль квантования

131, 231 - коэффициент квантования

140, 240 - модуль обратного квантования

141, 241 - декодированный выходной сигнал преобразования

150, 250 - модуль обратного преобразования

151, 251 - декодированный входной сигнал преобразования

160, 260 - сумматор

161, 261 - декодированный сигнал

170, 270 - память

180, 280 - модуль предсказания

181, 281 - сигнал предсказания

190 - энтропийный кодер

191 - кодированный сигнал

200, 303, 505 - декодер

290 - энтропийный декодер

291 - способ предсказания

300 - устройство декодирования изображений

301 - CPB

302, 402 - модуль определения моментов времени извлечения

304, 507 - DPB

311 - модуль определения единиц извлечения

312, 412 - модуль определения моментов времени извлечения единиц доступа

313 - модуль определения режима

314, 414, 506 - модуль определения моментов времени извлечения единиц декодирования

315 - модуль передачи моментов времени извлечения

400 - устройство кодирования изображений

411 - модуль определения единиц извлечения

413 - модуль определения режима

500 - STD

501 - TS-демультиплексор

502 - TB

503 - MB

504 - EB

Изобретение относится к технологиям кодирования/декодирования изображений. Техническим результатом является уменьшение нагрузки по обработке за счет включения второго флага в поток битов, который указывает, являются ли интервалы между моментами времени их извлечения постоянными или нет. Предложен способ кодирования для кодирования единиц декодирования, которые включены в картинку. Способ содержит этап, на котором формируют первый флаг, указывающий то, задается или нет время удаления кодированных данных из буфера посредством гипотетического декодера в расчете на единицу декодирования, причем буфер предназначен для сохранения кодированных данных. Далее согласно способу формируют второй флаг, указывающий то, является ли интервал между временами удаления единиц декодирования постоянным или произвольным, когда времена удаления задаются в расчете на единицу декодирования. 5 н. и 12 з.п. ф-лы, 43 ил.

1. Способ кодирования для кодирования единиц декодирования, которые включены в картинку, причем способ кодирования содержит этапы, на которых:

формируют первый флаг, указывающий то, задается или нет время удаления кодированных данных из буфера посредством гипотетического декодера в расчете на единицу декодирования, причем буфер предназначен для сохранения кодированных данных;

формируют второй флаг, указывающий то, является ли интервал между временами удаления единиц декодирования постоянным или произвольным, когда времена удаления задаются в расчете на единицу декодирования; и

формируют кодированный поток битов, включающий в себя кодированные данные и первый флаг,

при этом кодированный поток битов включает в себя второй флаг, когда первый флаг указывает то, что времена удаления задаются в расчете на единицу декодирования.

2. Способ кодирования по п. 1,

в котором первый флаг включается в информацию применимости видео (VUI) кодированного потока битов, причем VUI назначается одной или более картинкам.

3. Способ кодирования по п. 2, дополнительно содержащий этап, на котором:

формируют информацию общего интервала, когда второй флаг указывает то, что интервал является постоянным, причем информация общего интервала указывает интервал,

при этом при формировании кодированного потока битов информация общего интервала включается в управляющую информацию в расчете на картинку, которая включается в кодированный поток битов и предоставляется в расчете на картинку.

4. Способ кодирования по п. 3,

в котором информация общего интервала включает в себя интервал, общий для единиц декодирования, и общее число единиц декодирования, включенных в одну картинку.

5. Способ кодирования по п. 3, дополнительно содержащий этап, на котором:

формируют информацию переменного интервала, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц декодирования,

при этом при формировании кодированного потока битов информация переменного интервала включается в управляющую информацию в расчете на картинку.

6. Способ кодирования по п. 2, дополнительно содержащий этап, на котором:

формируют информацию переменного интервала, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц декодирования,

при этом при формировании кодированного потока битов информация переменного интервала включается в управляющую информацию в расчете на единицу декодирования, которая включается в кодированный поток битов и предоставляется в расчете на единицу декодирования.

7. Способ кодирования по п. 1,

в котором кодированный поток битов включает в себя транспортный поток и дескриптор, и

при формировании кодированного потока битов второй флаг включается в дескриптор.

8. Способ декодирования для декодирования кодированных данных в расчете на единицу декодирования, включенных в единицы декодирования, которые включаются в картинку, причем способ декодирования содержит этапы, на которых:

получают из кодированного потока битов, включающего в себя кодированные данные, первый флаг, указывающий то, задается или нет время удаления кодированных данных из буфера в расчете на единицу декодирования, причем буфер предназначен для сохранения кодированных данных;

получают из кодированного потока битов второй флаг, указывающий то, является ли интервал между временами удаления единиц декодирования постоянным или произвольным, когда времена удаления задаются в расчете на единицу декодирования;

удаляют кодированные данные из буфера в расчете на единицу декодирования и с постоянным или произвольным интервалом согласно второму флагу; и

декодируют удаленные кодированные данные,

при этом кодированный поток битов включает в себя второй флаг, когда первый флаг указывает то, что времена удаления задаются в расчете на единицу декодирования.

9. Способ декодирования по п. 8,

в котором первый флаг включается в информацию применимости видео (VUI) кодированного потока битов, причем VUI назначается одной или более картинкам.

10. Способ декодирования по п. 9, дополнительно содержащий этап, на котором:

получают информацию общего интервала из управляющей информации в расчете на картинку, когда второй флаг указывает то, что интервал является постоянным, причем информация общего интервала указывает интервал, и управляющая информация в расчете на картинку включается в кодированный поток битов и предоставляется в расчете на картинку,

при этом при удалении, когда второй флаг указывает то, что интервал является постоянным, кодированные данные удаляются из буфера в расчете на единицу декодирования и с интервалом, указываемым в информации общего интервала.

11. Способ декодирования по п. 10,

в котором информация общего интервала указывает интервал, общий для единиц декодирования, и общее число единиц декодирования, включенных в одну картинку, и

при удалении интервал вычисляется с использованием интервала, общего для единиц декодирования, и общего числа единиц декодирования, и кодированные данные удаляются из буфера в расчете на единицу декодирования и с вычисленным интервалом.

12. Способ декодирования по п. 10, дополнительно содержащий этап, на котором:

получают информацию переменного интервала из управляющей информации в расчете на картинку, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц декодирования,

при этом при удалении, когда второй флаг указывает то, что интервал является произвольным, кодированные данные удаляются из буфера в расчете на единицу декодирования и с интервалом, указываемым в информации переменного интервала.

13. Способ декодирования по п. 9, дополнительно содержащий этап, на котором:

получают информацию переменного интервала из управляющей информации в расчете на единицу, когда второй флаг указывает то, что интервал является произвольным, причем информация переменного интервала указывает интервал для каждой из единиц декодирования, и управляющая информация в расчете на единицу включается в кодированный поток битов и предоставляется в расчете на единицу декодирования,

при этом при удалении, когда второй флаг указывает то, что интервал является произвольным, кодированные данные удаляются из буфера в расчете на единицу декодирования и с интервалом, указываемым в информации переменного интервала.

14. Способ декодирования по п. 8,

в котором кодированный поток битов включает в себя транспортный поток и дескриптор, и

при получении второго флага второй флаг получается из дескриптора.

15. Устройство кодирования для кодирования единиц декодирования, которые включены в картинку, причем устройство кодирования содержит:

схему обработки; и

хранилище, доступное из схемы обработки,

при этом схема обработки исполняет:

формирование первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера посредством гипотетического декодера в расчете на единицу декодирования, причем буфер предназначен для сохранения кодированных данных;

формирование второго флага, указывающего то, является ли интервал между временами удаления единиц декодирования постоянным или произвольным, когда времена удаления задаются в расчете на единицу декодирования; и

формирование кодированного потока битов, включающего в себя кодированные данные и первый флаг,

при этом кодированный поток битов включает в себя второй флаг, когда первый флаг указывает то, что времена удаления задаются в расчете на единицу декодирования.

16. Устройство декодирования для декодирования кодированных данных в расчете на единицу декодирования, включенных в единицы декодирования, которые включаются в картинку, причем устройство декодирования содержит:

схему обработки; и

хранилище, доступное из схемы обработки,

при этом схема обработки исполняет:

получение из кодированного потока битов, включающего в себя кодированные данные, первого флага, указывающего то, задается или нет время удаления кодированных данных из буфера в расчете на единицу декодирования, причем буфер предназначен для сохранения кодированных данных;

получение из кодированного потока битов второго флага, указывающего то, является ли интервал между временами удаления единиц декодирования постоянным или произвольным, когда времена удаления задаются в расчете на единицу декодирования;

удаление кодированных данных из буфера в расчете на единицу декодирования и с постоянным или произвольным интервалом согласно второму флагу; и

декодирование удаленных кодированных данных,

при этом кодированный поток битов включает в себя второй флаг, когда первый флаг указывает то, что времена удаления задаются в расчете на единицу декодирования.

17. Устройство кодирования и декодирования, содержащее:

устройство кодирования по п. 15; и

устройство декодирования по п. 16.