СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, ПРОГРАММА И ИНТЕГРАЛЬНАЯ СХЕМА Российский патент 2016 года по МПК H04N19/30 

[ОБЛАСТЬ ТЕХНИКИ]

[0001]

Настоящее изобретение относится к способу кодирования изображений для кодирования изображений или киноизображений, включенных в мультимедийные данные, и к способу декодирования изображений для декодирования кодированных изображений или киноизображений.

[ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ]

[0002]

В стандартах сжатия видеоизображений типа MPEG-1, MPEG-2, MPEG-4 или MPEG-4 AVC сжатое изображение обычно делится на прямоугольные блоки, называемые "макроблоками". Макроблок обычно задается как двумерный блок выборок изображения. Выборки изображения имеют ширину в 16 пикселей и высоту в 16 пикселей для выборок яркости. Коэффициент сжатия для макроблока управляется параметром шкалы квантования для каждого макроблока. Параметр шкалы квантования определяет уровень квантования, который нужно применить ко всем частотным коэффициентам. Параметр шкалы квантования обычно кодируется как значение отличия от параметра шкалы квантования у предыдущего макроблока в порядке кодирования и хранится в заголовке сжатого макроблока.

[0003]

В новых разрабатываемых видеостандартах, например стандарте Высокоэффективного кодирования видеосигнала (HEVC) от органов по стандартизации MPEG, предполагается, что разделение изображений на большие блоки может повысить эффективность кодирования сжатого видеоизображения (например, см. Непатентную литературу 1). Другими словами, изображение можно разделить на блоки кодирования (CU), где каждый блок кодирования имеет размер, который может быть гораздо больше макроблока. Например, размер блока кодирования может составлять 128 пикселей на 128 пикселей для выборок яркости, что приблизительно в 64 раза больше макроблока.

[0004]

Большой блок кодирования можно подразделить на меньшие блоки (субблоки кодирования) для достижения лучшей эффективности кодирования. Каждый блок кодирования или субблок кодирования содержит три основных компонента. Основными компонентами являются заголовок блока кодирования, блок предсказания (PU) и блок преобразования (TU).

[0005]

Фиг. 1 - схема, показывающая структуру сжатого изображения, содержащую блоки кодирования.

[0006]

Как показано на фиг. 1, изображение D100 включает в себя заголовок (в дальнейшем называемый заголовком изображения) и тело. Заголовок изображения включает в себя параметры, имеющие отношение к изображению (параметры изображения), тогда как тело включает в себя сжатые выборки изображения. Кроме того, тело включает в себя блоки кодирования, например блоки D102 и D104 кодирования, и некоторые блоки кодирования делятся на субблоки кодирования. Например, блок D102 кодирования делится на субблоки D106 кодирования, и один из субблоков D106 кодирования дополнительно делится на меньшие субблоки D108 кодирования. Блок D104 кодирования или субблок D108 кодирования содержит три основных компонента. Точнее говоря, блок D104 кодирования включает в себя заголовок D116 блока кодирования, блок D118 предсказания и блок D120 преобразования в качестве трех основных компонентов. Субблок D108 кодирования содержит заголовок D110 субблока кодирования, блок D112 предсказания и блок D114 преобразования в качестве трех основных компонентов. Как показано на фиг. 1, блок D120 преобразования делится на небольшие субблоки D122 преобразования, и один из субблоков D122 преобразования делится на меньшие субблоки D124 преобразования. Наименьшие блоки D114 и D124 преобразования (субблоки преобразования) включают в себя квантованные коэффициенты блока, который требует параметр шкалы квантования для процесса обратного квантования коэффициентов.

[СПИСОК ИСТОЧНИКОВ]

[НЕПАТЕНТНАЯ ЛИТЕРАТУРА]

[0007]

[НЕПАТЕНТНАЯ ЛИТЕРАТУРА 1]

"Test Model under Consideration", Объединенная группа по кодированию видеосигнала (JCT-VC) из ITU-T SG16 WP3 и ISO/IEC JTC1/SC29/WG11, 2-ое собрание: Женева, Швейцария, 21-28 июля 2010 г., документ: JCTVC-B205

[СУЩНОСТЬ ИЗОБРЕТЕНИЯ]

[ТЕХНИЧЕСКАЯ ПРОБЛЕМА]

[0008]

Однако в способе декодирования изображений и способе кодирования изображений в соответствии с вышеописанной Непатентной литературой 1 имеется проблема в том, что нельзя одновременно повысить качество изображения и эффективность кодирования. Другими словами, такой параметр, как параметр шкалы квантования, необходимый для кодирования и процесса кодирования, хранится в заголовке изображения, так что параметр применяется ко всему телу изображения D100. В результате невозможно регулировать качество изображения для каждого из небольших блоков обработки, например субблока кодирования, блока предсказания, субблока предсказания, блока преобразования или субблока преобразования. Кроме того, объем кодирования большой, когда параметр хранится для каждого из блоков обработки, так что параметр применяется к каждому из наименьших блоков обработки.

[0009]

Поэтому настоящее изобретение задумано в связи с этой проблемой, и цель настоящего изобретения - предоставить способ декодирования изображений и способ кодирования изображений для одновременного повышения качества изображения и эффективности кодирования.

[РЕШЕНИЕ ПРОБЛЕМЫ]

[0010]

Чтобы достичь вышеописанной цели, способ декодирования изображений в соответствии с аспектом настоящего изобретения является способом декодирования изображений для декодирования кодированного потока, который включает в себя множество блоков обработки и заголовок для блоков обработки, причем кодированный поток формируется путем кодирования киноизображения, блоки обработки включают в себя по меньшей мере один многоуровневый блок обработки для разбиения на множество меньших блоков обработки, при этом способ декодирования изображений включает в себя: задание иерархического уровня, имеющего блок обработки, в котором хранится необходимый для декодирования параметр, путем разбора информации о глубине иерархии, хранимой в заголовке; и декодирование блока обработки с использованием параметра, хранимого в блоке обработки, расположенном на заданном иерархическом уровне.

[0011]

При этом блок обработки разделяется на уровни иерархически. Когда параметр хранится в каждом небольшом блоке обработки, расположенном на более низком иерархическом уровне, небольшие блоки обработки можно декодировать путем применения разного параметра к каждому из небольших блоков обработки. В результате можно повысить качество изображения. Кроме того, поскольку иерархический уровень, имеющий блок обработки, в котором хранится необходимый для декодирования параметр, задается путем разбора информации о глубине иерархии, иерархический уровень можно установить на произвольном иерархическом уровне вместо ограничения самым нижним иерархическим уровнем. Поэтому можно уменьшить объем кодирования для всех параметров, включенных в кодированный поток, по сравнению со случаем, где параметр хранится для каждого из наименьших блоков обработки, расположенных на самом нижнем иерархическом уровне, и эффективность кодирования можно повысить. При этом можно одновременно повысить качество изображения и эффективность кодирования. Кроме того, поскольку путем разбора информации о глубине иерархии задается иерархический уровень, имеющий блок обработки, в котором хранится параметр, то можно уменьшить нагрузку у процесса поиска блока обработки, в котором хранится параметр.

[0012]

Кроме того, кодированный поток формируется путем кодирования, которое включает в себя ортогональное преобразование и квантование, блок обработки разделяется на уровни, чтобы уменьшаться в направлении от более высокого уровня к более низкому уровню, блок кодирования существует в качестве наибольшего блока обработки на наивысшем иерархическом уровне, а блок преобразования существует в качестве блока обработки меньше блока кодирования на более низком иерархическом уровне, который находится глубже наивысшего иерархического уровня, параметр является параметром квантования, примененным к блоку преобразования, информация о глубине иерархии указывает более низкий иерархический уровень, который находится глубже наивысшего иерархического уровня, и (i) иерархический уровень, указанный информацией о глубине иерархии, или (ii) иерархический уровень, который находится выше упомянутого иерархического уровня и отличается от наивысшего иерархического уровня, задается при задании иерархического уровня, имеющего блок обработки, в котором хранится параметр квантования.

[0013]

При этом можно одновременно повысить качество изображения при квантовании по параметру квантования и эффективность кодирования в параметре квантования.

[0014]

Кроме того, заголовок может быть заголовком изображения для изображения, включающего в себя блоки обработки, и информация о глубине иерархии может храниться в заголовке изображения.

[0015]

При этом иерархию, имеющую блок обработки, в котором хранится необходимый для декодирования параметр, можно идентифицировать как общий иерархический уровень для всего изображения.

[0016]

Кроме того, когда декодируется блок обработки, может использоваться параметр квантования, расположенный в блоке обработки после коэффициента преобразования, сформированного ортогональным преобразованием и квантованием.

[0017]

При этом, поскольку параметр квантования хранится, только когда имеются коэффициенты преобразования, параметр квантования не хранится, когда коэффициенты преобразования отсутствуют, и эффективность кодирования можно повысить.

[0018]

Кроме того, чтобы достичь вышеупомянутой цели, способ кодирования изображений в соответствии с аспектом настоящего изобретения является способом кодирования изображений для формирования (путем кодирования киноизображения) кодированного потока, который включает в себя множество блоков обработки и заголовок для блоков обработки, причем блоки обработки включают в себя по меньшей мере один многоуровневый блок обработки для разбиения на множество меньших блоков обработки, при этом способ кодирования изображений включает в себя: кодирование киноизображения; запись в заголовок информации о глубине иерархии для задания иерархического уровня, имеющего блок обработки, в котором хранится необходимый для декодирования параметр; и запись параметра в блок обработки, расположенный на иерархическом уровне, заданном информацией о глубине иерархии.

[0019]

При этом, когда блок обработки иерархически разделяется на уровни, можно записать параметр, который отличается для каждого из небольших блоков обработки, которые располагаются на низких иерархических уровнях. В результате устройство декодирования изображений может декодировать блоки обработки путем применения разного параметра к каждому из небольших блоков обработки, и поэтому можно повысить качество изображения. Кроме того, путем записи информации о глубине иерархии в заголовок для задания иерархического уровня, имеющего блок обработки, в котором хранится необходимый для декодирования параметр, можно сообщить иерархический уровень устройству декодирования изображений. Поэтому можно установить произвольный иерархический уровень без ограничения иерархического уровня самым нижним иерархическим уровнем. Поэтому можно уменьшить объем кодирования для всех параметров, включенных в кодированный поток, по сравнению со случаем, где параметр хранится для каждого из наименьших блоков обработки, расположенных на самом нижнем иерархическом уровне, и эффективность кодирования можно повысить. При этом можно одновременно повысить качество изображения и эффективность кодирования.

[0020]

Кроме того, ортогональное преобразование и квантование выполняются над киноизображением, когда кодируется киноизображение, блок обработки разделяется на уровни, чтобы уменьшаться в направлении от более высокого уровня к более низкому уровню, блок кодирования существует в качестве наибольшего блока обработки на наивысшем иерархическом уровне, а блок преобразования существует в качестве блока обработки меньше блока кодирования на более низком иерархическом уровне, который находится глубже наивысшего иерархического уровня, параметр является параметром квантования, примененным к блоку преобразования, информация о глубине иерархии указывает иерархический уровень, который находится ниже наивысшего иерархического уровня, и параметр записывается в блок обработки на (i) иерархическом уровне, указанном информацией о глубине иерархии, или (ii) иерархическом уровне, который находится выше упомянутого иерархического уровня и отличается от наивысшего иерархического уровня, когда записывается параметр квантования.

[0021]

При этом можно одновременно повысить качество изображения при квантовании по параметру квантования и эффективность кодирования в параметре квантования.

[0022]

Кроме того, заголовок является заголовком изображения для изображения, включающего в себя блоки обработки, и информацию о глубине иерархии можно записать в заголовок изображения, когда записывается информация о глубине иерархии.

[0023]

При этом иерархический уровень, имеющий блок обработки, в котором хранится необходимый для декодирования параметр, обычно можно установить для всего изображения.

[0024]

Кроме того, когда записывается параметр квантования, параметр квантования можно записать в блок обработки после коэффициента преобразования, сформированного ортогональным преобразованием и квантованием.

[0025]

При этом параметр квантования можно записывать, только когда имеются коэффициенты преобразования, и можно повысить эффективность кодирования.

[0026]

Следует отметить, что настоящее изобретение может быть реализовано в виде вышеописанного способа декодирования изображений и способа кодирования изображений. Оно также может быть реализовано в виде устройства для кодирования или декодирования изображения, интегральной схемы, программы для декодирования или кодирования изображения в соответствии со способами, и носителя записи, имеющего хранимую на нем программу.

[ПОЛЕЗНЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ]

[0027]

Способ декодирования изображений и способ кодирования изображений в соответствии с настоящим изобретением могут одновременно повысить качество изображения и эффективность кодирования.

[КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ]

[0028]

Фиг. 1 - схема, показывающая конфигурацию традиционного кодированного потока.

Фиг. 2 - блок-схема, показывающая конфигурацию устройства кодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 3 - блок-схема, показывающая конфигурацию устройства декодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 4 - пояснительная схема для описания блочной структуры с множественной иерархией.

Фиг. 5 - схема, показывающая конфигурацию кодированного потока, который должен формироваться программным обеспечением TMuC.

Фиг. 6A - схема, показывающая конфигурацию кодированного потока в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 6B - схема, показывающая конфигурацию кодированного потока в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 6C - схема, показывающая конфигурацию кодированного потока в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 7 - схема, показывающая конфигурацию другого кодированного потока в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 8A - схема, показывающая конфигурацию еще одного кодированного потока в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 8B - схема, показывающая конфигурацию еще одного кодированного потока в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 9A - схема, показывающая положение хранения Max_quantization_unit_hierarchy_depth в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 9B - схема, показывающая положение хранения Max_quantization_unit_hierarchy_depth в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 10A - схема, показывающая приращение параметра шкалы квантования в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 10B - схема, показывающая параметр смещения зоны нечувствительности квантования в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 10C - схема, показывающая индекс в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 10D - схема, показывающая параметр смещения квантования в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 11 - блок-схема алгоритма, показывающая декодирование приращения QP с помощью устройства декодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 12 - блок-схема алгоритма, показывающая вычисление QP с помощью устройства декодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 13 - блок-схема алгоритма, показывающая декодирование с помощью устройства декодирования изображений в соответствии с Модификацией 1 Варианта 1 осуществления настоящего изобретения.

Фиг. 14 - блок-схема алгоритма, показывающая кодирование с помощью устройства кодирования изображений в соответствии с Модификацией 1 Варианта 1 осуществления настоящего изобретения.

Фиг. 15A - блок-схема алгоритма, показывающая декодирование с помощью устройства декодирования изображений в соответствии с Модификацией 2 Варианта 1 осуществления настоящего изобретения.

Фиг. 15B - блок-схема алгоритма, показывающая декодирование с помощью устройства декодирования изображений в соответствии с Модификацией 2 Варианта 1 осуществления настоящего изобретения.

Фиг. 16A - блок-схема алгоритма, показывающая кодирование с помощью устройства кодирования изображений в соответствии с Модификацией 2 Варианта 1 осуществления настоящего изобретения.

Фиг. 16B - блок-схема алгоритма, показывающая кодирование с помощью устройства кодирования изображений в соответствии с Модификацией 2 Варианта 1 осуществления настоящего изобретения.

Фиг. 17A - блок-схема алгоритма, показывающая способ декодирования изображений в соответствии с настоящим изобретением.

Фиг. 17B - блок-схема алгоритма, показывающая способ кодирования изображений в соответствии с настоящим изобретением.

Фиг. 18A - схема, показывающая синтаксис заголовка последовательности в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 18B - схема, показывающая синтаксис заголовка изображения в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 18C - схема, показывающая синтаксис заголовка секции в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 19A - схема, показывающая синтаксис блока кодирования (CU) в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 19B - схема, показывающая синтаксис блока предсказания (PU) в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 19C - схема, показывающая синтаксис блока преобразования (TU) в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 20 - общая конфигурация системы предоставления контента для реализации услуг распространения контента.

Фиг. 21 показывает общую конфигурацию системы цифрового вещания.

Фиг. 22 показывает блок-схему, иллюстрирующую пример конфигурации телевизора.

Фиг. 23 показывает блок-схему, иллюстрирующую пример конфигурации блока воспроизведения/записи информации, который считывает и записывает информацию с носителя записи и на него, который является оптическим диском.

Фиг. 24 показывает пример конфигурации носителя записи, который является оптическим диском.

Фиг. 25A показывает пример сотового телефона.

Фиг. 25B - блок-схема, показывающая пример конфигурации сотового телефона.

Фиг. 26 иллюстрирует структуру мультиплексированных данных.

Фиг. 27 схематически показывает, как каждый поток мультиплексируется в мультиплексированные данные.

Фиг. 28 показывает подробнее, как видеопоток хранится в потоке пакетов PES.

Фиг. 29 показывает структуру пакетов TS и исходных пакетов в мультиплексированных данных.

Фиг. 30 показывает структуру данных PMT.

Фиг. 31 показывает внутреннюю структуру информации о мультиплексированных данных.

Фиг. 32 показывает внутреннюю структуру информации об атрибутах потока.

Фиг. 33 показывает этапы для идентификации видеоданных.

Фиг. 34 показывает пример конфигурации интегральной схемы для реализации способа кодирования киноизображений и способа декодирования киноизображений в соответствии с каждым из вариантов осуществления.

Фиг. 35 показывает конфигурацию для переключения между частотами возбуждения.

Фиг. 36 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 37 показывает пример справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения.

Фиг. 38A - схема, показывающая пример конфигурации для совместного использования модуля в блоке обработки сигналов.

Фиг. 38B - схема, показывающая другой пример конфигурации для совместного использования модуля в блоке обработки сигналов.

[ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ]

[0029]

Ниже будут описываться варианты осуществления настоящего изобретения со ссылкой на чертежи.

[0030]

[ВАРИАНТ 1 ОСУЩЕСТВЛЕНИЯ]

Фиг. 2 - блок-схема, показывающая конфигурацию устройства кодирования изображений в соответствии с настоящим вариантом осуществления.

[0031]

Устройство 1000 кодирования изображений включает в себя блок 1100 обработки кодирования и блок 1200 управления кодированием.

[0032]

Блок 1100 обработки кодирования формирует кодированный поток путем кодирования киноизображений блок за блоком. Блок 1100 обработки кодирования включает в себя блок 1101 вычитания, блок 1102 ортогонального преобразования, блок 1103 квантования, блок 1104 энтропийного кодирования, блок 1105 обратного квантования, блок 1106 обратного ортогонального преобразования, сумматор 1107, фильтр 1108 уменьшения блочности, запоминающее устройство 1109, блок 1110 внутреннего предсказания, блок 1111 компенсации движения, блок 1112 оценки движения и переключатель 1113.

[0033]

Блок 1101 вычитания получает киноизображение и изображение предсказания из переключателя 1113. Блок 1101 вычитания вычитает изображение предсказания из текущего блока для кодирования, включенного в киноизображение, чтобы сформировать разностное изображение.

[0034]

Блок 1102 ортогонального преобразования выполняет ортогональное преобразование, например дискретное косинусное преобразование, над разностным изображением, сформированным блоком 1101 вычитания, чтобы преобразовать разностное изображение в блок коэффициентов, содержащий множество частотных коэффициентов. Блок 1103 квантования квантует каждый из частотных коэффициентов, включенных в блок коэффициентов, чтобы сформировать блок квантованных коэффициентов.

[0035]

Блок 1104 энтропийного кодирования формирует кодированный поток путем выполнения энтропийного кодирования (кодирования переменной длины) над блоком коэффициентов квантованным блоком 1103 квантования, и вектором движения, оцененным блоком 1112 оценки движения.

[0036]

Блок 1105 обратного квантования выполняет обратное квантование над блоком коэффициентов квантованным блоком 1103 квантования. Блок 1106 обратного ортогонального преобразования формирует декодированное разностное изображение путем выполнения обратного ортогонального преобразования, например обратного дискретного косинусного преобразования, над каждым из частотных коэффициентов, включенных в блок обратно квантованных коэффициентов.

[0037]

Сумматор 1107 формирует локально декодированное изображение путем получения изображения предсказания из переключателя 1113 и сложения изображения предсказания и декодированного разностного изображения, которое формируется блоком 1106 обратного ортогонального преобразования.

[0038]

Фильтр 1108 уменьшения блочности устраняет искажение в блоке (блочность) локально декодированного изображения, сформированного сумматором 1107, и сохраняет локально декодированное изображение в запоминающем устройстве 1109.

[0039]

Блок 1110 внутреннего предсказания формирует изображение предсказания путем выполнения внутреннего предсказания над текущим блоком, который нужно кодировать, используя локально декодированное изображение, сформированное сумматором 1107.

[0040]

Блок 1112 оценки движения оценивает вектор движения для текущего блока, который нужно кодировать, включенного в киноизображение, и выводит оцененный вектор движения в блок 1111 компенсации движения и блок 1104 энтропийного кодирования.

[0041]

Блок 1111 компенсации движения выполняет компенсацию движения над текущим блоком, который нужно кодировать, обращаясь к изображению, сохраненному в запоминающем устройстве 1109, как к опорному изображению и используя вектор движения, оцененный блоком 1112 оценки движения. Блок 1111 компенсации движения с помощью компенсации движения формирует изображение предсказания по отношению к текущему блоку, который нужно кодировать.

[0042]

Когда кодирование с внутренним предсказанием выполняется над текущим блоком, который нужно кодировать, переключатель 1113 выводит изображение предсказания, сформированное блоком 1110 внутреннего предсказания, в блок 1101 вычитания и сумматор 1107. Когда кодирование с внешним предсказанием выполняется над текущим блоком, который нужно кодировать, переключатель 1113 выводит изображение предсказания, сформированное блоком 1111 компенсации движения, в блок 1101 вычитания и сумматор 1107.

[0043]

Блок 1200 управления кодированием управляет блоком 1100 обработки кодирования. Точнее говоря, блок 1200 управления кодированием определяет блок обработки, в котором хранится параметр квантования, и информацию о глубине иерархии для задания местоположения блока обработки. Параметр квантования является параметром, используемым для квантования блоком 1103 квантования и обратного квантования блоком 1105 обратного квантования. Блоки обработки в соответствии с настоящим вариантом осуществления разделяются на уровни, и каждый из блоков обработки на любом уровне соответствует вышеописанному блоку. Информация о глубине иерархии является, например, параметром для задания уровня, имеющего блок обработки, в котором хранится параметр квантования. Блок 1200 управления кодированием дает команду блоку 1104 энтропийного кодирования сохранить параметр квантования в вышеопределенном блоке обработки и сохранить информацию о глубине иерархии в заголовке кодированного потока (например, заголовке последовательности или заголовке изображения).

[0044]

Фиг. 3 - блок-схема, показывающая конфигурацию устройства декодирования изображений в соответствии с настоящим вариантом осуществления.

[0045]

Устройство 2000 декодирования изображений включает в себя блок 2100 обработки декодирования и блок 2200 управления декодированием.

[0046]

Блок 2100 обработки декодирования формирует декодированное изображение путем декодирования кодированного потока блок за блоком. Блок 2100 обработки декодирования включает в себя блок 2101 энтропийного декодирования, блок 2102 обратного квантования, блок 2103 обратного ортогонального преобразования, сумматор 2104, фильтр 2105 уменьшения блочности, запоминающее устройство 2106, блок 2107 внутреннего предсказания, блок 2108 компенсации движения и переключатель 2109.

[0047]

Блок 2101 энтропийного декодирования получает кодированный поток и выполняет энтропийное декодирование (декодирование переменной длины) над кодированным потоком.

[0048]

Блок 2102 обратного квантования выполняет обратное квантование над блоком квантованных коэффициентов, сформированных путем энтропийного декодирования с помощью блока 2101 энтропийного декодирования. Блок 2103 обратного ортогонального преобразования формирует декодированное разностное изображение путем выполнения обратного ортогонального преобразования, например обратного дискретного косинусного преобразования, над каждым из частотных коэффициентов, включенных в блок обратно квантованных коэффициентов.

[0049]

Сумматор 2104 формирует декодированное изображение путем получения изображения предсказания из переключателя 2109 и сложения изображения предсказания и декодированного разностного изображения, которое формируется блоком 2103 обратного ортогонального преобразования.

[0050]

Фильтр 2105 уменьшения блочности устраняет искажение в блоке у декодированного изображения, сформированного сумматором 2104, сохраняет декодированное изображение в запоминающем устройстве 2106 и выводит декодированное изображение.

[0051]

Блок 1110 внутреннего предсказания формирует изображение предсказания путем выполнения внутреннего предсказания над текущим блоком, который нужно декодировать, используя декодированное изображение, сформированное сумматором 2104.

[0052]

Блок 2108 компенсации движения выполняет компенсацию движения над текущим блоком, который нужно декодировать, обращаясь к изображению, сохраненному в запоминающем устройстве 2106, как к опорному изображению и используя вектор движения, сформированный путем энтропийного декодирования блоком 2101 энтропийного декодирования. Блок 2108 компенсации движения с помощью компенсации движения формирует изображение предсказания по отношению к текущему блоку, который нужно декодировать.

[0053]

Когда кодирование с внутренним предсказанием выполняется над текущим блоком, который нужно декодировать, переключатель 2109 выводит изображение предсказания, сформированное блоком 2107 внутреннего предсказания, в сумматор 2104. Когда кодирование с внешним предсказанием выполняется над текущим блоком, который нужно декодировать, переключатель 2109 выводит изображение предсказания, сформированное блоком 2108 компенсации движения, в сумматор 2104.

[0054]

Блок 2200 управления декодированием управляет блоком 2100 обработки декодирования. Точнее говоря, блок 2200 управления декодированием разбирает информацию о глубине иерархии, хранимую в заголовке кодированного потока (например, заголовке последовательности или заголовке изображения), на основе результата энтропийного декодирования с помощью блока 2101 энтропийного декодирования. Блок 2200 управления декодированием на основе информации о глубине иерархии идентифицирует иерархический уровень, имеющий блок обработки, в котором хранится параметр квантования, и разбирает параметр квантования, включенный в блок обработки на иерархическом уровне. Блок 2200 управления декодированием дает команду блоку 2102 обратного квантования выполнить обратное квантование с использованием разобранного параметра квантования.

[0055]

Фиг. 4 - пояснительная схема для описания многоуровневых блоков обработки (блочная структура с множественной иерархией).

[0056]

Блок 1100 обработки кодирования выполняет кодирование над киноизображением для каждого из блоков обработки, и блок 2100 обработки декодирования декодирует кодированный поток для каждого из блоков обработки. Блок обработки разбивается на небольшие блоки обработки, и небольшие блоки обработки разделяются на уровни так, что каждый из небольших блоков обработки разбивается на меньшие блоки обработки. Следует отметить, что когда блок обработки меньше, иерархический уровень, на котором существует блок обработки, находится глубже и ниже, а значение, показывающее иерархический уровень, больше. В отличие от этого, когда блок обработки больше, иерархический уровень, на котором существует блок обработки, находится неглубоко и на высоком уровне, а значение, показывающее иерархический уровень, небольшое.

[0057]

Блок обработки включает в себя блок кодирования (CU), блок предсказания (PU) и блок преобразования (TU). CU является блоком из 128 x 128 пикселей максимум и соответствует традиционному макроблоку. PU является основной единицей для внешнего предсказания. TU является основной единицей для ортогонального преобразования, и размер TU такой же, как размер PU, или меньше размера PU на один иерархический уровень. CU делится, например, на четыре суб-CU, и один из суб-CU включает в себя PU и TU, имеющие такой же размер, как и CU (в этом случае PU и TU перекрываются друг с другом). Например, PU дополнительно делится на четыре суб-PU, и TU также дополнительно делится на четыре суб-TU. Следует отметить, что когда блок обработки делится на небольшие блоки обработки, небольшой блок обработки является субблоком обработки. Например, когда блоком обработки является CU, субблоком обработки является суб-CU. Когда блоком обработки является PU, субблоком обработки является суб-PU. Когда блоком обработки является TU, субблоком обработки является суб-TU.

[0058]

НИЖЕСЛЕДУЮЩЕЕ БУДЕТ ОПИСЫВАТЬ ПОДРОБНОСТИ

[0059]

Изображения разделяются на секции. Секция является последовательностью наибольших блоков кодирования. Местоположение наибольшего блока кодирования задается адресом IcuAddr наибольшего блока кодирования.

[0060]

Каждый блок кодирования, включая наибольший блок кодирования, рекурсивно делится на четыре блока кодирования. Это приводит к сегментации блока кодирования на квадрадерево. Местоположение блока кодирования задается индексом cuIdx блока кодирования, в котором верхняя левая выборка (пиксель или коэффициент) наибольшего блока кодирования определяется как начало отсчета.

[0061]

Если блок кодирования не разрешено разбивать, то он считается блоком предсказания. Аналогично блоку кодирования, местоположение блока предсказания задается индексом puIdx блока предсказания, в котором верхняя левая выборка (пиксель или коэффициент) наибольшего блока кодирования определяется как начало отсчета.

[0062]

Блок предсказания может включать в себя несколько разделов (разделов блока предсказания или суб-PU). Раздел блока предсказания задается индексом puPartIdx раздела предсказания, в котором верхняя левая выборка блока предсказания определяется как начало отсчета.

[0063]

Блок предсказания может включать в себя несколько блоков преобразования. Аналогично блоку кодирования, блок преобразования можно рекурсивно разбить на четыре небольших блока преобразования (субблока преобразования). Это обеспечивает сегментацию разностного сигнала на квадрадерево. Местоположение блока преобразования задается индексом tuIdx блока преобразования, в котором верхняя левая выборка блока предсказания определяется как начало отсчета.

[0064]

Здесь определения блоков обработки выглядят следующим образом.

[0065]

Блок дерева кодирования (CTB): Основная единица для задания сегментации на квадрадерево данной квадратной области. CTB имеет различные размеры квадратной формы.

[0066]

Наибольший блок дерева кодирования (LTCB): Блок дерева кодирования с наибольшим размером, допустимым в секции. Секция состоит из неперекрывающихся LCTB.

[0067]

Наименьший блок дерева кодирования (SCTB): Блок дерева кодирования с наименьшим размером, допустимым в секции. SCTB не разрешено разбивать на меньшие CTB.

[0068]

Блок предсказания (PU): Основная единица для задания процесса предсказания. Размер PU такой же, как у CU, который больше не разрешено разбивать. PU можно разбить на несколько разделов, которые могут иметь произвольную форму, тогда как CU разрешено разбивать на четыре квадратные формы.

[0069]

Блок преобразования (TU): Основная единица для задания процесса преобразования и квантования.

[0070]

Блок кодирования (CU): То же самое, что блок дерева кодирования.

[0071]

Наибольший блок кодирования (LCU): То же самое, что наибольший блок дерева кодирования.

[0072]

Наименьший блок кодирования (SCU): То же самое, что наименьший блок дерева кодирования.

[0073]

Кроме того, параметры квантования включают в себя один или несколько следующих параметров: приращение параметра шкалы квантования (приращение QP или QP приращения), параметр смещения квантования, индекс (Qmatrix select idc) и параметр смещения зоны нечувствительности квантования. Следует отметить, что индекс предназначен для выбора матрицы шкал квантования из множества матриц шкал квантования.

[0074]

Приращение параметра шкалы квантования (приращение QP или QP приращения) является разностью между параметром шкалы квантования, который нужно применить к коэффициентам преобразования, и параметром шкалы квантования, который нужно задать с помощью заголовка последовательности или заголовка секции (или предыдущим параметром шкалы квантования в порядке Z сканирования).

[0075]

Параметр смещения квантования также называется смещением квантования и является значением регулировки (значением смещения) для сигнала, когда выполняется квантование. Поэтому устройство 1000 кодирования изображений кодирует смещение квантования, когда выполняется квантование, а устройство 2000 декодирования изображений декодирует кодированное смещение квантования. Затем устройство 2000 декодирования изображений выполняет коррекцию с использованием смещения квантования, когда выполняется обратное квантование над коэффициентами преобразования.

[0076]

Индекс (Qmatrix select idc) также называется матрицей адаптивного квантования и является индексом, указывающим, какая матрица шкал квантования используется из множества матриц шкал квантования. Кроме того, Qmatrix select idc показывает, используется ли матрица шкал квантования, когда имеется только одна матрица шкал квантования. Следует отметить, что матрица адаптивного квантования может управляться на блочной основе (блок обработки).

[0077]

Параметр смещения зоны нечувствительности квантования также называется адаптивной зоной нечувствительности и является управляющей информацией для адаптивного изменения зоны нечувствительности блок за блоком. Зона нечувствительности является шириной, в которой частотные коэффициенты становятся нулем из-за квантования (предыдущая ширина, которая становится плюс 1 или минус 1 после квантования).

[0078]

Фиг. 5 - схема, показывающая конфигурацию кодированного потока, который должен формироваться программным обеспечением TMuC.

[0079]

В кодированном потоке, сформированном программным обеспечением Рассматриваемой модели для экспериментов (TMuC), приращение QP хранится в LCU. Другими словами, в кодированном потоке один и тот же параметр квантования, например приращение QP, применяется ко всем коэффициентам, включенным в LCU, который является большим блоком обработки. В результате параметр квантования нельзя регулировать для некоторой детали изображения, и качество изображения снижается.

[0080]

Поэтому в кодированном потоке, сформированном устройством 1000 кодирования изображений и декодированном устройством 2000 декодирования изображений в соответствии с настоящим вариантом осуществления, параметр квантования хранится в блоке обработки, который расположен на более низком иерархическом уровне, а именно глубже LCU.

[0081]

Каждая из фиг. 6A, 6B и 6C является схемой, показывающей конфигурацию кодированного потока в соответствии с настоящим вариантом осуществления.

[0082]

Как показано на фиг. 6A, в кодированном потоке в соответствии с настоящим вариантом осуществления LCU разбивается на четыре суб-CU, и приращение QP, которое нужно применить к каждому из суб-CU, хранится в суб-CU. Другими словами, когда LCU является первым иерархическим уровнем, приращение QP хранится в CU, который расположен ниже на два иерархических уровня от LCU. Кроме того, в суб-CU приращение QP располагается после всех коэффициентов преобразования, включенных в суб-CU.

[0083]

Кроме того, в кодированном потоке в соответствии с настоящим вариантом осуществления в заголовке последовательности хранится информация о глубине иерархии, которая указывает самый нижний иерархический уровень у блока обработки (Max_quantization_unit_hierarchy_depth), в котором хранится приращение QP. Например, Max_quantization_unit_hierarchy_depth = 2.

[0084]

Устройство 1000 кодирования изображений формирует и выводит кодированный поток. Между тем устройство 2000 декодирования изображений идентифицирует блок обработки, в котором хранится приращение QP (суб-CU, расположенный на втором иерархическом уровне), путем разбора информации о глубине иерархии (Max_quantization_unit_hierarchy_depth), хранимой в заголовке последовательности кодированного потока, и разбирает приращение QP, хранимое в блоке обработки. Затем устройство 2000 декодирования изображений выполняет обратное квантование над приращением QP путем применения приращения QP к каждому из коэффициентов преобразования суб-CU, который хранит приращение QP.

[0085]

Как показано на фиг. 6B, вместо приращения QP можно хранить Qmatrix select idc. Кроме того, как показано на фиг. 6C, можно хранить параметр квантования, включающий в себя приращение QP и Qmatrix select idc.

[0086]

Фиг. 7 - схема, показывающая конфигурацию другого кодированного потока в соответствии с настоящим вариантом осуществления.

[0087]

В кодированном потоке, показанном на фиг. 6A-6C, параметр квантования хранится в суб-CU, расположенном на втором иерархическом уровне. Однако, как показано на фиг. 7, параметр квантования можно хранить в суб-CU или суб-TU, расположенных на более глубоком третьем иерархическом уровне (Max_quantization_unit_hierarchy_depth =3).

[0088]

Каждая из фиг. 8A и 8B является схемой, показывающей конфигурацию еще одного кодированного потока в соответствии с настоящим вариантом осуществления.

[0089]

В показанном на фиг. 8A кодированном потоке приращение QP, которое нужно применить к TU или суб-TU, хранится в TU или суб-TU. В TU или суб-TU приращение QP располагается после всех коэффициентов преобразования, включенных в TU или суб-TU.

[0090]

Кроме того, как показано на фиг. 8B, в качестве блока квантования можно хранить параметр квантования помимо приращения QP и параметр квантования, включающий в себя приращение QP и Qmatrix select idc.

[0091]

Каждая из фиг. 9A и 9B является схемой, показывающей местоположение хранения Max_quantization_unit_hierarchy_depth.

[0092]

Max_quantization_unit_hierarchy_depth D300 хранится в заголовке последовательности, как показано на фиг. 9A. Кроме того, Max_quantization_unit_hierarchy_depth D302 хранится в заголовке изображения, как показано на фиг. 9B. Другими словами, устройство 1000 кодирования изображений записывает информацию о глубине иерархии в заголовок изображения для изображения, содержащего множество блоков обработки. В результате информация о глубине иерархии хранится в заголовке изображения.

[0093]

Каждая из фиг. 10A-10D является схемой для описания типов параметров квантования.

[0094]

Параметр квантования или блок D600 квантования, как показано на фиг. 10A-10D, включает в себя по меньшей мере одно из приращения D602 параметра шкалы квантования, параметра D604 смещения зоны нечувствительности квантования, индекса D606 и параметра D608 смещения квантования. Следует отметить, что приращение D602 параметра шкалы квантования является приращением QP, а индекс D606 является Qmatrix select idc (матрица адаптивного квантования).

[0095]

Фиг. 11 - блок-схема алгоритма, показывающая декодирование приращения QP с помощью устройства 2000 декодирования изображений.

[0096]

Сначала устройство 2000 декодирования изображений декодирует информацию о глубине иерархии (Max_quantization_unit_hierarchy_depth), хранимую в заголовке (Этап S1), и определяет наименьший размер блока обработки квантованием (минимальный блок квантования) (Этап S2). Далее устройство 2000 декодирования изображений определяет, имеет ли текущий CU, который нужно декодировать, минимальный размер (Этап S3). Здесь, когда определяется, что текущий CU, который нужно декодировать, имеет размер минимального блока квантования (Да на Этапе S3), устройство 2000 декодирования изображений декодирует приращение QP, хранимое в CU (Этап S4). Между тем, когда определяется, что текущий CU, который нужно декодировать, не имеет размера минимального блока квантования (Нет на Этапе S3), то устройство 2000 декодирования изображений дополнительно определяет, является ли нулем признак у текущего CU, который нужно декодировать (признак split_coding_unit), и больше ли размера минимального блока квантования размер текущего CU, который нужно декодировать (Этап S5). Следует отметить, что когда вышеописанный признак split_coding_unit является нулем, это показывает, что признак нельзя разбивать дальше. Когда вышеописанный признак split_coding_unit является единицей, это показывает, что признак может разбивать CU дальше. Другими словами, устройство 2000 декодирования изображений на Этапе S5 определяет, нельзя ли дальше разбивать текущий CU, который нужно декодировать, и расположен ли текущий CU, который нужно декодировать, выше иерархического уровня, указанного информацией о глубине иерархии. Здесь определяется, что признак является нулем, и размер текущего CU, который нужно декодировать, является большим (Да на Этапе S5), устройство 2000 декодирования изображений декодирует приращение QP, хранимое в текущем CU, который нужно декодировать (Этап S6).

[0097]

Фиг. 12 - блок-схема алгоритма, показывающая вычисление приращения QP (параметра шкалы квантования) с помощью устройства 2000 декодирования изображений.

[0098]

Сначала устройство 2000 декодирования изображений путем суммирования coded_block_flag (CBF) в каждом TU в разделенном на четыре части блоке обработки определяет, кодируется ли TU для яркости и цветности, включенный в текущий TU, который нужно декодировать (Этапы S11 и S12). Следует отметить, что каждый из TU хранит вышеописанный coded_block_flag, который является признаком, показывающим, является ли он коэффициентом преобразования. Здесь, когда определяется, что TU кодируется (Да на Этапе S12), устройство 2000 декодирования изображений декодирует приращение QP, включенное в TU (Этап S14). Между тем, когда определяется, что TU не кодируется (Нет на Этапе S12), устройство 2000 декодирования изображений устанавливает приращение QP в ноль (Этап S13). Кроме того, устройство 2000 декодирования изображений определяет QP у предыдущего CU в порядке Z сканирования (Этап S15) и вычисляет QP у текущего CU, который нужно декодировать (Этап S16).

[0099]

Как описано выше, когда блоки обработки разделяются на уровни иерархически, устройство 1000 кодирования изображений в соответствии с настоящим вариантом осуществления может записать разный параметр (например, параметр квантования), который отличается для каждого из небольших блоков обработки, которые располагаются на более низких иерархических уровнях. В результате устройство 2000 декодирования изображений может декодировать блоки обработки путем применения разного параметра к каждому из небольших блоков обработки, и поэтому можно повысить качество изображения. Кроме того, путем записи информации о глубине иерархии в заголовок для задания иерархического уровня, имеющего блок обработки, в котором хранится необходимый для декодирования параметр, можно сообщить иерархический уровень устройству 2000 декодирования изображений. Поэтому иерархический уровень можно установить на произвольном иерархическом уровне без ограничения иерархического уровня самым нижним иерархическим уровнем. Поэтому можно уменьшить объем кодирования для всех параметров, включенных в кодированный поток, по сравнению со случаем, где параметр хранится для каждого из наименьших блоков обработки, расположенных на самом нижнем иерархическом уровне, и эффективность кодирования можно повысить. При этом можно одновременно повысить качество изображения и эффективность кодирования. Кроме того, поскольку устройство 2000 декодирования изображений путем разбора информации о глубине иерархии идентифицирует иерархический уровень, имеющий блок обработки, в котором хранится параметр, то устройство 2000 декодирования изображений может уменьшить нагрузку у процесса поиска блока обработки, в котором хранится параметр, и подходящим образом декодировать кодированный поток, сформированный устройством 1000 кодирования изображений. Следует отметить, что в настоящем варианте осуществления, параметр квантования упоминается в качестве примера параметра. Однако приемлем любой вид параметра.

[0100]

[МОДИФИКАЦИЯ 1]

Фиг. 13 - блок-схема алгоритма декодирования с помощью устройства 2000 декодирования изображений в соответствии с Модификацией 1 настоящего варианта осуществления.

[0101]

Устройство 2000 декодирования изображений сначала разбирает информацию о глубине иерархии (Max_quantization_unit_hierarchy_depth), харнимую в заголовке изображения (Этап S700), и разбирает признак CU (Этап S702). Далее устройство 2000 декодирования изображений на основе разобранного признака разбивает CU на более мелкие суб-CU (Этап S704). Затем устройство 2000 декодирования изображений определяет иерархический уровень у суб-CU (Этап S706) и определяет, совпадает ли определенный иерархический уровень с иерархическим уровнем, указанным Max_quantization_unit_hierarchy_depth (Этап S708).

[0102]

Когда определяется, что определенный уровень совпадает с иерархическим уровнем, заданным Max_quantization_unit_hierarchy_depth (Да на Этапе S708), устройство 2000 декодирования изображений разбирает параметр квантования, хранимый в суб-CU (Этап S710), и декодирует суб-CU путем выполнения обратного квантования с разобранным параметром квантования (Этап S712).

[0103]

Между тем, когда на Этапе S708 определяется, что определенный уровень не совпадает с иерархическим уровнем, заданным Max_quantization_unit_hierarchy_depth (Нет на Этапе S708), устройство 2000 декодирования изображений на основе вышеописанного признака определяет, нельзя ли дальше разбить суб-CU на четыре меньших суб-CU (Этап S714). Здесь, когда определяется, что суб-CU нельзя дальше разбить (Да на Этапе S714), устройство 2000 декодирования изображений выполняет над суб-CU процессы вышеописанных Этапов S710 и S712. Между тем, когда определяется, что суб-CU можно разбить дальше (Нет на Этапе S714), устройство 2000 декодирования изображений выбирает любой из четырех меньших суб-CU (Этап S716) и выполняет процессы с Этапа S706 над выбранным суб-CU.

[0104]

Фиг. 14 - блок-схема алгоритма кодирования с помощью устройства 1000 кодирования изображений в соответствии с Модификацией 1 настоящего варианта осуществления.

[0105]

Сначала устройство 1000 кодирования изображений записывает информацию о глубине иерархии (Max_quantization_unit_hierarchy_depth) в заголовок изображения (Этап S800) и определяет наиболее подходящий размер для разбиения CU (Этап S802). Далее устройство 1000 кодирования изображений записывает в CU признак для разбиения CU на блоки обработки определенного размера (Этап S804). Затем устройство 1000 кодирования изображений определяет иерархический уровень у блока обработки (CU или суб-CU), который нужно кодировать (Этап S808), и определяет, совпадает ли определенный иерархический уровень с иерархическим уровнем, указанным Max_quantization_unit_hierarchy_depth, который записан ранее (Этап S808).

[0106]

Когда определяется, что они совпадают друг с другом (Да на Этапе S808), устройство 1000 кодирования изображений записывает параметр квантования в блок обработки (CU или суб-CU) (Этап S810), и устройство 1000 кодирования изображений кодирует блок обработки путем выполнения квантования с использованием записанного параметра квантования (Этап S812). Кроме того, устройство 1000 кодирования изображений выполняет обратное квантование с использованием записанного параметра квантования, чтобы декодировать кодированный блок обработки (Этап S814).

[0107]

Между тем, когда на Этапе S808 определяется, что они не совпадают друг с другом (Нет на Этапе S808), устройство 1000 кодирования изображений на основе вышеописанного признака определяет, нельзя ли разбить блок обработки дальше на четыре меньших суб-CU (Этап S816). Здесь, когда определяется, что суб-CU нельзя разбить дальше (Да на Этапе S816), устройство 1000 кодирования изображений выполняет над блоком обработки вышеописанные этапы, начиная с Этапа S810. Между тем, когда определяется, что суб-CU можно разбить дальше (Нет на Этапе S816), устройство 1000 кодирования изображений выбирает любой из четырех меньших суб-CU (Этап S818) и выполняет процессы с Этапа S806 над выбранным суб-CU.

[0108]

[МОДИФИКАЦИЯ 2]

Каждая из фиг. 15A и 15B является блок-схемой алгоритма декодирования с помощью устройства 2000 декодирования изображений в соответствии с Модификацией 2 настоящего варианта осуществления.

[0109]

Устройство 2000 декодирования изображений сначала разбирает информацию о глубине иерархии (Max_quantization_unit_hierarchy_depth), хранимую в заголовке изображения (Этап S900), и разбирает признак CU (Этап S902). Далее устройство 2000 декодирования изображений на основе разобранных признаков разбивает CU на более мелкие суб-CU (Этап S904). Затем устройство 2000 декодирования изображений определяет иерархический уровень у суб-CU (Этап S906) и определяет, совпадает ли определенный иерархический уровень с иерархическим уровнем, указанным Max_quantization_unit_hierarchy_depth (Этап S908).

[0110]

Когда определяется, что они совпадают друг с другом (Да на Этапе S908), устройство 2000 декодирования изображений разбирает хранимый в суб-CU (блоке обработки) параметр квантования (Этап S910) и декодирует суб-CU путем выполнения обратного квантования с разобранным параметром квантования (Этап S912).

[0111]

Между тем, когда на Этапе S908 определяется, что они не совпадают друг с другом (Нет на Этапе S908), устройство 2000 декодирования изображений на основе вышеописанного признака определяет, нельзя ли разбить суб-CU дальше на четыре меньших суб-CU (Этап S914). Когда определяется, что суб-CU можно разбить дальше (Нет на Этапе S914), устройство 2000 декодирования изображений выбирает любой из четырех меньших суб-CU (Этап S928) и выполняет процессы с Этапа S906 над выбранным суб-CU.

[0112]

Между тем, когда на Этапе 914 определяется, что суб-CU нельзя разбить дальше (Да на Этапе S914), устройство 2000 декодирования изображений разбирает признак разбиения при преобразовании, расположенный внутри TU в суб-CU (Этап S916), и на основе разобранного признака разбиения при преобразовании разбивает TU на суб-TU, которые являются более мелкими блоками обработки (Этап S918). Кроме того, устройство 2000 декодирования изображений из LCU определяет иерархический уровень по отношению к суб-TU (Этап S920) и определяет, совпадает ли определенный иерархический уровень с иерархическим уровнем, указанным Max_quantization_unit_hierarchy_depth (Этап S922).

[0113]

Когда определяется, что они совпадают друг с другом (Да на Этапе S922), устройство 2000 декодирования изображений выполняет над суб-TU процессы с Этапа S910. Между тем, когда на Этапе S922 определяется, что они не совпадают друг с другом (Нет на Этапе S922), устройство 2000 декодирования изображений на основе вышеописанного признака разбиения при преобразовании определяет, нельзя ли разбить суб-TU дальше на четыре меньших суб-TU (Этап S926). Когда определяется, что суб-TU можно разбить дальше (Нет на Этапе S926), устройство 2000 декодирования изображений выбирает любой из четырех меньших суб-TU (Этап S924) и выполняет процессы с Этапа S920 над выбранным суб-TU. Когда определяется, что суб-TU нельзя разбить дальше (Да на Этапе S926), устройство 2000 декодирования изображений выполняет процессы с Этапа S910.

[0114]

Каждая из фиг. 16A и 16B является блок-схемой алгоритма кодирования с помощью устройства 1000 кодирования изображений в соответствии с Модификацией 2 настоящего варианта осуществления.

[0115]

Сначала устройство 1000 кодирования изображений записывает информацию о глубине иерархии (Max_quantization_unit_hierarchy_depth) в заголовок изображения (Этап S1000) и определяет наиболее подходящий размер для разбиения CU (Этап S1002). Далее устройство 1000 кодирования изображений записывает в CU признак для разбиения CU на блоки обработки определенных размеров (Этап S1004). Затем устройство 1000 кодирования изображений определяет иерархический уровень у блока обработки (CU или суб-CU), который нужно кодировать (Этап S1006), и определяет, совпадает ли определенный иерархический уровень с иерархическим уровнем, указанным Max_quantization_unit_hierarchy_depth, который записан ранее (Этап S1008).

[0116]

Когда определяется, что они совпадают друг с другом (Да на Этапе S1008), устройство 1000 кодирования изображений записывает параметр квантования в блок обработки (CU или суб-CU) (Этап S1010), и устройство 1000 кодирования изображений кодирует блок обработки путем выполнения квантования с использованием записанных параметров квантования (Этап S1030). Кроме того, устройство 1000 кодирования изображений выполняет обратное квантование с использованием записанного параметра квантования, чтобы декодировать кодированный блок обработки (Этап S1012).

[0117]

Между тем, когда на Этапе S1008 определяется, что они не совпадают друг с другом (Нет на Этапе S1008), устройство 1000 кодирования изображений на основе вышеописанного признака определяет, нельзя ли разбить блок обработки дальше на четыре меньших суб-CU (Этап S1014). Когда определяется, что суб-CU можно разбить дальше (Нет на Этапе S1014), устройство 1000 кодирования изображений выбирает любой из четырех меньших суб-CU (Этап S1028) и выполняет процессы с Этапа S1006 над выбранным суб-CU.

[0118]

Между тем, когда на Этапе S1014 определяется, что суб-CU нельзя разбить дальше (Да на Этапе S1014), устройство 1000 кодирования изображений определяет наиболее подходящий размер для разбиения TU в блоке обработки (CU или суб-CU) (Этап S1016) и записывает в TU признак (признак разбиения при преобразовании) для разбиения TU на блоки обработки определенных размеров (Этап S1018). Далее устройство 1000 кодирования изображений определяет из LCU иерархический уровень по отношению к блоку обработки (TU или суб-TU), который нужно кодировать (Этап S1020), и определяет, совпадает ли определенный иерархический уровень с иерархическим уровнем, указанным Max_quantization_unit_hierarchy_depth, который записан ранее (Этап S1022).

[0119]

Когда определяется, что они совпадают друг с другом (Да на Этапе S1022), устройство 1000 кодирования изображений выполняет процессы с Этапа S1010 над блоком обработки (TU или суб-TU)(Этап S1010). Между тем, когда на Этапе S1022 определяется, что они не совпадают друг с другом (Нет на Этапе S1022), устройство 1000 кодирования изображений на основе вышеописанного признака разбиения при преобразовании определяет, нельзя ли разбить блок обработки (TU или суб-TU) дальше на четыре меньших суб-TU (Этап S1026). Когда определяется, что суб-TU можно разбить дальше (Нет на Этапе S1026), устройство 1000 кодирования изображений выбирает любой из четырех меньших суб-TU (Этап S1024) и выполняет процессы с Этапа S1020 над выбранным суб-TU. Когда на Этапе S1026 определяется, что суб-TU нельзя разбить дальше (Да на Этапе S1026), устройство 1000 кодирования изображений выполняет процессы с Этапа S1010. Другими словами, устройство 1000 кодирования изображений записывает параметр квантования в блок обработки (TU или суб-TU) (Этап S1010), и устройство 1000 кодирования изображений кодирует блок обработки путем выполнения квантования с использованием записанных параметров квантования (Этап S1030). Кроме того, устройство 1000 кодирования изображений выполняет обратное квантование с использованием записанного параметра квантования, чтобы декодировать кодированный блок обработки (Этап S1012).

[0120]

ПРОБЛЕМЫ И ИХ РЕШЕНИЕ В НАСТОЯЩЕМ ИЗОБРЕТЕНИИ ВЫГЛЯДЯТ СЛЕДУЮЩИМ ОБРАЗОМ

[0121]

Другими словами, путем разбиения изображения на большие блоки кодирования можно повысить эффективность кодирования. Однако, когда параметр квантования устанавливается в большой блок кодирования, теряется гибкость при регулировании размера изображения в устройстве кодирования изображений, поскольку размер блока кодирования является большим. Параметр квантования включает в себя по меньшей мере один из параметра шкалы квантования, параметра смещения квантования и индекса. Следует отметить, что индекс предназначен для выбора матрицы шкал квантования среди множества матриц шкал квантования.

[0122]

Например, важным свойством кодирования и декодирования киноизображения является то, что видеоустройство, требующее малой задержки в телеконференции, и камера слежения могут регулировать максимальный размер изображения. При этом необходимо регулировать параметр квантования в соответствии с наименьшим блоком изображения. Между тем другие видеоустройства не требуют вышеописанного свойства и могут повысить эффективность кодирования путем уменьшения служебной нагрузки для передачи параметров квантования.

[0123]

Здесь блок кодирования, блок предсказания и блок преобразования являются основными единицами стандарта Высокоэффективного кодирования видеосигнала (HEVC). QP, который является параметром шкалы квантования, является параметром, используемым для процесса обратного масштабирования над значением отличия (значением приращения), и передается на уровне блока кодирования. В Рассматриваемой модели для экспериментов (TMuC) в HEVC приращение параметра шкалы квантования не передается. Однако в программном обеспечении приращение параметра шкалы квантования передается к концу квантования наибольшего блока кодирования. Однако, когда пропускается PU, который является блоком предсказания, глубина CU, который является блоком кодирования, равна нулю. Это означает, что Y-блок, U-блок и V-блок не кодируются.

[0124]

Другими словами, имеются две следующих проблемы (Проблемы 1 и 2).

[0125]

Проблема 1: кодирование приращения параметра шкалы квантования ограничивается только на наибольшем уровне блока кодирования. Видеоустройству, имеющему малую задержку или постоянную скорость передачи разрядов, может быть сложно регулировать разряд для каждого из блоков кодирования. Другими словами, в стандарте TMuC и программном обеспечении TMuC есть строгое ограничение на положение хранения информации, и параметр квантования может передаваться только вместе с наибольшим CU. В результате невозможно контролировать параметр квантования с помощью меньшего блока (блока обработки).

[0126]

Проблема 2: когда не кодируется TU, который является блоком преобразования, параметр квантования не нужен. Однако текущая методика проверяет, когда пропускаются TU и PU. Поскольку TU и PU отделяются, передача QP приращения зависит только от TU. Кроме того, когда отсутствуют коэффициенты преобразования (коэффициенты, сформированные путем квантования и ортогонального преобразования изображения в пространственной области), необходимо передавать ненужный параметр квантования по отношению к коэффициентам преобразования. В результате кодированный поток, который показывает кодированное изображение, становится избыточным.

[0127]

Чтобы решить вышеописанные проблемы, предоставляется новый способ для передачи параметра квантования для каждого максимального блока кодирования. Способ передачи позволяет устройству кодирования изображений выбирать уровень для параметра квантования, включенного в блок кодирования, который нужно передать, чтобы обеспечить функциональные возможности точного управления разрядами блока и высокую эффективность кодирования.

[0128]

Новым в настоящем изобретении является высокая гибкость или функциональные возможности для устройства кодирования изображений, в которых местоположение параметра квантования в наибольшем блоке кодирования изображения определяется для лучшего управления скоростью передачи данных. Функциональные возможности не присутствуют ни в одном известном уровне техники и могут помочь повысить качество изображения у кодированного киноизображения путем объединения использований наибольшего блока кодирования и параметра квантования. Также новым в настоящем изобретении является местоположение параметра квантования в блоке кодирования. В особенности в традиционной методике параметр квантования включается в заголовок блока кодирования, например макроблока. Однако в настоящем изобретении после того, как кодируется информация предсказания и разностная информация о блоке, параметр квантования кодируется в конце блока кодирования.

[0129]

Другими словами, имеются следующие решения вышеописанных Проблем 1 и 2 (Решение 1 и Решение 2).

[0130]

Решение 1: Чтобы передать приращение QP на уровне небольшого CU, информация о глубине иерархии вставляется в заголовок (набор параметров последовательности/набор параметров изображения/заголовок секции). Другими словами, устройство кодирования изображений хранит параметр квантования в небольшом блоке (блоке обработки), расположенном глубже максимального CU, и хранит в заголовке, например заголовке последовательности или заголовке изображения, информацию о глубине иерархии для задания иерархического уровня (глубины иерархического уровня), на котором существует блок обработки. Устройство декодирования изображений задает иерархический уровень путем разбора информации о глубине иерархии (глубине иерархического уровня) в заголовке и разбирает параметр квантования, хранимый в блоке обработки, расположенном на заданном иерархическом уровне. Здесь информация о глубине иерархии может указывать самый глубокий (расположенный ниже всего) иерархический уровень, на котором может существовать блок обработки, хранящий параметр квантования. В этом случае устройство декодирования изображений задает самый нижний иерархический уровень, указанный информацией о глубине иерархии, или иерархический уровень, который расположен выше упомянутого иерархического уровня и отличается от наивысшего иерархического уровня. Кроме того, информация о глубине иерархии может быть признаком, который показывает, хранится ли параметр квантования в CU заранее установленного иерархического уровня (например, в CU, который расположен на самом нижнем иерархическом уровне).

[0131]

Решение 2: Чтобы пропустить передачу приращения QP, вводится новое условие для проверки признака или шаблона кодированного блока TU. Кроме того, устройство кодирования изображений размещает параметр квантования в конце TU при передаче параметра квантования. При этом устройство декодирования изображений может определить, когда параметр квантования не нужен (когда отсутствуют коэффициенты преобразования). В результате устройству кодирования изображений не приходится передавать ненужные параметры квантования, и можно уменьшить объем кодирования.

[0132]

Как описано выше, способ декодирования изображений и способ кодирования изображений в соответствии с настоящим изобретением описаны со ссылкой на вышеописанные варианты осуществления и модификации. Однако настоящее изобретение не задается только ими.

[0133]

Например, процессы, такие как Этапы S3 и S5 на фиг. 11, включаются в способ декодирования изображений в соответствии с Вариантом 1 осуществления и его модификацией. Однако настоящее изобретение может сформировать вышеописанный результат без тех процессов.

[0134]

Фиг. 17A - блок-схема алгоритма, показывающая способ декодирования изображений в соответствии с настоящим изобретением.

[0135]

Способ декодирования изображений в соответствии с настоящим изобретением является способом декодирования изображений для декодирования кодированного потока, включающего в себя множество блоков обработки и заголовок по отношению к блокам обработки, причем кодированный поток формируется путем кодирования киноизображения. Здесь по меньшей мере один из блоков обработки разделяется на уровни, так что блок обработки делится на множество меньших блоков обработки. В способе декодирования изображений сначала путем разбора информации о глубине иерархии, хранимой в заголовке, задается иерархический уровень, в котором существует блок обработки, хранящий необходимый для декодирования параметр (Этап S101). Далее блок обработки декодируется с использованием параметра, хранимого в блоке обработки, расположенном на заданном иерархическом уровне (Этап S102).

[0136]

Путем выполнения процессов Этапов S101 и S102 можно получить такой же результат, как получен от Варианта 1 осуществления. Другие процессы не существенны для настоящего изобретения. Кроме того, устройство декодирования изображений в соответствии с настоящим изобретением может получить такой же результат, как получен от Варианта 1 осуществления, путем включения в себя составляющего элемента, который выполняет каждый из процессов Этапа S101 и Этапа S102. Другие составляющие элементы не существенны для настоящего изобретения. Следует отметить, что в устройстве 2000 декодирования изображений в соответствии с Вариантом 1 осуществления блок 2200 управления декодированием выполняет процесс Этапа S101, а блок 2100 обработки декодирования выполняет процесс Этапа S102.

[0137]

Кроме того, такие процессы, как Этап S804 на фиг. 14, включаются в способ кодирования изображений в соответствии с Вариантом 1 осуществления и его модификацию. Однако настоящее изобретение может сформировать вышеописанный результат без тех процессов.

[0138]

Фиг. 17B - блок-схема алгоритма, показывающая способ кодирования изображений в соответствии с настоящим изобретением.

[0139]

Способ декодирования изображений в соответствии с настоящим изобретением является способом декодирования изображений для формирования (путем кодирования киноизображения) кодированного потока, включающего в себя множество блоков обработки и заголовок по отношению к блокам обработки. Здесь по меньшей мере один из блоков обработки разделяется на уровни, так что блок обработки разбивается на множество меньших блоков обработки. В способе кодирования изображений сначала кодируется киноизображение (Этап S111). Далее информация о глубине иерархии для задания иерархического уровня, имеющего блок обработки, в котором хранится необходимый для декодирования параметр, записывается в заголовок (Этап S112). Кроме того, параметр записывается в блок обработки, расположенный на иерархическом уровне, заданном информацией о глубине иерархии (Этап S113).

[0140]

Путем выполнения процессов Этапов S111 и S113 можно получить такой же результат, как получен от Варианта 1 осуществления. Другие процессы не нужны для настоящего изобретения. Кроме того, устройство декодирования изображений в соответствии с настоящим изобретением может получить такой же результат, как получен от Варианта 1 осуществления, путем включения в себя блока обработки, который выполняет каждый из процессов от Этапа S111 до Этапа S113. Другие составляющие элементы не существенны для настоящего изобретения. Следует отметить, что в устройстве 1000 кодирования изображений в соответствии с Вариантом 1 осуществления блок 1104 энтропийного кодирования выполняет процессы Этапов S111-S113 на основе управления от блока 1200 управления кодированием.

[0141]

Следует отметить, что синтаксис заголовка, имеющего отношение к настоящему изобретению, показан на фиг. 18A-18C. Синтаксис блоков обработки, имеющих отношение к настоящему изобретению (CU, PU и TU), показан на фиг. 19A-19C.

[0142]

Фиг. 18A - схема, показывающая синтаксис заголовка последовательности. В заголовке последовательности задаются, например, максимальное количество контрольных кадров, которое может называться (max_num_ref_frames), и размер изображения (pic_width_in_luma_samples, pic_height_in_luma_samples).

[0143]

Фиг. 18B - схема, показывающая синтаксис заголовка изображения. В заголовке изображения, как показано в части d1 синтаксиса, задается количество индексов контроля, которое нужно поддерживать для каждого опорного направления (прямого направления и обратного направления), и задается начальный QP (номер, полученный путем вычитания 26 из начального QP).

[0144]

Фиг. 18C - схема, показывающая синтаксис заголовка секции. Заголовок секции, как показано в части d2 синтаксиса, конфигурируется так, что количество вышеописанных индексов контроля, которое нужно поддерживать, можно перезаписывать для каждой секции. Кроме того, заголовок секции, как показано в другой части d3 синтаксиса, задает значение отличия QP от начального QP, который задается вышеописанным заголовком изображения.

[0145]

Фиг. 19A - схема, показывающая синтаксис CU. В CU, как показано в частях d4 и d5 синтаксиса, задаются PU и TU по отношению к CU.

[0146]

Фиг. 19B - схема, показывающая синтаксис PU. PU, как показано в частях d6 и d8 синтаксиса, имеет индекс контроля для каждого опорного направления, и как показано в других частях d7 и d9 синтаксиса, имеет признак переключения разрешения вектора адаптивного движения (mvres) для каждого опорного направления.

[0147]

Фиг. 19C - схема, показывающая синтаксис TU. TU, как показано в части d10 синтаксиса, имеет коэффициенты (коэффициенты преобразования), с которыми ортогональное преобразование и квантование выполняются над разностным изображением.

[0148]

[ВАРИАНТ 2 ОСУЩЕСТВЛЕНИЯ]

Обработка, описанная в каждом из вариантов осуществления, может быть просто реализована в независимой компьютерной системе путем записи на носитель записи программы для реализации конфигураций способа кодирования киноизображений (способа кодирования изображений) и способа декодирования киноизображений (способа декодирования изображений), описанных в каждом из вариантов осуществления. Носители записи могут быть любыми носителями записи при условии, что на них можно записать программу, например могут быть магнитным диском, оптическим диском, магнитооптическим диском, платой ИС и полупроводниковой памятью.

[0149]

Ниже будут описываться применения к способу кодирования киноизображений (способу кодирования изображений) и способу декодирования киноизображений (способу декодирования изображений), описанным в каждом из вариантов осуществления, и системы, их использующие.

[0150]

Фиг. 20 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи делится на соты нужного размера, и в каждой из сот размещаются базовые станции ex106, ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями.

[0151]

Система ex100 предоставления контента подключается к устройствам, например компьютеру ex111, персональному цифровому помощнику (PDA) ex112, камере ex113, сотовому телефону ex114 и игровому устройству ex115, через Интернет ex101, поставщика ex102 услуг Интернета, телефонную сеть ex104, а также базовые станции ex106-ex110 соответственно.

[0152]

Однако конфигурация системы ex100 предоставления контента не ограничивается конфигурацией, показанной на фиг. 20, и допустимо сочетание, в котором соединяются любые элементы. К тому же каждое устройство может быть подключено к телефонной сети ex104 напрямую, а не через базовые станции ex106-ex110, которые являются стационарными беспроводным станциями. Кроме того, устройства могут быть взаимосвязаны друг с другом посредством ближней беспроводной связи и других.

[0153]

Камера ex113, например цифровая видеокамера, допускает съемку видеоизображения. Камера ex116, например цифровая камера, допускает съемку как неподвижных изображений, так и видеоизображения. Кроме того, сотовый телефон ex114 может быть телефоном, который соответствует любому из стандартов, например Глобальной системе мобильной связи (GSM, зарегистрированный товарный знак), Коллективному доступу с кодовым разделением каналов (CDMA), Широкополосному коллективному доступу с кодовым разделением каналов (W-CDMA), Системе долгосрочного развития (LTE) и Высокоскоростному пакетному доступу (HSPA). В качестве альтернативы сотовый телефон ex114 может относиться к Системе персональных переносных телефонов (PHS).

[0154]

В системе ex100 предоставления контента сервер ex103 потоковой передачи подключается к камере ex113 и другим через телефонную сеть ex104 и базовую станцию ex109, что дает возможность распространения изображений передачи в прямом эфире и прочих. При таком распространении контент (например, видеоизображение музыкальной передачи в прямом эфире), снятый пользователем с использованием камеры ex113, кодируется как описано выше в каждом из вариантов осуществления (то есть камера функционирует в качестве устройства кодирования изображений в соответствии с аспектом настоящего изобретения), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи осуществляет потоковое распространение данных переданного контента клиентам по их запросам. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровое устройство ex115, которые допускают декодирование вышеупомянутых кодированных данных. Каждое из устройств, которое приняло распространенные данные, декодирует и воспроизводит кодированные данные (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения).

[0155]

Записанные данные могут кодироваться камерой ex113 или сервером ex103 потоковой передачи, который передает данные, либо процессы кодирования могут распределяться между камерой ex113 и сервером ex103 потоковой передачи. Аналогичным образом, распространенные данные могут декодироваться клиентами или сервером ex103 потоковой передачи, либо процессы декодирования могут распределяться между клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видеоизображения, снятых не только камерой ex113, но также и камерой ex116, могут передаваться серверу ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут выполняться камерой ex116, компьютером ex111 или сервером ex103 потоковой передачи, либо распределяться между ними.

[0156]

Кроме того, процессы кодирования и декодирования могут выполняться с помощью LSI ex500, обычно включенной в каждый из компьютера ex111 и устройств. LSI ex500 может конфигурироваться из одиночной микросхемы или множества микросхем. Программное обеспечение для кодирования и декодирования видеоизображения может встраиваться в некоторый тип носителя записи (например, CD-ROM, гибкий диск и жесткий диск), который считывается компьютером ex111 и другими, и процессы кодирования и декодирования могут выполняться с использованием этого программного обеспечения. Кроме того, когда сотовый телефон ex114 оборудован камерой, можно передавать видеоданные, полученные камерой. Видеоданные являются данными, кодированными LSI ex500, включенной в сотовый телефон ex114.

[0157]

Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.

[0158]

Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, переданную пользователем, и воспроизводить декодированные данные в реальном масштабе времени в системе ex100 предоставления контента, чтобы пользователь, у которого нет никакого конкретного права и оборудования, мог реализовать личную трансляцию.

[0159]

Помимо примера системы ex100 предоставления контента по меньшей мере одно из устройства кодирования киноизображений (устройства кодирования изображений) и устройства декодирования киноизображений (устройства декодирования изображений), описанных в каждом из вариантов осуществления, может быть реализовано в системе ex200 цифрового вещания, проиллюстрированной на фиг. 21. Точнее говоря, вещательная станция ex201 сообщает или передает посредством радиоволн вещательному спутнику ex202 мультиплексированные данные, полученные путем мультиплексирования звуковых данных и прочих на видеоданные. Видеоданные являются данными, кодированными по способу кодирования киноизображений, описанному в каждом из вариантов осуществления (то есть данными, кодированными устройством кодирования изображений в соответствии с аспектом настоящего изобретения). При приеме мультиплексированных данных вещательный спутник ex202 передает радиоволны для транслирования. Затем домашняя антенна ex204 с функцией приема спутникового вещания принимает радиоволны. Далее устройство, например телевизор ex300 (приемник) и телевизионная приставка ex217 (STB), декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения).

[0160]

Кроме того, считывающе-записывающее устройство ex218 (i) считывает и декодирует мультиплексированные данные, записанные на носителе ex215 записи, например DVD и BD, либо (ii) кодирует видеосигналы на носителе ex215 записи и в некоторых случаях записывает данные, полученные путем мультиплексирования звукового сигнала на кодированные данные. Считывающе-записывающее устройство ex218 может включать в себя устройство декодирования киноизображений или устройство кодирования изображений, которые показаны в каждом из вариантов осуществления. В этом случае восстановленные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены другим устройством или системой с использованием носителя ex215 записи, на котором записаны мультиплексированные данные. Также возможно реализовать устройство декодирования киноизображений в телевизионной приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутникового и/или наземного вещания, чтобы отобразить видеосигналы на мониторе ex219 телевизора ex300. Устройство декодирования киноизображений может быть реализовано не в телевизионной приставке, а в телевизоре ex300.

[0161]

Фиг. 22 иллюстрирует телевизор (приемник) ex300, который использует способ кодирования киноизображений и способ декодирования киноизображений, описанные в каждом из вариантов осуществления. Телевизор ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные путем мультиплексирования звуковых данных на видеоданные, через антенну ex204 или кабель ex203 и т.д., который принимает трансляцию; блок ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные для поставки их наружу блока; и блок ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные на видеоданные и звуковые данные либо мультиплексирует видеоданные и звуковые данные, кодированные блоком ex306 обработки сигналов, в данные.

[0162]

Телевизор ex300 дополнительно включает в себя: блок ex306 обработки сигналов, включающий в себя блок ex304 обработки звукового сигнала и блок ex305 обработки видеосигнала, которые декодируют звуковые данные и видеоданные и кодируют звуковые данные и видеоданные соответственно (которые функционируют в качестве устройства кодирования изображений и устройства декодирования изображений в соответствии с аспектами настоящего изобретения); и блок ex309 вывода, включающий в себя динамик ex307, который предоставляет декодированный звуковой сигнал, и блок ex308 отображения, который отображает декодированный видеосигнал, например дисплей. Кроме того, телевизор ex300 включает в себя интерфейсный блок ex317, включающий в себя блок ex312 ввода операции, который принимает ввод действия пользователя. Кроме того, телевизор ex300 включает в себя блок ex310 управления, который управляет в общем каждым составляющим элементом телевизора ex300, и схему ex311 питания, которая снабжает энергией каждый из элементов. Помимо блока ex312 ввода операции интерфейсный блок ex317 может включать в себя: мост ex313, который подключается к внешнему устройству, например считывающе-записывающему устройству ex218; разъем ex314 для обеспечения присоединения носителя ex216 записи, например карты SD; привод ex315, который нужно подключить к внешнему носителю записи, например жесткому диску; и модем ex316, который нужно подключить к телефонной сети. Здесь носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимой/энергозависимой полупроводниковой памяти для хранения. Составляющие элементы телевизора ex300 соединяются друг с другом по синхронной шине.

[0163]

Сначала будет описываться конфигурация, в которой телевизор ex300 декодирует мультиплексированные данные, полученные извне через антенну ex204 и прочие, и воспроизводит декодированные данные. В телевизоре ex300 в результате действия пользователя с пультом ex220 дистанционного управления и прочими блок ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные блоком ex302 модуляции/демодуляции, под управлением блока ex310 управления, включающего в себя CPU. Кроме того, в телевизоре ex300 блок ex304 обработки звукового сигнала декодирует демультиплексированные звуковые данные, а блок ex305 обработки видеосигнала декодирует демультиплексированные видеоданные, используя способ декодирования, описанный в каждом из вариантов осуществления. Блок ex309 вывода предоставляет декодированный видеосигнал и звуковой сигнал соответственно. Когда блок ex309 вывода предоставляет видеосигнал и звуковой сигнал, сигналы могут быть временно сохранены в буферах ex318 и ex319 и других, чтобы сигналы воспроизводились синхронно друг с другом. Кроме того, телевизор ex300 может считывать мультиплексированные данные не путем трансляции и прочего, а с носителей ex215 и ex216 записи, например магнитного диска, оптического диска и карты SD. Далее будет описываться конфигурация, в которой телевизор ex300 кодирует звуковой сигнал и видеосигнал и передает данные вовне или записывает данные на носитель записи. В телевизоре ex300 в результате действия пользователя с пультом ex220 дистанционного управления и прочими блок ex304 обработки звукового сигнала кодирует звуковой сигнал, а блок ex305 обработки видеосигнала кодирует видеосигнал, под управлением блока ex310 управления с использованием способа кодирования, описанного в каждом из вариантов осуществления. Блок ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и звуковой сигнал и предоставляет вовне результирующий сигнал. Когда блок ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и звуковой сигнал, сигналы могут быть временно сохранены в буферах ex320 и ex321 и других, чтобы сигналы воспроизводились синхронно друг с другом. Здесь буферы ex318, ex319, ex320 и ex321 могут быть многочисленными, как проиллюстрировано, или по меньшей мере один буфер может использоваться совместно в телевизоре ex300. Кроме того, данные могут храниться в буфере, чтобы можно было избежать переполнения и незаполнения системы, например, между блоком ex302 модуляции/демодуляции и блоком ex303 мультиплексирования/демультиплексирования.

[0164]

Кроме того, телевизор ex300 может включать в себя конфигурацию для приема аудиовизуальных входных данных от микрофона или камеры, помимо конфигурации для получения звуковых данных и видеоданных из трансляции или с носителя записи, и может кодировать полученные данные. Хотя в описании телевизор ex300 может кодировать, мультиплексировать и предоставлять вовне данные, он может допускать только прием, декодирование и предоставление данных вовне, но не кодирование, мультиплексирование и предоставление данных вовне.

[0165]

Кроме того, когда считывающе-записывающее устройство ex218 считывает или записывает мультиплексированные данные с носителя записи или на него, одно из телевизора ex300 и считывающе-записывающего устройства ex218 может декодировать или кодировать мультиплексированные данные, и телевизор ex300 и считывающе-записывающее устройство ex218 могут распределять декодирование или кодирование.

[0166]

В качестве примера фиг. 23 иллюстрирует конфигурацию блока ex400 воспроизведения/записи информации, когда данные считываются или записываются с оптического диска или на него. Блок ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые будут описаны ниже. Оптическая головка ex401 излучает лазерное пятно на поверхность записи у носителя ex215 записи, который является оптическим диском, для записи информации и обнаруживает отраженный свет от поверхности записи у носителя ex215 записи для считывания информации. Блок ex402 модуляционной записи электрически управляет полупроводниковым лазером, включенным в оптическую головку ex401, и модулирует лазерное излучение в соответствии с записанными данными. Блок ex403 демодуляции при воспроизведении усиливает сигнал воспроизведения, полученный путем электрического обнаружения отраженного света от поверхности записи с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения путем отделения составляющей сигнала, записанной на носителе ex215 записи, чтобы воспроизвести необходимую информацию. Буфер ex404 временно хранит информацию, которую нужно записать на носитель ex215 записи, и информацию, воспроизведенную с носителя ex215 записи. Двигатель ex405 диска вращает носитель ex215 записи. Блок ex406 сервоуправления перемещает оптическую головку ex401 на заранее установленную информационную дорожку, управляя при этом вращением двигателя ex405 диска, чтобы следовать за лазерным пятном. Блок ex407 системного управления управляет в целом блоком ex400 воспроизведения/записи информации. Процессы считывания и записи могут быть реализованы блоком ex407 системного управления, использующим различную информацию, сохраненную в буфере ex404, и формирующим и добавляющим новую информацию по необходимости, и блоком ex402 модуляционной записи, блоком ex403 демодуляции при воспроизведении и блоком ex406 сервоуправления, которые записывают и воспроизводят информацию посредством оптической головки ex401, будучи управляемыми при этом согласованным способом. Блок ex407 системного управления включает в себя, например, микропроцессор и выполняет обработку, заставляя компьютер выполнить программу для считывания и записи.

[0167]

Хотя в описании оптическая головка ex401 излучает лазерное пятно, она может выполнять запись с высокой плотностью, используя свет ближней зоны.

[0168]

Фиг. 24 иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности записи носителя ex215 записи направляющие канавки образуются по спирали, и информационная дорожка ex230 заранее записывает адресную информацию, указывающую абсолютное положение на диске в соответствии с изменением в форме направляющих канавок. Адресная информация включает в себя информацию для определения положений блоков ex231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки ex230 и считывание адресной информации в устройстве, которое записывает и воспроизводит данные, может привести к определению положений блоков записи. Кроме того, носитель ex215 записи включает в себя область ex233 записи данных, область ex232 внутренней окружности и область ex234 внешней окружности. Область ex233 записи данных является областью для использования при записи пользовательских данных. Область ex232 внутренней окружности и область ex234 внешней окружности, которые находятся внутри и снаружи области ex233 записи данных соответственно, предназначены для специального использования за исключением записи пользовательских данных. Блок ex400 воспроизведения/записи информации считывает и записывает кодированные звуковые данные, кодированные видеоданные или мультиплексированные данные, полученные путем мультиплексирования кодированных звуковых и видеоданных, из области ex233 записи данных в носителе ex215 записи и на нее.

[0169]

Хотя в описании в качестве примера описывается оптический диск, содержащий слой, например DVD и BD, оптический диск не ограничивается таковым и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на части, отличной от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, например, записи информации с использованием света с цветами разных длин волн в одной и той же части оптического диска и для записи информации, имеющей разные слои, с различных углов.

[0170]

Кроме того, в системе ex200 цифрового вещания автомобиль ex210, имеющий антенну ex205, может принимать данные со спутника ex202 и других и воспроизводить видеоизображение на устройстве отображения, например автомобильной навигационной системе ex211, установленной в автомобиле ex210. Здесь конфигурация автомобильной навигационной системы ex211 будет конфигурацией, например, включающей в себя приемный блок GPS из конфигурации, проиллюстрированной на фиг. 22. То же самое будет справедливо для конфигурации компьютера ex111, сотового телефона ex114 и прочих.

[0171]

Фиг. 25A иллюстрирует сотовый телефон ex114, который использует способ кодирования киноизображений и способ декодирования киноизображений, описанные в вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн посредством базовой станции ex110; камеру ex365, допускающую съемку подвижных и неподвижных изображений; и блок ex358 отображения, например жидкокристаллический дисплей для отображения данных, например декодированного видеоизображения, снятого камерой ex365 или принятого антенной ex350. Сотовый телефон ex114 дополнительно включает в себя: корпус, включающий в себя панель ex366 кнопок; блок ex357 вывода звука, например динамик для вывода звукозаписи; блок ex356 ввода звука, например микрофон для ввода звукозаписи; запоминающее устройство ex367 для хранения снятого видеоизображения или фотоснимков, записанного звука, кодированных или декодированных данных принятого видеоизображения, фотоснимков, электронных писем или прочего; и разъем ex364, который является интерфейсным блоком для носителя записи, который хранит данные таким же образом, что и запоминающее устройство ex367.

[0172]

Далее пример конфигурации сотового телефона ex114 будет описываться со ссылкой на фиг. 25B. В сотовом телефоне ex114 главный блок ex360 управления, спроектированный для управления в целом каждым блоком корпуса, включающего блок ex358 отображения, а также панель ex366 кнопок, взаимно подключается через синхронную шину ex370 к схеме ex361 питания, блоку ex362 управления вводом операции, блоку ex355 обработки видеосигнала, интерфейсному блоку ex363 камеры, блоку ex359 управления жидкокристаллическим дисплеем (LCD), блоку ex352 модуляции/демодуляции, блоку ex353 мультиплексирования/демультиплексирования, блоку ex354 обработки звукового сигнала, разъему ex364 и запоминающему устройству ex367.

[0173]

Когда клавиша завершения вызова или клавиша питания нажимается в результате действия пользователя, схема ex361 питания снабжает соответствующие блоки энергией от аккумуляторной батареи, чтобы активизировать сотовый телефон ex114.

[0174]

В сотовом телефоне ex114 блок ex354 обработки звукового сигнала преобразует звуковые сигналы, собранные блоком ex356 ввода звука в режиме разговора, в цифровые звуковые сигналы под управлением главного блока ex360 управления, включающего CPU, ROM и RAM. Затем блок ex352 модуляции/демодуляции выполняет обработку по расширению спектра над цифровыми звуковыми сигналами, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350. Также в сотовом телефоне ex114 блок ex351 передачи и приема усиливает данные, принятые антенной ex350 в режиме разговора, и выполняет преобразование частоты и аналого-цифровое преобразование над данными. Затем блок ex352 модуляции/демодуляции выполняет обработку по обратному расширению спектра над данными, а блок ex354 обработки звукового сигнала преобразует их в аналоговые звуковые сигналы, чтобы вывести их через блок ex357 вывода звука.

[0175]

Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные из электронной почты, введенные путем воздействия на панель ex366 кнопок и прочие в корпусе, отправляются главному блоку ex360 управления через блок ex362 управления вводом операции. Главный блок ex360 управления заставляет блок ex352 модуляции/демодуляции выполнить обработку по расширению спектра над текстовыми данными, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над результирующими данными, чтобы передать данные базовой станции ex110 через антенну ex350. Когда принимается электронная почта, над принятыми данными выполняется обработка, которая приблизительно обратна обработке для передачи электронной почты, и результирующие данные предоставляются блоку ex358 отображения.

[0176]

Когда передаются видеоизображение, неподвижные изображения или видеоизображение и звукозапись в режиме передачи данных, блок ex355 обработки видеосигнала сжимает и кодирует видеосигналы, поступившие от камеры ex365, используя способ кодирования киноизображений, показанный в каждом из вариантов осуществления (то есть функционирует в качестве устройства кодирования изображений в соответствии с аспектом настоящего изобретения), и передает кодированные видеоданные блоку ex353 мультиплексирования/демультиплексирования. В отличие от этого, во время того, когда камера ex365 снимает видеоизображение, неподвижные изображения и другие, блок ex354 обработки звукового сигнала кодирует звуковые сигналы, собранные блоком ex356 ввода звука, и передает кодированные звуковые данные блоку ex353 мультиплексирования/демультиплексирования.

[0177]

Блок ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, поступившие от блока ex355 обработки видеосигнала, и кодированные звуковые данные, поступившие от блока ex354 обработки звукового сигнала, используя заранее установленный способ. Затем блок ex352 модуляции/демодуляции (схема модуляции/демодуляции) выполняет обработку по расширению спектра над мультиплексированными данными, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350.

[0178]

При приеме данных видеофайла, который связан с веб-страницей и другими в режиме передачи данных, или при приеме электронной почты с прикрепленным видеоизображением и/или звукозаписью, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, блок ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные на поток двоичных сигналов видеоданных и поток двоичных сигналов звуковых данных, и снабжает блок ex355 обработки видеосигнала кодированными видеоданными, а блок ex354 обработки звукового сигнала - кодированными звуковыми данными посредством синхронной шины ex370. Блок ex355 обработки видеосигнала декодирует видеосигнал с использованием способа декодирования киноизображений, соответствующего способу кодирования киноизображений, показанному в каждом из вариантов осуществления (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения), а затем блок ex358 отображения отображает, например, видеоизображение и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, посредством блока ex359 управления LCD. Кроме того, блок ex354 обработки звукового сигнала декодирует звуковой сигнал, и блок ex357 вывода звука предоставляет звукозапись.

[0179]

Кроме того, аналогично телевизору ex300, терминал, например сотовый телефон ex114, возможно имеет 3 типа конфигураций исполнения, включающих не только (i) передающий и приемный терминал, включающий в себя устройство кодирования и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании система ex200 цифрового вещания принимает и передает мультиплексированные данные, полученные путем мультиплексирования звуковых данных на видеоданные, мультиплексированные данные могут быть данными, полученными путем мультиплексирования не звуковых данных, а символьных данных, имеющих отношение к видеоизображению, на видеоданные, и могут быть не мультиплексированными данными, а самими видеоданными.

[0180]

По существу, способ кодирования киноизображений и способ декодирования киноизображений в каждом из вариантов осуществления может использоваться на любом из описанных устройств и систем. Таким образом, можно получить преимущества, описанные в каждом из вариантов осуществления.

[0181]

Кроме того, настоящее изобретение не ограничивается вариантами осуществления, и возможны различные модификации и изменения без отклонения от объема настоящего изобретения.

[0182]

[ВАРИАНТ 3 ОСУЩЕСТВЛЕНИЯ]

Видеоданные могут формироваться путем переключения, по необходимости, между (i) способом кодирования киноизображений или устройством кодирования киноизображений, показанными в каждом из вариантов осуществления, и (ii) способом кодирования киноизображений или устройством кодирования киноизображений в соответствии с другим стандартом, например MPEG-2, MPEG-4 AVC и VC-1.

[0183]

Здесь, когда формируется множество видеоданных, которые соответствуют разным стандартам, а затем декодируется, нужно выбирать способы декодирования, которые соответствуют разным стандартам. Однако, поскольку нельзя определить то, какому стандарту соответствуют каждые из множества видеоданных, которые нужно декодировать, существует проблема, что нельзя выбрать подходящий способ декодирования.

[0184]

Чтобы решить эту проблему, мультиплексированные данные, полученные путем мультиплексирования звуковых данных и других на видеоданные, имеют структуру, включающую идентификационную информацию, указывающую, какому стандарту соответствуют видеоданные. Ниже будет описываться конкретная структура мультиплексированных данных, включающих видеоданные, сформированные по способу кодирования киноизображений и с помощью устройства кодирования киноизображений, показанных в каждом из вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортного потока MPEG-2.

[0185]

Фиг. 26 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 26, мультиплексированные данные можно получить путем мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока демонстрационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видеоизображение и вторичное видеоизображение фильма, аудиопоток представляет первичную звуковую часть и вторичную звуковую часть, которую нужно смешать с первичной звуковой частью, а поток демонстрационной графики представляет субтитры фильма. Здесь первичное видеоизображение является обычным видеоизображением, показанным на экране, а вторичное видеоизображение является видеоизображением, которое нужно показать на меньшем окне в первичном видеоизображении. Кроме того, поток интерактивной графики представляет интерактивный экран, который нужно сформировать путем размещения компонентов GUI на экране. Видеопоток кодируется по способу кодирования киноизображений или с помощью устройства кодирования киноизображений, показанных в каждом из вариантов осуществления, либо по способу кодирования киноизображений или с помощью устройства кодирования киноизображений в соответствии с традиционным стандартом, например MPEG-2, MPEG-4 AVC и VC-1. Аудиопоток кодируется в соответствии со стандартом, например Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD и линейной PCM.

[0186]

Каждый поток, включенный в мультиплексированные данные, идентифицируется по PID. Например, 0x1011 назначается видеопотоку, который нужно использовать для видеоизображения фильма, 0x1100-0x111F назначаются аудиопотокам, 0x1200-0x121F назначаются потокам демонстрационной графики, 0x1400-0x141F назначаются потокам интерактивной графики, 0x1B00-0x1B1F назначаются видеопотокам, которые нужно использовать для вторичного видеоизображения фильма, и 0x1A00-0x1A1F назначаются аудиопотокам, которые нужно использовать для вторичного звука, который нужно смешать с первичным звуком.

[0187]

Фиг. 27 схематически иллюстрирует то, как мультиплексируются данные. Сначала видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из звуковых кадров, преобразуются в поток ex236 пакетов PES и поток ex239 пакетов PES, и дополнительно в пакеты ex237 TS и пакеты ex240 TS соответственно. Аналогичным образом данные из потока ex241 демонстрационной графики и данные из потока ex244 интерактивной графики преобразуются в поток ex242 пакетов PES и поток ex245 пакетов PES, и дополнительно в пакеты ex243 TS и пакеты ex246 TS соответственно. Эти пакеты TS мультиплексируются в поток для получения мультиплексированных данных ex247.

[0188]

Фиг. 28 более подробно иллюстрирует то, как видеопоток хранится в потоке пакетов PES. Первая полоса на фиг. 28 показывает поток видеокадров в видеопотоке. Вторая полоса показывает поток пакетов PES. Как указано стрелками, обозначенными yy1, yy2, yy3 и yy4 на фиг. 28, видеопоток делится на изображения в виде I-изображений, B-изображений и P-изображений, каждое из которых является блоком видеодемонстрации, и изображения сохраняются в полезной нагрузке каждого из пакетов PES. Каждый из пакетов PES имеет заголовок PES, и заголовок PES хранит Временную отметку воспроизведения (PTS), указывающую время показа изображения, и Временную отметку декодирования (DTS), указывающую время декодирования изображения.

[0189]

Фиг. 29 иллюстрирует формат пакетов TS, которые в конечном счете должны быть записаны в мультиплексированные данные. Каждый из пакетов TS является 188-байтным пакетом фиксированной длины, включающим 4-байтный заголовок TS, содержащий информацию, например PID для идентификации потока, и 184-байтную полезную нагрузку TS для хранения данных. Пакеты PES разделяются и сохраняются в полезных нагрузках TS соответственно. Когда используется BD ROM, каждому из пакетов TS выдается 4-байтный TP_Extra_Header, соответственно приводя к 192-байтным исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит информацию, например Временную отметку поступления (ATS). ATS показывает время начала передачи, в которое каждый из пакетов TS нужно передать в фильтр PID. Исходные пакеты размещаются в мультиплексированных данных, как показано в нижней части фиг. 29. Номера, увеличивающиеся от начала мультиплексированных данных, называются номерами исходных пакетов (SPN).

[0190]

Каждый из пакетов TS, включенных в мультиплексированные данные, включает в себя не только потоки звукозаписи, видеоизображения, субтитров и других, но также Таблицу взаимосвязи программ (PAT), Таблицу преобразования программ (PMT) и Опорный сигнал программы (PCR). PAT показывает, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самой PAT регистрируется как ноль. PMT хранит PID потоков видеоизображения, звукозаписи, субтитров и других, включенных в мультиплексированные данные, и информацию об атрибутах потоков, соответствующих тем PID. PMT также содержит различные дескрипторы, относящиеся к мультиплексированным данным. Дескрипторы обладают информацией, например информацией управления копированием, показывающей, разрешено ли копирование мультиплексированных данных. PCR хранит временную информацию STC, соответствующую ATS, показывающей, когда пакет PCR передается декодеру, чтобы достичь синхронизации между Таймером поступления (ATC), который является осью времени у ATS, и Системным таймером (STC), который является осью времени у PTS и DTS.

[0191]

Фиг. 30 подробно иллюстрирует структуру данных PMT. Заголовок PMT располагается в начале PMT. Заголовок PMT описывает длину данных, включенных в PMT, и прочее. После заголовка PMT располагается множество дескрипторов, относящихся к мультиплексированным данным. В дескрипторах описывается информация, например информация управления копированием. После дескрипторов располагается множество порций информации о потоке, относящихся к потокам, включенным в мультиплексированные данные. Каждая порция информации о потоке включает в себя дескрипторы потока, описывающие информацию, например тип потока для идентификации кодека сжатия потока, PID потока и информацию об атрибутах потока (например, частоту кадров или соотношение сторон). Дескрипторы потока по числу равны количеству потоков в мультиплексированных данных.

[0192]

Когда мультиплексированные данные записываются на носитель записи и прочие, они записываются вместе с информационными файлами мультиплексированных данных.

[0193]

Каждый из информационных файлов мультиплексированных данных является управляющей информацией о мультиплексированных данных, как показано на фиг. 31. Информационные файлы мультиплексированных данных находятся в однозначном соответствии с мультиплексированными данными, и каждый из файлов включает в себя информацию о мультиплексированных данных, информацию об атрибутах потока и карту входов.

[0194]

Как проиллюстрировано на фиг. 31, информация о мультиплексированных данных включает в себя системную скорость, время начала воспроизведения и время окончания воспроизведения. Системная скорость указывает максимальную скорость передачи, с которой конечный декодер системы, который будет описан позже, передает мультиплексированные данные в фильтр PID. Интервалы ATS, включенных в мультиплексированные данные, устанавливаются не выше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в начале мультиплексированных данных. Интервал из одного кадра добавляется в PTS в видеокадре в конце мультиплексированных данных, и PTS устанавливается во время окончания воспроизведения.

[0195]

Как показано на фиг. 32, порция информации об атрибутах регистрируется в информации об атрибутах потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждая порция информации об атрибутах содержит разную информацию в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком демонстрационной графики или потоком интерактивной графики. Каждая порция информации об атрибутах видеопотока несет информацию, включающую, какой вид кодека сжатия используется для сжатия видеопотока, и разрешение, соотношение сторон и частоту кадров у порций данных изображения, которые включаются в видеопоток. Каждая порция информации об атрибутах аудиопотока несет информацию, включающую то, какой вид кодека сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопоток и какова частота дискретизации. Информация об атрибутах видеопотока и информация об атрибутах аудиопотока используются для инициализации декодера перед тем, как проигрыватель воспроизводит информацию.

[0196]

В настоящем варианте осуществления мультиплексированные данные, которые нужно использовать, принадлежат к типу потока, включенному в PMT. Кроме того, когда мультиплексированные данные записываются на носитель записи, используется информация об атрибутах видеопотока, включенная в информацию о мультиплексированных данных. Точнее говоря, способ кодирования киноизображений или устройство кодирования киноизображений, описанные в каждом из вариантов осуществления, включают в себя этап или блок для назначения уникальной информации, указывающей видеоданные, сформированные по способу кодирования киноизображений или с помощью устройства кодирования киноизображений в каждом из вариантов осуществления, типу потока, включенному в PMT, или информации об атрибутах видеопотока. С помощью этой конфигурации видеоданные, сформированные способом кодирования киноизображений или устройством кодирования киноизображений, описанными в каждом из вариантов осуществления, можно отличить от видеоданных, которые соответствуют другому стандарту.

[0197]

Кроме того, фиг. 33 иллюстрирует этапы способа декодирования киноизображений в соответствии с настоящим вариантом осуществления. На Этапе exS100 тип потока, включенный в PMT, или информация об атрибутах видеопотока, включенная в информацию о мультиплексированных данных, получаются из мультиплексированных данных. Далее на Этапе exS101 определяется, указывает ли тип потока или информация об атрибутах видеопотока, что мультиплексированные данные формируются способом кодирования киноизображений или устройством кодирования киноизображений в каждом из вариантов осуществления. Когда определяется, что тип потока или информация об атрибутах видеопотока указывает, что мультиплексированные данные формируются способом кодирования киноизображений или устройством кодирования киноизображений в каждом из вариантов осуществления, то на Этапе exS102 выполняется декодирование по способу декодирования киноизображений в каждом из вариантов осуществления. Кроме того, когда тип потока или информация об атрибутах видеопотока указывает соответствие традиционным стандартам, например MPEG-2, MPEG-4 AVC и VC-1, то на Этапе exS103 выполняется декодирование по способу декодирования киноизображений в соответствии с традиционными стандартами.

[0198]

По существу, назначение нового уникального значения типу потока или информации об атрибутах видеопотока дает возможность определения, могут ли способ декодирования киноизображений или устройство декодирования киноизображений, которые описаны в каждом из вариантов осуществления, выполнять декодирование. Даже когда вводятся мультиплексированные данные, которые соответствуют другому стандарту, можно выбрать подходящий способ или устройство декодирования. Таким образом, становится возможным декодировать информацию без какой-либо ошибки. Кроме того, способ или устройство кодирования киноизображений либо способ или устройство декодирования киноизображений в настоящем варианте осуществления могут использоваться в устройствах и системах, описанных выше.

[0199]

[ВАРИАНТ 4 ОСУЩЕСТВЛЕНИЯ]

Каждый из способа кодирования киноизображений, устройства кодирования киноизображений, способа декодирования киноизображений и устройства декодирования киноизображений в каждом из вариантов осуществления обычно выполняется в виде интегральной схемы или Большой интегральной схемы (LSI). В качестве примера LSI фиг. 34 иллюстрирует конфигурацию LSI ex500, которая превращена в одну микросхему. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые будут описаны ниже, и эти элементы соединяются друг с другом посредством шины ex510. Схема ex505 питания активизируется путем подачи питания каждому из элементов, когда включается схема ex505 питания.

[0200]

Например, когда выполняется кодирование, LSI ex500 принимает аудиовизуальный сигнал от микрофона ex117, камеры ex113 и других посредством аудиовизуального ввода/вывода ex509 под управлением блока ex501 управления, включающего в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока и блок ex512 регулировки частоты возбуждения. Принятый аудиовизуальный сигнал временно хранится во внешнем запоминающем устройстве ex511, например SDRAM. Под управлением блока ex501 управления сохраненные данные сегментируются на порции данных в соответствии с объемом и скоростью обработки для передачи их блоку ex507 обработки сигналов. Затем блок ex507 обработки сигналов кодирует звуковой сигнал и/или видеосигнал. Здесь кодирование видеосигнала является кодированием, описанным в каждом из вариантов осуществления. Кроме того, блок ex507 обработки сигналов иногда мультиплексирует кодированные звуковые данные и кодированные видеоданные, и ввод-вывод ex506 потока предоставляет мультиплексированные данные вовне. Предоставленные мультиплексированные данные передаются базовой станции ex107 или записываются на носитель ex215 записи. Когда мультиплексируются наборы данных, данные следует временно хранить в буфере ex508, чтобы наборы данных синхронизировались друг с другом.

[0201]

Хотя запоминающее устройство ex511 является элементом вне LSI ex500, оно может включаться в LSI ex500. Буфер ex508 не ограничивается одним буфером, а может состоять из буферов. Кроме того, LSI ex500 можно превратить в одну микросхему или множество микросхем.

[0202]

Кроме того, хотя блок ex501 управления включает в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока, блок ex512 регулировки частоты возбуждения, конфигурация блока ex501 управления не ограничивается таковой. Например, блок ex507 обработки сигналов может дополнительно включать в себя CPU. Включение другого CPU в блок ex507 обработки сигналов может повысить скорость обработки. Кроме того, в качестве другого примера CPU ex502 может работать как блок ex507 обработки сигналов или быть его частью, и, например, может включать в себя блок обработки звукового сигнала. В таком случае блок ex501 управления включает в себя блок ex507 обработки сигналов или CPU ex502, включающий в себя часть блока ex507 обработки сигналов.

[0203]

Используемым здесь наименованием является LSI, но она также может называться системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.

[0204]

Кроме того, способы достижения интеграции не ограничиваются LSI, и специальная схема или универсальный процессор и т.д. также могут обеспечить интеграцию. С той же целью может использоваться программируемая пользователем вентильная матрица (FPGA), которую можно запрограммировать после производства LSI, или реконфигурируемый процессор, который допускает реконфигурацию соединения или конфигурацию LSI.

[0205]

В будущем, с развитием полупроводниковой технологии совершенно новая технология может заменить LSI. Функциональные блоки можно интегрировать с использованием такой технологии. Есть вероятность, что настоящее изобретение применяется к биотехнологии.

[0206]

[ВАРИАНТ 5 ОСУЩЕСТВЛЕНИЯ]

Когда декодируются видеоданные, сформированные по способу кодирования киноизображений или с помощью устройства кодирования киноизображений, описанных в каждом из вариантов осуществления, по сравнению с тем, когда декодируются видеоданные, которые соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, объем обработки скорее всего увеличивается. Таким образом, LSI ex500 нужно настраивать на частоту возбуждения выше, чем у CPU ex502, чтобы использовать, когда декодируются видеоданные в соответствии с традиционным стандартом. Однако, когда частота возбуждения устанавливается выше, имеется проблема, что увеличивается энергопотребление.

[0207]

Чтобы решить эту проблему, устройство декодирования киноизображений, например телевизор ex300 и LSI ex500, конфигурируется для определения, какому стандарту соответствуют видеоданные, и переключения между частотами возбуждения в соответствии с определенным стандартом. Фиг. 35 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения, когда видеоданные формируются способом кодирования киноизображений или устройством кодирования киноизображений, описанными в каждом из вариантов осуществления. Затем блок ex803 переключения частоты возбуждения дает команду блоку ex801 обработки декодирования, который выполняет способ декодирования киноизображений, описанный в каждом из вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, чем у видеоданных, сформированных способом кодирования киноизображений или устройством кодирования киноизображений, описанными в каждом из вариантов осуществления. Затем блок ex803 переключения частоты возбуждения дает команду блоку ex802 обработки декодирования, который соответствует традиционному стандарту, декодировать видеоданные.

[0208]

Точнее говоря, блок ex803 переключения частоты возбуждения включает в себя CPU ex502 и блок ex512 регулировки частоты возбуждения на фиг. 34. Здесь каждый из блока ex801 обработки декодирования, который выполняет способ декодирования киноизображений, описанный в каждом из вариантов осуществления, и блока ex802 обработки декодирования, который соответствует традиционному стандарту, соответствует блоку ex507 обработки сигналов на фиг. 34. CPU ex502 определяет, какому стандарту соответствуют видеоданные. Затем блок ex512 регулировки частоты возбуждения определяет частоту возбуждения на основе сигнала от CPU ex502. Кроме того, блок ex507 обработки сигналов декодирует видеоданные на основе сигнала от CPU ex502. Например, идентификационная информация, описанная в Варианте 3 осуществления, скорее всего используется для идентификации видеоданных. Идентификационная информация не ограничивается описанной в Варианте 3 осуществления, а может быть любой информацией при условии, что эта информация указывает, какому стандарту соответствуют видеоданные. Например, когда на основе внешнего сигнала для определения, что видеоданные используются для телевидения или диска и т.д., можно определить, какому стандарту соответствуют видеоданные, определение можно выполнять на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения, как показано на фиг. 37. Частота возбуждения может выбираться путем хранения справочной таблицы в буфере ex508 и во внутреннем запоминающем устройстве LSI, и при обращении к справочной таблице с помощью CPU ex502.

[0209]

Фиг. 36 иллюстрирует этапы для выполнения способа в настоящем варианте осуществления. Сначала на Этапе exS200 блок ex507 обработки сигналов получает идентификационную информацию из мультиплексированных данных. Далее на Этапе exS201 на основе идентификационной информации CPU ex502 определяет, формируются ли видеоданные с помощью способа кодирования и устройства кодирования, описанных в каждом из вариантов осуществления. Когда видеоданные формируются способом кодирования киноизображений и устройством кодирования киноизображений, описанными в каждом из вариантов осуществления, на Этапе exS202 CPU ex502 передает блоку ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в более высокую частоту возбуждения. Затем блок ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения. С другой стороны, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, на Этапе exS203 CPU ex502 передает блоку ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в меньшую частоту возбуждения. Затем блок ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, нежели в случае, где видеоданные формируются способом кодирования киноизображений и устройством кодирования киноизображений, описанными в каждом из вариантов осуществления.

[0210]

Кроме того, вместе с переключением частот возбуждения можно усилить эффект экономии энергии путем изменения напряжения, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500. Например, когда частота возбуждения устанавливается ниже, напряжение, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается в напряжение ниже, чем в случае, где частота возбуждения устанавливается выше.

[0211]

Кроме того, в качестве способа для настройки частоты возбуждения, когда объем обработки для декодирования больше, частоту возбуждения можно установить выше, а когда объем обработки для декодирования меньше, частоту возбуждения можно установить ниже. Таким образом, способ настройки не ограничивается способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG-4 AVC больше объема обработки для декодирования видеоданных, сформированных способом кодирования киноизображений и устройством кодирования киноизображений, описанными в каждом из вариантов осуществления, частота возбуждения скорее всего устанавливается в обратном порядке к установке, описанной выше.

[0212]

Кроме того, способ для установки частоты возбуждения не ограничивается способом для установки частоты возбуждения ниже. Например, когда идентификационная информация указывает, что видеоданные формируются способом кодирования киноизображений и устройством кодирования киноизображений, описанными в каждом из вариантов осуществления, напряжение, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается выше. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, напряжение, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается ниже. В качестве другого примера, когда идентификационная информация указывает, что видеоданные формируются способом кодирования киноизображений и устройством кодирования киноизображений, описанными в каждом из вариантов осуществления, приведение в действие CPU ex502, скорее всего, не нужно приостанавливать. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, приведение в действие CPU ex502, скорее всего, приостанавливается в заданный момент, потому что у CPU ex502 есть избыточная производительность обработки. Даже когда идентификационная информация указывает, что видеоданные формируются способом кодирования киноизображений и устройством кодирования киноизображений, описанными в каждом из вариантов осуществления, в случае, где у CPU ex502 есть избыточная производительность обработки, приведение в действие CPU ex502 скорее всего приостанавливается в заданный момент. В таком случае время приостановки, скорее всего, устанавливается короче, нежели в случае, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1.

[0213]

Соответственно, можно усилить эффект экономии энергии путем переключения между частотами возбуждения в соответствии со стандартом, которому соответствуют видеоданные. Кроме того, когда LSI ex500 или устройство, включающее в себя LSI ex500, приводится в действие с использованием батареи, время работы от батарей можно продлить вместе с эффектом экономии энергии.

[0214]

[ВАРИАНТ 6 ОСУЩЕСТВЛЕНИЯ]

Имеются случаи, где множество видеоданных, которые соответствуют разным стандартам, предоставляется устройствам и системам, например телевизору и сотовому телефону. Чтобы обеспечить возможность декодирования множества видеоданных, которые соответствуют разным стандартам, блок ex507 обработки сигналов в LSI ex500 должен соответствовать разным стандартам. Однако возникают проблемы увеличения масштаба схемы LSI ex500 и увеличения стоимости с отдельным использованием блоков ex507 обработки сигналов, которые соответствуют соответствующим стандартам.

[0215]

Чтобы решить эту проблему, представляется конфигурация, в которой блок обработки декодирования для реализации способа декодирования киноизображений, описанного в каждом из вариантов осуществления, и блок обработки декодирования, который соответствует традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, частично используются совместно. Ex900 на фиг. 38A показывает пример этой конфигурации. Например, способ декодирования киноизображений, описанный в каждом из вариантов осуществления, и способ декодирования киноизображений, который соответствует MPEG-4 AVC, имеют отчасти общие подробности обработки, например энтропийное кодирование, обратное квантование, фильтрацию уменьшения блочности и предсказание с компенсацией движения. Подробности обработки, которые должны использоваться совместно, скорее всего включают в себя использование блока ex902 обработки декодирования, который соответствует MPEG-4 AVC. В отличие от этого специализированный блок ex901 обработки декодирования скорее всего используется для другой обработки, уникальной для аспекта настоящего изобретения. Блок обработки декодирования для реализации способа декодирования киноизображений, описанного в каждом из вариантов осуществления, может совместно использоваться для обработки, которую нужно распределить, а специализированный блок обработки декодирования может использоваться для обработки, уникальной для обработки в MPEG-4 AVC.

[0216]

Кроме того, ex1000 на фиг. 38B показывает другой пример, в котором обработка частично используется совместно. Этот пример использует конфигурацию, включающую в себя специализированный блок ex1001 обработки декодирования, который поддерживает обработку, уникальную для аспекта настоящего изобретения, специализированный блок ex1002 обработки декодирования, который поддерживает обработку, уникальную для другого традиционного стандарта, и блок ex1003 обработки декодирования, который поддерживает обработку, которую нужно распределить между способом декодирования киноизображений в соответствии с аспектом настоящего изобретения и традиционным способом декодирования киноизображений. Здесь специализированные блоки ex1001 и ex1002 обработки декодирования не обязательно являются специализированными для обработки в соответствии с аспектом настоящего изобретения и обработки по традиционному стандарту соответственно, а могут быть блоками, допускающими реализацию общей обработки. Кроме того, конфигурация настоящего варианта осуществления может быть реализована с помощью LSI ex500.

[0217]

По существу, уменьшение масштаба схемы LSI и сокращение затрат возможны путем совместного использования блока обработки декодирования для обработки, которую нужно распределить между способом декодирования киноизображений в соответствии с аспектом настоящего изобретения и способом декодирования киноизображений в соответствии с традиционным стандартом.

[ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ]

[0218]

Способ декодирования изображений и способ кодирования изображений в соответствии с настоящим изобретением получают результат в виде повышения качества изображения и эффективности кодирования и могут применяться к видеокамере, мобильному телефону, обладающему функциями съемки киноизображений и воспроизведения киноизображений, персональному компьютеру или устройству записи и воспроизведения.

[СПИСОК ССЫЛОЧНЫХ ОБОЗНАЧЕНИЙ]

[0219]

1000 Устройство кодирования изображений

1100 Блок обработки кодирования

1101 Блок вычитания

1102 Блок ортогонального преобразования

1103 Блок квантования

1104 Блок энтропийного кодирования

1105 Блок обратного квантования

1106 Блок обратного ортогонального преобразования

1107 Сумматор

1108 Фильтр уменьшения блочности

1109 Запоминающее устройство

1110 Блок внутреннего предсказания

1111 Блок компенсации движения

1112 Блок оценки движения

1113 Переключатель

1200 Блок управления кодированием

2000 Устройство декодирования изображений

2100 Блок обработки кодирования

2101 Блок энтропийного декодирования

2102 Блок обратного квантования

2103 Блок обратного ортогонального преобразования

2104 Сумматор

2105 Фильтр уменьшения блочности

2106 Запоминающее устройство

2107 Блок внутреннего предсказания

2108 Блок компенсации движения

2109 Переключатель

2200 Блок управления декодированием

Изобретение относится к области кодирования и декодирования изображений. Технический результат - обеспечение одновременного повышения качества изображения и эффективности кодирования. Способ декодирования изображений для декодирования кодированного потока, сгенерированного посредством кодирования, включающего в себя ортогональное преобразование и квантование, который включает в себя множество блоков обработки и заголовок для этих блоков обработки, причем кодированный поток формируется путем кодирования движущегося изображения, по меньшей мере один из упомянутых блоков обработки является разбитым на один или более иерархических уровней, каждый из которых включает в себя один или более субблоков, размеры которых меньше размера упомянутого блока обработки, при этом способ содержит этапы, на которых: запрашивают внешнюю систему послать упомянутый кодированный поток; принимают запрошенный кодированный поток от внешней системы; разбирают информацию о глубине, сохраненную в заголовке; декодируют блок обработки посредством выполнения обратного квантования. 8 н. и 4 з.п. ф-лы, 54 ил.

1. Способ декодирования изображений для декодирования кодированного потока, сгенерированного посредством кодирования, включающего в себя ортогональное преобразование и квантование, который включает в себя множество блоков (CU, PU, TU) обработки и заголовок для этих блоков обработки, причем кодированный поток формируется путем кодирования движущегося изображения, по меньшей мере один из упомянутых блоков обработки является разбитым на один или более иерархических уровней, каждый из которых включает в себя один или более субблоков, размеры которых меньше размера упомянутого блока обработки, при этом способ декодирования изображений содержит этапы, на которых:
запрашивают внешнюю систему (ех103) послать упомянутый кодированный поток;
принимают запрошенный кодированный поток от внешней системы (ех103);
разбирают (S1, S101, S700, S900) информацию о глубине, сохраненную в заголовке, причем информация о глубине задает глубину первого иерархического уровня, которому принадлежит первый субблок, причем первый субблок является субблоком, в котором сохранен параметр квантования, и
декодируют (S102, S712, S912) блок обработки посредством выполнения обратного квантования в отношении второго субблока, который принадлежит второму иерархическому уровню, используя упомянутый параметр квантования, причем второй иерархический уровень ниже, чем первый иерархический уровень, и второй субблок является блоком преобразования, который является основной единицей для задания процесса преобразования и квантования, и
при этом блоки обработки включают в себя блок кодирования (CU), который принадлежит наивысшему иерархическому уровню, и блок преобразования (TU), который принадлежит более нижнему иерархическому уровню, который является более нижним, чем таковой упомянутого блока кодирования (CU).

2. Способ декодирования изображений по п. 1,
в котором заголовок является заголовком изображения для изображения, включающего в себя блоки (CU, PU, TU) обработки, и информация о глубине иерархии хранится в заголовке изображения.

3. Способ декодирования изображений по п. 1,
в котором, когда декодируется блок обработки, используется параметр квантования, расположенный в блоке обработки после коэффициента преобразования, сформированного ортогональным преобразованием и квантованием.

4. Способ кодирования изображений для формирования, путем кодирования движущегося изображения, кодированного потока, который включает в себя множество блоков (CU, PU, TU) обработки и заголовок для упомянутых блоков обработки, по меньшей мере один из упомянутых блоков обработки является разбитым на один или более иерархических уровней, каждый из которых включает в себя один или более субблоков обработки, размеры которых меньше размера упомянутого блока обработки, при этом способ кодирования изображений содержит этапы, на которых:
кодируют (S111) движущееся изображение, причем ортогональное преобразование и квантование выполняют в отношении упомянутого движущегося изображения, когда упомянутое движущееся изображение кодируют;
записывают (S112, S800, S1000) в заголовок информацию о глубине для задания глубины первого иерархического уровня, которому принадлежит первый субблок, в котором должен быть сохранен параметр квантования; и
записывают (S113, S810, S1010) параметр квантования в упомянутый первый субблок, расположенный на упомянутом первом иерархическом уровне, заданном упомянутой информацией о глубине,
посылают по запросу кодированный поток на внешнее устройство,
причем блоки обработки включают в себя блок кодирования (CU), который принадлежит наивысшему иерархическому уровню, и блок преобразования (TU), который принадлежит более нижнему иерархическому уровню, который является более нижним, чем таковой упомянутого блока кодирования (CU), и
выполняют (S812, S1030) квантование в отношении второго субблока, который принадлежит второму иерархическому уровню, используя упомянутый параметр квантования, причем второй иерархический уровень является более нижним, чем первый иерархический уровень, и второй субблок является блоком преобразования.

5. Способ кодирования изображений по п. 4,
в котором заголовок является заголовком изображения для изображения, включающего в себя блоки (CU, PU, TU) обработки, и
информация о глубине иерархии записывается в заголовок изображения, когда записывается информация о глубине иерархии.

6. Способ кодирования изображений по п. 4,
в котором, когда записывается параметр квантования, этот параметр квантования записывается в блок обработки после коэффициента преобразования, сформированного ортогональным преобразованием и квантованием.

7. Устройство декодирования изображений, которое декодирует кодированный поток с использованием способа декодирования изображений по любому из пп. 1-3.

8. Устройство кодирования изображений, которое кодирует движущееся изображение с использованием способа кодирования изображений по любому из пп. 4-6.

9. Машиночитаемый носитель, содержащий программу, содержащую коды, которые при исполнении заставляют компьютер осуществлять способ декодирования изображений по любому из пп. 1-3.

10. Машиночитаемый носитель, содержащий программу, содержащую коды, которые при исполнении заставляют компьютер осуществлять способ декодирования изображений по любому из пп. 4-6.

11. Интегральная схема, которая декодирует кодированный поток с использованием способа декодирования изображений по любому из пп. 1-3.

12. Интегральная схема, которая кодирует движущееся изображение с использованием способа кодирования изображений по любому из пп. 4-6.