УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЛЯ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2009 года по МПК H04N7/50 H04N9/64 H04N11/04 

Область техники, к которой относится изобретение

Настоящее изобретение имеет отношение к устройству для кодирования цифровых сигналов изображений, устройству для декодирования цифровых сигналов изображений, способу кодирования цифровых сигналов изображений и способу декодирования цифровых сигналов изображений, используемым для технологии кодирования и сжатия изображений или технологии передачи данных сжатых изображений.

Уровень техники

Система кодирования видеосигналов международного стандарта, такая как MPEG или ITU-T H.26x (например, стандарт "Information Technology Coding of Audio-Visual Objects Part 10: Advanced Video Coding", ISO/IEC 14496-10, 2003 (в дальнейшем называемый непатентным документом 1)), традиционно основывается на использовании стандартизированного формата входного сигнала, называемого форматом 4:2:0. Формат 4:2:0 является форматом, в котором цветовой сигнал динамического изображения в виде компонентов RGB или подобном виде преобразовывается в компонент яркости (Y) и два компонента цветности (Cb, Cr), и количество отсчетов компонента цветности уменьшается на половину от количества компонентов яркости как в горизонтальном, так и в вертикальном направлениях. Компонент цветности визуально различается меньше, чем компонент яркости. В соответствии с этим традиционная система кодирования видеосигнала международного стандарта была основана на предпосылке, что количество первоначальной информации, которая должна быть закодирована, сокращается посредством субдискретизации компонентов цветности перед выполнением кодирования, как упомянуто выше. С другой стороны, недавний рост разрешения и количества оттенков видеоизображения сопровождался исследованиями системы для выполнения кодирования посредством поддержки количества отсчетов, равного количеству компонентов яркости, без субдискретизации компонентов цветности. Формат, в котором количества отсчетов компонентов яркости и цветности полностью равны, называют форматом 4:4:4. Традиционный формат 4:2:0 был ограничен определениями компонентов Y, Cb и Cr цветового пространства вследствие предпосылки субдискретизации компонентов цветности. Однако в случае формата 4:4:4, поскольку нет различия в соотношении количества отсчетов между цветовыми компонентами, могут непосредственно использоваться компоненты R, G и B в дополнение к компонентам Y, Cb и Cr, и может использоваться множество определений цветового пространства. Примером системы кодирования видеосигнала, нацеленной на формат 4:4:4, является публикация Woo-Shik Kim, Dae-Sung Cho и Hyun Mun Kim, "INTER-PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004, October 2004 (в дальнейшем называемая непатентным документом 2). Непатентный документ 2 предлагает подход сокращения размера данных, которые должны быть закодированы, посредством предсказания между различными цветовыми компонентами с использованием корреляции, остающейся между цветовыми компонентами. Однако степень корреляции между цветовыми компонентами различается в зависимости от типов содержания видеосигнала и цветовых пространств, и предсказание может произвести неблагоприятное влияние в контексте эффективности кодирования. Кроме того, требуется обработка сигналов по множеству цветовых компонентов, таким образом, возникает проблема в том, что ухудшается эффективность параллельной обработки, например, при выполнении в реальном времени обработки видеосигналов, имеющих чрезвычайно высокое разрешение, как у изображения цифрового кинофильма (имеющего разрешение 4000x2000 пикселей).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В формате 4:2:0 усовершенствованного кодирования видеосигналов (далее называемого кодированием AVC) стандарта MPEG-4 из непатентного документа 1 в области макроблока, составленной из компонентов яркости с размером 16x16 пикселей, соответствующие компоненты цветности являются блоками с размером 8x8 пикселей для обоих компонентов Cb и Cr. При предсказании с компенсацией движения формата 4:2:0 мультиплексируются информация о размере блока, которая становится элементом предсказания с компенсацией движения только для компонентов яркости, информация опорного изображения, используемая для предсказания, и информации вектора движения каждого блока, и предсказание с компенсацией движения выполняется для компонентов цветности с помощью той же самой информации, как и для компонентов яркости. Формат 4:2:0 имеет такие характеристики в определении цветового пространства, что почти все элементы информации о структуре (информации о текстуре) изображения интегрированы в компонент яркости, для компонента цветности видимость искажений ниже, чем для компонента яркости, и вклад в воспроизводимость видеосигнала является малым, и предсказание и кодирование в формате 4:2:0 основывается на таких характеристиках. Однако в случае формата 4:4:4 три цветовых компонента несут одинаковую информацию о текстуре. Система для выполнения предсказания с компенсацией движения в режиме предсказания с интеркодированием, зависящего только от одного компонента и основанного на информации опорного изображения и информации вектора движения, необязательно является оптимальным способом в формате 4:4:4, где цветовые компоненты вносят равные вклады в представление структуры сигнала изображения.

Как описано выше в связи с предшествующим уровнем техники, задача настоящего изобретения состоит в обеспечении устройства для кодирования, устройства для декодирования, способа кодирования и способа декодирования, которые увеличивают оптимальность в случае, когда закодированные сигналы динамического изображения не имеют различия в соотношении количества отсчетов между цветовыми компонентами, как в случае формата 4:4:4.

В соответствии с настоящим изобретением в случае проведения кодирования со сжатием посредством ввода цифровых сигналов динамического изображения в формате 4:4:4 подготовлены первый процесс кодирования трех сигналов цветовых компонентов входных сигналов динамического изображения в режиме общего кодирования и второй процесс кодирования трех сигналов цветовых компонентов входных сигналов динамического изображения в соответствующих режимах независимого кодирования. Процесс кодирования выполняется посредством выбора любого процесса из первого процесса кодирования и второго процесса кодирования, и данные сжатия содержат идентифицирующий сигнал для указания, какой процесс выбран.

Кроме того, в случае декодирования данных сжатия цифровых сигналов динамического изображения в формате 4:4:4 подготовлены первый процесс декодирования трех сигналов цветовых компонентов в режиме общего кодирования и второй процесс декодирования трех сигналов цветовых компонентов в соответствующих режимах независимого кодирования. Процесс декодирования выполняется посредством декодирования идентифицирующего сигнала, указывающего, закодированы ли три сигнала цветовых компонентов из данных сжатия в режиме общего кодирования или в соответствующих режимах независимого кодирования, и использования любого процесса из первого процесса декодирования и второго процесса декодирования в соответствии с идентифицирующим сигналом.

В соответствии с настоящим изобретением в случае выполнения кодирования, которое использует несколько цветовых пространств, не ограничиваясь фиксированными цветовыми пространствами с компонентами Y, Cb, Cr и т.д., возможно гибко выбирать информацию режима предсказания с интеркодированием, которая будет использоваться для соответствующих цветовых компонентов, и проводить оптимальный процесс кодирования даже в случае, когда имеются разнообразные определения цветовых пространств.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

В сопроводительных чертежах:

Фиг.1 - пояснительная схема, показывающая иерархическую структуру видеосигналов, состоящих из последовательности, группы изображений (GOP), изображения, секции и макроблока;

Фиг.2 - пояснительная схема, показывающая структуру закодированных данных макроблока;

Фиг.3 - пояснительная схема, показывающая три цветовых компонента, формирующих структуру макроблока в случае "процесса общего кодирования";

Фиг.4 - пояснительная схема, показывающая три цветовых компонента, формирующих структуру макроблока в случае "процесса независимого кодирования";

Фиг.5 - пояснительная схема, показывающая отношение ссылки для направленного во времени предсказания движения между изображениями при "общем кодировании" и "независимом кодировании";

Фиг.6 - пояснительная схема, показывающая иллюстративную структуру битового потока в соответствии с первым вариантом воплощения настоящего изобретения;

Фиг.7 - пояснительная схема, показывающая иллюстративную структуру битового потока данных секции в соответствии с первым вариантом воплощения настоящего изобретения;

Фиг.8 - схематическая структурная диаграмма устройства для кодирования в соответствии с первым вариантом воплощения настоящего изобретения;

Фиг.9 - диаграмма внутренней конфигурации первого блока 5 кодирования изображения;

Фиг.10(a)-10(h) - пояснительные схемы, показывающие семь типов размеров блока, с каждым из которых проводится предсказание с компенсацией движения;

Фиг.11 - внутренняя структурная диаграмма второго блока 7 кодирования изображения;

Фиг.12 - схематическая структурная диаграмма устройства для декодирования в соответствии с первым вариантом воплощения настоящего изобретения;

Фиг.13 - внутренняя структурная диаграмма первого блока 302 декодирования изображения;

Фиг.14 - внутренняя структурная диаграмма второго блока 304 декодирования изображения; и

Фиг.15 - пояснительная схема, показывающая пример того, как распределены данные изображения для трех цветовых компонентов.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Первый вариант воплощения изобретения

Первый вариант воплощения будет иллюстрировать устройство для кодирования, которое эффективно кодирует видеосигналы в формате 4:4:4, не ограниченном заданным цветовым пространством, и устройство для декодирования, которое принимает закодированные битовые потоки, сформированные устройством для кодирования, и декодирует сигналы изображения. Устройство для кодирования в первом варианте воплощения принимает видеосигналы, содержащие три цветовых компонента, такие как RGB, XYZ и YCbCr, и выдает битовые потоки, проводя кодирование со сжатием. Как проиллюстрировано на фиг.1, входные видеосигналы представлены как данные временного ряда экранной информации (в дальнейшем называемой изображением), определенные для каждого кадра или для каждого поля через дискретизацию по времени. Элемент данных, на котором изображения упорядочены во временном ряду, называется последовательностью. Последовательность может быть разделена на некоторые группы изображений (GOP). Группы изображений (GOP) используются для таких целей как обеспечение выполнения декодирования, начиная с произвольной начальной группы изображений (GOP), независимо от других групп изображений (GOP), и обеспечение произвольного доступа к битовому потоку. Изображение дополнительно разделено на квадратные блоки, называемые макроблоками, и сжатие видеосигнала выполняется на уровне макроблоков с применением процесса предсказания/преобразования/квантования.

Кроме того, элемент, в который объединено множество макроблоков, называется секцией. Секция представляет собой элемент данных, над которым могут быть независимо выполнены кодирование и декодирование в каждой секции. Например, при обработке видеосигналов с разрешением, равным или большим разрешения телевидения высокой четкости (HDTV), в режиме реального времени одно изображение нарезается на множество секций, период времени вычисления уменьшается посредством параллельного кодирования/декодирования соответствующих секций, и битовые потоки передаются через линию, имеющую высокий коэффициент ошибок. В этом случае секция используется с той целью, что, если декодированное изображение искажено из-за разрушения секции, затронутой ошибкой, корректный процесс декодирования восстанавливается со следующей секции. В общем случае предсказание с использованием зависимости сигнала от соседней секции не может быть применено на границе между секциями, и, следовательно, производительность кодирования снижается вместе с увеличением количества секций. Однако существует такая характеристика как гибкость параллельной обработки, и способность к восстановлению после ошибок увеличивается.

Сжатие видеосигнала выполняется посредством применения процесса предсказания/преобразования/квантования на уровне макроблоков, и поэтому закодированные данные макроблока, мультиплексированные в битовом потоке, состоят из двух типов информации. Один тип информации представляет собой категорию, называемую вспомогательной информацией, отличающейся от самого видеосигнала, например параметры для режима предсказания, информация предсказания движения и квантования, и эта категория информации в общем случае называется заголовком макроблока. Другой тип информации представляет собой информацию самого видеосигнала. В соответствии с первым вариантом воплощения настоящего изобретения видеосигнал, который должен быть закодирован, представляет собой сжатые данные сигнала с ошибкой предсказания, полученного в результате проведения предсказания/преобразования/квантования на основе информации заголовка макроблока. Видеосигнал представлен в формате квантования с коэффициентом преобразования, и поэтому в дальнейшем будет называться данными, закодированными с помощью коэффициента. Фиг.2 иллюстрирует, как расположены элементы закодированных данных макроблока в первом варианте воплощения изобретения. На фиг.2 заголовок макроблока содержит все элементы вспомогательной информации, предшествующие данным, закодированным с помощью коэффициента, такие как информация режима кодирования/предсказания о типе макроблока/типе субмакроблока/режиме предсказания с интракодированием и т.д., информация предсказания движения о номере, идентифицирующем опорное изображение/векторе перемещения и т.д., параметр квантования относительно коэффициента преобразования и флаг, определяющий наличие/отсутствие применимого коэффициента преобразования, для каждого блока с размером 8x8.

Первый вариант воплощения настоящего изобретения проиллюстрирует: устройство для кодирования, которое кодирует три цветовых компонента выборочно на основе общего заголовка макроблока или на основе независимого заголовка макроблока в соответствии с каждым цветовым компонентом; и устройство для декодирования, которое выполняет процесс декодирования видеосигнала посредством приема битовых потоков, полученных на выходе устройства для кодирования, и определения на основе идентифицирующей информации, извлеченной из битового потока посредством декодирования битового потока, были ли три цветовых компонента закодированы на основе общего заголовка макроблока или на основе независимого заголовка макроблока для каждого цветового компонента. Первый вариант воплощения настоящего изобретения, в частности, проиллюстрирует со ссылкой на некоторые чертежи конфигурации и работу устройства для кодирования и устройства для декодирования, которые выполняют кодирование и декодирование, переключаясь на уровне последовательности между операцией кодирования и декодирования сигналов с тремя цветовыми компонентами на основе общего заголовка макроблока и операцией кодирования и декодирования этих цветовых сигналов на основе независимого заголовка макроблока, соответствующего каждому цветовому компоненту. Таким образом, созданы устройство для кодирования и устройство для декодирования, позволяющие кодировать цветовые компоненты посредством выбора либо случая кодирования цветовых компонентов в соответствии с цветовым пространством, в котором определены входные видеосигналы, и в соответствии со статистической характеристикой видеосигналов с помощью общих параметров предсказания, либо случая кодирования цветовых компонентов с помощью независимых параметров предсказания. Поэтому возможно оптимально кодировать видеосигналы в формате 4:4:4.

В дальнейшем процесс кодирования сигналов трех цветовых компонентов одного кадра или одного поля посредством общего заголовка макроблока называется "процессом общего кодирования", а процесс кодирования сигналов трех цветовых компонентов одного кадра или одного поля посредством индивидуального независимого заголовка макроблока называется "процессом независимого кодирования". Аналогично процесс декодирования данных изображения из битовых потоков, в которые сигналы трех цветовых компонентов одного кадра или одного поля закодированы посредством общего заголовка макроблока, называется "процессом общего декодирования", а процесс декодирования данных изображения из битовых потоков, в которые сигналы трех цветовых компонентов одного кадра или одного поля закодированы посредством индивидуального независимого заголовка макроблока, называется "процессом независимого декодирования". В процессе общего кодирования три цветовых компонента одного кадра или одного поля - все вместе определены как одно изображение и разделены на макроблоки, каждый из которых состоит из объединения трех цветовых компонентов (фиг.3). На фиг.3 и в последующем описании эти три цветовых компонента называются компонентами C0, C1 и C2. С другой стороны, в процессе независимого кодирования входные видеосигналы одного кадра или одного поля разделены на три цветовых компонента, каждый из которых определен как изображение, и каждое изображение разделено на макроблоки, состоящие из одного цветового компонента (фиг.4). Другими словами, макроблок как цель процесса общего кодирования содержит отсчеты (пиксели) трех цветовых компонентов C0, C1 и C2, но макроблок как цель процесса независимого кодирования содержит только отсчеты (пиксели) любого одного компонента C0, C1 и C2.

Фиг.5 иллюстрирует отношение ссылки для предсказания движения во временном направлении между изображениями в устройстве для кодирования/устройстве для декодирования в соответствии с первым вариантом воплощения настоящего изобретения. В этом примере элемент данных, обозначенный толстой вертикальной линией, представляет собой изображение, и отношение между изображением и элементом доступа обозначено пунктиром. В случае процесса общего кодирования/декодирования, как описано выше, одно изображение является данными, представляющими собой видеосигналы, состоящие из объединений трех цветовых компонентов. В случае процесса независимого кодирования/декодирования одно изображение представляет собой видеосигналы, состоящие из любого одного цветового компонента. Элемент доступа представляет собой минимальный элемент данных для обеспечения временной метки, предназначенной, например, для синхронизации видеосигналов со звуковой информацией и т.д. В случае процесса общего кодирования/декодирования один элемент доступа содержит данные для одного изображения. С другой стороны, в случае процесса независимого кодирования/декодирования один элемент доступа содержит три изображения. Причина этого в том, что в случае процесса независимого кодирования/декодирования видеосигналы обновления для одного кадра не будут получены, пока не станут доступны изображения всех трех цветовых компонентов для одного и того же времени отображения. Следует обратить внимание, что числа сверху соответствующих изображений указывают направленную во времени последовательность процесса кодирования/декодирования (соответствуют frame_num в кодировании AVC) изображений. На фиг.5 стрелка между изображениями указывает направление ссылки для предсказания движения. Говоря точнее, в случае процесса независимого кодирования/декодирования ссылка для предсказания движения между изображениями, содержащимися в одном и том же элементе доступа, и ссылка для предсказания движения между разными цветовыми компонентами не выполняются, но процессы кодирования/декодирования исполняются при выполнении ссылки для предсказания с ограничением изображений для цветовых компонентов C0, C1 и C2 сигналами того же самого одного цветового компонента. При такой структуре в случае процесса независимого кодирования/декодирования в соответствии с первым вариантом воплощения настоящего изобретения каждый цветовой компонент может быть закодирован и декодирован совершенно независимо от процесса кодирования/декодирования других цветовых компонентов, тем самым способствуя параллельной обработке.

Информация идентификации, указывающая на то, выполняется ли кодирование на основе процесса общего кодирования или кодирование на основе независимого процесса кодирования, в дальнейшем называется сигналом 1 идентификации общего кодирования/независимого кодирования.

Фиг.6 показывает один пример структуры битового потока, сформированного устройством для кодирования в соответствии с первым вариантом воплощения настоящего изобретения и служащего в качестве цели для процесса приема/декодирования посредством устройства для декодирования в соответствии с первым вариантом воплощения изобретения. Фиг.6 иллюстрирует структуру битового потока от уровня последовательности до уровня секции. Прежде всего, в старшем заголовке на уровне последовательности (в наборе параметров последовательности в случае кодирования AVC) мультиплексирован сигнал 1 идентификации общего кодирования/независимого кодирования. Разделитель AUD представляет собой элемент уровня сетевой абстракции (NAL) для разделителя элементов доступа, который является уникальным элементом уровня NAL для идентификации разделителя элементов доступа при кодировании AVC. Разделитель AUD является информацией, определяющей начало элемента доступа, и независимо от формата данных разделителя AUD кодирования AVC может быть применен к произвольному формату данных, если соответствует своему назначению. Например, разделитель AUD соответствует начальному коду изображения в соответствии со стандартами MPEG-2 и начальному коду плоскости видеообъекта (VOP) в соответствии со стандартами MPEG-4.

Когда сигнал 1 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", элемент доступа содержит закодированные данные для одного изображения. Изображением в это время являются данные, представляющие видеосигналы для одного кадра или одного поля, которые состоят из объединений трех цветовых компонентов, как описано выше. Закодированные фактические данные видеосигналов мультиплексированы в битовом потоке для каждой секции, показанной на фиг.1. С другой стороны, когда сигнал 1 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", одно изображение является видеосигналом для любого одного цветового компонента в одном кадре или одном поле, и один элемент доступа содержит три изображения. В этом случае секция определена относительно изображения каждого цветового компонента.

Фиг.7 иллюстрирует структуры битовых потоков данных секции в случае процесса общего кодирования и в случае процесса независимого кодирования соответственно. В битовом потоке, закодированном с помощью процесса независимого кодирования, чтобы достичь эффекта, который будет описан позже, для поля заголовка в начале данных секции обеспечивается флаг 2 идентификации цветового компонента (color_channel_idc) с тем, чтобы секция была отличимой относительно того, какому изображению цветового компонента принадлежат данные секции, принятые устройством для декодирования. Секции, имеющие одинаковые значения, группируются с помощью флага 2 идентификации. Другими словами, между секциями, имеющими разные значения флага 2 идентификации цветового компонента, не вводится никакая зависимость кодирования/декодирования (например, ссылка для предсказания движения, изучение вероятности моделирования/формирования контекста для кодирования CABAC и т.д.). Это правило гарантирует независимость индивидуального изображения в пределах элемента доступа в случае процесса независимого кодирования. Кроме того, номер кадра (последовательность обработки кодирования/декодирования изображения, которому принадлежит секция), мультиплексированный в каждом заголовке секции, принимает то же самое значение в изображениях полноцветных составляющих в пределах одного элемента доступа.

Фиг.8 иллюстрирует схему конфигурации устройства для кодирования в соответствии с первым вариантом воплощения настоящего изобретения. На фиг.8 первый блок 5 кодирования изображения выполняет процесс общего кодирования, а вторые блоки 7a-7c кодирования изображения (обеспеченные для трех цветовых компонентов) выполняют процесс независимого кодирования.

Входные видеосигналы 3 подаются на любой элемент множества, состоящего из первого блока 5 кодирования изображения, блока 6 разделения цветовых компонентов и вторых блоков 7a-7c кодирования изображения через переключатель 4. Переключатель 4 активизируется посредством сигнала 1 идентификации общего кодирования/независимого кодирования и подает входные видеосигналы 3 по заданному пути.

Сигнал 1 идентификации общего кодирования/независимого кодирования является сигналом, который, когда входной видеосигнал принимает формат 4:4:4, мультиплексирован в наборе параметров последовательности и осуществляет выбор процесса общего кодирования и процесса независимого кодирования для каждой последовательности. Сигнал 1 идентификации общего кодирования/независимого кодирования мультиплексирован в наборе параметров последовательности в битовом потоке 11 в качестве информации, которая определяет, какой процесс использовался для формирования битового потока 11. Эта структура позволяет устройству для декодирования, которое принимает битовый поток 11, выполнять процесс общего декодирования, когда битовый поток 11 сформирован при помощи процесса общего кодирования, посредством декодирования сигнала 1 идентификации общего кодирования/независимого кодирования в наборе параметров последовательности и проверки его значения и выполнять процесс независимого декодирования, когда битовый поток 11 сформирован при помощи процесса независимого кодирования.

Если сигнал 1 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", в первом блоке 5 кодирования изображения входные видеосигналы 3 разделяются на макроблоки в виде объединения отсчетов трех цветовых компонентов, как проиллюстрировано на фиг.3, выполняется процесс кодирования для каждого макроблока и закодированные данные выдаются как битовый поток 8. Процесс кодирования посредством первого блока 5 кодирования изображения будет описан позже.

Если сигнал 1 идентификации общего кодирования/независимого кодирования обозначает "процесс независимого кодирования", входные видеосигналы 3 разделяются на сигналы цветовых компонентов C0, C1 и C2 посредством блока 6 разделения цветовых компонентов и подаются на вторые блоки 7a-7c кодирования изображения, соответствующие цветовым компонентам. Во вторых блоках 7a-7c кодирования изображения сигналы, разделенные в соответствии с каждым цветовым компонентом, разделяются на макроблоки, принимающие формат, показанный на фиг.4, и выполняется процесс кодирования для каждого макроблока, посредством чего сигналы выводятся как битовые потоки 9a-9c. Процесс кодирования посредством вторых блоков 7a-7c кодирования изображения будет описан позже.

В блоке 10 мультиплексирования сигнал 1 идентификации общего кодирования/независимого кодирования добавляется к набору параметров последовательности и мультиплексируется в битовом потоке 11. В блоке 10 мультиплексирования осуществляется выбор любого потока из множества, состоящего из битового потока 8 и битовых потоков 9a-9c, соответствующего значению сигнала 1 идентификации общего кодирования/независимого кодирования, и выбранный битовый поток мультиплексируется в битовый поток 11.

Кроме того, хотя подробности будут описаны позже, информация (12a-12c) о весовых коэффициентах квантования для параметров квантования, используемых в процессе кодирования изображения, особенно в процессе квантования/обратного квантования, обеспечивается для каждого из трех цветовых компонентов и подается на вход соответствующих блоков кодирования изображения, в которых выполняется процесс квантования, соответствующий характеристике каждого цветового компонента. Весовые коэффициенты 12a-12c квантования также отправляют блоку 10 мультиплексирования для мультиплексирования в наборе параметров последовательности, чтобы устройство для декодирования использовало те же самые значения коэффициентов 12a-12c, какие были использованы в процессе кодирования.

Кроме того, на вход блоков 5 и 7a-7c кодирования изображения подается сигнал 13 указания только интракодирования, тем самым управляя процессом кодирования. Сигнал 13 указания только интракодирования представляет собой сигнал, который определяет, выполняет ли блок кодирования изображения процесс направленного во времени предсказания на основе предсказания с компенсацией движения. Если сигнал 13 указания только интракодирования указывает "только интракодирование", выполняется закрытое в пределах изображения кодирование относительно всех изображений входных видеосигналов 3 без выполнения направленного во времени предсказания на основе предсказания с компенсацией движения. Кроме того, в этом случае одновременно отключается фильтр устранения блочности цикла интракодирования (подробности будут описаны позже) в блоке кодирования изображения. Если сигнал 13 указания только интракодирования указывает "не только интракодирование", процесс интеркодирования с использованием корреляции между интракодированными и интеркодированными изображениями выполняется относительно изображений входных видеосигналов 3 посредством использования также направленного во времени предсказания на основе предсказания с компенсацией движения. Блок 10 мультиплексирования добавляет сигнал 13 указания только интракодирования к набору параметров последовательности и, таким образом, мультиплексирует набор параметров последовательности с битовым потоком 11. При таком мультиплексировании устройство для декодирования, принимающее битовый поток 11, декодирует сигнал 13 указания только интракодирования, содержащийся в наборе параметров последовательности, и проверяет его значение, посредством чего можно распознать, является ли битовый поток 11 закодированным с использованием только интракодирования или нет. Поэтому, если битовый поток 11 является закодированным с использованием только интракодирования, выполнение фильтрации устранения блочности цикла интракодирования может быть ненужным, и количество вычислений в устройстве для декодирования может быть уменьшено.

Процесс интракодирования для кодирования AVC требует приблизительно в 2-10 раз больше вычислений кодирования по сравнению с процессом интеркодирования, и, следовательно, данные, закодированные посредством "только интракодирования", имеют значительно больший размер, чем данные, закодированные посредством "не только интракодирования".

Традиционное устройство для декодирования обеспечивает верхний предел размера данных, позволяющий выполнение процесса декодирования, и уменьшает скорость работы и необходимый размер памяти в устройстве в наиболее возможной степени, тем самым стабилизируя работу. Поэтому в случае "только интракодирования" имеется вероятность, что могут быть введены данные, превышающие установленный верхний предел, приводя к проблеме, при которой невозможно определить, может ли выполняться устойчивая работа или нет.

С учетом этого в наборе параметров последовательности предусмотрен флаг для указания того, является ли размер закодированных данных меньше предопределенного количества или превышает его. На основе флага производится процесс определения, и если размер закодированных данных меньше предопределенного количества, то предполагается, что даже традиционное устройство для декодирования может произвести обработку, и поэтому выполняется процесс декодирования. Если размер закодированных данных превышает предопределенное количество, предполагается, что традиционное устройство для декодирования может не выполнить устойчивый процесс, и, следовательно, может быть выполнен такой процесс как выдача предупреждения.

Кроме того, информация 14 о размере изображения входного видеосигнала подается на вход блоков 5 и 7a-7c кодирования изображения и конфигурируется для управления процессом кодирования. Информация 14 о размере изображения является информацией, представляющей количество макроблоков с интракодированными изображениями входного видеосигнала 3, которым управляют для установки значения верхнего предела количества макроблоков, содержащихся в секции, если значение информации 14 больше предопределенного порогового значения, и предотвращения того, чтобы секция содержала большее количество макроблоков, чем значение верхнего предела. Информация 14 о размере изображения добавляется к набору параметров последовательности, и набор параметров последовательности мультиплексируется в битовом потоке 11. При таком мультиплексировании, если размер изображения входного видеосигнала 3 является большим (то есть пространственное разрешение является высоким), устройство для кодирования, и устройство для декодирования могут определить элемент, который может обрабатываться параллельно, и могут равномерно назначать задачи.

Далее будет подробно разъяснена работа первого и второго блоков кодирования изображения.

Схема работы первого блока кодирования изображения

Фиг.9 иллюстрирует внутреннюю конфигурацию первого блока 5 кодирования изображения. На фиг.9 предполагается, что входной видеосигнал 3 принимает формат 4:4:4 и закодирован для каждого макроблока в формате, показанном на фиг.3, в котором макроблок состоит из объединения трех цветовых компонентов. Внутренняя обработка отличается в зависимости от значения сигнала 13 указания только интракодирования.

(1) Случай, в котором сигнал 13 указания только интракодирования указывает "не только интракодирование"

Блок 15 предсказания выбирает опорное изображение из данных опорного изображения для предсказания с компенсацией движения, сохраненных в памяти 16, и выполняет процесс предсказания с компенсацией движения на уровне макроблоков. В памяти 16 хранится множество элементов данных опорного изображения, каждый из которых состоит из трех цветовых компонентов, на множестве самых последних моментов времени либо прошедших и будущих моментов времени. Блок 15 предсказания выполняет предсказание движения, выбирая оптимальное опорное изображение для каждого макроблока из этих опорных изображений. Что касается распределения данных опорного изображения в памяти 16, данные могут быть сохранены отдельно последовательно по плоскостям каждого цветового компонента, и отсчеты соответствующих цветовых компонентов также могут быть сохранены последовательно по точкам. Предусмотрено семь типов размеров блоков, для которых выполняется предсказание с компенсацией движения. Прежде всего, как проиллюстрировано на фиг.10(a)-10 (d), выбирается любой из размеров 16x16, 16x8, 8x16 и 8x8 для каждого макроблока. Затем, когда выбран размер 8x8, как проиллюстрировано на фиг.10(e)-10(h), для каждого блока с размером 8x8 выбирается любой из размеров 8x8, 8x4, 4x8 и 4x4. В процессе общего кодирования, выполняемом посредством первого блока 5 кодирования изображения, для трех цветовых компонентов выбирается и применяется общий размер блока предсказания с компенсацией движения.

Блок 15 предсказания выполняет процесс предсказания с компенсацией движения для каждого макроблока относительно всех или части размеров блока/размеров подблока, показанных на фиг.10, вектора движения в предопределенном диапазоне поиска и одном или более элементов, пригодных для использования опорных изображений, таким образом, выдавая служебную информацию 17 предсказания, содержащую вектор движения и индекс опорного изображения, используемого для предсказания, и предсказанное изображение 33. Вычитатель 18 из предсказанного изображения 33 и входного видеосигнала 3 получает для каждого блока разностный сигнал 19 предсказания, который служит в качестве единичного элемента предсказания с компенсацией движения. Блок 20 определения режима кодирования выполняет процесс выбора на основе процесса предсказания, выполняемого блоком 15 предсказания, и выдает на выходе выбранный разностный сигнал 19 предсказания и тип 21 макроблока/тип субмакроблока. Все элементы информации заголовка макроблока, такие как тип макроблока, тип субмакроблока, индекс опорного изображения и вектор движения, определены как информация заголовка, общая для трех цветовых компонентов. Информация заголовка макроблока используется совместно для кодирования трех цветовых компонентов и мультиплексируется в битовом потоке 8. В случае оценки оптимальности эффективности прогнозирования с целью ограничения количества вычислений также может быть оценена только величина ошибки предсказания для предопределенного цветового компонента (например, компонент G из компонентов R, G и B и компонент Y из компонентов Y, Cb и Cr), и величины ошибки предсказания для всех цветовых компонентов также могут быть всесторонне оценены, чтобы получить оптимальную производительность предсказания, хотя количество вычислений увеличивается.

Аналогичным образом блок 15 предсказания выполняет предсказание с интракодированием. Когда блок 15 предсказания выполняет предсказание с интракодированием, информация о режиме предсказания с интракодированием выводится на сигнал 17.

В дальнейшем, если не имеется никакого специфического различия между предсказанием с интракодированием и предсказанием с компенсацией движения, сигнал 17 называется служебной информацией предсказания. Следует отметить, что данные опорного изображения для проведения предсказания с интракодированием подразумевают использование локального декодированного изображения 23 перед обработкой фильтром 22 устранения блочности (хотя это не проиллюстрировано, локальное декодированное изображение 23 используется в качестве данных опорного изображения для предсказания с интракодированием, и поэтому временно сохраняется в блоке 15 предсказания и т.п.). Режим предсказания с интракодированием, общий для трех цветовых компонентов, выбирается и применяется к процессу общего кодирования, выполняемому посредством первого блока 5 кодирования изображения. Что касается предсказания с интракодированием, может быть оценена величина ошибки предсказания только для предопределенного цветового компонента, и также могут быть всесторонне оценены величины ошибок предсказания для всех цветовых компонентов. Наконец, блок 20 определения режима кодирования выбирает посредством оценки с точки зрения эффективности предсказания или эффективности кодирования, устанавливается ли в качестве типа макроблока предсказание с интракодированием или предсказание с интеркодированием.

Блок 24 преобразования преобразовывает разностный сигнал 19 предсказания и выдает преобразованный сигнал как коэффициент преобразования на блок 25 квантования. В этом случае размер блока, служащего единичным элементом для проведения преобразования, может быть выбран из множества возможных размеров, таких как 4x4 и 8x8. В случае, когда размер блока преобразования делается выбираемым, выбранный размер блока при кодировании отражается в значении флага 26 назначения размера блока преобразования, и флаг 26 мультиплексирован в битовом потоке 8. Блок 25 квантования производит квантование полученного на входе коэффициента преобразования на основе параметра 27 квантования и весовых коэффициентов 12a-12c квантования и выдает квантованный результат как квантованный коэффициент 28 преобразования на блок 29 кодирования с переменной длиной и блок 30 обратного квантования.

Далее будет описана обработка с помощью блока 25 квантования. Коэффициент преобразования, преобразованный в сигнал частотной области из сигнала пространственной области посредством блока 24 преобразования, разделяется на низкочастотную область, где искажение может быть легко заметно человеческим глазом, и высокочастотную область, где искажение трудно обнаружить. Таким образом, каждая частотная область является взвешенной. В низкочастотной области проводится тонкое квантование, в то время как в высокочастотной области проводится грубое квантование, посредством чего может быть выполнен процесс квантования, адаптированный к человеческому зрительному восприятию. Весовые коэффициенты 12a-12c квантования являются весовыми параметрами, заданными в каждой частотной области. Для преобразования блока с размером 4х4 используются 16 весовых параметров, и для преобразования блока с размером 8x8 используются 64 весовых параметра. Как описано выше, весовые коэффициенты 12a-12c квантования мультиплексированы в наборе параметров последовательности. Однако в случае выполнения "процесса общего кодирования" для трех цветовых компонентов используется один и тот же весовой коэффициент квантования. В соответствии с этим нет необходимости мультиплексировать три коэффициента 12a, 12b и 12c, а достаточно мультиплексировать только один коэффициент. Блок 25 квантования выполняет процесс квантования, в котором коэффициенты преобразования трех цветовых компонентов взвешиваются с помощью весовых коэффициентов 12a-12c квантования, и, таким образом, получает квантованный коэффициент 28 преобразования.

Квантованный коэффициент 28 преобразования для трех цветовых компонентов кодируется с помощью статистического кода посредством блока 29 кодирования с переменной длиной, использующего такие средства как кодирование по алгоритму Хаффмана и арифметическое кодирование.

Далее квантованный коэффициент 28 преобразования восстанавливается в локальный декодированный разностный сигнал 32 предсказания через блок 30 обратного квантования и блок 31 обратного преобразования. Затем в сумматоре 34 сигнал 32 суммируется с изображением 33 предсказания, сформированным на основе выбранного типа 21 макроблока/типа субмакроблока и служебной информации 17 прогнозирования, и, таким образом, формируется локальное декодированное изображение 23. Локальное декодированное изображение 23 после обработки фильтром 22 устранения блочности сохраняется в памяти 16, чтобы использоваться для дальнейшего процесса предсказания с компенсацией движения.

Квантованный коэффициент 28 преобразования, тип 21 макроблока/тип субмакроблока, служебная информация 17 предсказания и параметр 27 квантования, которые являются входной информацией для блока 29 кодирования с переменной длиной, размещаются и оформляются в соответствии с предопределенным синтаксисом закодированных данных макроблока и пакетируются (в кодировании AVC это также называется пакетизацией уровня NAL) в элементе данных секции, состоящей из одного макроблока или объединения множества макроблоков в формате, показанном на фиг.3. Затем пакеты данных выдаются как битовый поток 8.

(2) Случай, в котором сигнал 13 указания только интракодирования указывает "только интракодирование"

Блок 15 предсказания выполняет описанный в главе (1) процесс предсказания только с интракодированием. Когда выполняется предсказание с интракодированием, информация режима предсказания с интракодированием выдается в служебную информацию 17 предсказания. Следует отметить, что данные опорного изображения для проведения предсказания с интракодированием предусматривают использование локального декодированного изображения 23 перед обработкой фильтром 22 устранения блочности (хотя это не проиллюстрировано, локальное декодированное изображение 23 используется в качестве данных опорного изображения для предсказания с интракодированием и поэтому временно сохраняется в блоке 15 предсказания). Режим предсказания с интракодированием, общий для трех цветовых компонентов, выбирается и применяется к процессу общего кодирования, выполняемому посредством первого блока 5 кодирования изображения. Блок 20 определения режима кодирования выбирает режим предсказания с интракодированием посредством оценки с точки зрения эффективности предсказания или эффективности кодирования.

Блок 20 определения режима кодирования выдает выбранный разностный сигнал 19 предсказания на блок 24 преобразования. Блок 24 преобразования преобразовывает подаваемый на вход разностный сигнал 19 предсказания и выдает преобразованный сигнал как коэффициент преобразования на блок 25 квантования. В этом случае размер блока, служащего единичным элементом для проведения преобразования, может быть выбран из множества возможных размеров, таких как 4x4 и 8x8. Кодирование AVC сконфигурировано таким образом, что целевой блок предсказания режима предсказания с интракодированием корректируется по размеру блока преобразования. В случае, когда размер блока преобразования делается выбираемым, выбранный при кодировании размер блока отражается в значении флага 26 назначения размера блока преобразования, и флаг 26 мультиплексируется в битовом потоке 8. Блок 25 квантования производит квантование полученного на входе коэффициента преобразования на основе параметра 27 квантования и весовых коэффициентов 12a-12c квантования и выдает квантованный результат как квантованный коэффициент 28 преобразования на блок 29 кодирования с переменной длиной. Пример процесса описан выше.

Квантованный коэффициент 28 преобразования для трех цветовых компонентов кодируется с помощью статистического кода посредством блока 29 кодирования с переменной длиной, использующего такие средства как кодирование по алгоритму Хаффмана и арифметическое кодирование.

Далее квантованный коэффициент 28 преобразования восстанавливается в локальный декодированный разностный сигнал 32 предсказания через блок 30 обратного квантования и блок 31 обратного преобразования. Затем в сумматоре 34 сигнал 32 суммируется с изображением 33 предсказания, сформированным на основе служебной информации 17 прогнозирования, и, таким образом, формируется локальное декодированное изображение 23. Если информация 13 указания только интракодирования указывает "только интракодирование", предсказание с компенсацией движения не выполняется, и, следовательно, фильтр 22 устранения блочности не выполняет ни обработку, ни запись данных в качестве опорного изображения в память 16. При такой структуре обращение к памяти и арифметические операции, необходимые для обработки фильтром устранения блочности, могут быть сокращены.

Квантованный коэффициент 28 преобразования, тип 21 макроблока/тип субмакроблока 21 (установленный в режим с интракодированием), служебная информация 17 предсказания и параметр 27 квантования, которые являются входной информацией для блока 29 кодирования с переменной длиной, размещаются и оформляются в соответствии с предопределенным синтаксисом закодированных данных макроблока и пакетируются (в кодировании AVC это также называется пакетизацией уровня NAL) в элементе данных секции, состоящей из одного макроблока или объединения множества макроблоков в формате, показанном на фиг.3. Затем пакеты данных выдаются как битовый поток 8.

Следует отметить, что количество макроблоков, включенных в секцию, ограничено не значением информации 13 указания только интракодирования, а информацией 14 о размере изображения. Информация 14 о размере изображения является входной информацией для блока 29 кодирования с переменной длиной. Блок 29 кодирования с переменной длиной устанавливает на основе информации 14 о размере изображения значение верхнего предела количества макроблоков, включенных в секцию. Блок 29 кодирования с переменной длиной заранее подсчитывает количество закодированных макроблоков, и когда количество макроблоков, включенных в секцию, достигает значения верхнего предела, закрывает пакет данных секции. Последующие макроблоки пакетизируются как данные новой секции.

Кроме того, первый блок 5 кодирования изображения в соответствии с первым вариантом воплощения настоящего изобретения не выдает флаг 2 идентификации цветового компонента в данных секции, поскольку по сигналу 1 идентификации общего кодирования/независимого кодирования можно распознать, что все части данных секции в последовательности могут быть определены как объединенные секции компонентов C0, C1 и C2 (то есть каждая секция состоит из объединения информации трех цветовых компонентов).

Схема работы второго блока кодирования изображения

Фиг.11 иллюстрирует внутреннюю конфигурацию второго блока 7a кодирования изображения. На фиг.11 предполагается, что входной видеосигнал 3a вводится по макроблокам, макроблок состоит из отсчетов компонента C0 в формате, показанном на фиг.4. Вторые блоки 7b, 7c кодирования изображения имеют абсолютно такую же внутреннюю конфигурацию, за исключением обработки входных видеосигналов 3b (компонент C1) и 3с (компонент С2) вместо входного видеосигнала 3а. Поэтому операция второго блока кодирования изображения будет в дальнейшем описана посредством типичного примера вторых блоков 7a кодирования изображения.

(3) Случай, в котором сигнал 13 указания только интракодирования указывает "не только интракодирование"

Блок 115 предсказания выбирает опорное изображение из данных опорного изображения для предсказания с компенсацией движения, сохраненных в памяти 116, и выполняет процесс предсказания с компенсацией движения для каждого макроблока. В памяти 116 может храниться множество элементов данных опорного изображения, каждый из которых состоит из одного цветового компонента, на множестве моментов времени, таких как самые последние моменты времени либо прошедшие и будущие моменты времени. Блок 115 предсказания выполняет предсказание движения, выбирая оптимальное опорное изображение для каждого макроблока из этих опорных изображений. Следует отметить, что каждый из вторых блоков 7a-7c кодирования изображения может быть сконфигурирован так, чтобы он использовал данные опорного изображения только для каждого целевого цветового компонента и не осуществлял доступ к данным опорного изображения других цветовых компонентов. Следовательно, память 116 может не иметь конфигурацию, предусматривающую блоки памяти для трех цветовых компонентов соответственно, а иметь конфигурацию, объединяющую блоки памяти в одну память. Кроме того, в последовательности, в которой вторые блоки 7a-7c кодирования изображения выполняют процесс кодирования, первый блок 5 кодирования изображения не работает, и поэтому память 116 сконфигурирована так, чтобы использоваться совместно с памятью 16. Предусмотрено семь типов размеров блоков, для которых выполняется предсказание с компенсацией движения. Прежде всего, как проиллюстрировано на фиг.10(a)-10 (d), выбирается любой из размеров 16x16, 16x8, 8x16 и 8x8 для каждого макроблока. Затем, когда выбран размер 8x8, как проиллюстрировано на фиг.10(e)-10(h), для каждого блока с размером 8x8 выбирается любой из размеров 8x8, 8x4, 4x8 и 4x4. В процессе независимого кодирования, выполняемом посредством второго блока 7 кодирования изображения, для компонентов C0-C2 выбираются и применяются индивидуальные размеры блоков предсказания с компенсацией движения.

Блок 115 предсказания выполняет процесс предсказания с компенсацией движения на уровне макроблоков относительно всех или части размеров блока/размеров подблока, показанных на фиг.10, вектора движения в предопределенном диапазоне поиска и одной или более частей пригодных для использования опорных изображений, таким образом выдавая на выходе служебную информацию 117 предсказания, содержащую вектор движения и индекс опорного изображения, используемого для предсказания, и предсказанное изображение 133. Вычитатель 118 из предсказанного изображения 133 и входного видеосигнала 13a получает для каждого блока разностный сигнал 119 предсказания, который служит в качестве единичного элемента предсказания с компенсацией движения. Блок 120 определения режима кодирования выполняет процесс выбора на основе процесса предсказания, выполняемого блоком 115 предсказания, и выдает выбранный разностный сигнал 119 предсказания и тип 121 макроблока/тип субмакроблока. Все элементы информации заголовка макроблока, такие как тип макроблока, тип субмакроблока, индекс опорного изображения и вектор движения, определяются как информация заголовка для входного видеосигнала 3a. Затем информация заголовка макроблока используется для кодирования и мультиплексируется в битовом потоке 9a. В случае оценки оптимальности эффективности прогнозирования оценивается величина ошибки предсказания относительно входного видеосигнала 3a, служащего в качестве цели процесса кодирования.

Аналогичным образом блок 115 предсказания также выполняет предсказание с интракодированием. Когда выполняется предсказание с интракодированием, информация о режиме предсказания с интракодированием выводится на сигнал 117.

Режим предсказания с интракодированием в соответствующих цветовых компонентах входных видеосигналов 3 выбирается и применяется индивидуально для соответствующих цветовых компонентов. Следует отметить, что данные опорного изображения для проведения предсказания с интракодированием подразумевают использование локального декодированного изображения 123 перед обработкой фильтром 22 устранения блочности (хотя это не проиллюстрировано, локальное декодированное изображение 123 используется в качестве данных опорного изображения для предсказания с интракодированием и поэтому временно сохраняется в блоке 115 предсказания). Что касается предсказания с интракодированием, оценивается величина ошибки предсказания относительно входного видеосигнала 3a, служащего в качестве цели процесса кодирования. Наконец, блок 120 определения режима кодирования выбирает посредством оценки с точки зрения эффективности предсказания или эффективности кодирования, устанавливается ли в качестве типа макроблока предсказание с интракодированием или предсказание с интеркодированием.

Блок 124 преобразования преобразовывает разностный сигнал 119 предсказания и выдает преобразованный сигнал как коэффициент преобразования на блок 125 квантования. В этом случае размер блока, служащего единичным элементом для проведения преобразования, может быть выбран из размеров 4x4 и 8x8. При кодировании AVC целевой блок предсказания в режиме предсказания с интракодированием выполнен с возможностью корректировки по размеру блока преобразования. В случае, когда размер блока преобразования делается выбираемым, выбранный размер блока при кодировании отражается в значении флага 126 назначения размера блока преобразования, и флаг 126 мультиплексируется в битовом потоке 9a. Блок 125 квантования производит квантование полученного на входе коэффициента преобразования на основе параметра 127 квантования и весового коэффициента 12a, 12b или 12c квантования и выдает квантованный результат как квантованный коэффициент 128 преобразования на блок 129 кодирования с переменной длиной.

Далее будет описана обработка с помощью блока 125 квантования. Коэффициент преобразования, преобразованный в сигнал частотной области из сигнала пространственной области посредством блока 124 преобразования, разделяется на низкочастотную область, где искажение может быть легко заметно человеческим глазом, и высокочастотную область, где искажение трудно обнаружить. Таким образом, каждая частотная область является взвешенной. В низкочастотной области проводится тонкое квантование, в то время как в высокочастотной области проводится грубое квантование, посредством чего может быть выполнен процесс квантования, адаптированный к человеческому зрительному восприятию. Каждый из весовых коэффициентов 12a, 12b, 12c квантования является весовым параметром, заданным в каждой частотной области. Для преобразования блока с размером 4х4 используются 16 весовых параметров, и для преобразования блока с размером 8x8 используются 64 весовых параметра. Как описано выше, весовые коэффициенты 12a, 12b, 12c квантования мультиплексированы в наборе параметров последовательности. Однако в случае выполнения "процесса независимого кодирования" для трех цветовых компонентов могут быть использованы разные весовые коэффициенты квантования. В соответствии с этим, все эти три коэффициента 12a, 12b и 12c могут быть мультиплексированы, и в случае использования одного и того же значения также может быть мультиплексирован только один коэффициент вместе с информацией, указывающей эту цель. Блок 125 квантования выполняет процесс взвешенного квантования на коэффициентах преобразования трех цветовых компонентов посредством использования каждого весового коэффициента 12a или 12b, или 12c квантования, и, таким образом, получает квантованный коэффициент 128 преобразования. Квантованный коэффициент 128 преобразования кодируется с помощью статистического кода посредством блока 29 кодирования с переменной длиной, использующего такие средства как кодирование по алгоритму Хаффмана и арифметическое кодирование.

Далее квантованный коэффициент 128 преобразования восстанавливается в локальный декодированный разностный сигнал 132 предсказания через блок 130 обратного квантования и блок 131 обратного преобразования. Затем сумматор 134 суммирует локальный декодированный разностный сигнал 132 с изображением 133 предсказания, сформированным на основе выбранного типа 121 макроблока/типа субмакроблока и служебной информации 117 прогнозирования, и, таким образом, формируется локальное декодированное изображение 123. Локальное декодированное изображение 123 после обработки фильтром 122 устранения блочности сохраняется в памяти 116, чтобы использоваться для дальнейшего процесса предсказания с компенсацией движения. Квантованный коэффициент 128 преобразования, тип 121 макроблока/тип субмакроблока, служебная информация 117 предсказания и параметр 127 квантования, которые являются входной информацией для блока 129 кодирования с переменной длиной, размещаются и оформляются в соответствии с предопределенным синтаксисом закодированных данных макроблока и пакетируются (в кодировании AVC это также называется пакетизацией уровня NAL) в элементе данных секции, состоящей из одного макроблока или объединения множества макроблоков в формате, показанном на фиг.4. Затем пакеты данных выдаются как битовый поток 9a.

(4) Случай, в котором сигнал 13 указания только интракодирования указывает "только интракодирование"

Блок 115 предсказания выполняет процесс предсказания только с интракодированием, описанный в главе (3). Когда выполняется предсказание с интракодированием, информация режима предсказания с интракодированием выдается в служебную информацию 117 предсказания. Следует отметить, что данные опорного изображения для проведения предсказания с интракодированием предусматривают использование локального декодированного изображения 123 перед обработкой фильтром 122 устранения блочности (хотя это не проиллюстрировано, локальное декодированное изображение 123 используется в качестве данных опорного изображения для предсказания с интракодированием и поэтому временно сохраняется в блоке 115 предсказания). Предсказание с интракодированием в кодировании AVC описано выше и выполняется по отношению ко входному видеосигналу 3a. Поэтому режим предсказания с интракодированием в соответствующих цветовых компонентах входных видеосигналов 3 выбирается и применяется индивидуально для соответствующих цветовых компонентов. Блок 120 определения режима кодирования выбирает режим предсказания с интракодированием посредством оценки с точки зрения эффективности предсказания или эффективности кодирования.

Блок 120 определения режима кодирования выдает выбранный разностный сигнал 119 предсказания на блок 124 преобразования. Блок 124 преобразования преобразовывает принятый разностный сигнал 119 предсказания и выдает преобразованный сигнал как коэффициент преобразования на блок 125 квантования. В этом случае размер блока, служащего единичным элементом для проведения преобразования, может быть выбран из множества возможных размеров, таких как 4x4 и 8x8. Кодирование AVC сконфигурировано таким образом, что целевой блок предсказания режима предсказания с интракодированием корректируется по размеру блока преобразования. В случае, когда размер блока преобразования делается выбираемым, выбранный при кодировании размер блока отражается в значении флага 126 назначения размера блока преобразования, и флаг 126 мультиплексируется в битовом потоке 9a. Блок 125 квантования производит квантование полученного на входе коэффициента преобразования на основе параметра 127 квантования и весового коэффициента 12a квантования и выдает квантованный результат как квантованный коэффициент 128 преобразования на блок 129 кодирования с переменной длиной. Пример процесса описан выше.

Квантованный коэффициент 128 преобразования кодируется с помощью статистического кода посредством блока 129 кодирования с переменной длиной, использующего такие средства как кодирование по алгоритму Хаффмана и арифметическое кодирование.

Квантованный коэффициент 128 преобразования восстанавливается в локальный декодированный разностный сигнал 132 предсказания через блок 130 обратного квантования и блок 131 обратного преобразования. Затем сумматор 134 суммирует сигнал 132 с изображением 133 предсказания, сформированным на основе служебной информации 117 прогнозирования, и, таким образом, формируется локальное декодированное изображение 123. Если информация 113 указания только интракодирования указывает "только интракодирование", предсказание с компенсацией движения не выполняется, и, следовательно, фильтр 122 устранения блочности не выполняет ни обработку, ни запись данных в качестве опорного изображения в память 116. При такой конфигурации обращение к памяти и арифметические операции, необходимые для обработки фильтром устранения блочности, могут быть сокращены.

Квантованный коэффициент 128 преобразования, тип 121 макроблока/тип субмакроблока (установленный в режим с интракодированием), служебная информация 117 предсказания и параметр 127 квантования, которые являются входной информацией для блока 129 кодирования с переменной длиной, размещаются и оформляются в соответствии с предопределенным синтаксисом закодированных данных макроблока и пакетизируются (в кодировании AVC это также называется пакетизацией уровня NAL) в элементе данных секции, состоящей из одного макроблока или объединения множества макроблоков в формате, показанном на фиг.4. Затем пакеты данных выдаются как битовый поток 9a.

Вторые блоки 7a-7c кодирования изображения в соответствии с первым вариантом воплощения изобретения кодируют все части данных секции в последовательности с одной секцией цветового компонента (то есть секцией компонента C0 или секцией компонента C1, или секцией компонента C2) через сигнал 1 идентификации общего кодирования/независимого кодирования. Следовательно, флаг 2 идентификации цветового компонента всегда мультиплексирован в начале данных секции, посредством чего устройство для декодирования может распознать, какая секция каким данным изображения соответствует в элементе доступа. Например, второй блок 7a кодирования изображения устанавливает "0" в качестве значения флага 2 идентификации цветового компонента, второй блок 7b кодирования изображения устанавливает "1" в качестве значения флага 2 идентификации цветового компонента и второй блок 7c кодирования изображения устанавливает "2" в качестве значения флага 2 идентификации цветового компонента, и каждое из значений флага присоединено к началу данных секции. В соответствии с этим даже при последовательном мультиплексировании битовых потоков 9a-9c в битовом потоке 11 устройство для декодирования может легко распознать, какая секция в нем соответствует закодированным данным компонентов C0 или C1 или C2. Другими словами, вторые блоки 7a-7c кодирования изображения могут выдавать битовый поток в любое время, когда накоплены данные для одной секции, не накапливая соответствующие выходные битовые потоки для одного изображения.

Следует отметить, что количество макроблоков, включенных в секцию, ограничено не значением информации 13 указания только интракодирования, а информацией 14 о размере изображения. Информация 14 о размере изображения является входной информацией для блока 129 кодирования с переменной длиной. Блок 129 кодирования с переменной длиной устанавливает на основе информации 14 о размере изображения значение верхнего предела количества макроблоков, включенных в секцию. Блок 129 кодирования с переменной длиной заранее подсчитывает количество закодированных макроблоков, и когда количество макроблоков, включенных в секцию, достигает значения верхнего предела, закрывает пакет данных секции. Последующие макроблоки пакетизируются как данные новой секции. Следует отметить, что информация 14 о размере изображения имеет одно и то же значение для компонентов C0, C1, C2 в случае формата 4:4:4, и поэтому может быть достаточно мультиплексировать только одну часть данных в наборе параметров последовательности.

Кроме того, первый блок 5 кодирования изображения и вторые блоки 7a-7c кодирования изображения различаются с точки зрения того, воспринимают ли они информацию заголовка макроблока как информацию, общую для трех цветовых компонентов, или как информацию одного цветового компонента, и структурой битового потока данных секции. В соответствии с этим блок 24 преобразования, блок 31 обратного преобразования, блок 25 квантования, блок 30 обратного квантования и фильтр 22 устранения блочности, показанные на фиг.9, реализованы с повторением для трех цветовых компонентов арифметических операций блока 124 преобразования, блока 131 обратного преобразования, блока 125 квантования, блока 130 обратного квантования и фильтра 122 устранения блочности, показанных на фиг.11. Следовательно, часть внутренних конфигураций первого блока 5 кодирования изображения и вторых блоков 7a-7c кодирования изображения также может быть реализована посредством общих функциональных блоков. В соответствии с этим возможно осуществить реализацию многообразных устройств для кодирования таким образом, чтобы повторно применять, например, одни и те же схемы несколько раз посредством надлежащей комбинации компонентов, показанных на фиг.9 и 11, а не ограничиваться полностью независимым блоком обработки кодирования, как показано на фиг.8. Кроме того, как описано выше, если предусмотрена последовательная по плоскостям компоновка памяти 16 в первом блоке 5 кодирования изображения, память опорного изображения может использоваться совместно первым блоком 5 кодирования изображения и вторыми блоками 7a-7c кодирования изображения.

Фиг.12 иллюстрирует схему конфигурации устройства для декодирования в соответствии с первым вариантом воплощения. На фиг.12 процесс общего декодирования выполняется посредством первого блока 302 декодирования изображения, а процесс независимого декодирования выполняется посредством блока 303 определения цветовых компонентов и вторых блоков 304 декодирования изображения (предусмотренных для трех цветовых компонентов).

Битовый поток 11 разделяется на элементы уровня NAL посредством блока 300 анализа старшего заголовка. Информация старшего заголовка, такая как набор параметров последовательности и набор параметров изображения, декодируется и сохраняется в памяти 305 старшего заголовка, к которой могут обратиться первый блок 302 декодирования изображения, блок 303 определения цветовых компонентов и вторые блоки 304 декодирования изображения. Сигнал 1 идентификации общего кодирования/независимого кодирования, весовые коэффициенты 12a-12c квантования, информация 13 указания только интракодирования и информация 14 о размере изображения, которые мультиплексированы для каждой последовательности, сохраняются как часть набора параметров последовательности в памяти 305 старшего заголовка.

Сигнал 1 идентификации общего кодирования/независимого кодирования подается на переключатель 301. Если сигнал 1 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", переключатель 301 выдает все элементы уровня NAL секции в последовательности как битовый поток 8 на первый блок 302 декодирования изображения. Если сигнал 1 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", переключатель 301 выдает все элементы уровня NAL секции в последовательности на блок 303 определения цветовых компонентов. Работа первого и второго блоков декодирования изображения будет подробно описана позже.

Блок 303 определения цветовых компонентов анализирует значение флага 2 идентификации цветового компонента, показанного на фиг.7, из принятых элементов уровня NAL секции, затем распознает, какому изображению цветового компонента в текущем элементе доступа соответствуют элементы уровня NAL секции и распределяет элементы уровня NAL секции как битовые потоки 9a-9c вторым блокам 304a-304c декодирования изображения. В результате такой конфигурации устройства для декодирования даже при приеме битовых потоков, в которых вставлены с перемежением и закодированы секции для каждого цветового компонента в элементе доступа, можно легко определить, какая секция какому изображению цветового компонента принадлежит, и закодированный битовый поток может быть надлежащим образом декодирован.

Схема работы первого блока декодирования изображения

Фиг.13 показывает внутреннюю конфигурацию первого блока 302 декодирования изображения. Первый блок 302 декодирования изображения принимает битовый поток 11, выводимый из устройства для кодирования, показанного на фиг.8, например, в формате битового потока 8, построенного из секций, каждая из которых состоит из объединения трех цветовых компонентов C0, C1 и C2. Первый блок 302 декодирования изображения восстанавливает выходной видеокадр посредством выполнения процесса декодирования для каждого макроблока. Макроблок состоит из отсчетов (пикселей) трех цветовых компонентов, показанных на фиг.3.

Блок 310 декодирования с переменной длиной принимает битовый поток 8, декодирует битовый поток 8 в соответствии с предопределенным правилом (синтаксисом) и извлекает из битового потока 8 квантованный коэффициент 28 преобразования для трех цветовых компонентов и информацию заголовка макроблока (тип 21 макроблока/тип субмакроблока, служебную информацию 17 макроблока, флаг 26 назначения размера блока преобразования и параметр 27 квантования), используемую совместно для трех цветовых компонентов.

Далее квантованный коэффициент 28 преобразования вместе с параметром 27 квантования подается на вход блока 30 обратного квантования, который выполняет тот же самый процесс, как в первом блоке 5 кодирования изображения, и, таким образом, выполняется процесс обратного квантования. В этом случае весовые коэффициенты 12a-12c квантования, используемые для соответствующих цветовых компонентов, применяются посредством обращения к памяти 305 старшего заголовка. Следует отметить, что если три весовых коэффициента 12a-12c квантования принимают одно и то же значение, декодер необязательно должен иметь коэффициенты как три элемента данных, а может быть совместно использован один элемент данных. Далее его выходная информация подается на вход блока 31 обратного преобразования, который выполняет тот же самый процесс, как в первом блоке 5 кодирования изображения, и выходная информация восстанавливается в локальный декодированный разностный сигнал 32 предсказания (если в битовом потоке 8 имеется флаг 26 назначения размера блока преобразования, к этому флагу 26 обращаются в процессе обратного квантования и в процессе обратного преобразования). С другой стороны, блок 311 предсказания, обращаясь к служебной информации 17 предсказания в блоке 15 предсказания из первого блока 5 кодирования изображения, включает в себя только процесс формирования предсказанного изображения 33, и тип 21 макроблока/тип субмакроблока и служебная информация 17 предсказания подаются на вход блока 311 предсказания и таким образом получается предсказанное изображение 33 для трех цветовых компонентов.

Если тип макроблока указывает, что тип макроблока представляет собой предсказание с интракодированием, предсказанное изображение 33 для трех цветовых компонентов получается из служебной информации 17 предсказания в соответствии с информацией о режиме предсказания с интракодированием. Если тип макроблока указывает, что тип макроблока представляет собой предсказание с интеркодированием, предсказанное изображение 33 для трех цветовых компонентов получается из служебной информации 17 предсказания в соответствии с вектором движения и индексом опорного изображения. Сумматор 34 суммирует локальный декодированный разностный сигнал 32 предсказания и предсказанное изображение 33, тем самым получая временное декодированное изображение 323 для трех цветовых компонентов. Временное декодированное изображение 323 используется для предсказания с компенсацией движения макроблока, и поэтому после выполнения процесса удаления блочности в отсчетах временного декодированного изображения для трех цветовых компонентов при помощи фильтра 22 устранения блочности, который выполняет тот же самый процесс, как в первом блоке 5 кодирования изображения, выводится и сохраняется в качестве декодированного изображения 313 в памяти 312. Память 312 хранит множество наборов данных опорного изображения, каждый из которых состоит из трех цветовых компонентов для множества моментов времени. Блок 311 предсказания формирует предсказанное изображение, выбирая опорное изображение, обозначенное индексом опорного изображения, извлеченным из битового потока 8 для каждого макроблока, из данных опорного изображения. Что касается расположения данных опорного изображения в памяти 312, эти части данных могут храниться отдельно и последовательно по плоскостям для каждого цветового компонента, и отсчеты (пиксели) соответствующих цветовых компонентов также могут храниться последовательно по точкам. Декодированное изображение 313 определяется как цветной видеокадр, содержащий три цветовых компонента.

Кроме того, первый блок 302 декодирования изображения может быть сконфигурирован следующим образом. Если информация 13 указания только интракодирования, сохраненная в памяти 305 старшего заголовка, указывает "только интракодирование", опорное изображение становится ненужным, поскольку не нужен процесс предсказания с компенсацией движения. Таким образом, опускается процесс, выполняемый в фильтре 22 устранения блочности, и запись опорного изображения в память 312 не выполняется. Эта конфигурация делает возможным сокращение доступа к памяти и арифметических операций, требуемых для процесса фильтрации устранения блочности. Однако даже в случае "только интракодирования" фильтрация устранения блочности или подобная фильтрация последующей обработки могут быть выполнены в качестве последующей обработки для отображения декодированного изображения.

Схема работы второго блока декодирования изображения

Фиг.14 иллюстрирует внутреннюю конфигурацию второго блока 304 декодирования изображения. Второй блок 304 декодирования изображения принимает любой из битовых потоков 9a-9c, сформированный из элементов уровня NAL секции компонента C0, C1 или C2, для которых распределен битовый поток 11, выдаваемый из устройства для кодирования, показанного на фиг.8, посредством блока 303 определения цветовых компонентов. Второй блок 304 декодирования изображения выполняет процесс декодирования для каждого макроблока. Макроблок состоит из отсчетов одного цветового компонента, как показано на фиг.4, таким образом восстанавливающих выходной видеокадр.

Блок 410 декодирования с переменной длиной принимает битовый поток 9, декодирует битовый поток 9 в соответствии с предопределенным правилом (синтаксисом) и извлекает квантованный коэффициент 128 преобразования для одного цветового компонента и информацию заголовка макроблока, примененную к одному цветовому компоненту (тип 121 макроблока/тип субмакроблока, служебную информацию 117 макроблока, флаг 126 назначения размера блока преобразования и параметр 127 квантования). Квантованный коэффициент 128 преобразования вместе с параметром 127 квантования подается на вход блока 130 обратного квантования, который выполняет тот же самый процесс, как во втором блоке 7 кодирования изображения, и, таким образом, выполняется процесс обратного квантования. Поскольку весовой коэффициент квантования, используемый в этом случае, основан на флаге 2 идентификации цветового компонента, декодированном посредством блока 410 декодирования с переменной длиной, из весовых коэффициентов 12a-12c квантования в памяти 305 старшего заголовка выбирается один весовой коэффициент квантования, соответствующий указанному цветовому компоненту, и осуществляется обращение к выбранному весовому коэффициенту квантования. Далее выходная информация блока 130 обратного квантования подается на вход блока 131 обратного преобразования, который выполняет тот же самый процесс, как во втором блоке 7 кодирования изображения, и восстанавливается в локальный декодированный разностный сигнал 132 предсказания (если в битовом потоке 9 имеется флаг 126 назначения размера блока преобразования, к этому флагу 126 обращаются в процессе обратного квантования и в процессе обратного преобразования).

С другой стороны, блок 411 предсказания включает в себя только процесс формирования предсказанного изображения 133, обращаясь к служебной информации 117 предсказания в блоке 115 предсказания из второго блока 7 кодирования изображения, и принимает тип 121 макроблока/тип субмакроблока и служебную информацию 117 предсказания, и, таким образом, получается предсказанное изображение 133 для одного цветового компонента. Если тип макроблока указывает предсказание с интракодированием, предсказанное изображение 133 для одного цветового компонента получается из служебной информации 117 предсказания в соответствии с информацией о режиме предсказания с интракодированием. Если тип макроблока указывает, что тип макроблока представляет собой предсказание с интеркодированием, предсказанное изображение 133 для одного цветового компонента получается из служебной информации 117 предсказания в соответствии с вектором движения и индексом опорного изображения. Сумматор 134 суммирует локальный декодированный разностный сигнал 132 предсказания и предсказанное изображение 133, тем самым получая временное декодированное изображение 423 для одного цветового компонента. Временное декодированное изображение 423 используется для последующего предсказания с компенсацией движения макроблока. Поэтому после выполнения процесса удаления блочности в отсчетах временного декодированного изображения для одного цветового компонента при помощи фильтра 122 устранения блочности, который выполняет тот же самый процесс, как во втором блоке 7 кодирования изображения, временное декодированное изображение 423 выводится в качестве декодированного изображения 413, которое должно быть сохранено в памяти 412. Декодированное изображение 413 включает в себя отсчеты только одного цветового компонента и, как показано на фиг.5, формируется как цветной видеокадр посредством соединения соответствующей выходной информации вторых блоков 304 декодирования изображения для других цветовых компонентов.

Кроме того, второй блок 304 декодирования изображения может быть сконфигурирован следующим образом. Если информация 113 указания только интракодирования, сохраненная в памяти 305 старшего заголовка, указывает "только интракодирование", опорное изображение становится ненужным, поскольку не нужен процесс предсказания с компенсацией движения. Таким образом, опускается процесс, выполняемый в фильтре 122 устранения блочности, и запись опорного изображения в память 412 не выполняется. Эта конфигурация делает возможным сокращение доступа к памяти и арифметических операций, требуемых для процесса фильтрации устранения блочности. Однако даже в случае "только интракодирования" фильтрация устранения блочности или подобная фильтрация последующей обработки могут быть выполнены в качестве последующей обработки для отображения декодированного изображения.

Как видно из приведенного выше описания, первый блок 302 декодирования изображения и второй блок 304 декодирования изображения различаются с точки зрения того, воспринимают ли они информацию заголовка макроблока как информацию, общую для трех цветовых компонентов, или как информацию одного цветового компонента, и структурой битового потока данных секции. Следовательно, основные блоки процесса декодирования, такие как блок предсказания, блок обратного преобразования и блок обратного квантования, показанные на фиг.13 и 14, могут быть реализованы посредством функциональных блоков, общих для первого блока 302 декодирования изображения 302 и второго блока 304 декодирования изображения. В соответствии с этим возможно осуществить реализацию многообразных устройств для декодирования посредством надлежащей комбинации основных компонентов, показанных на фиг.13 и 14, а не ограничиваться полностью независимым блоком обработки декодирования, как показано на фиг.12. Кроме того, если предусмотрена последовательная по плоскостям компоновка памяти 312 в первом блоке 302 декодирования изображения, структуры памяти 312 и памяти 412 могут быть выполнены общими для первого блока 302 декодирования изображения и второго блока 304 декодирования изображения 304.

Первый блок декодирования изображения и второй блок декодирования изображения в первом варианте воплощения были описаны таким образом, что блоки декодирования принимают битовый поток 11, выдаваемый устройством для кодирования. Однако битовый поток, подаваемый на вход первого блока декодирования изображения и второго блока декодирования изображения, не ограничен битовым потоком, выдаваемым устройством для кодирования, и могут подаваться на вход битовые потоки, считываемые с носителей данных, таких как жесткий диск и цифровой универсальный диск (DVD), и битовые потоки, считываемые с сервера и передаваемые через сеть.

Следует отметить, что устройство для кодирования и устройство для декодирования в соответствии с описанным выше вариантом воплощения изобретения в случае процесса независимого кодирования, как показано на фиг.15, могут достичь того же эффекта также посредством последовательной компоновки данных изображения для трех цветовых компонентов и обработки этих элементов данных как одного набора данных изображения. В этом случае компоновка выполняется таким образом, что в соответствии с одним массивом цветовых пикселей три элемента данных соединяются в вертикальном направлении относительно цветных видеосигналов с H пикселями в горизонтальном направлении и V строками в вертикальном направлении, и для информации 14 о размере изображения устанавливается H пикселей в горизонтальном направлении и (V x 3) строк в вертикальном направлении. Следует отметить, что в устройстве для кодирования и устройстве для декодирования в соответствии с первым вариантом воплощения, чтобы сигналы соответствующих компонентов могли восприниматься как независимые изображения, зависимость среди цветовых компонентов устраняется в процессах кодирования/декодирования на границах, показанных жирным пунктиром на фиг.15, между соответствующими цветовыми компонентами. Посредством примера заданы следующие условия устранения зависимости.

При кодировании в макроблоках, расположенных на границах между соответствующими цветовыми компонентами, поиск вектора движения не использует соседние пиксели других цветовых компонентов, и проводится поиск вне плоскости, чтобы растянуть краевые пиксели своего цветового компонента таким же образом, как при обработке границы плоскости. При декодировании в макроблоках, расположенных на границах между цветовыми компонентами, если вектор движения отклоняется от участка изображения своего цветового компонента (если производится поиск вне плоскости), вместо использования сигналов пикселей других цветов предсказанное изображение формируется посредством растягивания краевых пикселей своего цветового компонента, подразумеваемых являющимися границей плоскости.

- Обработка фильтром устранения блочности не выполняется между блоками, расположенными на границах между соответствующими цветовыми компонентами.

- В случае использования обучаемого арифметического кодирования для процессов кодирования с переменной длиной/декодирования с переменной длиной в процессах кодирования/декодирования макроблоков цветовых компонентов индивидуально для каждого цветового компонента обеспечивается вероятностная модель, и процесс обучения выполняется независимо для каждого цветового компонента.

Независимость сигнала каждого цветового компонента получается посредством применения этих условий, и первый, второй и третий блоки кодирования/декодирования изображения могут выполнять обработку независимо.

Кроме того, введены такие ограничения, при которых запрещено определение секции через границы соответствующих цветовых компонентов, не допускается наличие в одной секции закодированных данных нескольких разных цветовых компонентов и начальные данные макроблока каждого цветового компонента неизменно становятся начальным макроблоком данных секции.

Также конфигурация для определения, какие данные секции каким цветовым компонентам принадлежат, может заключать в себе явное определение цветового компонента, которому принадлежит секция, посредством определения флага "color_channel_idc" идентификации цветового компонента и прикрепления флага к начальному полю данных секции. Другая конфигурация может заключать в себе использование не флага "color_channel_idc", а адреса начального макроблока каждых данных секции и информации 14 о размере изображения, и распознавание, какие данные секции какому цветовому компоненту принадлежат. Например, когда количество горизонтальных пикселей составляет W=1920 и количество вертикальных пикселей составляет V=1080, значения "0", "8160" и "16320" заданы как адреса начальных макроблоков компонентов C0, C1 и узлов C2, тогда макроблоки с адресами "0-8159" выделены для компонента C0, макроблоки с адресами "8160-16319" выделены для компонента C1 и макроблоки с адресами "16320-24479" выделены для компонента C2.

При такой конфигурации структура изображения/элемента доступа для процесса общего кодирования/процесса независимого кодирования может быть сделана общей, тем самым увеличивая эффективность операций произвольного доступа и редактирования.

Изобретение относится к области кодирования и декодирования цифровых изображений. Техническим результатом изобретения является повышение эффективности кодирования сигналов динамического изображения, не имеющих различия в соотношении количества отсчетов между цветовыми компонентами. Предложено устройство для кодирования/декодирования динамического изображения, в котором при кодировании со сжатием посредством ввода цифровых сигналов динамического изображения в формате 4:4:4 используется первый процесс кодирования для кодирования трех сигналов цветовых компонентов входных сигналов динамического изображения в режиме общего кодирования и второй процесс кодирования для кодирования трех сигналов цветовых компонентов входных сигналов динамического изображения в соответствующих режимах независимого кодирования. Процесс кодирования выполняется посредством выбора любого процесса из первого процесса кодирования и второго процесса кодирования, и сжатые данные содержат идентифицирующий сигнал для определения, какой процесс выбран. 18 н.п. ф-лы, 15 ил.

1. Устройство для декодирования изображения для декодирования сигналов цветного изображения на основе ввода битовых потоков, сформированных посредством выполнения над цветным изображением в формате 4:4:4 кодирования со сжатием, причем устройство для декодирования изображения декодирует идентифицирующую информацию и информацию матрицы квантования, которые включены в битовые потоки, причем идентифицирующая информация указывает, закодированы ли сигналы соответствующих цветовых компонентов независимо, информация матрицы квантования используется для процесса обратного квантования соответствующих цветовых компонентов; и
в случае, когда идентифицирующая информация указывает, что сигналы соответствующих цветовых компонентов закодированы независимо, устройство для декодирования изображения декодирует информацию идентификации цветового компонента, включенную в заголовок секции, причем информация идентификации цветового компонента предназначена для указания, какому из цветовых компонентов соответствуют закодированные данные, включенные в секцию, и определяет на основе информации идентификации цветовых компонентов матрицу квантования, которая будет использоваться в процессе декодирования секции.

2. Устройство для декодирования изображения для получения сигналов изображения посредством декодирования сжатых данных цифровых сигналов динамического изображения в формате 4:4:4, содержащее:
первый блок декодирования для выполнения над тремя сигналами цветовых компонентов процесса декодирования в режиме общего кодирования и выполнения процесса обратного квантования посредством использования общей матрицы квантования;
второй блок декодирования для выполнения над каждым из трех сигналов цветовых компонентов процесса декодирования в режимах независимого кодирования и выполнения процесса обратного квантования посредством использования независимых матриц квантования; и
блок анализа старшего заголовка для декодирования идентифицирующего сигнала, включенного в сжатые данные, причем идентифицирующий сигнал указывает, закодированы ли три сигнала цветовых компонентов в режиме общего кодирования или в режимах независимого кодирования, причем устройство для декодирования изображения выполняет процесс декодирования посредством использования либо первого блока декодирования, либо второго блока декодирования в соответствии с идентифицирующим сигналом; и
в случае выполнения процесса декодирования посредством использования второго блока декодирования устройство для декодирования изображения указывает посредством использования флага идентификации цветового компонента, включенного в сжатые данные, какому из трех сигналов цветовых компонентов соответствует сигнал цветового компонента, и выполняет процесс обратного квантования посредством использования матрицы квантования на основе флага идентификации цветового компонента.

3. Устройство для декодирования изображения для получения сигналов изображения посредством декодирования сжатых данных цифровых сигналов динамического изображения в формате 4:4:4, содержащее:
первый блок декодирования для выполнения над тремя сигналами цветовых компонентов процесса декодирования в режиме общего кодирования и выполнения процесса обратного квантования посредством использования общей матрицы квантования;
второй блок декодирования для выполнения над каждым из трех сигналов цветовых компонентов процесса декодирования в режимах независимого кодирования и выполнения процесса обратного квантования посредством использования независимых матриц квантования; и
блок анализа старшего заголовка для декодирования идентифицирующего сигнала, включенного в сжатые данные, причем идентифицирующий сигнал указывает, закодированы ли три сигнала цветовых компонентов в режиме общего кодирования или в режимах независимого кодирования, причем устройство для декодирования изображения выполняет процесс декодирования посредством использования либо первого блока декодирования, либо второго блока декодирования в соответствии с идентифицирующим сигналом; и
в случае выполнения процесса декодирования посредством использования второго блока декодирования устройство для декодирования изображения указывает посредством использования флага идентификации цветового компонента, включенного в сжатые данные, какому из трех сигналов цветовых компонентов соответствует сигнал цветового компонента, и выполняет предсказание с компенсацией движения посредством использования опорного изображения, определенного на основе флага идентификации цветового компонента.

4. Способ декодирования изображения для декодирования сигналов цветного изображения на основе ввода битовых потоков, сформированных посредством выполнения над цветным изображением в формате 4:4:4 кодирования со сжатием, содержащий этапы, на которых:
декодируют идентифицирующую информацию и информацию матрицы квантования, которые включены в битовые потоки, причем идентифицирующая информация указывает, закодированы ли сигналы соответствующих цветовых компонентов независимо, информация матрицы квантования используется для процесса обратного квантования соответствующих цветовых компонентов; и
в случае, когда идентифицирующая информация указывает, что сообщения соответствующих цветовых компонентов закодированы независимо,
декодируют из заголовка секции информацию идентификации цветового компонента для указания, какому из цветовых компонентов соответствуют закодированные данные, включенные в секцию, и
определяют на основе информации идентификации цветовых компонентов матрицу квантования, которая будет использоваться в процессе декодирования секции.

5. Устройство для кодирования изображения для формирования битовых потоков посредством выполнения над цветным изображением в формате 4:4:4 кодирования со сжатием, причем устройство для кодирования изображения мультиплексирует в битовых потоках идентифицирующую информацию и информацию матрицы квантования, причем идентифицирующая информация указывает, закодированы ли сигналы соответствующих цветовых компонентов независимо, информация матрицы квантования используется для выполнения над соответствующими цветовыми компонентами процесса обратного квантования; и
в случае, когда идентифицирующая информация указывает, что сигналы соответствующих цветовых компонентов закодированы независимо, устройство для кодирования изображения мультиплексирует в заголовке секции информацию идентификации цветового компонента для указания, какому из цветовых компонентов соответствуют закодированные данные, включенные в секцию, и указывает на основе информации идентификации цветового компонента матрицу квантования, которая будет использоваться в процессе кодирования секции.

6. Устройство для кодирования изображения для выполнения кодирования со сжатием на основе ввода цифровых сигналов динамического изображения в формате 4:4:4, содержащее:
первый блок кодирования для выполнения над тремя сигналами цветовых компонентов входных цифровых сигналов динамического изображения процесса кодирования в режиме общего кодирования и выполнения процесса квантования посредством использования общей матрицы квантования; и
второй блок кодирования для выполнения над каждым из трех сигналов цветовых компонентов входных цифровых сигналов динамического изображения процесса кодирования в режимах независимого кодирования и выполнения процесса квантования посредством использования независимых матриц квантования, причем:
устройство для кодирования изображения выполняет процесс кодирования посредством выбора либо первого блока кодирования, либо второго блока кодирования и устанавливает идентифицирующий сигнал в сжатых данных, причем идентифицирующий сигнал указывает, какой блок кодирования из первого блока кодирования и второго блока кодирования выбран; и
в случае, когда выбран второй элемент кодирования, устройство для кодирования изображения устанавливает флаг идентификации цветового компонента в сжатых данных, причем флаг идентификации цветового компонента указывает, какому из трех сигналов цветового компонента соответствует сигнал цветового компонента.

7. Устройство для кодирования изображения для выполнения кодирования со сжатием на основе ввода цифровых сигналов динамического изображения в формате 4:4:4, содержащее:
первый блок кодирования для выполнения над тремя сигналами цветовых компонентов входных цифровых сигналов динамического изображения процесса кодирования в режиме общего кодирования и выполнения процесса квантования посредством использования общей матрицы квантования; и
второй блок кодирования для выполнения над каждым из трех сигналов цветовых компонентов входных цифровых сигналов динамического изображения процесса кодирования в режимах независимого кодирования и выполнения процесса квантования посредством использования независимых матриц квантования, причем
устройство для кодирования изображения выполняет процесс кодирования посредством выбора либо первого блока кодирования, либо второго блока кодирования и устанавливает идентифицирующий сигнал в сжатых данных, причем идентифицирующий сигнал указывает, какой блок кодирования из первого блока кодирования и второго блока кодирования выбран; и
в случае, когда выбран второй элемент кодирования, устройство для кодирования изображения устанавливает флаг идентификации цветового компонента в сжатых данных, причем флаг идентификации цветового компонента указывает, какому из трех сигналов цветового компонента соответствует сигнал цветового компонента и делает предсказание с компенсацией движения для трех сигналов цветовых компонентов соответственно посредством использования независимых опорных изображений.

8. Способ кодирования изображения для формирования битовых потоков посредством выполнения над цветным изображением в формате 4:4:4 кодирования со сжатием, содержащий этапы, на которых:
мультиплексируют в битовых потоках идентифицирующую информацию для указания, закодированы ли сигналы соответствующих цветовых компонентов независимо, и информацию матрицы квантования, используемую для выполнения над соответствующими цветовыми компонентами процесса обратного квантования; и
в случае, когда идентифицирующая информация указывает, что сигналы соответствующих цветовых компонентов закодированы независимо, мультиплексируют в заголовок секции информацию идентификации цветового компонента для указания, какому из цветовых компонентов соответствуют закодированные данные, включенные в секцию, определяют матрицу квантования, которая будет использоваться в процессе кодирования секции, на основе информации идентификации цветового компонента.

9. Устройство для декодирования изображения для декодирования сигналов цветного изображения на основе ввода битовых потоков, сформированных посредством выполнения над цветным изображением в формате 4:4:4 кодирования со сжатием, кодирование со сжатием выполняется посредством преобразования и квантования цветного изображения на уровне блоков, устройство для декодирования изображения содержит:
блок декодирования для декодирования первой идентифицирующей информации, указывающей, закодированы ли сигналы соответствующих цветовых компонентов независимо, и для декодирования второй идентифицирующей информации, в случае, когда первая идентифицирующая информация указывает, что сигналы соответствующих цветовых компонентов закодированы независимо, вторая идентифицирующая информация указывает, являются ли все цветовые компоненты интра-кодированными, причем в случае, когда первая идентифицирующая информация указывает, что сигналы соответствующих цветовых компонентов закодированы независимо, и в случае, где вторая идентифицирующая информация указывает, что все изображения соответствующих цветовых компонентов являются интра-кодированными, устройство для декодирования изображения формирует декодированное изображение, в котором отключено выполнение фильтрации устранения блочности на каждой границе между блоками, служащими в качестве элементов преобразования и квантования.

10. Устройство для декодирования изображения для получения сигналов изображения посредством декодирования сжатых данных цифровых сигналов динамического изображения в формате 4:4:4, содержащее:
первый блок декодирования для выполнения над тремя сигналами цветовых компонентов процесса декодирования в режиме общего кодирования и выполнения процесса обратного квантования посредством использования общей матрицы квантования;
второй блок декодирования для выполнения над каждым из трех сигналов цветовых компонентов процесса декодирования в режимах независимого кодирования и выполнения процесса обратного квантования посредством использования независимых матриц квантования; и
блок анализа старшего заголовка для декодирования идентифицирующего сигнала, включенного в сжатые данные, причем идентифицирующий сигнал указывает, закодированы ли три сигнала цветовых компонентов в режиме общего кодирования или в режимах независимого кодирования, причем
устройство для декодирования изображения выполняет процесс декодирования посредством использования либо первого блока декодирования, либо второго блока декодирования в соответствии с идентифицирующим сигналом.

11. Устройство для декодирования изображения для получения сигналов изображения посредством декодирования сжатых данных цифровых сигналов динамического изображения в формате 4:4:4, содержащее:
первый блок декодирования для выполнения над тремя сигналами цветовых компонентов процесса декодирования в режиме общего кодирования и выполнения процесса обратного квантования посредством использования общей матрицы квантования;
второй блок декодирования для выполнения над каждым из трех сигналов цветовых компонентов процесса декодирования в режимах независимого кодирования и выполнения процесса обратного квантования посредством использования независимых матриц квантования; и
блок анализа старшего заголовка для декодирования идентифицирующего сигнала, включенного в сжатые данные, причем идентифицирующий сигнал указывает, закодированы ли три сигнала цветовых компонентов в режиме общего кодирования или в режимах независимого кодирования, и для декодирования сигнала указания только интра-кодирования, указывающего, выполнены ли все процессы кодирования только в режиме интра-кодирования или в комбинации режима интра-кодирования и режима интер-кодирования, причем устройство для декодирования изображения выполняет процесс декодирования посредством использования либо первого блока декодирования, либо второго блока декодирования в соответствии с идентифицирующим сигналом; и
в случае, когда сигнал указания только интра-кодирования указывает, что все процессы кодирования выполнены только в режиме интра-кодирования, опускается процесс, выполняемый фильтром устранения блочности.

12. Способ декодирования изображения для получения сигналов изображения посредством декодирования сжатых данных цифровых сигналов динамического изображения в формате 4:4:4, способ декодирования изображения содержит:
этап анализа старшего заголовка, на котором декодируют идентифицирующий сигнал, включенный в сжатые данные, причем идентифицирующий сигнал указывает, закодированы ли три сигнала цветовых компонентов в режиме общего кодирования или в режимах независимого кодирования; и
этап выполнения процесса декодирования посредством использования на основе сигнала, декодированного на этапе анализа старшего заголовка, либо первого этапа декодирования, либо второго этапа декодирования, на первом этапе декодирования над тремя сигналами цветовых компонентов выполняют процесс декодирования в режиме общего кодирования и выполняют процесс обратного квантования посредством использования общей матрицы квантования, и на втором этапе декодирования над каждым из трех сигналов цветовых компонентов выполняют процесс декодирования в режимах независимого кодирования и выполняют процесс обратного квантования посредством использования независимых матриц квантования.

13. Способ декодирования изображения для декодирования сигналов цветного изображения на основе ввода битовых потоков, сформированных посредством выполнения над цветным изображением в формате 4:4:4 кодирования со сжатием, кодирование со сжатием выполняется посредством преобразования и квантования цветного изображения на уровне блоков, способ декодирования изображения содержит:
этап декодирования для декодирования первой идентифицирующей информации, указывающей, закодированы ли сигналы соответствующих цветовых компонентов независимо, и для декодирования второй идентифицирующей информации, в случае, когда первая идентифицирующая информация указывает, что сигналы соответствующих цветовых компонентов закодированы независимо, вторая идентифицирующая информация указывает, являются ли все цветовые компоненты интра-кодированными, причем
в случае, когда первая идентифицирующая информация указывает, что сигналы соответствующих цветовых компонентов закодированы независимо, и в случае, когда вторая идентифицирующая информация указывает, что все изображения соответствующих цветовых компонентов являются интра-кодированными, формируется декодированное изображение, в котором отключено выполнение фильтрации устранения блочности на каждой границе между блоками, служащими элементами преобразования и квантования.

14. Устройство для кодирования изображения для формирования битовых потоков посредством выполнения над цветным изображением в формате 4:4:4 кодирования со сжатием, кодирование со сжатием выполняется посредством преобразования и квантования цветного изображения на уровне блоков, причем устройство для кодирования изображения мультиплексирует в битовых потоках первую идентифицирующую информацию, указывающую, следует ли независимо кодировать сигналы соответствующих цветовых компонентов, и в случае, когда первая идентифицирующая информация указывает, что сигналы соответствующих цветовых компонентов кодируются независимо, мультиплексирует в битовых потоках вторую информацию, указывающую, следует ли применять интра-кодирование ко всем цветовым компонентам, и управляющую выполнением фильтрации устранения блочности на каждой границе между блоками, служащими элементами преобразования и квантования.

15. Устройство для кодирования изображения для выполнения кодирования со сжатием на основе ввода цифровых сигналов динамического изображения в формате 4:4:4, содержащее:
первый блок кодирования для выполнения над тремя сигналами цветовых компонентов входных цифровых сигналов динамического изображения процесса кодирования в режиме общего кодирования и выполнения процесса квантования посредством использования общей матрицы квантования; и
второй блок кодирования для выполнения над каждым из трех сигналов цветовых компонентов входных цифровых сигналов динамического изображения процесса кодирования в режимах независимого кодирования и выполнения процесса квантования посредством использования независимых матриц квантования, причем
устройство для кодирования изображения выполняет процесс кодирования посредством выбора либо первого блока кодирования, либо второго блока кодирования и устанавливает идентифицирующий сигнал в сжатых данных, причем идентифицирующий сигнал указывает, какой блок кодирования из первого блока кодирования и второго блока кодирования выбран.

16. Устройство для кодирования изображения для выполнения кодирования со сжатием на основе ввода цифровых сигналов динамического изображения в формате 4:4:4, содержащее:
первый блок кодирования для выполнения над тремя сигналами цветовых компонентов входных цифровых сигналов динамического изображения процесса кодирования в режиме общего кодирования и выполнения процесса квантования посредством использования общей матрицы квантования; и
второй блок кодирования для выполнения над каждым из трех сигналов цветовых компонентов входных цифровых сигналов динамического изображения процесса кодирования в режимах независимого кодирования и выполнения процесса квантования посредством использования независимых матриц квантования, причем
устройство для кодирования изображения выполняет процесс кодирования посредством выбора либо первого блока кодирования, либо второго блока кодирования и устанавливает идентифицирующий сигнал в сжатых данных, причем идентифицирующий сигнал указывает, какой блок кодирования из первого блока кодирования и второго блока кодирования выбран;
устройство для кодирования изображения дополнительно устанавливает сигнал указания только интра-кодирования в сжатых данных, сигнал указания только интра-кодирования указывает, следует ли выполнять все процессы кодирования только в режиме интра-кодирования или в комбинации режима интра-кодирования и режима интер-кодирования; и
в случае выполнения процессов кодирования только в режиме интра-кодирования опускается процесс, выполняемый фильтром устранения блочности.

17. Способ кодирования изображения для выполнения кодирования со сжатием на основе ввода цифровых сигналов динамического изображения в формате 4:4:4, способ кодирования изображения содержит:
этап выполнения процесса кодирования посредством выбора либо первого этапа кодирования, либо второго этапа кодирования, на первом этапе кодирования над тремя сигналами цветовых компонентов входных цифровых сигналов динамического изображения выполняют процесс кодирования в режиме общего кодирования и выполняют процесс квантования посредством использования общей матрицы квантования, и на втором этапе кодирования над каждым из трех сигналов цветовых компонентов входных цифровых сигналов динамического изображения выполняют процесс кодирования в режимах независимого кодирования и выполняют процесс квантования посредством использования независимых матриц квантования; и
этап установки идентифицирующего сигнала в сжатых данных, причем идентифицирующий сигнал указывает, какой этап из первого этапа кодирования и второго этапа кодирования выбран.

18. Способ кодирования изображения для формирования битовых потоков посредством выполнения над цветным изображением в формате 4:4:4 кодирования со сжатием, кодирование со сжатием выполняется посредством преобразования и квантования цветного изображения на уровне блоков, содержащий этапы, на которых
мультиплексируют в битовых потоках первую идентифицирующую информацию, указывающую, следует ли независимо кодировать сигналы соответствующих цветовых компонентов, и в случае, когда первая идентифицирующая информация указывает, что сигналы соответствующих цветовых компонентов кодируются независимо, мультиплексируют в битовых потоках вторую информацию, указывающую, следует ли применять интра-кодирование ко всем цветовым компонентам, и управляющую выполнением фильтрации устранения блочности на каждой границе между блоками, служащими элементами преобразования и квантования.