УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2019 года по МПК H04N19/50 H04N19/159 G06T9/00 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству кодирования изображений и к способу кодирования изображений для кодирования для движущегося изображения с высокой степенью эффективности, а также к устройству декодирования изображений и к способу декодирования изображений для декодирования кодированного движущегося изображения с высокой степенью эффективности.

Уровень техники

[0002] Например, в режиме внутреннего предсказания для яркости в способе кодирования по стандарту AVC/H.264 (ISO/IEC 14496-10|ITU-T H.264), который является способом по международному стандарту, один режим предсказания может быть выбран из множества режимов предсказания для каждого блока (например, см. непатентную ссылку 1). Фиг. 14 является пояснительным чертежом, показывающим режимы внутреннего предсказания в случае размера пикселного блока 4×4 для яркости. В случае размера пикселного блока 4×4 для яркости задаются девять режимов внутреннего предсказания (режим 0, режим 1, ..., и режим 8).

[0003] В примере, показанном на фиг. 14, каждый белый круг показывает пиксел в блоке, который должен быть кодирован. Каждый черный круг показывает пиксел, который используется для предсказания и который существует в уже кодированном смежном блоке. Режим 2 является режимом, в котором предсказание по среднему выполняется таким образом, что каждый пиксел в блоке, который должен быть кодирован, предсказывается посредством использования среднего из смежных пикселов, существующих в верхнем и левом блоках. Каждый из режимов, отличных от режима 2, является режимом, в котором выполняется направленное предсказание. В частности, режим 0 является режимом, в котором вертикальное предсказание выполняется таким образом, что смежные пикселы в верхнем блоке многократно повторяются, чтобы создавать несколько строк пикселов вдоль вертикального направления с тем, чтобы формировать предсказанное изображение. Например, режим 0 выбирается, когда блок, который должен быть кодирован, является шаблоном с чередованием по вертикали. Режим 1 является режимом, в котором горизонтальное предсказание выполняется таким образом, что смежные пикселы в левом блоке многократно копируются, чтобы создавать несколько столбцов пикселов вдоль горизонтального направления с тем, чтобы формировать предсказанное изображение. Дополнительно в каждом из режимов 3-8 интерполяционных пикселов, идущих в предварительно определенном направлении (т.е. в направлении, показанном посредством стрелок), формируются посредством использования смежных пикселов в верхнем блоке или левом блоке, чтобы формировать предсказанное изображение.

[0004] Размер блока для яркости, к которому применяется внутреннее предсказание, может быть выбран из 4×4 пикселов, 8×8 пикселов и 16×16 пикселов. В случае если размер блока для яркости составляет 8×8 пикселов, задаются девять режимов внутреннего предсказания, как и в случае, если размер блока для яркости составляет 4×4 пикселов. В отличие от этого в случае, если размер блока для яркости составляет 16×16 пикселов, четыре режима внутреннего предсказания, которые называются предсказаниями на плоскости, задаются в дополнение к режиму предсказания по среднему режиму вертикального предсказания и режиму горизонтального предсказания. Режим предсказания на плоскости является режимом, в котором пикселы, созданные посредством выполнения интерполяции в диагональном направлении для смежных пикселов в верхнем блоке и смежных пикселов в левом блоке, предоставляются в качестве предсказанных значений.

[0005] Хотя в режиме направленного предсказания в случае, если размер блока для яркости составляет 4×4 пикселов или 8×8 пикселов, поскольку предсказанные значения формируются по направлению, предварительно определенному согласно режиму (например, направления в 45 градусов), эффективность предсказания повышается, и объем кода может быть уменьшен, когда направление границы (края) объекта в блоке совпадает с направлением, показанным посредством режима предсказания, эффективность предсказания снижается, когда направление края объекта в блоке не совпадает с направлением, показанным посредством режима предсказания. В отличие от этого, поскольку увеличение числа выбираемых режимов направленного предсказания приводит к увеличению вероятности того, что направление края совпадает с направлением, показанным посредством режима предсказания, можно предположить, что эффективность предсказания повышается.

Документы предшествующего уровня техники

Непатентные ссылки

[0006] Непатентная ссылка 1. Стандарты MPEG-4 AVC (ISO/IEC 14496-10)/H.ITU-T 264

Сущность изобретения

Задачи, которые должны быть решены изобретением

[0007] Поскольку традиционное устройство кодирования изображений выполнено, как указано выше, увеличение числа выбираемых режимов направленного предсказания повышает вероятность того, что направление края совпадает с направлением, показанным посредством режима предсказания, и, следовательно, может быть повышена эффективность предсказания. Тем не менее, проблема состоит в том, что, поскольку число вариантов аналогичных предсказанных изображений увеличивается, даже если число выбираемых направленных предсказаний увеличивается, повышение эффективности кодирования, соразмерное с увеличением объема вычислений, что обусловлено увеличением числа выбираемых направленных предсказаний, не обеспечивается, и увеличение числа выбираемых направленных предсказаний дает ограниченный вклад в повышение эффективности кодирования.

[0008] Настоящее изобретение осуществлено, чтобы разрешать вышеуказанную проблему, и, следовательно, цель настоящего изобретения заключается в том, чтобы предоставлять устройство кодирования изображений и способ кодирования изображений, допускающие увеличение степени повышения эффективности кодирования, что обусловлено увеличением числа режимов направленного предсказания при небольшом объеме вычислений и небольшом объеме кода. Другая цель настоящего изобретения заключается в том, чтобы предоставлять устройство декодирования изображений и способ декодирования изображений, допускающие корректное декодирование кодированных данных, в которых обеспечивается повышение эффективности кодирования, чтобы получать движущееся изображение.

Средство для решения задач

[0009] В соответствии с настоящим изобретением, предусмотрено устройство кодирования изображений, в котором, когда режим кодирования, выбранный посредством модуля управления кодированием, является режимом внутреннего предсказания, модуль формирования предсказанных изображений выполняет процесс внутрикадрового предсказания с использованием пикселов, смежных с каждым блоком кодирования, который формируется через разделение посредством модуля разделения на блоки, или пикселов, смежных с блоком кодирования верхнего уровня, которому принадлежит каждый блок кодирования, для того чтобы формировать предсказанное изображение. Дополнительно, когда режим кодирования, выбранный посредством модуля управления кодированием, является режимом внутреннего предсказания, модуль кодирования с переменной длиной кода кодирует флаг, указывающий то, совпадает или нет направление внутреннего предсказания блока кодирования, смежного с блоком кодирования, который является целью, которая должна быть обработана, и который формируется через разделение посредством модуля разделения на блоки, с направлением целевого блока кодирования, и когда флаг указывает то, что направление внутреннего предсказания смежного блока кодирования совпадает с направлением блока кодирования, также кодирует информацию, показывающую то, имеет или нет какой-либо из смежных блоков кодирования направление внутреннего предсказания, совпадающее с направлением внутреннего предсказания блока кодирования.

Преимущества изобретения

[0010] Поскольку устройство кодирования изображений в соответствии с настоящим изобретением выполнено так, что, когда режим кодирования, выбранный посредством модуля управления кодированием, является режимом внутреннего предсказания, модуль формирования предсказанных изображений выполняет процесс внутрикадрового предсказания с использованием пикселов, смежных с каждым блоком кодирования, который формируется через разделение посредством модуля разделения на блоки, или пикселов, смежных с блоком кодирования верхнего уровня, которому принадлежит каждый блок кодирования, для того чтобы формировать предсказанное изображение, предоставляется преимущество возможности увеличивать степень повышения эффективности кодирования, что обусловлено увеличением числа направленных предсказаний при небольшом объеме вычислений и небольшом объеме кода.

Краткое описание чертежей

[0011] Фиг. 1 является блок-схемой, показывающей устройство кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

Фиг. 2 является блок-схемой последовательности операций, показывающей обработку, выполняемую посредством устройства кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

Фиг. 3 является пояснительным чертежом, показывающим состояние, в котором каждый блок кодирования, имеющий максимальный размер, иерархически разделяется на множество блоков кодирования.

Фиг. 4(a) является пояснительным чертежом, показывающим распределение сегментов, на которые разделяется блок, который должен быть кодирован, и фиг. 4(b) является пояснительным чертежом, показывающим состояние, в которомрежим m(Bⁿ) кодирования назначается каждому из сегментов после того, как разделение на иерархические уровни выполняется посредством использования графа в виде дерева квадрантов.

Фиг. 5 является пояснительным чертежом, показывающим пример параметра внутреннего предсказания (режима внутреннего предсказания), который может быть выбран для каждого сегмента P_iⁿ, принадлежащего блоку Bⁿ кодирования.

Фиг. 6 является пояснительным чертежом, показывающим пример пикселов, которые используются при формировании предсказанного значения каждого пиксела в сегменте P_iⁿ в случае l_iⁿ=m_iⁿ=4.

Фиг. 7 является пояснительным чертежом, показывающим взаимосвязь между сегментом P_iⁿ и сегментом P_i^n-1 верхнего уровня.

Фиг. 8 является пояснительным чертежом, показывающим сегмент P_iⁿ, принадлежащий блоку Bⁿ кодирования.

Фиг. 9 является пояснительным чертежом, показывающим пример параметра внутреннего предсказания (режима внутреннего предсказания), который может быть выбран для каждого сегмента P_iⁿ, принадлежащего блоку Bⁿ кодирования.

Фиг. 10 является блок-схемой, показывающей устройство декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

Фиг. 11 является блок-схемой последовательности операций, показывающей обработку, выполняемую посредством устройства декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

Фиг. 12 является пояснительным чертежом, показывающим кодированные данные каждого сегмента.

Фиг. 13 является пояснительным чертежом, показывающим смежный сегмент; и

фиг. 14 является пояснительным чертежом, показывающим режимы внутреннего предсказания в случае размера пикселного блока 4×4 для яркости.

Подробное описание вариантов осуществления изобретения

[0012] Далее для того чтобы подробнее пояснять это изобретение, описываются предпочтительные варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи.

Вариант 1 осуществления

Фиг. 1 является блок-схемой, показывающей устройство кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения. Ссылаясь на фиг. 1, узел 1 управления кодированием выполняет процесс определения максимального размера каждого из блоков кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс внутреннего предсказания (процесс внутрикадрового предсказания) или процесс предсказания с компенсацией движения (процесс межкадрового предсказания), а также определения верхнего предела по числу иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяется на блоки. Узел 1 управления кодированием также выполняет процесс выбора режима кодирования, подходящего для каждого из блоков кодирования, на которые иерархически разделяется каждый блок кодирования, имеющий максимальный размер, из одного или более доступных режимов кодирования (одного или более режимов внутреннего кодирования и одного или более режимов межблочного кодирования). Узел 1 управления кодированием дополнительно выполняет процесс определения параметра квантования и размера блока преобразования, которые используются, когда разностное изображение сжимается для каждого блока кодирования, а также определения параметра внутреннего предсказания или параметра межблочного предсказания, который используется, когда выполняется процесс предсказания для каждого блока кодирования. Параметр квантования и размер блока преобразования включаются в параметры предсказывающего разностного кодирования, и эти параметры кодирования ошибок предсказания выводятся в узел 7 преобразования/квантования, узел 8 обратного преобразования/обратного квантования, узел 13 кодирования с переменной длиной кода и т.д. Узел 1 управления кодированием составляет модуль управления кодированием.

[0013] Узел 2 разделения на блоки выполняет процесс при приеме видеосигнала, показывающего введенное изображение (текущее изображение), разделения введенного изображения на блоки кодирования, имеющие максимальный размер, определенный посредством узла 1 управления кодированием, а также иерархического разделения каждого из блоков кодирования на блоки до тех пор, пока число иерархических уровней не достигает верхнего предела по числу иерархических уровней, который определяется посредством узла 1 управления кодированием. Узел 2 разделения на блоки составляет модуль разделения на блоки. Избирательный переключатель 3 выполняет процесс, когда режим кодирования, выбранный посредством узла 1 управления кодированием для блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, является режимом внутреннего кодирования, вывода блока кодирования в узел 4 внутреннего предсказания, а когда режим кодирования, выбранный посредством узла 1 управления кодированием, для блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, является режимом межблочного кодирования, вывода блока кодирования в узел 5 предсказания с компенсацией движения.

[0014] Узел 4 внутреннего предсказания выполняет процесс при приеме блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, из избирательного переключателя 3, выполнения процесса внутреннего предсказания на основе параметра внутреннего предсказания, выведенного в него из узла управления кодированием, для блока кодирования, для того чтобы формировать предсказанное изображение посредством использования уже кодированных пикселов, которые хранятся в запоминающем устройстве 10 для внутреннего предсказания и которые являются смежными с блоком кодирования, или уже кодированных пикселов, которые являются смежными с блоком кодирования верхнего уровня, которому принадлежит блок кодирования. Узел 5 предсказания с компенсацией движения выполняет процесс, когда режим межблочного кодирования выбирается посредством узла 1 управления кодированием в качестве режима кодирования, соответствующего блоку кодирования, который формируется через разделение посредством узла 2 разделения на блоки, выполнения процесса предсказания с компенсацией движения для блока кодирования для того, чтобы формировать предсказанное изображение посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 12 кадров предсказания с компенсацией движения, на основе параметра межблочного предсказания, выведенного в него из узла 1 управления кодированием. Модуль формирования предсказанных изображений состоит из избирательного переключателя 3, узла 4 внутреннего предсказания и узла 5 предсказания с компенсацией движения.

[0015] Узел 6 вычитания выполняет процесс вычитания предсказанного изображения, сформированного посредством узла 4 внутреннего предсказания или узла 5 предсказания с компенсацией движения, из блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, чтобы формировать разностное изображение (= блок кодирования - предсказанное изображение). Узел 6 вычитания составляет модуль формирования разностных изображений. Узел 7 преобразования/квантования осуществляет процесс выполнения процесса ортогонального преобразования (например, процесса DCT (дискретного косинусного преобразования) или ортогонального преобразования, такого как KL-преобразование, в котором основания разрабатываются для конкретной последовательности обучения заранее) для разностного изображения, сформированного посредством узла 6 вычитания, в единицах блоков, имеющих размер блока преобразования, включенный в параметры предсказанного разностного кодирования, выведенные в него из узла 1 управления кодированием, а также квантования коэффициентов преобразования разностного изображения посредством использования параметра квантования, включенного в параметры предсказанного разностного кодирования, чтобы выводить коэффициенты преобразования, квантованные таким образом, в качестве сжатых данных разностного изображения. Узел 7 преобразования/квантования составляет модуль сжатия изображений.

[0016] Узел 8 обратного преобразования/обратного квантования выполняет процесс обратного квантования сжатых данных, выведенных в него из узла 7 преобразования/квантования, посредством использования параметра квантования, включенного в параметры предсказывающего разностного кодирования, выведенные из узла 1 управления кодированием, и выполнения процесса обратного преобразования (например, процесса обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, чтобы выводить сжатые данные, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в качестве локального декодированного предсказанного разностного сигнала.

[0017] Узел 9 суммирования выполняет процесс суммирования локального декодированного предсказанного разностного сигнала, выведенного в него из узла 8 обратного преобразования/обратного квантования, и предсказанного сигнала, показывающего предсказанное изображение, сформированное посредством узла 4 внутреннего предсказания или узла 5 предсказания с компенсацией движения, чтобы формировать сигнал локального декодированного изображения, показывающий локальное декодированное изображение. Запоминающее устройство 10 для внутреннего предсказания является носителем записи, таким как RAM, для сохранения локального декодированного изображения, показанного посредством сигнала локального декодированного изображения, сформированного посредством узла 9 суммирования, в качестве изображения, которое использует узел 4 внутреннего предсказания при выполнении процесса внутреннего предсказания в следующий раз.

[0018] Узел 11 контурного фильтра выполняет процесс компенсации искажения при кодировании, включенного в сигнал локального декодированного изображения, сформированный посредством узла 9 суммирования, и вывода локального декодированного изображения, показанного посредством сигнала локального декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающее устройство 12 кадров предсказания с компенсацией движения в качестве опорного изображения. Запоминающее устройство 12 кадров предсказания с компенсацией движения является носителем записи, таким как RAM, для хранения локального декодированного изображения, для которого узел 11 контурного фильтра выполняет процесс фильтрации, в качестве опорного изображения, которое узел 5 предсказания с компенсацией движения использует при выполнении процесса предсказания с компенсацией движения в следующий раз.

[0019] Узел 13 кодирования с переменной длиной кода выполняет процесс кодирования с переменной длиной кода сжатых данных, выведенных в него из узла 7 преобразования/квантования, режима кодирования и параметров предсказывающего разностного кодирования, которые выводятся в него из узла 1 управления кодированием, и параметра внутреннего предсказания, выведенного в него из узла 4 внутреннего предсказания, или параметра межблочного предсказания, выведенного в него из узла 5 предсказания с компенсацией движения для того, чтобы формировать поток битов, в который мультиплексируются кодированные данные сжатых данных, кодированные данные режима кодирования, кодированные данные параметров предсказывающего разностного кодирования и кодированные данные параметров внутреннего предсказания или параметров межблочного предсказания. Узел 13 кодирования с переменной длиной кода составляет модуль кодирования с переменной длиной кода.

[0020] В примере по фиг. 1 узел 1 управления кодированием, узел 2 разделения на блоки, избирательный переключатель 3, узел 4 внутреннего предсказания, узел 5 предсказания с компенсацией движения, узел 6 вычитания, узел 7 преобразования/квантования, узел 8 обратного преобразования/обратного квантования, узел 9 суммирования, узел 11 контурного фильтра и узел 13 кодирования с переменной длиной кода, которые являются компонентами устройства кодирования движущихся изображений, могут состоять из элементов аппаратных средств для монопольного использования (например, интегральных схем, в каждой из которых установлен CPU, однокристальных микрокомпьютеров и т.п.) соответственно. В качестве альтернативы устройство кодирования движущихся изображений может состоять из компьютера, и часть или вся программа, в которой описываются процессы, выполняемые посредством узла 1 управления кодированием, узла 2 разделения на блоки, избирательного переключателя 3, узла 4 внутреннего предсказания, узла 5 предсказания с компенсацией движения, узла 6 вычитания, узла 7 преобразования/квантования, узла 8 обратного квантования/обратного преобразования, узла 9 суммирования, узла 11 контурного фильтра и узла 13 кодирования с переменной длиной кода, может быть сохранена в запоминающем устройстве компьютера, и CPU компьютера может быть выполнен с возможностью исполнять программу, сохраненную в запоминающем устройстве. Фиг. 2 является блок-схемой последовательности операций, показывающей обработку, выполняемую посредством устройства кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

[0021] Фиг. 10 является блок-схемой, показывающей устройство декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения. Ссылаясь на фиг. 10, узел 21 декодирования с переменной длиной кода выполняет процесс указания максимального размера каждого блока кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс внутреннего предсказания или процесс предсказания с компенсацией движения, и числа иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяется на блоки, чтобы указывать кодированные данные, ассоциированные с каждым из блоков кодирования, имеющих максимальный размер, и кодированные данные, ассоциированные с каждым из блоков кодирования, на которые иерархически разделяется каждый из блоков кодирования, имеющих максимальный размер, из кодированных данных, мультиплексированных в поток битов, и декодирования с переменной длиной кода кодированных данных, ассоциированных с каждым из блоков кодирования, чтобы получать сжатые данные, режим кодирования, параметры предсказывающего разностного кодирования и параметр внутреннего предсказания или параметр межблочного предсказания, которые ассоциированы с каждым из блоков кодирования, и вывода сжатых данных и параметров предсказывающего разностного кодирования в узел 25 обратного преобразования/обратного квантования, а также вывода режима кодирования и параметра внутреннего предсказания или параметра межблочного предсказания в избирательный переключатель 22. Узел 21 декодирования с переменной длиной кода составляет модуль декодирования с переменной длиной кода.

[0022] Избирательный переключатель 22 выполняет процесс, когда режим кодирования, ассоциированный с блоком кодирования, который выводится из узла 21 декодирования с переменной длиной кода, является режимом внутреннего кодирования, вывода параметра внутреннего предсказания, выведенного в него из узла 21 декодирования с переменной длиной кода, в узел 23 внутреннего предсказания, а когда режим кодирования является режимом межблочного кодирования, вывода параметра межблочного предсказания, выведенного в него из узла 21 декодирования с переменной длиной кода, в узел 24 компенсации движения.

[0023] Узел 23 внутреннего предсказания осуществляет процесс выполнения процесса внутрикадрового предсказания для блока кодирования, для того чтобы формировать предсказанное изображение посредством использования либо уже декодированных пикселов, которые хранятся в запоминающем устройстве 27 для внутреннего предсказания и которые являются смежными с блоком кодирования, либо уже декодированных пикселов, которые являются смежными с блоком кодирования верхнего уровня, которому принадлежит блок кодирования, на основе параметра внутреннего предсказания, выведенного в него из избирательного переключателя 22. Узел 24 компенсации движения осуществляет процесс выполнения процесса предсказания с компенсацией движения для блока кодирования, для того чтобы формировать предсказанное изображение посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 29 кадров предсказания с компенсацией движения, на основе параметра межблочного предсказания, выведенного в него из избирательного переключателя 22. Модуль формирования предсказанных изображений состоит из избирательного переключателя 22, узла 23 внутреннего предсказания и узла 24 компенсации движения.

[0024] Узел 25 обратного преобразования/обратного квантования выполняет процесс обратного квантования сжатых данных, ассоциированных с блоком кодирования, который выводится в него из узла 21 декодирования с переменной длиной кода, посредством использования параметра квантования, включенного в параметры предсказанного разностного кодирования, выведенные в него из узла 21 декодирования с переменной длиной кода, и выполнения процесса обратного преобразования (например, процесса обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметры предсказанного разностного кодирования, и вывода сжатых данных, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в качестве декодированного предсказанного разностного сигнала (сигнала, показывающего предварительно сжатое разностное изображение). Узел 26 обратного преобразования/обратного квантования составляет модуль формирования разностных изображений.

[0025] Узел 26 суммирования выполняет процесс суммирования декодированного предсказанного разностного сигнала, выведенного в него из узла 25 обратного преобразования/обратного квантования, и предсказанного сигнала, показывающего предсказанное изображение, сформированное посредством узла 23 внутреннего предсказания или узла 24 компенсации движения, чтобы формировать сигнал декодированного изображения, показывающий декодированное изображение. Узел 26 суммирования составляет модуль формирования декодированных изображений. Запоминающее устройство 27 для внутреннего предсказания является носителем записи, таким как RAM, для хранения декодированного изображения, показанного посредством сигнала декодированного изображения, сформированного посредством узла 26 суммирования, в качестве изображения, которое использует узел 23 внутреннего предсказания при выполнении процесса внутреннего предсказания в следующий раз.

[0026] Узел 58 контурного фильтра выполняет процесс компенсации искажения при кодировании, включенного в сигнал декодированного изображения, сформированный посредством узла 26 суммирования, и вывода декодированного изображения, показанного посредством сигнала декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающее устройство 29 кадров предсказания с компенсацией движения в качестве опорного изображения, а также вывода декодированного изображения за пределы устройства декодирования движущихся изображений в качестве воспроизведенного изображения. Запоминающее устройство 29 кадров предсказания с компенсацией движения является носителем записи, таким как RAM, для хранения декодированного изображения, для которого узел 28 контурного фильтра выполняет процесс фильтрации, в качестве опорного изображения, которое использует узел 24 компенсации движения при выполнении процесса предсказания с компенсацией движения в следующий раз.

[0027] В примере по фиг. 10 узел 21 декодирования с переменной длиной кода, избирательный переключатель 22, узел 23 внутреннего предсказания, узел 24 компенсации движения, узел 25 обратного преобразования/обратного квантования, узел 26 суммирования и узел 28 контурного фильтра, которые являются компонентами устройства декодирования движущихся изображений, могут состоять из элементов аппаратных средств для монопольного использования (например, интегральных схем, в каждой из которых установлен CPU, однокристальных микрокомпьютеров и т.п.) соответственно. В качестве альтернативы устройство декодирования движущихся изображений может состоять из компьютера, и часть или вся программа, в которой описываются процессы, выполняемые посредством узла 21 декодирования с переменной длиной кода, избирательного переключателя 22, узла 23 внутреннего предсказания, узла 24 компенсации движения, узла 25 обратного преобразования/обратного квантования, узла 26 суммирования и узла 28 контурного фильтра, может быть сохранена в запоминающем устройстве компьютера, и CPU компьютера может быть выполнен с возможностью исполнять программу, сохраненную в запоминающем устройстве. Фиг. 11 является блок-схемой последовательности операций, показывающей обработку, выполняемую посредством устройства декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

[0028] Устройство кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления отличается тем, что устройство кодирования движущихся изображений адаптируется к локальному изменению видеосигнала в направлениях пространства и времени, чтобы разделять видеосигнал на области различных размеров, и выполняет внутрикадровое и межкадровое адаптивное кодирование. В общем, видеосигнал имеет характеристику локального варьирования своей сложности в пространстве и времени. Может возникать случай, когда шаблон, имеющий равномерную характеристику сигналов в относительно большой области изображения, такого как изображение неба или изображение стены, либо шаблон, имеющий сложный шаблон текстуры в небольшой области изображения, такого как изображение человека или изображение, включающее в себя мелкозернистую структуру, также сосуществует в определенном видеокадре с точки зрения пространства.

[0029] Также с точки зрения времени относительно большая область изображения, такого как изображение неба или изображение стены, имеет небольшое локальное изменение в направлении времени в своем шаблоне, в то время как изображение движущегося человека или объекта имеет большее временное изменение, поскольку его контур имеет перемещение твердого тела и перемещение нетвердого тела относительно времени. Хотя в процессе кодирования выполняется процесс формирования предсказанного разностного сигнала, имеющего небольшую мощность сигнала и небольшую энтропию, посредством использования временного и пространственного предсказания, тем самым уменьшая совокупный объем кода, объем кода для параметров, используемых для предсказания, может быть уменьшен при условии, что параметры могут применяться равномерно к максимально возможно большой области сигнала изображения. С другой стороны, поскольку величина ошибок, возникающих в предсказании, увеличивается, когда идентичный параметр предсказания применяется к большой области изображения в шаблоне сигнала изображения, имеющем большое изменение во времени и пространстве, объем кода предсказанного разностного сигнала не может быть уменьшен. Следовательно, желательно уменьшать размер области, которая подвергается процессу предсказания при выполнении процесса предсказания для области изображения, имеющей большое изменение во времени и пространстве, тем самым сокращая энергию и энтропию предсказанного разностного сигнала, даже если увеличивается объем данных параметра предсказания, который используется для процесса предсказания. Чтобы выполнять процесс кодирования, который приспособлен для таких типичных характеристик видеосигнала, устройство кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления приспосабливает структуру иерархического разделения каждой области, имеющей предварительно определенный максимальный размер блока видеосигнала на блоки, и приспособления процесса предсказания и процесса кодирования для кодирования предсказанной разности для каждого из блоков, на которые разделяется каждая область.

[0030] Видеосигнал, который должен быть обработан посредством устройства кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления, может быть произвольным видеосигналом, в котором каждый видеокадр состоит из последовательности цифровых выборок (пикселов) в двух измерениях, горизонтальном и вертикальном, таким как YUV-сигнал, который состоит из сигнала яркости и двух цветоразностных сигналов, сигналом цветного видеоизображения в произвольном цветовом пространстве, таким как RGB-сигнал, выведенный из датчика цифровых изображений, сигналом монохромного изображения или сигналом инфракрасного изображения. Градация каждого пиксела может быть 8-битовой, 10-битовой или 12-битовой. В нижеприведенном пояснении введенный видеосигнал является YUV-сигналом, если не указано иное. Дополнительно предполагается, что два цветоразностных компонента U и V являются сигналами, имеющими формат 4:2:0, которые субдискретизируются относительно компонента Y сигнала яркости. Единица данных, которая должна быть обработана, которая соответствует каждому кадру видеосигнала, упоминается как "изображение". В этом варианте 1 осуществления "изображение" поясняется в качестве сигнала видеокадра, для которого выполнено построчное сканирование. Когда видеосигнал является чересстрочным сигналом, "изображение" альтернативно может быть сигналом полевого изображения, который является единицей, которая составляет видеокадр.

[0031] Далее поясняется работа устройства кодирования движущихся изображений и работа устройства декодирования движущихся изображений.

Во-первых, поясняется обработка, выполняемая посредством устройства кодирования движущихся изображений, показанного на фиг. 1. Во-первых, узел 1 управления кодированием определяет максимальный размер каждого из блоков кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс внутреннего предсказания (процесс внутрикадрового предсказания) или процесс предсказания с компенсацией движения (процесс межкадрового предсказания), а также определяет верхний предел по числу иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяется на блоки (этап ST1 по фиг. 2).

[0032] В качестве способа определения максимального размера каждого из блоков кодирования, например, рассматривается способ определения максимального размера для всех изображений согласно разрешению введенного изображения. Дополнительно может рассматриваться способ количественного определения изменения сложности локального перемещения введенного изображения в качестве параметра и затем определения небольшого размера для изображения, имеющего большое и интенсивное перемещение, при определении большого размера для изображения, имеющего небольшое перемещение. В качестве способа определения верхнего предела по числу иерархических уровней, например, может рассматриваться способ увеличения глубины иерархии, т.е. числа иерархических уровней, чтобы позволять обнаруживать более точное перемещение по мере того, как введенное изображение имеет большее и более интенсивное перемещение, или снижения глубины иерархии, т.е. числа иерархических уровней по мере того, как введенное изображение имеет меньшее перемещение.

[0033] Узел 1 управления кодированием также выбирает режим кодирования, соответствующий каждому из блоков кодирования, на которые иерархически разделяется каждый блок кодирования, имеющий максимальный размер, из одного или более доступных режимов кодирования (M режимов внутреннего кодирования и N режимов межблочного кодирования) (этап ST2). M режимов внутреннего кодирования, которые подготавливаются заранее, упоминаются ниже. Когда каждый блок кодирования, на который иерархически разделяется введенное изображение посредством модуля 2 разделения на блоки, который упоминается ниже, дополнительно разделяется на сегменты, узел управления кодированием может выбирать режим кодирования, соответствующий каждому из сегментов. Далее пояснение приводится в этом варианте 1 осуществления посредством допущения, что каждый из блоков кодирования дополнительно разделяется на сегменты. Хотя опускается подробное пояснение способа выбора режима кодирования для использования в узле 1 управления кодированием, поскольку способ выбора является известной технологией, предусмотрен способ выполнения процесса кодирования для каждого блока кодирования посредством использования произвольного доступного режима кодирования, например, чтобы анализировать эффективность кодирования и выбирать режим кодирования, имеющий самый высокий уровень эффективности кодирования, из множества доступных режимов кодирования.

[0034] Узел 1 управления кодированием дополнительно определяет параметр квантования и размер блока преобразования, которые используются, когда разностное изображение сжимается для каждого сегмента, принадлежащего каждому блоку кодирования, и также определяет параметр внутреннего предсказания или параметр межблочного предсказания, который используется, когда выполняется процесс предсказания. Узел 1 управления кодированием выводит параметры предсказывающего разностного кодирования, включающие в себя параметр квантования и размер блока преобразования, в узел 7 преобразования/квантования, узел 8 обратного преобразования/обратного квантования и узел 13 кодирования с переменной длиной кода. Узел управления кодированием также выводит параметры предсказывающего разностного кодирования в узел 4 внутреннего предсказания по мере необходимости.

[0035] При приеме видеосигнала, показывающего введенное изображение, узел 2 разделения на блоки разделяет введенное изображение на блоки кодирования, имеющие максимальный размер, определенный посредством узла 1 управления кодированием, а также иерархически разделяет каждый из блоков кодирования на блоки до тех пор, пока число иерархических уровней не достигает верхнего предела по числу иерархических уровней, которое определяется посредством узла 1 управления кодированием. Узел разделения на блоки дополнительно разделяет каждый из блоков кодирования на сегменты (этап ST3). Фиг. 3 является пояснительным чертежом, показывающим форму, в которой каждый блок кодирования, имеющий максимальный размер, иерархически разделяется на множество блоков кодирования. В примере по фиг. 3 каждый блок кодирования, имеющий максимальный размер, является блоком B⁰ кодирования на нулевом иерархическом уровне, и его компонент сигнала яркости имеет размер (L⁰, M⁰). Дополнительно в примере по фиг. 3 посредством выполнения иерархического разделения, когда этот блок B₀ кодирования, имеющий максимальный размер, задается как начальная точка до тех пор, пока глубина иерархии не достигает предварительно определенной глубины, которая задается отдельно согласно структуре в виде дерева квадрантов, могут быть получены блоки Bⁿ кодирования.

[0036] На глубине n каждый блок Bⁿ кодирования является областью изображения, имеющей размер (Lⁿ, Mⁿ). Хотя Lⁿ может быть идентичным или отличаться от Mⁿ, случай Lⁿ=Mⁿ показывается в примере по фиг. 3. Далее размер каждого блока Bⁿ кодирования задается как размер (Lⁿ, Mⁿ) в компоненте сигнала яркости блока Bⁿ кодирования.

[0037] Поскольку узел 2 разделения на блоки выполняет разделение на дерево квадрантов, (Lⁿ⁺¹, Mⁿ⁺¹)=(L^n/2, M^n/2) всегда устанавливается. В случае сигнала цветного видеоизображения (формат 4:4:4), в котором все цветовые компоненты имеют идентичное число выборок, к примеру, RGB-сигнала, все цветовые компоненты имеют размер (Lⁿ, Mⁿ), в то время как в случае обработки формата 4:2:0, соответствующий цветоразностный компонент имеет размер блока кодирования (Lⁿ/2, Mⁿ/2). Далее режим кодирования, выбираемый для каждого блока Bⁿ кодирования на n-ном иерархическом уровне, выражается как m(Bⁿ).

[0038] В случае цветового видеосигнала, который состоит из множества цветовых компонентов, режим m(Bⁿ) кодирования может формироваться таким образом, что отдельный режим используется для каждого цветового компонента. Далее пояснение приводится посредством допущения, что режим m(Bⁿ) кодирования указывает режим для компонента сигнала яркости каждого блока кодирования, имеющего формат 4:2:0 в YUV-сигнале, если не указано иное. Режим m(Bⁿ) кодирования может быть одним из одного или более режимов внутреннего кодирования (в общем, называемых "внутренними") и одного или более режимов межблочного кодирования (в общем, называемых "межблочными"), и узел 1 управления кодированием выбирает, в качестве режима m(Bⁿ) кодирования, режим кодирования с наибольшей степенью эффективности кодирования для каждого блока Bⁿ кодирования, из всех режимов кодирования, доступных в текущем обрабатываемом изображении, или из поднабора этих режимов кодирования, как упомянуто выше.

[0039] Каждый блок Bⁿ кодирования дополнительно разделяется на одну или более единиц предсказания (сегментов) посредством узла разделения на блоки, как показано на фиг. 3. Далее каждый сегмент, принадлежащий каждому блоку Bⁿ кодирования, выражается как P_iⁿ (i показывает номер сегмента на n-ном иерархическом уровне). Фиг. 8 является пояснительным чертежом, показывающим сегмент P_iⁿ, принадлежащий блоку Bⁿ кодирования. То, как выполняется разделение каждого блока Bⁿ кодирования на сегменты P_iⁿ, принадлежащие блоку Bⁿ кодирования, включается в качестве информации в режиме m(Bⁿ) кодирования. Хотя процесс предсказания выполняется для каждого из всех сегментов P_iⁿ согласно режиму m(Bⁿ) кодирования, отдельный параметр предсказания может быть выбран для каждого сегмента P_iⁿ.

[0040] Узел 1 управления кодированием формирует такую форму разделения на блоки, как показано, например, на фиг. 4 для блока кодирования, имеющего максимальный размер, и затем определяет блоки Bⁿ кодирования. Заштрихованные части, показанные на фиг. 4(a), показывают распределение сегментов, на которые разделяется каждый блок кодирования, имеющий максимальный размер, и фиг. 4(b) показывает случай, в котором режимы m(Bⁿ) кодирования, соответственно, назначаются сегментам, сформированным через разделение на иерархические уровни посредством использования графа в виде дерева квадрантов. Каждый узел, обведенный посредством □, показанного на фиг. 4(b), представляет собой узел (блок Bⁿ кодирования), которому назначается режим m(Bⁿ) кодирования.

[0041] Когда узел 1 управления кодированием выбирает режим внутреннего кодирования (m(Bⁿ)∈"внутренний"), избирательный переключатель 3 выводит каждый сегмент P_iⁿ, принадлежащий блоку Bⁿ кодирования, который формируется через разделение посредством модуля 2 разделения на блоки, в узел 4 внутреннего предсказания, тогда как, когда узел 1 управления кодированием выбирает режим межблочного кодирования (m(Bⁿ)∈"межблочный"), избирательный переключатель 3 выводит каждый сегмент P_iⁿ, принадлежащий блоку Bⁿ кодирования, в узел 5 предсказания с компенсацией движения.

[0042] При приеме каждого сегмента P_iⁿ, принадлежащего блоку Bⁿ кодирования из избирательного переключателя 3 (этап ST4), узел 4 внутреннего предсказания выполняет процесс внутреннего предсказания для каждого сегмента P_iⁿ, чтобы формировать изображение (P_iⁿ) внутреннего предсказания на основе параметра внутреннего предсказания, определенного посредством узла 1 управления кодированием (этап ST5), как конкретно описано ниже. Далее в этом подробном описании P_iⁿ обозначает сегмент, а (P_iⁿ) обозначает предсказанное изображение сегмента P_iⁿ.

[0043] Поскольку устройство декодирования движущихся изображений также должно формировать изображение (P_iⁿ) внутреннего предсказания, которое является полностью идентичным изображению внутреннего предсказания, параметр внутреннего предсказания, используемый для формирования изображения (P_iⁿ) внутреннего предсказания, мультиплексируются в поток битов посредством узла 13 кодирования с переменной длиной кода. Число направлений внутреннего предсказания, каждое из которых может быть выбрано в качестве параметра внутреннего предсказания, может быть сконфигурировано таким образом, чтобы оно отличалось согласно размеру целевого блока, который должен быть обработан. Число направлений внутреннего предсказания, выбираемых для сегмента большого размера, может быть сокращено, поскольку эффективность внутреннего предсказания снижается, в то время как число направлений внутреннего предсказания, выбираемых для сегмента небольшого размера, может быть увеличено. Например, 34 направления внутреннего предсказания могут предоставляться для сегмента 4×4 пикселов и сегмента 8×8 пикселов, 17 направлений внутреннего предсказания могут предоставляться для сегмента 16×16 пикселов и 9 направлений внутреннего предсказания могут предоставляться для сегмента 32×32 пикселов.

[0044] При приеме каждого сегмента P_iⁿ, принадлежащего блоку Bⁿ кодирования, из избирательного переключателя 3 (этап ST4) узел 5 предсказания с компенсацией движения выполняет процесс межблочного предсказания для каждого сегмента P_iⁿ, чтобы формировать изображение (P_iⁿ) межблочного предсказания на основе параметра межблочного предсказания, определенного посредством узла 1 управления кодированием (этап ST6). Более конкретно узел 5 предсказания с компенсацией движения выполняет процесс предсказания с компенсацией движения для каждого сегмента P_iⁿ, чтобы формировать изображение (P_iⁿ) межблочного предсказания посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 12 кадров предсказания с компенсацией движения, на основе параметра межблочного предсказания, выведенного в него из узла 1 управления кодированием. Поскольку устройство декодирования движущихся изображений также должно формировать изображение (P_iⁿ) межблочного предсказания, которое является полностью идентичным изображению межблочного предсказания, параметр межблочного предсказания, используемый для формирования изображения (P_iⁿ) межблочного предсказания, мультиплексируется в поток битов посредством узла 13 кодирования с переменной длиной кода.

[0045] При приеме предсказанного изображения (P_iⁿ) из узла 4 внутреннего предсказания или узла 5 предсказания с компенсацией движения узел 6 вычитания вычитает предсказанное изображение (P_iⁿ) из сегмента P_iⁿ, принадлежащего блоку Bⁿ кодирования, который формируется через разделение посредством модуля 2 разделения на блоки, чтобы формировать предсказанный разностный сигнал e_iⁿ, показывающий разностное изображение (этап ST7). Когда узел 6 вычитания формирует предсказанный разностный сигнал e_iⁿ, узел 7 преобразования/квантования выполняет процесс преобразования (например, процесс DCT (дискретного косинусного преобразования) или ортогонального преобразования, такого как KL-преобразование, в котором основания рассчитываются для конкретной обучающей последовательности заранее) для предсказанного разностного сигнала e_iⁿ, в единицах блоков, имеющих размер блока преобразования, включенный в параметры предсказывающего разностного кодирования, выведенные в него из узла 1 управления кодированием, а также квантует коэффициенты преобразования предсказанного разностного сигнала e_iⁿ посредством использования параметра квантования, включенного в параметры предсказывающего разностного кодирования, и выводит сжатые данные разностного изображения, которые являются коэффициентами преобразования, квантованными таким образом, в узел 8 обратного преобразования/обратного квантования и узел 13 кодирования с переменной длиной кода (этап ST8).

[0046] При приеме сжатых данных разностного изображения из узла 7 преобразования/квантования узел 8 обратного преобразования/обратного квантования обратно квантует сжатые данные разностного изображения посредством использования параметра квантования, включенного в параметры предсказывающего разностного кодирования, выведенные в него из узла 1 управления кодированием, выполняет процесс обратного преобразования (например, процесс обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметры предсказывающего разностного кодирования, и выводит сжатые данные, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в узел 9 суммирования в качестве локального декодированного предсказанного разностного сигнала (этап ST9).

[0047] При приеме локального декодированного предсказанного разностного сигнала из узла 8 обратного преобразования/обратного квантования узел 9 суммирования суммирует локальный декодированный предсказанный разностный сигнал и предсказанный сигнал, показывающий предсказанное изображение (P_iⁿ), сформированное посредством узла 4 внутреннего предсказания или узла 5 предсказания с компенсацией движения, чтобы формировать сигнал локального декодированного изображения, показывающий локальное декодированное изображение сегмента или локальное декодированное изображение блока кодирования (называемое "локальным декодированным изображением" с этого места), которое является группой локальных декодированных изображений сегментов, и выводит сигнал локального декодированного изображения в модуль 11 контурного фильтра (этап ST10). Дополнительно это локальное декодированное изображение сохраняется в запоминающем устройстве 10 для внутреннего предсказания, так что оно может использоваться для внутреннего предсказания.

[0048] При приеме сигнала локального декодированного изображения из узла 9 суммирования узел 11 контурного фильтра компенсирует искажение при кодировании, включенное в сигнал локального декодированного изображения, и сохраняет локальное декодированное изображение, показанное посредством сигнала локального декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающем устройстве 12 кадров предсказания с компенсацией движения в качестве опорного изображения (этап ST11). Узел 11 контурного фильтра может выполнять процесс фильтрации для каждого блока кодирования, имеющего максимальный размер сигнала локального декодированного изображения, введенного в него, или для каждого блока кодирования сигнала локального декодированного изображения. В качестве альтернативы после того, как в него вводятся сигналы локального декодированного изображения, соответствующие всем макроблокам одного экрана, узел контурного фильтра может выполнять процесс фильтрации для всех макроблоков одного экрана одновременно.

[0049] Устройство кодирования движущихся изображений многократно выполняет процессы этапов ST4-ST10 до тех пор, пока устройство кодирования движущихся изображений не завершает обработку для каждого сегмента P_iⁿ, принадлежащего каждому из всех блоков Bⁿ кодирования, на которые разделяется введенное изображение посредством узла 2 разделения на блоки (этап ST12). Узел 13 кодирования с переменной длиной кода выполняет процесс кодирования с переменной длиной кода сжатых данных, выведенных в него из узла 7 преобразования/квантования, режима кодирования и параметров предсказывающего разностного кодирования, которые выводятся в него из узла 1 управления кодированием, и параметра внутреннего предсказания, выведенного в него из узла 4 внутреннего предсказания, или параметра межблочного предсказания, выведенного в него из узла 5 предсказания с компенсацией движения для того, чтобы формировать поток битов, в который мультиплексируются кодированные данные сжатых данных, кодированные данные режима кодирования, кодированные данные параметров предсказывающего разностного кодирования и кодированные данные параметра внутреннего предсказания или параметра межблочного предсказания (этап ST13).

[0050] Далее конкретно поясняется процесс, выполняемый посредством узла 4 внутреннего предсказания. Фиг. 5 является пояснительным чертежом, показывающим пример параметра внутреннего предсказания (режима внутреннего предсказания), который может быть выбран для каждого сегмента P_iⁿ, принадлежащего блоку Bⁿ кодирования. В примере по фиг. 5, показаны векторы направления предсказания, соответствующие режимам внутреннего предсказания, и согласно проведенным расчетам относительный угол между векторами направления предсказания становится небольшим с увеличением числа выбираемых режимов внутреннего предсказания.

[0051] Далее поясняется внутренний процесс формирования внутреннего предсказанного сигнала для сигнала яркости сегмента P_iⁿ на основе параметра внутреннего предсказания (режима внутреннего предсказания) для сигнала яркости. Предполагается, что размер сегмента P_iⁿ составляет l_iⁿxm_iⁿ пикселов. Фиг. 6 является пояснительным чертежом, показывающим пример пикселов, которые используются при формировании предсказанного значения каждого пиксела в сегменте P_iⁿ в случае l_iⁿ=m_iⁿ=4. Хотя (2×l_iⁿ+1) пикселов в уже кодированном верхнем сегменте, который является смежным с сегментом P_iⁿ, и (2×m_iⁿ) пикселов в уже кодированном левом сегменте, который является смежным с сегментом P_iⁿ, задаются как пикселы, используемые для предсказания в примере по фиг. 6, для предсказания альтернативно может использоваться меньшее число пикселов, чем пикселы, показанные на фиг. 6. Хотя одна строка или столбец пикселов, которые являются смежными с сегментом P_iⁿ, используется для предсказания в примере по фиг. 6, для предсказания альтернативно могут использоваться две строки или столбца пикселов либо три или более строк или столбцов пикселов.

[0052] Когда значение индекса, указывающее режим внутреннего предсказания для сегмента P_iⁿ, равно 2 (предсказание по среднему), модуль 4 внутреннего предсказания формирует предсказанное изображение посредством использования среднего из смежных пикселов в верхнем сегменте и смежных пикселов в левом сегменте в качестве предсказанного значения каждого пиксела в сегменте P_iⁿ. Когда значение индекса, указывающее режим внутреннего предсказания, отличается от 2 (предсказание по среднему), узел внутреннего предсказания формирует предсказанное значение каждого пиксела в сегменте P_iⁿ на основе вектора направления предсказания v_p=(dx, dy), показанного посредством значения индекса. Когда относительные координаты в сегменте P_iⁿ (верхний левый пиксел сегмента задается как точка начала) каждого пиксела (целевого предсказанного пиксела), для которого формируется предсказанное значение, выражаются как (x, y), позиция опорного пиксела, который используется для предсказания, является точкой пересечения, в которой следующий L и одна из линий смежных пикселов пересекают друг друга.

,

где k является положительным скалярным значением.

[0053] Когда опорный пиксел находится в целочисленнопикселной позиции, целочисленный пиксел задается как предсказанное значение целевого пиксела для предсказания. Напротив, когда опорный пиксел не находится в целочисленнопикселной позиции, интерполяционный пиксел, который формируется из целочисленного пиксела, смежного с опорным пикселом, задается как предсказанное значение целевого пиксела для предсказания. В примере по фиг. 6, поскольку опорный пиксел не находится в целочисленнопикселной позиции, среднее значений двух пикселов, которые являются смежными с опорным пикселом, определяется в качестве предсказанного значения целевого пиксела для предсказания. Узел внутреннего предсказания может использовать не только смежные два пиксела, но также и два или более смежных пикселов, чтобы формировать интерполяционный пиксел и определять значение этого интерполяционного пиксела в качестве предсказанного значения.

[0054] Согласно идентичной процедуре, узел 4 внутреннего предсказания формирует предсказанные пикселы для всех пикселов сигнала яркости в сегменте P_iⁿ и выводит изображение (P_iⁿ) внутреннего предсказания, сформированное таким образом. Параметр внутреннего предсказания, используемый для формирования изображения (P_iⁿ) внутреннего предсказания, выводится в узел 13 кодирования с переменной длиной кода, чтобы мультиплексировать параметр внутреннего предсказания в поток битов, как упомянуто выше. Хотя изображение (P_iⁿ) внутреннего предсказания для сигнала яркости в сегменте P_iⁿ формируется вышеуказанным способом, изображение (P_j^n-1) внутреннего предсказания формируется для сигнала яркости в сегменте P_j^n-1 (j: номер сегмента для сегмента верхнего уровня на (n-1)-вом иерархическом уровне, которому принадлежит сегмент P_iⁿ) аналогичным образом, как показано на фиг. 7.

[0055] В этом варианте осуществления, как показано на фиг. 6, узел внутреннего предсказания имеет такую структуру, чтобы позволять выбирать часть, соответствующую сегменту P_iⁿ, который извлекается из изображения (P_j^n-1) внутреннего предсказания для сегмента P_j^n-1 верхнего уровня, в качестве варианта для изображения (P_iⁿ) внутреннего предсказания для сигнала яркости в сегменте P_iⁿ, в дополнение к части, которая формируется из смежных пикселов опорных пикселов, смежных с сегментом P_iⁿ. Более конкретно в случае, если девять направлений режима внутреннего предсказания, включающие в себя предсказание по среднему, предоставляются в качестве режимов внутреннего предсказания, как показано на фиг. 9, девять режимов предсказания дополнительно добавляются, когда сегмент верхнего уровня существует.

[0056] Хотя внутреннее предсказание является средством предсказания неизвестной области на экране из известной области, эффективность предсказания может быть повышена посредством выбора варианта для изображения внутреннего предсказания из предсказанных изображений, имеющих различные свойства, поскольку сигнал изображения имеет большое локальное изменение в направлении пространства. Следовательно, в случае, если узел внутреннего предсказания имеет такую вышеописанную структуру, что увеличивается число направлений в режимах внутреннего предсказания, степень подобия между сформированными предсказанными изображениями уменьшается по сравнению со случаем, в котором просто увеличивается число режимов внутреннего предсказания, и, следовательно, вариант для изображения внутреннего предсказания может быть выбран из предсказанных изображений, имеющих множество изменений. Следовательно, увеличение числа направлений в режимах внутреннего предсказания может увеличивать степень повышения эффективности кодирования по сравнению с увеличением числа режимов внутреннего предсказания. Дополнительно, поскольку предсказанное изображение для сегмента нижнего уровня может быть сформировано посредством извлечения части предсказанного изображения для сегмента верхнего уровня с использованием способа в соответствии с настоящим изобретением, увеличение числа направлений предсказания предоставляет преимущество возможности уменьшать объем вычислений по сравнению со случаем увеличения числа режимов предсказания.

[0057] Узел внутреннего предсказания также выполняет процесс внутреннего предсказания на основе параметра внутреннего предсказания (режима внутреннего предсказания) для каждого из цветоразностных сигналов сегмента P_iⁿ согласно процедуре, идентичной процедуре, согласно которой узел внутреннего предсказания выполняет процесс внутреннего предсказания для сигнала яркости, и выводит параметр внутреннего предсказания, используемый для формирования изображения внутреннего предсказания, в узел 13 кодирования с переменной длиной кода.

[0058] Узел 13 кодирования с переменной длиной кода кодирует на основе кода переменной длины параметр внутреннего предсказания, выведенный в него из узла 4 внутреннего предсказания, и мультиплексирует кодовое слово параметра внутреннего предсказания в поток битов, как упомянуто выше. При кодировании параметра внутреннего предсказания модуль 13 кодирования с переменной длиной кода может выбирать характерный вектор направления предсказания (характерный вектор направления предсказания) из числа векторов направления предсказания множества направленных предсказаний, выражать параметр внутреннего предсказания посредством использования индекса, указывающего характерный вектор направления предсказания (характерный индекс направления предсказания), и индекса, указывающего разность между вектором направления предсказания и характерным вектором направления предсказания (разностного индекса направления предсказания), и выполнять кодирование методом Хаффмана, к примеру, арифметическое кодирование согласно вероятностной модели, для каждого из индексов, тем самым позволяя уменьшать объем кода.

[0059] Далее поясняется обработка, выполняемая посредством устройства кодирования движущихся изображений, показанного на фиг. 10. При приеме потока битов, сформированного посредством устройства кодирования движущихся изображений, показанного на фиг. 1, узел 21 декодирования с переменной длиной кода выполняет процесс декодирования с переменной длиной кода для потока битов, чтобы декодировать размер кадра в единицах последовательностей, которые состоят из одного или более кадров изображений, или в единицах изображений (этап ST21 по фиг. 11). После декодирования размера кадра узел 21 декодирования с переменной длиной кода определяет максимальный размер блока кодирования, определенный посредством устройства кодирования движущихся изображений, показанного на фиг. 1 (максимальный размер каждого из блоков кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс внутреннего предсказания или процесс предсказания с компенсацией движения), и верхний предел по иерархическому числу (числу иерархических уровней в иерархии, в которой каждый блок кодирования, имеющий максимальный размер, иерархически разделяется на блоки) согласно процедуре, идентичной процедуре, которую использует устройство кодирования движущихся изображений (этап ST22).

[0060] Например, когда максимальный размер каждого из блоков кодирования определяется для всех изображений согласно разрешению введенного изображения в устройстве кодирования движущихся изображений, узел декодирования с переменной длиной кода определяет максимальный размер каждого из блоков кодирования на основе размера кадра, который узел декодирования с переменной длиной кода декодировал ранее, согласно процедуре, идентичной процедуре, которую использует устройство кодирования движущихся изображений, показанное на фиг. 1. Когда как максимальный размер каждого из блоков кодирования, так и число иерархических уровней блоков кодирования мультиплексируются в поток битов посредством устройства кодирования движущихся изображений, узел декодирования с переменной длиной кода декодирует поток битов, чтобы получать как максимальный размер каждого из блоков кодирования, так и число иерархических уровней блоков кодирования.

[0061] После определения как максимального размера каждого из блоков кодирования, так и числа иерархических уровней блоков кодирования, узел 21 декодирования с переменной длиной кода указывает кодированные данные, ассоциированные с каждым блоком кодирования, из кодированных данных, мультиплексированных в поток битов, посредством выяснения формы иерархического разделения введенного изображения на блоки кодирования, причем каждый блок кодирования, имеющий максимальный размер, задается как начальная точка, и декодирует кодированные данные, чтобы получать режим кодирования, назначаемый каждому из блоков кодирования. Узел 21 декодирования с переменной длиной кода затем обращается к информации о разделении относительно разделения на сегменты P_iⁿ, принадлежащие блоку Bⁿ кодирования, включенному в режим кодирования, чтобы указывать кодированные данные, ассоциированные с каждым из сегментов P_iⁿ, из кодированных данных, мультиплексированных в поток битов (этап ST23). Узел 21 декодирования с переменной длиной кода декодирует на основе кода переменной длины кодированные данные, ассоциированные с каждым из сегментов P_iⁿ, чтобы получать сжатые данные, параметры предсказывающего разностного кодирования и параметр внутреннего предсказания или параметр межблочного предсказания, и выводит сжатые данные и параметры предсказывающего разностного кодирования в узел 25 обратного преобразования/обратного квантования, а также выводит режим кодирования и параметр внутреннего предсказания или параметр межблочного предсказания в избирательный переключатель 22 (этап ST24).

[0062] Например, когда характерный индекс направления предсказания и разностный индекс направления предсказания мультиплексируются в поток битов, узел декодирования с переменной длиной кода энтропийно декодирует характерный индекс направления предсказания и разностный индекс направления предсказания посредством использования, например, способов арифметического декодирования согласно их соответствующим вероятностным моделям, соответственно, чтобы указывать параметр внутреннего предсказания из характерного индекса направления предсказания и разностного индекса направления предсказания. Как результат, даже когда объем кода параметра внутреннего предсказания уменьшается в устройстве кодирования движущихся изображений, устройство декодирования движущихся изображений может корректно декодировать параметр внутреннего предсказания.

[0063] Когда режим кодирования каждого сегмента P_iⁿ, принадлежащего блоку Bⁿ кодирования, выведенному в него из узла 21 декодирования с переменной длиной кода, является режимом внутреннего кодирования, избирательный переключатель 22 выводит параметр внутреннего предсказания, выведенный в него из узла 21 декодирования с переменной длиной кода, в узел 23 внутреннего предсказания, тогда как когда режим кодирования является режимом межблочного кодирования, избирательный переключатель выводит параметр межблочного предсказания, выведенный в него из узла 21 декодирования с переменной длиной кода, в узел 24 компенсации движения.

[0064] При приеме параметра внутреннего предсказания из избирательного переключателя 22 (этап ST25) узел 23 внутреннего предсказания выполняет процесс внутреннего предсказания для каждого сегмента P_iⁿ, чтобы формировать изображение (P_iⁿ) внутреннего предсказания на основе параметра внутреннего предсказания (этап ST26), аналогично узлу 4 внутреннего предсказания, показанному на фиг. 1. Более конкретно узел 23 внутреннего предсказания выполняет процесс внутрикадрового предсказания для каждого сегмента P_iⁿ, чтобы формировать предсказанное изображение (P_iⁿ) посредством использования уже декодированных пикселов, которые хранятся в запоминающем устройстве 27 для внутреннего предсказания и которые являются смежными с сегментом P_iⁿ, или уже декодированных пикселов, которые являются смежными с сегментом P_j^n-1 верхнего уровня, которому принадлежит сегмент P_iⁿ, на основе параметра внутреннего предсказания.

[0065] При приеме параметра межблочного предсказания из избирательного переключателя 22 (этап ST25) узел 24 компенсации движения выполняет процесс межблочного предсказания для каждого сегмента P_iⁿ, чтобы формировать изображение (P_iⁿ) межблочного предсказания на основе параметра межблочного предсказания, аналогично узлу 5 предсказания с компенсацией движения, показанному на фиг. 1 (этап ST27). Более конкретно узел 24 компенсации движения выполняет процесс предсказания с компенсацией движения для каждого сегмента P_iⁿ, чтобы формировать изображение (P_iⁿ) межблочного предсказания посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 29 кадров предсказания с компенсацией движения, на основе параметра межблочного предсказания.

[0066] При приеме параметров предсказывающего разностного кодирования из узла 21 декодирования с переменной длиной кода узел 25 обратного преобразования/обратного квантования обратно квантует сжатые данные, ассоциированные с блоком кодирования, которые выводятся в него из узла 21 декодирования с переменной длиной кода, посредством использования параметра квантования, включенного в параметры предсказывающего разностного кодирования, и выполняет процесс обратного преобразования (например, процесс обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметры предсказывающего разностного кодирования, и выводит сжатые данные, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в узел 26 суммирования в качестве декодированного предсказанного разностного сигнала (сигнала, показывающего предварительно сжатое разностное изображение) (этап ST28).

[0067] Узел 26 суммирования формирует сигнал декодированного изображения, показывающий декодированное изображение сегмента или декодированное изображение, которое является группой декодированных изображений сегментов, посредством суммирования декодированного предсказанного разностного сигнала и предсказанного сигнала, показывающего предсказанное изображение (P_iⁿ), сформированное посредством узла 23 внутреннего предсказания или узла 24 предсказания с компенсацией движения, и выводит сигнал декодированного изображения в узел 28 контурного фильтра (этап ST29). Дополнительно это декодированное изображение сохраняется в запоминающем устройстве 27 для внутреннего предсказания, так что это декодированное изображение может использоваться для внутреннего предсказания.

[0068] При приеме сигнала декодированного изображения из узла 26 суммирования узел 28 контурного фильтра компенсирует искажение при кодировании, включенное в сигнал декодированного изображения, и сохраняет декодированное изображение, показанное посредством сигнала декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающем устройстве 29 кадров предсказания с компенсацией движения в качестве опорного изображения, а также выводит декодированное изображение в качестве воспроизведенного изображения (этап ST30). Узел 28 контурного фильтра может выполнять процесс фильтрации для каждого блока кодирования, имеющего максимальный размер сигнала декодированного изображения, введенного в него, или каждого блока кодирования сигнала декодированного изображения. В качестве альтернативы после того, как вводятся сигналы декодированного изображения, соответствующие всем макроблокам одного экрана, узел контурного фильтра может выполнять процесс фильтрации для всех макроблоков одного экрана одновременно. Процессы этапов ST23-ST29 многократно выполняются до тех пор, пока обработка для каждого сегмента P_iⁿ, принадлежащего каждому из всех блоков Bⁿ кодирования, не завершается (этап ST31).

[0069] Как можно видеть из вышеприведенного описания, поскольку узел 4 внутреннего предсказания устройства кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы, когда режим кодирования, выбранный посредством модуля управления кодированием 1, является режимом внутреннего предсказания, выполнять процесс внутрикадрового предсказания с использованием пикселов, смежных с сегментом P_iⁿ, который формируется через разделение посредством модуля 2 разделения на блоки, или пикселов, смежных с сегментом P_j^n-1 верхнего уровня, которому принадлежит сегмент P_iⁿ, чтобы формировать предсказанное изображение (P_iⁿ), предоставляется преимущество возможности увеличивать степень повышения эффективности кодирования при небольшом объеме вычислений.

[0070] Дополнительно, поскольку узел 23 внутреннего предсказания устройства декодирования движущихся изображений в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы, когда режим кодирования, декодированный на основе кода переменной длины посредством узла 21 декодирования с переменной длиной кода, является режимом внутреннего предсказания, выполнять процесс внутрикадрового предсказания с использованием уже декодированных пикселов, которые сохраняются в запоминающем устройстве 27 для внутреннего предсказания и которые являются смежными с сегментом P_iⁿ, или уже декодированных пикселов, смежных с сегментом P_j^n-1 верхнего уровня, которому принадлежит сегмент P_iⁿ, чтобы формировать предсказанное изображение (P_iⁿ), предоставляется преимущество возможности корректно декодировать кодированные данные, в которых обеспечивается повышение эффективности кодирования, чтобы получать движущееся изображение.

[0071] Вариант 2 осуществления

Хотя пример, в котором узел 13 кодирования с переменной длиной кода устройства кодирования движущихся изображений кодирует на основе кода переменной длины параметр внутреннего предсказания для сегмента, который должен быть кодирован, показывается в вышеуказанном варианте 1 осуществления, узел кодирования с переменной длиной кода может кодировать на основе кода переменной длины флаг внутреннего слияния, указывающий то, является или нет параметр внутреннего предсказания для сегмента, который должен быть кодирован, идентичным параметру внутреннего предсказания для сегмента, смежного с сегментом, и также может кодировать на основе кода переменной длины направление внутреннего слияния для указания смежного сегмента, когда параметр внутреннего предсказания для сегмента, который должен быть кодирован, является идентичным параметру внутреннего предсказания для смежного сегмента, в противном случае кодировать на основе кода переменной длины параметр внутреннего предсказания для сегмента, который должен быть кодирован.

[0072] Дополнительно, хотя пример, в котором узел 21 декодирования с переменной длиной кода устройства декодирования движущихся изображений декодирует на основе кода переменной длины кодированные данные, ассоциированные с сегментом, который должен быть декодирован, чтобы получать параметр внутреннего предсказания для сегмента, показывается в вышеуказанном варианте 1 осуществления, узел декодирования с переменной длиной кода может декодировать на основе кода переменной длины кодированные данные, ассоциированные с сегментом, который должен быть декодирован, чтобы получать флаг внутреннего слияния, указывающий то, является или нет параметр внутреннего предсказания для сегмента, который должен быть декодирован, идентичным параметру внутреннего предсказания для сегмента, смежного с сегментом, и также может декодировать на основе кода переменной длины кодированные данные, чтобы получать направление внутреннего слияния для указания смежного сегмента, когда параметр внутреннего предсказания для сегмента, который должен быть декодирован, является идентичным параметру внутреннего предсказания для смежного сегмента, в противном случае декодировать на основе кода переменной длины кодированные данные, чтобы получать параметр внутреннего предсказания для сегмента, который должен быть кодирован.

[0073] Поскольку устройство кодирования движущихся изображений и устройство декодирования движущихся изображений в соответствии с этим вариантом осуществления имеют структуры, идентичные структурам согласно вышеуказанному варианту 1 осуществления, за исключением компонентов, соответствующих кодированию и декодированию параметра внутреннего предсказания, только кодирование и декодирование параметра внутреннего предсказания поясняется в этом варианте 2 осуществления.

[0074] При кодировании с переменной длиной кода параметра внутреннего предсказания для сегмента P_iⁿ, который должен быть кодирован (цели, которая должна быть обработана), узел 13 кодирования с переменной длиной кода устройства кодирования движущихся изображений в соответствии с этим вариантом 2 осуществления кодирует на основе кода переменной длины флаг внутреннего слияния, указывающий то, является или нет параметр внутреннего предсказания идентичным параметру внутреннего предсказания для сегмента, смежного с сегментом P_iⁿ, как показано на фиг. 12(A). Когда флаг внутреннего слияния указывает то, что параметр внутреннего предсказания является идентичным параметру внутреннего предсказания для смежного сегмента, узел 13 кодирования с переменной длиной кода также кодирует на основе кода переменной длины направление внутреннего слияния, показывающее то, какой из смежных сегментов имеет параметр внутреннего предсказания, идентичный параметру внутреннего предсказания сегмента, который должен быть кодирован. Напротив, когда флаг внутреннего слияния указывает то, что параметр внутреннего предсказания не является идентичным параметру внутреннего предсказания для любого смежного сегмента, узел кодирования с переменной длиной кода кодирует на основе кода переменной длины параметр внутреннего предсказания для сегмента P_iⁿ, который должен быть кодирован (в этом случае, узел кодирования с переменной длиной кода выполняет кодирование идентичное кодированию, показанному в вышеуказанном варианте 1 осуществления), как показано на фиг. 12(B).

[0075] Например, когда сегмент, смежный слева относительно сегмента, который должен быть кодирован, и сегмент, смежный сверху относительно сегмента, который должен быть кодирован, перечисляются в качестве вариантов смежного сегмента, как показано на фиг. 13(A), флаг, указывающий то, является или нет параметр внутреннего предсказания для сегмента, который должен быть кодирован, идентичным параметру внутреннего предсказания для сегмента, смежного слева относительно сегмента, который должен быть кодирован, или параметрам внутреннего предсказания для сегмента, смежного сверху относительно сегмента, который должен быть кодирован, предоставляется в качестве направления внутреннего слияния. В качестве альтернативы сегмент, смежный слева относительно сегмента, который должен быть кодирован, сегмент, смежный сверху слева относительно сегмента, который должен быть кодирован, и сегмент, смежный сверху относительно сегмента, который должен быть кодирован, перечисляются, могут быть перечислены в качестве вариантов смежного сегмента, и флаг, указывающий то, какой из трех вариантов имеет параметр внутреннего предсказания, идентичный параметру внутреннего предсказания сегмента, который должен быть кодирован, может предоставляться в качестве направления внутреннего слияния, как показано на фиг. 13(B). В случае если все смежные сегменты, каждый из которых может быть целью для кодирования флага, имеют идентичный параметр внутреннего предсказания, необязательно кодировать направление внутреннего слияния, как и следовало ожидать. Следовательно, узел кодирования с переменной длиной кода может иметь такую структуру, чтобы не кодировать направление внутреннего слияния в этом случае, как показано на фиг. 12(D). Дополнительно узел кодирования с переменной длиной кода может иметь такую структуру, чтобы, когда существует два или более сегментов, смежных сверху или слева относительно сегмента, который должен быть кодирован, сканировать сегменты в направлении от верхней левой стороны сегмента, который должен быть кодирован, например, и выбирать первый сегмент, который кодирован в режиме внутреннего предсказания, в качестве смежного сегмента сверху или слева относительно сегмента, который должен быть кодирован.

[0076] Дополнительно, когда число NumN выбираемых направлений внутреннего предсказания в смежном сегменте не равно числу NumC выбираемых направлений внутреннего предсказания в сегменте, который должен быть кодирован, узел кодирования с переменной длиной кода может иметь следующую структуру. Более конкретно, когда NumN<NumC, узел кодирования с переменной длиной кода приводит характерный вектор направления предсказания из векторов направления предсказания множества направленных предсказаний в сегменте P_iⁿ, который должен быть кодирован, в соответствие с одним из выбираемых направлений внутреннего предсказания в смежном сегменте, чтобы определять то, совпадает или нет параметр внутреннего предсказания для сегмента P_iⁿ, который должен быть кодирован, с параметром внутреннего предсказания для смежного сегмента. В этом случае, при определении того, что параметр внутреннего предсказания для сегмента P_iⁿ, который должен быть кодирован, совпадает с параметром внутреннего предсказания для смежного сегмента, узел кодирования с переменной длиной кода кодирует остаточный параметр направления внутреннего предсказания, показывающий то, какое из множества соответствующих направлений внутреннего предсказания выбрано для сегмента P_iⁿ, который должен быть кодирован, как показано на фиг. 12(C).

[0077] Напротив, когда NumN>NumC, узел кодирования с переменной длиной кода приводит характерный вектор направления предсказания, из векторов направления предсказания множества направленных предсказаний в смежном сегменте, в соответствие с одним из выбираемых направлений внутреннего предсказания в сегменте P_iⁿ, который должен быть кодирован, чтобы определять то, совпадает или нет параметр внутреннего предсказания для сегмента P_iⁿ, который должен быть кодирован, с параметром внутреннего предсказания для смежного сегмента. В этом случае, узел кодирования с переменной длиной кода не должен кодировать остаточный параметр направления внутреннего предсказания. Поскольку можно считать, что режим внутреннего предсказания имеет направление в зависимости от текстуры изображения, которое должно быть кодировано, аналогичный режим предсказания легко возникает локально. Следовательно, узел кодирования с переменной длиной кода может кодировать параметр внутреннего предсказания с помощью меньшего объема информации посредством кодирования параметра внутреннего предсказания посредством использования флага внутреннего слияния и направления внутреннего слияния.

[0078] При декодировании с переменной длиной кода параметра внутреннего предсказания в сегменте P_iⁿ, который должен быть декодирован (цели, которая должна быть обработана), узел 21 декодирования с переменной длиной кода устройства декодирования движущихся изображений в соответствии с этим вариантом 2 осуществления декодирует на основе кода переменной длины флаг внутреннего слияния, указывающий то, является или нет параметр внутреннего предсказания идентичным параметру внутреннего предсказания для сегмента, смежного с сегментом P_iⁿ, как показано на фиг. 12(A). Дополнительно, когда флаг внутреннего слияния указывает то, что параметр внутреннего предсказания является идентичным параметру внутреннего предсказания для смежного сегмента, узел 21 декодирования с переменной длиной кода декодирует на основе кода переменной длины направление внутреннего слияния, показывающее то, какой из смежных сегментов имеет параметр внутреннего предсказания, идентичный параметру внутреннего предсказания сегмента, который должен быть декодирован. Напротив, когда флаг внутреннего слияния указывает то, что параметр внутреннего предсказания не является идентичным параметру внутреннего предсказания для смежного сегмента, узел декодирования с переменной длиной кода декодирует на основе кода переменной длины параметр внутреннего предсказания в сегменте P_iⁿ, который должен быть декодирован (в этом случае, узел декодирования с переменной длиной кода выполняет декодирование, идентичное декодированию, показанному в вышеуказанном варианте 1 осуществления), как показано на фиг. 12(B).

[0079] Например, когда сегмент, смежный слева относительно сегмента, который должен быть декодирован, и сегмент, смежный сверху относительно сегмента, который должен быть декодирован, перечисляются в качестве вариантов смежного сегмента, как показано на фиг. 13(A), флаг, указывающий то, является или нет параметр внутреннего предсказания для сегмента, который должен быть декодирован, идентичным параметру внутреннего предсказания для сегмента, смежного слева относительно сегмента, который должен быть декодирован, или параметрам внутреннего предсказания для сегмента, смежного сверху относительно сегмента, который должен быть декодирован, предоставляется в качестве направления внутреннего слияния. В качестве альтернативы сегмент, смежный слева относительно сегмента, который должен быть декодирован, сегмент, смежный сверху слева относительно сегмента, который должен быть декодирован, и сегмент, смежный сверху относительно сегмента, который должен быть декодирован, могут быть перечислены в качестве вариантов смежного сегмента, и флаг, указывающий то, какой из трех вариантов имеет параметр внутреннего предсказания, идентичный параметру внутреннего предсказания сегмента, который должен быть декодирован, может предоставляться в качестве направления внутреннего слияния, как показано на фиг. 13(B). В случае, если все смежные сегменты, каждый из которых может быть целью для кодирования флага, имеют идентичный параметр внутреннего предсказания, необязательно кодировать направление внутреннего слияния, как и следовало ожидать. Следовательно, узел декодирования с переменной длиной кода может иметь такую структуру, чтобы не декодировать направление внутреннего слияния в этом случае, как показано на фиг. 12(D). Дополнительно узел декодирования с переменной длиной кода может иметь такую структуру, чтобы, когда существует два или более сегментов, смежных сверху или слева относительно сегмента, который должен быть декодирован, сканировать сегменты в направлении от верхней левой стороны сегмента, который должен быть декодирован, например, и выбирать первый сегмент, который кодирован в режиме внутреннего предсказания, в качестве смежного сегмента сверху или слева относительно сегмента, который должен быть декодирован.

[0080] Дополнительно, когда число NumN выбираемых направлений внутреннего предсказания в смежном сегменте не равно числу NumC выбираемых направлений внутреннего предсказания в сегменте, который должен быть декодирован, узел декодирования с переменной длиной кода может иметь следующую структуру. Более конкретно, когда NumN<NumC, узел декодирования с переменной длиной кода приводит характерный вектор направления предсказания из векторов направления предсказания множества направленных предсказаний в сегменте P_iⁿ, который должен быть декодирован, в соответствие с одним из выбираемых направлений внутреннего предсказания в смежном сегменте, чтобы определять то, совпадает или нет параметр внутреннего предсказания для сегмента P_iⁿ, который должен быть декодирован, с параметром внутреннего предсказания для смежного сегмента. В этом случае, при определении того, что параметр внутреннего предсказания для сегмента P_iⁿ, который должен быть декодирован, совпадает с параметром внутреннего предсказания для смежного сегмента, узел декодирования с переменной длиной кода кодирует остаточный параметр направления внутреннего предсказания, показывающий то, какое из множества соответствующих направлений внутреннего предсказания выбрано для сегмента P_iⁿ, который должен быть декодирован, как показано на фиг. 12(C).

[0081] Напротив, когда NumN>NumC, узел декодирования с переменной длиной кода приводит характерный вектор направления предсказания, из векторов направления предсказания множества направленных предсказаний в смежном сегменте, в соответствие с одним из выбираемых направлений внутреннего предсказания в сегменте P_iⁿ, который должен быть декодирован, чтобы определять то, совпадает или нет параметр внутреннего предсказания для сегмента P_iⁿ, который должен быть декодирован, с параметром внутреннего предсказания для смежного сегмента. В этом случае, узел декодирования с переменной длиной кода не должен декодировать остаточный параметр направления внутреннего предсказания. Поскольку узел декодирования с переменной длиной кода имеет такую структуру, узел декодирования с переменной длиной кода может надлежащим образом декодировать параметр внутреннего предсказания, который кодируется посредством устройства кодирования движущихся изображений в соответствии с этим вариантом 2 осуществления. Как и следовало ожидать, модуль кодирования с переменной длиной кода и модуль декодирования с переменной длиной кода в соответствии с этим вариантом 2 осуществления также могут применяться к случаю, в котором сегмент, который должен быть обработан, и смежный сегмент не находятся в режиме предсказания, как пояснено в этом варианте 1 осуществления, в котором извлекается часть изображения внутреннего предсказания на более высоком иерархическом уровне.

[0082] Хотя изобретение описано в предпочтительных вариантах осуществления, следует понимать, что может осуществляться произвольная комбинация двух или более из вышеуказанных вариантов осуществления, различные изменения могут быть внесены в произвольный компонент согласно любому из вышеуказанных вариантов осуществления, и произвольный компонент согласно любому из вышеуказанных вариантов осуществления может опускаться в пределах объема изобретения.

Промышленная применимость

[0083] Как упомянуто выше, поскольку устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений в соответствии с настоящим изобретением допускают увеличение степени повышения эффективности кодирования, что обусловлено увеличением числа направленных предсказаний при небольшом объеме вычислений и небольшом объеме кода, устройство кодирования изображений и способ кодирования изображений являются подходящими для использования в качестве устройства кодирования изображений и способа кодирования изображений для кодирования движущегося изображения с высокой степенью эффективности и т.д., и устройство декодирования изображений и способ декодирования изображений являются подходящими для использования в качестве устройства декодирования изображений и способа декодирования изображений для декодирования кодированного движущегося изображения с высокой степенью эффективности и т. д.

[0084] 1 - узел управления кодированием (модуль управления кодированием), 2 - узел разделения на блоки (модуль разделения на блоки), 3 - избирательный переключатель (модуль формирования предсказанных изображений), 4 - узел внутреннего предсказания (модуль формирования предсказанных изображений), 5 – узел предсказания с компенсацией движения (модуль формирования предсказанных изображений), 6 - узел вычитания (модуль формирования разностных изображений), 7 - узел преобразования/квантования (модуль сжатия изображений), 8 - узел обратного преобразования/обратного квантования, 9 - узел суммирования, 10 - запоминающее устройство для внутреннего предсказания, 11 - узел контурного фильтра, 12 - запоминающее устройство кадров предсказания с компенсацией движения, 13 - узел кодирования с переменной длиной кода (модуль кодирования с переменной длиной кода), 21 - узел декодирования с переменной длиной кода (модуль декодирования с переменной длиной кода), 22 - избирательный переключатель (модуль формирования предсказанных изображений), 23 - узел внутреннего предсказания (модуль формирования предсказанных изображений), 24 - узел компенсации движения (модуль формирования предсказанных изображений), 25 - узел обратного преобразования/обратного квантования (модуль формирования разностных изображений), 26 - узел суммирования (модуль формирования декодированных изображений), 27 - запоминающее устройство для внутреннего предсказания, 28 - узел контурного фильтра, 29 - запоминающее устройство кадров предсказания с компенсацией движения.

Изобретение относится к средствам кодирования и декодирования изображений. Технический результат заключается в повышении эффективности кодирования и декодирования при повышении числа режимов направленного предсказания без увеличения объемов вычислений. Выбирают режима кодирования для каждого из блоков кодирования, полученных иерархическим разделением блока кодирования, имеющего максимальный размер, который является единицей обработки процесса кодирования. Выполняют внутреннее предсказание или внешнее предсказание в отношении каждого из упомянутых блоков кодирования, чтобы генерировать изображение внутреннего предсказания или изображение внешнего предсказания согласно упомянутому режиму кодирования. Выполняют кодирование с переменной длиной кода в отношении параметра внутреннего предсказания, используемого для выполнения упомянутого внутреннего предсказания, чтобы генерировать кодированные данные. 4 н.п. ф-лы, 14 ил.

1. Устройство кодирования изображения, содержащее:

модуль управления кодированием для выбора режима кодирования для каждого из блоков кодирования, полученных иерархическим разделением блока кодирования, имеющего максимальный размер, который является единицей обработки процесса кодирования;

модуль генерирования предсказанных изображений для выполнения внутреннего предсказания или внешнего предсказания в отношении каждого из упомянутых блоков кодирования, чтобы генерировать изображение внутреннего предсказания или изображение внешнего предсказания согласно упомянутому режиму кодирования; и

модуль кодирования с переменной длиной кода для выполнения кодирования с переменной длиной кода в отношении параметра внутреннего предсказания, используемого для выполнения упомянутого внутреннего предсказания, чтобы генерировать кодированные данные;

отличающееся тем, что

упомянутый модуль кодирования с переменной длиной кода генерирует флаг внутреннего слияния, указывающий, является ли упомянутый параметр внутреннего предсказания для сегмента идентичным параметру внутреннего предсказания для соседнего сегмента, расположенного над или слева от упомянутого сегмента;

при этом когда существуют два или более соседних сегментов, расположенных над или слева от упомянутого сегмента, в отношении которого выполняется упомянутое внутреннее предсказание, первый сегмент в направлении вверх и влево от упомянутого сегмента считается в качестве упомянутых соседних сегментов, расположенных над и слева от упомянутого сегмента; при этом

когда упомянутый параметр внутреннего предсказания для упомянутого сегмента идентичен упомянутому параметру внутреннего предсказания для упомянутого соседнего сегмента, расположенного над или слева от упомянутого сегмента, упомянутый модуль кодирования с переменной длиной кода генерирует направление внутреннего слияния, задающее один из соседних сегментов, и

когда упомянутый параметр внутреннего предсказания для упомянутого сегмента не идентичен упомянутому параметру внутреннего предсказания для упомянутого соседнего сегмента, расположенного над или слева от упомянутого сегмента, упомянутый модуль кодирования с переменной длиной кода кодирует упомянутый параметр внутреннего предсказания для упомянутого сегмента.

2. Способ кодирования изображения, содержащий:

этап выбора режима кодирования для каждого из блоков кодирования, полученных иерархическим разделением блока кодирования, имеющего максимальный размер, который является единицей обработки процесса кодирования;

этап выполнения внутреннего предсказания или внешнего предсказания в отношении каждого из упомянутых блоков кодирования, чтобы генерировать изображение внутреннего предсказания или изображение внешнего предсказания согласно упомянутому режиму кодирования; и

этап выполнения кодирования с переменной длиной кода в отношении параметра внутреннего предсказания, используемого для выполнения упомянутого внутреннего предсказания, чтобы генерировать кодированные данные; отличающийся тем, что упомянутый способ кодирования изображений содержит:

этап генерирования флага внутреннего слияния, указывающего, является ли упомянутый параметр внутреннего предсказания для сегмента идентичным параметру внутреннего предсказания для соседнего сегмента, расположенного над или слева от упомянутого сегмента; при этом

когда существуют два или более соседних сегментов, расположенных над или слева от упомянутого сегмента, в отношении которого выполняется упомянутое внутреннее предсказание, первый сегмент в направлении вверх и влево от упомянутого сегмента считается в качестве упомянутых соседних сегментов, расположенных над и слева от упомянутого сегмента,

когда упомянутый параметр внутреннего предсказания для упомянутого сегмента идентичен упомянутому параметру внутреннего предсказания для упомянутого соседнего сегмента, расположенного над или слева от упомянутого сегмента, генерируют направление внутреннего слияния, задающее один из соседних сегментов, и

когда упомянутый параметр внутреннего предсказания для упомянутого сегмента не идентичен упомянутому параметру внутреннего предсказания для упомянутого соседнего сегмента, расположенного над или слева от упомянутого сегмента, процесс кодирования выполняется в отношении упомянутого параметра внутреннего предсказания для упомянутого сегмента.

3. Устройство декодирования изображения, содержащее:

модуль декодирования с переменной длиной кода для выполнения декодирования с переменной длиной кода в отношении закодированных данных, ассоциированных с иерархически разделенными блоками кодирования, чтобы получить режим кодирования для каждого из упомянутых блоков кодирования; и

модуль генерирования предсказанных изображений для выполнения внутреннего предсказания или внешнего предсказания в отношении каждого из упомянутых блоков кодирования в соответствии с упомянутым режимом кодирования, чтобы генерировать изображение внутреннего предсказания или изображение внешнего предсказания; отличающееся тем, что

упомянутый модуль декодирования с переменной длиной кода декодирует флаг внутреннего слияния, указывающий, является ли параметр внутреннего предсказания для сегмента идентичным параметру внутреннего предсказания для соседнего сегмента, расположенного над или слева от упомянутого сегмента;

при этом когда существуют два или более соседних сегментов, расположенных над или слева от упомянутого сегмента, в отношении которого выполняется упомянутое внутреннее предсказание, первый сегмент в направлении вверх и влево от упомянутого сегмента считается в качестве каждого из упомянутых соседних сегментов, расположенных над и слева от упомянутого сегмента; при этом

когда упомянутый параметр внутреннего предсказания для упомянутого сегмента идентичен упомянутому параметру внутреннего предсказания для упомянутого соседнего сегмента, расположенного над или слева от упомянутого сегмента, упомянутый модуль декодирования с переменной длиной кода декодирует направление внутреннего слияния, задающее один из соседних сегментов, и

когда упомянутый параметр внутреннего предсказания для упомянутого сегмента не идентичен упомянутому параметру внутреннего предсказания для упомянутого соседнего сегмента, расположенного над или слева от упомянутого сегмента, упомянутый модуль декодирования с переменной длиной кода декодирует упомянутый параметр внутреннего предсказания для упомянутого сегмента.

4. Способ декодирования изображения, содержащий:

этап выполнения процесса декодирования с переменной длиной кода в отношении закодированных данных, ассоциированных с иерархически разделенными блоками кодирования, чтобы получить режим кодирования для каждого из упомянутых блоков кодирования; и

этап выполнения внутреннего предсказания или внешнего предсказания в отношении каждого из упомянутых блоков кодирования в соответствии с упомянутым режимом кодирования, чтобы генерировать изображение внутреннего предсказания или изображение внешнего предсказания; отличающийся тем, что упомянутый способ декодирования изображения содержит:

этап декодирования флага внутреннего слияния, указывающего, является ли параметр внутреннего предсказания для сегмента идентичным параметру внутреннего предсказания для соседнего сегмента, расположенного над или слева от упомянутого сегмента; при этом

когда существуют два или более соседних сегментов, расположенных над или слева от упомянутого сегмента, в отношении которого выполняется упомянутое внутреннее предсказание, первый сегмент в направлении вверх и влево от упомянутого сегмента считается в качестве каждого из упомянутых соседних сегментов, расположенных над и слева от упомянутого сегмента,

когда упомянутый параметр внутреннего предсказания для упомянутого сегмента идентичен упомянутому параметру внутреннего предсказания для упомянутого соседнего сегмента, расположенного над или слева от упомянутого сегмента, декодируют направление внутреннего слияния, задающее один из соседних сегментов, и

когда упомянутый параметр внутреннего предсказания для упомянутого сегмента не идентичен упомянутому параметру внутреннего предсказания для упомянутого соседнего сегмента, расположенного над или слева от упомянутого сегмента, декодируют упомянутый параметр внутреннего предсказания для упомянутого сегмента.