УСТРОЙСТВО КОДИРОВАНИЯ ДВИЖУЩИХСЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ДВИЖУЩИХСЯ ИЗОБРАЖЕНИЙ, СПОСОБ КОДИРОВАНИЯ ДВИЖУЩИХСЯ ИЗОБРАЖЕНИЙ И СПОСОБ ДЕКОДИРОВАНИЯ ДВИЖУЩИХСЯ ИЗОБРАЖЕНИЙ Российский патент 2015 года по МПК H04N19/593 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству кодирования движущихся изображений и к способу кодирования движущихся изображений для кодирования движущегося изображения с высокой степенью эффективности, а также к устройству декодирования движущихся изображений и к способу декодирования движущихся изображений для декодирования кодированного движущегося изображения с высокой степенью эффективности.

УРОВЕНЬ ТЕХНИКИ

[0002] Например, в соответствии со способом кодирования видео по международным стандартам, к примеру MPEG (стандарт экспертной группы по киноизображению) или "ITU-T H.26x", введенный видеокадр разделяется на прямоугольные блоки (целевые блоки кодирования), процесс прогнозирования с использованием уже кодированного сигнала изображения выполняется для каждого целевого блока кодирования для того, чтобы формировать прогнозное изображение, и процесс ортогонального преобразования и квантования выполняется для сигнала ошибки прогнозирования, который является разностью между целевым блоком кодирования и прогнозным изображением в единицах блоков, так что сжатие информации выполняется для введенного видеокадра.

[0003] Например, в случае AVC/H.264 (ISO/IEC 14496-10|ITU-T H.264), который является способом по международным стандартам, выполняется процесс внутреннего прогнозирования из уже кодированных смежных пикселей или процесс прогнозирования с компенсацией движения между смежными кадрами (например, см. непатентную ссылку 1). В случае MPEG-4 AVC/H.264, один режим прогнозирования может быть выбран из множества режимов прогнозирования для каждого блока в режиме внутреннего прогнозирования яркости. Фиг.10 является пояснительным чертежом, показывающим режимы внутреннего прогнозирования в случае размера пиксельного блока 4×4 для яркости. На фиг.10, каждый белый круг показывает пиксель в блоке кодирования, а каждый черный круг показывает пиксель, который используется для прогнозирования и который существует в уже кодированном смежном блоке.

[0004] В примере, показанном на фиг.10, девять режимов 0-8 подготавливаются в качестве режимов внутреннего прогнозирования, и режим 2 является режимом, в котором прогнозирование по среднему выполняется таким образом, что каждый пиксель в целевом блоке кодирования прогнозируется посредством использования среднего из смежных пикселей, существующих в верхних и левых блоках. Режимы, отличные от режима 2, являются режимами внутреннего прогнозирования, в каждом из которых выполняется направленное прогнозирование. Режим 0 является режимом, в котором вертикальное прогнозирование выполняется таким образом, что смежные пиксели в верхнем блоке многократно реплицируются, чтобы создавать несколько строк пикселей вдоль вертикального направления с тем, чтобы формировать прогнозное изображение. Например, режим 0 выбирается, когда целевой блок кодирования представляет собой шаблон с чередованием по вертикали. Режим 1 является режимом, в котором горизонтальное прогнозирование выполняется таким образом, что смежные пиксели в левом блоке многократно реплицируются, чтобы создавать несколько столбцов пикселей вдоль горизонтального направления с тем, чтобы формировать прогнозное изображение. Например, режим 1 выбирается, когда целевой блок кодирования представляет собой шаблон с чередованием по горизонтали. В каждом из режимов 3-8 интерполяционные пиксели, идущие в предварительно определенном направлении (т.е. в направлении, показанном посредством стрелок), формируются посредством использования смежных пикселей в верхнем блоке или левом блоке, чтобы формировать прогнозное изображение.

[0005] В этом случае, размер блока для яркости, к которому применяется внутреннее прогнозирование, может быть выбран из 4×4 пикселей, 8×8 пикселей и 16×16 пикселей. В случае 8×8 пикселей задаются девять режимов внутреннего прогнозирования, как и в случае 4×4 пикселей. В отличие от этого, в случае 16×16 пикселей задаются четыре режима внутреннего прогнозирования, которые называются прогнозированиями на плоскости, в дополнение к режимам внутреннего прогнозирования, ассоциированным с прогнозированием по среднему, вертикальным прогнозированием и горизонтальным прогнозированием. Каждое внутреннее прогнозирование, ассоциированное с прогнозированием на плоскости, является режимом, в котором пиксели, созданные посредством выполнения интерполяции в диагональном направлении для смежных пикселей в верхнем блоке и смежных пикселей в левом блоке, предоставляются в качестве прогнозированных значений.

[0006] В режиме направленного прогнозирования в случае размера блока 4×4 пикселей или 8×8 пикселей, поскольку прогнозированные значения формируются вдоль направления, предварительно определенного согласно режиму, например направления в 45 градусов, повышается эффективность прогнозирования, и может быть уменьшен объем кода, когда направление границы (края) объекта в блоке совпадает с направлением, показанным посредством режима прогнозирования. Тем не менее, небольшое смещение может возникать между направлением края и направлением, показанным посредством режима прогнозирования, и даже если направление края в целевом блоке кодирования не совпадает с направлением, показанным посредством режима прогнозирования, большая ошибка прогнозирования может возникать локально по той простой причине, что край немного искажен (повернут, изогнут и т.п.). Как результат, эффективность прогнозирования может серьезно падать. Чтобы предотвращать такое снижение эффективности прогнозирования, при выполнении направленного прогнозирования 8×8 пикселей сглаженное прогнозное изображение формируется посредством задания кодированных смежных пикселей, которые фильтруются посредством сглаживающего фильтра, в качестве опорных изображений, которые используются во время формирования прогнозного изображения, тем самым уменьшая все небольшие смещения в направлении прогнозирования и ошибки прогнозирования, которые возникают, когда небольшое искажение возникает на краю.

Документы предшествующего уровня техники

Непатентные ссылки

[0007] Непатентная ссылка 1. Стандарты MPEG-4 AVC (ISO/IEC 14496-10)/H.ITU-T 264

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задачи, которые должны быть решены изобретением

[0008] Поскольку традиционное устройство кодирования изображений имеет такую структуру, как указано выше, выполнение процесса фильтрации для того, чтобы формировать сглаженное прогнозное изображение, может уменьшать появление ошибок прогнозирования, даже если небольшое смещение возникает в направлении прогнозирования, или небольшое искажение возникает на краю. Тем не менее, согласно технологии, раскрытой в непатентной ссылке 1, процесс фильтрации не выполняется для блоков, отличных от блоков 8×8 пикселей, и предоставляется только один возможный фильтр, используемый для блоков 8×8 пикселей. Проблема состоит в том, что также в блоке, имеющем размер, отличный от 8×8 пикселей, большая ошибка прогнозирования фактически возникает локально вследствие небольшого несовпадения на краю, даже когда прогнозное изображение имеет шаблон, аналогичный шаблону изображения, которое должно быть кодировано, и, следовательно, возникает большое снижение эффективности прогнозирования. Дополнительная проблема состоит в том, что когда параметр квантования, который используется при квантовании сигнала ошибки прогнозирования, позиции каждого пикселя и т.п., отличается между имеющими идентичный размер блоками, фильтр, подходящий для уменьшения локальных ошибок прогнозирования, отличается между блоками, но подготавливается только один возможный фильтр, и, следовательно, ошибки прогнозирования не могут быть уменьшены в достаточной степени.

[0009] Настоящее изобретение осуществлено, чтобы разрешать вышеуказанные проблемы, и, следовательно, задача настоящего изобретения заключается в том, чтобы предоставлять устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений, допускающие уменьшение ошибок прогнозирования, которые возникают локально, тем самым позволяя повышать качество изображений.

Средство для решения задач

[0010] В соответствии с настоящим изобретением, предоставляется устройство декодирования движущихся изображений, включающее в себя модуль внутреннего прогнозирования для, когда режим кодирования, ассоциированный с блоком кодирования, является режимом внутреннего кодирования, выполнения процесса внутрикадрового прогнозирования для каждого блока, который является единицей для процесса прогнозирования блока кодирования, в котором модуль внутреннего прогнозирования формирует промежуточное прогнозированное значение из опорных выборок согласно параметру внутреннего прогнозирования, задает значение, которое получается посредством фильтрации промежуточного прогнозированного значения, в качестве конечного прогнозированного значения только в конкретных позициях в блоке, и задает промежуточное прогнозированное значение в качестве конечного прогнозированного значения в любых других позициях в блоке.

Преимущества изобретения

[0011] Поскольку устройство декодирования движущихся изображений в соответствии с настоящим изобретением имеет такую структуру, что устройство декодирования движущихся изображений включает в себя модуль внутреннего прогнозирования для, когда режим кодирования, ассоциированный с блоком кодирования, является режимом внутреннего кодирования, выполнения процесса внутрикадрового прогнозирования для каждого блока, который является единицей для процесса прогнозирования блока кодирования, и модуль внутреннего прогнозирования формирует промежуточное прогнозированное значение из опорных выборок согласно параметру внутреннего прогнозирования, задает значение, которое получается посредством фильтрации промежуточного прогнозированного значения, в качестве конечного прогнозированного значения только в конкретных позициях в блоке и задает промежуточное прогнозированное значение в качестве конечного прогнозированного значения в любых других позициях в блоке, предоставляется преимущество возможности уменьшать ошибки прогнозирования, которые возникают локально, тем самым предоставляя возможность даже устройству декодирования движущихся изображений формировать изображение внутреннего прогнозирования, идентичное изображению внутреннего прогнозирования, сформированному посредством устройства кодирования движущихся изображений, имеющего высокую степень качества изображений.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0012] Фиг.1 является блок-схемой, показывающей устройство кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг.2 является блок-схемой, показывающей устройство декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг.3 является блок-схемой последовательности операций способа, показывающей обработку, выполняемую посредством устройства кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг.4 является блок-схемой последовательности операций способа, показывающей обработку, выполняемую посредством устройства декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг.5 является пояснительным чертежом, показывающим состояние, в котором каждый блок кодирования, имеющий максимальный размер, иерархически разделяется на множество блоков кодирования;

Фиг.6(a) является пояснительным чертежом, показывающим распределение фрагментов, на которые разделяется блок, который должен быть кодирован, и фиг.6(b) является пояснительным чертежом, показывающим состояние, в котором режим m(Bⁿ) кодирования назначается каждому из фрагментов после того, как разделение на иерархические уровни выполняется посредством использования графа в виде дерева квадрантов;

Фиг.7 является пояснительным чертежом, показывающим пример параметров внутреннего прогнозирования (режима внутреннего прогнозирования), которые могут быть выбраны для каждого фрагмента P_i ⁿ в блоке Bⁿ кодирования;

Фиг.8 является пояснительным чертежом, показывающим пример пикселей, которые используются при формировании прогнозированного значения каждого пикселя в фрагменте P_i ⁿ в случае l_i ⁿ=m_i ⁿ=4;

Фиг.9 является пояснительным чертежом, показывающим пример компоновки опорных пикселей в случае N=5; и

Фиг.10 является пояснительным чертежом, показывающим режимы внутреннего прогнозирования в случае размера пиксельного блока 4×4 для яркости.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0013] Далее, для того чтобы подробнее пояснять это изобретение, описываются предпочтительные варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи.

Вариант 1 осуществления

В этом варианте 1 осуществления поясняются устройство кодирования движущихся изображений, которое вводит изображение каждого кадра видео, выполняет процесс внутреннего прогнозирования из уже кодированных смежных пикселей или процесс прогнозирования с компенсацией движения между смежными кадрами, чтобы формировать прогнозное изображение, выполняет процесс сжатия согласно ортогональному преобразованию и квантованию для сигнала ошибки прогнозирования, который является разностным изображением между прогнозным изображением и кадровым изображением, и после этого выполняет кодирование переменной длины, чтобы формировать поток битов, и устройство декодирования движущихся изображений, которое декодирует поток битов, выведенный из устройства кодирования движущихся изображений.

[0014] Устройство кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления отличается тем, что устройство кодирования движущихся изображений адаптируется к локальному изменению видеосигнала в направлениях пространства и времени, чтобы разделять видеосигнал на области различных размеров, и выполняет внутрикадровое и межкадровое адаптивное кодирование. В общем, видеосигнал имеет характеристику локального варьирования своей сложности в пространстве и времени. Может возникать случай, когда шаблон, имеющий равномерную характеристику сигналов в относительно большой области изображения, такого как изображение неба или изображение стены, либо шаблон, имеющий сложный шаблон текстуры в небольшой области изображения, такого как изображение человека или изображение, включающее в себя мелкозернистую структуру, также сосуществует в определенном видеокадре с точки зрения пространства. Также с точки зрения времени, относительно большая область изображения, такого как изображение неба или изображение стены, имеет небольшое локальное изменение в направлении времени в своем шаблоне, в то время как изображение движущегося человека или объекта имеет большее временное изменение, поскольку его контур имеет перемещение твердого тела и перемещение нетвердого тела относительно времени.

[0015] Хотя в процессе кодирования выполняется процесс формирования прогнозного сигнала ошибки, имеющего небольшую мощность сигнала и небольшую энтропию, посредством использования временных и пространственных прогнозирований, тем самым уменьшая совокупный объем кода, объем кода для параметров, используемых для прогнозирования, может быть уменьшен при условии, что параметры могут применяться равномерно к максимально возможно большой области сигнала изображения. С другой стороны, поскольку величина ошибок, возникающих в прогнозировании, увеличивается, когда идентичные параметры прогнозирования применяются к шаблону сигнала изображения, имеющему большое изменение во времени и пространстве, не может быть уменьшен объем кода сигнала ошибки прогнозирования. Следовательно, желательно уменьшать размер области, которая подвергается процессу прогнозирования при выполнении процесса прогнозирования для шаблона сигнала изображения, имеющего большое изменение во времени и пространстве, тем самым сокращая энергию и энтропию сигнала ошибки прогнозирования, даже если увеличивается объем данных параметров, которые используются для прогнозирования. Чтобы выполнять кодирование, которое приспособлено для таких типичных характеристик видеосигнала, устройство кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления иерархически разделяет каждую область, имеющую предварительно определенный максимальный размер блока видеосигнала, на блоки и выполняет процесс прогнозирования и процесс кодирования для кодирования ошибки прогнозирования для каждого из блоков, на которые разделяется каждая область.

[0016] Видеосигнал, который должен быть обработан посредством устройства кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления, может быть произвольным видеосигналом, в котором каждый видеокадр состоит из последовательности цифровых выборок (пикселей) в двух измерениях, горизонтальном и вертикальном, таким как YUV-сигнал, который состоит из сигнала яркости и двух цветоразностных сигналов, сигналом цветного видеоизображения в произвольном цветовом пространстве, таким как RGB-сигнал, выведенный из датчика цифровых изображений, сигналом монохромного изображения или сигналом инфракрасного изображения. Градация каждого пикселя может быть 8-битовой, 10-битовой или 12-битовой. В нижеприведенном пояснении, введенный видеосигнал является YUV-сигналом, если не указано иное. Дополнительно предполагается, что два цветоразностных компонента U и V являются сигналами, имеющими формат 4:2:0, которые субдискретизируются относительно компонента Y сигнала яркости. Единица данных, которая должна быть обработана, которая соответствует каждому кадру видеосигнала, упоминается как "изображение". В этом варианте 1 осуществления "изображение" поясняется в качестве сигнала видеокадра, для которого выполнено построчное сканирование. Когда видеосигнал является чересстрочным сигналом, "изображение" альтернативно может быть сигналом полевого изображения, который является единицей, которая составляет видеокадр.

[0017] Фиг.1 является блок-схемой, показывающей устройство кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения. Ссылаясь на фиг.1, узел 1 управления кодированием выполняет процесс определения максимального размера каждого из блоков кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс внутреннего прогнозирования (процесс внутрикадрового прогнозирования) или процесс прогнозирования с компенсацией движения (процесс межкадрового прогнозирования), а также определения верхнего предела по числу иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяется на блоки. Узел 1 управления кодированием также выполняет процесс выбора режима кодирования, подходящего для каждого из блоков кодирования, на которые иерархически разделяется каждый блок кодирования, имеющий максимальный размер, из одного или более доступных режимов кодирования (одного или более режимов внутреннего кодирования и одного или более режимов взаимного кодирования). Узел 1 управления кодированием дополнительно выполняет процесс определения параметра квантования и размера блока преобразования, которые используются, когда разностное изображение сжимается для каждого блока кодирования, а также определения параметров внутреннего прогнозирования или параметров взаимного прогнозирования, которые используются, когда выполняется процесс прогнозирования для каждого блока кодирования. Параметр квантования и размер блока преобразования включаются в параметры кодирования ошибок прогнозирования, и эти параметры кодирования ошибок прогнозирования выводятся в узел 7 преобразования/квантования, узел 8 обратного преобразования/обратного квантования, узел 13 кодирования переменной длины и т.д. Узел 1 управления кодированием составляет модуль управления кодированием.

[0018] Узел 2 разделения на блоки выполняет процесс, при приеме видеосигнала, показывающего введенное изображение, разделения введенного изображения, показанного посредством видеосигнала, на блоки кодирования, имеющие максимальный размер, определенный посредством узла 1 управления кодированием, а также разделения каждого из блоков кодирования на блоки иерархически до тех пор, пока число иерархических уровней не достигает верхнего предела по числу иерархических уровней, который определяется посредством узла 1 управления кодированием. Узел 2 разделения на блоки составляет модуль разделения на блоки. Избирательный переключатель 3 выполняет процесс, когда режим кодирования, выбранный посредством узла 1 управления кодированием для блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, является режимом внутреннего кодирования, вывода блока кодирования в узел 4 внутреннего прогнозирования, а когда режим кодирования, выбранный посредством узла 1 управления кодированием для блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, является режимом взаимного кодирования, вывода блока кодирования в узел 5 прогнозирования с компенсацией движения.

[0019] Узел 4 внутреннего прогнозирования выполняет процесс, при приеме блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, из избирательного переключателя 3, выполнения процесса внутреннего прогнозирования для блока кодирования для того, чтобы формировать прогнозное изображение посредством использования уже кодированного сигнала изображения в кадре на основе параметров внутреннего прогнозирования, выведенных в него из узла 1 управления кодированием. После формирования вышеуказанного прогнозного изображения узел 4 внутреннего прогнозирования выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, выполняет процесс фильтрации для вышеуказанного прогнозного изображения посредством использования фильтра и выводит прогнозное изображение, для которого узел внутреннего прогнозирования выполняет процесс фильтрации, в узел 6 вычитания и узел 9 суммирования. Узел внутреннего прогнозирования выбирает вышеуказанный фильтр с учетом по меньшей мере одного из следующих четырех параметров:

- Параметр (1)

Размер блока вышеуказанного прогнозного изображения.

- Параметр (2)

Параметр квантования, определенный посредством узла 1 управления кодированием.

- Параметр (3)

Расстояние между уже кодированным сигналом изображения в кадре, который используется при формировании прогнозного изображения, и целевым пикселем, который должен быть фильтрован.

- Параметр (4)

Параметры внутреннего прогнозирования, определенные посредством узла 1 управления кодированием.

Модуль внутреннего прогнозирования состоит из избирательного переключателя 3 и узла 4 внутреннего прогнозирования.

[0020] Узел 5 прогнозирования с компенсацией движения выполняет процесс, когда режим взаимного кодирования выбирается посредством узла 1 управления кодированием в качестве режима кодирования, подходящего для блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, выполнения процесса прогнозирования с компенсацией движения для блока кодирования для того, чтобы формировать прогнозное изображение посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 12 кадров прогнозирования с компенсацией движения, на основе параметров взаимного прогнозирования, выведенных в него из узла 1 управления кодированием. Модуль прогнозирования с компенсацией движения состоит из избирательного переключателя 3 и узла 5 прогнозирования с компенсацией движения.

[0021] Узел 6 вычитания выполняет процесс вычитания прогнозного изображения, сформированного посредством узла 4 внутреннего прогнозирования или узла 5 прогнозирования с компенсацией движения, из блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, чтобы формировать разностное изображение (=блок кодирования - прогнозное изображение). Узел 6 вычитания составляет модуль формирования разностных изображений. Узел 7 преобразования/квантования осуществляет процесс выполнения процесса преобразования (например, процесс DCT (дискретного косинусного преобразования) или ортогонального преобразования, такого как KL-преобразование, в котором основания рассчитываются для конкретной последовательности обучения заранее) для разностного сигнала, сформированного посредством узла 6 вычитания, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок прогнозирования, выведенные в него из узла 1 управления кодированием, а также квантования коэффициентов преобразования разностного изображения посредством использования параметра квантования, включенного в параметры кодирования ошибок прогнозирования, чтобы выводить коэффициенты преобразования, квантованные таким образом, в качестве сжатых данных разностного изображения. Узел 7 преобразования/квантования составляет модуль сжатия изображений.

[0022] Узел 8 обратного преобразования/обратного квантования выполняет процесс обратного квантования сжатых данных, выведенных в него из узла 7 преобразования/квантования, посредством использования параметра квантования, включенного в параметры кодирования ошибок прогнозирования, выведенные в него из узла 1 управления кодированием, и выполнения процесса обратного преобразования (например, процесса обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок прогнозирования, чтобы выводить сжатые данные, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в качестве локального декодированного сигнала ошибки прогнозирования.

[0023] Узел 9 суммирования выполняет процесс суммирования локального декодированного сигнала ошибки прогнозирования, выведенного в него из узла 8 обратного преобразования/обратного квантования, и прогнозного сигнала, показывающего прогнозное изображение, сформированное посредством узла 4 внутреннего прогнозирования или узла 5 прогнозирования с компенсацией движения для того, чтобы формировать сигнал локального декодированного изображения, показывающий локальное декодированное изображение. Запоминающее устройство 10 для внутреннего прогнозирования является носителем записи, таким как RAM, для сохранения локального декодированного изображения, показанного посредством сигнала локального декодированного изображения, сформированного посредством узла 9 суммирования, в качестве изображения, которое узел 4 внутреннего прогнозирования использует при выполнении процесса внутреннего прогнозирования в следующий раз.

[0024] Узел 11 контурного фильтра выполняет процесс компенсации искажения при кодировании, включенного в сигнал локального декодированного изображения, сформированный посредством узла 9 суммирования, и вывода локального декодированного изображения, показанного посредством сигнала локального декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающее устройство 12 кадров прогнозирования с компенсацией движения в качестве опорного изображения. Запоминающее устройство 12 кадров прогнозирования с компенсацией движения является носителем записи, таким как RAM, для сохранения локального декодированного изображения, для которого узел 11 контурного фильтра выполняет процесс фильтрации, в качестве опорного изображения, которое узел 5 прогнозирования с компенсацией движения использует при выполнении процесса прогнозирования с компенсацией движения в следующий раз.

[0025] Узел 13 кодирования переменной длины выполняет процесс кодирования переменной длины сжатых данных, выведенных в него из узла 7 преобразования/квантования, режима кодирования и параметров кодирования ошибок прогнозирования, которые выводятся в него из узла 1 управления кодированием, и параметров внутреннего прогнозирования, выведенных в него из узла 4 внутреннего прогнозирования, или параметров взаимного прогнозирования, выведенных в него из узла 5 прогнозирования с компенсацией движения для того, чтобы формировать поток битов, в который мультиплексируются кодированные данные сжатых данных, кодированные данные режима кодирования, кодированные данные параметров кодирования ошибок прогнозирования и кодированные данные параметров внутреннего прогнозирования или параметров взаимного прогнозирования. Узел 13 кодирования переменной длины составляет модуль кодирования переменной длины.

[0026] Фиг.2 является блок-схемой, показывающей устройство декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения. Ссылаясь на фиг.2, узел 51 декодирования переменной длины выполняет процесс декодирования переменной длины кодированных данных, мультиплексированных в поток битов, чтобы получать сжатые данные, режим кодирования, параметры кодирования ошибок прогнозирования и параметры внутреннего прогнозирования или параметры взаимного прогнозирования, которые ассоциированы с каждым блоком кодирования, на которые разделяется каждый видеокадр иерархически, и вывода сжатых данных и параметров кодирования ошибок прогнозирования в узел 55 обратного преобразования/обратного квантования, а также вывода режима кодирования и параметров внутреннего прогнозирования или параметров взаимного прогнозирования в избирательный переключатель 52. Узел 51 декодирования переменной длины составляет модуль декодирования переменной длины.

[0027] Избирательный переключатель 52 выполняет процесс, когда режим кодирования, ассоциированный с блоком кодирования, который выводится из узла 51 декодирования переменной длины, является режимом внутреннего кодирования, вывода параметров внутреннего прогнозирования, выведенных в него из узла 51 декодирования переменной длины, в узел 53 внутреннего прогнозирования, а когда режим кодирования является режимом взаимного кодирования, вывода параметров взаимного прогнозирования, выведенных в него из узла 51 декодирования переменной длины, в узел 54 прогнозирования с компенсацией движения.

[0028] Узел 53 внутреннего прогнозирования осуществляет процесс выполнения процесса внутрикадрового прогнозирования для блока кодирования для того, чтобы формировать прогнозное изображение посредством использования уже декодированного сигнала изображения в кадре на основе параметров внутреннего прогнозирования, выведенных в него из избирательного переключателя 52. После формирования вышеуказанного прогнозного изображения узел 53 внутреннего прогнозирования выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с декодированием целевого блока, который должен быть фильтрован, выполняет процесс фильтрации для вышеуказанного прогнозного изображения посредством использования фильтра и выводит прогнозное изображение, для которого узел внутреннего прогнозирования выполняет процесс фильтрации, в узел 56 суммирования. Узел внутреннего прогнозирования выбирает вышеуказанный фильтр с учетом по меньшей мере одного из следующих четырех параметров:

- Параметр (1)

Размер блока вышеуказанного прогнозного изображения.

- Параметр (2)

Параметр квантования, декодированный на основе кода переменной длины посредством узла 51 декодирования переменной длины.

- Параметр (3)

Расстояние между уже декодированным сигналом изображения в кадре, который используется при формировании прогнозного изображения, и целевым пикселем, который должен быть фильтрован.

- Параметр (4)

Параметры внутреннего прогнозирования, декодированные на основе кода переменной длины посредством узла 51 декодирования переменной длины.

Модуль внутреннего прогнозирования состоит из избирательного переключателя 52 и узла 53 внутреннего прогнозирования.

[0029] Узел 54 прогнозирования с компенсацией движения осуществляет процесс выполнения процесса прогнозирования с компенсацией движения для блока кодирования для того, чтобы формировать прогнозное изображение посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 59 кадров прогнозирования с компенсацией движения, на основе параметров взаимного прогнозирования, выведенных в него из избирательного переключателя 52. Модуль прогнозирования с компенсацией движения состоит из избирательного переключателя 52 и узла 54 прогнозирования с компенсацией движения.

[0030] Узел 55 обратного преобразования/обратного квантования выполняет процесс обратного квантования сжатых данных, ассоциированных с блоком кодирования, который выводится в него из узла 51 декодирования переменной длины, посредством использования параметра квантования, включенного в параметры кодирования ошибок прогнозирования, выведенные в него из узла 51 декодирования переменной длины, и выполнения процесса обратного преобразования (например, процесса обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметрах кодирования ошибок прогнозирования, и вывода сжатых данных, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в качестве декодированного сигнала ошибки прогнозирования (сигнала, показывающего предварительно сжатое разностное изображение). Узел 55 обратного преобразования/обратного квантования составляет модуль формирования разностных изображений.

[0031] Узел 56 суммирования выполняет процесс суммирования декодированного сигнала ошибки прогнозирования, выведенного в него из узла 55 обратного преобразования/обратного квантования, и прогнозного сигнала, показывающего прогнозное изображение, сформированное посредством узла 53 внутреннего прогнозирования или узла 54 прогнозирования с компенсацией движения для того, чтобы формировать сигнал декодированного изображения, показывающий декодированное изображение. Узел 56 суммирования составляет модуль формирования декодированных изображений. Запоминающее устройство 57 для внутреннего прогнозирования является носителем записи, таким как RAM, для сохранения декодированного изображения, показанного посредством сигнала декодированного изображения, сформированного посредством узла 56 суммирования, в качестве изображения, которое узел 53 внутреннего прогнозирования использует при выполнении процесса внутреннего прогнозирования в следующий раз.

[0032] Узел 58 контурного фильтра выполняет процесс компенсации искажения при кодировании, включенного в сигнал декодированного изображения, сформированный посредством узла 56 суммирования, и вывода декодированного изображения, показанного посредством сигнала декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающее устройство 59 кадров прогнозирования с компенсацией движения в качестве опорного изображения. Запоминающее устройство 59 кадров прогнозирования с компенсацией движения является носителем записи, таким как RAM, для сохранения декодированного изображения, для которого узел 58 контурного фильтра выполняет процесс фильтрации, в качестве опорного изображения, которое узел 54 прогнозирования с компенсацией движения использует при выполнении процесса прогнозирования с компенсацией движения в следующий раз.

[0033] В примере, показанном на фиг.1, узел 1 управления кодированием, узел 2 разделения на блоки, избирательный переключатель 3, узел 4 внутреннего прогнозирования, узел 5 прогнозирования с компенсацией движения, узел 6 вычитания, узел 7 преобразования/квантования, узел 8 обратного преобразования/обратного квантования, узел 9 суммирования, узел 11 контурного фильтра и узел 13 кодирования переменной длины, которые являются компонентами устройства кодирования движущихся изображений, могут состоять из элементов аппаратных средств для монопольного использования (например, интегральных схем, в каждой из которых установлен CPU, однокристальных микрокомпьютеров и т.п.), соответственно. В качестве альтернативы, устройство кодирования движущихся изображений может состоять из компьютера, и программа, в которой описываются процессы, выполняемые посредством узла 1 управления кодированием, узла 2 разделения на блоки, избирательного переключателя 3, узла 4 внутреннего прогнозирования, узла 5 прогнозирования с компенсацией движения, узла 6 вычитания, узла 7 преобразования/квантования, узла 8 обратного квантования/обратного преобразования, узла 9 суммирования, узла 11 контурного фильтра и узла 13 кодирования переменной длины, может быть сохранена в запоминающем устройстве компьютера, и CPU компьютера может быть выполнен с возможностью исполнять программу, сохраненную в запоминающем устройстве. Фиг.3 является блок-схемой последовательности операций способа, показывающей обработку, выполняемую посредством устройства кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

[0034] В примере, показанном на фиг.2, узел 51 декодирования переменной длины, избирательный переключатель 52, узел 53 внутреннего прогнозирования, узел 54 прогнозирования с компенсацией движения, узел 55 обратного преобразования/обратного квантования, узел 56 суммирования и узел 58 контурного фильтра, которые являются компонентами устройства декодирования движущихся изображений, могут состоять из элементов аппаратных средств для монопольного использования (например, интегральных схем, в каждой из которых установлен CPU, однокристальных микрокомпьютеров и т.п.), соответственно. В качестве альтернативы, устройство декодирования движущихся изображений может состоять из компьютера, и программа, в которой описываются процессы, выполняемые посредством узла 51 декодирования переменной длины, избирательного переключателя 52, узла 53 внутреннего прогнозирования, узла 54 прогнозирования с компенсацией движения, узла 55 обратного преобразования/обратного квантования, узла 56 суммирования и узла 58 контурного фильтра, может быть сохранена в запоминающем устройстве компьютера, и CPU компьютера может быть выполнен с возможностью исполнять программу, сохраненную в запоминающем устройстве. Фиг.4 является блок-схемой последовательности операций способа, показывающей обработку, выполняемую посредством устройства декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

[0035] Далее поясняется работа устройства кодирования движущихся изображений и работа устройства декодирования движущихся изображений. Во-первых, поясняется обработка, выполняемая посредством устройства кодирования движущихся изображений, показанного на фиг.1. Во-вторых, узел 1 управления кодированием определяет максимальный размер каждого из блоков кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс внутреннего прогнозирования (процесс внутрикадрового прогнозирования) или процесс прогнозирования с компенсацией движения (процесс межкадрового прогнозирования), а также определяет верхний предел по числу иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяется на блоки (этап ST1 по фиг.3).

[0036] В качестве способа определения максимального размера каждого из блоков кодирования, например, рассматривается способ определения максимального размера для всех изображений согласно разрешению введенного изображения. Дополнительно, может рассматриваться способ количественного определения изменения в сложности локального перемещения введенного изображения в качестве параметра и затем определения небольшого размера для изображения, имеющего большое и интенсивное перемещение, при определении большого размера для изображения, имеющего небольшое перемещение. В качестве способа определения верхнего предела по числу иерархических уровней, например, может рассматриваться способ увеличения глубины иерархии, т.е. числа иерархических уровней, чтобы позволить обнаруживать более точное перемещение по мере того, как введенное изображение имеет большее и более интенсивное перемещение, или снижения глубины иерархии, т.е. числа иерархических уровней по мере того, как введенное изображение имеет меньшее перемещение.

[0037] Узел 1 управления кодированием также выбирает режим кодирования, подходящий для каждого из блоков кодирования, на которые иерархически разделяется каждый блок кодирования, имеющий максимальный размер, из одного или более доступных режимов кодирования (M режимов внутреннего кодирования и N режимов взаимного кодирования) (этап ST2). Хотя опускается подробное пояснение способа выбора режима кодирования для использования в узле 1 управления кодированием, поскольку способ выбора является известной технологией, предусмотрен способ выполнения процесса кодирования для блока кодирования посредством использования произвольного доступного режима кодирования, например, чтобы анализировать эффективность кодирования и выбирать режим кодирования, имеющий самый высокий уровень эффективности кодирования, из множества доступных режимов кодирования.

[0038] Узел 1 управления кодированием дополнительно определяет параметр квантования и размер блока преобразования, которые используются, когда разностное изображение сжимается для каждого блока кодирования, а также определяет параметры внутреннего прогнозирования или параметры взаимного прогнозирования, которые используются, когда выполняется процесс прогнозирования. Узел 1 управления кодированием выводит параметры кодирования ошибок прогнозирования, включающие в себя параметр квантования и размер блока преобразования, в узел 7 преобразования/квантования, узел 8 обратного преобразования/обратного квантования и узел 13 кодирования переменной длины. Узел управления кодированием также выводит параметры кодирования ошибок прогнозирования в узел 4 внутреннего прогнозирования по мере необходимости.

[0039] При приеме видеосигнала, показывающего введенное изображение, узел 2 разделения на блоки разделяет введенное изображение, показанное посредством видеосигнала, на блоки кодирования, имеющие максимальный размер, определенный посредством узла 1 управления кодированием, а также разделяет каждый из блоков кодирования на блоки иерархически до тех пор, пока число иерархических уровней не достигает верхнего предела по числу иерархических уровней, который определяется посредством узла 1 управления кодированием. Фиг.5 является пояснительным чертежом, показывающим состояние, в котором каждый блок кодирования, имеющий максимальный размер, иерархически разделяется на множество блоков кодирования. В примере по фиг.5, каждый блок кодирования, имеющий максимальный размер, является блоком B₀ кодирования на нулевом иерархическом уровне, и его компонент сигнала яркости имеет размер (L⁰, M⁰). Дополнительно, в примере по фиг.5, посредством выполнения иерархического разделения, когда этот блок B₀ кодирования, имеющий максимальный размер, задается как начальная точка до тех пор, пока глубина иерархии не достигает предварительно определенной глубины, которая задается отдельно согласно структуре в виде дерева квадрантов, могут быть получены блоки Bⁿ кодирования.

[0040] На глубине n каждый блок Bⁿ кодирования является областью изображения, имеющей размер (Lⁿ, Mⁿ). Хотя Lⁿ может быть идентичным или отличаться от Mⁿ, случай Lⁿ=Mⁿ показывается в примере по фиг.5. Далее, размер каждого блока Bⁿ кодирования задается как размер (Lⁿ, Mⁿ) в компоненте сигнала яркости блока Bⁿ кодирования.

[0041] Поскольку узел 2 разделения на блоки выполняет разделение на дерево квадрантов, (Lⁿ⁺¹, Mⁿ⁺¹)=(Lⁿ/2, Mⁿ/2) всегда устанавливается. В случае сигнала цветного видеоизображения (формат 4:4:4), в котором все цветовые компоненты имеют идентичное число выборок, к примеру RGB-сигнала, все цветовые компоненты имеют размер (Lⁿ, Mⁿ), в то время как в случае обработки формата 4:2:0, соответствующий цветоразностный компонент имеет размер блока кодирования (Lⁿ/2, Mⁿ/2). Далее, режим кодирования, выбираемый для каждого блока Bⁿ кодирования в n-м иерархическом уровне, выражается как m(Bⁿ).

[0042] В случае цветового видеосигнала, который состоит из множества цветовых компонентов, режим m(Bⁿ) кодирования может формироваться таким образом, что отдельный режим используется для каждого цветового компонента. Далее, пояснение приводится посредством допущения, что режим m(Bⁿ) кодирования указывает режим для компонента сигнала яркости каждого блока кодирования, имеющего формат 4:2:0 в YUV-сигнале, если не указано иное. Режим m(Bⁿ) кодирования может быть одним из одного или более режимов внутреннего кодирования (в общем, называемых "внутренними") и одного или более режимов взаимного кодирования (в общем, называемых "взаимными"), и узел 1 управления кодированием выбирает, в качестве режима m(Bⁿ) кодирования, режим кодирования с наибольшей степенью эффективности кодирования для каждого блока Bⁿ кодирования, из всех режимов кодирования, доступных в текущем обрабатываемом изображении, или из поднабора этих режимов кодирования, как упомянуто выше.

[0043] Каждый блок Bⁿ кодирования дополнительно разделяется на одну или более единиц прогнозирования (фрагментов) посредством узла разделения на блоки, как показано на фиг.5. Далее, каждый фрагмент, принадлежащий каждому блоку Bⁿ кодирования, выражается как P_i ⁿ (i показывает номер фрагмента в n-м иерархическом уровне). То, как выполняется разделение каждого блока Bⁿ кодирования на фрагменты P_i ⁿ, принадлежащие блоку Bⁿ кодирования, включается в качестве информации в режиме m(Bⁿ) кодирования. Хотя процесс прогнозирования выполняется для каждого из всех фрагментов P_i ⁿ согласно режиму m(Bⁿ) кодирования, отдельный параметр прогнозирования может быть выбран для каждого фрагмента P_i ⁿ.

[0044] Узел 1 управления кодированием формирует такое состояние разделения на блоки, как показано, например, на фиг.6 для блока кодирования, имеющего максимальный размер, и затем определяет блоки Bⁿ кодирования. Заштрихованные части, показанные на фиг.6(a), показывают распределение фрагментов, на которые разделяется каждый блок кодирования, имеющий максимальный размер, и фиг.6(b) показывает случай, в котором режимы m(Bⁿ) кодирования, соответственно, назначаются фрагментам, сформированным через разделение на иерархические уровни посредством использования графа в виде дерева квадрантов. Каждый узел, обведенный посредством □, показанного на фиг.6(b), представляет собой узел (блок Bⁿ кодирования), которому назначается режим m(Bⁿ) кодирования.

[0045] Когда узел 1 управления кодированием выбирает оптимальный режим m(Bⁿ) кодирования для каждого фрагмента P_i ⁿ каждого блока Bⁿ кодирования и режим m(Bⁿ) кодирования является режимом внутреннего кодирования (этап ST3), избирательный переключатель 3 выводит фрагмент P_i ⁿ блока Bⁿ кодирования, который формируется через разделение посредством узла 2 разделения на блоки, в узел 4 внутреннего прогнозирования. Напротив, когда режим m(Bⁿ) кодирования является режимом взаимного кодирования (этап ST3), избирательный переключатель выводит фрагмент P_i ⁿ блока Bⁿ кодирования, который формируется через разделение посредством узла 2 разделения на блоки, в узел 5 прогнозирования с компенсацией движения.

[0046] При приеме фрагмента P_i ⁿ блока Bⁿ кодирования из избирательного переключателя 3 узел 4 внутреннего прогнозирования выполняет процесс внутреннего прогнозирования для фрагмента P_i ⁿ блока Bⁿ кодирования для того, чтобы формировать изображение P_i ⁿ внутреннего прогнозирования посредством использования уже кодированного сигнала изображения в кадре на основе параметров внутреннего прогнозирования, выведенных в него из узла 1 управления кодированием (этап ST4). После формирования вышеуказанного изображения P_i ⁿ внутреннего прогнозирования узел 4 внутреннего прогнозирования выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, и выполняет процесс фильтрации для изображения P_i ⁿ внутреннего прогнозирования посредством использования фильтра. После выполнения процесса фильтрации для изображения P_i ⁿ внутреннего прогнозирования узел 4 внутреннего прогнозирования выводит изображение P_i ⁿ внутреннего прогнозирования, для которого узел внутреннего прогнозирования выполняет процесс фильтрации, в узел 6 вычитания и узел 9 суммирования. Чтобы предоставлять возможность устройству декодирования движущихся изображений, показанному на фиг.2, также позволять формировать идентичное изображение P_i ⁿ внутреннего прогнозирования, узел внутреннего прогнозирования выводит параметры внутреннего прогнозирования в узел 13 кодирования переменной длины. Структура процесса, выполняемого посредством узла 4 внутреннего прогнозирования, является такой, как упомянуто выше, и подробности этого процесса упоминаются ниже.

[0047] При приеме фрагмента P_i ⁿ блока Bⁿ кодирования из избирательного переключателя 3 узел 5 прогнозирования с компенсацией движения выполняет процесс прогнозирования с компенсацией движения для фрагмента P_i ⁿ блока Bⁿ кодирования для того, чтобы формировать изображение P_i ⁿ взаимного прогнозирования посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 12 кадров прогнозирования с компенсацией движения, на основе параметров взаимного прогнозирования, выведенных в него из узла 1 управления кодированием (этап ST5). Поскольку технология выполнения процесса прогнозирования с компенсацией движения для того, чтобы формировать прогнозное изображение, известна, подробное пояснение этой технологии далее опускается.

[0048] После того как узел 4 внутреннего прогнозирования или узел 5 прогнозирования с компенсацией движения формирует прогнозное изображение (изображение P_i ⁿ внутреннего прогнозирования или изображение P_i ⁿ взаимного прогнозирования), узел 6 вычитания вычитает прогнозное изображение (изображение P_i ⁿ внутреннего прогнозирования или изображение P_i ⁿ взаимного прогнозирования), сформированное посредством узла 4 внутреннего прогнозирования или узла 5 прогнозирования с компенсацией движения, из фрагмента P_i ⁿ блока Bⁿ кодирования, который формируется через разделение посредством узла 2 разделения на блоки, чтобы формировать разностное изображение, и выводит сигнал e_i ⁿ ошибки прогнозирования, показывающий разностное изображение, в узел 7 преобразования/квантования (этап ST6).

[0049] При приеме сигнала e_i ⁿ ошибки прогнозирования, показывающего разностное изображение, из узла 6 вычитания, узел 7 преобразования/квантования выполняет процесс преобразования (например, процесс DCT (дискретного косинусного преобразования) или ортогонального преобразования, такого как KL-преобразование, в котором основания рассчитываются для конкретной последовательности обучения заранее) для разностного изображения, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок прогнозирования, выведенные в него из узла 1 управления кодированием, и квантует коэффициенты преобразования разностного изображения посредством использования параметра квантования, включенного в параметры кодирования ошибок прогнозирования, и выводит коэффициенты преобразования, квантованные таким образом, в узел 8 обратного преобразования/обратного квантования и узел 13 кодирования переменной длины в качестве сжатых данных разностного изображения (этап ST7).

[0050] При приеме сжатых данных разностного изображения из узла 7 преобразования/квантования узел 8 обратного преобразования/обратного квантования обратно квантует сжатые данные разностного изображения посредством использования параметра квантования, включенного в параметры кодирования ошибок прогнозирования, выведенные в него из узла 1 управления кодированием, выполняет процесс обратного преобразования (например, процесс обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок прогнозирования, и выводит сжатые данные, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в узел 9 суммирования в качестве локального декодированного сигнала e_i ⁿ "шляпка" ошибки прогнозирования ("^", присоединенный к букве алфавита, выражается как "шляпка" по причинам ограничений в электронных приложениях) (этап ST8).

[0051] При приеме локального декодированного сигнала e_i ⁿ "шляпка" ошибки прогнозирования из узла 8 обратного преобразования/обратного квантования узел 9 суммирования суммирует локальный декодированный сигнала e_i ⁿ "шляпка" ошибки прогнозирования и прогнозный сигнал, показывающий прогнозное изображение (изображение P_i ⁿ внутреннего прогнозирования или изображение P_i ⁿ взаимного прогнозирования), сформированное посредством узла 4 внутреннего прогнозирования или узла 5 прогнозирования с компенсацией движения для того, чтобы формировать локальное декодированное изображение, которое является локальным декодированным изображением P_i ⁿ "шляпка" фрагмента, или локальное декодированное изображение блока кодирования, которое является группой локальных декодированных изображений фрагментов (этап ST9). После формирования локального декодированного изображения узел 9 суммирования сохраняет сигнал локального декодированного изображения, показывающий локальное декодированное изображение, в запоминающем устройстве 10 для внутреннего прогнозирования, а также выводит сигнал локального декодированного изображения в узел 11 контурного фильтра.

[0052] Устройство кодирования движущихся изображений многократно выполняет процессы этапов ST3-ST9 до тех пор, пока устройство кодирования движущихся изображений не завершает обработку для всех блоков Bⁿ кодирования, на которые иерархически разделяется введенное изображение, и при завершении обработки для всех блоков Bⁿ кодирования переходит к процессу этапа ST12 (этапы ST10 и ST11).

[0053] Узел 13 кодирования переменной длины энтропийно кодирует сжатые данные, выведенные в него из узла 7 преобразования/квантования, режим кодирования (включающие в себя информацию, показывающую состояние разделения на блоки кодирования), и параметры кодирования ошибок прогнозирования, которые выводятся в него из узла 1 управления кодированием, и параметры внутреннего прогнозирования, выведенные в него из узла 4 внутреннего прогнозирования, или параметры взаимного прогнозирования, выведенные в него из узла 5 прогнозирования с компенсацией движения. Узел 13 кодирования переменной длины мультиплексирует кодированные данные, которые являются кодированными результатами энтропийного кодирования сжатых данных, режима кодирования, параметров кодирования ошибок прогнозирования и параметров внутреннего прогнозирования или параметров взаимного прогнозирования, чтобы формировать поток битов (этап ST12).

[0054] При приеме сигнала локального декодированного изображения из узла 9 суммирования узел 11 контурного фильтра компенсирует искажение при кодировании, включенное в сигнал локального декодированного изображения, и сохраняет локальное декодированное изображение, показанное посредством сигнала локального декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающем устройстве 12 кадров прогнозирования с компенсацией движения в качестве опорного изображения (этап ST13). Узел 11 контурного фильтра может выполнять процесс фильтрации для каждого блока кодирования, имеющего максимальный размер сигнала локального декодированного изображения, выведенного в него из узла 9 суммирования, либо для каждого блока кодирования сигнала локального декодированного изображения или для каждой единицы, которая является комбинацией множества блоков кодирования, имеющих максимальный размер. В качестве альтернативы, после того как выводится одно изображение сигналов локальных декодированных изображений, узел контурного фильтра может выполнять процесс фильтрации для изображения сигналов локальных декодированных изображений в то время.

[0055] Далее подробнее поясняется процесс, выполняемый посредством модуля 4 внутреннего прогнозирования. Фиг.7 является пояснительным чертежом, показывающим пример параметров внутреннего прогнозирования (режима внутреннего прогнозирования), которые могут быть выбраны для каждого фрагмента P_i ⁿ в блоке Bⁿ кодирования. В примере, показанном на фиг.7, показаны режимы внутреннего прогнозирования и векторы направления прогнозирования, представленные посредством каждого из режимов внутреннего прогнозирования, и согласно проведенным расчетам относительный угол между векторами направления прогнозирования становится небольшим с увеличением числа выбираемых режимов внутреннего прогнозирования.

[0056] Узел 4 внутреннего прогнозирования выполняет процесс внутреннего прогнозирования для фрагмента P_i ⁿ на основе параметров внутреннего прогнозирования для фрагмента P_i ⁿ и параметра выбора для фильтра, который узел внутреннего прогнозирования использует для формирования изображения P_i ⁿ внутреннего прогнозирования. Далее поясняется внутренний процесс формирования внутреннего прогнозного сигнала для сигнала яркости на основе параметров внутреннего прогнозирования (режима внутреннего прогнозирования) для сигнала яркости фрагмента P_i ⁿ.

[0057] Далее предполагается, что фрагмент P_i ⁿ имеет размер в l_i ⁿ×m_i ⁿ пикселей. Фиг.8 является пояснительным чертежом, показывающим пример пикселей, которые используются при формировании прогнозированного значения каждого пикселя в фрагменте P_i ⁿ в случае l_i ⁿ=m_i ⁿ=4. Хотя (2×l_i ⁿ+1) пикселей в уже кодированном верхнем фрагменте, который является смежным с фрагментом P_i ⁿ, и (2×m_i ⁿ) пикселей в уже кодированном левом фрагменте, который является смежным с фрагментом P_i ⁿ, задаются как пиксели, используемые для прогнозирования в примере по фиг.8, для прогнозирования может использоваться большее или меньшее число пикселей, чем пиксели, показанные на фиг.8. Дополнительно, хотя одна строка или столбец пикселей, смежных с фрагментом, используется для прогнозирования в примере, показанном на фиг.8, две или более строк или столбцов пикселей, смежных с фрагментом, альтернативно могут быть использованы для прогнозирования.

[0058] Когда значение индекса, указывающее режим внутреннего прогнозирования для фрагмента P_i ⁿ, равно 2 (прогнозирование по среднему), модуль внутреннего прогнозирования формирует прогнозное изображение посредством использования среднего смежных пикселей в верхнем фрагменте и смежных пикселей в левом фрагменте в качестве прогнозированного значения каждого пикселя в фрагменте P_i ⁿ. Когда значение индекса, указывающее режим внутреннего прогнозирования, отличается от 2 (прогнозирование по среднему), узел внутреннего прогнозирования формирует прогнозированное значение каждого пикселя в фрагменте P_i ⁿ на основе вектора направления прогнозирования v_p=(dx, dy), показанного посредством значения индекса. В этом случае, относительная координата пикселя (пиксель в верхнем левом углу фрагмента задается как точка начала), для которого должно быть сформировано прогнозированное значение (целевого пикселя для прогнозирования) в фрагменте P_i ⁿ, выражается как (x, y). Каждый опорный пиксель, который используется для прогнозирования, находится в точке пересечения A, показанного ниже, и смежного пикселя.

где k является положительным скалярным значением.

[0059] Когда опорный пиксель находится в целопиксельной позиции, целочисленный пиксель задается как прогнозированное значение целевого пикселя для прогнозирования. Напротив, когда опорный пиксель не находится в целопиксельной позиции, интерполяционный пиксель, который формируется из целочисленного пикселя, смежного с опорным пикселем, задается как прогнозированное значение целевого пикселя для прогнозирования. В примере, показанном на фиг.8, поскольку опорный пиксель не находится в целопиксельной позиции, прогнозированное значение интерполируется из значений двух пикселей, смежных с опорным пикселем. Тем не менее, интерполяция прогнозированного значения не ограничивается интерполяцией из значений двух смежных пикселей, и интерполяционный пиксель может быть сформирован из двух или более смежных пикселей, и значение этого интерполяционного пикселя может задаваться как прогнозированное значение.

[0060] Затем, узел внутреннего прогнозирования получает конечное прогнозное изображение посредством выполнения процесса фильтрации для промежуточного прогнозного изображения (прогнозированного значения), сформированного согласно вышеуказанной процедуре. Далее подробно поясняется процесс фильтрации.

[0061] Узел внутреннего прогнозирования выбирает фильтр, который должен быть использован, из одного или более фильтров, которые подготавливаются заранее, посредством использования способа, который упоминается ниже, и выполняет процесс фильтрации для каждого пикселя промежуточного прогнозного изображения согласно следующему уравнению (1).

[0062] В уравнении (1), a_n (n=0, 1,..., N) являются коэффициентами фильтрации, которые состоят из коэффициентов (a₀, a₁,..., a_N-1), ассоциированных с опорными пикселями, и коэффициента a_N смещения. P_n (n=0, 1,..., N-1) показывает опорные пиксели фильтра, включающие в себя целевой пиксель p₀, который должен фильтроваться. S(p_n) показывает значение яркости каждого опорного пикселя, и s "шляпка" (p₀) показывает значение яркости целевого пикселя p₀, который должен фильтроваться, для которого выполнен процесс фильтрации. Коэффициенты фильтрации могут формироваться так, что они не включают в себя коэффициент a_N смещения. Дополнительно, N является произвольным числом опорных пикселей. Фиг.9 является пояснительным чертежом, показывающим пример компоновки опорных пикселей в случае N=5.

[0063] При выполнении вышеуказанного процесса фильтрации нелинейный край и т.п. возникает проще во введенном изображении, и, следовательно, смещение от направления прогнозирования промежуточного прогнозного изображения возникает проще с увеличением размера (l_i ⁿ×m_i ⁿ) фрагмента P_i ⁿ. Следовательно, предпочтительно сглаживать промежуточное прогнозное изображение. Помимо этого, чем большее квантованное значение имеет ошибка прогнозирования, тем большее искажение при квантовании возникает в декодированном изображении, и, следовательно, тем меньшую степень точности прогнозирования имеет промежуточное прогнозное изображение, сформированное из уже кодированных пикселей, которые являются смежными с фрагментом P_i ⁿ. Следовательно, предпочтительно подготавливать сглаженное прогнозное изображение, которое примерно выражает фрагмент P_i ⁿ. Дополнительно, даже пиксель в идентичном фрагменте P_i ⁿ имеет смещение, такое как край, возникающий проще между промежуточным прогнозным изображением и введенным изображением с расстоянием от уже кодированных пикселей, смежных с фрагментом P_i ⁿ, которые используются для формирования промежуточного прогнозного изображения. Следовательно, предпочтительно сглаживать прогнозное изображение, чтобы подавлять быстрое увеличение ошибки прогнозирования, которая вызывается, когда возникает смещение. Помимо этого, необходимо не только менять интенсивность фильтра, но также и размещать опорные пиксели фильтра надлежащим образом согласно направлению прогнозирования промежуточного прогнозного изображения, тем самым не допуская противоестественное искажение шаблона, такого как край промежуточного прогнозного изображения.

[0064] Следовательно, процесс выбора фильтра конфигурируется таким образом, чтобы выбирать фильтр с учетом четырех следующих параметров (1)-(4).

(1) Размер фрагмента P_i ⁿ (l_i ⁿ×m_i ⁿ).

(2) Параметр квантования, включенный в параметры кодирования ошибок прогнозирования.

(3) Расстояние между группой уже кодированных пикселей ("пикселей, которые используются для прогнозирования", показанных на фиг.8), которые используются во время формирования промежуточного прогнозного изображения, и целевым пикселем, который должен быть фильтрован.

(4) Значение индекса, указывающее режим внутреннего прогнозирования во время формирования промежуточного прогнозного изображения.

[0065] Более конкретно, процесс выбора фильтра конфигурируется таким образом, что фильтр, имеющий более высокую степень интенсивности сглаживания, используется с увеличением размера (l_i ⁿ×m_i ⁿ) фрагмента P_i ⁿ, с увеличением квантованного значения, определенного посредством параметра квантования, и с расстоянием между целевым пикселем, который должен быть фильтрован, и группой уже кодированных пикселей, которые находятся на левой стороне и на верхней стороне фрагмента P_i ⁿ и которые используются во время формирования промежуточного прогнозного изображения, и фильтр имеет степень интенсивности фильтра, которая определяется с учетом направления прогнозирования в режиме внутреннего прогнозирования, и опорные пиксели размещаются с учетом направления прогнозирования в режиме внутреннего прогнозирования. Более конкретно, адаптивный выбор фильтра согласно вышеуказанным параметрам реализуется посредством приведения надлежащего фильтра, выбранного из группы фильтров, которые подготавливаются заранее, в соответствие с каждой из комбинаций вышеуказанных параметров. Тем не менее, любое число выбираемых степеней интенсивности фильтра может предоставляться при условии, что это число равняется двум или больше, и процесс фильтрации, эквивалентный отсутствию фильтрации, может задаваться в качестве выражения для фильтра, имеющего наименьшую степень интенсивности сглаживания. Следовательно, процесс фильтрации может быть сконфигурирован таким образом, что процесс фильтрации выполняется только для конкретных пикселей в промежуточном прогнозном изображении, а процесс фильтрации, имеющий наименьшую степень интенсивности сглаживания, т.е. отсутствие фильтрации, выполняется для всех остальных пикселей. Хотя вышеприведенное пояснение приводится при условии, что необходимое число фильтров подготавливается заранее, фильтр альтернативно может быть задан в качестве функции от вышеуказанных параметров выбора фильтра таким образом, что фильтр определяется согласно значениям вышеуказанных параметров выбора фильтра.

[0066] Хотя пример выбора фильтра с учетом четырех параметров (1)-(4) показывается в вышеприведенном пояснении, фильтр альтернативно может быть выбран с учетом по меньшей мере одного из четырех параметров (1)-(4). В случае рассмотрения (3) и (4) из вышеуказанных четырех параметров в качестве примера, может предоставляться структура выбора фильтра, имеющего более высокую степень интенсивности с расстоянием от пикселя, используемого для прогнозирования каждого целевого пикселя, который должен быть фильтрован, согласно направлению прогнозирования в режиме внутреннего прогнозирования (расстоянием от "опорного пикселя", который является смежным с верхним концом блока в примере, показанном на фиг.8). Дополнительно, поскольку четыре параметра (1)-(4) известны в устройстве декодирования движущихся изображений, выполнение вышеуказанного процесса фильтрации не приводит к кодированию дополнительной информации.

[0067] Узел внутреннего прогнозирования формирует прогнозный пиксель для каждого из всех пикселей сигнала яркости в фрагменте P_i ⁿ согласно идентичной процедуре, чтобы формировать изображение P_i ⁿ внутреннего прогнозирования, и выводит изображение P_i ⁿ внутреннего прогнозирования, сформированное таким образом. Узел внутреннего прогнозирования выводит параметры внутреннего прогнозирования, используемые для формирования P_i изображения внутреннего прогнозирования, в узел 13 кодирования переменной длины, чтобы мультиплексировать их в поток битов. Узел внутреннего прогнозирования также выполняет процесс внутреннего прогнозирования на основе параметров внутреннего прогнозирования (режима внутреннего прогнозирования) для каждого из цветоразностных сигналов фрагмента P_i ⁿ согласно процедуре, идентичной процедуре, согласно которой узел внутреннего прогнозирования выполняет процесс внутреннего прогнозирования для сигнала яркости, и выводит параметры внутреннего прогнозирования, используемые для формирования изображения внутреннего прогнозирования, в узел 13 кодирования переменной длины. Узел внутреннего прогнозирования может иметь такую структуру, что он выполняет вышеописанный процесс фильтрации для внутреннего прогнозирования каждого из цветоразностных сигналов способом, идентичным способу, который узел внутреннего прогнозирования применяет для сигнала яркости, или не выполняет вышеописанный процесс фильтрации для внутреннего прогнозирования каждого из цветоразностных сигналов.

[0068] Затем поясняется обработка, выполняемая посредством устройства декодирования движущихся изображений, показанного на фиг.2. При приеме потока битов, выведенного в него из устройства кодирования изображений по фиг.1, узел 51 декодирования переменной длины выполняет процесс декодирования переменной длины для потока битов, чтобы декодировать информацию, имеющую размер кадра в единицах последовательности, которая состоит из одного или более кадров изображений, или в единицах изображения (этап ST21 по фиг.4). Узел 51 декодирования переменной длины определяет максимальный размер каждого из блоков кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс внутреннего прогнозирования (процесс внутрикадрового прогнозирования) или процесс прогнозирования с компенсацией движения (процесс межкадрового прогнозирования) согласно процедуре, идентичной процедуре, которую использует узел 1 управления кодированием, показанный на фиг.1, а также определяет верхний предел по числу иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяется на блоки (этап ST22). Например, когда максимальный размер каждого из блоков кодирования определяется согласно разрешению введенного изображения в устройстве кодирования изображений, узел декодирования переменной длины определяет максимальный размер каждого из блоков кодирования на основе информации размера кадра, которую узел декодирования переменной длины декодировал ранее. Когда информация, показывающая как максимальный размер каждого из блоков кодирования, так и верхний предел по числу иерархических уровней, мультиплексируется в поток битов, узел декодирования переменной длины обращается к информации, которая получается посредством декодирования потока битов.

[0069] Поскольку информация, показывающая состояние разделения каждого из блоков B₀ кодирования, имеющих максимальный размер, включается в режим m(B₀) кодирования блока B₀ кодирования, имеющего максимальный размер, который мультиплексируется в поток битов, узел 51 декодирования переменной длины указывает каждый из блоков Bⁿ кодирования, на которые иерархически разделяется изображение, посредством декодирования потока битов, чтобы получать режим m(B₀) кодирования блока B₀ кодирования, имеющего максимальный размер, который мультиплексируется в поток битов (этап ST23). После указания каждого из блоков Bⁿ кодирования узел 51 декодирования переменной длины декодирует поток битов, чтобы получать режим m(Bⁿ) кодирования блока Bⁿ кодирования, чтобы указывать каждый фрагмент P_i ⁿ, принадлежащий блоку Bⁿ кодирования, на основе информации относительно фрагмента P_i ⁿ, принадлежащего режиму m(Bⁿ) кодирования. После указания каждого фрагмента P_i ⁿ, принадлежащего блоку Bⁿ кодирования, узел 51 декодирования переменной длины декодирует кодированные данные, чтобы получать сжатые данные, режим кодирования, параметры кодирования ошибок прогнозирования и параметры/параметры взаимного прогнозирования внутреннего прогнозирования для каждого фрагмента P_i ⁿ (этап ST24).

[0070] Более конкретно, когда режим m(Bⁿ) кодирования, назначаемый блоку Bⁿ кодирования, является режимом внутреннего кодирования, узел декодирования переменной длины декодирует кодированные данные, чтобы получать параметры внутреннего прогнозирования для каждого фрагмента P_i ⁿ, принадлежащего блоку кодирования. Напротив, когда режим m(Bⁿ) кодирования, назначаемый блоку Bⁿ кодирования, является режимом взаимного кодирования, узел декодирования переменной длины декодирует кодированные данные, чтобы получать параметры взаимного прогнозирования для каждого фрагмента P_i ⁿ, принадлежащего блоку кодирования. Узел декодирования переменной длины дополнительно разделяет каждый фрагмент, который является единицей прогнозирования, на один или более фрагментов, которые являются единицей процесса преобразования, на основе информации размера блока преобразования, включенной в параметры кодирования ошибок прогнозирования, и декодирует кодированные данные каждого из одного или более фрагментов, которые являются единицей процесса преобразования, чтобы получать сжатые данные (коэффициенты преобразования, для которых выполняются преобразование и квантование) фрагмента.

[0071] Когда режим m(Bⁿ) кодирования фрагмента P_i ⁿ, принадлежащего блоку Bⁿ кодирования, который указывается посредством узла 51 декодирования переменной длины, является режимом внутреннего кодирования (этап ST25), избирательный переключатель 52 выводит параметры внутреннего прогнозирования, выведенные в него из узла 51 декодирования переменной длины, в узел 53 внутреннего прогнозирования. Напротив, когда режим m(Bⁿ) кодирования фрагмента P_i ⁿ является режимом взаимного кодирования (этап ST25), избирательный переключатель выводит параметры взаимного прогнозирования, выведенные в него из узла 51 декодирования переменной длины, в узел 54 прогнозирования с компенсацией движения.

[0072] При приеме параметров внутреннего прогнозирования из избирательного переключателя 52 узел 53 внутреннего прогнозирования выполняет процесс внутрикадрового прогнозирования для фрагмента P_i ⁿ блока Bⁿ кодирования для того, чтобы формировать изображение P_i ⁿ внутреннего прогнозирования посредством использования уже декодированного сигнала изображения в кадре на основе параметров внутреннего прогнозирования (этап ST26), аналогично узлу 4 внутреннего прогнозирования, показанному на фиг.1. При формировании изображения P_i ⁿ внутреннего прогнозирования узел 53 внутреннего прогнозирования выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, посредством использования способа, идентичного способу, который использует узел 4 внутреннего прогнозирования, показанный на фиг.1, согласно состояниям различных параметров, ассоциированных с декодированием целевого блока, который должен быть фильтрован, и выполняет процесс фильтрации для изображения P_i ⁿ внутреннего прогнозирования посредством использования фильтра и задает изображение P_i ⁿ внутреннего прогнозирования, для которого узел внутреннего прогнозирования выполняет процесс фильтрации, в качестве конечного изображения внутреннего прогнозирования. Хотя вышеприведенное пояснение приводится при условии, что необходимое число фильтров подготавливается заранее, в случае, если фильтр задается как функция от вышеуказанных параметров таким образом, что фильтр определяется согласно состояниям параметров, используемых для выбора фильтра в узле 4 внутреннего прогнозирования, показанном на фиг.1, фильтр может задаваться как функция от вышеуказанных параметров также в узле 53 внутреннего прогнозирования таким образом, что фильтр определяется согласно состояниям различных параметров, ассоциированных с декодированием целевого блока, который должен быть фильтрован.

[0073] При приеме параметров взаимного прогнозирования из избирательного переключателя 52 узел 54 прогнозирования с компенсацией движения выполняет процесс прогнозирования с компенсацией движения для фрагмента P_i ⁿ блока Bⁿ кодирования для того, чтобы формировать изображение P_i ⁿ взаимного прогнозирования посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 59 кадров прогнозирования с компенсацией движения, на основе параметров взаимного прогнозирования (этап ST27).

[0074] Узел 55 обратного преобразования/обратного квантования обратно квантует сжатые данные, ассоциированные с блоком кодирования, которые выводятся в него из узла 51 декодирования переменной длины, посредством использования параметра квантования, включенного в параметры кодирования ошибок прогнозирования, выведенные в него из узла 51 декодирования переменной длины, и выполняет процесс обратного преобразования (например, процесс обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок прогнозирования, и выводит сжатые данные, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в узел 56 суммирования в качестве декодированного сигнала ошибки прогнозирования (сигнала, показывающего предварительно сжатое разностное изображение) (этап ST28).

[0075] При приеме декодированного сигнала ошибки прогнозирования из узла 55 обратного преобразования/обратного квантования узел 56 суммирования формирует декодированное изображение посредством суммирования декодированного сигнала ошибки прогнозирования и прогнозного сигнала, показывающего прогнозное изображение, сформированное посредством узла 53 внутреннего прогнозирования или узла 54 прогнозирования с компенсацией движения, и сохраняет сигнал декодированного изображения, показывающий декодированное изображение, в запоминающем устройстве 57 для внутреннего прогнозирования, а также выводит сигнал декодированного изображения в узел 58 контурного фильтра (этап ST29).

[0076] Устройство декодирования движущихся изображений многократно выполняет процессы этапов ST23-ST29 до тех пор, пока устройство декодирования движущихся изображений не завершает обработку для всех блоков Bⁿ кодирования, на которые иерархически разделяется изображение (этап ST30). При приеме сигнала декодированного изображения из узла 56 суммирования узел 58 контурного фильтра компенсирует искажение при кодировании, включенное в сигнал декодированного изображения, и сохраняет декодированное изображение, показанное посредством сигнала декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающем устройстве 59 кадров прогнозирования с компенсацией движения в качестве опорного изображения (этап ST31). Узел 58 контурного фильтра может выполнять процесс фильтрации для каждого блока кодирования, имеющего максимальный размер сигнала локального декодированного изображения, выведенного в него из узла 56 суммирования, или каждого блока кодирования. В качестве альтернативы, после того как выводится сигнал локального декодированного изображения, соответствующий всем макроблокам одного экрана, узел контурного фильтра может выполнять процесс фильтрации для всех макроблоков одного экрана одновременно.

[0077] Как можно видеть из вышеприведенного описания, поскольку узел 4 внутреннего прогнозирования устройства кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы, при выполнении процесса внутрикадрового прогнозирования, формировать изображение внутреннего прогнозирования посредством использования уже кодированного сигнала изображения в кадре, выбирать фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, и выполнять процесс фильтрации для прогнозного изображения посредством использования фильтра, предоставляется преимущество возможности уменьшать ошибки прогнозирования, которые возникают локально, тем самым позволяя повышать качество изображений.

[0078] Дополнительно, поскольку узел 4 внутреннего прогнозирования в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы выбирать фильтр с учетом по меньшей мере одного из следующих параметров: (1) размер фрагмента P_i ⁿ (l_i ⁿ×m_i ⁿ); (2) параметр квантования, включенный в параметры кодирования ошибок прогнозирования; (3) расстояние между группой уже кодированных пикселей, которые используются во время формирования промежуточного прогнозного изображения, и целевым пикселем, который должен быть фильтрован; и (4) значение индекса, указывающее режим внутреннего прогнозирования во время формирования промежуточного прогнозного изображения, предоставляется преимущество недопущения возникновения локальной ошибки прогнозирования, когда возникает небольшое смещение между направлением края в изображении, которое должно быть кодировано, и направлением прогнозирования, или небольшое искажение существует на краю в промежуточном прогнозном изображении, имеющем высокую корреляцию с изображением, которое должно быть кодировано, тем самым позволяя повышать эффективность прогнозирования.

[0079] Поскольку узел 53 внутреннего прогнозирования устройства декодирования движущихся изображений в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы, при выполнении процесса внутрикадрового прогнозирования, формировать изображение внутреннего прогнозирования посредством использования уже декодированного сигнала изображения в кадре, выбирать фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с декодированием целевого блока, который должен быть фильтрован, и выполнять процесс фильтрации для прогнозного изображения посредством использования фильтра, предоставляется преимущество уменьшения ошибок прогнозирования, которые возникают локально, позволяя устройству декодирования движущихся изображений также формировать изображение внутреннего прогнозирования, идентичное изображению внутреннего прогнозирования, сформированному посредством устройства кодирования движущихся изображений.

[0080] Дополнительно, поскольку узел 53 внутреннего прогнозирования в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы выбирать фильтр с учетом по меньшей мере одного из следующих параметров: (1) размер фрагмента P_i ⁿ (l_i ⁿ×m_i ⁿ); (2) параметр квантования, включенный в параметры кодирования ошибок прогнозирования; (3) расстояние между группой уже кодированных пикселей, которые используются во время формирования промежуточного прогнозного изображения, и целевым пикселем, который должен быть фильтрован; и (4) значение индекса, указывающее режим внутреннего прогнозирования во время формирования промежуточного прогнозного изображения, предоставляется преимущество недопущения возникновения локальной ошибки прогнозирования, когда возникает небольшое смещение между направлением края в изображении, которое должно быть кодировано, и направлением прогнозирования, или небольшое искажение существует на краю в промежуточном прогнозном изображении, имеющем высокую корреляцию с изображением, которое должно быть кодировано, и другое преимущество предоставления возможности устройству декодирования движущихся изображений также формировать изображение внутреннего прогнозирования, идентичное изображению внутреннего прогнозирования, сформированному посредством устройства кодирования движущихся изображений.

[0081] Вариант 2 осуществления

Хотя в вышеуказанном варианте 1 осуществления показывается пример, в котором узел 4 внутреннего прогнозирования выбирает фильтр согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, из одного или более фильтров, которые подготавливаются заранее, и выполняет процесс фильтрации для прогнозного изображения посредством использования фильтра, при выполнении процесса внутрикадрового прогнозирования, чтобы формировать изображение внутреннего прогнозирования посредством использования уже кодированного сигнала изображения в кадре, в качестве альтернативы, может быть рассчитан фильтр Винера, который минимизирует сумму квадратических ошибок между блоком кодирования и прогнозным изображением, и когда использование этого фильтра Винера повышает степень уменьшения ошибок прогнозирования по сравнению с использованием фильтра, который выбран из одного или более фильтров, которые подготавливаются заранее, процесс фильтрации может быть выполнен для прогнозного изображения посредством использования вышеуказанного фильтра Винера, вместо фильтра, который выбран. Далее подробно поясняются процессы.

[0082] Каждый из узлов 4 и 53 внутреннего прогнозирования в соответствии с вышеуказанным вариантом 1 осуществления имеет такую структуру, чтобы выбирать фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован. Хотя каждый из узлов внутреннего прогнозирования может выбирать надлежащий фильтр из одного или более вариантов выбора с учетом четырех параметров (1)-(4), каждый из узлов внутреннего прогнозирования не может выполнять "оптимальную фильтрацию", когда существует оптимальный фильтр, отличный от одного или более вариантов выбора. Этот вариант 2 осуществления отличается тем, что, в то время как устройство кодирования движущихся изображений рассчитывает оптимальный фильтр в расчете на изображение и выполняет процесс фильтрации, а также кодирует коэффициенты фильтрации фильтра и т.д., устройство декодирования движущихся изображений декодирует коэффициенты фильтрации и т.д. и выполняет процесс фильтрации посредством использования фильтра.

[0083] Узел 4 внутреннего прогнозирования устройства кодирования движущихся изображений выполняет процесс внутрикадрового прогнозирования для каждого фрагмента P_i ⁿ каждого блока Bⁿ кодирования для того, чтобы формировать изображение P_i ⁿ внутреннего прогнозирования, к примеру изображение P_i ⁿ внутреннего прогнозирования согласно вышеуказанному варианту 1 осуществления. Узел 4 внутреннего прогнозирования также выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, посредством использования способа, идентичного способу, который использует узел внутреннего прогнозирования согласно вышеуказанному варианту 1 осуществления, и выполняет процесс фильтрации для изображения P_i ⁿ внутреннего прогнозирования посредством использования этого фильтра. После определения параметров внутреннего прогнозирования для каждого из всех блоков Bⁿ кодирования в изображении, для каждой области, в которой используется идентичный фильтр в изображении (каждой области, имеющей идентичный индекс фильтра), узел 4 внутреннего прогнозирования рассчитывает фильтр Винера, который минимизирует сумму квадратических ошибок между введенным изображением в области и изображением внутреннего прогнозирования (среднеквадратическую ошибку в целевой области).

[0084] Коэффициенты w фильтрации фильтра Винера могут быть определены из матрицы R_s's' автокорреляции сигнала s' промежуточного прогнозного изображения и матрицы R_ss' взаимной корреляции сигнала s введенного изображения и сигнала s' промежуточного прогнозного изображения согласно следующему уравнению (4). Размер матриц R_s's' и R_ss' соответствует числу определенных отводов фильтра.

[0085] После расчета фильтра Винера узел 4 внутреннего прогнозирования выражает сумму квадратических ошибок в целевой области для расчета фильтра в случае выполнения процесса фильтрации с использованием фильтра Винера в качестве D1, объем кода во время кодирования информации (например, коэффициенты фильтрации), ассоциированной с фильтром Винера, в качестве R1, и сумму квадратических ошибок в целевой области для расчета фильтра в случае выполнения процесса фильтрации с использованием фильтра, который выбирается посредством использования способа, идентичного способу, показанному в вышеуказанном варианте 1 осуществления, в качестве D2, и затем выполняет проверку того, устанавливается или нет следующее уравнение (5).

D1+λ·R1<D2 (5),

где λ является константой.

[0086] Когда уравнение (5) устанавливается, узел 4 внутреннего прогнозирования выполняет процесс фильтрации посредством использования фильтра Винера вместо фильтра, который выбирается посредством использования способа, идентичного способу, показанному в вышеуказанном варианте 1 осуществления. Напротив, когда уравнение (5) не устанавливается, узел внутреннего прогнозирования выполняет процесс фильтрации посредством использования фильтра, который узел внутреннего прогнозирования выбирает посредством использования способа, идентичного способу, показанному в вышеуказанном варианте 1 осуществления. Хотя узел внутреннего прогнозирования выполняет оценку посредством использования сумм D1 и D2 квадратических ошибок, этот вариант осуществления не ограничивается этим примером. Узел внутреннего прогнозирования альтернативно может выполнять оценку посредством использования показателей, показывающих другие значения искажения при прогнозировании, к примеру суммы абсолютных значений ошибок, вместо сумм D1 и D2 квадратических ошибок.

[0087] При выполнении процесса фильтрации посредством использования фильтра Винера узел 4 внутреннего прогнозирования требует информации обновления фильтра, показывающей коэффициенты фильтрации фильтра Винера, и индексов, указывающих соответствующий фильтр, который заменен на фильтр Винера. Более конкретно, когда число фильтров, выбираемых в процессе фильтрации с использованием параметров выбора фильтра, выражается как L, и индексы в диапазоне от нуля до L-1 назначаются фильтрам, соответственно, когда расчетный фильтр Винера используется для каждого индекса, значение "1" должно быть кодировано для индекса в качестве информации обновления фильтра, тогда как, когда подготовленный фильтр используется для каждого индекса, значение "0" должно быть кодировано для индекса в качестве информации обновления фильтра. Узел 13 кодирования переменной длины кодирует на основе кода переменной длины информацию обновления фильтра, выведенную в него из узла 4 внутреннего прогнозирования, и мультиплексирует кодированные данные информации обновления фильтра в поток битов.

[0088] Хотя пример расчета фильтра Винера, который минимизирует среднеквадратическую ошибку между введенным изображением и прогнозным изображением в каждой области, для которой используется идентичный фильтр в изображении для области, показывается в этом варианте осуществления, фильтр Винера, который минимизирует среднеквадратическую ошибку между введенным изображением и прогнозным изображением в каждой области, для которой используется идентичный фильтр, может быть рассчитан для каждой из других специальных областей, каждая из которых не является изображением. Например, вышеуказанный расчет фильтра Винера может быть выполнен только для определенного конкретного изображения или только тогда, когда удовлетворяется конкретное условие (например, только для изображения, в которое добавлена функция обнаружения смены сцены и в котором обнаруживается смена сцены).

[0089] Узел 51 декодирования переменной длины устройства декодирования движущихся изображений декодирует на основе кода переменной длины кодированные данные, мультиплексированные в поток битов, чтобы получать информацию обновления фильтра. Узел 53 внутреннего прогнозирования выполняет процесс внутрикадрового прогнозирования для каждого фрагмента P_i ⁿ каждого блока Bⁿ кодирования для того, чтобы формировать изображение P_i ⁿ внутреннего прогнозирования, к примеру, изображение P_i ⁿ внутреннего прогнозирования согласно вышеуказанному варианту 1 осуществления. При приеме информации обновления фильтра из узла 51 декодирования переменной длины узел 53 внутреннего прогнозирования обращается к информации обновления фильтра, чтобы проверять то, существует или нет обновление фильтра, указываемого посредством соответствующего индекса.

[0090] При определении из результата проверки, что фильтр для определенной области заменен на фильтр Винера, узел 53 внутреннего прогнозирования считывает коэффициенты фильтрации фильтра Винера, которые включаются в информацию обновления фильтра, чтобы указывать фильтр Винера, и выполняет процесс фильтрации для изображения P_i ⁿ внутреннего прогнозирования посредством использования фильтра Винера. Напротив, для области, в которой фильтр не заменен на фильтр Винера, узел внутреннего прогнозирования выбирает фильтр посредством использования способа, идентичного способу, который использует узел внутреннего прогнозирования согласно вышеуказанному варианту 1 осуществления, и выполняет процесс фильтрации для изображения P_i ⁿ внутреннего прогнозирования посредством использования фильтра.

[0091] Как можно видеть из вышеприведенного описания, поскольку устройство кодирования движущихся изображений в соответствии с этим вариантом 2 осуществления имеет такую структуру, чтобы рассчитывать фильтр Винера, который минимизирует сумму квадратических ошибок между блоком кодирования и прогнозным изображением, и когда использование этого фильтра Винера повышает степень уменьшения ошибок прогнозирования по сравнению с использованием фильтра, который выбирается из одного или более фильтров, которые подготавливаются заранее, выполнять процесс фильтрации для прогнозного изображения посредством использования фильтра Винера вместо выбранного фильтра, предоставляется преимущество возможности дополнительно уменьшать ошибки прогнозирования, которые возникают локально по сравнению с вышеуказанным вариантом 1 осуществления.

[0092] Хотя изобретение описано в предпочтительных вариантах осуществления, следует понимать, что может осуществляться произвольная комбинация двух или более из вышеуказанных вариантов осуществления, различные изменения могут быть внесены в произвольный компонент согласно любому из вышеуказанных вариантов осуществления, и произвольный компонент согласно любому из вышеуказанных вариантов осуществления может опускаться в пределах объема изобретения.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0093] Как упомянуто выше, поскольку устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений в соответствии с настоящим изобретением конфигурируются таким образом, чтобы, когда модуль внутреннего прогнозирования выполняет процесс внутрикадрового прогнозирования, формировать прогнозное изображение посредством использования уже кодированного сигнала изображения в кадре, выбирать фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состоянию различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, и выполнять процесс фильтрации для прогнозного изображения посредством использования фильтра и выводить прогнозное изображение, для которого выполнен процесс фильтрации, в модуль формирования разностных изображений, устройство кодирования движущихся изображений и способ кодирования движущихся изображений являются подходящими для использования в качестве устройства кодирования движущихся изображений и способа кодирования движущихся изображений для кодирования движущегося изображения с высокой степенью эффективности, и устройство декодирования движущихся изображений и способ декодирования движущихся изображений являются подходящими для использования в качестве устройства декодирования движущихся изображений и способа декодирования движущихся изображений для декодирования кодированного движущегося изображения с высокой степенью эффективности.

ПОЯСНЕНИЕ ССЫЛОК С НОМЕРАМИ

[0094] 1 - узел управления кодированием (модуль управления кодированием), 2 - узел разделения на блоки (модуль разделения на блоки), 3 - избирательный переключатель (модуль внутреннего прогнозирования и модуль прогнозирования с компенсацией движения), 4 - узел внутреннего прогнозирования (модуль внутреннего прогнозирования), 5 - узел прогнозирования с компенсацией движения (модуль прогнозирования с компенсацией движения), 6 - узел вычитания (модуль формирования разностных изображений), 7 - узел преобразования/квантования (модуль сжатия изображений), 8 - узел обратного преобразования/обратного квантования, 9 - узел суммирования, 10 - запоминающее устройство для внутреннего прогнозирования, 11 - узел контурной фильтрации, 12 - запоминающее устройство кадров прогнозирования с компенсацией движения, 13 - модуль кодирования переменной длины (модуль кодирования переменной длины), 31 - узел декодирования переменной длины (модуль декодирования переменной длины), 52 - избирательный переключатель (модуль внутреннего прогнозирования и модуль прогнозирования с компенсацией движения), 53 - узел внутреннего прогнозирования (модуль внутреннего прогнозирования), 54 - узел прогнозирования с компенсацией движения (модуль прогнозирования с компенсацией движения), 55 - узел обратного преобразования/обратного квантования (модуль формирования разностных изображений), 56 - узел суммирования (модуль формирования декодированных изображений), 57 - запоминающее устройство для внутреннего прогнозирования, 58 - узел контурной фильтрации, 59 - запоминающее устройство кадров прогнозирования с компенсацией движения.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества изображений за счет уменьшения ошибок прогнозирования. Устройство декодирования изображений содержит модуль внутреннего прогнозирования для, когда режим кодирования для блока кодирования является режимом внутреннего кодирования, выполнения процесса внутрикадрового прогнозирования над каждым блоком, который является единицей для процесса прогнозирования для формирования прогнозного изображения, причем упомянутый блок является упомянутым блоком кодирования или блоком, полученным посредством разделения упомянутого блока кодирования, при этом упомянутый модуль внутреннего прогнозирования формирует промежуточное прогнозированное значение из опорных выборок согласно параметру внутреннего прогнозирования, указывающему тип внутреннего прогнозирования, задает значение, которое получается посредством фильтрации промежуточного прогнозированного значения, в качестве конечного прогнозированного значения только для по меньшей мере одной конкретной позиции в упомянутом блоке, и задает промежуточное прогнозированное значение в качестве конечного прогнозированного значения для любых других позиций в упомянутом блоке. 4 н.п. ф-лы, 10 ил.

1. Устройство декодирования изображений, содержащее:
модуль внутреннего прогнозирования для, когда режим кодирования для блока кодирования является режимом внутреннего кодирования, выполнения процесса внутрикадрового прогнозирования над каждым блоком, который является единицей для процесса прогнозирования для формирования прогнозного изображения, причем упомянутый блок является упомянутым блоком кодирования или блоком, полученным посредством разделения упомянутого блока кодирования,
при этом упомянутый модуль внутреннего прогнозирования формирует промежуточное прогнозированное значение из опорных выборок согласно параметру внутреннего прогнозирования, указывающему тип внутреннего прогнозирования, задает значение, которое получается посредством фильтрации промежуточного прогнозированного значения, в качестве конечного прогнозированного значения только для по меньшей мере одной конкретной позиции в упомянутом блоке, и задает промежуточное прогнозированное значение в качестве конечного прогнозированного значения для любых других позиций в упомянутом блоке.

2. Устройство кодирования изображений, содержащее:
модуль внутреннего прогнозирования для, когда режим кодирования для одного из блоков кодирования, на которые разделяется введенное изображение, является режимом внутреннего кодирования, выполнения процесса внутрикадрового прогнозирования над каждым блоком, который является единицей для процесса прогнозирования для формирования прогнозного изображения, причем упомянутый блок является упомянутым блоком кодирования или блоком, полученным посредством разделения упомянутого блока кодирования,
при этом упомянутый модуль внутреннего прогнозирования формирует промежуточное прогнозированное значение из опорных выборок согласно параметру внутреннего прогнозирования, указывающему тип внутреннего прогнозирования, задает значение, которое получается посредством фильтрации промежуточного прогнозированного значения, в качестве конечного прогнозированного значения только для по меньшей мере одной конкретной позиции в упомянутом блоке, и задает промежуточное прогнозированное значение в качестве конечного прогнозированного значения для любых других позиций в упомянутом блоке.

3. Способ кодирования изображений, содержащий:
этап обработки внутреннего прогнозирования, на котором, когда режим кодирования для одного из блоков кодирования, на которые разделяется введенное изображение, является режимом внутреннего кодирования, выполняют процесс внутрикадрового прогнозирования над каждым блоком, который является единицей для процесса прогнозирования для формирования прогнозного изображения, причем упомянутый блок является упомянутым блоком кодирования или блоком, полученным посредством разделения упомянутого блока кодирования,
при этом
упомянутый этап процесса внутреннего прогнозирования включает в себя этап, на котором формируют промежуточное прогнозированное значение из опорных выборок согласно параметру внутреннего прогнозирования, указывающему тип внутреннего прогнозирования, задают значение, которое получается посредством фильтрации промежуточного прогнозированного значения, в качестве конечного прогнозированного значения только для по меньшей мере одной конкретной позиции в упомянутом блоке, и задают промежуточное прогнозированное значение в качестве конечного прогнозированного значения для любых других позиций в упомянутом блоке.

4. Способ декодирования изображений, содержащий:
этап обработки внутреннего прогнозирования, на котором, когда режим кодирования для блока кодирования является режимом внутреннего кодирования, выполняют процесс внутрикадрового прогнозирования над каждым блоком, который является единицей для процесса прогнозирования для формирования прогнозного изображения, причем упомянутый блок является упомянутым блоком кодирования или блоком, полученным посредством разделения упомянутого блока кодирования,
при этом упомянутый этап обработки внутреннего прогнозирования включает в себя этап, на котором формируют промежуточное прогнозированное значение из опорных выборок согласно параметру внутреннего прогнозирования, указывающему тип внутреннего прогнозирования, задают значение, которое получается посредством фильтрации промежуточного прогнозированного значения, в качестве конечного прогнозированного значения только для по меньшей мере одной конкретной позиции в упомянутом блоке, и задают промежуточное прогнозированное значение в качестве конечного прогнозированного значения для любых других позиций в упомянутом блоке.