УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК H04N19/593 H04N19/80 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству кодирования изображений и к способу кодирования изображений для кодирования изображения с высокой степенью эффективности, и к устройству декодирования изображений и к способу декодирования изображений для декодирования закодированного изображения с высокой степенью эффективности.

УРОВЕНЬ ТЕХНИКИ, К КОТОРОМУ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Например, в соответствии со способом кодирования видеоинформации согласно международному стандарту, таким как, например, MPEG (Экспертной группы по вопросам движущихся изображений) или "ITU-T H.26x", введенный видеокадр разделяют на прямоугольные блоки (целевые блоки кодирования), для каждого целевого блока кодирования выполняют процедуру предсказания с использованием уже закодированного сигнала изображения для генерации изображения с предсказанием и выполняют процедуру ортогонального преобразования и квантования сигнала ошибки предсказания, представляющего собой разность между целевым блоком кодирования и изображением с предсказанием в единицах блоков для выполнения сжатия информации во введенном видеокадре.

Например, в случае стандарта MPEG-4 AVC/H.264 (стандарта ISO/IEC 14496-10|ITU-T H.264, разработанного Международной организацией по стандартизации (ISO)/Международной электротехнической комиссии (IEC)), который представляет собой способ согласно международному стандарту, выполняют процедуру внутреннего предсказания по уже закодированным соседним пикселям или процедуру предсказания с компенсацией движения между соседними кадрами (например, отнеситесь к ссылке на непатентный документ 1). В случае стандарта MPEG 4 AVC/H.264 в режиме внутреннего предсказания яркости может быть выбран один режим предсказания из множества режимов предсказания для каждого блока. Фиг. 10 представляет собой пояснительный чертеж, на котором показаны режимы внутреннего предсказания яркости в случае размера блока пикселей, равного 4×4. На Фиг. 10 каждым белым кругом показан пиксель в блоке кодирования, а каждым черным кругом показан пиксель, используемый для предсказания и существующий в уже закодированном соседнем блоке.

В примере, показанном на Фиг. 10, в качестве режимов внутреннего предсказания подготовлены девять режимов от 0 до 8, и режим 2 представляет собой режим, в котором выполняют предсказание с усреднением таким образом, что каждый пиксель в целевом блоке кодирования предсказывают с использованием среднего значения соседних пикселей, существующих в верхнем и левом блоках. Режимы, являющиеся иными, чем режим 2, представляют собой режимы внутреннего предсказания, в каждом из которых выполняют предсказание по направлению. Режим 0 представляет собой режим, в котором выполняют предсказание по вертикали таким образом, что соседние пиксели в верхнем блоке многократно дублируют для создания множества строк пикселей в вертикальном направлении для генерации изображения с предсказанием. Например, режим 0 выбирают тогда, когда целевой блок кодирования представляет собой изображение с вертикальными полосами. Режим 1 представляет собой режим, в котором выполняют предсказание по горизонтали таким образом, что соседние пиксели в левом блоке многократно дублируют для создания множества столбцов пикселей в горизонтальном направлении для генерации изображения с предсказанием. Например, режим 1 выбирают тогда, когда целевой блок кодирования представляет собой изображение с горизонтальными полосами. В каждом из режимов 3 - 8 пиксели интерполяции, идущие в заданном направлении (то есть в направлении, показанном стрелками), генерируют с использованием соседних пикселей в верхнем блоке или в левом блоке для генерации изображения с предсказанием.

В этом случае размер блока для яркости, для которой применяют внутреннее предсказание, может быть выбран из 4×4 пикселей, 8×8 пикселей и 16×16 пикселей. В случае 8×8 пикселей заданы девять режимов внутреннего предсказания, как и в случае 4×4 пикселей. В отличие от этого, в случае 16×16 пикселей в дополнение к режимам внутреннего предсказания, соответствующим предсказанию с усреднением, предсказанию по вертикали и предсказанию по горизонтали, заданы еще четыре режима внутреннего предсказания, которые именуют предсказаниями по плоскости. Каждое внутреннее предсказание, связанное с предсказанием по плоскости, представляет собой режим, в котором в качестве предсказанных значений предоставляют пиксели, созданные путем выполнения интерполяции соседних пикселей в диагональном направлении в верхнем блоке и в левом блоке.

В режиме внутреннего предсказания, в котором выполняют предсказание по направлению, поскольку заданный режим генерирует предсказанные значения вдоль направления, например, в направлении 45 градусов, эффективность предсказания повышается, и объем кода может быть уменьшен, когда направление границы (края) объекта в блоке совпадает с направлением, указанным режимом предсказания. Однако может происходить небольшое смещение между направлением границы и направлением, указанным режимом предсказания, и даже если направление границы в целевом блоке кодирования не совпадает с направлением, указанным режимом предсказания, то может иметь место большая локальная ошибка предсказания по той простой причине, что граница является немного искривленной (осциллирующей, изогнутой и т.п.). В результате, эффективность предсказания может чрезвычайно сильно снизиться. Для предотвращения такого снижения эффективности предсказания при выполнении предсказания по направлению для блока 8×8 пикселей выполняют процедуру предсказания для генерации сглаженного изображения с предсказанием с использованием уже закодированных соседних пикселей, для которых была выполнена процедура сглаживания, посредством чего уменьшают любое небольшое смещение в направлении предсказания и ошибки предсказания, возникающие тогда, когда на границе имеет место небольшое искажение.

ДОКУМЕНТ ИЗ ИЗВЕСТНОГО УРОВНЯ ТЕХНИКИ

ССЫЛКА НА НЕПАТЕНТНЫЙ ДОКУМЕНТ

Ссылка 1 на непатентный документ: стандарты MPEG-4 AVC (ISO/IEC 14496-10)/ITU-T H.264

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ЗАДАЧИ, РЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

Поскольку обычное устройство кодирования изображения сконструировано так, как описано выше, то генерация сглаженного изображения с предсказанием может уменьшить ошибки предсказания, возникающие даже в том случае, если имеет место небольшое смещение в направлении предсказания или имеет место небольшое искажение на границе. Однако, согласно способу, раскрытому в ссылке на непатентный документ 1, процедуру сглаживания не выполняют для блоков иного размера, чем блоки размером 8×8 пикселей, и даже для блоков размером 8×8 пикселей выполняют только одну возможную процедуру сглаживания. Проблема состоит в том, что также в блоке, имеющем иной размер, чем 8×8 пикселей, фактически возникает большая локальная ошибка предсказания вследствие небольшого несоответствия на границе даже в том случае, когда изображение с предсказанием имеет структуру, аналогичную структуре изображения, подлежащего кодированию, и, следовательно, происходит сильное ухудшение эффективности предсказания. Другая проблема состоит в том, что когда параметр квантования, используемый при квантовании сигнала ошибки предсказания, положение каждого пикселя в блоке, режим предсказания и т.п. являются различными между блоками, имеющими одинаковый размер, то процедура, пригодная для уменьшения локальных ошибок предсказания, является различной между блоками, но подготовлен только один возможный способ сглаживания, и, следовательно, ошибки предсказания не могут быть уменьшены в достаточной степени. Кроме того, проблема состоит в том, что при выполнении предсказания с усреднением сигнал предсказания для пикселя, расположенного на границе блока, легко становится имеющим разрыв относительно сигналов предсказания для соседних закодированных пикселей, поскольку среднее значение пикселей, соседних с блоком, задано как каждое из всех предсказанных значений в блоке, при этом, поскольку сигнал изображения обычно имеет высокую пространственную корреляцию, то вследствие вышеупомянутого разрыва легко возникает ошибка предсказания на границе блока.

Настоящее изобретение создано для решения вышеупомянутых проблем, и, следовательно, задачей настоящего изобретения является создание устройства кодирования изображений, устройства декодирования изображений, способа кодирования изображений и способа декодирования изображений, способных уменьшать ошибки предсказания, возникающие локально, в силу чего они способны улучшать качество изображения.

СРЕДСТВА РЕШЕНИЯ ЗАДАЧИ

Согласно настоящему изобретению, в нем предложено устройство кодирования изображений, в котором при выполнении процедуры внутрикадрового предсказания для генерации изображения с предсказанием с использованием уже закодированного сигнала изображения в кадре модуль внутреннего предсказания выбирает фильтр из одного или более заранее подготовленных фильтров в соответствии с состояниями различных параметров, связанных с кодированием целевого блока, подлежащего фильтрации, выполняет процедуру фильтрации изображения с предсказанием с использованием фильтра и производит вывод изображения с предсказанием, для которого была выполнена процедура фильтрации блоком внутреннего предсказания, в блок генерации разностного изображения.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

Поскольку устройство кодирования изображений согласно настоящему изобретению сконструировано таким образом, что при выполнении процедуры внутрикадрового предсказания для генерации изображения с предсказанием с использованием уже закодированного сигнала изображения в кадре модуль внутреннего предсказания выбирает фильтр из одного или более заранее подготовленных фильтров в соответствии с состояниями различных параметров, связанных с кодированием целевого блока, подлежащего фильтрации, выполняет процедуру фильтрации изображения с предсказанием с использованием фильтра и производит вывод изображения с предсказанием, для которого была выполнена процедура фильтрации блоком внутреннего предсказания, в блок генерации разностного изображения, то обеспечено преимущество, заключающееся в том, что оно способно уменьшать ошибки предсказания, возникающие локально, в силу чего оно способно улучшать качество изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На Фиг. 1 изображена блок-схема, на которой показано устройство кодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения;

на Фиг. 2 изображена блок-схема, на которой показано устройство декодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения;

на Фиг. 3 изображена схема последовательности операций, на которой показана обработка, выполняемая устройством кодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения;

на Фиг. 4 изображена схема последовательности операций, на которой показана обработка, выполняемая устройством декодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения;

на Фиг. 5 изображен пояснительный чертеж, на котором показано состояние, в котором каждый блок кодирования, имеющий максимальный размер, иерархически разделяют на множество блоков кодирования;

на Фиг. 6(a) изображен пояснительный чертеж, на котором показано распределение разделов, на которые разделяют кодируемый блок, а на Фиг. 6(b) изображен пояснительный чертеж, на котором показано состояние, в котором каждому из разделов назначают режим m(Bⁿ) кодирования после выполнения иерархического разделения уровней с использованием графа дерева квадрантов;

на Фиг. 7 изображен пояснительный чертеж, на котором показан пример параметров внутреннего предсказания (режимов внутреннего предсказания), которые могут быть выбраны для каждого раздела P_iⁿ в блоке Bⁿ кодирования;

на Фиг. 8 изображен пояснительный чертеж, на котором показан пример пикселей, используемых при генерации предсказанного значения каждого пикселя в разделе P_iⁿ в случае l_iⁿ=m_iⁿ=4;

на Фиг. 9 изображен пояснительный чертеж, на котором показан пример схемы расположения опорных пикселей в случае N=5;

на Фиг. 10 изображен пояснительный чертеж, на котором показаны режимы внутреннего предсказания, описанные в ссылке 1 на непатентный документ в случае размера блока, равного 4×4 пикселя, для яркости;

на Фиг. 11 изображен пояснительный чертеж, на котором показан пример расстояний между уже закодированными пикселями в кадре, используемых при генерации изображения с предсказанием, и каждый целевой пиксель, подлежащий фильтрации;

на Фиг. 12 изображен пояснительный чертеж, на котором показана конкретная схема расположения опорных пикселей, к которым обращается фильтр;

на Фиг. 13 изображен пояснительный чертеж, на котором показан пример таблицы для определения того, какой фильтр следует использовать для каждого сочетания индекса режима внутреннего предсказания и размера раздела;

на Фиг. 14 изображен пояснительный чертеж, на котором показан пример упрощения процедуры фильтрации в том случае, когда выполнено предсказание с усреднением;

на Фиг. 15 изображен пояснительный чертеж, на котором показан пример потока битов, в котором индекс таблицы выбора фильтра добавлен к заголовку уровня последовательности;

на Фиг. 16 изображен пояснительный чертеж, на котором показан пример потока битов, в котором индекс таблицы выбора фильтра добавлен к заголовку уровня изображения;

на Фиг. 17 изображен пояснительный чертеж, на котором показан пример потока битов, в котором индекс таблицы выбора фильтра добавлен к заголовку фрагмента;

на Фиг. 18 изображен пояснительный чертеж, на котором показан пример потока битов, в котором индекс таблицы выбора фильтра добавлен к заголовку опорного блока;

на Фиг. 19 изображен пояснительный чертеж, на котором показан другой пример таблицы, которая отличается от таблицы, показанной на Фиг. 13, для определения того, какой фильтр следует использовать для каждого сочетания индекса режима внутреннего предсказания и размера раздела; и

на Фиг. 20 изображен пояснительный чертеж, на котором показан пример таблицы для определения того, следует ли выполнять процедуру сглаживания опорных пикселей во время генерации промежуточного изображения с предсказанием для каждого сочетания индекса режима внутреннего предсказания и размера раздела или нет.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Для более подробного объяснения этого изобретения ниже будет приведено описание предпочтительных вариантов осуществления настоящего изобретения со ссылкой на сопроводительные чертежи.

Первый вариант осуществления изобретения

В этом первом варианте осуществления изобретения будет приведено объяснение устройства кодирования движущихся изображений, которое вводит изображение каждого кадра видеоинформации, выполняет процедуру внутреннего предсказания по уже закодированным соседним пикселям или процедуру предсказания с компенсацией движения между соседними кадрами для генерации изображения с предсказанием, выполняет процедуру сжатия согласно ортогональному преобразованию и квантованию сигнала ошибки предсказания, который представляет собой разностное изображение между изображением с предсказанием и изображением кадра, и после этого выполняет кодирование с переменной длиной кода для генерации потока битов, и устройства декодирования движущихся изображений, которое декодирует поток битов, выведенный из устройства кодирования движущихся изображений.

Устройство кодирования движущихся изображений согласно этому первому варианту осуществления изобретения отличается тем, что устройство кодирования движущихся изображений адаптируется к локальному изменению видеосигнала в пространственных и временных направлениях для разделения видеосигнала на области различных размеров и выполняет адаптивное внутрикадровое и межкадровое кодирование. В общем, видеосигнал имеет характеристику его сложности, изменяющуюся локально в пространстве и во времени. Может иметь место случай, в котором картина имеет единообразную характеристику сигнала в относительно большой области изображения, такой как, например, изображение неба или изображение стены, или в определенном видеокадре с точки зрения пространства также сосуществует картина, имеющая текстуру со сложной структурой в небольшой области изображения, такую как, например, изображение человека или изображение, включающее в себя мелкозернистую текстуру. Также, с точки зрения времени, относительно большая область изображения, такая как, например, изображение неба или изображение стены, имеет небольшое локальное изменение направления времени в его структуре, тогда как изображение движущегося человека или объекта имеет более сильное временное изменение, поскольку его очертание представляет собой движение твердого тела и движение нежесткого тела во времени.

Несмотря на то, что в процедуре кодирования выполняют процедуру генерации сигнала ошибки предсказания, имеющего малую мощность сигнала и малую энтропию, с использованием временного и пространственного предсказания, посредством чего уменьшают объем всего кода, объем кода параметров, используемых для предсказания, может быть уменьшен в том случае, если эти параметры могут применяться единообразно к настолько большой области сигнала изображения, насколько это возможно. С другой стороны, поскольку количество ошибок, возникающих при предсказании, увеличивается в случае применения одних и тех же параметров предсказания для структуры сигнала изображения, сильно изменяющейся во времени и в пространстве, то объем кода сигнала ошибки предсказания не может быть уменьшен. Следовательно, при выполнении процедуры предсказания структуры сигнала изображения, сильно изменяющейся во времени и в пространстве, желательно уменьшать размер области, подвергаемой процедуре предсказания, уменьшая тем самым электрическую мощность и энтропию сигнала ошибки предсказания, даже если увеличивается объем данных для параметров, используемых для предсказания. Для выполнения кодирования, адаптированного для таких типичных характеристик видеосигнала, устройство кодирования движущихся изображений согласно этому первому варианту осуществления изобретения иерархически разделяет каждую область, имеющую заданный максимальный размер блока видеосигнала, на блоки и выполняет процедуру предсказания и процедуру кодирования ошибки предсказания для каждого из блоков, на которые разделена каждая область.

Видеосигналом, подлежащим обработке устройством кодирования движущихся изображений согласно этому первому варианту осуществления изобретения, может являться произвольный видеосигнал, в котором каждый видеокадр состоит из последовательности цифровых выборок (пикселей) в двух измерениях, по горизонтали и по вертикали, например, сигнал формата YUV, который состоит из сигнала яркости и двух цветоразностных сигналов, сигнал цветного видеоизображения в произвольном цветовом пространстве, такой как, например, сигнал формата RGB, выведенный из цифрового датчика изображений, сигнал монохромного изображения или сигнал инфракрасного изображения. Каждый пиксель может иметь 8-битовую, 10-битовую или 12-битовую градацию. В приведенном ниже объяснении введенным видеосигналом является сигнал формата YUV, если не указано иное. Кроме того, предполагают, что двумя цветоразностными составляющими U и V являются сигналы в формате 4:2:0, которые являются субдискретизированными относительно составляющей Y сигнала яркости. Подлежащий обработке единичный элемент данных, который соответствует каждому кадру видеосигнала, именуют "изображением видеокадра". В этом первом варианте осуществления изобретения "изображение видеокадра" толкуют как сигнал видеокадра, для которого была выполнена прогрессивная развертка. Когда видеосигналом является чересстрочный сигнал, то в альтернативном варианте "изображением видеокадра" может являться сигнал поля изображения, представляющего собой единичный элемент для построения видеокадра.

На Фиг. 1 изображена блок-схема, на которой показано устройство кодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения. Со ссылкой на Фиг. 1 узел 1 управления кодированием выполняет процедуру определения максимального размера каждого из блоков кодирования, который представляет собой единичный элемент, подлежащий обработке во время выполнения процедуры внутреннего предсказания (процедуры внутрикадрового предсказания) или процедуры предсказания с компенсацией движения (процедуры межкадрового предсказания), а также определения верхнего предела количества иерархических уровней, то есть максимальной глубины иерархии в иерархической структуре, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяют на блоки. Узел 1 управления кодированием также выполняет процедуру выбора режима кодирования, пригодного для каждого из блоков кодирования, на которые иерархически разделен каждый блок кодирования, имеющий максимальный размер, из одного или из более доступных режимов кодирования (одного или более режимов внутреннего кодирования и одного или более режимов внешнего кодирования). Узел 1 управления кодированием дополнительно выполняет процедуру определения параметра квантования и размера блока преобразования, которые используются при сжатии разностного изображения для каждого блока кодирования, а также определения параметров внутреннего предсказания или параметров внешнего предсказания, используемых при выполнении процедуры предсказания для каждого блока кодирования. Параметр квантования и размер блока преобразования включены в состав параметров кодирования ошибки предсказания, и эти параметры кодирования ошибки предсказания выводят в узел 7 преобразования/квантования, в узел 8 обратного квантования/обратного преобразования, в узел 13 кодирования с переменной длиной кода и т.д. Узел 1 управления кодированием образует модуль управления кодированием.

Когда узел 2 разделения на блоки принимает видеосигнал, указывающий введенное изображение, то он выполняет процедуру разделения введенного изображения, указанного видеосигналом, на блоки кодирования, каждый из которых имеет максимальный размер, определенный узлом 1 управления кодированием, и также иерархически разделяет каждый из блоков кодирования на блоки до тех пор, пока количество иерархических уровней не достигнет верхнего предела количества иерархических уровней, определенного узлом 1 управления кодированием. Узел 2 разделения на блоки образует модуль разделения на блоки. Когда режимом кодирования, выбранным узлом 1 управления кодированием для блока кодирования, который сгенерирован путем разделения узлом 2 разделения на блоки, является режим внутреннего кодирования, то селекторный переключатель 3 выполняет процедуру вывода блока кодирования в узел 4 внутреннего предсказания, а когда режимом кодирования, выбранным узлом 1 управления кодированием для блока кодирования, который сгенерирован путем разделения узлом 2 разделения на блоки, является режим внешнего кодирования, то блок кодирования выводят в узел 5 предсказания с компенсацией движения.

При приеме блока кодирования, который сгенерирован путем разделения узлом 2 разделения на блоки, из селекторного переключателя 3 узел 4 внутреннего предсказания выполняет процедуру внутреннего предсказания блока кодирования для генерации изображения с предсказанием для каждого раздела с использованием уже закодированного сигнала изображения в кадре на основании параметра внутреннего предсказания, выведенного в него из узла 1 управления кодированием. После генерации вышеупомянутого изображения с предсказанием узел 4 внутреннего предсказания выбирает фильтр из одного или более заранее подготовленных фильтров в соответствии с состояниями различных параметров, которые должны быть известны, когда устройство декодирования движущихся изображений генерирует то же самое изображение с предсказанием, что и вышеупомянутое изображение с предсказанием, выполняет процедуру фильтрации вышеупомянутого изображения с предсказанием с использованием фильтра, и производит вывод изображения с предсказанием, для которого узлом внутреннего предсказания была выполнена процедура фильтрации, в узел 6 вычитания и в узел 9 суммирования. Конкретно, узел внутреннего предсказания однозначно определяет фильтр в соответствии с состоянием, по меньшей мере, одного из следующих четырех параметров, которые предусмотрены в качестве вышеупомянутых различных параметров:

• Параметр (1)

Размер блока вышеупомянутого изображения с предсказанием

• Параметр (2)

Параметр квантования, определенный узлом 1 управления кодированием

• Параметр (3)

Расстояние между уже закодированным сигналом изображения в кадре, используемым при генерации изображения с предсказанием, и целевым пикселем, подлежащим фильтрации

• Параметр (4)

Параметр внутреннего предсказания, определенный узлом 1 управления кодированием

Модуль внутреннего предсказания состоит из селекторного переключателя 3 и узла 4 внутреннего предсказания.

Когда узлом 1 управления кодированием выбран режим внешнего кодирования в качестве режима кодирования, пригодного для блока кодирования, сгенерированного путем разделения узлом 2 разделения на блоки, узел 5 предсказания с компенсацией движения выполняет процедуру предсказания с компенсацией движения для блока кодирования для генерации изображения с предсказанием с использованием одного или более кадров опорных изображений, хранящихся в запоминающем устройстве 12 для кадра предсказания с компенсацией движения, на основании параметров внешнего предсказания, выведенных в него из узла 1 управления кодированием. Модуль предсказания с компенсацией движения состоит из селекторного переключателя 3 и узла 5 предсказания с компенсацией движения.

Узел 6 вычитания выполняет процедуру вычитания изображения с предсказанием, сгенерированного узлом 4 внутреннего предсказания или узлом 5 предсказания с компенсацией движения, из блока кодирования, сгенерированного путем разделения узлом 2 разделения на блоки, для генерации разностного изображения (= блок кодирования - изображение с предсказанием). Узел 6 вычитания образует модуль генерации разностного изображения. Узел 7 преобразования/квантования выполняет процедуру преобразования (например, процедуру дискретного косинусного преобразования (ДКП) или ортогонального преобразования, такого как, например, преобразование Карунена-Лоэва (KL-преобразование), в котором базисы заранее предназначены для конкретной обучающей последовательности), разностного сигнала, сгенерированного узлом 6 вычитания, в единичных блоках, имеющих размер блока преобразования, содержащийся в параметрах кодирования ошибки предсказания, выведенных в него из узла 1 управления кодированием, а также выполняет квантование коэффициентов преобразования разностного изображения с использованием параметра квантования, содержащегося в параметрах кодирования ошибки предсказания, для вывода квантованных таким образом коэффициентов преобразования в качестве сжатых данных разностного изображения. Узел 7 преобразования/квантования образует модуль сжатия изображения.

Узел 8 обратного квантования/обратного преобразования выполняет процедуру обратного квантования сжатых данных, выведенных в него из узла 7 преобразования/квантования, с использованием параметра квантования, содержащегося в параметрах кодирования ошибки предсказания, выведенных в него из узла 1 управления кодированием, и выполняет процедуру обратного преобразования (например, процедуру обратного дискретного косинусного преобразования (ОДКП) или процедуру обратного преобразования (такого как, например, обратное преобразование Карунена-Лоэва (обратное KL-преобразование))) сжатых данных, подвергнутых им обратному квантованию, в единицах блоков, имеющих размер блока преобразования, содержащийся в параметрах кодирования ошибки предсказания, для вывода сжатых данных, для которых узлом обратного квантования/обратного преобразования была выполнена процедура обратного преобразования в качестве локального декодированного сигнала ошибки предсказания.

Узел 9 суммирования выполняет процедуру суммирования локального декодированного сигнала ошибки предсказания, выведенного в него из узла 8 обратного квантования/обратного преобразования, и сигнала предсказания, указывающего изображение с предсказанием, сгенерированное узлом 4 внутреннего предсказания или узлом 5 предсказания с компенсацией движения, для генерации локального декодированного сигнала изображения, указывающего локальное декодированное изображение. Запоминающее устройство 10 для внутреннего предсказания представляет собой носитель записи, например, оперативное запоминающее устройство (ОЗУ), для хранения локального декодированного изображения, указанного локальным декодированным сигналом изображения, который сгенерирован узлом 9 суммирования, в качестве изображения, которое узел 4 внутреннего предсказания будет использовать при выполнении процедуры внутреннего предсказания в следующий раз.

Узел 11 контурного фильтра выполняет процедуру компенсации искажений вследствие кодирования, содержащихся в локальном декодированном сигнале изображения, сгенерированном узлом 9 суммирования, и вывода локального декодированного изображения, указанного локальным декодированным сигналом изображения, для которого была выполнена компенсация искажений вследствие кодирования узлом контурного фильтра, в запоминающее устройство 12 для кадра предсказания с компенсацией движения в качестве опорного изображения. Запоминающее устройство 12 для кадра предсказания с компенсацией движения представляет собой носитель записи, например, оперативное запоминающее устройство (ОЗУ), для хранения локального декодированного изображения, для которого узлом 11 контурного фильтра была выполнена процедура фильтрации в качестве опорного изображения, которое узел 5 предсказания с компенсацией движения будет использовать при выполнении процедуры предсказания с компенсацией движения в следующий раз.

Узел 13 кодирования с переменной длиной кода выполняет процедуру кодирования с переменной длиной кода, выполняемую для сжатых данных, которые выведены в него из узла 7 преобразования/квантования, данных о режиме кодирования и параметров кодирования ошибки предсказания, которые выведены в него из узла 1 управления кодированием, и параметров внутреннего предсказания, выведенных в него из узла 4 внутреннего предсказания, или параметров внешнего предсказания, выведенных в него из узла 5 предсказания с компенсацией движения, для генерации потока битов, в который мультиплексированы закодированные данные из сжатых данных, закодированные данные о режиме кодирования, закодированные данные о параметрах кодирования ошибки предсказания и закодированные данные о параметрах внутреннего предсказания или о параметрах внешнего предсказания. Узел 13 кодирования с переменной длиной кода образует модуль кодирования с переменной длиной кода.

На Фиг. 2 изображена блок-схема, на которой показано устройство декодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения. Со ссылкой на Фиг. 2 узел 51 декодирования с переменной длиной кода выполняет процедуру декодирования с переменной длиной кода для закодированных данных, мультиплексированных в поток битов, для получения сжатых данных, режима кодирования, параметров кодирования ошибки предсказания и параметров внутреннего предсказания или параметров внешнего предсказания, которые соответствуют каждому блоку кодирования, на которые иерархически разделен каждый кадр видеоинформации, и выводит сжатые данные и параметры кодирования ошибки предсказания в узел 55 обратного квантования/обратного преобразования, а также выводит режим кодирования и параметры внутреннего предсказания или параметры внешнего предсказания в селекторный переключатель 52. Узел 51 декодирования с переменной длиной кода образует модуль декодирования с переменной длиной кода.

Когда режимом кодирования, соответствующим блоку кодирования, данные о котором выведены из узла 51 декодирования с переменной длиной кода, является режим внутреннего кодирования, то селекторный переключатель 52 выполняет процедуру вывода параметров внутреннего предсказания, выведенных в него из узла 51 декодирования с переменной длиной кода, в узел 53 внутреннего предсказания, и когда режимом кодирования является режим внешнего кодирования, производит вывод параметров внешнего предсказания, выведенных в него из узла 51 декодирования с переменной длиной кода, в узел 54 предсказания с компенсацией движения.

Узел 53 внутреннего предсказания выполняет процедуру внутрикадрового предсказания для блока кодирования для генерации изображения с предсказанием для каждого раздела с использованием уже декодированного сигнала изображения в кадре на основании параметра внутреннего предсказания, выведенного в него из селекторного переключателя 52. После генерации вышеупомянутого изображения с предсказанием узел 53 внутреннего предсказания выбирает фильтр из одного или более фильтров, подготовленных заранее в соответствии с состояниями различных параметров, которые являются известными при генерации вышеупомянутого изображения с предсказанием, выполняет процедуру фильтрации вышеупомянутого изображения с предсказанием с использованием этого фильтра и производит вывод изображения с предсказанием, для которого была выполнена процедура фильтрации узлом внутреннего предсказания, в узел 56 суммирования. Конкретно, узел внутреннего предсказания однозначно определяет фильтр в соответствии с состоянием, по меньшей мере, одного из следующих четырех параметров, которые предоставлены в качестве вышеупомянутых различных параметров. Узел внутреннего предсказания назначает один или более параметров, подлежащих использованию, которые являются теми же самыми, что и вышеупомянутые один или более параметров, используемых устройством кодирования движущихся изображений. В частности, параметры, используемые устройством кодирования движущихся изображений, и параметры, используемые устройством декодирования движущихся изображений, сделаны одинаковыми друг другу, таким образом, например, когда узел 4 внутреннего предсказания выполняет процедуру фильтрации с использованием параметров (1) и (4) в устройстве кодирования движущихся изображений, узел 53 внутреннего предсказания аналогичным образом выполняет фильтрацию с использованием параметров (1) и (4) в устройстве декодирования движущихся изображений.

• Параметр (1)

Размер блока вышеупомянутого изображения с предсказанием

• Параметр (2)

Параметр квантования, декодированный с переменной длиной кода узлом 51 декодирования с переменной длиной кода

• Параметр (3)

Расстояние между уже декодированным сигналом изображения в кадре, используемым при генерации изображения с предсказанием, и целевым пикселем, подлежащим фильтрации

• Параметр (4)

Параметр внутреннего предсказания, декодированный с переменной длиной кода узлом 51 декодирования с переменной длиной кода

Модуль внутреннего предсказания состоит из селекторного переключателя 52 и узла 53 внутреннего предсказания.

Узел 54 предсказания с компенсацией движения выполняет процедуру предсказания с компенсацией движения для блока кодирования для генерации изображения с предсказанием с использованием одного или более кадров опорных изображений, хранящихся в запоминающем устройстве 59 для кадра предсказания с компенсацией движения, на основании параметров внешнего предсказания, выведенных в него из селекторного переключателя 52. Модуль предсказания с компенсацией движения состоит из селекторного переключателя 52 и узла 54 предсказания с компенсацией движения.

Узел 55 обратного квантования/обратного преобразования выполняет процедуру обратного квантования сжатых данных, соответствующих блоку кодирования, который выведен в него из узла 51 декодирования с переменной длиной кода, с использованием параметра квантования, содержащегося в параметрах кодирования ошибки предсказания, выведенных в него из узла 51 декодирования с переменной длиной кода, и выполняет процедуру обратного преобразования (например, процедуру обратного дискретного косинусного преобразования (ОДКП) или обратного преобразования, такого как, например, обратное преобразование Карунена-Лоэва (обратное KL-преобразование)) сжатых данных, подвергнутых им обратному квантованию, в единицах блоков, имеющих размер блока преобразования, содержащийся в параметрах кодирования ошибки предсказания, и выводит сжатые данные, для которых была выполнена процедура обратного преобразования узлом обратного квантования/обратного преобразования, в качестве декодированного сигнала ошибки предсказания (сигнала, указывающего разностное изображение до сжатия). Узел 55 обратного квантования/обратного преобразования образует модуль генерации разностного изображения.

Узел 56 суммирования выполняет процедуру суммирования декодированного сигнала ошибки предсказания, выведенного в него из узла 55 обратного квантования/обратного преобразования, и сигнала предсказания, указывающего изображение с предсказанием, сгенерированное узлом 53 внутреннего предсказания или узлом 54 предсказания с компенсацией движения, для генерации декодированного сигнала изображения, указывающего декодированное изображение. Узел 56 суммирования образует модуль генерации декодированного изображения. Запоминающее устройство 57 для внутреннего предсказания представляет собой носитель записи, например, оперативное запоминающее устройство (ОЗУ), для хранения декодированного изображения, указанного декодированным сигналом изображения, сгенерированным узлом 56 суммирования, в качестве изображения, которое узел 53 внутреннего предсказания будет использовать при выполнении процедуры внутреннего предсказания в следующий раз.

Узел 58 контурного фильтра выполняет процедуру компенсации искажений вследствие кодирования, содержащихся в декодированном сигнале изображения, сгенерированном узлом 56 суммирования, и вывода декодированного изображения, указанного декодированным сигналом изображения, для которого узел контурного фильтра выполняет компенсацию искажений вследствие кодирования, в запоминающее устройство 59 для кадра предсказания с компенсацией движения, в качестве опорного изображения. Запоминающее устройство 59 для кадра предсказания с компенсацией движения представляет собой носитель записи, например, оперативное запоминающее устройство (ОЗУ), для хранения декодированного изображения, для которого узел 58 контурного фильтра выполняет процедуру фильтрации, в качестве опорного изображения, которое узел 54 предсказания с компенсацией движения будет использовать при выполнении процедуры предсказания с компенсацией движения в следующий раз.

В примере, показанном на Фиг. 1, узел 1 управления кодированием, узел 2 разделения на блоки, селекторный переключатель 3, узел 4 внутреннего предсказания, узел 5 предсказания с компенсацией движения, узел 6 вычитания, узел 7 преобразования/квантования, узел 8 обратного квантования/обратного преобразования, узел 9 суммирования, узел 11 контурного фильтра и узел 13 кодирования с переменной длиной кода, которые являются компонентами устройства кодирования движущихся изображений, могут состоять, соответственно, из аппаратных элементов для исключительного использования (например, интегральных схем, в каждой из которых установлен центральный процессор (ЦП), однокристальных микрокомпьютеров и т.п.). В альтернативном варианте устройство кодирования движущихся изображений может состоять из компьютера, и в запоминающем устройстве компьютера может храниться программа, в которой описаны процедуры, выполняемые узлом 1 управления кодированием, узлом 2 разделения на блоки, селекторным переключателем 3, узлом 4 внутреннего предсказания, узлом 5 предсказания с компенсацией движения, узлом 6 вычитания, узлом 7 преобразования/квантования, узлом 8 обратного квантования/обратного преобразования, узлом 9 суммирования, узлом 11 контурного фильтра и узлом 13 кодирования с переменной длиной кода, и центральный процессор (ЦП) компьютера может быть приспособлен для выполнения программы, хранящейся в этом запоминающем устройстве. На Фиг. 3 изображена схема последовательности операций, на которой показана обработка, выполняемая устройством кодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения.

В примере, показанном на Фиг. 2, узел 51 декодирования с переменной длиной кода, селекторный переключатель 52, узел 53 внутреннего предсказания, узел 54 предсказания с компенсацией движения, узел 55 обратного квантования/обратного преобразования, узел 56 суммирования и узел 58 контурного фильтра, которые являются компонентами устройства декодирования движущихся изображений, могут состоять, соответственно, из аппаратных элементов для исключительного использования (например, интегральных схем, в каждой из которых установлен центральный процессор (ЦП), однокристальных микрокомпьютеров и т.п.). В альтернативном варианте устройство декодирования движущихся изображений может состоять из компьютера, и в запоминающем устройстве компьютера может храниться программа, в которой описаны процедуры, выполняемые узлом 51 декодирования с переменной длиной кода, селекторным переключателем 52, узлом 53 внутреннего предсказания, узлом 54 предсказания с компенсацией движения, узлом 55 обратного квантования/обратного преобразования, узлом 56 суммирования и узлом 58 контурного фильтра, и центральный процессор (ЦП) компьютера может быть приспособлен для выполнения программы, хранящейся в этом запоминающем устройстве. На Фиг. 4 изображена схема последовательности операций, на которой показана обработка, выполняемая устройством декодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения.

Ниже приведено объяснение функционирования устройства кодирования движущихся изображений и устройства декодирования движущихся изображений. Сначала приведено объяснение обработки, выполняемой устройством кодирования движущихся изображений, показанным на Фиг. 1. Сначала узел 1 управления кодированием определяет максимальный размер каждого из блоков кодирования, представляющего собой единичный элемент, который подвергают обработке во время выполнения процедуры внутреннего предсказания (процедуры внутрикадрового предсказания) или процедуры предсказания с компенсацией движения (процедуры межкадрового предсказания), а также определяет верхний предел количества иерархических уровней в иерархии, на которое каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяют на блоки (операция ST1 из Фиг. 3).

В качестве способа определения максимального размера каждого из блоков кодирования рассмотрен, например, способ определения максимального размера для всех изображений видеокадра в соответствии с разрешением введенного изображения. Кроме того, там может быть рассмотрен способ количественной оценки изменения сложности локального перемещения введенного изображения в качестве параметра, а затем определен небольшой размер для изображения видеокадра, имеющего большое и сильное перемещение, наряду с определением большого размера для изображения видеокадра, имеющего малое перемещение. В качестве способа определения верхнего предела количества иерархических уровней может быть рассмотрен, например, способ увеличения глубины иерархии, то есть количества иерархических уровней, позволяющего обнаружить меньшее перемещение, когда введенное изображение имеет большее и более сильное перемещение, или уменьшения глубины иерархии, то есть количества иерархических уровней, когда введенное изображение имеет меньшее перемещение.

Узел 1 управления кодированием также выбирает режим кодирования, пригодный для каждого из блоков кодирования, на которые иерархически разделен каждый блок кодирования, имеющий максимальный размер, из одного или более доступных режимов кодирования (M режимов внутреннего кодирования и N режимов внешнего кодирования) (операция ST2). Несмотря на то, что подробное объяснение способа выбора режима кодирования для использования в узле 1 управления кодированием будет опущено, поскольку способ выбора является известным способом, существует, например, способ выполнения процедуры кодирования в блоке кодирования с использованием произвольного доступного режима кодирования для проверки эффективности кодирования и для выбора режима кодирования, имеющего наивысший уровень эффективности кодирования из множества доступных режимов кодирования.

Кроме того, узел 1 управления кодированием определяет параметр квантования и размер блока преобразования, используемые при сжатии разностного изображения для каждого блока кодирования, а также определяет параметры внутреннего предсказания или параметры внешнего предсказания, используемые при выполнении процедуры предсказания. Узел 1 управления кодированием производит вывод параметров кодирования ошибки предсказания, в том числе параметра квантования и размера блока преобразования, в узел 7 преобразования/квантования, в узел 8 обратного квантования/обратного преобразования и в узел 13 кодирования с переменной длиной кода. При необходимости узел управления кодированием также производит вывод параметров кодирования ошибки предсказания в узел 4 внутреннего предсказания.

При приеме видеосигнала, указывающего введенное изображение, узел 2 разделения на блоки разделяет введенное изображение, указанное видеосигналом, на блоки кодирования, каждый из которых имеет максимальный размер, определенный узлом 1 управления кодированием, а также иерархически разделяет каждый из блоков кодирования на блоки до тех пор, пока количество иерархических уровней не достигнет верхнего предела количества иерархических уровней, определенного узлом 1 управления кодированием. На Фиг. 5 изображен пояснительный чертеж, на котором показано состояние, в котором каждый блок кодирования, имеющий максимальный размер, иерархически разделяют на множество блоков кодирования. В примере из Фиг. 5 каждый блок кодирования, имеющий максимальный размер, представляет собой блок B⁰ кодирования на нулевом иерархическом уровне, а его составляющая сигнала яркости имеет размер (L⁰, M⁰). Кроме того, в примере из Фиг. 5, путем выполнения иерархического деления, при котором этот блок B⁰ кодирования, имеющий максимальный размер, задан в качестве начальной точки до тех пор, пока глубина иерархии не достигнет заданной глубины, которая установлена отдельно в соответствии со структурой дерева квадрантов, могут быть получены блоки Bⁿ кодирования.

При глубине, равной n, каждый блок Bⁿ кодирования представляет собой область изображения, имеющую размер (Lⁿ, Mⁿ). Несмотря на то, что Lⁿ может быть тем же самым, что и Mⁿ, или отличающимся от него, в примере из Фиг. 5 показан случай Lⁿ=Mⁿ. Ниже размер каждого блока Bⁿ кодирования задан равным размеру (Lⁿ, Mⁿ) в составляющей сигнала яркости блока Bⁿ кодирования.

Поскольку узел 2 разделения на блоки выполняет разделение в соответствии со структурой дерева квадрантов, то всегда справедливо следующее равенство (Lⁿ⁺¹, @Mⁿ⁺¹)=(Lⁿ/2, Mⁿ/2). В случае сигнала цветного видеоизображения (в формате 4:4:4), в котором все компоненты цвета имеют одинаковое количество выборок, такого как, например, сигнал RGB, все цветовые составляющие имеют размер (Lⁿ, Mⁿ), тогда как в случае обработки в формате 4:2:0 соответствующая цветоразностная составляющая имеет размер блока кодирования, равный (Lⁿ/2, Mⁿ/2). Ниже режим кодирования, выбираемый для каждого блока Bⁿ кодирования на n-ном иерархическом уровне, выражен как m(Bⁿ).

В случае цветного видеосигнала, который состоит из множества цветовых составляющих, режим m(Bⁿ) кодирования может быть сформирован таким образом, что для каждой цветовой составляющей используется отдельный режим. В приведенном ниже объяснении предполагают, что режим m(Bⁿ) кодирования указывает режим кодирования для составляющей сигнала яркости каждого блока кодирования, имеющего 4:2:0 формат в сигнале YUV, если не оговорено иное. Режимом m(Bⁿ) кодирования может являться один из одного или более режимов внутреннего кодирования (в общем, именуемых "внутренним" или одного или более режимов внешнего кодирования (в общем, именуемых "внешним"), и, как упомянуто выше, узел 1 управления кодированием выбирает в качестве режима m(Bⁿ) кодирования режим кодирования с самой высокой степенью эффективности кодирования для каждого блока Bⁿ кодирования из всех режимов кодирования, доступных для обрабатываемого в текущий момент времени изображения видеокадра, или подмножество таких режимов кодирования.

Как показано на Фиг. 5, узел разделения на блоки дополнительно разделяет каждый блок Bⁿ кодирования на один или на большее количество единичных элементов предсказания (разделов). Ниже каждый раздел, относящийся к каждому блоку Bⁿ кодирования, выражен как P_iⁿ (i представляет собой номер раздела на n-ном иерархическом уровне). Сведения о том, как выполняется разделение каждого блока Bⁿ кодирования на разделы P_iⁿ, относящиеся к блоку Bⁿ кодирования, содержатся в качестве информации в режиме m(Bⁿ) кодирования. Несмотря на то, что процедуру предсказания выполняют для каждого из всех разделов P_iⁿ согласно режиму m(Bⁿ) кодирования, для каждого раздела P_iⁿ может быть выбран отдельный параметр предсказания.

Для блока кодирования, имеющего максимальный размер, узел 1 управления кодированием создает такое состояние разделения на блоки, которое показано, например, на Фиг. 6, а затем определяет блоки Bⁿ кодирования. Заштрихованные участки, изображенные на Фиг. 6(a), показывают распределение разделов, на которые разделен блок кодирования, имеющий максимальный размер, а на Фиг. 6(b) показана ситуация, в которой режимы m(Bⁿ) кодирования соответственно назначены разделам, сгенерированным путем иерархического разделения на уровни с использованием графа дерева квадрантов. Каждый узел, окруженный квадратным символом, который показан на Фиг. 6 (b), представляет собой тот узел (блок Bⁿ кодирования), которому назначен режим m(Bⁿ) кодирования.

Когда узел 1 управления кодированием выбирает оптимальный режим m(Bⁿ) кодирования для каждого раздела P_iⁿ каждого блока Bⁿ кодирования, и режимом m(Bⁿ) кодирования является режим внутреннего кодирования (операция ST3), селекторный переключатель 3 производит вывод раздела P_iⁿ блока Bⁿ кодирования, который сгенерирован путем разделения, выполненного узлом 2 разделения на блоки, в узел 4 внутреннего предсказания. В отличие от этого, когда режимом m(Bⁿ) кодирования является режим внешнего кодирования (операция ST3), селекторный переключатель производит вывод раздела P_iⁿ блока Bⁿ кодирования, который сгенерирован путем разделения, выполненного узлом 2 разделения на блоки, в узел 5 предсказания с компенсацией движения.

При приеме раздела P_iⁿ блока Bⁿ кодирования из селекторного переключателя 3 узел 4 внутреннего предсказания выполняет процедуру внутреннего предсказания для раздела P_iⁿ блока Bⁿ кодирования для генерации изображения P_iⁿ с внутренним предсказанием с использованием уже закодированного сигнала изображения в кадре на основании параметра внутреннего предсказания, выведенного в него из узла 1 управления кодированием (операция ST4). После генерации вышеупомянутого изображения P_iⁿ с внутренним предсказанием узел 4 внутреннего предсказания выбирает фильтр из одного или более подготовленных заранее фильтров в соответствии с состояниями различных параметров, которые должны быть известны тогда, когда устройство декодирования движущихся изображений генерирует то же самое изображение с предсказанием, что и вышеупомянутое изображение P_iⁿ с внутренним предсказанием, и выполняет процедуру фильтрации изображения P_iⁿ с внутренним предсказанием с использованием фильтра. После выполнения процедуры фильтрации изображения P_iⁿ с внутренним предсказанием узел 4 внутреннего предсказания производит вывод изображения P_iⁿ с внутренним предсказанием, для которого узлом внутреннего предсказания была выполнена процедура фильтрации, в узел 6 вычитания и в узел 9 суммирования. Для того, чтобы устройство декодирования движущихся изображений, показанное на Фиг. 2, также было способно генерировать то же самое изображение P_iⁿ с внутренним предсказанием, узел внутреннего предсказания производит вывод параметров внутреннего предсказания в узел 13 кодирования с переменной длиной кода. Краткое описание вышеупомянутой процедуры, выполняемой узлом 4 внутреннего предсказания, и подробностей этой процедуры приведено ниже.

При приеме раздела P_iⁿ блока Bⁿ кодирования из селекторного переключателя 3 узел 5 предсказания с компенсацией движения выполняет процедуру предсказания с компенсацией движения для раздела P_iⁿ блока Bⁿ кодирования для генерации изображения P_iⁿ с внешним предсказанием с использованием одного или более кадров опорных изображений, хранящихся в запоминающем устройстве 12 для кадра предсказания с компенсацией движения, на основании параметров внешнего предсказания, выведенных в него из узла 1 управления кодированием (операция ST5). Поскольку технология выполнения процедуры предсказания с компенсацией движения для генерации изображения с предсказанием является известной, то подробное объяснение этой технологии ниже не приведено.

После того, как узлом 4 внутреннего предсказания или узлом 5 предсказания с компенсацией движения сгенерировано изображение с предсказанием (изображение P_iⁿ с внутренним предсказанием или изображение P_iⁿ с внешним предсказанием), узел 6 вычитания вычитает изображение с предсказанием (изображение P_iⁿ с внутренним предсказанием или изображение P_iⁿ с внешним предсказанием), сгенерированное узлом 4 внутреннего предсказания или узлом 5 предсказания с компенсацией движения, из раздела P_iⁿ блока Bⁿ кодирования, сгенерированного путем разделения, выполненного узлом 2 разделения на блоки, для генерации разностного изображения и производит вывод сигнала e_iⁿ ошибки предсказания, указывающего разностное изображение, в узел 7 преобразования/квантования (операция ST6).

При приеме сигнала e_iⁿ ошибки предсказания, указывающего разностное изображение, из узла 6 вычитания, узел 7 преобразования/квантования выполняет процедуру преобразования (например, процедуру дискретного косинусного преобразования (ДКП) или ортогонального преобразования, такого как, например, преобразование Карунена-Лоэва (KL-преобразование), в котором базисы заранее предназначены для конкретной обучающей последовательности) разностного изображения в единичных блоках, имеющих размер блока преобразования, содержащийся в параметрах кодирования ошибки предсказания, выведенные в него из узла 1 управления кодированием, и выполняет квантование коэффициентов преобразования разностного изображения с использованием параметра квантования, содержащегося в параметрах кодирования ошибки предсказания, и производит вывод квантованных таким образом коэффициентов преобразования в узел 8 обратного квантования/обратного преобразования и в узел 13 кодирования с переменной длиной кода в качестве сжатых данных разностного изображения (операция ST7).

При приеме сжатых данных разностного изображения из узла 7 преобразования/квантования узел 8 обратного квантования/обратного преобразования выполняет обратное квантование сжатых данных разностного изображения с использованием параметра квантования, содержащегося в параметрах кодирования ошибки предсказания, выведенных в него из узла 1 управления кодированием, выполняет процедуру обратного преобразования (например, процедуру обратного дискретного косинусного преобразования (ОДКП) или обратного преобразования, такого как, например, преобразование Карунена-Лоэва (KL-преобразование)) сжатых данных, подвергнутых им обратному квантованию в единицах блоков, имеющих размер блока преобразования, содержащийся в параметрах кодирования ошибки предсказания, и производит вывод сжатых данных, для которых узлом обратного квантования/обратного преобразования была выполнена процедура обратного преобразования, в узел 9 суммирования в качестве локального декодированного сигнала (знак "шляпка" , присоединенный к букве алфавита, выражен как шляпка по причинам ограничений, наложенных на применения в электронике) (операция ST8).

При приеме локального декодированного сигнала ошибки предсказания из узла 8 обратного квантования/обратного преобразования узел 9 суммирования суммирует локальный декодированный сигнал ошибки предсказания и сигнал предсказания, указывающий изображение с предсказанием (изображение P_iⁿ с внутренним предсказанием или изображение P_iⁿ с внешним предсказанием), сгенерированное узлом 4 внутреннего предсказания или узлом 5 предсказания с компенсацией движения, для генерации локального декодированного изображения, которым является локальное декодированное изображение раздела или локальное декодированное изображение блока кодирования, представляющее собой группу локальных декодированных изображений разделов (операция ST9). После генерации локального декодированного изображения узел 9 суммирования сохраняет локальный декодированный сигнал изображения, указывающий локальное декодированное изображение, в запоминающем устройстве 10 для внутреннего предсказания, а также производит вывод локального декодированного сигнала изображения в узел 11 контурного фильтра.

Устройство кодирования движущихся изображений многократно выполняет процедуры согласно операциям ST3 - ST9 до тех пор, пока устройство кодирования движущихся изображений не завершит обработку всех блоков Bⁿ кодирования, на которые иерархически разделено введенное изображение, и, по завершении обработки всех блоков Bⁿ кодирования, переходит к выполнению операции ST12 (операции ST10 и ST11).

Узел 13 кодирования с переменной длиной кода выполняет статистическое кодирование сжатых данных, выведенных в него из узла 7 преобразования/квантования, режима кодирования (включающих в себя информацию, указывающую состояние разделения на блоки кодирования) и параметров кодирования ошибки предсказания, которые выведены в него из узла 1 управления кодированием, и параметров внутреннего предсказания, которые выведены в него из узла 4 внутреннего предсказания, или параметров внешнего предсказания, которые выведены в него из узла 5 предсказания с компенсацией движения. Узел 13 кодирования с переменной длиной кода выполняет мультиплексирование закодированных данных, которые представляют собой закодированные результаты статистического кодирования сжатых данных, режима кодирования, параметров кодирования ошибки предсказания и параметров внутреннего предсказания или параметров внешнего предсказания для генерации потока битов (операция ST12).

При приеме локального декодированного сигнала изображения из узла 9 суммирования узел 11 контурного фильтра выполняет компенсацию искажений вследствие кодирования, содержащихся в локальном декодированном сигнале изображения, и сохраняет локальное декодированное изображение, указанное локальным декодированным сигналом изображения, для которого узел контурного фильтра выполняет компенсацию искажений вследствие кодирования, в запоминающем устройстве 12 для кадра предсказания с компенсацией движения в качестве опорного изображения (операция ST13). Узел 11 контурного фильтра может выполнять процедуру фильтрации для каждого блока кодирования, имеющего максимальный размер, из локального декодированного сигнала изображения, выведенного в него из узла 9 суммирования, или для каждого блока кодирования из локального декодированного сигнала изображения, или для каждого единичного элемента, который представляет собой комбинацию множества блоков кодирования, каждый из которых имеет максимальный размер. В альтернативном варианте после того, как выведено одно изображение из локальных декодированных сигналов изображения, узел контурного фильтра может сразу выполнить процедуру фильтрации изображения из локальных декодированных сигналов изображения.

Ниже будет приведено подробное объяснение процедуры, выполняемой узлом 4 внутреннего предсказания. На Фиг. 7 изображен пояснительный чертеж, на котором показан пример параметров внутреннего предсказания (режимов внутреннего предсказания), которые могут быть выбраны для каждого раздела P_iⁿ в блоке Bⁿ кодирования. В примере, изображенном на Фиг. 7, показаны режимы внутреннего предсказания и векторы направления предсказания, представленные каждым из режимов внутреннего предсказания, и подразумевают, что относительный угол между векторами направления предсказания становится малым при увеличении количества выбираемых режимов внутреннего предсказания.

Узел 4 внутреннего предсказания выполняет процедуру внутреннего предсказания раздела P_iⁿ на основании параметра внутреннего предсказания для раздела P_iⁿ и параметра выбора для фильтра, который узел внутреннего предсказания использует для генерации изображения P_iⁿ с внутренним предсказанием. Ниже приведено объяснение процедуры внутренней генерации сигнала внутреннего предсказания сигнала яркости на основании параметра внутреннего предсказания (режим внутреннего предсказания) для сигнала яркости для раздела P_iⁿ.

Ниже предполагают, что раздел P_iⁿ имеет размер l_iⁿ×m_iⁿ пикселей. На Фиг. 8 изображен пояснительный чертеж, на котором показан пример пикселей, используемых при генерации предсказанного значения каждого пикселя в разделе P_iⁿ в случае l_iⁿ=m_iⁿ=4. Несмотря на то, что в примере из Фиг. 8 в качестве пикселей, используемых для предсказания, заданы (2×l_iⁿ+1) пикселей в уже закодированном верхнем разделе, смежном с разделом P_iⁿ, и (2×m_iⁿ) пикселей в уже закодированном левом разделе, смежном с разделом P_iⁿ, для предсказания может использоваться большее количество или меньшее количество пикселей, чем количество пикселей, показанное на Фиг. 8. Кроме того, несмотря на то, что в примере, показанном на Фиг. 8, для предсказания используется одна строка или один столбец пикселей, смежных с разделом, в альтернативном варианте для предсказания могут использоваться две или более строки, или два или более столбцов пикселей, смежных с разделом.

Когда значение индекса, указывающего режим внутреннего предсказания для раздела P_iⁿ, равно 2 (предсказание с усреднением), то узел внутреннего предсказания генерирует промежуточное изображение с предсказанием с использованием среднего значения соседних пикселей в верхнем разделе и соседних пикселей в левом разделе в качестве каждого из предсказанных значений всех пикселей в разделе P_iⁿ. Когда значение индекса, указывающего режим внутреннего предсказания, является иным, чем 2 (предсказание с усреднением), то узел внутреннего предсказания генерирует предсказанное значение каждого пикселя в разделе P_iⁿ на основании вектора v_p=(dx,dy) направления предсказания, указанного значением индекса. В этом случае относительная координата пикселя (пиксель в левом верхнем углу раздела задан в качестве точки начала координат), для которого должно быть сгенерировано предсказанное значение (целевой пиксель для предсказания) в разделе P_iⁿ, выражается как (x,y). Каждый опорный пиксель, используемый для предсказания, расположен в точке пересечения показанной ниже и смежного пикселя.

где - отрицательная скалярная величина.

Когда опорный пиксель расположен в целочисленном положении пикселя, то в качестве предсказанного значения целевого пикселя для предсказания задан целочисленный пиксель. В отличие от этого, когда опорный пиксель не расположен в целочисленном положении пикселя, то в качестве предсказанного значения целевого пикселя для предсказания задан интерполяционный пиксель, сгенерированный из целочисленного пикселя, смежного с опорным пикселем. Поскольку в примере, показанном на Фиг. 8, опорный пиксель не расположен в целочисленном положении пикселя, то предсказанное значение получено путем интерполяции по значениям двух пикселей, смежных с опорным пикселем. Однако интерполяция предсказанного значения не ограничена интерполяцией по значениям двух смежных пикселей, и интерполяционный пиксель может быть сгенерирован по двум или по большему количеству соседних пикселей, и в качестве предсказанного значения может быть задано значение этого интерполяционного пикселя.

Затем узел внутреннего предсказания выполняет упомянутую ниже процедуру фильтрации промежуточного изображения с предсказанием, которое состоит из предсказанных значений в разделе P_iⁿ, сгенерированных согласно вышеупомянутой процедуре получения окончательного изображения P_iⁿ с внутренним предсказанием, и производит вывод изображения P_iⁿ с внутренним предсказанием в узел 6 вычитания и в узел 9 суммирования. Узел внутреннего предсказания также производит вывод параметра внутреннего предсказания, используемого для генерации изображения P_iⁿ с внутренним предсказанием, в узел 13 кодирования с переменной длиной кода, для их мультиплексирования в поток битов. Ниже приведено конкретное объяснение процедуры фильтрации.

Узел внутреннего предсказания выбирает фильтр, подлежащий использованию, из одного или более подготовленных заранее фильтров с использованием упомянутого ниже способа, и выполняет процедуру фильтрации каждого пикселя промежуточного изображения с предсказанием согласно следующему уравнению (1).

(1)

В уравнении (1) (n=0, 1, ..., N) представляют собой коэффициенты фильтра, которые состоят из коэффициентов ..., соответствующих опорным пикселям, и коэффициента характеризующего смещение. (n=0, 1, ..., N-1) указывает опорные пиксели фильтра, включая целевой пиксель подлежащий фильтрации. - произвольное количество опорных пикселей. указывает значение яркости каждого опорного пикселя, а со "шляпкой" указывает значение яркости целевого пикселя подлежащего фильтрации, для которого была выполнена процедура фильтрации. Коэффициенты фильтра могут быть сформированы так, что не включают в себя коэффициент характеризующий смещение. Кроме того, в качестве значения яркости каждого опорного пикселя, расположенного в разделе P_iⁿ, может быть задано значение яркости каждого пикселя промежуточного изображения с предсказанием. В альтернативном варианте в качестве значения яркости может быть задано отфильтрованное значение яркости только в положении каждого пикселя, для которого была выполнена процедура фильтрации. Когда пиксель находится в уже закодированной области, то в качестве значения яркости каждого опорного пикселя, расположенного вне раздела P_iⁿ, установлено закодированное значение яркости (значение яркости, подлежащее декодированию), тогда как в том случае, когда пиксель находится в области, еще подлежащей кодированию, значение сигнала, подлежащее использованию вместо значения яркости, выбирают из значения яркости каждого опорного пикселя, расположенного в разделе P, который задан вышеупомянутым способом, и закодированным значением яркости в уже закодированной области согласно заданной процедуре (например, значение сигнала пикселя в ближайшем положении выбирают из значений сигналов пикселей-кандидатов). На Фиг. 9 изображен пояснительный чертеж, на котором показан пример схемы расположения опорных пикселей в случае N=5.

При выполнении вышеупомянутой процедуры фильтрации во введенном изображении легче возникает нелинейная граница и т.п., и, следовательно, при увеличении размера (l_iⁿ×m_iⁿ) раздела P_iⁿ легче возникает смещение относительно направления предсказания промежуточного изображения с предсказанием. Следовательно, предпочтительно сглаживать промежуточное изображение с предсказанием. Кроме того, чем большей является ошибка предсказания квантованного значения, тем более сильное искажение вследствие квантования возникает в декодированном изображении, и, следовательно, тем более низкую степень точности предсказания имеет промежуточное изображение с предсказанием, сгенерированное по уже закодированным пикселям, которые являются смежными с разделом P_iⁿ. Следовательно, предпочтительно подготовить сглаженное изображение с предсказанием, приблизительно изображающее раздел P_iⁿ. Кроме того, даже пиксель в том же самом разделе P_iⁿ имеет смещение, например, границу, легче возникающую между промежуточным изображением с предсказанием и введенным изображением при увеличении расстояния от уже закодированных пикселей, смежных с разделом P_iⁿ, которые используют для генерации промежуточного изображения с предсказанием. Следовательно, предпочтительно сглаживать изображение с предсказанием для подавления быстрого увеличения ошибки предсказания, вызванной смещением.

Кроме того внутреннее предсказание во время генерации промежуточного изображения с предсказанием сконфигурировано таким образом, что в нем используют любой из двух приведенных ниже различных способов: способ предсказания с усреднением, в котором все предсказанные значения в блоке предсказания делают равными друг другу, и способ предсказания, в котором используют вектор v_p направления предсказания. Кроме того, также в случае предсказания с использованием вектора v_p направления предсказания пиксель, не расположенный в целочисленном положении пикселя, которое сгенерировано путем интерполяции обоих пикселей: пикселя, для которого в качестве его предсказанного значения задано значение опорного пикселя в целочисленном положении пикселя без изменения, и, по меньшей мере, двух опорных пикселей, причем местоположение пикселя, имеющего значение сгенерированного пикселя в качестве его предсказанного значения, в блоке предсказания является иным в соответствии с направлением вектора v_p направления предсказания. Следовательно, поскольку изображение с предсказанием имеет иную характеристику в соответствии с режимом внутреннего предсказания, и процедура оптимальной фильтрации также изменяется в соответствии с режимом внутреннего предсказания, то предпочтительно также изменять интенсивность фильтра, количество опорных пикселей, к которым обращается фильтр, схему расположения опорных пикселей и т.д. в соответствии со значением индекса, указывающего режим внутреннего предсказания.

Следовательно, процедура выбора фильтра сконфигурирована таким образом, что фильтр выбирают с учетом четырех следующих параметров (1)-(4):

(1) Размера раздела P_iⁿ (l_iⁿ×m_iⁿ)

(2) Параметра квантования, содержащегося в параметрах кодирования ошибки предсказания

(3) Расстояния между группой уже закодированных пикселей ("пикселей, используемых для предсказания", которые показаны на Фиг. 8), используемых во время генерации промежуточного изображения с предсказанием, и целевым пикселем, подлежащим фильтрации

(4) Значения индекса, указывающего режим внутреннего предсказания во время генерации промежуточного изображения с предсказанием.

В частности, процедура выбора фильтра сконфигурирована таким образом, что в ней используют фильтр, имеющий более высокую степень сглаживания интенсивности, или фильтр, имеющий большее количество опорных пикселей при увеличении размера (l_iⁿ×m_iⁿ) раздела P_iⁿ, при увеличении квантованного значения, определяемого параметром квантования, и при увеличении расстояния между целевым пикселем, подлежащим фильтрации, и группой уже закодированных пикселей, которые расположены на левой стороне и на верхней стороне раздела P_iⁿ. Пример расстояния между целевым пикселем, подлежащим фильтрации, и группой уже закодированных пикселей, которые расположены на левой стороне и на верхней стороне раздела P_iⁿ, показан на Фиг. 11. Кроме того, процедура выбора фильтра сконфигурирована таким образом, что в ней также меняют интенсивность фильтра, количество опорных пикселей, к которым обращается фильтр, схему расположения опорных пикселей и т.д. в соответствии со значением индекса, указывающего режим внутреннего предсказания. В частности, адаптивный выбор фильтра в соответствии с вышеупомянутыми параметрами реализован путем приведения надлежащего фильтра, выбранного из группы заранее подготовленных фильтров, в соответствие каждой из комбинаций вышеупомянутых параметров. Кроме того, например, при объединении параметров (3) и (4) определение "расстояния между целевым пикселем, подлежащим фильтрации, и группой уже закодированных пикселей" из параметра (3) может быть адаптивно изменено в соответствии с "режимом внутреннего предсказания" из параметра (4). В частности, определение расстояния между целевым пикселем, подлежащим фильтрации, и группой уже закодированных пикселей, не ограничено одним неизменным расстоянием, показанным на Фиг. 11, и им может являться расстояние в зависимости от направления предсказания, например, расстояние от "опорного пикселя", показанного на Фиг. 8. Таким образом, узел внутреннего предсказания может реализовывать процедуру адаптивной фильтрации, при которой также учитывает соотношение между множеством параметров, таких как, например, параметры (3) и (4). Кроме того, в качестве одной из комбинаций этих параметров может быть подготовлена комбинация, при которой не выполняют процедуру фильтрации, которая поставлена в соответствие "процедуре без фильтрации". Кроме того, в качестве определения интенсивности фильтра, самый слабый фильтр может быть задан как "процедура без фильтрации". Кроме того, поскольку эти четыре параметра (1) - (4) являются известными в устройстве декодирования движущихся изображений, то не генерируют какую-либо дополнительную информацию, подлежащую кодированию, которая необходима для выполнения вышеупомянутой процедуры фильтрации. Как объяснено выше, узел внутреннего предсказания переключается между фильтрами путем подготовки необходимого количества фильтров заранее и путем адаптивного выбора одного из них. В альтернативном варианте узел внутреннего предсказания может реализовать переключение между фильтрами путем задания функции вышеупомянутых параметров выбора фильтра в качестве каждого фильтра таким образом, что фильтр вычисляют в соответствии со значениями вышеупомянутых параметров выбора фильтра.

Несмотря на то, что в приведенном выше объяснении показан пример выбора фильтра с учетом четырех параметров (1)-(4), в альтернативном варианте фильтр может быть выбран с учетом, по меньшей мере, одного из четырех параметров (1)-(4). Ниже будет показан пример конфигурирования процедуры фильтрации, при которой производят адаптивный выбор фильтра путем приведения надлежащего фильтра, содержащегося в подготовленной заранее группе фильтров, в соответствие каждой из комбинаций параметров, например, в случае использования параметров (1) и (4).

Фильтры, используемые в вышеупомянутом примере процедуры фильтрации, заданы следующим образом:

Фильтр с индексом фильтра, равным 1 (количество опорных пикселей N=3):

=3/4, =1/8, =1/8

Фильтр с индексом фильтра, равным 2 (количество опорных пикселей N=3):

=1/2, =1/4, =1/4

Фильтр с индексом фильтра, равным 3 (количество опорных пикселей N=3):

=1/4, =3/8, =3/8

Фильтр с индексом фильтра, равным 4 (количество опорных пикселей N=5):

=1/4, =3/16, =3/16, =3/16, =3/16

В этом случае сделано предположение, что процедура фильтрации основана на уравнении (1), из которого исключен коэффициент характеризующий смещение (=0), используются фильтры трех типов, и каждый из этих фильтров имеет схему расположения опорных пикселей, показанную на Фиг. 12, на которую тем самым приведена ссылка.

На Фиг. 13 изображен пояснительный чертеж, на котором показан пример таблицы, в которой показаны фильтры, используемые в каждом режиме внутреннего предсказания для каждого размера раздела P_iⁿ. В этом примере предполагают, что раздел P_iⁿ имеет один из следующих возможных размеров: 4×4 пикселя, 8×8 пикселей, 16×16 пикселей, 32×32 пикселя и 64×64 пикселя, и, как показано на Фиг. 7, существует соответствие между значениями индекса, каждое из которых указывает режим внутреннего предсказания, и направлениями внутреннего предсказания. Кроме того, индекс фильтра, равный 0, указывает, что процедуру фильтрации не выполняют. В общем, поскольку, как будет показано ниже, существуют тенденции, состоящие в том, что при использовании предсказания по направлению или предсказания с усреднением узел внутреннего предсказания может реализовать выбор надлежащего фильтра путем обращения к таблице за счет приведения фильтра, подлежащего использованию, в соответствие каждой комбинации параметров (1) и (4) в таблице с учетом характеристик изображения при внутренних предсказаниях так, как показано в таблице, изображенной на Фиг. 13.

• Поскольку горизонтальная или вертикальная граница, существующая в искусственном объекте, таком как, например, здание, обычно имеет форму линии и во многих случаях является отчетливой, то во многих случаях может быть выполнено высокоточное предсказание с использованием предсказания по горизонтали или по вертикали. Следовательно, при выполнении предсказания по горизонтали или по вертикали предпочтительно не выполнить какую-либо процедуру сглаживания.

• Поскольку сигнал изображения обычно имеет высокую пространственную непрерывность, то при использовании предсказания с усреднением, которое нарушает непрерывность между разделом P_iⁿ и уже закодированными пикселями, смежными с разделом P_iⁿ, предпочтительно выполнять процедуру сглаживания пикселей, расположенных около границ блока на левой и верхней сторонах раздела P_iⁿ, улучшая тем самым эту непрерывность.

• Поскольку в области, имеющей диагональную направленность, граница и т.п. является искаженной и во многих случаях имеет нелинейную форму при увеличении площади этой области, то при использовании предсказания по диагонали предпочтительно применять фильтр, имеющий более высокую степень сглаживания интенсивности и большее количество опорных пикселей при увеличении размера раздела.

• В общем, когда размер раздела становится слишком большим, пространственное изменение значения сигнала в разделе становится разнообразным, вследствие чего использование предсказания по направлению или предсказания с усреднением приводит к очень грубому предсказанию, и, следовательно, увеличивается область, где трудно выполнять высокоточное предсказание. Так как невозможно ожидать какого-либо улучшения эффективности предсказания за счет простого выполнения процедуры сглаживания, которая делает изображение размытым в подобной области, то в случае такого большого размера раздела предпочтительно не выполнять какую-либо процедуру фильтрации, поскольку отсутствует необходимость в излишнем увеличении сложности вычислений (например, в таблице, показанной на Фиг. 13, существует установка не выполнять какую-либо процедуру фильтрации в том случае, когда размер раздела равен 32×32 пикселя или превышает его).

Кроме того, в том случае, когда в качестве значения яркости каждого опорного пикселя используют значение яркости промежуточного изображения с предсказанием, когда каждым опорным пикселем во время выполнения процедуры фильтрации является пиксель из раздела P_iⁿ, существует случай, когда процедура фильтрации может быть упрощена. Например, когда режимом внутреннего предсказания является предсказание с усреднением, процедура фильтрации раздела P_iⁿ может быть упрощена до описанной ниже процедуры фильтрации для каждой области, показанной на Фиг. 14.

• Область А (пиксель в левом верхнем углу раздела P_iⁿ)

Фильтр с индексом фильтра, равным 1 (без изменения):

=3/4, =1/8, =1/8 (количество опорных пикселей N=3)

Фильтр с индексом фильтра, равным 2 (без изменения):

=1/2, =1/4, =1/4 (количество опорных пикселей N=3)

Фильтр с индексом фильтра, равным 3 (без изменения):

=1/4, =3/8, =3/8 (количество опорных пикселей N=3)

Фильтр с индексом фильтра, равным 4

=5/8, =3/16, =3/16 (количество опорных пикселей N=3)

• Область B (пиксели в верхнем конце раздела P_iⁿ, за исключением области A)

Фильтр с индексом фильтра, равным 1:

=7/8, =1/8 (количество опорных пикселей N=2)

Фильтр с индексом фильтра, равным 2:

=3/4, =1/4 (количество опорных пикселей N=2)

Фильтр с индексом фильтра, равным 3:

=5/8, =3/8 (количество опорных пикселей N=2)

Фильтр с индексом фильтра, равным 4

=13/16, =3/16 (количество опорных пикселей N=2)

• Область C (пиксели в левом конце раздела P_iⁿ, за исключением области A)

Фильтр с индексом фильтра, равным 1:

=7/8, =1/8 (количество опорных пикселей N=2)

Фильтр с индексом фильтра, равным 2:

=3/4, =1/4 (количество опорных пикселей N=2)

Фильтр с индексом фильтра, равным 3:

=5/8, =3/8 (количество опорных пикселей N=2)

Фильтр с индексом фильтра, равным 4

=13/16, =3/16 (количество опорных пикселей N=2)

• Область D (пиксели в разделе P_iⁿ, за исключением областей A, B и C).

Фильтры со всеми индексами фильтров: процедуру фильтрации не выполняют.

Даже если процедура фильтрации упрощена вышеупомянутым образом, результаты процедуры фильтрации являются теми же самыми, что и результаты процедуры фильтрации, еще подлежащей упрощению. Процедура фильтрации может быть ускорена путем устранения таким образом избыточных частей фактической процедуры.

Несмотря на то, что в вышеупомянутом примере используется таблица, показанная на Фиг. 13, в альтернативном варианте может использоваться другая таблица. Например, когда более важным является уменьшение сложности вычислений, вызванной процедурой фильтрации, чем степень повышения производительности кодирования, вместо таблицы, показанной на Фиг. 13, может использоваться таблица, показанная на Фиг. 19. Поскольку в случае использования этой таблицы модуль внутреннего предсказания выполняет процедуру фильтрации только при предсказании с усреднением для раздела P_iⁿ, размер которого составляет 4×4 пикселя, 8×8 пикселей или 16×16 пикселей, то количество режимов предсказания, в каждом из которых выполняют процедуру фильтрации, является меньшим, чем в случае использования таблицы, показанной на Фиг. 13, и, следовательно, повышение сложности вычислений, вызванное процедурой фильтрации, может быть уменьшено. При этом, за счет использования упрощения процедуры фильтрации в случае, когда вышеупомянутым режимом внутреннего предсказания является предсказание с усреднением, может быть реализована процедура фильтрации с очень низкой сложностью вычислений. Кроме того, когда важной является простота реализации, модуль внутреннего предсказания может выполнять процедуру фильтрации только для предсказания с усреднением, как и в случае выполнения вышеупомянутой процедуры фильтрации, и может всегда использовать один и тот же фильтр (например, фильтр с индексом фильтра, равным 2) без необходимости изменения используемого фильтра в соответствии с размером раздела P_iⁿ. В этом случае, несмотря на то, что степень улучшения производительности кодирования с использованием фильтра уменьшена в степени, соответствующей устранению процедуры в соответствии с размером раздела P_iⁿ, масштаб схемы узла внутреннего предсказания, установленного в устройстве (количество строк в коде в случае программной реализации модуля внутреннего предсказания) может быть уменьшен. Эта процедура фильтрации упрощена для фильтра, который учитывает только параметр (4) из четырех параметров (1)-(4).

Процедура фильтрации необязательно должна быть реализована в том виде, когда фильтр, имеющий соответствующий индекс фильтра, выбирают путем обращения к таблице, и в альтернативном варианте может быть реализован в таком виде, когда фильтр установлен непосредственно в узле внутреннего предсказания. Например, процедура фильтрации реализована в таком виде, когда процедура фильтрации, подлежащая выполнению для каждого из возможных размеров раздела P_iⁿ, непосредственно встроена в узел внутреннего предсказания, или процедура фильтрации, подлежащая выполнению для каждого положения пикселя при каждом из возможных размеров раздела P_iⁿ, непосредственно встроена в узел внутреннего предсказания. Таким образом, пока изображение с предсказанием, которое получено в результате выполнения процедуры фильтрации без обращения к таблице, является эквивалентным изображению, полученному в результате выполнения процедуры фильтрации путем обращения к таблице, вид варианта реализации не является проблемой.

Кроме того, несмотря на то что в упомянутом выше примере объяснен способ использования только одной таблицы для переключения между фильтрами, как упомянуто выше, могут быть подготовлены две или более таблиц, и устройство кодирования движущихся изображений может быть создано таким образом, что выполняет кодирование индекса 100 таблицы выбора фильтра в качестве информации, содержащейся в заголовке, в виде, показанном на любом из Фиг. 15 - Фиг. 18, и переключается между таблицами выбора фильтра для каждого заданного единичного элемента. Например, путем добавления индекса 100 таблицы выбора фильтра к заголовку уровня последовательности так, как показано на Фиг. 15, устройство кодирования движущихся изображений может выполнять процедуру фильтрации, более подходящую для характеристик последовательности по сравнению со случаем использования только одной таблицы.

Даже в том случае, когда узел 4 внутреннего предсказания создан таким образом, что в качестве опорных пикселей во время генерации промежуточного изображения с предсказанием раздела P_iⁿ задает уже закодированные пиксели, смежные с разделом P_iⁿ, процедура сглаживания которого была выполнена узлом внутреннего предсказания, как и в том случае, когда выполняют процедуру сглаживания опорного изображения во время внутреннего предсказания блока 8×8 пикселей в объясненном выше стандарте MPEG-4 AVC/H.264, узел 4 внутреннего предсказания может выполнять процедуру фильтрации промежуточного изображения с предсказанием аналогично процедуре фильтрации, показанной в вышеупомянутом примере. С другой стороны, поскольку существует частичное совпадение между эффектом процедуры сглаживания опорных пикселей во время генерации промежуточного изображения с предсказанием и эффектом процедуры фильтрации промежуточного изображения с предсказанием, то существует случай, когда создается очень малое улучшение производительности, даже если обе процедуры используются одновременно, по сравнению с тем случаем, когда выполняется одна из процедур. Следовательно, в том случае, когда важным является уменьшение сложности вычислений, узел внутреннего предсказания может быть создан так, что не выполняет процедуру фильтрации промежуточного изображения с предсказанием раздела P_iⁿ, для которого узлом внутреннего предсказания была выполнена процедура сглаживания опорных пикселей во время генерации промежуточного изображения с предсказанием. Например, может иметь место случай, когда при выполнении процедуры фильтрации промежуточного изображения с предсказанием узел внутреннего предсказания выполняет процедуру фильтрации только при предсказании с усреднением, как показано в таблице из Фиг. 19, тогда как при выполнении процедуры сглаживания опорных пикселей во время генерации промежуточного изображения с предсказанием узел внутреннего предсказания выполняет процедуру сглаживания путем обращения к таблице, как показано на Фиг. 20, а это показывает, что только конкретные предсказания по направлению подвергаются процедуре сглаживания. На Фиг. 20 '1' показывает, что процедуру сглаживания выполняют, а '0' показывает, что процедуру сглаживания не выполняют.

Узел внутреннего предсказания производит вывод параметра внутреннего предсказания, используемого для генерации изображения Pi с внутренним предсказанием, в узел 13 кодирования с переменной длиной кода для выполнения их мультиплексирования в поток битов. Узел внутреннего предсказания также выполняет процедуру внутреннего предсказания на основании параметра внутреннего предсказания (режим внутреннего предсказания) для каждого из цветоразностных сигналов раздела P_iⁿ согласно той же самой процедуре, что и процедура, согласно которой узел внутреннего предсказания выполняет процедуру внутреннего предсказания сигнала яркости и производит вывод параметров внутреннего предсказания, используемых для генерации изображения с внутренним предсказанием, в узел 13 кодирования с переменной длиной кода. Узел внутреннего предсказания может быть создан таким образом, что выполняет объясненную выше процедуру фильтрации для внутреннего предсказания каждого из цветоразностных сигналов таким же самым способом, которым узел внутреннего предсказания делает это для сигнала яркости, или не выполняет объясненную выше процедуру фильтрации для внутреннего предсказания каждого из цветоразностных сигналов.

Ниже будет объяснена обработка, выполняемая устройством декодирования движущихся изображений, показанным на Фиг. 2. При приеме потока битов, выведенного в него из устройства кодирования изображений, показанного на Фиг. 1, узел 51 декодирования с переменной длиной кода выполняет процедуру декодирования потока битов с переменной длиной кода для декодирования информации, имеющей размер кадра в единичных элементах последовательности, которая состоит из одного или более кадров изображений или единичных изображений видеокадров (операция ST21 из Фиг. 4). Узел 51 декодирования с переменной длиной кода определяет максимальный размер каждого из блоков кодирования, который представляет собой единичный элемент, подлежащий обработке во время выполнения процедуры внутреннего предсказания (процедуры внутрикадрового предсказания) или процедуры предсказания с компенсацией движения (процедуры межкадрового предсказания) согласно той же самой процедуре, как и процедура, используемая узлом 1 управления кодированием, показанным на Фиг. 1, а также определяет верхний предел количества иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделен на блоки (операция ST22). Например, когда максимальный размер каждого из блоков кодирования определен в соответствии с разрешением введенного изображения в устройстве кодирования изображения, узел декодирования с переменной длиной кода определяет максимальный размер каждого из блоков кодирования на основании информации о размере кадра, ранее декодированной узлом декодирования с переменной длиной кода. Когда информация, указывающая как максимальный размер каждого из блоков кодирования, так и верхний предел количества иерархических уровней, является мультиплексированной в поток битов, узел декодирования с переменной длиной кода обращается к этой информации, которая получена путем декодирования потока битов.

Поскольку информация, указывающая состояние разделения каждого из блоков B⁰ кодирования, имеющих максимальный размер, содержится в режиме m(B⁰) кодирования блока B⁰ кодирования, имеющего максимальный размер, которые мультиплексированы в поток битов, узел 51 декодирования с переменной длиной кода определяет каждый из блоков Bⁿ кодирования, на которые иерархически разделено изображение, путем декодирования потока битов для получения режима m(B⁰) кодирования блока B⁰ кодирования, имеющего максимальный размер, которые мультиплексированы в поток битов (операция ST23). После определения каждого из блоков Bⁿ кодирования узел 51 декодирования с переменной длиной кода декодирует поток битов для получения режима m(Bⁿ) кодирования блока Bⁿ кодирования для определения каждого раздела P_iⁿ, относящегося к блоку Bⁿ кодирования, на основании информации о разделе P_iⁿ, относящейся к режиму m(Bⁿ) кодирования. После определения каждого раздела P_iⁿ, относящегося к блоку Bⁿ кодирования, узел 51 декодирования с переменной длиной кода декодирует закодированные данные для получения сжатых данных, режима кодирования, параметров кодирования ошибки предсказания и параметра внутреннего предсказания/внешнего предсказания для каждого раздела P_iⁿ (операция ST24).

В частности, когда режимом m(Bⁿ) кодирования, назначенным блоку Bⁿ кодирования, является режим внутреннего кодирования, узел декодирования с переменной длиной кода декодирует закодированные данные для получения параметра внутреннего предсказания для каждого раздела P_iⁿ, относящегося к блоку кодирования. В отличие от этого, когда режимом m(Bⁿ) кодирования, назначенным блоку Bⁿ кодирования, является режим внешнего кодирования, узел декодирования с переменной длиной кода декодирует закодированные данные для получения параметров внешнего предсказания для каждого раздела P_iⁿ, относящегося к блоку кодирования. Узел декодирования с переменной длиной кода дополнительно разделяет каждый раздел, представляющий собой единичный элемент предсказания, на один или на большее количество разделов, представляющих собой единичные элементы процедуры преобразования, на основании информации о размере блока преобразования, содержащейся в параметрах кодирования ошибки предсказания, и декодирует закодированные данные о каждом из одного или более разделов, представляющих собой единичные элементы процедуры преобразования, для получения сжатых данных (коэффициентов преобразования, на основании которых выполняют преобразование и квантование) из раздела.

Когда режимом m(Bⁿ) кодирования раздела P_iⁿ, относящегося к блоку Bⁿ кодирования, который задан узлом 51 декодирования с переменной длиной кода, является режим внутреннего кодирования (операция ST25), селекторный переключатель 52 производит вывод параметров внутреннего предсказания, выведенных в него из узла 51 декодирования с переменной длиной кода, в узел 53 внутреннего предсказания. В отличие от этого, когда режимом m(Bⁿ) кодирования раздела P_iⁿ является режим внешнего кодирования (операция ST25), селекторный переключатель производит вывод параметров внешнего предсказания, выведенных в него из узла 51 декодирования с переменной длиной кода, в узел 54 предсказания с компенсацией движения.

При приеме параметра внутреннего предсказания из селекторного переключателя 52 узел 53 внутреннего предсказания выполняет процедуру внутрикадрового предсказания раздела P_iⁿ блока Bⁿ кодирования для генерации изображения P_iⁿ с внутренним предсказанием с использованием уже декодированного сигнала изображения в кадре на основании параметра внутреннего предсказания (операция ST26), как и узел 4 внутреннего предсказания, показанный на Фиг. 1. После генерации вышеупомянутого изображения P_iⁿ с внутренним предсказанием узел 53 внутреннего предсказания выбирает фильтр из одного или более подготовленных заранее фильтров в соответствии с состояниями различных параметров, которые являются известными во время генерации вышеупомянутого изображения P_iⁿ с внутренним предсказанием, с использованием того же самого способа, что и способ, используемый узлом 4 внутреннего предсказания, показанным на Фиг. 1, и выполняет процедуру фильтрации изображения P_iⁿ с внутренним предсказанием с использованием фильтра, и задает изображение P_iⁿ с внутренним предсказанием, для которого была выполнена процедура фильтрации узлом внутреннего предсказания, в качестве окончательного изображения с внутренним предсказанием. В частности, узел внутреннего предсказания выбирает фильтр с использованием тех же самых параметров, что и параметры, используемые узлом 4 внутреннего предсказания для выбора фильтра, и с использованием в качестве способа выбора фильтра того же самого способа, который использует узел 4 внутреннего предсказания, и выполняет процедуру фильтрации изображения с внутренним предсказанием. Например, в том случае, когда узел 4 внутреннего предсказания ставит случай невыполнения процедуры фильтрации в соответствие индексу фильтра, равному 0, и, кроме того, ставит четыре заранее подготовленных фильтра в соответствие индексам фильтра, равным, соответственно, 1-4, и выполняет процедуру фильтрации путем обращения к таблице, показанной на Фиг. 13, узел 53 внутреннего предсказания создан таким образом, что также задает те же самые фильтры и индексы фильтров, которые используются в узле 4 внутреннего предсказания, и производит выбор фильтра в соответствии с размером раздела P_iⁿ и с индексом, указывающим режим внутреннего предсказания, который представляет собой параметр внутреннего предсказания, путем обращения к таблице, показанной на Фиг. 13, и выполняет процедуру фильтрации.

Кроме того, в том случае, когда подготовлена таблица для задания фильтра, используемого для каждой комбинации параметров, и узел внутреннего предсказания реализует переключение между фильтрами путем обращения к таблице, как показано в вышеупомянутом примере, узел внутреннего предсказания создан так, что декодирует индекс 100 таблицы выбора фильтра в качестве информации, содержащейся в заголовке, в виде, показанном на любом из Фиг.15 - Фиг.18, выбирает таблицу, указанную декодированным индексом 100 таблицы выбора фильтра, из той же самой группы таблиц, что и группа таблиц, используемая устройством кодирования движущихся изображений, причем эта группа таблиц подготовлена заранее, и выбирает фильтр путем обращения к таблице.

При приеме параметров внешнего предсказания из селекторного переключателя 52 узел 54 предсказания с компенсацией движения выполняет процедуру предсказания с компенсацией движения для раздела P_iⁿ блока Bⁿ кодирования для генерации изображения P_iⁿ с внешним предсказанием с использованием одного или более кадров опорных изображений, хранящихся в запоминающем устройстве 59 для кадра предсказания с компенсацией движения, на основании параметров внешнего предсказания (операция ST27).

Узел 55 обратного квантования/обратного преобразования выполняет обратное квантование сжатых данных, соответствующих блоку кодирования, которые выведены в него из узла 51 декодирования с переменной длиной кода, с использованием параметра квантования, содержащегося в параметрах кодирования ошибки предсказания, выведенных в него из узла 51 декодирования с переменной длиной кода, и выполняет процедуру обратного преобразования (например, процедуру обратного дискретного косинусного преобразования (ОДКП) или процедуру обратного преобразования, такого как, например, обратное преобразование Карунена-Лоэва (обратное KL-преобразования)) сжатых данных, подвергнутых им обратному квантованию, в единицах блоков, имеющих размер блока преобразования, содержащийся в параметрах кодирования ошибки предсказания, и производит вывод сжатых данных, для которых была выполнена процедура обратного преобразования узлом обратного квантования/обратного преобразования, в узел 56 суммирования в качестве декодированного сигнала ошибки предсказания (сигнала, указывающего разностное изображение до сжатия) (операция ST28).

При приеме декодированного сигнала ошибки предсказания из узла 55 обратного квантования/обратного преобразования узел 56 суммирования генерирует декодированное изображение путем суммирования декодированного сигнала ошибки предсказания и сигнала предсказания, указывающего изображение с предсказанием, сгенерированное узлом 53 внутреннего предсказания или узлом 54 предсказания с компенсацией движения, и сохраняет декодированный сигнал изображения, указывающий декодированное изображение, в запоминающем устройстве 57 для внутреннего предсказания, а также производит вывод декодированного сигнала изображения в узел 58 контурного фильтра (операция ST29).

Устройство декодирования движущихся изображений многократно выполняет процедуры согласно операциям ST23 - ST29 до тех пор, пока устройство декодирования движущихся изображений не завершит обработку всех блоков Bⁿ кодирования, на которые разделено иерархически изображение (операция ST30). При приеме декодированного сигнала изображения из узла 56 суммирования узел 58 контурного фильтра компенсирует искажения вследствие кодирования, содержащиеся в декодированном сигнале изображения, и сохраняет декодированное изображение, указанное декодированным сигналом изображения, для которого узел контурного фильтра выполняет компенсацию искажений вследствие кодирования, в запоминающем устройстве 59 для кадра предсказания с компенсацией движения в качестве опорного изображения (операция ST31). Узел 58 контурного фильтра может выполнять процедуру фильтрации для каждого блока кодирования, имеющего максимальный размер, из локального декодированного сигнала изображения, выведенного в него из узла 56 суммирования, или для каждого блока кодирования. В альтернативном варианте после того, как выведен локальный декодированный сигнал изображения, соответствующий всем макроблокам одного изображения, выводимого на экран, узел контурного фильтра может выполнять процедуру фильтрации сразу же всех макроблоков одного изображения, выводимого на экран.

Из приведенного выше описания видно следующее: поскольку узел 4 внутреннего предсказания из устройства кодирования движущихся изображений согласно этому первому варианту осуществления изобретения создан так, что при выполнении процедуры внутрикадрового предсказания для генерации изображения с внутренним предсказанием с использованием уже закодированного сигнала изображения в кадре выбирает фильтр из одного или более заранее подготовленных фильтров в соответствии с состояниями различных параметров, связанных с кодированием целевого блока, подлежащего фильтрации, и выполняет процедуру фильтрации изображения с предсказанием с использованием этого фильтра, то обеспечено преимущество, заключающееся в том, что он способен уменьшать ошибки предсказания, которые возникают локально, в силу чего он способен улучшать качество изображения.

Кроме того, поскольку узел 4 внутреннего предсказания согласно этому первому варианту осуществления изобретения создан так, что выбирает фильтр с учетом, по меньшей мере, одного из следующих параметров: (1) размера раздела P_iⁿ (l_iⁿ×m_iⁿ); (2) параметра квантования, содержащегося в параметрах кодирования ошибки предсказания; (3) расстояния между группой уже закодированных пикселей, используемых во время генерации промежуточного изображения с предсказанием, и целевым пикселем, подлежащим фильтрации; и (4) значения индекса, указывающего режим внутреннего предсказания во время генерации промежуточного изображения с предсказанием, то обеспечено преимущество, заключающееся в предотвращении возникновения локальной ошибки предсказания тогда, когда, например, граница изображения, подлежащего кодированию, становится немного искаженной, приобретая нелинейную форму, или возникает небольшое смещение под углом к границе в изображении, подлежащем кодированию, при выполнении предсказания по направлению и в предотвращении возникновения ошибки предсказания на границе между блоками вследствие потери непрерывности с сигналом уже закодированного пикселя, смежного с разделом, при выполнении предсказания с усреднением, в силу чего он способен улучшать эффективность предсказания.

Поскольку узел 53 внутреннего предсказания из устройства декодирования движущихся изображений согласно этому первому варианту осуществления изобретения создан так, что при выполнении процедуры внутрикадрового предсказания для генерации изображения с внутренним предсказанием с использованием уже декодированного сигнала изображения в кадре он производит выбор фильтра из одного или более заранее подготовленных фильтров в соответствии с состояниями различных параметров, связанных с декодированием целевого блока, подлежащего фильтрации, и выполняет процедуру фильтрации изображения с предсказанием с использованием фильтра, то обеспечено преимущество, заключающееся в уменьшении ошибок предсказания, возникающих локально, при этом также обеспечена возможность генерации устройством декодирования движущихся изображений того же самого изображения с внутренним предсказанием, что и изображение с внутренним предсказанием, сгенерированное устройством кодирования движущихся изображений.

Кроме того, поскольку узел 53 внутреннего предсказания согласно этому первому варианту осуществления изобретения создан так, что выбирает фильтр с учетом, по меньшей мере, одного из следующих параметров: (1) размера раздела P_iⁿ (l_iⁿ×m_iⁿ); (2) параметра квантования, содержащегося в параметрах кодирования ошибки предсказания; (3) расстояния между группой уже закодированных пикселей, используемых во время генерации промежуточного изображения с предсказанием, и целевым пикселем, подлежащим фильтрации; и (4) значения индекса, указывающего режим внутреннего предсказания во время генерации промежуточного изображения с предсказанием, то обеспечено преимущество, заключающееся в предотвращении возникновения локальной ошибки предсказания тогда, когда, например, граница изображения, подлежащего кодированию, становится немного искаженной, приобретая нелинейную форму, или возникает небольшое смещение под углом к границе в изображении, подлежащем кодированию, при выполнении предсказания по направлению, и в предотвращении возникновения ошибки предсказания на границе между блоками вследствие потери непрерывности с сигналом уже закодированного пикселя, смежного с разделом, при выполнении предсказания с усреднением, и другое преимущество, заключающееся в том, что также обеспечена возможность генерации устройством декодирования движущихся изображений того же самого изображения с внутренним предсказанием, что и изображение с внутренним предсказанием, сгенерированное устройством кодирования движущихся изображений.

Второй вариант осуществления изобретения

Несмотря на то что в вышеупомянутом первом варианте осуществления изобретения показан пример, в котором узел 4 внутреннего предсказания выбирает фильтр в соответствии с состояниями различных параметров, связанных с кодированием целевого блока, подлежащего фильтрации, из одного или более заранее подготовленных фильтров и выполняет процедуру фильтрации изображения с предсказанием с использованием этого фильтра при выполнении процедуры внутрикадрового предсказания для генерации изображения с внутренним предсказанием с использованием уже закодированного сигнала изображения в кадре, в альтернативном варианте может быть предусмотрен фильтр Винера (Wiener), который минимизирует сумму квадратичных ошибок между блоком кодирования и изображением с предсказанием, и когда использование этого фильтра Винера увеличивает степень уменьшения ошибок предсказания по сравнению с использованием фильтра, который был выбран из одного или более заранее подготовленных фильтров, может быть выполнена процедура фильтрации изображения с предсказанием с использованием вышеупомянутого фильтра Винера вместо выбранного фильтра. Ниже приведено конкретное объяснение этих процедур.

Каждый из узлов 4 и 53 внутреннего предсказания согласно вышеупомянутому первому варианту осуществления изобретения создан так, что выбирает фильтр из одного или более заранее подготовленных фильтров в соответствии с состояниями различных параметров, связанных с кодированием целевого блока, подлежащего фильтрации. Несмотря на то что каждый из узлов внутреннего предсказания может выбирать надлежащий фильтр из одного или более фильтров, доступных для выбора, с учетом четырех параметров (1)-(4), каждый из узлов внутреннего предсказания не может выполнять "оптимальную фильтрацию" в том случае, когда существует иной оптимальный фильтр, чем один или более фильтров, доступных для выбора. Этот второй вариант осуществления изобретения отличается следующим: несмотря на то, что устройство кодирования движущихся изображений создает оптимальный фильтр на основании изображения видеокадра и выполняет процедуру фильтрации, а также выполняет кодирование коэффициентов фильтра и т.д., устройство декодирования движущихся изображений декодирует коэффициенты фильтра и т.д. и выполняет процедуру фильтрации с использованием этого фильтра.

Узел 4 внутреннего предсказания из устройства кодирования движущихся изображений выполняет процедуру внутрикадрового предсказания для каждого раздела P_iⁿ каждого блока Bⁿ кодирования для генерации изображения P_iⁿ с внутренним предсказанием подобно узлу 4 внутреннего предсказания из устройства кодирования движущихся изображений согласно вышеупомянутому первому варианту осуществления изобретения. Узел 4 внутреннего предсказания также выбирает фильтр из одного или более заранее подготовленных фильтров в соответствии с состояниями различных параметров, связанных с кодированием целевого блока, подлежащего фильтрации, с использованием того же самого способа, что и способ, используемый узлом внутреннего предсказания согласно вышеупомянутому первому варианту осуществления изобретения, и выполняет процедуру фильтрации изображения P_iⁿ с внутренним предсказанием с использованием этого фильтра. После определения параметров внутреннего предсказания для каждого из всех блоков Bⁿ кодирования в изображении видеокадра узел 4 внутреннего предсказания создает для каждой области, в которой в изображении видеокадра (для каждой области, имеющей один и тот же индекс фильтра) используется идентичный фильтр, фильтр Винера, который минимизирует сумму квадратичных ошибок между введенным изображением в области и изображением с внутренним предсказанием (среднеквадратичной ошибки в целевой области).

Коэффициенты фильтра Винера могут быть определены из автокорреляционной матрицы сигнала промежуточного изображения с предсказанием и кросс-корреляционной матрицы введенного сигнала изображения и сигнала промежуточного изображения с предсказанием согласно приведенному ниже уравнению (4). Размер матриц и соответствует определенному количеству отводов фильтра.

(4)

После создания фильтра Винера узел 4 внутреннего предсказания выражает сумму квадратичных ошибок в целевой области для создания фильтра в случае выполнения процедуры фильтрации с использованием фильтра Винера как D1, объем кода во время кодирования информации (например, коэффициенты фильтра), соответствующий фильтру Винера, как R1, и сумму квадратичных ошибок в целевой области для создания фильтра в случае выполнения процедуры фильтрации с использованием фильтра, выбранного с использованием того же самого способа, что и способ, продемонстрированный в вышеупомянутом первом варианте осуществления изобретения, как D2, а затем проверяет, выполняется ли приведенное ниже уравнение (5) или нет.

D1+λ⋅R1<D2,(5)

где λ является константой.

Когда уравнение (5) выполняется, узел 4 внутреннего предсказания выполняет процедуру фильтрации с использованием фильтра Винера вместо фильтра, выбранного с использованием того же самого способа, что и способ, продемонстрированный в вышеупомянутом первом варианте осуществления изобретения. В отличие от этого, когда уравнение (5) не выполняется, узел внутреннего предсказания выполняет процедуру фильтрации с использованием фильтра, который узел внутреннего предсказания выбирает с использованием того же самого способа, что и способ, продемонстрированный в вышеупомянутом первом варианте осуществления изобретения. Несмотря на то, что узел внутреннего предсказания выполняет оценку с использованием сумм квадратичных ошибок D1 и D2, этот вариант осуществления изобретения не ограничен этим примером. В альтернативном варианте узел внутреннего предсказания может выполнять оценку с использованием количественных показателей, указывающих другие значения искажения предсказания, таких как, например, суммы абсолютных значений ошибок вместо сумм квадратичных ошибок D1 и D2.

При выполнении процедуры фильтрации с использованием фильтра Винера для узла 4 внутреннего предсказания требуется информация об обновлении фильтра, указывающая коэффициенты фильтра Винера и индексы, каждый из которых указывает соответствующий фильтр, замененный фильтром Винера. В частности, когда количество фильтров, выбираемых в процедуре фильтрации с использованием параметров выбора фильтра, выражено как L, и фильтрам назначены, соответственно, индексы в интервале от нуля до L-1, то при использовании созданного фильтра Винера для каждого индекса в качестве информации об обновлении фильтра необходимо закодировать значение "1" для индекса, тогда как в том случае, когда для каждого индекса используется подготовленный фильтр, в качестве информации об обновлении фильтра необходимо закодировать значение "0" для индекса. Переменная узла 13 кодирования с переменной длиной кода выполняет кодирование с переменной длиной кода для информации об обновлении фильтра, выведенной в него из узла 4 внутреннего предсказания, и выполняет мультиплексирование закодированных данных информации об обновлении фильтра в поток битов.

Несмотря на то, что в этом варианте осуществления изобретения показан пример создания фильтра Винера, минимизирующего среднеквадратичную ошибку между введенным изображением и изображением с предсказанием в каждой области, для которой в изображении видеокадра для области используется идентичный фильтр, фильтр Винера, минимизирующий среднеквадратичную ошибку между введенным изображением и изображением с предсказанием в каждой области, для которой используется идентичный фильтр, может быть создан для каждой из других конкретных областей, каждая из которых не является изображением видеокадра. Например, вышеупомянутая структура фильтра Винера может быть реализована только для определенного конкретного изображения видеокадра или только тогда, когда удовлетворено особое условие (например, только для того изображения видеокадра, к которому добавлена функция обнаружения изменения сюжета и в котором обнаружено изменение сюжета).

Узел 51 декодирования с переменной длиной кода из устройства декодирования движущихся изображений выполняет декодирование с переменной длиной кода для закодированных данных, мультиплексированных в поток битов, для получения информации об обновлении фильтра. Узел 53 внутреннего предсказания выполняет процедуру внутрикадрового предсказания для каждого раздела P_iⁿ каждого блока Bⁿ кодирования для генерации изображения P_iⁿ с внутренним предсказанием, как и узел 53 внутреннего предсказания согласно вышеупомянутому первому варианту осуществления изобретения. При приеме информации об обновлении фильтра из узла 51 декодирования с переменной длиной кода узел 53 внутреннего предсказания обращается к информации об обновлении фильтра для проверки того, имеется ли обновление фильтра, указанного соответствующим индексом, или нет.

Когда по результату проверки узлом 53 внутреннего предсказания определено, что фильтр для определенной области заменен фильтром Винера, он считывает коэффициенты фильтра Винера, содержащиеся в информации об обновлении фильтра, для задания фильтра Винера, и выполняет процедуру фильтрации изображения P_iⁿ с внутренним предсказанием с использованием фильтра Винера. В отличие от этого, для области, в которой фильтр не заменен фильтром Винера, узел внутреннего предсказания выбирает фильтр с использованием того же самого способа, что и способ, используемый узлом внутреннего предсказания согласно вышеупомянутому первому варианту осуществления изобретения, и выполняет процедуру фильтрации изображения P_iⁿ с внутренним предсказанием с использованием этого фильтра.

Из приведенного выше описания видно следующее: поскольку устройство кодирования движущихся изображений согласно этому второму варианту осуществления изобретения создано так, что создает фильтр Винера, минимизирующий сумму квадратичных ошибок между блоком кодирования и изображением с предсказанием, и когда использование этого фильтра Винера повышает степень уменьшения ошибок предсказания по сравнению с использованием фильтра, выбранного из одного или более заранее подготовленных фильтров, выполняет процедуру фильтрации изображения с предсказанием с использованием фильтра Винера вместо выбранного фильтра, то обеспечено преимущество, заключающееся в том, что оно способно еще больше уменьшать ошибки предсказания, возникающие локально, по сравнению с вышеупомянутым первым вариантом осуществления изобретения.

Несмотря на то, что изобретение было описано в его предпочтительных вариантах осуществления, следует понимать, что может быть создана произвольная комбинация из двух или более вышеупомянутых вариантов осуществления изобретения, что могут быть сделаны различные изменения в произвольном компоненте согласно любому из вышеупомянутых вариантов осуществления изобретения, и что произвольный компонент согласно любому из вышеупомянутых вариантов осуществления изобретения может быть опущен, не выходя за пределы объема настоящего изобретения.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изобретение является пригодным для устройства кодирования изображений, которое должно выполнять кодирование изображения с высокой степенью эффективности, и также является пригодным для устройства декодирования изображений, которое должно выполнять декодирование изображения, закодированного с высокой степенью эффективности.

ОБЪЯСНЕНИЯ НОМЕРОВ ССЫЛОЧНЫХ ПОЗИЦИЙ

1 - узел управления кодированием (модуль управления кодированием),

2 - узел разделения на блоки (модуль разделения на блоки),

3 - селекторный переключатель (модуль внутреннего предсказания и модуль предсказания с компенсацией движения),

4 - узел внутреннего предсказания (модуль внутреннего предсказания),

5 - узел предсказания с компенсацией движения (модуль предсказания с компенсацией движения),

6 - узел вычитания (модуль генерации разностного изображения),

7 - узел преобразования/квантования (модуль сжатия изображения),

8 - узел обратного квантования/обратного преобразования,

9 - узел суммирования,

10 - запоминающее устройство для внутреннего предсказания,

11 - узел контурной фильтрации,

12 - запоминающее устройство для кадра предсказания с компенсацией движения,

13 - узел кодирования с переменной длиной кода (модуль кодирования с переменной длиной кода),

31 – узел декодирования с переменной длиной кода (модуль декодирования с переменной длиной кода),

52 – селекторный переключатель (модуль внутреннего предсказания),

54 – узел предсказания с компенсацией движения (модуль

55 - узел обратного квантования/обратного преобразования (модуль генерации разностного изображения),

56 - узел суммирования (модуль генерации декодированного изображения),

57 - запоминающее устройство для внутреннего предсказания,

58 - узел контурной фильтрации,

100 - индекс таблицы выбора фильтра.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества изображения за счет уменьшения локально возникающих ошибок предсказания. Устройство кодирования изображений содержит модуль внутреннего предсказания для выполнения процедуры внутрикадрового предсказания для каждого блока, представляющего собой единичный элемент для предсказания блока кодирования, чтобы генерировать изображение с предсказанием, когда режимом кодирования, соответствующим одному из блоков кодирования, на которые разделено введенное изображение, является режим внутреннего кодирования, при этом, выполняя предсказание с усреднением, модуль внутреннего предсказания выполняет процедуру фильтрации на целевом пикселе внутреннего предсказания, расположенном на верхнем краю или на левом краю блока, который является единичным элементом для предсказания блока кодирования, причем процедура фильтрации использует промежуточное значение предсказания, которое является средним значением смежных пикселей блока, и по меньшей мере один смежный пиксель целевого пикселя. 3 н.п. ф-лы, 21 ил.

1. Устройство кодирования изображений, содержащее:

модуль внутреннего предсказания для, когда режимом кодирования, соответствующим одному из блоков кодирования, на которые разделено введенное изображение, является режим внутреннего кодирования, выполнения процедуры внутрикадрового предсказания для каждого блока, представляющего собой единичный элемент для предсказания блока кодирования, чтобы генерировать изображение с предсказанием, при этом,

когда модуль внутреннего предсказания выполняет предсказание с усреднением, модуль внутреннего предсказания выполняет процедуру фильтрации на целевом пикселе внутреннего предсказания, расположенном на верхнем краю или на левом краю блока, который является единичным элементом для предсказания блока кодирования, причем процедура фильтрации использует промежуточное значение предсказания, которое является средним значением смежных пикселей блока, и по меньшей мере один смежный пиксель целевого пикселя, при этом

модуль внутреннего предсказания устанавливает коэффициент, соответствующий промежуточному значению предсказания, для целевого пикселя в левом верхнем углу, равным 1/2, и устанавливает коэффициент, соответствующий смежному пикселю, смежному с верхней или с левой стороной целевого пикселя, равным 1/4, при этом

модуль внутреннего предсказания устанавливает коэффициент, соответствующий промежуточному значению предсказания, для целевого пикселя в верхнем крае блока, который является другим, чем целевой пиксель в левом верхнем углу, равным 3/4, и устанавливает коэффициент, соответствующий смежному пикселю, смежному с верхней стороной целевого пикселя, равным 1/4, и при этом

модуль внутреннего предсказания устанавливает коэффициент, соответствующий промежуточному значению предсказания, для целевого пикселя в левом крае блока, который является другим, чем целевой пиксель в левом верхнем углу, равным 3/4, и устанавливает коэффициент, соответствующий смежному пикселю, смежному с левой стороной целевого пикселя, равным 1/4.

2. Устройство декодирования изображений, содержащее:

модуль внутреннего предсказания для, когда режимом кодирования, ассоциированным с блоком кодирования, является режим внутреннего кодирования, выполнения процедуры внутрикадрового предсказания для каждого блока, представляющего собой единичный элемент для предсказания блока кодирования, чтобы генерировать изображение с предсказанием, при этом,

когда параметр внутреннего предсказания указывает предсказание с усреднением, модуль внутреннего предсказания выполняет процедуру фильтрации на целевом пикселе внутреннего предсказания, расположенном на верхнем краю или на левом краю блока, который является единичным элементом для предсказания блока кодирования, причем процедура фильтрации использует промежуточное значение предсказания, которое является средним значением смежных пикселей блока, и по меньшей мере один смежный пиксель целевого пикселя, при этом

модуль внутреннего предсказания устанавливает коэффициент, соответствующий промежуточному значению предсказания, для целевого пикселя в левом верхнем углу, равным 1/2, и устанавливает коэффициент, соответствующий смежному пикселю, смежному с верхней или с левой стороной целевого пикселя, равным 1/4, при этом

модуль внутреннего предсказания устанавливает коэффициент, соответствующий промежуточному значению предсказания, для целевого пикселя в верхнем крае блока, который является другим, чем целевой пиксель в левом верхнем углу, равным 3/4, и устанавливает коэффициент, соответствующий смежному пикселю, смежному с верхней стороной целевого пикселя, равным 1/4, и при этом

модуль внутреннего предсказания устанавливает коэффициент, соответствующий промежуточному значению предсказания, для целевого пикселя в левом крае блока, который является другим, чем целевой пиксель в левом верхнем углу, равным 3/4, и устанавливает коэффициент, соответствующий смежному пикселю, смежному с левой стороной целевого пикселя, равным 1/4.

3. Носитель информации, хранящий поток битов, основанный на блоке кодирования, на который разделено введенное изображение для кодирования, причем упомянутый поток битов содержит:

информацию режима кодирования, указывающую, является ли тип режима кодирования блока кодирования процедурой внешнего предсказания или процедурой внутреннего предсказания; и

параметр внутреннего предсказания, указывающий тип внутреннего предсказания, когда информация режима кодирования указывает внутреннее предсказание, при этом

параметр внутреннего предсказания указывает предсказание с усреднением, в котором выполняется процедура фильтрации на целевом пикселе предсказания, расположенном на верхнем краю или на левом краю блока, который является единичным элементом для предсказания блока кодирования, причем процедура фильтрации использует промежуточное значение предсказания, которое является средним значением смежных пикселей блока, и по меньшей мере один смежный пиксель целевого пикселя, и

процедура фильтрации устанавливает коэффициент, соответствующий промежуточному значению предсказания, для целевого пикселя в левом верхнем углу, равным 1/2, и устанавливает коэффициент, соответствующий смежному пикселю, смежному с верхней или с левой стороной целевого пикселя, равным 1/4, при этом

процедура фильтрации устанавливает коэффициент, соответствующий промежуточному значению предсказания, для целевого пикселя в верхнем крае блока, который является другим, чем целевой пиксель в левом верхнем углу, равным 3/4, и устанавливает коэффициент, соответствующий смежному пикселю, смежному с верхней стороной целевого пикселя, равным 1/4, и при этом

процедура фильтрации устанавливает коэффициент, соответствующий промежуточному значению предсказания, для целевого пикселя в левом крае блока, который является другим, чем целевой пиксель в левом верхнем углу, равным 3/4, и устанавливает коэффициент, соответствующий смежному пикселю, смежному с левой стороной целевого пикселя, равным 1/4.