УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2015 года по МПК G06T9/00 H04N19/82 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству кодирования изображений и способу кодирования изображений для кодирования со сжатием и передачи изображения, а также к устройству декодирования изображений и способу декодирования изображений для декодирования кодированных данных, передаваемых посредством устройства кодирования изображений, чтобы восстанавливать изображение.

Уровень техники

Традиционно, в соответствии со способами кодирования видео по международным стандартам, к примеру, MPEG и ITU-T H-26x, после того как входной видеокадр разделяется на макроблоки, каждый из которых является пикселным блоком 16×16, и прогнозирование с компенсацией движения выполняется для каждого макроблока, сжатие информации выполняется посредством выполнения ортогонального преобразования и квантования для сигнала ошибки прогнозирования в единицах блоков.

Тем не менее проблема состоит в том, что по мере того как коэффициент сжатия становится высоким, эффективность сжатия уменьшается в результате ухудшения качества в качестве опорного изображения прогнозирования, которое используется при выполнении прогнозирования с компенсацией движения.

Чтобы разрешать эту проблему в соответствии с таким способом кодирования, как MPEG-4 AVC/H.264 (см. непатентную ссылку 1), искажение в виде блочности, которое возникает в опорном изображении прогнозирования при квантовании коэффициентов ортогонального преобразования, пытаются удалять посредством выполнения процесса фильтрации блочности в контуре.

Фиг. 17 является блок-схемой, показывающей устройство кодирования изображений, раскрытое в непатентной ссылке 1.

В этом устройстве кодирования изображений при приеме сигнала изображения, который является целью, которая должна быть кодирована, модуль 101 разделения на блоки разделяет сигнал изображения на макроблоки и выводит сигнал изображения в единицах макроблоков в модуль 102 прогнозирования в качестве разделенного сигнала изображения.

При приеме разделенного сигнала изображения из модуля 101 разделения на блоки модуль 102 прогнозирования вычисляет сигнал ошибки прогнозирования посредством прогнозирования сигнала изображения каждого цветового компонента в каждом макроблоке в кадре или между кадрами.

В частности, при выполнении прогнозирования с компенсацией движения между кадрами, модуль прогнозирования выполняет поиск вектора движения в единицах либо самих макроблоков, либо каждого из субблоков, на которые каждый макроблок более точно разделяется.

Модуль прогнозирования затем выполняет прогнозирование с компенсацией движения для опорного сигнала изображения, сохраненного в запоминающем устройстве 107, посредством использования вектора движения, чтобы формировать изображение прогнозирования с компенсацией движения, и определяет разность между сигналом прогнозирования, показывающим изображение прогнозирования с компенсацией движения, и разделенным сигналом изображения, чтобы вычислять сигнал ошибки прогнозирования.

Модуль 102 прогнозирования также выводит параметры для формирования сигналов прогнозирования, которые модуль прогнозирования определяет при получении сигнала прогнозирования, в модуль 108 кодирования переменной длины.

Например, параметры для формирования сигналов прогнозирования включают в себя фрагменты информации, такой как режим внутреннего прогнозирования, показывающий то, как выполнять пространственное прогнозирование в каждом кадре, и вектор движения, показывающий величину движения между кадрами.

При приеме сигнала ошибки прогнозирования из модуля 102 прогнозирования модуль 103 сжатия квантует сигнал ошибки прогнозирования, чтобы обнаруживать сжатые данные после выполнения процесса DCT (дискретного косинусного преобразования) для сигнала ошибки прогнозирования, чтобы удалять корреляцию сигналов из этого сигнала ошибки прогнозирования.

При приеме сжатых данных из модуля 103 сжатия модуль 104 локального декодирования выполняет обратное квантование сжатых данных и затем выполняет процесс обратного DCT для сжатых данных, обратно квантованных таким образом, чтобы вычислять сигнал ошибки прогнозирования, соответствующий сигналу ошибки прогнозирования, выводимому из модуля 102 прогнозирования.

При приеме сигнала ошибки прогнозирования из модуля 104 локального декодирования сумматор 105 суммирует сигнал ошибки прогнозирования и сигнал прогнозирования, выводимый из модуля 102 прогнозирования, чтобы формировать локальное декодированное изображение.

Контурный фильтр 106 удаляет искажение в виде блочности, накладываемое на сигнал локального декодированного изображения, показывающий локальное декодированное изображение, сформированное посредством сумматора 105, и сохраняет сигнал локального декодированного изображения с удаленным искажением в запоминающем устройстве 107 в качестве опорного сигнала изображения.

При приеме сжатых данных из модуля 103 сжатия, модуль 108 кодирования переменной длины энтропийно кодирует сжатые данные, чтобы выводить поток битов, который является кодированным результатом.

При выводе потока битов модуль 108 кодирования переменной длины мультиплексирует параметры для формирования сигналов прогнозирования, выводимых из модуля 102 прогнозирования, в поток битов и выводит этот поток битов.

В соответствии со способом, раскрытым в непатентной ссылке 1, контурный фильтр 106 определяет интенсивность сглаживания согласно информации, включающей в себя разрешение квантования, режим кодирования, степень варьирования вектора движения и т.д. для пикселов около границы блока DCT, чтобы предоставлять уменьшение искажения, возникающего на границе блока.

Как результат, качество опорного сигнала изображения может быть повышено, и эффективность прогнозирования с компенсацией движения в последующих процессах кодирования может быть повышена.

Напротив, проблема в способе, раскрытом в непатентной ссылке 1, состоит в том, что компоненты верхних частот сигнала теряются с увеличением коэффициента сжатия, при котором кодируется сигнал, и, следовательно, весь экран сглаживается слишком сильно, и кодированное видео становится размытым.

Чтобы разрешать эту проблему, непатентная ссылка 2 раскрывает технологию применения фильтра Винера в качестве контурного фильтра 106 и формирования этого контурного фильтра 106 таким образом, что искажение в зависимости от квадратической ошибки между сигналом изображения, который должен быть кодирован, который является сигналом исходного изображения, и опорным сигналом изображения, соответствующим этому сигналу изображения, минимизируется.

Фиг. 18 является пояснительным чертежом, показывающим принцип для того, чтобы повышать качество опорного сигнала изображения с использованием фильтра Винера в устройстве кодирования изображений, раскрытом в непатентной ссылке 2.

На Фиг. 18 сигнал s соответствует сигналу изображения, который должен быть кодирован, который вводится в модуль 101 разделения на блоки, показанный на Фиг. 17, и сигнал s' соответствует либо сигналу локального декодированного изображения, выводимому из сумматора 105, показанного на Фиг. 17, либо сигналу локального декодированного изображения, в котором искажение, возникающее на границе блока, уменьшается посредством контурного фильтра 106, раскрытого в непатентной ссылке 1.

Более конкретно, сигнал s' является сигналом, в котором искажение (шум) e при кодировании накладывается на сигнал s.

Фильтр Винера задается как фильтр, который применяется к сигналу s' таким образом, чтобы минимизировать это искажение (шум) e при кодировании с использованием критерия искажения в зависимости от квадратической ошибки. Типично, коэффициенты w фильтрации могут быть определены посредством использования следующего уравнения (1) как из матрицы R_s's' автокорреляции сигнала s', так и из матрицы R_ss' взаимной корреляции между сигналами s и s'. Размер матриц R_s's' и R_ss' соответствует числу отводов определенного фильтра.

$$w=R_{s\text{'}s\text{'}}^{-1}\cdot R_{ss\text{'}}\left(1\right)$$

Посредством применения фильтра Винера, имеющего коэффициенты w фильтрации, сигнал s "шляпка", качество которого повышено ("^", присоединенный к букве алфавита, упоминается как "шляпка", поскольку данная заявка является электронной заявкой на патент в Японии), обнаруживается в качестве сигнала, соответствующего опорному сигналу изображения. Устройство кодирования изображений, раскрытое в непатентной ссылке 2, определяет коэффициенты w фильтрации в каждом из двух или более различных чисел отводов для каждого полного кадра изображения, которое является целью, которая должна быть кодирована, и после определения фильтра, имеющего число отводов, которое оптимизирует объем кода коэффициентов w фильтрации и искажение (e'=s"шляпка"-s), которое вычисляется после того, как процесс фильтрации реализуется с использованием критерия искажения в зависимости от скорости передачи, дополнительно разделяет сигнал s' на множество блоков, имеющих определенный размер, выбирает, применять или нет фильтр Винера, имеющий оптимальное число отводов, которое определяется выше, к каждому блоку и передает информацию по активации/деактивации фильтра для каждого блока.

Как результат, дополнительный объем кода, требуемый для того, чтобы выполнять процесс фильтрации Винера, может быть уменьшен, и качество изображения прогнозирования может быть повышено.

Документы предшествующего уровня техники

Непатентные ссылки

Непатентная ссылка 1. Стандарты MPEG-4 AVC (ISO/IEC 14496-10)/H.ITU-T 264

Непатентная ссылка 2. T.Chujoh, G.Yasuda, N.Wada, T.Watanabe, T.Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI18, Конференция ITU-T SG16/Q.6, июль 2008 года

Раскрытие изобретения

Поскольку традиционное устройство кодирования изображений имеет такую структуру, как указано выше, один фильтр Винера рассчитывается для всего кадра, который является целью, которая должна быть кодирована, информация, показывающая то, применять или нет процесс фильтрации Винера, применяется к каждому из блоков, которые составляют каждый кадр. Тем не менее проблема состоит в том, что поскольку идентичный фильтр Винера применяется к любому блоку каждого кадра, возникает случай, когда фильтр Винера не всегда является оптимальным фильтром для каждого блока, и качество изображений не может быть повышено в достаточной степени.

Настоящее изобретение осуществлено, чтобы разрешать вышеуказанную проблему, и, следовательно, цель настоящего изобретения заключается в том, чтобы предоставлять устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений, которые позволяют повышать точность повышения качества изображений.

В соответствии с настоящим изобретением предусмотрено устройство кодирования изображений, в котором модуль фильтрации включает в себя модуль классификации областей для извлечения оценочной величины каждой из областей, которые составляют локальное декодированное изображение, полученное посредством модуля локального декодирования, чтобы классифицировать каждую из областей на класс, которому область принадлежит, согласно оценочной величине, и модуль составления и обработки фильтра, для каждого класса, которому одна или более областей, из областей, которые составляют локальное декодированное изображение, принадлежат, формирования фильтра, который минимизирует ошибку, возникающую между вводимым изображением и локальным декодированным изображением в каждой из одной или более областей, принадлежащих классу, чтобы компенсировать искажение, накладываемое на одну или более областей, посредством использования фильтра.

Поскольку модуль фильтрации в соответствии с настоящим изобретением включает в себя модуль классификации областей для извлечения оценочной величины каждой из областей, которые составляют локальное декодированное изображение, полученное посредством модуля локального декодирования, чтобы классифицировать каждую из областей на класс, которому область принадлежит, согласно оценочной величине, и модуль составления и обработки фильтра для каждого класса, которому одна или более областей из областей, которые составляют локальное декодированное изображение, принадлежат, формирования фильтра, который минимизирует ошибку, возникающую между вводимым изображением и локальным декодированным изображением в каждой из одной или более областей, принадлежащих классу, чтобы компенсировать искажение, накладываемое на одну или более областей, посредством использования фильтра, предоставляется преимущество возможности повышать точность повышения качества изображений.

Краткое описание чертежей

Фиг. 1 является блок-схемой, показывающей устройство кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 2 является блок-схемой, показывающей контурный фильтр 6 устройства кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 3 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 4 является пояснительным чертежом, показывающим пример классов, на которые четыре области (область A, область B, область C и область D), которые составляют локальное декодированное изображение, классифицируются;

Фиг. 5 является пояснительным чертежом, показывающим 16 блоков (K), которые составляют локальное декодированное изображение;

Фиг. 6 является пояснительным чертежом, показывающим пример потока битов, сформированного посредством узла 8 кодирования переменной длины;

Фиг. 7 является блок-схемой, показывающей устройство декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 8 является блок-схемой, показывающей контурный фильтр 25 устройства декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 9 является блок-схемой, показывающей контурный фильтр 25 устройства декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 10 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 25 устройства декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения;

Фиг. 11 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 2 осуществления настоящего изобретения;

Фиг. 12 является пояснительным чертежом, показывающим пример выбора фильтра Винера для каждого из блоков (K), которые составляют локальное декодированное изображение;

Фиг. 13 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 25 устройства декодирования изображений в соответствии с вариантом 2 осуществления настоящего изобретения;

Фиг. 14 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 3 осуществления настоящего изобретения;

Фиг. 15 является блок-схемой последовательности операций способа, показывающей процесс для первого кадра, выполняемого посредством контурного фильтра 6;

Фиг. 16 является блок-схемой последовательности операций способа, показывающей процесс для второго или последующего кадра, выполняемого посредством контурного фильтра 6;

Фиг. 17 является блок-схемой, показывающей устройство кодирования изображений, раскрытое в непатентной ссылке 1; и

Фиг. 18 является пояснительным чертежом, показывающим принцип для того, чтобы повышать качество опорного сигнала изображения с использованием фильтра Винера.

Осуществление изобретения

Далее, для того чтобы подробнее пояснять это изобретение, предпочтительные варианты осуществления настоящего изобретения описываются со ссылкой на прилагаемые чертежи.

Вариант 1 осуществления

Фиг. 1 является блок-схемой, показывающей устройство кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения. На Фиг. 1 модуль 1 разделения на блоки выполняет процесс разделения сигнала изображения, который является вводимым изображением и который является целью, которая должна быть кодирована, на макроблоки и вывода сигнала изображения в единицах макроблоков в модуль 2 прогнозирования в качестве разделенного сигнала изображения.

При приеме разделенного сигнала изображения из модуля 1 разделения на блоки, модуль 2 прогнозирования выполняет процесс прогнозирования для разделенного сигнала изображения в кадре или между кадрами, чтобы формировать сигнал прогнозирования.

В частности, при выполнении прогнозирования с компенсацией движения между кадрами модуль прогнозирования обнаруживает вектор движения в единицах макроблоков или каждого из субблоков, на которые макроблок более точно разделяется, как из разделенного сигнала изображения, так и из опорного сигнала изображения, показывающего опорное изображение, сохраненное в запоминающем устройстве 7, чтобы формировать сигнал прогнозирования, показывающий изображение прогнозирования, из вектора движения и опорного сигнала изображения.

После формирования сигнала прогнозирования модуль прогнозирования затем выполняет процесс вычисления сигнала ошибки прогнозирования, который является разностью между разделенным сигналом изображения и сигналом прогнозирования.

Кроме того, при формировании сигнала прогнозирования, модуль 2 прогнозирования определяет параметры для формирования сигналов прогнозирования и выводит параметры для формирования сигналов прогнозирования в узел 8 кодирования переменной длины.

Например, параметры для формирования сигналов прогнозирования включают в себя фрагменты информации, к примеру режим внутреннего прогнозирования, показывающий то, как выполнять пространственное прогнозирование в кадре, и вектор движения, показывающий величину движения между кадрами.

Модуль обработки прогнозирования состоит из модуля 1 разделения на блоки и модуля 2 прогнозирования.

Модуль 3 сжатия выполняет процесс выполнения процесса DCT (дискретного косинусного преобразования) для сигнала ошибки прогнозирования, вычисленного посредством модуля 2 прогнозирования, чтобы вычислять DCT-коэффициенты при квантовании DCT-коэффициентов, чтобы выводить сжатые данные, которые являются DCT-коэффициентами, квантованными таким образом, в узел 4 локального декодирования и узел 8 кодирования переменной длины. Модуль 3 сжатия составляет модуль сжатия разностных изображений.

Узел 4 локального декодирования выполняет процесс выполнения обратного квантования сжатых данных, выводимых из модуля 3 сжатия, и выполнения процесса обратного DCT для сжатых данных, обратно квантованных таким образом, чтобы вычислять сигнал ошибки прогнозирования, соответствующий сигналу ошибки прогнозирования, выводимому из модуля 2 прогнозирования.

Сумматор 5 выполняет процесс суммирования сигнала ошибки прогнозирования, вычисленного посредством узла 4 локального декодирования, и сигнала прогнозирования, сформированного посредством модуля 2 прогнозирования, чтобы формировать сигнал локального декодированного изображения, показывающий локальное декодированное изображение.

Модуль локального декодирования состоит из узла 4 локального декодирования и сумматора 5.

Контурный фильтр 6 выполняет процесс выполнения процесса фильтрации для компенсации искажения, накладываемого на сигнал локального декодированного изображения, сформированный посредством сумматора 5, чтобы выводить сигнал локального декодированного изображения, фильтрованный таким образом, в запоминающее устройство 7 в качестве опорного сигнала изображения при выводе информации по фильтру, который контурный фильтр использует при выполнении процесса фильтрации, в узел 8 кодирования переменной длины. Контурный фильтр 6 составляет модуль фильтрации.

Запоминающее устройство 7 является носителем записи для сохранения опорного сигнала изображения, выводимого из контурного фильтра 6.

Узел 8 кодирования переменной длины выполняет процесс энтропийного кодирования сжатых данных, выводимых из модуля 3 сжатия, информации фильтра, выводимой из контурного фильтра 6, и параметров для формирования сигналов прогнозирования, выводимых из модуля 2 прогнозирования, чтобы формировать поток битов, показывающий эти кодированные результаты. Узел 8 кодирования переменной длины составляет модуль кодирования переменной длины.

Фиг. 2 является блок-схемой, показывающей контурный фильтр 6 устройства кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

На Фиг. 2, запоминающее устройство 11 кадров является носителем записи для сохранения только одного кадра сигнала локального декодированного изображения, сформированного посредством сумматора 5.

Модуль 12 классификации областей выполняет процесс извлечения оценочной величины каждой из областей, которые составляют локальное декодированное изображение, показанное посредством одного кадра сигнала локального декодированного изображения, сохраненного в запоминающем устройстве 11 кадров, чтобы классифицировать каждую из областей на класс, которому область принадлежит, согласно оценочной величине.

Модуль 13 составления и обработки фильтра выполняет процесс формирования для каждого класса, которому одна или более областей, включенных в области, которые составляют локальное декодированное изображение, принадлежат, фильтра Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в каждой из одной или более областей, которые принадлежат классу, и использования фильтра Винера, чтобы компенсировать искажение, накладываемое на область.

Модуль 13 составления и обработки фильтра также выполняет процесс вывода информации фильтра по фильтру Винера в узел 8 кодирования переменной длины.

Далее поясняется работа устройства кодирования изображений.

При приеме сигнала изображения, который является целью, которая должна быть кодирована, модуль 1 разделения на блоки разделяет сигнал изображения на макроблоки и выводит сигнал изображения в единицах макроблоков в модуль 2 прогнозирования в качестве разделенного сигнала изображения.

При приеме разделенного сигнала изображения из модуля 1 разделения на блоки модуль 2 прогнозирования обнаруживает параметры для формирования сигналов прогнозирования, которые модуль прогнозирования использует для того, чтобы выполнять процесс прогнозирования для разделенного сигнала изображения в кадре или между кадрами. Затем, модуль прогнозирования формирует сигнал прогнозирования, показывающий изображение прогнозирования, с использованием параметров для формирования сигналов прогнозирования.

В частности, модуль прогнозирования обнаруживает вектор движения, который является параметром для формирования сигналов прогнозирования, используемым для выполнения процесса прогнозирования между кадрами, из разделенного сигнала изображения и опорного сигнала изображения, сохраненных в запоминающем устройстве 7.

После получения вектора движения модуль 2 прогнозирования затем формирует сигнал прогнозирования посредством выполнения прогнозирования с компенсацией движения для опорного сигнала изображения посредством использования вектора движения.

После формирования сигнала прогнозирования, показывающего изображение прогнозирования, модуль 2 прогнозирования вычисляет сигнал ошибки прогнозирования, который является разностью между сигналом прогнозирования и разделенным сигналом изображения, и выводит сигнал ошибки прогнозирования в модуль 3 сжатия.

При формировании сигнала прогнозирования модуль 2 прогнозирования также определяет параметры для формирования сигналов прогнозирования и выводит параметры для формирования сигналов прогнозирования в узел 8 кодирования переменной длины.

Например, параметры для формирования сигналов прогнозирования включают в себя фрагменты информации, к примеру режим внутреннего прогнозирования, показывающий то, как выполнять пространственное прогнозирование в кадре, и вектор движения, показывающий величину движения между кадрами.

При приеме сигнала ошибки прогнозирования из модуля 2 прогнозирования модуль 3 сжатия вычисляет DCT-коэффициенты посредством выполнения процесса DCT (дискретного косинусного преобразования) для сигнала ошибки прогнозирования и затем квантует DCT-коэффициенты.

Модуль 3 сжатия затем выводит сжатые данные, которые являются DCT-коэффициентами, квантованными таким образом, в узел 4 локального декодирования и узел 8 кодирования переменной длины.

При приеме сжатых данных из модуля 3 сжатия узел 4 локального декодирования выполняет обратное квантование сжатых данных и затем переносит процесс обратного DCT для сжатых данных, обратно квантованных таким образом, чтобы вычислять сигнал ошибки прогнозирования, соответствующий сигналу ошибки прогнозирования, выводимому из модуля 2 прогнозирования.

После того как узел 4 локального декодирования вычисляет сигнал ошибки прогнозирования, сумматор 5 суммирует сигнал ошибки прогнозирования и сигнал прогнозирования, сформированный посредством модуля 2 прогнозирования, чтобы формировать сигнал локального декодированного изображения, показывающий локальное декодированное изображение.

После того как сумматор 5 формирует сигнал локального декодированного изображения, контурный фильтр 6 выполняет процесс фильтрации для компенсации искажения, накладываемого на сигнал локального декодированного изображения, и сохраняет сигнал локального декодированного изображения, фильтрованный таким образом, в запоминающем устройстве 7 в качестве опорного сигнала изображения.

Контурный фильтр 6 также выводит информацию по фильтру, который контурный фильтр использует при выполнении процесса фильтрации, в узел 8 кодирования переменной длины.

Узел 8 кодирования переменной длины выполняет процесс энтропийного кодирования сжатых данных, выводимых из модуля 3 сжатия, информации фильтра, выводимой из контурного фильтра 6, и параметров для формирования сигналов прогнозирования, выводимых из модуля 2 прогнозирования, чтобы формировать поток битов, показывающий эти кодированные результаты.

В это время, хотя модуль кодирования переменной длины также энтропийно кодирует параметры для формирования сигналов прогнозирования, устройство кодирования изображений альтернативно может мультиплексировать параметры для формирования сигналов прогнозирования в поток битов, который формирует устройство кодирования изображений, и выводить этот поток битов без энтропийного кодирования параметров для формирования сигналов прогнозирования.

Далее конкретно поясняется процесс, выполняемый посредством контурного фильтра 6.

Фиг. 3 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

Во-первых, запоминающее устройство 11 кадров контурного фильтра 6 сохраняет только один кадр сигнала локального декодированного изображения, сформированного посредством сумматора 5.

Модуль 12 классификации областей извлекает оценочную величину каждой из областей, которые составляют локальное декодированное изображение, показанное посредством одного кадра сигнала локального декодированного изображения, сохраненного в запоминающем устройстве 11 кадров, и классифицирует каждую из областей на класс, которому область принадлежит, согласно оценочной величине (этап ST1).

Например, для каждой области (каждого блока, имеющего произвольный размер (M×M пикселов)), модуль классификации областей извлекает дисперсию сигнала локального декодированного изображения, DCT-коэффициенты, вектор движения, параметр квантования DCT-коэффициентов и т.п. в области в качестве оценочной величины и выполняет классификацию класса на основе этих фрагментов информации. В этом случае, M является целым числом, равным или превышающим 1.

Например, когда дисперсия сигнала локального декодированного изображения в области используется в качестве оценочной величины в случае, если каждая из областей классифицируется на один из класса 1-N (N является целым числом, равным или превышающим 1), (N-1) пороговых значений подготавливается заранее, и дисперсия сигнала локального декодированного изображения сравнивается с каждым из (N-1) пороговых значений (th₁<th₂<...<th_N-1), и класс, которому область принадлежит, идентифицируется.

Например, когда дисперсия сигнала локального декодированного изображения равна или превышает th_N-3 и меньше th_N-2, область классифицируется на класс N-2. Кроме того, когда дисперсия сигнала локального декодированного изображения равна или превышает th₂ и меньше th₃, область классифицируется на класс 3.

В этом случае, хотя пример, в котором (N-1) пороговых значений подготавливается заранее, показывается, эти пороговые значения могут быть изменены динамически для каждой последовательности или каждого кадра.

Например, при использовании вектора движения в области в качестве оценочной величины, модуль классификации областей вычисляет средний вектор, который является средним значением векторов движения, или средний вектор, который является средним значением векторов движения, и идентифицирует класс, которому область принадлежит, согласно величине или направлению вектора.

В этом случае, средний вектор имеет компоненты (компоненты x и y), каждый из которых является средним значением соответствующих компонентов векторов движения.

Напротив, средний вектор имеет компоненты (компоненты x и y), каждый из которых является средним значением соответствующих компонентов векторов движения.

Когда модуль 12 классификации областей классифицирует каждую из областей в один из классов 1-N, модуль 13 составления и обработки фильтра формирует для каждого класса, которому одна или более областей, включенных в области, которые составляют локальное декодированное изображение, принадлежат, фильтр Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в каждой из одной или более областей, которые принадлежат классу (этапы ST2-ST8).

Например, в случае, если локальное декодированное изображение состоит из четырех областей (область A, область B, область C и область D), как показано на Фиг. 4, когда области A и C классифицируются на класс 3, область B классифицируется на класс 5, и область D классифицируется на класс 6, модуль составления и обработки фильтра формирует фильтр Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в каждой из областей A и C, принадлежащих классу 3.

Модуль составления и обработки фильтра дополнительно формирует фильтр Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в области B, принадлежащей классу 5, а также формирует фильтр Винера, который минимизирует ошибку, возникающую между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в области D, принадлежащей классу 6.

Например, в случае составления фильтра с переменным числом отводов при формировании фильтра Винера, который минимизирует ошибку, модуль 13 составления и обработки фильтра вычисляет затраты, как показано ниже, для каждого различного числа отводов и затем определяет число отводов и значения коэффициентов фильтра, которые минимизируют затраты.

Cost=D+λ·R $$$$ (2)

где D является суммой квадратических ошибок между сигналом изображения, который является целью, которая должна быть кодирована в области, к которой применяется целевой фильтр, и фильтрованным сигналом локального декодированного изображения, λ является константой и R является объемом кодов, которые формируются в контурном фильтре 6.

Хотя в этом случае затраты задаются посредством уравнения (2), этот случай является только примером. Например, только сумма D квадратических ошибок может задаваться как затраты.

Кроме того, другое оцененное значение, к примеру, сумма абсолютных значений ошибки может быть использовано вместо суммы D квадратических ошибок.

После формирования фильтра Винера для каждого класса, которому одна или более областей принадлежат, модуль 13 составления и обработки фильтра определяет то, является или нет каждый из блоков, которые составляют локальное декодированное изображение (например, каждая из локальных областей, которая меньше каждой из областей A-D, которая составляет локальное декодированное изображение), блоком, для которого модуль составления и обработки фильтра должен выполнять процесс фильтрации (этапы ST9-ST16).

Более конкретно, для каждого из блоков, которые составляют локальное декодированное изображение, модуль 13 составления и обработки фильтра сравнивает ошибки, возникающие между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в блоке между до и после процесса фильтрации.

Например, в случае, если локальное декодированное изображение состоит из 16 блоков (K) (K=1, 2,..., и 16), как показано на Фиг. 5, модуль составления и обработки фильтра сравнивает сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в каждом блоке (K) между до и после процесса фильтрации.

Блок 1, блок 2, блок 5 и блок 6, показанные на Фиг. 5, соответствуют области A, показанной на Фиг. 4, блок 3, блок 4, блок 7 и блок 8, показанные на Фиг. 5, соответствуют области B, показанной на Фиг. 4, блок 9, блок 10, блок 13 и блок 14, показанные на Фиг. 5, соответствуют области C, показанной на Фиг. 4, и блок 11, блок 12, блок 15 и блок 16, показанные на Фиг. 5, соответствуют области D, показанной на Фиг. 4.

Хотя модуль составления и обработки фильтра сравнивает сумму квадратических ошибок между до и после процесса фильтрации, модуль составления и обработки фильтра альтернативно может сравнивать либо затраты (D+λ∙R), показанные посредством уравнения (2), либо сумму абсолютных значений ошибки между до и после процесса фильтрации.

Когда сумма квадратических ошибок, обнаруженная после процесса фильтрации, меньше суммы квадратических ошибок, обнаруженной перед процессом фильтрации, модуль 13 составления и обработки фильтра определяет то, что блок (K) является блоком, который является целью для фильтрации.

Напротив, когда сумма квадратических ошибок, обнаруженная после процесса фильтрации, равна или превышает сумму квадратических ошибок, обнаруженную перед процессом фильтрации, модуль составления и обработки фильтра определяет то, что блок (K) является блоком, который не является целью для фильтрации.

Модуль 13 составления и обработки фильтра затем вычисляет затраты при выполнении процесса фильтрации, который приводит к тому, что затраты становятся минимумом, на этапах ST1-ST16, и затраты при невыполнении процесса фильтрации всего кадра, в настоящее время обрабатываемого, чтобы определять то, выполнять или нет процесс фильтрации всего кадра, в настоящее время обрабатываемого (этапы ST17-ST18).

При определении на этапе ST18, выполнять процесс фильтрации всего кадра, модуль составления и обработки фильтра задает флаг (frame_filter_on_off_flag) равным 1 (активирован) и затем выполняет процесс фильтрации, который приводит к тому, что затраты становятся минимумом, на этапах ST1-ST16, и выводит сигнал локального декодированного изображения, для которого модуль составления и обработки фильтра выполнил процесс фильтрации, в запоминающее устройство 7 в качестве опорного сигнала изображения (этапы ST19-ST20).

Например, когда область, включающая в себя блок (K), является областью B, и класс, которому область B принадлежит, является классом 5, модуль составления и обработки фильтра выполняет процесс фильтрации в блоке (K) посредством использования фильтра Винера класса 5 и выводит сигнал локального декодированного изображения, для которого модуль составления и обработки фильтра выполнил процесс фильтрации, в запоминающее устройство 7 в качестве опорного сигнала изображения.

В это время, при определении, на этапах ST1-ST16, что затраты минимизируются, когда процесс выбора того, выполнять или нет процесс фильтрации для каждого блока, выполняется (во время флага (block_filter_on_off_flag)=1 (активирован)), модуль составления и обработки фильтра выводит сигнал подлежащего фильтрации локального декодированного изображения для блока (K), для которого модуль составления и обработки фильтра определяет не выполнять процесс фильтрации, в запоминающее устройство 7 в качестве опорного сигнала изображения как есть, без выполнения процесса фильтрации в блоке (K). Напротив, при определении, на этапах ST1-ST16, что затраты минимизируются, когда процесс выбора того, выполнять или нет процесс фильтрации для каждого блока, не выполняется (во время флага (block_filter_on_off_flag)=0 (деактивирован)), модуль составления и обработки фильтра выполняет процесс фильтрации для каждого из всех сигналов локального декодированного изображения в кадре посредством использования фильтра Винера класса, на который область, которой сигнал локального декодированного изображения принадлежит, классифицируется, и выводит сигнал локального декодированного изображения, для которого модуль составления и обработки фильтра выполнил процесс фильтрации, в запоминающее устройство 7 в качестве опорного сигнала изображения.

Напротив, при определении, на этапе ST18, не выполнять процесс фильтрации всего кадра, модуль составления и обработки фильтра задает флаг (frame_filter_on_off_flag) равным 0 (деактивирован) и выводит сигнал подлежащего фильтрации локального декодированного изображения в запоминающее устройство 7 в качестве опорного сигнала изображения как есть (этапы ST21-ST22).

На этапах ST2-ST22 в блок-схеме последовательности операций способа, "min_cost" является переменной для сохранения минимальных затрат, "i" является индексом числа tap[i] отводов фильтра и счетчика циклов, и "j" является индексом размера bl_size[j] блока и счетчика циклов.

Кроме того, "min_tap_idx" является индексом (i) числа отводов фильтра в момент, когда затраты минимизируются, "min_bl_size_idx" является индексом (j) размера блока в момент, когда затраты минимизируются, и "MAX" является начальным значением минимальных затрат (достаточно большое значение).

- tap[i] (i=0-N1)

Последовательность, в которой N1 (N1>=1) различных чисел отводов фильтра, которые определяются заранее и каждый из которых может выбираться, сохраняется.

- bl_size[j] (j=0-N2)

Последовательность, в которой N2 (N2>=1) различных размеров блоков (bl_size[j] × bl_size[j] пикселов), которые определяются заранее и каждый из которых может выбираться, сохраняется.

- block_filter_on_off_flag

Флаг, показывающий то, выполнять или нет процесс выбора того, выполнять или нет процесс фильтрации для каждого блока в кадре, в настоящее время обрабатываемом.

- frame_filter_on_off_flag

Флаг, показывающий то, выполнять или нет процесс фильтрации для кадра, в настоящее время обрабатываемого.

Этап ST2 является этапом установления начальных значений, и этапы ST3-ST8 являются циклом для выполнения процесса выбора числа отводов фильтра.

Кроме того, этап ST9 является этапом установления начальных значений, и этапы ST10-ST16 являются циклом для выполнения процесса выбора размера блока и процесса определения того, выполнять или нет процесс фильтрации для каждого блока, имеющего выбранный размер блока.

Помимо этого, этапы ST17-ST18 являются этапами определения того, выполнять или нет процесс фильтрации всего кадра, в настоящее время обрабатываемого, этапы ST19-ST20 являются этапами выполнения оптимального процесса фильтрации, который определяется на этапах ST1-ST16, при frame_filter_on_off_flag=1 (активирован), и этапы ST21-ST22 являются этапами задания frame_filter_on_off_flag равным 0 (деактивирован) и невыполнения процесса фильтрации для кадра, в настоящее время обрабатываемого.

После формирования фильтра Винера и затем выполнения процесса фильтрации вышеуказанным способом модуль 13 составления и обработки фильтра выводит информацию фильтра по фильтру Винера в узел 8 кодирования переменной длины.

Информация фильтра включает в себя флаг (frame_filter_on_off_flag), показывающий то, выполнять или нет процесс фильтрации для кадра, в настоящее время обрабатываемого.

Когда этот флаг активирован (показывает, что процесс фильтрации выполняется), информация, как показано ниже, включается в информацию фильтра.

(1) Число фильтров Винера (число классов, каждому из которых одна или более областей принадлежат)

- Число фильтров Винера может отличаться для каждого кадра.

(2) Информация (индекс) по числу отводов каждого фильтра Винера

- Когда все фильтры являются общими в кадре, общее число отводов включается.

- Когда число отводов отличается для каждого фильтра, число отводов каждого фильтра включается.

(3) Информация по коэффициентам фактически используемого фильтра Винера (фильтра Винера каждого класса, которому одна или более областей принадлежат),

- Даже если фильтр Винера формируется, информация по фильтру Винера не включается, когда фильтр Винера фактически не используется.

(4) Информация активации/деактивации и информация размера блока по фильтрам для каждого блока

- Флаг (block_filter_on_off_flag), показывающий то, выполнять или нет операцию активации/деактивации (выполнять или нет процесс фильтрации) для каждого блока в кадре, в настоящее время обрабатываемом.

- Только тогда, когда block_filter_on_off_flag активирован, информация размера блока (индекс) и информация активации/деактивации по процессу фильтрации для каждого блока включается.

В этом варианте осуществления пример, в котором фрагменты информации (1) к (4) включаются в информацию фильтра, показывается. Число фильтров Винера, число отводов каждого фильтра Винера и размер блока для активации/деактивации могут храниться как посредством устройства кодирования изображений, так и посредством устройства декодирования изображений в качестве информации, определенной совместно в устройстве кодирования изображений и устройстве декодирования изображений, вместо кодирования и передачи фрагментов информации между ними.

Кроме того, хотя в вышеуказанном пояснении Фиг. 3 поясняется в качестве конкретного примера процесса, выполняемого посредством контурного фильтра 6, этапы ST9-ST16 могут опускаться, и процесс невыполнения операции активации/деактивации для процесса фильтрации для каждого блока ((4) не включается в информацию фильтра) может быть включен в качестве части процесса, выполняемого посредством контурного фильтра 6.

Как упомянуто выше, информация фильтра, выводимая из модуля 13 составления и обработки фильтра, энтропийно кодируется посредством узла 8 кодирования переменной длины и передается в устройство декодирования изображений.

Фиг. 6 является пояснительным чертежом, показывающим пример потока битов, сформированного посредством узла 8 кодирования переменной длины.

Фиг. 7 является блок-схемой, показывающей устройство декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

На Фиг. 7, при приеме потока битов из устройства кодирования изображений, узел 21 декодирования переменной длины выполняет процесс декодирования переменной длины сжатых данных, информации фильтра и параметров для формирования сигналов прогнозирования, которые включаются в поток битов. Узел 21 декодирования переменной длины составляет модуль декодирования переменной длины.

Модуль 22 прогнозирования выполняет процесс формирования сигнала прогнозирования, показывающего изображение прогнозирования, посредством использования параметров для формирования сигналов прогнозирования, к которым узел 21 декодирования переменной длины применил декодирование переменной длины. В частности, в случае если вектор движения используется в качестве параметра для формирования сигналов прогнозирования, модуль прогнозирования выполняет процесс формирования сигнала прогнозирования из вектора движения и опорного сигнала изображения, сохраненных в запоминающем устройстве 26.

Модуль 22 прогнозирования составляет модуль формирования изображений прогнозирования.

Модуль 23 декодирования ошибок прогнозирования выполняет процесс выполнения обратного квантования для сжатых данных, к которым узел 21 декодирования применил декодирование переменной длины, и затем выполнения процесса обратного DCT для сжатых данных, обратно квантованных таким образом, чтобы вычислять сигнал ошибки прогнозирования, соответствующий сигналу ошибки прогнозирования, выводимому из модуля 2 прогнозирования, показанного на Фиг. 1.

Сумматор 24 выполняет процесс суммирования сигнала ошибки прогнозирования, вычисленного посредством модуля 23 декодирования ошибок прогнозирования, и сигнала прогнозирования, сформированного посредством модуля 22 прогнозирования, чтобы вычислять сигнал декодированного изображения, соответствующий сигналу декодированного изображения, выводимому из сумматора 5, показанного на Фиг. 1.

Модуль декодирования состоит из модуля 23 декодирования ошибок прогнозирования и сумматора 24.

Контурный фильтр 25 выполняет процесс фильтрации для компенсации искажения, накладываемого на сигнал декодированного изображения, выводимый из сумматора 24, и затем выполняет процесс вывода сигнала декодированного изображения, фильтрованного таким образом, за пределы устройства декодирования изображений и в запоминающее устройство 26 в качестве сигнала фильтрованного декодированного изображения. Контурный фильтр 25 составляет модуль фильтрации.

Запоминающее устройство 26 является носителем записи для сохранения сигнала фильтрованного декодированного изображения, выводимого из контурного фильтра 25, в качестве опорного сигнала изображения.

Фиг. 8 является блок-схемой, показывающей контурный фильтр 25 устройства декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

На Фиг. 8 запоминающее устройство 31 кадров является носителем записи для сохранения только одного кадра сигнала декодированного изображения, выводимого из сумматора 24.

Модуль 32 классификации областей выполняет процесс извлечения оценочной величины каждой из областей, которые составляют декодированное изображение, показанное посредством одного кадра сигнала декодированного изображения, сохраненного в запоминающем устройстве 31 кадров, чтобы классифицировать каждую из областей на класс, которому область принадлежит, согласно оценочной величине, аналогично модулю 12 классификации областей, показанному на Фиг. 2.

Модуль 33 обработки фильтра выполняет процесс формирования фильтра Винера, который применяется к классу, на который каждая из областей классифицируется посредством модуля 32 классификации областей, в отношении информации фильтра, к которой узел 21 декодирования переменной длины применил декодирование переменной длины, чтобы компенсировать искажение, накладываемое на область, посредством использования фильтра Винера.

Хотя в примере по Фиг. 8 контурный фильтр 25, в котором запоминающее устройство 31 кадров устанавливается в качестве его первой стадии, показывается в случае выполнения замкнутого процесса фильтрации для каждого макроблока, контурный фильтр может иметь такую структуру, что запоминающее устройство 31 кадров, расположенное в качестве его первой стадии, удаляется, как показано на Фиг. 9, и модуль 32 классификации областей извлекает оценочную величину каждой из областей, которые составляют декодированное изображение макроблока.

В этом случае, устройство кодирования изображений должно выполнять процесс фильтрации для каждого макроблока независимо.

Далее поясняется работа устройства декодирования изображений.

При приеме потока битов из устройства кодирования изображений узел 21 декодирования переменной длины применяет декодирование переменной длины к сжатым данным, информации фильтра и параметрам для формирования сигналов прогнозирования, которые включаются в поток битов.

При приеме параметров для формирования сигналов прогнозирования модуль 22 прогнозирования формирует сигнал прогнозирования из параметров для формирования сигналов прогнозирования. В частности, при приеме вектора движения в качестве параметра для формирования сигналов прогнозирования, модуль прогнозирования формирует сигнал прогнозирования из вектора движения и опорного сигнала изображения, сохраненных в запоминающем устройстве 26.

При приеме сжатых данных из узла 21 декодирования переменной длины, модуль 23 декодирования ошибок прогнозирования выполняет обратное квантование для сжатых данных и затем выполняет процесс обратного DCT для сжатых данных, обратно квантованных таким образом, чтобы вычислять сигнал ошибки прогнозирования, соответствующий сигналу ошибки прогнозирования, выводимому из модуля 2 прогнозирования, показанного на Фиг. 1.

После того как модуль 23 декодирования ошибок прогнозирования вычисляет сигнал ошибки прогнозирования, сумматор 24 суммирует сигнал ошибки прогнозирования и сигнал прогнозирования, сформированный посредством модуля 22 прогнозирования, чтобы вычислять сигнал декодированного изображения, соответствующий сигналу локального декодированного изображения, выводимому из сумматора 5, показанного на Фиг. 1.

При приеме сигнала декодированного изображения из сумматора 24, контурный фильтр 25 выполняет процесс фильтрации для компенсации искажения, накладываемого на сигнал декодированного изображения, и выводит сигнал декодированного изображения, фильтрованный таким образом, за пределы устройства декодирования изображений в качестве сигнала фильтрованного декодированного изображения при сохранении сигнала фильтрованного декодированного изображения в запоминающем устройстве 26 в качестве опорного сигнала изображения.

Далее конкретно поясняется процесс, выполняемый посредством контурного фильтра 25.

Фиг. 10 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 25 устройства декодирования изображений в соответствии с вариантом 1 осуществления настоящего изобретения.

Во-первых, запоминающее устройство 31 кадров контурного фильтра 25 сохраняет только один кадр сигнала декодированного изображения, выводимого из сумматора 24.

Когда флаг (frame_filter_on_off_flag), включенный в информацию фильтра, активирован (показывает, что процесс фильтрации выполняется) (этап ST31), модуль 32 классификации областей извлекает оценочную величину каждой из областей, которые составляют декодированное изображение, показанное посредством одного кадра сигнала декодированного изображения, сохраненного в запоминающем устройстве 31 кадров, и классифицирует каждую из областей на класс, которому область принадлежит, согласно оценочной величине, аналогично модулю 12 классификации областей, показанному на Фиг. 2 (этап ST32).

При приеме информации фильтра из узла 21 декодирования переменной длины, модуль 33 обработки фильтра формирует фильтр Винера, который применяется к классу, которому каждая из областей, классифицированных посредством модуля 32 классификации областей, принадлежит, в отношении информации фильтра (этап ST33).

Например, когда число фильтров Винера (число классов, каждому из которых одна или более областей принадлежат) выражается как N, число отводов каждого фильтра Винера выражается как L×L, и значения коэффициентов каждого фильтра Винера выражаются как w_i11, w_i12, …, w_i1L, …, w_iL1, w_iL2, …, w_iLL, N фильтров W_i Винера (i=1, 2, …, N) показано следующим образом.

$$W_i=\left(\begin{array}{cccc}{w}_{i11}& w_{i12}& \cdots & w_{i1L}\\ w_{i21}& w_{i22}& \cdots & w_{i2L}\\ ⋮& ⋮& \ddots & ⋮\\ w_{iL1}& w_{iL2}& \cdots & w_{iLL}\end{array}\right)\left(3\right)$$

После формирования N фильтров W_i Винера модуль 33 обработки фильтра компенсирует искажение, накладываемое на один кадр сигнала декодированного изображения, посредством использования этих фильтров Винера и выводит сигнал декодированного изображения с компенсацией искажения за пределы устройства декодирования изображений и в запоминающее устройство 26 в качестве сигнала фильтрованного декодированного изображения (этап ST34).

Сигнал s"шляпка" фильтрованного декодированного изображения выражается посредством следующего уравнения (4).

$$\widehat{s}=S\cdot W_{id(s)}\left(4\right)$$

Матрица S является группой опорных сигналов в L×L пикселов, включающей в себя сигнал s декодированного изображения, который является целью для фильтрации, и id(s) является номером (номером фильтра) класса, который определяется посредством модуля 32 классификации областей и которому область, включающая в себя сигнал s, принадлежит.

При выполнении вышеуказанного процесса фильтрации модуль 33 обработки фильтра обращается к флагу (block_filter_on_off_flag), включенному в информацию фильтра, и когда флаг (block_filter_on_off_flag) задается равным 1 (активирован), обращается к информации размера блока, включенной в информацию фильтра, и затем идентифицирует множество блоков (K), которые составляют декодированное изображение, и после этого выполняет процесс фильтрации в отношении информации, включенной в информацию фильтра и показывающей то, выполнять или нет процесс фильтрации для каждого блока (K).

Более конкретно, когда флаг (block_filter_on_off_flag) задается равным 1 (активирован), модуль 33 обработки фильтра выполняет процесс фильтрации для сигнала декодированного изображения в блоке (K), в котором модуль фильтрации должен выполнять процесс фильтрации, из блоков, которые составляют декодированное изображение, посредством использования фильтра Винера класса, которому область, включающая в себя блок (K), принадлежит, при выводе сигнала подлежащего фильтрации декодированного изображения в блоке (K), в котором модуль фильтрации не должен выполнять процесс фильтрации, за пределы устройства декодирования изображений и в запоминающее устройство 26 в качестве сигнала фильтрованного декодированного изображения как есть.

Напротив, когда флаг (block_filter_on_off_flag) задается равным 0 (деактивирован), модуль обработки фильтра выполняет процесс фильтрации для каждого из всех сигналов декодированного изображения в кадре, в настоящее время обрабатываемом, посредством использования фильтра, соответствующего классу, на который каждая из областей классифицируется посредством модуля 32 классификации областей.

Когда флаг (frame_filter_on_off_flag), включенный в информацию фильтра, деактивирован (процесс фильтрации не выполняется) (этап ST31), модуль 33 обработки фильтра не выполняет процесс фильтрации для кадра, в настоящее время обрабатываемого, и выводит каждый сигнал декодированного изображения, выводимый из сумматора 24, за пределы устройства декодирования изображений и в запоминающее устройство 26 в качестве сигнала фильтрованного декодированного изображения как есть (этап ST35).

Как можно видеть из вышеприведенного описания, в устройстве кодирования изображений в соответствии с этим вариантом 1 осуществления контурный фильтр 6 включает в себя модуль 12 классификации областей для извлечения оценочной величины каждой из областей, которые составляют локальное декодированное изображение, показанное посредством сигнала локального декодированного изображения, выводимого посредством сумматора 5, чтобы классифицировать каждую из областей на класс, которому область принадлежит, согласно оценочной величине, и модуль 13 составления и обработки фильтра для каждого класса, которому одна или более областей из областей, которые составляют локальное декодированное изображение, принадлежат, формирования фильтра Винера, который минимизирует сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и локальным декодированным изображением в каждой из одной или более областей, принадлежащих классу, чтобы компенсировать искажение, накладываемое на одну или более областей, посредством использования фильтра Винера. Следовательно, устройство кодирования изображений реализует процесс фильтрации согласно локальным свойствам изображения, тем самым позволяя повышать точность повышения качества изображений.

Кроме того, в устройстве декодирования изображений в соответствии с этим вариантом 1 осуществления контурный фильтр 25 включает в себя модуль 32 классификации областей для извлечения оценочной величины каждой из областей, которые составляют декодированное изображение, показанное посредством сигнала декодированного изображения, выводимого посредством сумматора 24, чтобы классифицировать каждую из областей на класс, которому область принадлежит, согласно оценочной величине, и модуль 33 обработки фильтра для обращения к информации фильтра, к которой узел 21 декодирования переменной длины применил декодирование переменной длины, чтобы формировать фильтр Винера, который применяется к классу, которому каждая область, классифицированная посредством модуля 32 классификации областей, принадлежит, и для компенсации искажения, накладываемого на область, посредством использования фильтра Винера. Следовательно, устройство декодирования изображений реализует процесс фильтрации согласно локальным свойствам изображения, тем самым позволяя повышать точность повышения качества изображений.

Вариант 2 осуществления

В вышеуказанном варианте 1 осуществления показывается контурный фильтр, в котором модуль 13 составления и обработки фильтра формирует фильтр Винера для каждого класса, которому одна или более областей принадлежат, и выполняет процесс фильтрации для каждого из блоков (K), которые составляют локальное декодированное изображение, посредством использования фильтра Винера класса, которому область, включающая в себя блок (K), принадлежит. В качестве альтернативы, для каждого из блоков контурный фильтр может выбирать фильтр Винера, который минимизирует сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в блоке (K), из фильтров Винера, которые контурный фильтр формирует для каждого класса, которому одна или более областей принадлежат, и может компенсировать искажение, накладываемое на блок (K), посредством использования фильтра Винера, выбранного таким образом.

Конкретно, контурный фильтр этого варианта осуществления работает следующим образом.

Фиг. 11 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 2 осуществления настоящего изобретения.

Модуль 13 составления и обработки фильтра формирует фильтр Винера для каждого класса, которому одна или более областей принадлежат, аналогично модулю составления и обработки фильтра в соответствии с вышеуказанным вариантом 1 осуществления (этапы ST2-ST8).

В соответствии с этим вариантом 2 осуществления модуль составления и обработки фильтра не использует флаг (block_filter_on_off_flag), показывающий то, выполнять или нет процесс выбора того, выполнять или нет процесс фильтрации для каждого блока в кадре, в настоящее время обрабатываемом, а использует флаг (block_filter_selection_flag), показывающий то, выбирать или нет фильтр, который должен использоваться для каждого блока в кадре, в настоящее время обрабатываемом. Кроме того, флаг (block_filter_selection_flag) первоначально деактивирован на этапе ST40 и активируется только тогда, когда этап ST46 выполняется.

Как упомянуто ниже, только когда флаг (block_filter_selection_flag) активирован, размер блока и информация выбора фильтра по каждому блоку включаются в информацию фильтра.

После формирования фильтра Винера для каждого класса, которому одна или более областей принадлежат, модуль 13 составления и обработки фильтра выбирает оптимальный процесс (например, процесс, который минимизирует сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в блоке (K)), из процесса выполнения процесса фильтрации для каждого из блоков (K), которые составляют локальное декодированное изображение, посредством выбора фильтра Винера из фильтров Винера, которые модуль составления и обработки фильтра формирует для каждого класса, которому одна или более областей принадлежат, и процесса невыполнения процесса фильтрации для каждого из блоков (этапы ST9 и ST41-ST47).

Более конкретно, в случае формирования четырех фильтров W₁, W₂, W₃ и W₄ Винера и выполнения процесса фильтрации с использованием каждого из этих четырех фильтров Винера, модуль составления и обработки фильтра выбирает фильтр W₃ Винера, который минимизирует сумму E квадратических ошибок для блока (K), если сумма E квадратических ошибок в блоке (K) имеет следующее неравенство между четырьмя фильтрами.

E_W3<E_W2<E_W4<E_W0<E_W1

где E_W0 показывает сумму E квадратических ошибок в момент, когда процесс фильтрации вообще не выполняется.

Фиг. 12 является пояснительным чертежом, показывающим пример выбора фильтра Винера для каждого из блоков (K), которые составляют локальное декодированное изображение. Например, фильтр W₂ Винера выбирается для блока (1), и фильтр W₃ Винера выбирается для блока (2).

При определении выполнять процесс фильтрации для кадра, в настоящее время обрабатываемого, посредством использования выбранных фильтров Винера модуль 13 составления и обработки фильтра задает флаг (frame_filter_on_off_flag) равным 1 (активирован) и выполняет процесс фильтрации, который минимизирует затраты, на этапах ST1-ST9 и ST40-ST47, и выводит сигнал локального декодированного изображения, фильтрованный таким образом, в запоминающее устройство 7 в качестве опорного сигнала изображения (этапы ST17-ST20).

Напротив, при определении не выполнять процесс фильтрации всего кадра, в настоящее время обрабатываемого (этапы ST17-ST18), модуль составления и обработки фильтра задает флаг (frame_filter_on_off_flag) равным нулю (деактивирован) и выводит сигнал подлежащего фильтрации локального декодированного изображения в запоминающее устройство 7 в качестве опорного сигнала изображения (этапы ST21-ST22).

После формирования фильтров Винера и затем выполнения процесса фильтрации вышеуказанным способом модуль 13 составления и обработки фильтра выводит информацию фильтра по фильтрам Винера в узел 8 кодирования переменной длины.

Флаг (frame_filter_on_off_flag), показывающий то, выполнять или нет процесс фильтрации в кадре, в настоящее время обрабатываемом, включается в информацию фильтра.

Когда этот флаг активирован (показывает, что процесс фильтрации выполняется), информация, как показано ниже, включается в информацию фильтра.

(1) Число фильтров Винера (число классов, каждому из которых одна или более областей принадлежат)

- Число фильтров Винера может отличаться для каждого кадра.

(2) Информация (индекс) по числу отводов каждого фильтра Винера

- Когда все фильтры являются общими в кадре, общее число отводов включается.

- Когда число отводов отличается для каждого фильтра, число отводов каждого фильтра включается.

(3) Информация по коэффициентам фактически используемого фильтра Винера (фильтра Винера каждого класса, которому одна или более областей принадлежат),

- Даже если фильтр Винера формируется, информация по фильтру Винера не включается, когда фильтр Винера фактически не используется.

(4) Информация выбора фильтра по каждому блоку и информация размера блока

- Флаг (block_filter_selection_flag), показывающий то, выбирать или нет фильтр для каждого блока в единицах кадров.

- Только тогда, когда block_filter_on_off_flag активирован, информация размера блока (индекс) и информация выбора по каждому блоку включается.

В этом варианте осуществления, пример, в котором фрагменты информации (1) к (4) включаются в информацию фильтра, показывается. Число фильтров Винера, число отводов каждого фильтра Винера и размер блока могут храниться как посредством устройства кодирования изображений, так и посредством устройства декодирования изображений в качестве информации, определенной совместно в устройстве кодирования изображений и устройстве декодирования изображений, вместо кодирования и передачи фрагментов информации между ними.

Контурный фильтр 25 в устройстве декодирования изображений выполняет следующий процесс.

Фиг. 13 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 25 устройства декодирования изображений в соответствии с вариантом 2 осуществления настоящего изобретения.

Во-первых, запоминающее устройство 31 кадров контурного фильтра 25 сохраняет только один кадр сигнала декодированного изображения, выводимого из сумматора 24.

Когда флаг (frame_filter_on_off_flag), включенный в информацию фильтра, активирован (показывает, что процесс фильтрации выполняется) (этап ST31) и когда флаг (block_filter_selection_flag), включенный в информацию фильтра, деактивирован (этап ST51), модуль 32 классификации областей извлекает оценочную величину каждой из областей, которые составляют декодированное изображение, показанное посредством одного кадра сигнала декодированного изображения, сохраненного в запоминающем устройстве 31 кадров, и классифицирует каждую из областей на класс, которому область принадлежит, согласно оценочной величине (этап ST32), аналогично модулю классификации областей в соответствии с вышеуказанным вариантом 1 осуществления.

Напротив, когда флаг (frame_filter_on_off_flag), включенный в информацию фильтра, активирован (показывает, что процесс фильтрации выполняется) (этап ST31), и когда флаг (block_filter_selection_flag), включенный в информацию фильтра, активирован (этап ST51), модуль классификации областей обращается к информации по размеру каждого блока, который является единицей для выбора, и информации выбора фильтра по каждому блоку из фрагментов информации, включенных в информацию фильтра, и выполняет классификацию класса для каждого блока (этап ST52).

После того как модуль 32 классификации областей классифицирует каждую область (каждый блок) на класс, которому область принадлежит, модуль 33 обработки фильтра обращается к информации фильтра, выводимой из узла 21 декодирования переменной длины, и формирует фильтр Винера, который применяется к классу, которому каждая область (каждый блок), классифицированная посредством модуля 32 классификации областей, принадлежит (этап ST33), аналогично модулю обработки фильтра в соответствии с вышеуказанным вариантом 1 осуществления.

После формирования фильтра Винера, который применяется к каждому классу, когда (block_filter_selection_flag) деактивирован, модуль 33 обработки фильтра выполняет процесс фильтрации для каждого из всех сигналов декодированного изображения в кадре, в настоящее время обрабатываемом, посредством использования сформированных фильтров Винера и выводит каждый сигнал декодированного изображения, фильтрованный таким образом, за пределы устройства декодирования изображений и в запоминающее устройство 26 в качестве сигнала фильтрованного декодированного изображения (этап ST53), как в случае, если флаг (block_filter_on_off_flag) деактивирован в вышеуказанном варианте 1 осуществления.

Напротив, когда (block_filter_selection_flag) активирован, модуль 33 обработки фильтра компенсирует искажение, накладываемое на сигнал декодированного изображения в каждом блоке, посредством использования фильтра Винера, который выбирается для блока после формирования фильтра Винера, который применяется к каждому классу, и выводит сигнал декодированного изображения, фильтрованный таким образом, за пределы устройства декодирования изображений и в запоминающее устройство 26 в качестве сигнала фильтрованного декодированного изображения (этап ST53).

Сигнал s"шляпка" фильтрованного декодированного изображения в это время выражается посредством следующего уравнения (5).

$$\widehat{s}=S\cdot W_{id\_2(bl)}\left(5\right)$$

Матрица S является группой опорных сигналов в L×L пикселов, включающей в себя сигнал s декодированного изображения, который является целью для фильтрации.

- id_2(bl) является информацией выбора фильтра в блоке bl, в который сигнал s декодированного изображения включается, т.е. номером класса (номером фильтра) блока bl.

- id_2(bl)=0 показывает блок, для которого вообще не выполняется процесс фильтрации. Следовательно, процесс фильтрации вообще не выполняется в блоке.

Как можно видеть из вышеприведенного описания, поскольку устройство кодирования изображений в соответствии с этим вариантом 2 осуществления имеет такую структуру, что для каждого из блоков (K), которые составляют декодированное изображение, контурный фильтр выбирает фильтр Винера, который минимизирует сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом декодированного изображения в блоке (K), из фильтров Винера, которые контурный фильтр формирует для каждого класса, которому одна или более областей принадлежат, и компенсирует искажение, накладываемое на блок (K), посредством использования фильтра Винера, выбранного таким образом, предоставляется преимущество дополнительного повышения точности повышения качества изображений по сравнению с вышеуказанным вариантом 1 осуществления.

Вариант 3 осуществления

В вышеуказанном варианте 2 осуществления показан способ выбора, из процесса выполнения процесса фильтрации для каждого из блоков (K), которые составляют декодированное изображение, посредством использования одного из фильтров Винера, которые формируются для каждого класса, которому одна или более областей в кадре, в настоящее время обрабатываемом, принадлежат, и процесса невыполнения процесса фильтрации для каждого блока, процесса, который минимизирует сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в блоке (K). В качестве альтернативы, из процесса подготовки одного или более фильтров Винера заранее и использования одного из одного или более фильтров Винера, которые подготовлены заранее, процесса использования одного из фильтров Винера, которые формируются для каждого класса, которому одна или более областей в кадре, в настоящее время обрабатываемом, принадлежат, и процесса невыполнения процесса фильтрации для каждого блока, контурный фильтр может выбирать процесс, который минимизирует сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в блоке (K).

Фиг. 14 является блок-схемой последовательности операций способа, показывающей процесс, выполняемый посредством контурного фильтра 6 устройства кодирования изображений в соответствии с вариантом 3 осуществления настоящего изобретения.

Поскольку этот вариант 3 осуществления предоставляет более широкий выбор фильтров Винера по сравнению с выбором в вышеуказанном варианте 2 осуществления, вероятность того, что оптимальный фильтр Винера выбирается, увеличивается по сравнению с вышеуказанным вариантом 2 осуществления.

Поскольку способ выбора фильтра Винера является идентичным способу, показанному в вышеуказанном варианте 2 осуществления, пояснение способа далее опускается.

Поскольку процесс, выполняемый посредством устройства декодирования изображений, является идентичным процессу в соответствии с вышеуказанным вариантом 2 осуществления, пояснение процесса далее опускается.

Вариант 4 осуществления

В вышеуказанном варианте 2 осуществления показан способ выбора, из процесса выполнения процесса фильтрации для каждого из блоков (K), которые составляют декодированное изображение, посредством использования одного из фильтров Винера, которые формируются для каждого класса, которому одна или более областей в кадре, в настоящее время обрабатываемом, принадлежат, и процесса невыполнения процесса фильтрации для каждого блока, процесса, который минимизирует сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в блоке (K). В качестве альтернативы, из процесса использования одного из фильтров Винера, которые формируются для каждого класса, которому одна или более областей в кадре, в настоящее время обрабатываемом, принадлежат, процесса использования одного из фильтров Винера, которые использованы для уже кодированного кадра, и процесса невыполнения процесса фильтрации для каждого блока, контурный фильтр может выбирать процесс, который минимизирует сумму квадратических ошибок, возникающих между сигналом изображения, который является целью, которая должна быть кодирована, и сигналом локального декодированного изображения в блоке (K).

Фиг. 15 является блок-схемой последовательности операций способа, показывающей процесс для первого кадра, который выполняется посредством контурного фильтра 6 устройства кодирования изображений, и является идентичной блок-схеме последовательности операций способа, показанной на Фиг. 11 в вышеуказанном варианте 2 осуществления.

Фиг. 16 является блок-схемой последовательности операций способа, показывающей процесс для второго кадра и последующих кадров, который выполняется посредством контурного фильтра 6.

В качестве эталонного способа обращения к фильтру Винера, который использован для уже кодированного кадра, например, эталонные способы, как показано ниже, могут предоставляться.

Способ (1) обращения к фильтру Винера, который использован для блока в позиции, показанной посредством характерного вектора движения, который вычисляется в блоке, который является целью для фильтрации.

Способ (2) обращения к фильтру Винера, который использован для блока, расположенного в кадре, который является ближайшим во времени к блоку, который является целью для фильтрации и расположен в позиции, идентичной позиции целевого блока.

Способ (3) обращения к фильтру Винера, который использован для блока, имеющего наибольшую взаимную корреляцию между блоками в уже кодированном кадре.

В случае использования способа (3) идентичный процесс поиска блока должен быть выполнен посредством устройства кодирования изображений и устройства декодирования изображений.

Поскольку этот вариант 4 осуществления предоставляет более широкий выбор фильтров Винера по сравнению с выбором в вышеуказанном варианте 2 осуществления, вероятность того, что оптимальный фильтр Винера выбирается, увеличивается по сравнению с вышеуказанным вариантом 2 осуществления.

Поскольку способ выбора фильтра Винера является идентичным способу, показанному в вышеуказанном варианте 2 осуществления, пояснение способа далее опускается.

Поскольку процесс, выполняемый посредством устройства декодирования изображений, является идентичным процессу в соответствии с вышеуказанным вариантом 2 осуществления, пояснение процесса далее опускается.

Промышленная применимость

Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений в соответствии с настоящим изобретением могут улучшать точность повышения качества формирования изображений. Устройство кодирования изображений и способ кодирования изображений являются подходящими для использования в качестве устройства кодирования изображений и т.п. и способа кодирования изображений и т.п. для кодирования со сжатием и передачи изображения соответственно, и устройство декодирования изображений и способ декодирования изображений являются подходящими для использования в качестве устройства декодирования изображений и т.п. и способа декодирования изображений и т.п. для декодирования кодированных данных, передаваемых посредством устройства кодирования изображений, чтобы восстанавливать изображение соответственно.

Изобретение относится к устройствам кодирования и декодирования изображений. Техническим результатом является повышение качества изображений. Контурный фильтр 6 включает в себя модуль 12 классификации областей для извлечения оценочной величины каждой из областей, которые составляют локальное декодированное изображение, чтобы классифицировать каждую из областей по классу, которому принадлежит область, согласно оценочной величине, и модуль 13 составления и обработки фильтра для каждого класса, которому принадлежат одна или более областей из областей, которые составляют локальное декодированное изображение, формирования фильтра Винера, который минимизирует ошибку, возникающую между вводимым изображением и локальным декодированным изображением в каждой из одной или более областей, принадлежащих классу, чтобы компенсировать искажение, накладываемое на одну или более областей, посредством использования фильтра Винера. 3 н.п. ф-лы, 18 ил.

1. Способ декодирования изображений, содержащий:
- этап обработки декодирования переменной длины, на котором применяют декодирование переменной длины посредством модуля декодирования переменной длины к введенному кодированному потоку битов для получения параметра для формирования сигналов прогнозирования, сжатого разностного изображения и фильтров; и
- этап обработки фильтрации, на котором выполняют посредством модуля фильтрации процесс фильтрации над декодированным изображением, полученным суммированием изображения прогнозирования и разностного изображения, при этом указанное изображение прогнозирования формируется посредством использования указанного параметра для формирования сигналов прогнозирования и указанное разностное изображение получается декодированием указанного сжатого разностного изображения;
при этом на указанном этапе обработки декодирования переменной длины указанный модуль декодирования переменной длины применяет декодирование переменной длины к информации для идентификации класса каждого из блоков, которые составляют указанное декодированное изображение; и
при этом на указанном этапе обработки фильтрации указанный модуль фильтрации обращается к информации для идентификации класса каждого из блоков, чтобы определить класс каждого из блоков, и выполняет процесс фильтрации над указанным декодированным изображением на основании определенного класса и фильтров.

2. Устройство кодирования изображений, содержащее:
- модуль (6) фильтрации для выполнения процесса фильтрации над локальным декодированным изображением, полученным суммированием изображения прогнозирования и разностного изображения, при этом указанное изображение прогнозирования сформировано посредством использования параметра для формирования сигналов прогнозирования и указанное разностное изображение получено сжатием и декодированием разностного изображения, которое является разностью между введенным изображением и указанным изображением прогнозирования; и
- модуль (8) кодирования переменной длины для применения кодирования переменной длины к указанному параметру для формирования сигналов прогнозирования, указанному сжатому разностному изображению и фильтру для каждого из классов, используемых при выполнении указанного процесса фильтрации;
при этом указанный модуль (6) фильтрации определяет класс каждого из пикселей, которые составляют указанное локальное декодированное изображение, в соответствии с оценочной величиной каждого из пикселей и выполняет процесс фильтрации над локальным декодированным изображением на основании каждого фильтра, соответствующего каждому из определенных классов.

3. Устройство декодирования изображений, содержащее:
- модуль декодирования переменной длины для применения декодирования переменной длины к введенному кодированному потоку битов для получения параметра для формирования сигналов прогнозирования, сжатого разностного изображения и фильтра для каждого из классов; и
- модуль фильтрации для выполнения процесса фильтрации над декодированным изображением, полученным суммированием изображения прогнозирования и разностного изображения, при этом указанное изображение прогнозирования сформировано посредством использования указанного параметра для формирования сигналов прогнозирования и указанное разностное изображение получено декодированием указанного сжатого разностного изображения;
при этом указанный модуль фильтрации определяет класс каждого из пикселей, которые составляют указанное декодированное изображение, и выполняет процесс фильтрации над декодированным изображением на основании каждого фильтра, соответствующего каждому из определенных классов.