УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК H04N19/117 H04N19/86 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству и способу обработки изображений, и в частности, позволяет получить декодированное изображение с отличным качеством изображения.

Уровень техники

В последние годы устройства, которые обрабатывают информацию изображений в цифровом виде и передают или сохраняют эту информацию с высокой эффективностью, или, например, устройства, соответствующие системам MPEG и т.п., в которых выполняется сжатие с использованием ортогонального преобразования, такого как дискретное косинусное преобразование, и компенсация движения, получили широкое распространение в станциях широковещательной передачи и в обычных домашних хозяйствах.

MPEG2 (ISO/IEC 13818-2), в частности, определена, как система кодирования изображения общего назначения, и в настоящее время широко используется в широком диапазоне применений для профессионального использования и для использования потребителями. Использование такой системы сжатия MPEG2 позволяет достичь отличного качества изображения, назначая количество кода (скорость передачи битов), например, от четырех до восьми Мбит/с в случае изображения с перемежением со стандартным разрешением 720×480 пикселей. Отличное качество изображения также может быть достигнуто, назначая количество кода (скорость передачи битов) от 18 до 22 Мбит/с, в случае изображения с перемежением с высоким разрешением 1920×1088 пикселей.

Система MPEG2 предназначена для адаптации кодирования изображения с высоким качеством, в основном, для широковещательной передачи и предусматривает систему кодирования с меньшим количеством кода (скоростью передачи битов), то есть с более высокой степенью сжатия, чем при MPEG1. В результате распространения портативных оконечных устройств, ожидается увеличение потребности в такой системе кодирования в будущем. В соответствии с этим, была стандартизирована система кодирования MPEG4. Стандарт для системы кодирования изображения был утвержден как международный стандарт ISO/IEC 14496-2 в декабре 1998 г.

Кроме того, в настоящее время производится стандартизация стандарта, называемого H.26L (ITU-T Q6/16 VCEG), с первоначальной целью кодирования изображения для видеоконференций. Известно, что H.26L требует большего количества операций для кодирования и декодирования, но достигает более высокой эффективности кодирования по сравнению с обычными системами кодирования, такими как MPEG2, MPEG4 и т.п. Кроме того, как часть действий, направленных на MPEG4, в настоящее время производится стандартизация для достижения описанной более высокой эффективности кодирования на основе H.26L в качестве объединенной модели кодирования видеоданных с улучшенным сжатием. Что касается плана стандартизации, был установлен международный стандарт под названием Н.264 и MPEG 4, Часть 10 (Усовершенствованное кодирование видеоданных, ниже также называется “Н.264/AVC”) в марте 2003 г.

Кроме того, как его расширение, в феврале 2005 г. была завершена стандартизация FRExt (Расширение диапазона точности воспроизведения), включая в себя инструменты кодирования, необходимые для использования в бизнесе, такие как RGB, 4:2:2 и 4:4:4, а так же 8×8 DCT и матрица квантования, определенная в MPEG2. Таким образом, система H.264/AVC используется, как система кодирования, выполненная с возможностью отличного представления даже с учетом шумов пленки, включенных в кинофильмы, и используется в широком диапазоне применений, таких как Blu-Ray (зарегистрированный товарный знак).

В таком процессе кодировании и декодирования, данные изображения кодируют в единицах блоков. Кроме того, при декодировании кодированных данных, как показано в Патентном документе 1, например, искажение блоков подавляют, выполняя фильтрацию на основе прочности границ блоков и параметра квантования.

Кроме того, в последнее время все больше повышается потребность в кодировании с еще более высокой степенью сжатия, таким образом, что требуется сжимать изображения размером приблизительно 4000×2000 пикселей или требуется распространять изображения высокой четкости в среде с ограниченными возможностями передачи, такой как Интернет. Таким образом, как описано в непатентном документе 1, предложена установка размера макроблока до размера больше чем при MPEG2 или H.264/AVC, например, до размера 32 пикселя × 32 пикселя. В частности, в непатентном документе 1, принята иерархическая структура для макроблоков, в результате чего поддерживается совместимость с макроблоками в Н.264/AVC для блоков размером 16×16 пикселей и меньших блоков, и большие блоки определены, как их сверхнабор.

Документы предшествующего уровня техники

Патентный документ

Патентный документ 1: Выложенный патент Японии № 2007-36463

Непатентный документ

Непатентный документ 1: “Video Coding Using Extended Block” (Study Group 16, Contribution 123, ITU, January 2009)

Раскрытие изобретения

Техническая задача

В частности, когда удаляют искажение блоков, используя обычный фильтр удаления блочности, удаление блочности может быть повышено при низкой скорости битов, в частности, таким образом, что существует опасность того, что искажения блоков не будут удалены в достаточной степени, и качество изображения будет ухудшено.

В соответствии с целью настоящей технологии, предложено устройство обработки изображений и способ обработки изображений, которые могут обеспечить изображение с отличным качеством изображения, даже когда используют различные размеры блоков, или когда используется блок с расширенным размером.

Технические решения

В соответствии с первым аспектом настоящей технологии, предложено устройство обработки изображений, включающее в себя: блок декодирования для декодирования данных изображения, кодированных в каждом блоке; фильтр для применения фильтрации для удаления искажения блоков для декодированных блоком декодирования данных изображения и блок установки фильтрации для установки, в соответствии с размерами блоков соседних блоков, расположенных рядом с границей блока, длины отвода фильтрации, для границ блока или диапазона пикселей объекта фильтрации, в качестве объекта фильтрации.

В настоящей технологии обеспечиваются фильтр для применения фильтрации, для удаления искажений блоков для декодируемых данных изображения, полученных путем декодирования данных изображения, кодированных в каждом блоке, и блок установки фильтрации для установки фильтрации. Когда, например, по меньшей мере, один из соседних блоков, расположенных рядом на границе блока, расширен в большей степени, чем заданный размер блока, блок установки фильтрации устанавливает длину отвода фильтрации для границы блока тем большей, чем больше размера блока, или устанавливает диапазон пикселей, в качестве объекта фильтрации, шире, по мере увеличения размера блока. Кроме того, длина отвода фильтрации или диапазон пикселя объекта фильтрации устанавливают в соответствии с размерами блока по соседним сторонам соседних блоков. Кроме того, выполняют классификацию случая, соответствующую размерам блока соседних блоков, и длину отвода фильтрации и диапазон пикселя объекта фильтрации устанавливают в соответствии со случаем, когда оба соседних блока имеют заданный размер блока или меньший, и со случаем, когда, по меньшей мере, один из соседних блоков расширен в большей степени, чем заданный размер блока. Классификацию случая выполняют, например, для случая, когда соседние блоки имеют размер 16×16 пикселей или меньше, случая, когда, по меньшей мере, один из двух блоков больше, чем 16×16 пикселей, и оба имеют размер 32×32 пикселя или меньше, и случая, когда, по меньшей мере, один из двух блоков больше, чем 32×32 пикселя. Размеры блоков представляют собой размеры блока прогнозирования, в качестве модулей обработки, когда выполняют прогнозирование внутри кадров или прогнозирование между кадрами. Кроме того, блок установки фильтра устанавливает длину отвода или диапазон пикселя объекта фильтрации в соответствии с тем, являются ли данные декодированного изображения данными изображения для генерирования предсказываемого изображения или данными изображения для отображения изображения.

В соответствии со вторым аспектом настоящей технологии обеспечивается способ обработки изображений, включающий в себя: этап декодирования, состоящий в декодировании данных изображения, кодированных в каждом блоке; этап фильтрации, состоящий в фильтрации для удаления искажений блочности в декодированных данных изображения, декодированных на этапе декодирования; и этап фильтрации, состоящий в установке, в соответствии с размерами блоков соседних блоков, расположенных рядом на границе блока, длины отвода фильтрации для границы блока или диапазона пикселя объекта фильтрации, в качестве объекта фильтрации.

В соответствии с третьим аспектом настоящей технологии, обеспечивается устройство обработки изображений, включающее в себя: фильтр для фильтрации, для удаления искажения блочности в декодированных данных изображения, полученных в результате локального декодирования данных изображения, полученных после ортогонального преобразования и квантования; блок установки фильтра, предназначенный для установки, в соответствии с размерами блоков соседних блоков, расположенных рядом на границе блока, длины отвода фильтрации для границы блоков, или диапазона пикселей объекта фильтрации, в качестве объекта фильтрации; и блок кодирования, для выполнения кодирования в каждом блоке данных изображения, используя декодированные данные изображения, полученные в результате фильтрации фильтром.

В соответствии с четвертым аспектом настоящей технологии, предложен способ обработки изображений, включающий в себя: этап фильтрации, состоящий в фильтрации для удаления искажений блочности для декодированных данных изображения, полученных в результате локального декодирования данных изображения, полученных в результате ортогонального преобразования и квантования; этап установки фильтра, состоящий в установке, в соответствии с размерами блока соседних блоков, расположенных рядом на границе блока, длины отвода фильтрации для границы блока, или диапазона пикселя объекта фильтрации, в качестве объекта фильтрации; и этап кодирования, состоящий в выполнении кодирования каждого блока данных изображения, используя декодированные данные изображения, получаемые в результате фильтрации на этапе фильтрации.

Полезный эффект

В соответствии с настоящей технологией, может быть получено изображение с отличным качеством изображения, с уменьшенными искажениями блоков.

Краткое описание чертежей

На фиг.1 показана схема, представляющая конфигурацию устройства кодирования изображения.

На фиг.2 показана схема, представляющая данные пикселей, используемые при фильтрации фильтром удаления блочности.

На фиг.3 показана схема, представляющая соотношение между параметром квантования QP и пороговым значением α.

На фиг.4 показана схема, представляющая конфигурацию фильтра удаления блочности и секции установки фильтра.

На фиг.5 показана схема, представляющая размеры блока прогнозирования, используемые в процессах кодирования изображения.

На фиг.6 показана блок-схема последовательности операций для операции обработки кодирования изображения.

На фиг.7 показана блок-схема последовательности операций процесса прогнозирования.

На фиг.8 показана блок-схема последовательности операций процесса прогнозирования внутри кадров.

На фиг.9 показана блок-схема последовательности операций процесса прогнозирования между кадрами.

На фиг.10 показана блок-схема последовательности операций процесса установки фильтра.

На фиг.11 показана конфигурация декодера изображения.

На фиг.12 показана блок-схема последовательности операций процесса декодирования изображения.

На фиг.13 показана схема, представляющая схематическую конфигурацию телевизионного устройства.

На фиг.14 показана схема, представляющая схематическую конфигурацию портативного телефона.

На фиг.15 показана схема, представляющая схематическую конфигурацию устройства записи и воспроизведения.

На фиг.16 показана схема, представляющая схематическую конфигурацию устройства формирования изображения.

Осуществление изобретения

Режим для выполнения настоящей технологии будет описан ниже. Устройство обработки изображений, в соответствии с настоящей технологией, применимо в устройстве кодирования изображения, предназначенном для кодирования данных изображения в размере блока прогнозирования, устройство декодирования изображения, предназначенное для декодирования данных изображения, кодированных с размером блока прогнозирования, и т.п. Таким образом, случай, когда устройство обработки изображений, в соответствии с настоящей технологией применяют для устройства кодирования изображения, и случай, когда устройство обработки изображений, в соответствии с настоящей технологией применяют для устройства декодирования изображения, будет описаны в следующем порядке.

1. Конфигурация устройства кодирования изображения

2. Фильтрация, выполняемая фильтром удаления блочности

3. Конфигурация фильтра удаления блочности в устройстве кодирования изображения

4. Работа устройства кодирования изображения

5. Конфигурация устройства декодирования изображения

6. Работа устройства декодирования изображения

7. Примеры применения

1. Конфигурация устройства кодирования изображения

На фиг.1 показана конфигурация устройства кодирования изображения. Устройство 10 кодирования изображения включает в себя секцию 11 аналогово-цифрового преобразования (блок A/D преобразования), буфер 12 изменения компоновки изображения, секцию 13 вычитания, секцию 14 ортогонального преобразования, секцию 15 квантования, секцию 16 кодирования без потерь, буфер 17 хранения и секцию 18 управления скоростью. Устройство 10 кодирования изображения дополнительно включает в себя секцию 21 устранения квантования, секцию 22 обратного ортогонального преобразования, секцию 23 суммирования, фильтр 24 удаления блочности, запоминающее устройство 25 кадра, селектор 26, секцию 31 прогнозирования внутри кадров, секцию 32 прогнозирования и компенсации движения и секцию 33 выбора прогнозируемого изображения и оптимального режима.

Секция 11 A/D преобразования преобразует аналоговый сигнал изображения в цифровые данные изображения, и выводит эти цифровые данные изображения на буфер 12 изменения компоновки изображения.

Буфер 12 изменения компоновки изображения изменяет компоновку кадров данных изображения, выводимых секцией 11 A/D преобразования. Буфер 12 изменения компоновки изображения изменяет компоновку кадров в соответствии со структурой GOP (группа изображений), вовлеченной в процесс кодирования, и выводит данные изображения после изменения компоновки на секцию 13 вычитания, секцию 31 прогнозирования внутри кадров и секцию 32 прогнозирования и компенсации движения.

На блок 13 вычитания подают данные изображения, выводимые из буфера 12 изменения компоновки и прогнозируемые данные изображения, выбранные секцией 33 выбора прогнозируемого изображения и оптимального режима, которые будут описаны ниже. Секция 13 вычитания вычисляет данные ошибки прогнозирования, указывающие разность между данными изображения, выводимыми из буфера 12 изменения компоновки изображения, и данными прогнозируемого изображения, подаваемыми секцией 33 выбора изображения прогнозирования и оптимального режима, и выводит данные ошибки прогнозирования на секцию 14 ортогонального преобразования.

Секция 14 ортогонального преобразования подвергает данные ошибки прогнозирования, выводимые секцией 13 вычитания, обработке ортогонального преобразования, такой как дискретное косинусное преобразование (DCT), преобразование Карунена - Лоэва и т.п. Секция 14 ортогонального преобразования выводит данные коэффициента преобразования, полученные в результате выполнения процесса ортогонального преобразования, на секцию 15 квантования.

На секцию 15 квантования подают данные коэффициентов преобразования, выводимые секцией 14 ортогонального преобразования, и сигнал управления скоростью от секции 18 управления скоростью, который будет описан ниже. Секция 15 квантования квантует данные коэффициента преобразования и выводит квантованные данные на секцию 16 кодирования без потерь, и на секцию 21 устранения квантования. Кроме того, секция 15 квантования изменяет параметр квантования (масштаб квантования) на основе сигнала управления скоростью от секции 18 управления скоростью, для изменения скорости битов квантованных данных.

На секцию 16 кодирования без потерь подают квантованные данные, выводимые секцией 15 квантования, и информацию режима прогнозирования от секции 31 прогнозирования внутри кадров, секции 32 прогнозирования и компенсации движения, и секции 33 выбора прогнозируемого изображения и оптимального режима, которые будут описаны ниже. В частности, информация режима прогнозирования включает в себя тип макроблока, обеспечивающий идентификацию размера блока прогнозирования, режима прогнозирования, информацию вектора движения, информацию опорного изображения и т.п., в соответствии с прогнозированием внутри кадра или прогнозированием между кадрами. Секция 16 кодирования без потерь подвергает квантованные данные процессу кодирования без потерь с помощью кодирования с переменной длиной или, например, арифметического кодирования, генерируя, таким образом, кодированный поток и выводя этот кодированный поток в буфер 17 хранения. Кроме того, секция 16 кодирования без потерь выполняет кодирование без потерь информации режима прогнозирования, и добавляет информацию режима прогнозирования, например, к информации заголовка кодированного потока.

Буфер 17 хранения сохраняет кодированный поток от секции 16 кодирования без потерь. Кроме того, буфер 17 хранения выводит сохраненный кодированный поток со скоростью передачи, соответствующей линии передачи.

Секция 18 управления скоростью отслеживает свободное пространство буфера 17 хранения, генерирует сигнал управления скоростью в соответствии со свободным пространством, и выводит сигнал управления скоростью на секцию 15 квантования. Секция 18 управления скоростью, например, получает информацию, обозначающую свободное пространство, от буфера 17 хранения. Когда свободное пространство уменьшено, секция 18 управления скоростью уменьшает скорость передачи битов квантованных данных в соответствии с сигналом управления скоростью. Когда буфер 17 сохранения имеет достаточно большое свободное пространство, секция 18 управления скоростью повышает скорость битов квантованных данных в соответствии с сигналом управления скоростью.

Секция 21 устранения квантования подвергает квантованные данные, переданные секцией 15 квантования, обработке устранения квантования. Секция 21 устранения квантования выводит данные коэффициента преобразования, полученные в результате выполнения процесса устранения квантования, на секцию 22 обратного ортогонального преобразования.

Секция 22 обратного ортогонального преобразования выводит данные, полученные в результате обработки данных коэффициента преобразования, переданных блоком 21 устранения квантования, используя процесс обратного ортогонального преобразования, на секцию 23 суммирования.

Секция 23 суммирования генерирует декодированные данные изображения, суммируя вместе данные, переданные секцией 22 обратного ортогонального преобразования, и данные прогнозируемого изображения, переданные секцией 33 выбора прогнозируемого изображения и оптимального режима, и выводит декодированные данные изображения на фильтр 24 удаления блочности и в запоминающее устройство 25 кадра.

Фильтр 24 удаления блочности выполняет фильтрацию для уменьшения искажения блочности, возникающего во время кодирования изображения. Фильтр 24 удаления блочности выполняет фильтрацию для удаления искажения блочности из данных декодированного изображения, переданных секцией 23 суммирования, и выводит декодированные данные изображения после фильтрации на запоминающее устройство 25 кадра. Кроме того, фильтр 24 удаления блочности устанавливает длину отвода и диапазон пикселя объекта фильтрации на основе значений параметра, передаваемых секцией 41 установки фильтра, которая будет описана ниже.

Запоминающее устройство 25 кадра сохраняет декодированные данные изображения, подаваемые секцией 23 суммирования, и данные декодированного изображения после фильтрации, в ходе которой были декодированы данные изображения, переданные фильтром 24 удаления блочности.

Селектор 26 подает декодированные данные изображения перед фильтрацией, причем эти декодированные данные изображения были считаны из запоминающего устройства 25 кадра, на секцию 31 прогнозирования внутри кадров для выполнения прогнозирования внутри кадров. Кроме того, селектор 26 передает декодированные данные изображения после фильтрации, и эти декодированные данные изображения считывают из запоминающего устройства 25 кадра, на секцию 32 прогнозирования и компенсации движения, для выполнения прогнозирования между кадрами.

Секция 31 прогнозирования внутри кадров выполняет процесс прогнозирования внутри кадров во всех режимах прогнозирования внутри кадра, в качестве кандидатов, используя данные изображения для изображения объекта кодирования, выводимого из буфера 12 изменения компоновки изображения, и декодированные данные изображения перед фильтрацией, и эти декодированные данные изображения считывают из запоминающего устройства 25 кадра. Кроме того, секция 31 прогнозирования внутри кадров вычисляет значение функции стоимости для каждого режима прогнозирования внутри кадров и выбирает режим прогнозирования внутри кадров, в котором рассчитанное значение функции стоимости является минимальным, то есть получают режим прогнозирования внутри кадров, который имеет наилучшую эффективность кодирования, как оптимальный режим прогнозирования внутри кадров. Секция 31 прогнозирования внутри кадров выводит прогнозируемые данные изображения, генерируемые в оптимальном режиме прогнозирования внутри кадров, информацию о режиме прогнозирования, относящуюся к оптимальному режиму прогнозирования внутри кадров, и значение функции стоимости, в оптимальном режиме прогнозирования внутри кадров, на секцию 33 выбора оптимального режима прогнозируемого изображения. Кроме того, для получения количества генерируемого кода, причем это количество используют при вычислении значений функции стоимости, как будет описано ниже, секция 31 прогнозирования внутри кадров выводит, в процессе прогнозирования внутри кадров, в каждом режиме прогнозирования внутри кадров, информацию о режиме прогнозирования для режима прогнозирования внутри кадров, на секцию 16 кодирования без потерь.

Секция 32 прогнозирования и компенсации движения выполняет обработку прогнозирования и компенсации движения для всех размеров блока прогнозирования, соответствующих макроблокам. Секция 32 прогнозирования и компенсации движения обнаруживает вектор движения для каждого изображения, в каждом размере блока прогнозирования, в изображении объекта кодирования, считанном буфером 12 изменения компоновки изображения, используя декодированные данные изображения после фильтрации, причем эти декодированные данные изображения считывают из запоминающего устройства 25 кадра. Кроме того, секция 32 прогнозирования и компенсации движения генерирует прогнозируемое изображение, применяя процесс компенсации движения к декодируемому изображению, на основе обнаруженного вектора движения. Кроме того, секция 32 прогнозирования и компенсации движения вычисляет значение функции стоимости для каждого размера блока прогнозирования, и выбирает размер блока прогнозирования, в котором вычисленное значение функции стоимости является минимальным, то есть, размер блока прогнозирования, в котором получают наилучшую эффективность кодирования, как оптимальный режим прогнозирования между кадрами. Секция 32 прогнозирования и компенсации движения выводит прогнозируемые данные изображения, генерируемые в режиме оптимального прогнозирования между кадрами, информацию о режиме прогнозирования для оптимального режима прогнозирования между кадрами, и значения функции стоимости в оптимальном режиме прогнозирования между кадрами, на секцию 33 выбора прогнозируемого изображения и оптимального режима. Кроме того, для получения количества генерируемого кода, причем это количество используют при вычислении значений функции стоимости, секция 32 прогнозирования и компенсации движения выводит, в процессе прогнозирования между кадрами, для каждого размера блока прогнозирования, информацию режима прогнозирования по режиму прогнозирования между кадрами на секцию 16 кодирования без потерь. В частности, секция 32 прогнозирования и компенсации движения также выполняет прогнозирование в пропущенном макроблоке и в прямом режиме, в качестве режима прогнозирования между кадрами.

Секция 33 выбора прогнозируемого изображения и оптимального режима сравнивают значение функции стоимости, переданное от секции 31 прогнозирования внутри кадров, со значением функции стоимости, переданным от секции 32 прогнозирования и компенсации движения, в модуле макроблока, и выбирает наименьшее значение функции стоимости в качестве оптимального режима, в котором получается наилучшая эффективность кодирования. Кроме того, секция 33 выбора прогнозируемого изображения и оптимального режима выводит данные прогнозируемого изображения, генерируемые в оптимальном режиме, на секцию 13 вычитания и секцию 23 суммирования. Кроме того, блок 33 выбора прогнозируемого изображения и оптимального режима выводит информацию о режиме прогнозирования для оптимального режима на секцию 16 кодирования без потерь и секцию 41 установки фильтра. В частности, секция 33 выбора прогнозируемого изображения и оптимального режима выполняет прогнозирование внутри кадра или прогнозирование между кадрами в единицах среза.

Секция 41 установки фильтра генерирует значение параметра для установки длины отвода фильтра и диапазона пикселя объекта фильтрации, в соответствии с размером блока прогнозирования, обозначенного информацией режима прогнозирования в оптимальном режиме, и выводит значение параметра на фильтр 24 удаления блочности.

2. Фильтрация фильтром удаления блочности

Система кодирования H264/AVC позволяет установить следующие три способа фильтрации для фильтра удаления блочности по двум параметрам, таким как deblocking_filter_control_present_flag для параметра изображения Set RBSP, включенного в информацию сжатия изображения, и параметра disable_deblocking_filter_idc, включенного в заголовок среза.

(a) Применяемые для границы блока и границы макроблока

(b) Применяемые только для границы макроблока

(c) Не применяемые

Что касается параметра QP квантования, используют QPY, когда следующую обработку применяют для данных яркости, и QPC используют, когда следующую обработку применяют для цветоразностных данных. Кроме того, при кодировании вектора движения, при прогнозировании внутри кадров и энтропийном кодировании (CAVLC/CABAC) значение пикселя, принадлежащее разным срезам, обрабатывают, как “не доступное”. Кроме того, во время фильтрации, даже значение пикселя, принадлежащее разным срезам, обрабатывают, как “доступное”, когда оно принадлежит тому же кадру.

В следующем описании предположим, что, как показано на фиг. 2 (A), данные пикселя в блоках P и Q, расположенные рядом друг с другом перед фильтрацией, на границе блока, устанавливают равными от p0 до p4 и от q0 до q4 от положения границы. Кроме того, предположим, что, как показано на фиг. 2 (B), данные пикселя после фильтрации составляют от p0' до p4' и от q0' до q4' от положения границы.

Перед фильтрацией, как показано в таблице 1, данные BS прочности границы блока (прочность границы) определены для пикселя p и пикселя q на фиг. 2.

Таблица 1 Одно из значений p и q принадлежит макроблоку внутри кадров и расположено на границе макроблока. Bs = 4 (Самая сильная фильтрация) Одно из значений p и q принадлежит макроблоку внутри кадра, но не расположено на границе макроблока. Bs = 3 Не одно из p и q не принадлежит макроблоку внутри кадра и одно из p и q имеет коэффициент преобразования. Bs = 2 Не одно из p и q не принадлежит макроблоку внутри кадра и не имеет коэффициент преобразования. Однако опорные кадры являются разными, количество опорных кадров является разным или значения mv являются разными. Bs = 1 Не одно из p и q не принадлежит макроблоку внутри кадра и не одно из них не имеет коэффициент преобразования. Опорные кадры и mv значения являются одинаковыми. Bs = 0 (Фильтрация отсутствует)

Как показано в таблице 1, для данных Bs прочности границы блока назначают наивысшую силу фильтрации “4”, когда один из пикселя p и пикселя q принадлежит макроблоку MB, кодированному внутри кадра, и рассматриваемый пиксель расположен на границе макроблока MB.

Данным Bs прочности границы блока назначают ″3″, что означает большую силу фильтра, следующую после ″4″, когда один из пикселя p и пикселя q принадлежит макроблоку MB, кодированному внутри кадра, и рассматриваемый пиксель не расположен на границе макроблока MB.

Данным Bs прочности границы блока назначают ″2″, что является большей силой фильтрации, следующей после ″3″, когда ни один из пикселя p и пикселя q не принадлежит макроблоку MB, кодированному внутри кадра, и один из пикселей имеет коэффициент преобразования.

Данным Bs прочности границы блока назначают “1”, когда состояние, в котором ни один из пикселя p и пикселя q не принадлежит макроблоку MB, кодированному внутри кадра, и один из пикселей, не имеет коэффициент преобразования, и удовлетворяется условие, когда опорные кадры являются разными, количество опорных кадров является разным, или векторы движения являются разными.

Данным Bs прочности границы блока назначают “0”, когда ни пиксель p, ни пиксель q не принадлежит кодированному макроблоку MB внутри кадра, при этом ни коэффициент преобразования, ни опорные кадры и векторы движения не являются одинаковыми. В частности, “0” обозначает, что фильтрация не выполняется.

(p2, p1, p0, q0, q1, q2) на фиг.2 фильтруют только, когда справедливо условие по уравнению (1).

$$\begin{array}{c}Bs>0\\ \left|p0-q0\right|<\alpha ;\left|p1-p0\right|<\beta ;\left|q1-q0\right|<\beta \dots \left(1\right)\end{array}$$

Пороговые значения α и β имеют, в качестве параметра значение, для регулирования силы фильтрации, то есть степень простоты фильтрации определяют, как принятую по умолчанию в соответствии с параметром QP квантования следующим образом. Кроме того, пользователь может регулировать силу по двум параметрам, таким как slice_alpha_c0_offset_div2 и slice_beta_offset_div2, включенным в заголовок среза в информации сжатия изображения. В частности, на фиг.3 показаны соотношения между параметром QP квантования и пороговым значением α. Когда величину смещения добавляют к параметру QP квантования, кривая, обозначающая взаимосвязь между параметром QP квантования и пороговым значением а движется в направлении стрелки. При этом очевидно, что регулируется сила фильтрации.

Кроме того, indexA и indexB рассчитывают из уравнений (2) - (4), используя соответствующие параметры qPp и qPq квантования блока P и блока Q, расположенных рядом друг с другом, и пороговые значения α и β получают из таблиц, представленных в таблице 2.

$$qPav=\left(qPp+qPq+1\right)>>1\dots \left(2\right)$$

$$indexA=Clip3\left(\mathrm{0,51,}qPav+FilterOffsetA\right)\dots \left(3\right)$$

$$indexA=Clip3\left(\mathrm{0,51,}qPav+FilterOffsetA\right)\dots \left(3\right)$$

  Таблица 2   indexA (for α) or indexB (for β)   0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 α 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4 4 5 6 7 8 9 10 12 13 β 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 2 3 3 3 3 4 4 4                                                         indexA (lor α) or indexB (for β)   26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 61 α 15 17 20 22 25 28 32 36 40 45 50 56 63 71 80 90 101 113 127 144 162 182 203 226 255 255 β 6 6 7 7 8 8 g 9 10 10 11 11 12 12 13 13 14 14 15 15 16 16 17 17 18 18

Различные способы фильтрации определены для случая, когда ″Bs < 4″ и случая, когда ″Bs = 4″.

Описание вначале будет представлено для случая, когда ″Bs < 4″.

Фильтр удаления блочности выполняет операцию, показанную в уравнениях (5) -(7), для вычисления данных p0' и q0' пикселя после фильтрации.

Clip3 в уравнении (7) обозначает процесс формирования клипов.

$$p0\text{'}=Clip1\left(p0+\Delta \right)\dots \left(5\right)$$

$$p0\text{'}=Clip1\left(q0+\Delta \right)\dots \left(6\right)$$

$$\Delta =Clip3\left(-tc,tc\left(\left(\left(\left(q0-p0\right)<<2\right)+\left(p1-q1\right)+4\right)>>3\right)\right)\dots \left(7\right)$$

Фильтр удаления блочности вычисляет “tc” в уравнении (7) на основе уравнения (8), когда chromaEdgeFlag обозначает ″0″, и в противном случае рассчитывает “tc” в уравнении (7) на основе уравнения (9).

В уравнении (8), “()? 1:0” обозначает “1”, когда удовлетворяется условие в (), и в противном случае обозначает “0”.

$$tc=tc0+\left(\left(ap<\beta \right)?1:0\right)+\left(aq<\beta \right)?1:0)\dots \left(8\right)$$

$$tc=tc0+1\dots \left(9\right)$$

Значение tc определяют, как в таблице 3, в соответствии со значениями Bs и indexA.

Таблица 3   indexA   0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 bS=1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 bS=2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 bS=3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1                                                         indexA   26 27 2B 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 bS=1 1 1 1 1 1 1 1 2 2 2 2 3 3 3 4 4 4 5 6 6 7 В 9 10 11 13 bS=2 1 1 1 1 1 2 2 2 2 3 3 3 4 4 5 5 6 7 8 8 10 11 12 13 15 17 bS=3 1 2 2 2 2 3 3 3 4 4 4 5 6 6 7 8 9 10 11 13 14 16 18 20 23 25

Кроме того, фильтр удаления блочности вычисляет ap и aq в уравнении (8), в соответствии с уравнениями (10) и (11).

$$ap=\left|p2-p0\right|\dots \left(10\right)$$

$$ap=\left|q2-q0\right|\dots \left(11\right)$$

Фильтр удаления блочности вычисляет данные p1' пикселя после фильтрации в результате выполнения операции, показанной в уравнении (12), когда chromaEdgeFlag равен “0”, и ap равно или меньше, чем ″β″, и, в противном случае, получает данные p1' пикселя после фильтрации по уравнению (13).

$$p1\text{'}=p1+Clip3\left(-tc\mathrm{0,}tc\mathrm{0,}\left(p2+\left(\left(p0+q0+1\right)>>1\right)-(p1<<1\right)\right)>>1)\dots \left(12\right)$$

$$p1\text{'}=p1\dots \left(13\right)$$

Фильтр удаления блочности вычисляет данные q1' пикселей после фильтрации, выполняя операцию, показанную в уравнении (14), когда chromaEdgeFlag равен “0”, и ap равно или меньше чем ″β″ и, в противном случае, получает данные q1' пикселя после фильтрации по уравнению (15).

$$q1\text{'}=q1+Clip3\left(-tc\mathrm{0,}tc\mathrm{0,}\left(p2+\left(\left(p0+q0+1\right)>>1\right)-(p1<<1\right)\right)>>1)\dots \left(14\right)$$

$$q1\text{'}=q1\dots \left(15\right)$$

Кроме того, данные p2' пикселя и данные q2' пикселя представляют собой значения перед фильтрацией.

$$p2\text{'}=p2\dots \left(16\right)$$

$$q2\text{'}=q2\dots \left(17\right)$$

Представленное ниже описание будет приведено для случая, когда “Bs = 4”.

Фильтр удаления блочности вычисляет данные p0', p1' и p2' пикселя в соответствии с уравнениями (19) - (21), когда chromaEdgeFlag обозначает “0”, и удовлетворяется условие по уравнению (&18).

$$ap<\beta \&\&\left|p0-q0\right|<\left(\left(\alpha >>2\right)+2\right)\dots \left(18\right)$$

$$p0\text{'}=\left(p2+2\cdot p1+2\cdot p0+2\cdot q0+q1+4\right)>>3\dots \left(19\right)$$

$$p1\text{'}=\left(p2+p1+p0+q0+2\right)>>2\dots \left(20\right)$$

$$p2\text{'}=\left(2\cdot p3+3\cdot p2+p1+p0+q0+4\right)>>3\dots \left(21\right)$$

Фильтр удаления блочности вычисляет данные p0', p1' и p2' пикселя в соответствии с уравнением (22) - (24), когда chromaEdgeFlag обозначает “0”, и условие по уравнению (18) не удовлетворяется.

$$p0\text{'}=\left(2\cdot p1+p0+q1+2\right)>>2\dots \left(22\right)$$

$$p1\text{'}=p1\dots \left(23\right)$$

$$p2\text{'}=p2\dots \left(24\right)$$

Фильтр удаления блочности вычисляет данные q0', q1' и q2' пикселя в соответствии с уравнениями (26) - (28), когда chromaEdgeFlag обозначает “0”, и удовлетворяется условие уравнения (25).

$$aq<\beta \&\&\left|p0-q0\right|<\left(\left(\alpha >>2\right)+2\right)\dots \left(25\right)$$

$$q0\text{'}=\left(p1+2\cdot p0+2\cdot p0+2\cdot q1+q2+4\right)>>3\dots \left(26\right)$$

$$q1\text{'}=\left(p0+q0+q1+q2+2\right)>>2\dots \left(27\right)$$

$$p2\text{'}=\left(2\cdot q3+3\cdot q2+q1+q0+p0+4\right)>>3\dots \left(28\right)$$

Фильтр удаления блочности вычисляет данные q0', q1' и q2' пикселя в соответствии с уравнениями (29) - (31), когда chromaEdgeFlag обозначает “0”, и условие уравнения (25) не удовлетворяется.

$$q0\text{'}=\left(2\cdot q1+q0+p1+2\right)>>2\dots \left(29\right)$$

$$q1\text{'}=q1\dots \left(30\right)$$

$$q2\text{'}=q2\dots \left(31\right)$$

Таким образом, в системе кодирования, в соответствии с H264./AVC, данные p0'-p2' и q0'-q2' пикселя вычисляют, выполняя фильтрацию, используя данные p0-p3 и q0-q3 пикселя.

3. Конфигурация фильтра удаления блочности и секции установки фильтра в устройстве кодирования изображения

Секция 41 установки фильтра устанавливает длину отвода и диапазон пикселя объекта фильтрации в фильтре 24 удаления блочности, в соответствии с размером блока прогнозирования оптимального режима, в соответствующем макроблоке.

Обычно искажение блочности является заметным для глаза человека в случае большего размера блока. Кроме того, больший размер блока проявляет тенденцию его выбора для плоской области, которая не включает в себя много информации о текстуре.

Таким образом, секция 41 установки фильтра выполняет классификацию случая, в соответствии с размерами блока для соседних сторон двух блоков, расположенных рядом друг с другом, и устанавливает длину отвода фильтрации и диапазон пикселя объекта фильтрации, в соответствии с результатом классификации случая. Секция 41 установки фильтра выполняет классификацию случая в случае, например, когда соседние стороны двух блоков, расположенных рядом друг с другом, обе имеют заданный размер блока или меньше, и в случае, когда, по меньшей мере, один из двух блоков, расположенных рядом друг с другом, имеет расширенный размер блока, который больше, чем заданный размер блока.

В случае, когда размеры блока для соседних сторон двух блоков, расположенных рядом друг с другом, оба представляют собой заданный размер блока или меньше, например, размер макроблока в соответствии со стандартом H.264/AVC, секция 41 установки фильтра вычисляет данные p0'-p2' и q0'-q2' пикселя, выполняя фильтрацию, как описано выше. В случае, когда, по меньшей мере, один из двух блоков, расположенных рядом друг с другом, имеет расширенный размер блока, больше, чем заданный размер блока, секция 41 установки фильтра расширяет длину отвода или диапазон пикселя объекта фильтрации в соответствии с размером блока для границы блока. В результате расширения длины отвода или диапазона пикселей объекта фильтрации секция 41 установки фильтра подвергает часть с большим размером блока, с заметными искажениями блоков процессу сглаживания с более высокой силой фильтрации, чем для четных значений пикселей, которые расположены на расстоянии от границы блока. Таким образом, искажения блока делают менее заметными, и субъективно качество изображения декодируемого изображения делается более привлекательным.

В частности, высокочастотный компонент изображения теряется, когда выполняют процесс сглаживания с большей силой. Однако большой размер блока часто применяют к относительно плоской области с малым компонентом высокой частоты внутри изображения, таким образом, что субъективная деградация, такая как потеря текстуры и т.п., не происходит.

Секция 41 установки фильтра, таким образом, генерирует значения параметра, обозначающее длину отвода и диапазон пикселей объекта фильтрации, установленные в соответствии с размером блока прогнозирования, и подает значения параметра на фильтр 24 удаления блочности. Кроме того, когда используют макроблоки с множеством разных размеров, больших, чем размер блока заданного макроблока, секция 41 установки фильтра может устанавливать большую длину отвода и более широкий диапазон пикселя объекта фильтрации, по мере увеличения размера блока.

На фиг.4 показана конфигурация фильтра удаления блочности и секции установки фильтра. Секция 41 установки фильтра включает в себя буфер 411 размера блока и участок 412 генерирования значения параметра. Кроме того, фильтр 24 удаления блочности включает в себя участок 241 определения силы фильтрации и участок 242 фильтрации.

Буфер 411 размера блока накапливает информацию для изображения одного кадра, и эта информация обозначает размер блока прогнозирования в оптимальном режиме, выбранном по прогнозируемому изображению, и секции 33 выбора оптимального режима. Таким образом, буфер 411 размера блока сохраняет информацию о размере блока прогнозирования для каждого макроблока в изображении одного кадра, в качестве объекта кодирования.

Участок 412 генерирования значения параметра определяет размеры блока прогнозирования для соседних сторон двух блоков, расположенных рядом друг с другом, на основе информации размера блока прогнозирования буфера 411 размера блока. Участок 412 генерирования значения параметра генерирует значения параметра для установки длины отвода для фильтрации и диапазона пикселя объекта фильтрации, для границы блока между двумя блоками, на основе определенных размеров блока прогнозирования, и подает эти значения параметра на участок 241 определения силы фильтрации.

Участок 241 определения силы фильтрации определяет данные Bs прочности границы блока на основе информации режима прогнозирования, подаваемой секцией 16 кодирования без потерь, и выводит определенные данные Bs прочности границы блока и значения параметра, передаваемые участком 412 генерирования значения параметра на участок 242 фильтрации.

Участок 242 фильтрации выполняет фильтрацию с данными Bs прочности границы блока, а также длиной отвода и диапазоном пикселя объекта фильтрации, обозначенными значениями параметра, для вычисления данных пикселя после фильтрации.

Ниже будет приведен пример для классификации случая на первый случай, когда размеры блока прогнозирования соседних сторон двух блоков, расположенных друг с другом, оба представляют заданный размер блока (16×16 пикселей) или меньше, и второй случай, когда, по меньшей мере, один из двух блоков, расположенных рядом друг с другом, имеет расширенный размер блока, который больше, чем заданный размер блока. В этом случае, фильтрацию в соответствии с системой кодирования H.264/AVC, описанной выше, выполняют в первом случае. Кроме того, во втором случае, длину отвода устанавливают, как увеличенную длину для увеличения силы сглаживания, и/или диапазон пикселя объекта фильтрации расширяют для выполнения фильтрации вплоть до пикселей в положениях, расположенных на расстоянии от границы блока.

Далее будет приведен пример фильтрации, когда длина отвода и диапазон пикселей, являющихся объектом фильтрации расширены.

Участок 242 фильтрации расширяет длину отвода и диапазон пикселей, являющихся объектами фильтрации на основе значений параметра, выполняет фильтрацию, и вычисляет данные от p0' до p3' и от q0' до q3' пикселей после фильтрации данных пикселей от p0 до p4 и от q0 до q4. В этом случае, в участке 242 фильтрации используется уравнение (32) вместо представленного выше уравнения (7).

$$\Delta =Clip3\left(-tc,tc\left(\left(\left(q0-p0\right)<<3\right)+\left(\left(p1-q1\right)<<1\right)+\left(p2-q2\right)+8\right)>>4)\right)\dots \left(32\right)$$

Кроме того, участок 242 фильтрации вычисляет данные p1' и q1' пикселя, используя уравнения (33) и (34), вместо уравнений (12) и (14).

$$p1\text{'}=p1+Clip3\left(-tc\mathrm{0,}tc\mathrm{0,}\left(p3+p2+p0+\left(\left(q0+q1+1\right)>>1\right)-\left(p1<<2\right)\right)>>2\right)\dots \left(33\right)$$

$$p1\text{'}=p1+Clip3\left(-tc\mathrm{0,}tc\mathrm{0,}\left(q3+q2+q0+\left(\left(q0+q1+1\right)>>1\right)-\left(p1<<2\right)\right)>>2\right)\dots \left(34\right)$$

Кроме того, участок 242 фильтрации вычисляет данные p2' и q2' пикселя, используя уравнения (35) и (36), вместо уравнений (16) и (17).

$$p2\text{'}=p2+Clip3\left(-tc\mathrm{0,}tc\mathrm{0,}\left(p4+p3+p1+\left(\left(p0+q1+1\right)>>1\right)-\left(p2<<2\right)\right)>>2\right)\dots \left(35\right)$$ $$q2\text{'}=q2+Clip3\left(-tc\mathrm{0,}tc\mathrm{0,}\left(q4+q3+q1+\left(\left(q0+q1+1\right)>>1\right)-\left(p2<<2\right)\right)>>2\right)\dots \left(36\right)$$

Кроме того, когда chromaEdgeFlag обозначает “0”, и условие в уравнении (18) удовлетворяется, участок 242 фильтрации вычисляет данные p0', p1, p2' и p3' пикселей в соответствии с уравнениями (37)-(40).

$$p0\text{'}=\left(p3+2\cdot p2+3\cdot p1+4\cdot p0+3\cdot q0+2\cdot q1+q2+8\right)>>4\dots \left(37\right)$$

$$p1\text{'}=\left(p3+p2+2\cdot p1+2\cdot p0+q0+q1+4\right)>>3\dots \left(38\right)$$

$$p2\text{'}=\left(p4+3\cdot p3+4\cdot p2+3\cdot p1+2\cdot p0+2\cdot q0+q1+8\right)>>4\dots \left(39\right)$$

$$p3\text{'}=\left(p4+p3\cdot p3+p2+p1+p0+q0+4\right)>>3\dots \left(40\right)$$

Кроме того, когда chromaEdgeFlag обозначает “0”, условие уравнения (25) удовлетворяется, участок 242 фильтрации вычисляет данные q0', q1', q2' и q3' пикселя в соответствии с уравнениями (41)-(44).

$$q0\text{'}=\left(p2+2\cdot p1+3\cdot p0+4\cdot q0+3\cdot q1+2\cdot q2+q3+8\right)>>4\dots \left(41\right)$$

$$q1\text{'}=\left(p1+p0+2\cdot p0+2\cdot q1+q2+q3+4\right)>>3\dots \left(42\right)$$

$$q0\text{'}=\left(q4+3\cdot p3+4\cdot q2+3\cdot q1+2\cdot q0+2\cdot p0+p1+8\right)>>4\dots \left(43\right)$$

$$q3\text{'}=\left(q4+3\cdot q3+q2+q1+q0+p0+4\right)>>3\dots \left(44\right)$$

В частности, установка длины отвода и диапазона пикселей, являющихся объектами фильтрации не ограничена случаем классификации на два случая, то есть, случаем, когда два блока оба имеют размер 16×16 пикселей или меньший размер, и случаем, когда, по меньшей мере, один из двух блоков больше, чем 16×16 пикселей. Например, может быть выполнена классификация для случая, в котором два блока оба имеют размер 16×16 пикселей или меньший размер, случая, когда, по меньшей мере, один из двух блоков больше чем 16×16 пикселей, и оба из двух блоков равны 32×32 пикселя или меньше, и случая, когда, по меньшей мере, один из двух блоков больше чем 32×32 пикселя. В этом случае, на границе блока с большим размером, длину отвода дополнительно увеличивают для увеличения силы сглаживания, и диапазон пикселя объекта фильтрации дополнительно расширяют для фильтрации значения пикселей, расположенных на расстоянии от границы блока. Кроме того, при установке длины отвода и диапазона пикселя объекта фильтрации, только одна из длины отвода и диапазона пикселя объекта фильтрации может быть расширена в соответствии с результатом классификации для этого случая.

Таким образом, устройство кодирования изображения устанавливает длину отвода для фильтра и диапазон пикселя объекта фильтрации, в соответствии с размерами блока по соседним сторонам двух блоков, расположенных рядом друг с другом, и подвергает часть блока с большим размером с заметными искажениями блоков сглаживанию с большей силой и фильтрации, которая применяется для четных значений пикселей, расположенных на большем расстоянии от границы блока. Поэтому, искажение блоков становится менее заметным, и качество изображения декодированного изображения, используемого для генерирования изображения прогнозирования, может быть сделано более привлекательным.

4. Работа устройства кодирования изображения

Работа в соответствии с процессом кодирования изображения будет описана ниже. На фиг.5 показаны размеры блока прогнозирования, используемые в процессе кодирования изображения. В системе H.264/AVC определены размеры блока прогнозирования равные 16×16 пикселей и 4×4 пикселя, как показано на фиг.5 (C) и 5 (D). Кроме того, когда используют макроблоки с расширенным размером, большим, чем в соответствии с системой H.264/AVC, например, когда используют макроблоки с размером 32×32 пикселя, определяют размеры блока прогнозирования, показанные, например, на фиг.5 (B). Когда используют макроблоки размером 64×64 пикселя, определяют размеры блока прогнозирования, показанные, например, на фиг.5 (A).

В частности, ″Пропущенный/прямой″ на фиг.5 обозначает размер блока прогнозирования, когда пропущенный макроблок или прямой режим выбирают в секции 32 прогнозирования и компенсации движения. Кроме того, “ME” обозначает размер блока компенсации движения. Кроме того, “P8×8” обозначает, что дальнейшее разделение может быть выполнено для более низкого слоя, в котором размер макроблока уменьшен.

На фиг.6 показана блок-схема последовательности операций при работе процесса кодирования изображения. На этапе ST11, секция 11 A/D преобразования подвергает входной сигнал изображения A/D преобразованию.

На этапе ST12 буфер 12 изменения компоновки изображения выполняет изменение компоновки изображения. Буфер 12 изменения компоновки изображения сохраняет данные изображения, подаваемые из секции 11 A/D преобразования, и выполняет изменение компоновки с порядка отображения каждого изображения на порядок кодирования каждого изображения.

На этапе ST13, секция 13 вычитания генерирует данные ошибки прогнозирования. Секция 13 вычитания генерирует данные ошибки прогнозирования, вычисляя разности между данными изображения для изображения, компоновка которого была изменена на этапе ST12, и данным и прогнозируемого изображения, выбранными секцией 33 прогнозируемого изображения и оптимального режима. Данные ошибки прогнозирования уменьшают в количестве по сравнению с исходными данными изображения. Поэтому, количество данных может быть сжато по сравнению со случаем, когда изображение кодировано так, как оно есть. В частности, когда секция 33 выбора прогнозируемого изображения и оптимального режима выбирает прогнозируемое изображение, поступающее из секции 31 прогнозирования внутри кадра, и прогнозируемое изображение от секции 32 прогнозирования и компенсации движения, в модулях среза, выполняют прогнозирование внутри кадра в срезе, для которого выбирают прогнозируемое изображение, поступающее от секции 31 прогнозирования внутри кадра. Кроме того, прогнозирование между кадрами выполняют в срезе, для которого выбирают прогнозируемое изображение из секции 32 прогнозирования и компенсации движения.

На этапе ST14, секция 14 ортогонального преобразования выполняет процесс ортогонального преобразования. Секция 14 ортогонального-преобразования подвергает данные ошибки прогнозирования, подаваемые секцией 13 вычитания, ортогональному преобразованию. В частности, данные ошибки прогнозирования подвергают ортогональному преобразованию, такому как дискретное косинусное преобразование, преобразование Карунена - Лоэва и т.п., и выводят данные коэффициента преобразования.

На этапе ST15, секция 15 квантования выполняет процесс квантования. Секция 15 квантования выполняет квантование данных коэффициента преобразования. При квантовании выполняют управление скоростью, как будет описано ниже при описании обработки на этапе ST25.

На этапе ST16, секция 21 устранения квантования выполняет обработку устранения квантования. Секция 21 устранения квантования выполняет устранение квантования данных коэффициента преобразования, квантованных секцией 15 квантования, с характеристиками, соответствующими характеристикам секции 15 квантования.

На этапе ST17, секция 22 обратного ортогонального преобразование выполняет обработку обратного ортогонального преобразования. Секция 22 обратного ортогонального преобразования подвергает данные коэффициента преобразования, для которых была выполнена обработка устранения квантования, в секции 21 устранения квантования, обратному ортогональному преобразованию с характеристиками, соответствующими характеристикам секции 14 ортогонального преобразования.

На этапе ST18, секция 23 суммирования генерирует декодированные данные изображения. Секция 23 суммирования генерирует декодированные данные изображения, суммируя вместе прогнозируемые данные изображения, поданные секцией 33 выбора прогнозируемого изображения и оптимального режима, и данные после обратного ортогонального преобразования, в положении, соответствующем прогнозируемому изображению.

На этапе ST19, фильтр 24 удаления блочности выполняет фильтрацию. Фильтр 24 удаления блочности удаляет искажение блока, выполняя фильтрацию декодированных данных изображения, выводимых секцией 23 суммирования.

На этапе ST20, в запоминающем устройстве 25 кадра сохраняют декодируемые данные изображения. В запоминающем устройстве 25 кадра сохраняют декодированные данные изображения перед фильтрацией и декодированные данные изображения после фильтрации.

На этапе ST21, секция 31 прогнозирования внутри кадра и секция 32 прогнозирования и компенсации движения, каждый выполняет процесс прогнозирования. В частности, секция 31 прогнозирования внутри кадра выполняет процесс прогнозирования внутри кадров в режиме прогнозирования внутри кадров, и секция 32 прогнозирования и компенсации движения выполняет обработку прогнозирования и компенсации движения в режиме прогнозирования между кадрами. Детали обработки прогнозирования будут описаны подробно ниже со ссылкой на фиг.7. При такой обработке выполняют соответствующую обработку прогнозирования во всех режимах прогнозирования, как в режимах кандидатах, и вычисляют соответствующие значения функции стоимости для всех режимов прогнозирования, используемых в качестве кандидатов. Затем выбирают оптимальный режим прогнозирования внутри кадров и оптимальный режим прогнозирования между кадрами на основе вычисленных значений функции стоимости, и прогнозируемые изображения, сгенерированные в выбранных режимах прогнозирования, их функции стоимости и информацию о режиме прогнозирования подают на соответствующую секцию 33 выбора прогнозируемого изображения и оптимального режима.

На этапе ST22, секция 33 выбора прогнозируемого изображения и оптимального режима выбирает данные прогнозируемого изображения. Секция 33 выбора прогнозируемого изображения и оптимального режима определяет оптимальный режим, в котором получают наилучшую эффективность кодирования на основе соответствующих значений функции стоимости, выводимой секцией 31 прогнозирования внутри кадров и секции 32 прогнозирования и компенсации движения. Кроме того, секция 33 выбора прогнозируемого изображения и оптимального режима выбирает данные прогнозируемого изображения в определенном оптимальном режиме, и подает эти данные прогнозируемого изображения на секцию 13 вычитания и на секцию 23 суммирования. Это прогнозируемое изображение используют при операциях на этапах ST13 и ST18, как описано выше. В частности, информацию о режиме прогнозирования, соответствующую выбранным данным прогнозируемого изображения, выводят на секцию 16 кодирования без потерь и на секцию 41 установки фильтра.

На этапе ST23, секция 16 кодирования без потерь выполняет обработку кодирования без потерь. Секция 16 кодирования без потерь кодирует без потерь квантованные данные, выводимые секцией 15 квантования. В частности, квантованные данные подвергают кодированию без потерь, такому как кодирование с переменной длиной, арифметическое кодирование и т.п., и данные сжимают. В это время, информацию режима прогнозирования (включая в себя, например, тип макроблока, режим прогнозирования, информацию вектора движения, информацию опорного изображения и т.п.) вводимую на секцию 16 кодирования без потерь на этапе ST22, описанном выше, и т.п., также кодируют без потерь. Кроме того, данные, кодированные без потерь информации режима прогнозирования, добавляют к информации заголовка кодированного потока, генерируемого в результате кодирования без потерь квантованных данных.

На этапе ST24, буфер 17 хранения выполняет обработку сохранения для сохранения кодированного потока. Кодированный поток, сохраняемый в буфере 17 хранения, считывают соответствующим образом и передают на сторону декодирования через линию передачи.

На этапе ST25, секция 18 управления скоростью выполняет управление скоростью. Секция 18 управления скоростью управляет скоростью операции квантования блока 15 квантования для предотвращения переполнения или потери значимости буфера 17 хранения, когда буфер 17 хранения сохраняет кодируемый поток.

Процесс прогнозирования на этапе ST21 на фиг.6 будет описан далее со ссылкой на блок-схему последовательности операций, показанную на фиг.7.

На этапе ST31, секция 31 прогнозирования внутри кадра выполняет процесс прогнозирования внутри кадра. Секция 31 прогнозирования внутри кадра выполняет прогнозирование внутри кадра изображения блока, как объекта обработки во всех режимах прогнозирования внутри кадра, в качестве кандидатов. В частности, декодируемые данные изображения, сохраняемые в запоминающем устройстве 25 кадра, без их фильтрации фильтром 24 удаления блочности, используют, в качестве данных изображения декодируемого изображения, на которое ссылают во время прогнозирования внутри кадра. Детали обработки прогнозирования внутри кадра будут описаны ниже. При такой обработке выполняют прогнозирование внутри кадра во всех режимах прогнозирования внутри кадра, в качестве кандидатов, и вычисляют значения функции стоимости для всех режимов прогнозирования внутри кадров, в качестве кандидатов. Затем один режим прогнозирования внутри кадров, в котором получают наилучшую эффективность кодирования, выбирают из всех режимов прогнозирования внутри кадров на основе вычисленных значений функции стоимости.

На этапе ST32, секция 32 прогнозирования и компенсации движения выполняет обработку прогнозирования между кадрами. Секция 32 прогнозирования и компенсации движения выполняет обработку прогнозирования между кадрами во всех режимах прогнозирования между кадрами (для всех размеров блока прогнозирования), в качестве кандидатов, используя декодированные данные изображения после фильтрации, и эти декодированные данные изображения сохраняют в запоминающем устройстве 25 кадра. Детали обработки прогнозирования между кадрами будут описаны ниже. При этой обработке выполняют процессы прогнозирования во всех режимах прогнозирования между кадрами, в качестве кандидатов, и вычисляют значения функции стоимости для всех режимов прогнозирования между кадрами, в качестве кандидатов. Затем один режим прогнозирования между кадрами, в котором получают наилучшую эффективность кодирования, выбирают из всех режимов прогнозирования между кадрами на основе расчетных значений функции стоимости.

Процесс прогнозирования внутри кадров на этапе ST31 по фиг.7 будет описан ниже со ссылкой на блок-схему последовательности операций на фиг.8.

На этапе ST41, секция 31 прогнозирования внутри кадров выполняет прогнозирование внутри кадров в каждом режиме прогнозирования. Секция 31 прогнозирования внутри кадров генерирует данные прогнозируемого изображения для каждого режима прогнозирования внутри кадров, используя декодированные данные изображения перед фильтрацией, и эти декодированные данные изображения сохраняют в запоминающем устройстве 25 кадра.

На этапе ST42, секция 31 прогнозирования внутри кадров вычисляет значение функции стоимости для каждого режима прогнозирования. Значение функции стоимости вычисляют на основе способа одного из режима высокой сложности и режима малой сложности, как определено в JM (объединенной модели), используемой в качестве эталонного программного обеспечения в системе H.264/AVC.

В частности, в режиме высокой сложности, во время процесса на этапе ST41, вплоть до того, как процесс кодирования без потерь будет предположительно выполнен для всех режимов прогнозирования, в качестве кандидатов, и значение функции стоимости, выраженное следующим уравнением (45), вычисляют для каждого режима прогнозирования.

$$Cost\left(Mode\in \Omega \right)=D+\lambda \cdot R\left(45\right)$$

Здесь Ω обозначает универсальный набор режимов прогнозирования, в качестве кандидатов кодирования рассматриваемого блока или макроблока. D обозначает энергию разности (искажение) между декодированным изображением и входным изображением, когда выполняют кодирование в режиме прогнозирования. R представляет собой величину генерируемого кода, включая в себя коэффициенты ортогонального преобразования, информацию режима прогнозирования, и т.п. λ представляет собой множитель Лагранжа, заданный, как функция параметра QP квантования.

Таким образом, кодирование в режиме высокой сложности требует, чтобы был предварительно выполнен процесс кодирования один раз во всех режимах прогнозирования, в качестве кандидатов, для вычисления вычисленных выше параметров D и R, и требует большего количества операций.

С другой стороны, в режиме низкой сложности, в качестве процесса на этапе ST41, генерируют прогнозируемое изображение и вплоть до битов заголовка информации вектора движения, информации режима прогнозирования и т.п., вычисляют для всех режимов прогнозирования, в качестве кандидатов, и значение функции стоимости, выраженное следующим уравнением (46), вычисляют для каждого режима прогнозирования.

$$Cost\left(Mode\in \Omega \right)=D+QPtoQuant(QP)\cdot Header\_Bit\left(46\right)$$

Здесь Ω обозначает универсальный набор режимов прогнозирования, в качестве кандидатов кодирования рассматриваемого блока или макроблока. D обозначает энергию разности (искажение) между декодируемым изображением и входным изображением, когда кодирование выполняют в режиме прогнозирования. Header_Bit представляет биты заголовка для режима прогнозирования. QPtoQuant представляет функцию, заданную, как функция параметра QP квантования.

Таким образом, режим низкий сложности требует, чтобы процесс прогнозирования был выполнен для каждого режима прогнозирования, но не требует наличия декодированного изображения, таким образом, что процесс прогнозирования может быть реализован с меньшим количеством операций, чем в режиме высокой сложности.

На этапе ST43, блок 31 прогнозирования внутри кадров определяет оптимальный режим прогнозирования внутри кадров. На основе значений функции стоимости, вычисленных на этапе ST42, блок 31 прогнозирования внутри кадров выбирает один режим прогнозирования внутри кадров, значение функции стоимости которого представляет собой минимальное значение среди значений функции стоимости, и определяет режим прогнозирования внутри кадров, как оптимальный режим прогнозирования внутри кадров.

Процесс прогнозирования между кадрами на этапе ST32 на фиг.7 будет далее описан со ссылкой на блок-схему последовательности операций на фиг.9.

На этапе ST51, секция 32 прогнозирования и компенсации движения определяет вектор движения и опорное изображение для каждого режима прогнозирования. Таким образом, секция 32 прогнозирования и компенсации движения определяет вектор движения и опорное изображение для блока, в качестве объекта обработки в каждом режиме прогнозирования.

На этапе ST52, секция 32 прогнозирования и компенсации движения выполняет компенсацию движения для каждого режима прогнозирования. Секция 32 прогнозирования и компенсации движения применяет компенсацию движения к опорному изображению в каждом режиме прогнозирования (размер каждого блока прогнозирования) на основе вектора движения, определенного на этапе ST51, и генерирует данные прогнозируемого изображения для каждого режима прогнозирования.

На этапе ST53, секция 32 прогнозирования и компенсации движения генерирует информацию вектора движения для каждого режима прогнозирования. Секция 32 прогнозирования и компенсации движения генерирует информацию вектора движения, которая должна быть включена в кодированный поток, и эта информация относится к вектору движения, определенному в каждом режиме прогнозирования. Например, прогнозируемый вектор движения определяют, используя прогнозирование среднего значения и т.п., и генерируют информацию вектора движения, обозначающую разность между вектором движения, обнаруженным при прогнозировании движения, и прогнозированным вектором движения. Сгенерированная таким образом информация вектора движения также используется для вычисления значения функции стоимости на следующем этапе ST54, и ее включают в информацию режима прогнозирования и выводят на секцию 16 кодирования без потерь, когда секция 33 выбора прогнозируемого изображения и оптимального режима, в конечном итоге, выбирает соответствующее прогнозируемое изображение.

На этапе ST54, секция 32 прогнозирования и компенсации движения вычисляет значение функции стоимости для каждого режима прогнозирования между кадрами. Секция 32 прогнозирования и компенсации движения вычисляет значение функции стоимости, используя уравнение (45) или уравнение (46), описанные выше. В частности, расчет значений функции стоимости для режимов прогнозирования между кадрами включает в себя оценку значений функции стоимости в режиме пропущенный и в режиме прямой, определенных в системе H.264/AVC.

На этапе ST55, блок 32 прогнозирования и компенсации движения определяет оптимальный режим прогнозирования между кадрами. На основе значений функции стоимости, вычисленных на этапе ST54, блок 32 прогнозирования и компенсации движения выбирает один режим прогнозирования, значение функции стоимости которого представляет собой минимальное значение среди значений функции стоимости, и определяет режим прогнозирования, как оптимальный режим прогнозирования между кадрами.

Процесс установки фильтра будет описан далее со ссылкой на блок-схему последовательности операций на фиг.10. В частности, на фиг.10 представлен случай, в котором длина отвода и диапазон пикселей, являющихся объектами фильтрации расширены.

На этапе ST61, секция 41 установки фильтра получает размер блока прогнозирования в оптимальном режиме. Секция 41 установки фильтра получает размер блока прогнозирования, соответствующий прогнозируемому изображению, выбранному на этапе ST22, на фиг.6, то есть размер блока прогнозирования, когда кодирование выполняют в оптимальном режиме.

На этапе ST62, секция 41 установки фильтра определяет, превышает ли размер заданного блока или соседнего блока 16×16 пикселей. Когда, по меньшей мере, один из заданного блока и соседнего блока больше, чем 16×16 пикселей, секция 41 установки фильтра переходит к этапу ST63. Когда заданный блок и соседний блок оба равны 16×16 пикселей или меньше, секция 41 установки фильтра переходит на этап ST64.

На этапе ST63, секция 41 установки фильтра расширяет и устанавливает длину отвода и диапазон пикселя объекта фильтрации. Например, секция 41 установки фильтра расширяет длину отвода и диапазон пикселя объекта фильтрации в большей степени, чем в системе кодирования Н.264/AVC, и формирует данные пикселя p0'-p3' и q0'-q3' после фильтрации, вычисленные, как описано выше.

На этапе ST64, секция 41 установки фильтра устанавливает длину отвода и диапазон пикселей, являющихся объектами фильтрации без расширения. Например, секция 41 установки фильтра устанавливает длину отвода и диапазон пикселя объекта фильтрации в соответствии с системой H.264/AVC, и делает данные пикселя p0'-p2' и q0'-q2' после фильтрации, вычисленные, как описано выше.

Таким образом, в соответствии с устройством кодирования изображения и способом кодирования изображений, в которых применяется современная технология, определяют размер блока прогнозирования, обеспечивающий наилучшую эффективность кодирования, и данные изображения кодируют с заданным размером блока прогнозирования. В это время информацию, обозначающую размер блока прогнозирования, сохраняют в буфере 411 размера блока в секции 41 установки фильтра. Поэтому, положение блока прогнозирования в декодируемом изображении является очевидным, когда декодируемые данные изображения генерируют путем декодирования данных изображения, кодированных с размером блока прогнозирования, при обеспечении лучшей эффективности кодирования. Таким образом, длину отвода и диапазон пикселя объекта фильтрации устанавливают в соответствии с размером блока прогнозирования на основе информации, сохраненной в буфере 411 с размером блока, в результате чего искажения блочности могут быть уменьшены, даже когда размер блока прогнозирования велик. Кроме того, поскольку искажения блочности в декодированных данных изображения для генерирования прогнозируемого изображения, могут быть уменьшены, увеличение величины данных ошибки прогнозирования, из-за эффекта искажений блока, может быть предотвращено. Таким образом, количество данных после процесса кодирования может быть дополнительно уменьшено.

5. Конфигурация устройства декодирования изображения

Кодированный поток, генерируемый путем кодирования входного изображения, подают на устройство декодирования изображения через заданную линию передачи, носитель записи и т.п., и декодируют.

На фиг.11 показана конфигурация устройства декодирования изображения. Устройство 50 декодирования изображения включает в себя буфер 51 хранения, секцию 52 декодирования без потерь, секцию 53 удаления квантования, секцию 54 обратного ортогонального преобразования, секцию 55 суммирования, фильтр 56 удаления блочности, буфер 57 изменения компоновки изображения и секцию 58 D/A преобразования. Устройство 50 декодирования изображения дополнительно включает в себя запоминающее устройство 61 кадра, селекторы 62 и 65, секцию 63 прогнозирования внутри кадра, секцию 64 компенсации движения и секцию 71 установки фильтра.

В буфере 51 хранения содержится передаваемый кодированный поток. Блок 52 декодирования без потерь декодирует кодированный поток, передаваемый из буфера 51 хранения с помощью системы, соответствующей системе кодирования в секции 16 кодирования без потерь на фиг.1. Кроме того, секция 52 декодирования без потерь выводит информацию о режиме прогнозирования, полученную в результате декодирования информации заголовка кодированного потока, на секцию 63 прогнозирования внутри кадра, секция 64 компенсации движения и фильтр 56 удаления блочности.

Секция 53 устранения квантования устраняет квантование квантованных данных, декодируемых секцией 52 декодирования без потерь, с помощью системы, соответствующей системе квантования секции 15 квантования на фиг.1. Секция 54 обратного ортогонального преобразование подвергает выход секции 53 устранения квантования обратному ортогональному преобразованию с помощью системы, соответствующей системе ортогонального преобразования секции 14 ортогонального преобразования на фиг.1, и выводит данные после обратного ортогонального преобразования на секцию 55 суммирования.

Секция 55 суммирования генерирует декодированные данные изображения, путем суммирования вместе данных после обратного ортогонального преобразования и данных прогнозируемого изображения, подаваемых от селектора 65, и выводит декодированные данные изображения на фильтр 56 удаления блочности и запоминающее устройство 61. кадра.

Фильтр 56 удаления блочности выполнен по конфигурации аналогично фильтру 24 удаления блочности на фиг.1. Фильтр 56 удаления блочности удаляет искажение блочности, путем фильтрации декодированных данных изображения, подаваемых секцией 55 суммирования. Затем фильтр 56 удаления блочности подает декодированные данные изображения на запоминающее устройство 61 кадра с тем, чтобы сформировать данные декодированного изображения, сохраненные в запоминающем устройстве 61 кадра, и выводит декодированные данные изображения в буфер 57 изменения компоновки изображения. Кроме того, фильтр 56 удаления блочности устанавливает длину отвода и диапазон пикселя объекта фильтрации для выполнения фильтрации на основе информации режима прогнозирования, предоставляемой секцией 52 декодирования без потерь, и значений параметра, передаваемых секцией 71 установки фильтра, который будет описан ниже.

Буфер 57 изменения компоновки изображения выполняет изменение компоновки изображения. В частности, для кадров, компоновка которых была изменена для кодирования в буфере 12 изменения компоновки изображений на фиг. 1, изменяют компоновку с переводом в исходный порядок отображения, и данные изображения после изменения компоновки выводят в блок 58 D/A преобразования.

Блок 58 D/A преобразования подвергает данные изображения, подаваемые из буфера 57 изменения компоновки изображения, D/A преобразованию, и выполняет отображение изображения в результате вывода данных изображения на устройство отображения, которое не показано на чертеже.

Запоминающее устройство 61 кадра содержит декодированные данные изображения перед фильтрацией, и эти декодированные данные изображения подают секцией 55 суммирования, и декодированные данные изображения после фильтрации, и эти декодированные данные изображения, подают из фильтра 24 удаления блочности.

Селектор 62 подает декодированные данные изображения перед фильтрацией, и эти декодированные данные изображения считывает из запоминающего устройства 61 кадра на секцию 63 прогнозирования внутри кадров, когда блок прогнозирования, в котором было выполнено прогнозирование внутри кадров, декодирует на основе информации режима прогнозирования, передаваемой секцией 52 декодирования без потерь. Кроме того, селектор 26 передает декодированные данные изображения после фильтрации, и эти декодированные данные изображения считывают из запоминающего устройства 61 кадра на секцию 64 компенсации движения, когда блок прогнозирования, в котором было выполнено прогнозирование между кадрами, декодируют на основе информации о режиме прогнозирования, передаваемой секцией 52 декодирования без потерь.

Секция 63 прогнозирования внутри кадров генерирует прогнозируемое изображение на основе информации режима прогнозирования, передаваемой секцией 52 декодирования без потерь, и выводит сгенерированные прогнозируемые данные изображения в селектор 65. Кроме того, секция 63 прогнозирования внутри кадров выводит информацию, обозначающую размер блока сгенерированного прогнозируемого изображения секцией 71 установки фильтра.

Секция 64 компенсации движения выполняет компенсацию движения на основе информации о режиме прогнозирования, переданной секцией 52 декодирования без потерь, генерирует прогнозируемые данные изображения, и выводит эти прогнозируемые данные изображения на селектор 65. Таким образом, на основе информации вектора движения и информации опорного кадра, включенной в информацию режима прогнозирования, секция 64 компенсации движения применяет компенсацию движения к опорному изображению, обозначенному информацией опорного кадра, с вектором движения на основе информации вектора движения, и генерирует прогнозируемые данные изображения. Кроме того, секция 64 компенсации движения выводит информацию, обозначающую размер блока сгенерированного прогнозируемого изображения, на секцию 71 установки фильтра.

Селектор 65 подает данные прогнозируемого изображения, генерируемые в секции 63 прогнозирования внутри кадра на секцию 55 суммирования. Кроме того, селектор 65 подает данные прогнозируемого изображения, генерируемые секцией 64 компенсации движения, на секцию 55 суммирования.

Секция 71 установки фильтра выполнена в конфигурации, аналогичной секции 41 установки фильтра, показанной на фиг.4. Кроме того, секция 71 установки фильтра сохраняет информацию, обозначающую размеры блока прогнозирования декодируемых блоков. Секция 71 установки фильтра устанавливает длину отвода и диапазон пикселя объекта фильтрации в соответствии с размерами блока прогнозирования по соседним сторонам блока, в качестве объекта декодирования, и декодируемого блока, расположенного рядом с блоком, в качестве объекта декодирования. Секция 71 установки фильтра подает значение параметра, обозначающее установленную длину отвода, и установленный диапазон пикселя объекта фильтрации в фильтр 56 удаления блочности. Кроме того, когда размер блока прогнозирования в оптимальном режиме одного из рассматриваемых блоков и соседнего блока представляет собой расширенный размер блока, секция 71 установки фильтра устанавливает длину отвода и диапазон пикселя объекта фильтрации в соответствии с большим размером блока прогнозирования. Кроме того, когда используют множество макроблоков, имеющих больший размер, чем заданный макроблок, секция 71 установки фильтра устанавливает большую длину отвода, и более широкий диапазон пикселя объекта фильтрации, поскольку размер увеличен.

6. Операция устройства декодирования изображения

Операция процесса декодирования изображения, выполняемая в устройстве 50 декодирования изображения, будет описана ниже со ссылкой на блок-схему последовательности операций, показанную на фиг.12.

На этапе ST71, буфер 51 хранения сохраняет переданный кодированный поток. На этапе ST72, секция 52 декодирования без потерь выполняет обработку декодирования без потерь. Секция 52 декодирования без потерь декодирует кодированный поток, переданный из буфера 51 хранения. Таким образом, получают квантованные данные каждого изображения, кодированного блоком 16 кодирования без потерь по фиг.1. Кроме того, секция 52 декодирования без потерь выполняет декодирование без потерь информации режима прогнозирования, включенной в информацию заголовка кодированного потока, и подает полученную информацию режима прогнозирования на фильтр 56 удаления блочности и в селекторы 62 и 65. Кроме того, когда информация режима прогнозирования представляет собой информацию о режиме прогнозирования внутри кадра, секция 52 декодирования без потерь выводит информацию режима прогнозирования на секцию 63 прогнозирования внутри кадра. Кроме того, когда информация режима прогнозирования представляет собой информацию о режиме прогнозирования между кадрами, секция 52 декодирования без потерь выводит информация режима прогнозирования на секцию 64 компенсации движения.

На этапе ST73, секция 53 устранения квантования выполняет процесс устранения квантования. Секция 53 устранения квантования выполняет устранения квантования квантованных данных, декодированных секцией 52 декодирования без потерь, с характеристиками, соответствующими характеристикам секции 15 квантования на фиг.1.

На этапе ST74, секция 54 обратного ортогонального преобразования выполняет процесс обратного ортогонального преобразования. Секция 54 обратного ортогонального преобразования подвергает данные коэффициента преобразования, с устраненным квантованием, с помощью секции 53 устранения квантования, обратному ортогональному преобразованию с характеристиками, соответствующими характеристикам секции 14 ортогонального преобразования на фиг.1.

На этапе ST75, секция 55 суммирования генерирует декодированные данные изображения. Секция 55 суммирования генерирует декодированные данные изображения путем суммирования данных, полученных в результате выполнения процесса обратного ортогонального преобразования, и данных прогнозируемого изображения, выбранного на этапе ST79, который будет описан ниже. Таким образом, декодируют оригинальное изображение.

На этапе ST76, фильтр 56 удаления блочности выполняет фильтрацию. Фильтр 56 удаления блочности фильтрует декодированные данные изображения, выводимые секцией 55 суммирования для удаления искажения блочности, включенных в декодируемое изображение.

На этапе ST77, запоминающее устройство 61 кадра сохраняет декодированные данные изображения.

На этапе ST78, блок 63 прогнозирования внутри кадра и секция 64 компенсации движения генерируют данные прогнозируемого изображения. Секция 63 прогнозирования внутри кадра и секция 64 компенсации движения, каждый генерирует данные прогнозируемого изображения, так, чтобы они соответствовали информации о режиме прогнозирования, передаваемой секцией 52 декодирования без потерь.

В частности, когда информацию о режиме прогнозирования для прогнозирования внутри кадра, подают от секции 52 декодирования без потерь, секция 63 прогнозирования внутри кадра выполняет процесс прогнозирования внутри кадра, используя декодированные данные изображения, в запоминающем устройстве 61 кадра, на основе информации о режиме прогнозирования и генерирует прогнозируемые данные изображения. Кроме того, когда информацию режима прогнозирования для прогнозирования между кадрами подают от секции 52 декодирования без потерь, секция 64 компенсации движения выполняет компенсацию движения, используя декодированные данные изображения в запоминающем устройстве 61 кадра, на основе информации о режиме прогнозирования и генерирует прогнозируемые данные изображения.

На этапе ST79, селектор 65 выбирает данные прогнозируемого изображения. В частности, селектор 65 выбирает прогнозируемое изображение, передаваемое из блока 63 прогнозирования внутри кадра, и данные прогнозируемого изображения, генерируемые в секции 64 компенсации движения, и подает эти данные прогнозируемого изображения на секцию 55 суммирования для получения данных прогнозируемого изображения, добавленных к выходу секции 54 обратного ортогонального преобразования на этапе ST75, как описано выше.

На этапе ST80 буфер 57 изменения компоновки изображения выполняет изменение компоновки изображения. В частности, буфер 57 изменения компоновки изображения изменяет на исходный порядок отображения компоновку кадров, компоновка которых была изменена, для кодирования буфером 12 изменения компоновки изображения, в устройстве 10 кодирования изображения по фиг.1.

На этапе ST81, секция 58 D/A преобразования подвергает данные изображения из буфера 57 изменения компоновки изображения D/A преобразованию. Это изображение выводят на дисплей, который не показан на чертежах, и отображают изображение.

Кроме того, при фильтрации на этапе ST76 на фиг.12, секция 71 установки фильтра выполняет процесс установки фильтра, показанного на фиг.10, описанной выше. Секция 71 установки фильтра устанавливает длину отвода и диапазон пикселя объекта фильтрации, в соответствии с размерами блока прогнозирования на соседних сторонах блока, в качестве объекта декодирования, и декодированного блока, расположенного рядом с блоком, в качестве объекта декодирования. Когда размер блока на соседней стороне, по меньшей мере, одного из рассматриваемого блока и соседнего блока расширен, секция 71 установки фильтра устанавливает расширенную длину отвода и расширенный диапазон пикселя объекта фильтрации. В частности, размер блока прогнозирования на соседней стороне декодируемого блока сохраняют в буфере размера блока, в секции 71 установки фильтра, когда декодируют соседний блок. Секция 71 установки фильтра генерирует значения параметра, обозначающие установленную длину отвода и установленный диапазон пикселя объекта фильтрации, и выводит значения параметра на фильтр 56 удаления блочности. Фильтр 56 удаления блочности применяет фильтрацию к границе блока между блоком объектом декодирования, и декодируемым блоком, расположенным рядом с блоком объектом декодирования, с длиной отвода и диапазоном пикселя объекта фильтрации, обозначенными значениями параметра, передаваемыми секцией 71 установки фильтра.

Таким образом, в соответствии с устройством декодирования изображения и способом декодирования изображения, в которых применяется настоящая технология, информацию, указывающую размер блока прогнозирования, используемую в процессе кодирования, содержат в буфере размера блока, в секции 71 установки фильтра. Поэтому, положение блока прогнозирования в декодируемом изображении является четким, когда декодируемые данные изображения для отображения изображения генерируют путем декодирования кодированного потока. Таким образом, на основе информации, содержащейся в буфере размера блока, часть блока большого размера с заметным искажением блока подвергают фильтрации, которую применяют для четных значений пикселей, расположенных на более удаленных расстояниях от границы блока, и применяют процесс сглаживания с большей силой. Следовательно, может быть получено декодированное изображение с отличным качеством изображения, с незаметным искажением блока.

Кроме того, достаточно, чтобы блок установки фильтра устройства обработки изображений установил длину отвода и диапазон пикселя объекта фильтрации в соответствии с тем, являются ли декодируемые данные изображения данными изображения для генерирования прогнозируемого изображения или данными изображения для отображения изображения. Когда устройство обработки изображений представляет собой, например, устройство кодирования изображения, секция установки фильтра выполняет установку для данных декодированного изображения, для генерирования прогнозируемого изображения таким образом, что качество изображения декодированного изображения, используемого для генерирования прогнозируемого изображения, представляет собой отличное качество изображения, и количество данных кодированного потока уменьшается. Кроме того, когда устройство обработки изображений представляет собой устройство декодирования изображения, секция установки фильтра выполняет установку таким образом, что качество изображения декодированного изображения, используемого для отображения изображения, представляет собой качество изображения, требуемое пользователем. Таким образом, становится возможным выполнить фильтрацию удаления блочности, соответствующую кодированию изображения, когда секция установки фильтра предусмотрена в устройстве кодирования изображения, и фильтрацию удаления блочности, пригодную для устройства декодирования изображения, причем эту фильтрацию удаления блочности выполняют секцией установки фильтра.

Последовательность процессов, описанная в описании, может быть выполнена с помощью аппаратных средств, программных средств или совместной конфигурации с использованием, как аппаратных, так и программных средств. Когда обработку выполняют с помощью программных средств, программу, в которой записана последовательность обработки, устанавливают в запоминающее устройство в компьютере, который встроен в специализированные аппаратные средства, и выполняют. В качестве альтернативы, программа может быть установлена в компьютере общего назначения, выполненном с возможностью исполнения различного рода обработки, и выполнена.

Например, программа может быть записана заранее на жесткий диск, как на носитель записи, или в ROM (постоянное запоминающее устройство), как на носитель записи. В качестве альтернативы, программа может быть сохранена (записана) временно или постоянно на съемный носитель записи, такой как гибкий диск, CD-ROM (постоянное запоминающее устройство на компакт диске), диск МО (магнитооптический диск), DVD (цифровой универсальный диск), магнитный диск, полупроводниковое запоминающее устройство и т.п. Такой съемный носитель записи может быть предусмотрен, как, так называемое, пакетное программное обеспечение.

В частности, в дополнение к установке со съемного носителя записи, как описано выше, на компьютер, программу передают по радио с сайта загрузки на компьютер или передают по кабелю на компьютер через сети, такие как LAN (локальная вычислительная сеть), Интернет и т.п. Компьютер может принимать программу, переданную таким образом, и устанавливать эту программу на носитель записи, такой как встроенный жесткий диск и т.п.

Кроме того, в предыдущем варианте осуществления было представлено описание случая, в котором длина отвода и диапазон пикселей, являющихся объектом фильтрации, как значения параметра, устанавливают в соответствии с размерами блока соседних блоков, расположенных рядом друг с другом на границе блока. Однако, когда, по меньшей мере, один из соседних блоков имеет расширенный размер блока, который больше, чем заданный размер блока, секция установки фильтра может устанавливать значение данных прочности границы блока, используемых для фильтрации, на расширенное значение, для того, чтобы сделать возможным получение изображения с отличным качеством изображения, с уменьшенным искажением блочности. Например, секция установки фильтра устанавливает большее значение данных прочности границы блока, используемых для фильтрации по мере увеличения размера блока соседнего блока, для уменьшения искажений блочности.

Размер модулей обработки фильтра удаления блоков или размер макроблоков не ограничены примерами, описанными в настоящем описании, но могут иметь другие размеры. Например, в то время, как размер макроблоков в соответствии с H.264/AVC установлен, как 16×16 пикселей, размер модулей кодирования HEVC может быть определен динамически для каждой последовательности. Модуль кодирования HEVC также называется блоком дерева кодирования. Модуль кодирования, имеющий максимальный размер, называется наибольшим модулем кодирования (LUC). Модуль кодирования, имеющий минимальный размер, называется наименьшим модулем кодирования (SCU). Диапазон размеров используемых модулей кодирования определяют путем установления размеров LCU и SCU в параметре последовательности, установленном, как часть информации сжатия изображения. Кроме того, размеры модулей кодирования, используемые в отдельных последовательностях, идентифицированы путем установления значения split_flag.

Когда модуль кодирования имеет квадратную форму, размер одной стороны выражают, как степень двух. Модули кодирования могут быть дополнительно разделены на модули прогнозирования (PU), как модули обработки при прогнозировании внутри кадра и прогнозировании между кадрами. Кроме того, модули кодирования могут быть разделены на модули преобразования (TU), как модули обработки ортогонального преобразования. HEVC позволяет использовать модули преобразования, имеющие размеры 16×16 пикселей и 32×32 пикселя, в дополнение 4×4 пикселя и 8×8 пикселей. Термин ″блок″ в настоящем описании включает в себя концепцию макроблоков, модулей кодирования, модулей прогнозирования, модулей преобразования или различных других модулей.

Размеры блоков могут быть фиксированы или могут изменяться динамически. Размеры блоков не ограничены примерами, описанными в настоящем описании, но могут быть другими размерами. Аналогичный способ можно использовать для блоков 16×16 пикселей или меньших, таких как, например, размеры блока 4, 8 и 16. Также, в этом случае, достаточно установить большую длину отвода фильтра или установить более широкий диапазон пикселей, являющихся объектами фильтрации, в то время, как размер блока увеличивается.

Настоящая технология применима не только к случаям квадратов, имеющих размеры блока 4×4 пикселя, 8×8 пикселей, 16×16 пикселей и 32×32 пикселя, но также и для случаев неквадратов, таких как 8×2 пикселя, 2×8 пикселя, 16×4 пикселя, 4×16 пикселя, 32×8 пикселя и 8×32 пикселя. В этом случае, длина отвода фильтрации или диапазона пикселей, являющихся объектами фильтрации, могут быть установлены в соответствии с размерами блока на соседних сторонах соседних блоков. Кроме того, длина отвода фильтрации или диапазон пикселя объекта фильтрации может быть установлена в соответствии с размерами блока на не соседних сторонах соседних блоков. Кроме того, следует ли применять размеры блока на соседних сторонах или следует применять размеры блока для сторон, которые не являются смежными, можно адаптивно выбирать в соответствии с формами и размерами блока для блоков.

Кроме того, способ передачи информации, используемой для фильтрации удаления блочности со стороны кодирования на сторону декодирования, не ограничивается способом мультиплексирования этих частей информации в заголовке кодированного потока. Например, эти части информации могут быть переданы или записаны, как отдельные данные, ассоциированные с кодированным потоком битов, без их мультиплексирования в кодированном потоке битов. Термин ″ассоциированный″ в данном случае означает, какое изображение, включенное в поток битов (причем это изображение может составлять часть изображения, такую как срез, блок и т.п.), и информация, соответствующая рассматриваемому изображению, могут быть связаны друг с другом во время декодирования. Таким образом, информация может быть передана в другую линию передачи, чем для изображения (или потока битов). Кроме того, информация может быть записана на другой носитель записи (или в другую область записи, на том же самом носителе записи), чем изображение (или поток битов). Кроме того, информация и изображение (или поток битов) могут быть ассоциированы друг с другом в произвольных единицах, например, таких как множество кадров, один кадр, или часть внутри кадра.

7. Примеры применения

Устройство 10 кодирования изображения и устройство 50 декодирования изображения, в соответствии с представленным выше вариантом осуществления, могут применяться в различных электронных устройствах, включающих в себя передатчики или приемники спутниковой широковещательной передачи, и передачу по кабелю, такому, как кабельное телевидение, распределение через Интернет, распределение на оконечные устройства, используя сотовую связь, и т.п., устройства записи, для записи изображений на носители информации, такие как оптические диски, магнитные диски и запоминающее устройство типа флэш, или устройства воспроизведения, предназначенные для воспроизведения изображения с этих носителей записи. Четыре примера применения будут описаны ниже.

7-1. Первый пример применения

На фиг.13 показан пример схематичной конфигурации телевизионного устройства, в котором применяется описанный выше вариант осуществления. Телевизионное устройство 90 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, блок 905 обработки видеосигнала, блок 906 отображения, блок обработки 907 аудиосигнала, громкоговоритель 908, внешний интерфейс 909, блок 910 управления, интерфейс 911 пользователя и шину 912.

Тюнер 902 выделяет сигнал требуемого канала из сигнала широковещательной передачи, принятого через антенну 901, и демодулирует выделенный сигнал. Тюнер 902 затем выводит кодированный поток битов, полученный в результате демодуляции, в демультиплексор 903. Таким образом, тюнер 902 имеет функцию средства передачи в телевизионном устройстве 90 для приема кодированного потока, имеющего кодированное изображение.

Демультиплексор 903 разделяет видеопоток и аудиопоток программы, как объекта просмотра, из кодированного потока битов и выводит каждый из отделенных потоков на декодер 904. Кроме того, демультиплексор 903 выделяет вспомогательные данные EPG (электронная программа передач) и т.п. из кодированного потока битов, и подает выделенные данные в блок 910 управления. В частности, когда кодированный поток битов скремблируют, демультиплексор 903 может выполнять дескремблирование.

Декодер 904 декодирует видеопоток и аудиопоток, выводимые демультиплексором 903. Декодер 904 затем выводит видеоданные, генерируемые в процессе декодирования, на блок 905 обработки видеосигнала. Кроме того, декодер 904 выводит аудиоданные, сгенерированные в процессе декодирования, на блок 907 обработки аудиосигнала.

Блок 905 обработки видеосигнала воспроизводит видеоданные, вводимые декодером 904, и формирует видеоизображение, отображаемое блоком 906 отображения. Блок 905 обработки видеосигнала также формирует экран приложения, передаваемый через сеть, отображаемый блоком 906 отображения. Блок 905 обработки видеосигнала также может подвергать видеоданные дополнительной обработке, такой, например, как удаление шумов, в соответствии с установками. Блок 905 обработки видеосигнала может дополнительно генерировать, например, изображение GUI (графический интерфейс пользователя) из меню, кнопки, курсора и т.п., и накладывать сгенерированное изображение на выходное изображение.

Блоком 906 отображения управляют с помощью сигнала управления, подаваемого блоком 905 обработки видеосигнала. Блок 906 отображения отображает видеоизображение или изображение на видеоэкране устройства отображения (например, жидкокристаллического дисплея, плазменного дисплея или OLED).

Блок 907 обработки аудиосигнала подвергает аудиоданные, вводимые декодером 904, обработке воспроизведения, такой как D/A преобразование, усиление и т.п., и выполняет вывод звука через громкоговоритель 908. Блок 907 обработки аудиосигнала также может подвергнуть аудиоданные дополнительной обработке, такой как удаление шумов.

Внешний интерфейс 909 представляет собой интерфейс для подключения телевизионного устройства 90 и внешнего устройства или сети. Например, видеопоток или аудиопоток, принимаемые через внешний интерфейс 909, могут быть декодированы декодером 904. Таким образом, внешний интерфейс 909 также имеет функцию, в качестве средства передачи в телевизионном устройстве 90, для приема кодированного потока, имеющего кодированное изображение.

Блок 910 управления содержит процессор, такой как CPU (центральное процессорное устройство), и запоминающее устройство, такое как RAM (оперативное запоминающее устройство) и ROM (постоянное запоминающее устройство). В запоминающем устройстве содержится программа, выполняемая CPU, данные программы, данные EPG, данные, полученные через сеть, и т.п. Программу, сохраняемую в запоминающем устройстве, например, считывают и выполняют с помощью CPU, во время включения телевизионного устройств 90. При выполнении программы, CPU управляет работой телевизионного устройства 90 в соответствии с сигналом операций, вводимым, например, через интерфейс 911 пользователя.

Интерфейс 911 пользователя соединен с блоком 910 управления. Интерфейс 911 пользователя имеет, например, кнопку и переключатель для пользователя, предназначенные для выполнения операций с телевизионным устройством 90, элемент для приема сигнала от пульта дистанционного управления и т.п. Интерфейс 911 пользователя обнаруживает операцию пользователя через эти составляющие элементы, генерирует сигнал операций и выводит генерируемый сигнал операций на блок 910 управления.

Шина 912 взаимно соединяет тюнер 902, демультиплексор 903, декодер 904, блок 905 обработки видеосигнала, блок 907 обработки аудиосигнала, внешний интерфейс 909 и блок 910 управления.

В телевизионном устройстве 90 с такой конфигурацией декодер 904 имеет функции устройства 50 декодирования изображения, в соответствии с представленным выше вариантом осуществления. Диапазон, в котором применяется фильтр удаления блочности, таким образом, может быть определен более соответствующим образом во время декодирования изображения в телевизионном устройстве 90, таким образом, что качество изображения может быть улучшено.

7-2. Второй пример применения

На фиг.14 показан пример схематичной конфигурации портативного телефона, в котором применяется представленный вариант осуществления. Портативный телефон 920 включает в себя антенну 921, блок 922 связи, аудиокодек 923, громкоговоритель 924, микрофон 925, блок 926 камеры, блок 927 обработки изображений, блок 928 демультиплексирования, блок 929 записи и воспроизведения, блок 930 отображения, блок 931 управления, блок 932 оперирования и шину 933.

Антенна 921 соединена с блоком 922 связи. Громкоговоритель 924 и микрофон 925 соединены с аудиокодеком 923. Блок 932 оперирования соединен с блоком 931 управления. Шина 933 взаимно соединяет блок 922 связи, аудиокодек 923, блок 926 камеры, блок 927 обработки изображений, блок 928 демультиплексирования, блок 929 записи и воспроизведения, блок 930 отображения и блок 931 управления.

Портативный телефон 920 выполняет операции, такие как передача и прием аудиосигналов, передача и прием электронной почты или данных изображения, съемка изображений, запись данных и т.п., в различных режимах работы, включая в себя режим голосового вызова, режим связи, режим фотографирования и режим видеотелефона.

В режиме голосового вызова аналоговый аудиосигнал, генерируемый микрофоном 925, подают на аудиокодек 923. Аудиокодек 923 преобразует аналоговый аудиосигнал в аудиоданные, подвергает преобразованные аудиоданные A/D преобразованию и сжимает аудиоданные. Аудиокодек 923 затем выводит аудиоданные после сжатия на блок 922 связи. Блок 922 связи подвергает аудиоданные кодированию и модуляции для генерирования сигнала передачи. Блок 922 связи затем передает генерируемый сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, блок 922 связи подвергает радиосигнал, принятый через антенну 921, усилению и преобразованию частоты для получения принятого сигнала. Затем, когда блок 922 связи генерирует аудиоданные путем демодуляции и декодирования принятого сигнала, он выводит сгенерированные аудиоданные на аудиокодек 923. Аудиокодек 923 устраняет сжатие аудиоданных и подвергает аудиоданные D/A преобразованию для генерирования аналогового аудиосигнала. Аудиокодек 923 затем передает сгенерированный аудиосигнал на громкоговоритель 924 для вывода звука.

Кроме того, в режиме связи, например, блок 931 управления генерирует текстовые данные, составляющие электронную почту, в соответствии с операцией пользователя, через блок 932 оперирования. Блок 931 управления также формирует текст, отображаемый блоком 930 отображения. Кроме того, блок 931 управления генерирует данные электронной почты в соответствии с инструкцией передачи от пользователя через блок 932 оперирования, и выводит сгенерированные данные электронной почты на блок 922 связи. Блок 922 связи подвергает данные электронной почты кодированию и модуляции, для генерирования сигнала передачи. Блок 922 связи затем передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Блок 922 связи также подвергает радиосигнал, принятый через антенну 921, усилению и преобразованию частоты для получения принятого сигнала. Затем блок 922 связи реконструирует данные электронной почты, путем демодуляции и декодирования принятого сигнала, и выводит реконструированные данные электронной почты на блок 931 управления. Блок 931 управления выполняет отображение содержания электронной почты в блоке 930 отображения, и сохраняет данные электронной почты на носителе хранения информации блока 929 записи и воспроизведения.

Блок 929 записи и воспроизведения имеет произвольный носитель информации, предназначенный для записи и чтения. Например, носитель информации представляет собой носитель информации встроенного типа, такой как RAM, запоминающее устройство флэш и т.п., или может представлять собой носитель информации внешнего загружаемого типа, такой как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство USB, карта памяти и т.п.

Кроме того, в режиме фотографирования, например, блок 926 камеры генерирует данные изображения, снимая изображения субъекта, и выводит генерируемые данные изображения на блок 927 обработки изображений. Блок 927 обработки изображений кодирует данные изображения, вводимые из блока 926 камеры, и формирует кодированный поток, сохраненный на носителе записи блока 929 записи и воспроизведения.

Кроме того, в режиме видеотелефона, например, блок 928 демультиплексирования мультиплексирует видеопоток, кодированный блоком 927 обработки изображений, и аудиопоток, вводимый аудиокодеком 923, и выводит мультиплексированный поток на блок 922 связи. Блок 922 связи подвергает поток кодированию и модуляции для генерирования сигнала передачи. Блок 922 связи затем передает сгенерированный сигнал передачи в базовую станцию (не показана) через антенну 921. Блок 922 связи также подвергает радиосигнал, принятый через антенну 921, усилению и преобразованию частоты, для получения принятого сигнала. Сигнал передачи и принятый сигнал могут включать в себя кодированный поток битов. Затем блок 922 связи реконструирует поток, демодулируя и декодируя принятый сигнал, и выводит реконструированный поток на блок 928 демультиплексирования. Блок 928 демультиплексирования разделяет видеопоток и аудиопоток из входного потока, и выводит видеопоток на блок 927 обработки изображений, и аудиопоток на аудиокодек 923. Блок 927 обработки изображений декодирует видеопоток, для генерирования видеоданных. Видеоданные подают на блок 930 отображения. Блок 930 отображения отображает последовательность изображений. Аудиокодек 923 устраняет сжатие аудиопотока и подвергает аудиопоток D/A преобразованию для генерирования аналогового аудиосигнала. Аудиокодек 923 затем подает сгенерированный аудиосигнал на громкоговоритель 924 для получения выходного звукового сигнала.

В сконфигурированном таким образом портативном телефоне 920 блок 927 обработки изображений имеет функции устройства 10 кодирования изображения и устройства 50 декодирования изображения, в соответствии с представленным выше вариантом осуществления. Диапазон, в котором применяется фильтр удаления блочности, может быть, таким образом, определен более соответствующим образом в моменты времени кодирования и декодирования изображения в портативном телефоне 920, таким образом, что качество изображения может быть улучшено.

7-3. Третий пример применения

На фиг.15 показан пример схематичной конфигурации устройства записи и воспроизведения, в котором применяется представленный выше вариант осуществления. Устройство 940 записи и воспроизведения, например, кодирует аудиоданные и видеоданные принятой программы широковещательной передачи и записывает эти аудиоданные и видеоданные на носитель записи. Кроме того, устройство 940 записи и воспроизведения может, например, кодировать аудиоданные и видеоданные, полученные от другого устройства, и записывать эти аудиоданные и видеоданные на носитель записи. Кроме того, устройство 940 записи и воспроизведения, например, воспроизводит данные, записанные на носителе записи, на мониторе и через громкоговоритель, в соответствии с инструкцией от пользователя. В это время устройство 940 записи и воспроизведения декодирует аудиоданные и видеоданные.

Устройство 940 записи и воспроизведения включает в себя тюнер 941, внешний интерфейс 942, кодер 943, HDD (привод жесткого диска) 944, привод 945 диска, селектор 946, декодер 947, OSD (отображение на экране) 948, блок 949 управления и интерфейс 950 пользователя.

Тюнер 941 выделяет сигнал требуемого канала из сигнала широковещательной передачи, принимаемого через антенну (не показана), и демодулирует выделенный сигнал. Тюнер 941 затем выводит кодированный поток битов, полученный в результате демодуляции, на селектор 946. Таким образом, тюнер 941 имеет функцию средства передачи в устройстве 940 записи и воспроизведения.

Внешний интерфейс 942 представляет собой интерфейс для соединения устройства 940 записи и воспроизведения с внешним устройством или сетью. Внешний интерфейс 942 может, например, представлять собой интерфейс IEEE 1394, сетевой интерфейс, интерфейс USB, интерфейс запоминающего устройства флэш и т.п. Например, видеоданные и аудиоданные, принимаемые через внешний интерфейс 942, вводят в кодер 943. Таким образом, внешний интерфейс 942 имеет функцию средства передачи в устройстве 940 записи и воспроизведения.

Кодер 943 кодирует видеоданные и аудиоданные, вводимые от внешнего интерфейса 942, когда видеоданные и аудиоданные не кодированы. Кодер 943 затем выводит кодированный поток битов на селектор 946.

HDD 944 записывает кодированный поток битов, имеющий данные содержания, такие как видеоданные, аудиоданные и т.п., сжатые в нем, различные виды программ и другие данные, на внутренний жесткий диск. HDD 944 также считывает эти части данных с жесткого диска во время воспроизведения видео и аудиоданных.

Привод 945 диска записывает и считывает данные на и с носителя записи, загруженного в него. Носитель записи, загруженный в привод 945 диска, может, например, представлять собой диск DVD (DVD видео, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW и т.п.), диск Blu-ray (зарегистрированный товарный знак) и т.п.

Во время записи видео- и аудиоданных, селектор 946 выбирает кодированный поток битов, вводимый тюнером 941 или кодером 943, и выводит выбранный кодированный поток битов на HDD 944 или привод 945 диска. Кроме того, во время воспроизведения видео и аудиоданных селектор 946 выводит кодированный поток битов, вводимый из HDD 944 или с привода 945 диска, на декодер 947.

Декодер 947 декодирует кодированный поток битов и генерирует видеоданные и аудиоданные. Декодер 947 затем выводит сгенерированные видеоданные на OSD 948. Кроме того, декодер 904 выводит сгенерированные аудиоданные на внешний громкоговоритель.

OSD 948 воспроизводит видеоданные, вводимые из декодера 947, и отображает эти видеоданные. OSD 948 также может накладывать, например, изображение GUI, такое как меню, кнопки, курсор и т.п., на отображаемое видеоизображение.

Блок 949 управления имеет процессор, такой как CPU, и запоминающее устройство, такое как RAM и ROM. В запоминающем устройстве содержится программа, исполняемая CPU, данные программы и т.п. Программу, сохраняемую в запоминающем устройстве, например, считывают и выполняют с помощью CPU, во время включения устройства 940 записи и воспроизведения. При выполнении программы CPU управляет операцией устройства 940 записи и воспроизведения в соответствии с сигналом операции, вводимым, например, интерфейсом 950 пользователя.

Интерфейс 950 пользователя соединен с блоком 949 управления. Интерфейс 950 пользователя имеет, например, кнопку и переключатель для выполнения операций пользователем с устройством 940 записи и воспроизведения, элемент для приема сигнала пульта дистанционного управления и т.п. Интерфейс 950 пользователя обнаруживает операцию пользователем через эти составляющие элементы, генерирует сигнал операций и выводит генерируемый сигнал операций на блок 949 управления.

В сконфигурированном таким образом устройстве 940 записи и воспроизведения кодер 943 имеет функции устройства 10 кодирования изображения в соответствии с представленным выше вариантом осуществления. Кроме того, декодер 947 имеет функции 50 декодирования изображения в соответствии с представленным выше вариантом осуществления. Диапазон, в котором применяется фильтр удаления блочности, таким образом, может быть определен более соответствующим образом во время кодирования и декодирования изображения, в устройстве 940 записи и воспроизведения, таким образом, что качество изображения может быть улучшено.

7-4. Четвертый пример применения

На фиг.16 представлен пример схематичной конфигурации устройства формирования изображения, в котором применяется представленный выше вариант осуществления. Устройство 960 формирования изображения генерирует изображение, путем формирования изображения субъекта, кодирует данные изображения, и записывает данные изображения на носитель записи.

Устройство 960 формирования изображения включает в себя оптический блок 961, блок 962 формирования изображения, блок 963 обработки сигналов, блок 964 обработки изображений, блок 965 отображения, внешний интерфейс 966, запоминающее устройство 967, привод 968 носителя информации, OSD 969, блок 970 управления, интерфейс 971 пользователя и шину 972.

Оптический блок 961 соединен с блоком 962 формирования изображения. Блок 962 формирования изображения соединен с блоком 963 обработки сигналов. Блок 965 отображения соединен с блоком 964 обработки изображений. Интерфейс 971 пользователя соединен с блоком 970 управления. Шина 972 взаимно соединяет блок 964 обработки изображений, внешний интерфейс 966, запоминающее устройство 967, привод 968 носителя записи, OSD 969 и блок 970 управления.

Оптический блок 961 имеет объектив фокусирования, механизм диафрагмы и т.п. Оптический блок 961 формирует оптическое изображение субъекта на поверхности формирования изображения блока 962 формирования изображения. Блок 962 формирования изображения имеет датчик изображения типа CCD или CMOS и т.п. Блок 962 формирования изображения преобразует оптическое изображение, сформированное на поверхности формирования изображения, в сигнал изображения, как электрический сигнал, с использованием фотоэлектрического преобразования. Блок 962 формирования изображения затем выводит сигнал изображения в блок 963 обработки сигналов.

Блок 963 обработки сигналов подвергает сигнал изображения, вводимый из блока 962 формирования изображения, различной обработке сигналов камеры, такой как коррекция излома, гамма-коррекция, коррекция цвета и т.п. Блок 963 обработки сигналов выводит данные изображения после обработки сигналов камеры на блок 964 обработки изображений.

Блок 964 обработки изображений кодирует данные изображения, вводимые блоком 963 обработки сигналов, для генерирования кодированных данных. Блок 964 обработки изображений затем выводит сгенерированные кодированные данные на внешний интерфейс 966 или в привод 968 носителя записи. Блок 964 обработки изображений также декодирует кодированные данные, вводимые из внешнего интерфейса 966, или привода 968 носителя записи для генерирования данных изображения. Блок 964 обработки изображений затем выводит сгенерированные данные изображения на блок 965 отображения. Блок 964 обработки изображений может также выводить данные изображения, вводимые блоком 963 обработки сигналов, на блок 965 отображения, для отображения изображения. Блок 964 обработки изображений может также накладывать данные для отображения, которые были получены из OSD 969, на изображения, выводимые на блок 965 отображения.

OSD 969 генерирует, например, изображение GUI, представляющее меню, кнопки, курсор и т.п., и выводит сгенерированное изображение на блок 964 обработки изображений.

Внешний интерфейс 966 выполнен, например, как разъем ввода-вывода USB. Внешний интерфейс 966 соединяет, например, устройство 960 формирования изображения с принтером во время печати изображения. Кроме того, внешний интерфейс 966 соединяют с приводом в соответствии с необходимостью. Съемный носитель, такой как магнитный диск или оптический диск, например, загружают в привод. Программа, считываемая со съемного носителя, может быть установлена в устройство 960 формирования изображения. Кроме того, внешний интерфейс 966 может быть выполнен, как сетевой интерфейс, соединенный с сетью, такой как LAN, Интернет и т.п. Таким образом, внешний интерфейс 966 имеет функцию средства передачи в устройстве 960 формирования изображения.

Носитель записи, загруженный в привод 968 носителя информации, может представлять собой произвольный съемный носитель, предназначенный для записи и чтения, такой как магнитный диск, магнитооптический диск, оптический диск или полупроводниковое запоминающее устройство, например. Кроме того, носитель записи может быть установлен в приводе 968 носителя информации постоянно, формируя несъемный носитель информации, такой как, например, привод жесткого диска встроенного типа или SSD (твердотельный привод).

Блок 970 управления имеет процессор, такой как CPU и запоминающее устройство, такое как RAM и ROM. В запоминающем устройстве содержится программа, выполняемая CPU, данные программы и т.п. Программу, сохраненную в запоминающем устройстве, например, считывают и выполняют с помощью CPU во время включения устройства 960 формирования изображения. В результате выполнения этой программы, CPU управляет операцией устройства 960 формирования изображения, например, в соответствии с сигналом операций, вводимым из интерфейса 971 пользователя.

Интерфейс 971 пользователя соединен с блоком 970 управления. Интерфейс 971 пользователя имеет, например, кнопку и переключатель для выполнения пользователем операций с устройством 960 формирования изображения, и т.п. Интерфейс 971 пользователя обнаруживает операцию пользователем через эти составляющие элементы, генерирует сигнал операций, и выводит сгенерированный сигнал операций на блок 970 управления.

В сконфигурированном таким образом устройстве 960 формирования изображения блок 964 обработки изображений имеет функции устройства 10 кодирования изображения и устройства 50 декодирования изображения в соответствии с представленным выше вариантом осуществления. Диапазон, в котором применяется фильтр удаления блочности, таким образом, может быть определен более соответствующим образом во время кодирования и декодирования изображения в устройстве 960 формирования изображения, таким образом, что качество изображения может быть улучшено.

Кроме того, настоящую технологию не следует рассматривать, как ограниченную представленными выше вариантами осуществления. Варианты осуществления раскрывают настоящую технологию в иллюстративной форме. Очевидно, что модификации и замены в вариантах осуществления могут быть выполнены специалистом в данной области техники, без выхода за пределы сущности настоящей технологии. Таким образом, для определения сущности настоящей технологии, следует рассматривать формулу изобретения.

В частности, настоящая технология также может быть выполнена в следующих устройствах.

(1) Устройство обработки изображений, включающее в себя:

секцию декодирования для декодирования данных изображения, кодированных в каждом блоке;

фильтр для применения фильтрации для удаления искажений блочности в данных декодированного изображения, декодированных секцией декодирования; и

секция установки фильтра для установки в соответствии с размерами блока для соседних блоков, прилегающих к границе блока, длины отвода фильтрации для границы блока или диапазона пикселей объекта фильтрации в качестве объекта фильтрации.

(2) Устройство обработки изображений по (1), в котором секция установки фильтра выполнена с возможностью установки увеличенной длины отвода, когда, по меньшей мере один из соседних блоков вытянут до размера превышающего заданный размер блока.

(3) Устройство обработки изображений по (2), в котором секция установки фильтра выполнена с возможностью установки большей длины отвода фильтра с увеличением размера соседнего блока.

(4) Устройство обработки изображений по любому из (1) - (3), в котором секция установки фильтра выполнена с возможностью установки диапазона пикселей объекта фильтрации увеличенной ширины, когда по меньшей мере один из соседних блоков вытянут до размера, превышающего заданный размер блока.

(5) Устройство обработки изображений по любому из (1) - (4), в котором секция установки фильтра выполнена с возможностью установки более широкого диапазона пикселей объекта фильтрации с увеличением размера соседнего блока.

(6) Устройство обработки изображений по любому из (1) - (5), в котором секция установки фильтра выполнена с возможностью установки увеличенного значения прочности границы блока, используемого для фильтрации, при увеличении по меньшей мере одного из соседних блоков до размера, превышающего заданный размер блока.

(7) Устройство обработки изображений по (6), в котором секция установки фильтра выполнена с возможностью установки большего значения прочности границы блока, используемого для фильтрации, с увеличением размера соседнего блока.

(8) Устройство обработки изображений по любому из (1) - (7), в котором секция установки фильтра выполнена с возможностью установки длины отвода фильтрации или диапазона пикселей объекта фильтрации в соответствии с размерами блоков на смежных сторонах соседних блоков.

(9) Устройство обработки изображений по любому из (1) - (8), в котором секция установки фильтра выполнена с возможностью установки длины отвода фильтрации и диапазон пикселей объекта фильтрации согласно классификации случая, соответствующего размерам соседних блоков.

(10) Устройство обработки изображений по п.(9), в котором классифицированным случаем является случай, при котором оба соседних блока имеют заданный или меньший размер блока, и случай, при котором по меньшей мере один из соседних блоков вытянут до размера, превышающего заданный размер блока.

(11) Устройство обработки изображений по (10), в котором секция установки фильтра выполнена с возможностью классификации случая на случай, когда соседние блоки имеют размер 16×16 пикселей или менее, на случай, когда по меньшей мере один из двух блоков больше 16×16 пикселей и оба имеют размер 32×32 пикселя или менее, и на случай, когда по меньшей мере один из двух блоков больше 32×32 пикселя.

(12) Устройство обработки изображений по любому из (1) - (11), в котором размеры блока представляют собой размеры блоков прогнозирования, в качестве модулей обработки при выполнении прогнозирования внутри кадра или прогнозирования между кадрами.

(13) Устройство обработки изображений по любому из (1) - (12), в котором размеры блоков представляют собой размеры преобразования в качестве модулей обработки, при выполнении ортогонального преобразования.

(14) Устройство обработки изображений по любому из (2) - (13), в котором заданный размер блока представляет собой размер макроблока, в соответствии со стандартом H.264/AVC.

(15) Устройство обработки изображений по любому из (1) - (14), в котором секция установки фильтра выполнена с возможностью установки длины отвода или диапазона пикселей объекта фильтрации в соответствии с тем, являются ли декодированные данные изображения данными изображения для генерирования прогнозируемого изображения или данными изображения для отображения изображения.

Промышленная применимость

Устройство обработки изображений и способ обработки изображений, в соответствии с настоящей технологией, могут обеспечить изображение с отличным качеством изображения, с уменьшенным искажением блоков. Настоящая технология, поэтому, пригодна для устройств кодирования изображения, декодирования изображений и т.п., используемых, когда информацию изображении (поток битов), полученную в результате выполнения кодирования в единицах блока, как в MPEG, Н.26х и т.п., передают и принимают через сетевую среду, такую как спутниковая широковещательная передача, кабельное TV, Интернет, портативные телефоны и т.п., или когда информацию изображения обрабатывают на носителях информации, таких как оптические и магнитные диски, запоминающее устройство флэш и т.п.

Пояснение номеров ссылочных позиций

10… Устройство кодирования изображения, 11… секция A/D преобразования, 12, 57… Буфер изменения компоновки изображения, 13… Секция вычитания, 14… Секция ортогонального преобразования, 15…Секция квантования, 16… Секция кодирования без потерь, 17, 51… Буфер хранения, 18… Секция управления скоростью, 21, 53… Секция устранения квантования, 22, 54… Секция обратного ортогонального преобразования, 23, 55… Секция суммирования, 24, 56… Фильтр удаления блочности, 25, 61… Запоминающее устройство кадра, 26, 62, 65… Селектор, 31, 63… Секция прогнозирования внутри кадров, 32… Секция прогнозирования и компенсации движения, 33… Секция выбора прогнозируемого изображения и оптимального режима, 41, 71… Секция установки фильтра, 50… Устройство декодирования изображения, 52… Секция декодирования без потерь, 58… Секция D/A преобразования, 64… Секция компенсации движения, 90… Телевизионное устройство, 92… Портативный телефон, 94… Устройство записи и воспроизведения, 96… Устройство формирования изображения, 241… Участок определения силы фильтрации, 242.. .. Участок фильтрации, 411… Буфер размера блока, 412… Участок генерирования значения параметра, 901, 921… Антенна, 902, 941… Тюнер, 903. Демультиплексор, 904, 947… Декодер, 905… Блок обработки видеосигнала, 906… Блок отображения, 907… Блок обработки аудиосигнала, 908… Громкоговоритель, 909, 942, 966… Блок внешнего интерфейса, 910, 931, 949, 970… Блок управления, 911, 932, 971… Блок интерфейса пользователя, 912, 933, 972… Шина, 922… Блок связи, 923… Аудиокодек, 924… Громкоговоритель, 925 Микрофон, 926… Блок камеры, 927 Блок обработки изображений, 928… Блок демультиплексирования, 929… Блок записи и воспроизведения, 930… Блок отображения, 943… Кодер, 944… Блок HDD, 945… Привод диска, 948, 969… Блок OSD, 961… Оптический блок, 962… Блок формирования изображений, 963… Блок обработки сигналов камеры, 964… Блок обработки данных изображения, 965… Блок отображения, 967… Блок памяти, 968… Привод носителя информации

Изобретение относится к технологиям кодирования и декодирования видеоданных. Техническим результатом является повышение качества изображения за счет уменьшения искажений блоков изображений посредством выполнения фильтрации в соответствии с длиной отвода фильтрации и диапазоном объекта фильтрации. Предложено устройство обработки изображений. Устройство содержит секцию декодирования, секцию установки фильтра и фильтр. При этом секция декодирования осуществляет декодирование кодированных данных изображения для генерирования декодированных данных изображения. Секция установки фильтра предназначена для установки, в соответствии с размерами блоков преобразования на границе блока преобразования, по меньшей мере одного из длины отвода фильтрации для границы блока преобразования и диапазона объекта фильтрации. 2 н. и 16 з.п. ф-лы, 16 ил., 3 табл.

1. Устройство обработки изображений, содержащее:
секцию декодирования для декодирования кодированных данных изображения для генерирования декодированных данных изображения;
секция установки фильтра для установки в соответствии с размерами блоков преобразования на границе блока преобразования по меньшей мере одного из длины отвода фильтрации для границы блока преобразования и диапазона объекта фильтрации; и
фильтр для применения в соответствии с длиной отвода фильтрации и диапазоном объекта фильтрации фильтрации к декодированным данным изображения.

2. Устройство обработки изображений по п. 1, в котором секция установки фильтра выполнена с возможностью установки в соответствии с размерами блоков преобразования соседних блоков преобразования, смежных друг к другу, на границе блока преобразования по меньшей мере одного из длины отвода фильтрации для границы блока преобразования и диапазона объекта фильтрации.

3. Устройство обработки изображений по п. 2, в котором, когда размеры блока преобразования на смежных сторонах соседних блоков преобразования являются увеличенными размерами блоков преобразования, превышающими заданный размер блока преобразования, секция установки фильтра выполнена с возможностью установки по меньшей мере одного из длины отвода, превышающей длину отвода, устанавливаемую при заданном размере блока преобразования и диапазона пикселей объекта фильтрации шире диапазона пикселей объекта фильтрации, установленного при заданном размере блока преобразования.

4. Устройство обработки изображений по п. 2, в котором, когда блок преобразования из смежных блоков преобразования увеличен до размера, превышающего заданный размер блока преобразования, секция установки фильтра выполнена с возможностью установки значения данных прочности границы блока преобразования, используемого для фильтрации, превышающего значение, устанавливаемое при заданном размере блока преобразования.

5. Устройство обработки изображений по п. 2, в котором размеры блока преобразования представляют собой размеры блока преобразования прогнозирования в качестве модулей обработки при выполнении по меньшей мере одного из прогнозирования внутри кадра и прогнозирования между кадрами.

6. Устройство обработки изображений по п. 4, в котором заданный размер блока преобразования представляет собой размер макроблока в соответствии со стандартом H.264/AVC.

7. Устройство обработки изображений по п. 2, в котором секция установки фильтра выполнена с возможностью установки по меньшей мере одного из длины отвода фильтрации и диапазона объекта фильтрации в соответствии с размерами блоков преобразования на смежных сторонах соседних блоков преобразования.

8. Устройство обработки изображений по п. 2, в котором секция установки фильтра выполнена с возможностью установки по меньшей мере одного из длины отвода фильтрации и диапазона объекта фильтрации в соответствии с размерами блоков преобразования на несмежных сторонах соседних блоков преобразования.

9. Устройство обработки изображений по п. 2, в котором соседние блоки преобразования являются неквадратными блоками преобразования.

10. Способ обработки изображений, содержащий этапы, на которых:
декодируют с помощью секции декодирования устройства обработки изображений кодированные данные изображения для генерирования декодированных данных изображения;
выполняют с помощью секции установки фильтра и в соответствии с размерами блоков преобразования на границе блока преобразования установку по меньшей мере одного из длины отвода фильтрации для границы блока преобразования и диапазона объекта фильтрации; и
применяют с помощью фильтра и в соответствии с длиной отвода фильтрации и диапазоном объекта фильтрации фильтрацию декодированных данных изображения.

11. Способ обработки изображений по п. 10, в котором этап установки содержит подэтап, на котором устанавливают с помощью секции установки фильтра и в соответствии с размерами блоков преобразования соседних блоков преобразования, смежных друг к другу, на границе блока преобразования по меньшей мере один из длины отвода фильтрации для границы блока преобразования и диапазона объекта фильтрации.

12. Способ обработки изображений по п. 11, в котором этап установки содержит подэтап, на котором устанавливают с помощью секции установки фильтра по меньшей мере один из длины отвода, превышающей длину отвода, устанавливаемую при заданном размере блока преобразования, и диапазона пикселей объекта фильтрации шире диапазона пикселей объекта фильтрации, установленного при заданном размере блока преобразования, когда размеры блока преобразования на смежных сторонах соседних блоков преобразования являются увеличенными размерами блоков преобразования, превышающими заданный размер блока преобразования.

13. Способ обработки изображений по п. 11, в котором этап установки содержит подэтап, на котором устанавливают с помощью секции установки фильтра значения данных прочности границы блока преобразования, используемых для фильтрации, превышающие значение, устанавливаемое при заданном размере блока преобразования, когда блок преобразования из смежных блоков преобразования увеличен до размера, превышающего заданный размер блока преобразования.

14. Способ обработки изображений по п. 11, в котором размеры блока преобразования представляют собой размеры блока преобразования прогнозирования в качестве модулей обработки при выполнении по меньшей мере одного из прогнозирования внутри кадра и прогнозирования между кадрами.

15. Способ обработки изображений по п. 13, в котором заданный размер блока преобразования представляет собой размер макроблока в соответствии со стандартом H.264/AVC.
16 Способ обработки изображений по п. 11, в котором этап установки содержит подэтап, на котором устанавливают с помощью секции установки фильтра по меньшей мере один из длины отвода фильтрации и диапазона объекта фильтрации в соответствии с размерами блоков преобразования на смежных сторонах соседних блоков преобразования.

17. Способ обработки изображений по п. 11, в котором этап установки содержит подэтап, на котором устанавливают с помощью секции установки фильтра по меньшей мере один из длины отвода фильтрации и диапазона объекта фильтрации в соответствии с размерами блоков преобразования на несмежных сторонах соседних блоков преобразования.

18. Способ обработки изображений по п. 11, в котором соседние блоки преобразования являются неквадратными блоками преобразования.