УСТРОЙСТВО КОДИРОВАНИЯ, СПОСОБ КОДИРОВАНИЯ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ, СПОСОБ ДЕКОДИРОВАНИЯ И ИХ ПРОГРАММЫ Российский патент 2010 года по МПК H04N7/26 G06T5/10 G06K9/40 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству кодирования, способу кодирования, устройству декодирования и способу декодирования данных изображения и к их программам.

Описание предшествующего уровня техники

В последние годы, с целью цифровой обработки данных изображения во время высокоэффективной передачи и сохранения информации, широкое распространение получили устройства кодирования и устройства декодирования, основанные на стандарте MPEG (Экспертная группа по вопросам движущегося изображения), H.264/AVC (УКВ, Усовершенствованное кодирование видеоданных) и других системах кодирования, в которых используется избыточность, свойственная информации изображения, и данные сжатия, полученные с использованием дискретного косинусного преобразования или другого ортогонального преобразования и компенсации движения как для распределения информации в широковещательных станциях и т.д., так и для приема информации в обычных домах.

Упомянутый выше способ кодирования назначает типы изображений I, P и В, на основе структуры GOP (ГИ, группа изображений) для множества данных изображения, формирующих данные движущегося изображения, выполняет кодирование внутри кадра для данных I-изображений и выполняет кодирование между кадрами для данных P- и В-изображений.

Однако в упомянутом выше устройстве кодирования, например, данных изображения в области однородного изображения, в декодированном изображении возникает структура шумов, называемая "восстановлением" (шум зернистости). Такой шум становится заметным и приводит к падению качества декодированного изображения.

Сущность изобретения

Желательно разработать устройство кодирования, способ кодирования, устройство декодирования, способ декодирования и программы для них, обеспечивающие возможность улучшения воспринимаемого качества декодированного изображения.

В соответствии с первым вариантом осуществления изобретения предложено устройство кодирования, содержащее средство определения, предназначенное для определения данных области изображения, предназначенных для обработки для противодействия восстановлению в данных изображения, кодированных на основе этих данных изображения, и средство противодействия восстановлению, предназначенное для применения обработки для противодействия восстановлению для данных области изображения, определенной с помощью средства определения при кодировании данных изображения.

В соответствии со вторым вариантом осуществления изобретения предложен способ кодирования, содержащий первый этап, на котором определяют данные области изображения, которые должны быть обработаны для противодействия восстановлению, в данных изображения, кодированных на основе этих данных изображения, и второй этап, на котором применяют обработку для противодействия восстановлению для данных области изображения, определенной на первом этапе, при кодировании данных изображения.

В соответствии с третьим вариантом осуществления изобретения предложена программа, работающая на компьютере, содержащая первую процедуру, состоящую в определении данных области изображения, предназначенных для обработки для противодействия восстановлению данных изображения, кодированных на основе данных изображения, и вторую процедуру применения обработки для противодействия восстановлению для данных области изображения, определенных в первой процедуре при кодировании данных изображения.

В соответствии с четвертым вариантом осуществления изобретения предложено устройство декодирования, содержащее средство декодирования, предназначенное для декодирования кодированных данных изображения, для генерирования декодированных данных изображения, средство определения, предназначенное для определения данных области изображения, предназначенной для обработки для противодействия восстановлению в декодированных данных изображения, сгенерированных средством декодирования, на основе декодированных данных изображения, и средство противодействия восстановлению, предназначенное для применения обработки для противодействия восстановлению для данных области изображения, определенной с помощью средства определения, в декодированном изображении, причем данные сгенерированы средством декодирования.

В соответствии с пятым вариантом осуществления изобретения предложен способ декодирования, содержащий первый этап, на котором декодируют кодированные данные изображения для генерирования декодированных данных изображения, второй этап, на котором определяют данные области изображения, предназначенные для обработки для противодействия восстановлению в декодированных данных изображения, сгенерированных на первом этапе на основе декодированных данных изображения, и третий этап, на котором применяют обработку противодействия восстановлению для данных области изображения, определенной на втором этапе, в декодированных данных изображения, сгенерированных на первом этапе.

В соответствии с шестым вариантом осуществления изобретения предложена программа, работающая на компьютере, содержащая первую процедуру, состоящую в декодировании кодированных данных изображения для генерирования декодированных данных изображения, вторую процедуру, состоящую в определении данных области изображения для обработки для противодействия восстановлению в декодированных данных изображения, сгенерированных в первой процедуре, на основе декодированных данных изображения, и третью процедуру, состоящую в применении обработки для противодействия восстановлению для данных области изображения, определенной во второй процедуре, в декодированных данных изображения, сгенерированных в первой процедуре.

В соответствии с настоящим изобретением могут быть предоставлены устройство кодирования, способ кодирования, устройство декодирования, способ декодирования и программы для них, которые позволяют улучшить воспринимаемое качество декодированного изображения.

Краткое описание чертежей

Эти и другие цели и свойства настоящего изобретения будут понятны из следующего описания предпочтительных вариантов выполнения, со ссылкой на приложенные чертежи, на которых:

на фиг.1 показан вид конфигурации системы передачи данных в соответствии с вариантом воплощения настоящего изобретения;

на фиг.2 показана функциональная блок-схема устройства кодирования, показанного на фиг.1;

на фиг.3 показан вид, поясняющий причину возникновения восстановления;

на фиг.4 показана блок-схема последовательности операций, поясняющая детектирование восстановления и обработку для противодействия ему с помощью устройства кодирования, показанного на фиг.2;

на фиг.5 показан вид, поясняющий обработку по этапу ST13, представленному на фиг.4;

на фиг.6 показан вид, поясняющий обработку по этапу ST14, представленному на фиг.4;

на фиг.7 показан вид, поясняющий обработку по этапу ST14, представленному на фиг.4;

на фиг.8 показан вид, поясняющий обработку по этапу ST15, представленному на фиг.4;

на фиг.9 показан вид, поясняющий обработку по этапу ST16, представленному на фиг.4;

на фиг.10 показан вид, поясняющий обработку по этапу ST17, представленному на фиг.4;

на фиг.11 более подробно показана блок-схема последовательности операций, поясняющая обработку, выполняемую на этапе ST12, показанному на фиг.9;

на фиг.12 более подробно показана блок-схема последовательности операций, представляющая собой продолжение фиг.11, предназначенная для пояснения обработки, выполняемой на этапе ST12, показанном на фиг.9;

на фиг.13А показан вид, поясняющий этап ST31, показанный на фиг.11, и

на фиг.13В показан вид, поясняющий этап ST33;

на фиг.14 показан вид, поясняющий обработку противодействия восстановлению с использованием схемы 53 противодействия восстановлению, показанной на фиг.2;

на фиг.15 показана блок-схема последовательности операций, поясняющая обработку, выполняемую схемой противодействия восстановлению и схемой квантования, показанной на фиг.2;

на фиг.16 показан вид конфигурации устройства декодирования, представленного на фиг.1; и

на фиг.17 показан вид, поясняющий модификацию устройства кодирования и устройства декодирования в соответствии с настоящим вариантом воплощения.

Подробное описание изобретения

Ниже приведено описание системы 1 передачи данных в соответствии с предпочтительным вариантом выполнения настоящего изобретения. На фиг.1 представлен концептуальный вид системы 1 передачи данных в соответствии с настоящим вариантом выполнения. На фиг.1 показана система 1 передачи данных, которая имеет устройство 2 кодирования на стороне передачи, и устройство 3 декодирования на стороне приема. В системе 1 передачи данных устройство 2 кодирования на стороне передачи генерирует данные изображения кадра (поток битов), сжатые в результате дискретного косинусного преобразования, преобразования Карунена-Лоэва (Karhunen-Loewe) или другого ортогонального преобразования и компенсации движения, модулирует данные изображения кадра, затем передает их через канал спутниковой широковещательной передачи, кабельную телевизионную сеть, телефонную сеть, сеть сотовой телефонной связи или другую среду передачи данных. На стороне приема устройство 3 декодирования демодулирует принимаемый сигнал изображения, затем генерирует и использует данные изображения кадра, распакованные в результате преобразования, обратного ортогональному преобразованию, использовавшемуся во время модуляции и компенсации движения. Следует отметить, что среда передачи может представлять собой оптический диск, магнитный диск, полупроводниковое запоминающее устройство, а также другой носитель информации.

Устройство 2 кодирования

Ниже приведено пояснение устройства 2 кодирования, показанного на фиг.1. На фиг.2 представлен вид общей конфигурации устройства 2 кодирования, представленного на фиг.1. Как показано на фиг.2, устройство 2 кодирования имеет, например, схему 21 А/Ц (A/D, аналогово-цифрового) преобразования, схему 22 назначения типа изображения, схему 23 перестановки кадра, схему 26 определения типа МБ (MB, макроблока), вычислительную схему 31, схему 32 ортогонального преобразования, схему 33 квантования, схему 34 управления скоростью передачи, схему 35 реверсивного кодирования, буферное запоминающее устройство 36, схему 37 инверсного квантования, схему 38 инверсного ортогонального преобразования, схему 39 сумматора, фильтр 40 устранения блоков, запоминающее устройство 41 кадра, схему 42 прогнозирования внутри кадра, схему 43 прогнозирования и компенсации движения, схему 51 прогнозирования и компенсации движения, схему 52 детектирования восстановления, схему 53 противодействия восстановлению и схему 54 противодействия восстановлению.

Ниже будет приведено описание компонентов устройства 2 кодирования.

Схема 21 А/Ц преобразования

Схема 21 А/Ц преобразования преобразует входной исходный сигнал 810 изображения, состоящий из аналоговых сигнала Y яркости и цветоразностных сигналов Pb и Pr, в цифровые данные изображения и выводит их в схему 22 назначения типа изображения.

Схема 22 назначения типа изображения

Схема 22 назначения типа изображения назначает один из типов I-, P- или В-изображения для каждых данных изображения, вводимых из схемы 21 А/Ц преобразования.

Схема 23 перегруппировки кадра

Схема 23 перегруппировки кадра выполняет перегруппировку данных изображения, сгенерированных схемой 22 А/Ц преобразования в последовательность, предназначенную для кодирования, в соответствии со структурой ГИ (группа изображений), состоящей из типов I-, P- и В-изображения, назначенных в схеме 22 назначения типа изображения, и выводит результат в схему 51 прогнозирования и компенсации движения и в схему 53 противодействия восстановлению.

Схема 26 определения типа МБ

Схема 26 определения типа МБ определяет тип макроблока, (например, тип 4х4 или 16х16) каждых данных изображения, перегруппированных в схеме 23 перегруппировки кадра.

Вычислительная схема 31

Вычислительная схема 31 генерирует данные изображения, обозначающие разность между кодируемыми данными изображения, вводимыми из схемы 26 определения типа МБ и данными ПИ (PI) прогнозируемого изображения, вводимыми из схемы 42 прогнозирования внутри кадра или схемы 43 прогнозирования и компенсации движения, и выводит их в схему 32 ортогонального преобразования.

Схема 32 ортогонального преобразования

Схема 32 ортогонального преобразования применяет дискретное косинусное преобразование (ДКП, DCT), преобразование Карунена-Лоэва или другое ортогональное преобразование к данным изображения, вводимым из вычислительной схемы 31, для генерирования данных изображения, обозначающих коэффициент преобразования (например, коэффициент ДКП), и выводит их в схему 54 противодействия восстановлению. Схема 32 ортогонального преобразования применяет ортогональное преобразование на основе, например, размера блока, определенного в схеме 26 определения типа МБ.

Схема 33 квантования

Схема 33 квантования выполняет квантование данных S54 изображения (коэффициент преобразования перед квантованием), вводимых из схемы 54 противодействия восстановлению, на основе шкалы ШК (QS, шкалы квантования) квантования, выводимой из схемы 34 управления скоростью передачи данных, для генерирования данных изображения, обозначающих коэффициент преобразования после квантования, и выводит их в схему 35 реверсивного кодирования и схему 37 инверсного квантования.

Схема 34 управления скоростью передачи данных

Схема 34 управления скоростью передачи данных генерирует шкалу ШК квантования на основе, например, данных изображения, считываемых из буферного запоминающего устройства 36, и выводит ее в схему 33 квантования.

Схема 35 реверсивного кодирования

Схема 35 реверсивного кодирования сохраняет данные изображения, полученные в результате кодированием переменной длины данных изображения, вводимых из схемы 33 квантования в буфер 28. В это время схема 35 реверсивного кодирования сохраняет вектор ВД (MV, вектор движения) движения, выводимый из схемы 43 прогнозирования и компенсации движения или его разностный вектор движения, идентификационные данные для данных эталонного изображения и режим прогнозирования внутри кадра, выводимый из схемы 42 прогнозирования внутри кадра, в данные заголовка и т.д.

Буферное запоминающее устройство 36

Данные изображения, содержащиеся в буферном запоминающем устройстве 36, модулируют и т.д. и затем передают как данные S2 изображения. Данные S2 изображения декодируют с помощью устройства 3 декодирования, как поясняется ниже.

Схема 37 инверсного квантования

Схема 37 инверсного квантования применяет обработку инверсного квантования, соответствующую квантованию, выполняемому схемой 33 квантования, для данных изображения, поступающих из схемы 33 квантования, для генерирования данных, и выводит их в схему 38 инверсного ортогонального преобразования.

Схема 38 инверсного ортогонального преобразования

Схема 38 инверсного ортогонального преобразования применяет инверсное преобразование к ортогональному преобразованию, выполняемому в схеме 32 ортогонального преобразования, для данных, выводимых из схемы 37 инверсного квантования, для генерирования данных изображения и выводит их в схему 39 сумматора.

Схема 39 сумматора

Схема 39 сумматора суммирует данные изображения, вводимые (декодированные) из схемы 38 инверсного ортогонального преобразования, и прогнозируемые данные ПИ изображения, вводимые из схемы 42 прогнозирования внутри кадра или схемы 43 прогнозирования и компенсации движения, для генерирования эталонных (перегруппированных) данных изображения и выводит их в фильтр 40 устранения блоков.

Фильтр 40 устранения блоков

Фильтр 40 устранения блоков устраняет только искажения, вносимые блоками данных эталонного изображения, вводимых из схемы 39 сумматора, и записывает результат в запоминающее устройство 41 кадра.

Схема 42 прогнозирования внутри кадра

Схема 42 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра и размер блока для блока прогнозирования, оставляя наименьший остаток в макроблоке, который будет кодирован внутри кадра. Схема 42 прогнозирования внутри кадра использует 4х4 и 16х16 пикселей, в качестве размера блока. Схема 42 прогнозирования внутри кадра выводит данные ПИ прогнозируемого изображения, полученные с использованием прогнозирования внутри кадра в вычислительную схему 31 и схему 39 сумматора, когда выбирают прогнозирование внутри кадра.

Схема 43 прогнозирования и компенсации движения

Схема 43 прогнозирования и компенсации движения выполняет прогнозирование движения из изображения, которое было уже кодировано, локально декодировано и записано в запоминающее устройство 31 кадра, и определяет вектор движения и размер блока компенсации движения для сведения к минимуму остатка. Схема 43 прогнозирования и компенсации движения использует 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 и 4×4 пикселей как размеры блока. Схема 43 прогнозирования и компенсации движения выводит данные ПИ прогнозируемого изображения, полученные в результате прогнозирования между кадрами, в вычислительную схему 31 и схему 39 сумматора, когда выбрано прогнозирование между кадрами.

Как пояснялось выше, при декодировании кодированного изображения, как показано на фиг.3, иногда возникает шум, известный как "восстановление". Восстановление также известно как "восстановление внутри кадра" или "мерцание внутри кадра" и представляет собой шум, возникающий для каждых данных, кодированных внутри кадра.

Ниже рассмотрена структура возникновения (восприятия) восстановления. "Восстановление" воспринимается в местах, где исходные изображения, имеющие одну и ту же характеристику, продолжаются в течение определенного времени (в местах, в которых отсутствует значительное движение). Кроме того, восстановление воспринимается в местах, где трудности, связанные с кодированием внутри кадра и между кадрами, являются одинаковыми. Кроме того, восстановление воспринимается в местах с простым исходным изображением.

Устройство 2 кодирования рассматривает характеристики, описанные выше, и рассчитывает мажоритарную выборку уровня прогнозирования возникновения восстановления, которое используется как индикатор для определения, в какой степени макроблок МБ имеет характеристики, по которым воспринимается восстановление для каждого макроблока МБ, формирующего кодируемые данные изображения. Затем устройство 2 кодирования определяет, следует или нет применять противодействие восстановлению для каждого макроблока МБ на основе уровня мажоритарной выборки прогнозирования возникновения восстановления.

В устройстве 2 кодирования схема 51 прогнозирования и компенсации движения и схема 52 детектирования восстановления, показанные на фиг.2, рассчитывают уровень мажоритарной выборки прогнозирования возникновения восстановления, который описан выше, и определяют на этой основе, следует или нет применять противодействие восстановлению для каждого макроблока МБ. Затем, когда схема 22 назначения типа изображения назначает данные I-изображения для данных изображения, к которым принадлежит макроблок МБ, для макроблока MB, для которого следует применять противодействие восстановлению, схема 53 противодействия восстановлению, управляет системой таким образом, чтобы кодировать данные изображения, как данные изображения Р-типа. Кроме того, схема 54 противодействия восстановлению регулирует данные изображения (коэффициент преобразования), сгенерированные схемой 32 ортогонального преобразования таким образом, что восстановление будет трудно восприниматься для макроблока МБ, для которого следует предпринять противодействие восстановлению, и выводит этот результат в схему 33 квантования.

Схема 52 детектирования восстановления и схемы 53 и 54 противодействия восстановлению

Ниже поясняется детектирование восстановления, выполняемое с помощью устройства 2 кодирования, и обработка для противодействия ему. На фиг.4 показана блок-схема последовательности операций, предназначенная для пояснения детектирования восстановления и обработка для противодействия ему, выполняемая устройством 2 кодирования, показанным на фиг.2. В следующем примере иллюстрируется случай, в котором схема 52 детектирования восстановления определяет макроблок В-МБ (R-MB), который будет обработан для противодействия восстановлению на основе InterAD и IntraAD, полученных из схемы 51 прогнозирования и компенсации движения. Это восстановление отражается в обработке, применяемой для противодействия восстановлению, выполняемой в схеме 52 детектирования восстановления. Отдельно от этого схема 52 детектирования восстановления определяет макроблоки В-МБ, которые будут обработаны для противодействия восстановлению, на основе фактических значений InterAD и IntraAD в соответствии с результатами обработки, выполняемой схемой 43 прогнозирования и компенсации движения и схемой 42 прогнозирования внутри кадра. Это определение отображено, например, при обработке, выполняемой для противодействия восстановлению в схеме 54 детектирования восстановления. Обработка определения, выполняемая в схеме 52 детектирования восстановления, в этом случае является такой же, как и обработка, выполняемая на этапах ST12 - ST17, которая поясняется ниже, за исключением того, что используются фактические значения InterAD и IntraAD.

Этап ST11

Схема 51 прогнозирования и компенсации движения, показанная на фиг.2, рассчитывает значения InterAD и IntraAD для каждого макроблока МБ, формирующего данные изображения, вводимые в кодированной форме из схемы 23 перегруппировки кадра. В схеме 51 прогнозирования и компенсации движения не используют перегруппированные данные изображения, но используют только данные изображения перед кодированным вводом из схемы 23 перегруппировки кадра для расчета в качестве InterAD и IntraAD прогнозируемых значений разности (остатка) между обрабатываемым макроблоком МБ и прогнозируемым макроблоком МБ в случае, когда кодирование макроблока МБ обрабатывается для каждого из случая кодирования внутри кадра и кодирования между кадрами.

Этап ST12

Схема 52 детектирования восстановления рассматривает характеристики, описанные выше, и рассчитывает мажоритарную выборку уровня прогнозирования возникновения восстановления, используемую в качестве индикатора, для определения, в какой степени макроблок МБ имеет характеристики, по которым воспринимается восстановление для каждого макроблока МБ, формирующего данные изображения, кодированные на основе значений InterAD и IntraAD, рассчитанных с помощью схемы 51 прогнозирования и компенсации движения на этапе ST11. Обработка, выполняемая на этапе ST12, более подробно поясняется ниже.

Этап ST13

Схема 52 детектирования восстановления рассчитывает энергию Е по следующему Уравнению (1) на основе мажоритарной выборки уровня прогнозирования возникновения восстановления, рассчитанного на этапе ST12, как показано на фиг.5.

Е (MBi)=

Vote (MBtop)·Vote (MBtop)+Vote (MBbottom)·

Vote (MBbottom)+Vote (MBIeft)·Vote (MBIeft)+

Vote (MBright)-Vote (MBright)+Vote (MBi)·Vote (MBi)

(1)

Этап ST14

Схема 52 детектирования восстановления генерирует данные гистограммы HIST, показанные на фиг.6, на основе энергии Е, рассчитанной на этапе ST13. Затем схема 52 детектирования восстановления определяет стандартный уровень, используемый как стандарт для определения степени охвата мерами противодействия восстановлению на основе сгенерированных данных HIST гистограммы. В частности, схема 52 детектирования восстановления определяет стандартный уровень таким образом, что заданное соотношение (например, 20%) макроблоков МБ будет охвачено мерами противодействия восстановлению. Здесь, чем меньше заданное соотношение, тем легче восприятие восстановления в декодированном изображении, в то время как, чем больше заданное соотношение, тем больше количество дополнительных затрат в связи с возрастанием объема обработки, связанной с противодействием восстановлению. Схема 52 детектирования восстановления определяет уровень отсечения в соответствии со стандартным уровнем. Кроме того, схема 52 детектирования восстановления определяет макроблок МБ, имеющий энергию Е, большую, чем уровень УО (CL) отсечения, в качестве макроблока МБ (В-МБ), охваченного противодействиями восстановлению, как показано на фиг.8.

Этап ST15

Схема 52 детектирования восстановления удаляет все макроблоки В-МБ(е), в которых все окружающие макроблоки МБ(а, b, с, d) (сверху, снизу, слева и справа) не являются макроблоками В-МБ в смысле охвата противодействием восстановлению, как показано на фиг.9, а именно они определены, как макроблоки НВ-МБ (NR-MB), которые не охвачены противодействием восстановлению.

Этап ST16

Когда количество макроблоков В-МБ, охваченных противодействиями восстановлению, больше, чем количество макроблоков НВ-МБ, не охваченных противодействиями восстановлению в восьми макроблоках МБ, расположенных вокруг обрабатываемого макроблока МБ, который не охвачен противодействиями восстановлению, схема 52 детектирования восстановления определяет обрабатываемый макроблок НВ-МБ, как охваченный противодействием восстановлению, а именно она определяет его как макроблок В-МБ. Схема 52 детектирования восстановления выполняет обработку точно заданное количество раз (например, три раза). В примере, показанном на фиг.9, первая обработка изменяет макроблок НВ-МБ(х) на макроблок В-МБ, и вторая обработка изменяет макроблок HB-MB(d) на маклоблок В-МБ.

Этап ST17

Схема 52 детектирования восстановления заменяет макроблок МБ, расположенный в периферийных областях данных изображения, на макроблок В-МБ, как показано на фиг.10, когда макроблоки МБ, расположенные рядом с ними (рядом с противоположными сторонами вдоль внешней кромки) представляют собой В-МБ макроблоки.

Этап ST18

Схема 53 противодействия восстановлению и схема 54 противодействия восстановлению выполняют обработку противодействия восстановлению для макроблоков В-МБ, определенных как охваченные противодействиями восстановлению в схеме 52 детектирования восстановления. Обработка противодействия восстановлению, выполняемая схемой 53 противодействия восстановлению и схемой 54 противодействия восстановлению, подробно поясняется ниже.

Этап ST12, показанный на фиг.4

Ниже приведено пояснение обработки, предназначенной для расчета мажоритарной выборки уровня прогнозирования возникновения восстановления на этапе ST12, показанном на фиг.4. На фиг.11 и на фиг.12 показаны блок-схемы последовательности операций, предназначенные для пояснения обработки, выполняемой на этапе ST12, представленном на фиг.4.

Этап ST31

Схема 52 детектирования восстановления рассчитывает MadDiff в соответствии с абсолютным значением разности значений MAD между макроблоком МБ(n) детектируемых данных PIC(n) изображения и макроблоком МБ(n-1) в соответствующем положении предыдущих данных PIC(n-1) изображения, как показано на фиг.13А, в соответствии со следующим Уравнением (2). Значение MAD обозначает значение, полученное в результате суммирования разностей между средним абсолютным значением данных пикселей, соответствующих макроблоку МБ, данных пикселей в макроблоке МБ и средним значением данных пикселей в макроблоке МБ.

MadDifr=ABS(MAD(n-1, i, j) - MAD (n, i, j))/256 (2)

Этап ST32

Схема 52 детектирования восстановления определяет, удовлетворяется ли условие 1, показанное в следующем Уравнении (3). Когда определяется, что условие 1 удовлетворяется, процедура переходит на этап ST33, в то время как, когда это условие не удовлетворяется, процедура переходит на этап ST34. Обработка, выполняемая на этапах ST31 и ST32, выполняется на основе характеристики того, что восстановление легко возникает в макроблоках МБ с малым количеством фонового движения.

ТН1<MadDiff≤TH2 (3)

Этап ST33

Схема 52 детектирования восстановления определяет максимальное значение (Max) и минимальное значение (Min) данных пикселя, формирующих цветоразностные блоки Cb размером 4х4, формирующих макроблок МБ, и рассчитывает их разность, как показано на фиг.13В. Кроме того, схема 52 детектирования восстановления определяет максимальное значение (Мах) и минимальное значение (Min) данных пикселя, формирующих цветоразностные блоки Cr размером 4х4, которые формируют макроблок МБ, и рассчитывает их разность, как показано на фиг.13В. Схема 52 детектирования восстановления добавляет разность, рассчитанную для цветоразностных блоков Cb, и разность, рассчитанную для цветоразностных блоков Cr, для расчета значения ColorDiff.

Этап ST34

Схема 52 детектирования восстановления устанавливает "0" как мажоритарную выборку уровня прогнозирования возникновения восстановления детектируемого макроблока МБ.

Этап ST35

Схема 52 детектирования восстановления определяет, удовлетворяется ли условие 2, показанное в следующем Уравнении (4). Когда определяется, что условие 2 удовлетворяется, процедура переходит на этап ST36, когда условие не удовлетворяется, процедура переходит на этап ST34. Обработка, выполняемая на этапах ST34 и ST35, выполняется на основе характеристики, что восстановление легко возникает в блоках МБ, имеющих малую вариацию цвета.

ColorDiff≤TH3 (4)

Этап ST36

Схема 52 детектирования восстановления рассчитывает значение AdDiff по следующему Уравнению (5), используя InterAD и IntraAD, рассчитанные в схеме 51 прогнозирования и компенсации движения, как поясняется на этапе ST11, показанном на фиг.4.

AdDiff=(InterAD - IntraAD)/256 (5)

Этап ST37

Схема 52 детектирования восстановления определяет, удовлетворяется ли условие 3, показанное в следующем Уравнении (6), на основе значения MAD(n, i, j), рассчитанного на этапе ST31, и AdDiff, рассчитанного на этапе ST36. Когда определяется, что условие 3 удовлетворяется, процедура переходит на этапе ST38, и когда оно не удовлетворяется, процедура переходит на этап ST39. Обработка, выполняемая на этапах ST36 и ST37, выполняется на основе характеристики, что восстановление легко возникает в блоках МБ, имеющих малую вариацию цвета, и в макроблоках МБ, имеющих малое значение IntraAD.

ТН4<AdDiff≤TH5 &

ТН6≤MAD.(n, i, j)≤TH7 (6)

Этап ST38

Схема 52 детектирования восстановления устанавливают в "4" как мажоритарную выборку уровня прогнозирования возникновения восстановления детектируемых макроблоков МБ.

Этап ST39

Схема 52 детектирования восстановления рассчитывает значение AdDiff в соответствии со следующим Уравнением (7), используя InterAD и IntraAD, рассчитанные в схеме 51 прогнозирования и компенсации движения, как поясняется на этапе ST11, показанном на фиг.4.

AdDiff=(IntraAD - InterAD/256 (7)

Этап ST40

Схема 52 детектирования восстановления определяет, удовлетворяется ли условие 4, показанное в следующем Уравнении (8), на основе значения MAD(n, i, j), рассчитанного на этапе ST31, и AdDiff, рассчитанного на этапе ST39. Когда определяется, что условие 3 удовлетворяется, процедура переходит на этап ST42, в то время как в случае, когда оно не удовлетворяется, процедура переходит на этап ST41. Обработка на этапах ST39 и ST40 выполняется на основе характеристики, что восстановление легко возникает в блоках МБ, имеющих большую вариацию цвета и в макроблоках МБ, имеющих относительно большое значение IntraAD.

ТН8≤AdDiff≤TH9 &

TH10≤(n, i, j)≤TH11 (8)

Этап ST41

Схема 52 детектирования восстановления устанавливает "0" как мажоритарную выборку уровня прогнозирования возникновения восстановления детектируемых макроблоков МБ.

Этап ST42

Схема 52 детектирования восстановления устанавливает значение "4" как мажоритарную выборку уровня прогнозирования возникновения восстановления детектируемых макроблоков МБ.

Схема 53 противодействия восстановлению

Например, как показано на фиг.14, когда макроблок МБ_2, охваченный противодействием восстановлению, принадлежит данным изображения I в схеме 22 назначения типа изображения и определяется как I-кодированный (между кадрами), схема 53 противодействия восстановлению принудительно выполняет Р-кодирование (между кадрами) на основе результата восстановления, введенного из схемы 52 детектирования восстановления (результат восстановления, основанный на заданных значениях InterAD и UntraAD). В соответствии с этим макроблок МБ_2 перед этим наследует структуру макроблока МБ_1 и может сделать так, что восстановление будет с трудом восприниматься. Затем схема 53 противодействия восстановлению определяет Р-кодированный макроблок МБ_2 как 1-кодированный макроблок МБ_3. Это связано с тем, что устройство 3 декодирования выполняет декодирование, предполагая, что данные I-изображения расположены через постоянные интервалы.

Следует отметить, что схема 53 противодействия восстановлению может выполнять, по меньшей мере, одну обработку из обработки кодирования между кадрами, обработки фильтрации в направлении времени и обработки с использованием других данных изображения, которые были кодированы ранее, в качестве данных исходного изображения, когда обработка представляет собой эквивалентное генерирование данных изображений с обеспечением непрерывности между кадрами и квантованием обобщенных данных изображения в качестве исходных данных изображения.

Схема 54 противодействия восстановлению

Схема 54 противодействия восстановлению выполняет обработку противодействия восстановлению, показанную на фиг.15, для макроблоков В-МБ, определенных как охваченные обработкой для противодействия восстановлению по результатам восстановления, полученным схемой 52 детектирования восстановления, путем использования фактических значений InterAD и IntraAD. Следует отметить, что также возможно, чтобы схема 54 противодействия восстановлению выполняла обработку противодействия восстановлению, показанную на фиг.15 для макроблоков В-МБ, определенных как охваченные обработкой, направленной на противодействия восстановлению, по результатам восстановления, полученным схемой 52 детектирования восстановления, путем использования заданных значений InterAD и IntraAD.

На фиг.15 показана блок-схема последовательности операций, предназначенных для пояснения обработки, выполняемой схемой 54 противодействия восстановлению и схемой 33 квантования.

Этап ST51

Схема 54 противодействия восстановлению принимает в качестве входных данных данные изображения, обозначающие коэффициент ДКП (ортогонального преобразования), из схемы 32 ортогонального преобразования. Затем схема 54 противодействия восстановлению определяет в качестве положения маски положение коэффициента ДКП, который становится равным нулю при квантовании коэффициента ДКП с параметром ПК (QP, параметр квантования) квантования (шкала ШК квантования) макроблоков МБ вокруг макроблока МБ, охваченного противодействиями восстановлению, для каждого коэффициента ДКП макроблока В-МБ, охваченного противодействиями восстановлению.

Этап ST52

Схема 54 противодействия восстановлению управляет схемой 33 квантования для квантования коэффициента ДКП, вводимого из схемы 32 ортогонального преобразования с помощью заранее определенного параметра ПК квантования (параметр квантования для выполнения квантования в такой степени, чтобы восстановление нельзя было воспринимать).

Этап ST53

Схема 33 квантования делает значение квантования положения маски, определенное на этапе ST51, равным нулю среди значений квантования, сгенерированных на этапе ST52, и выводит его в схему 35 реверсивного кодирования и схему 37 инверсного квантования под управлением схемы 54 противодействия восстановлению.

Следует отметить, что схема 54 противодействия восстановлению может автоматически определять положение коэффициента ДКП с постоянным значением или меньше, как положение маски, например, на этапе ST51 по фиг.15. Кроме того, схема 54 противодействия восстановлению может определять заданное положение, как положение маски, независимо от значения коэффициента ДКП. Кроме того, схема 54 противодействия восстановлению может заранее подготавливать структуры во множестве положений маски на этапе ST51 и избирательно использовать эти структуры в соответствии с характеристиками данных изображения. Кроме того, схема 54 противодействия восстановлению может определять более высокое пороговое значение, чем коэффициент ДКП, имеющий компонент низкой частоты в коэффициенте ДКП, имеющем компонент высокой частоты, для определения положения маски при определении положения маски на основе значения коэффициента ДКП.

Ниже приведено пояснение общей работы устройства 2 кодирования, показанного на фиг.2. Сигнал изображения, который должен быть введен первым, преобразуют в цифровой сигнал в схеме 21 А/Ц преобразования. Затем схема 22 назначения типа изображения назначает тип изображения и затем схема 23 перегруппировки кадра выполняет перегруппировку данных изображения в соответствии со структурой ГИ информации сжатия изображения, и схема 53 противодействия восстановлению и схема 26 определения типа МБ выводят данные изображения, полученные к этому времени, в вычислительную схему 31. Параллельно с этим, схема 51 прогнозирования и компенсации движения, и схема 52 детектирования восстановления, как поясняется со ссылкой на фиг.4 и т.д., определяют макроблоки В-МБ, которые должны быть охвачены обработкой для противодействия восстановлению на основе заданных значений InterAD и IntraAD.

Для данных изображения, вводимых в вычислительную схему 31, выбирают либо кодирование внутри кадра с помощью схемы 42 прогнозирования внутри кадра или кодирование между кадрами с помощью схемы 43 прогнозирования и компенсации движения в модулях макроблоков МБ. Разностное изображение, наконец, сгенерированное в вычислительной схеме 31, подвергают обработке ортогонального преобразования в схеме 32 ортогонального преобразования и обработке квантования в схеме 33 квантования, его обрабатывают с помощью реверсивного кодирования в схеме 35 реверсивного кодирования, и затем записывают в буферное запоминающее устройство 36.

В это время схема 52 детектирования восстановления определяет, что макроблоки В-МБ, которые должны быть обработаны для противодействия восстановлению на основе InterAD и IntraAD из п схемы 51 прогнозирования и компенсации движения, и схема 52 противодействия восстановлению выполняет обработку для противодействия восстановлению, показанную на фиг.15, на основе результатов. Кроме того, схема 53 противодействия восстановлению определяет макроблоки В-МБ, которые должны быть обработаны для противодействия восстановлению, на основе фактических значений InterAD и IntraAD, в соответствии с результатами обработки схемы 43 прогнозирования и компенсации движения и схемы 42 прогнозирования внутри кадра. Затем схема 54 противодействия восстановлению выполняет обработку для противодействия восстановлению, показанную на фиг.16, для определенных макроблоков В-МБ.

Как пояснялось выше в соответствии с устройством 2 кодирования, схема 52 детектирования восстановления, показанная на фиг.2, определяет макроблоки В-МБ, имеющие характеристики с высокой вероятностью возникновения восстановления, и схема 53 противодействия восстановлению, и схема 54 противодействия восстановлению ранее применяли обработку противодействия восстановлению таким образом, что восстановление не будет восприниматься в отношении макроблоков В-МБ. В результате этого устройство 3 декодирования может подавлять восприятие восстановления в декодированном изображении, и может быть получено изображение с более высоким качеством.

Устройство 3 декодирования

Ниже приведено пояснение устройства 3 декодирования, представленного на фиг.1. На фиг.16 показан вид конфигурации устройства 3 декодирования, показанного на фиг.1. Как показано на фиг.16, устройство 3 декодирования имеет, например, буферное запоминающее устройство 81, схему 82 реверсивного декодирования, схему 83 инверсного квантования, схему 84 инверсного ортогонального преобразования, схему 85 сумматора, запоминающее устройство 86 кадра, буфер 87 перегруппировки изображения, схему 88 Ц/А (D/A, цифроаналогового) преобразования, схему 89 прогнозирования внутри кадра, схему 90 прогнозирования и компенсации движения, схему 151 прогнозирования и компенсации движения, схему 152 детектирования восстановления и схему 153 противодействия восстановлению.

В буферном запоминающем устройстве 81 сохраняют данные S2 изображения, как поток битов, принимаемый (вводимый) из устройства 2 кодирования. Схема 82 реверсивного декодирования декодирует данные S2 изображения, считываемые из буферного запоминающего устройства 81, с помощью способа реверсивного кодирования, с использованием схемы 27 реверсивного кодирования, показанной на фиг.2, для генерирования данных S82 изображения. Схема 82 реверсивного декодирования разделяет и декодирует сигнал TRSIZE размера ортогонального преобразования, мультиплексированный в данные S2 изображения, и выводит их в схему 83 инверсного квантования и схему 84 инверсного ортогонального преобразования. Схема 82 реверсивного декодирования подробно поясняется ниже.

На основе сигнала TRSIZE ортогонального преобразования, вводимого из схемы 82 реверсивного декодирования, схема 83 инверсного квантования выполняет инверсное квантование данных S82 изображения после реверсивного декодирования, введенных из схемы 82 реверсивного декодирования с помощью способа инверсного квантования, который соответствует схеме 26 квантования, показанной на фиг.2, для генерирования данных S83 изображения и выводит их в схему 84 инверсного ортогонального преобразования. На основе сигнала TRSIZE размера ортогонального преобразования, поступающего из схемы 82 реверсивного декодирования, схема 84 инверсного ортогонального преобразования применяет ортогональное инверсное преобразование, соответствующее ортогональному преобразованию схемы 25 ортогонального преобразования по фиг.2, для данных S83 изображения, поступающих из схемы 83 инверсного квантования, для генерирования данных S84 изображения, и выводит их в схему 85 сумматора. Схема 85 сумматора добавляет прогнозируемые изображения, введенные из схемы 89 прогнозирования внутри кадра, или схемы 90 прогнозирования и компенсации движения, как данные S84 изображения, вводимые из схемы 84 инверсного ортогонального преобразования, для генерирования данных S85 изображения, и выводит их в запоминающее устройство 86 кадра и в буфер 87 перегруппировки изображения. Буфер 87 перегруппировки изображения выполняет перегруппировку данных S85 изображения, введенных из схемы 85 сумматора, для отображения последовательности в виде модулей изображений, и выводит их в схему 151 прогнозирования и компенсации движения и в схему 153 противодействия восстановления.

Когда декодируемый блок данных в данных S85 изображения, считываемых из запоминающего устройства 86 кадра, представляет собой данные, полученные в результате кодирования с прогнозированием внутри кадра, схема 89 с прогнозированием внутри кадра, декодируют данные блока с помощью способа, используемого внутри кадра, для генерирования прогнозируемых данных изображения и выводит их в схему 85 сумматора. Когда декодируемые данные блока в данных S85 изображения, считываемых из запоминающего устройства 86 кадра, представляют собой данные, полученные в результате кодирования с прогнозированием между кадрами, схема 90 прогнозирования и компенсации движения декодирует данные блока с помощью способа, используемого между кадрами, для генерирования прогнозируемых данных изображения и выводит их в схему 85 сумматора.

Схема 151 прогнозирования и компенсации движения выполняет, например, такую же обработку, что и в схеме 51 прогнозирования и компенсации движения, показанной на фиг.2, для генерирования прогнозируемых значений IntraAD и InterAD, и выводит их в схему 152 детектирования восстановления.

Схема 152 детектирования восстановления определяет макроблоки В-МБ, охваченные противодействием восстановлению, с использованием той же методики, что и в схеме 52 детектирования восстановления, на основе прогнозируемых значений IntraAD и InterAD, вводимых из схемы 151 прогнозирования и компенсации движения.

Схема 153 противодействия восстановлению добавляет ранее определенную структуру шумов к макроблокам В-МБ, определенным как охваченные противодействием восстановлению в схеме 152 детектирования восстановления среди макроблоков МБ, формирующих данные изображения, введенные из буфера 87 перегруппировки изображения, и выводит данные изображения в схему 88 Ц/А преобразования.

Схема 88 Ц/А преобразования выполняет Ц/А преобразование данных изображения, введенных из схемы 153 противодействия восстановлению, для генерирования аналогового сигнала изображения.

Как пояснялось выше, устройство 3 декодирования определяет макроблоки МБ, имеющие высокую вероятность восприятия восстановления среди макроблоков МБ в декодированных данных изображения в схеме 152 детектирования восстановления и непосредственно суммирует структуру шумов с макроблоком МБ. В результате этого легко воспринимаемое восстановление в области изображения, имеющей малое количество движений или малую вариацию цветов, может быть сделано трудно воспринимаемым с помощью структуры шумов, в результате чего воспринимаемое качество декодированного изображения может быть улучшено.

Для специалиста в данной области техники будет понятно, что различные модификации/комбинации, подкомбинации и изменения могут возникнуть в зависимости от требований конструкции и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов. Например, все или часть функций устройства 2 кодирования или устройства 3 декодирования, пояснявшихся выше, могут выполняться с помощью центрального процессорного устройства (ЦПУ) или другой схемы 253 обработки в соответствии с программированием программы PRG (ИКП, исходный код программы), сохраненной в запоминающем устройстве 252, как показано на фиг.17. В этом случае кодируемые данные изображения или объект декодирования вводят через интерфейс 251 и выводят результат его обработки.

Изобретение относится к устройству кодирования/декодирования данных изображения. Техническим результатом является улучшение качества декодируемого изображения. Указанный технический результат достигается тем, что устройство кодирования содержит средство определения, предназначенное для определения данных области изображения, предназначенных для обработки, для противодействия восстановлению, под которым понимается шум зернистости, возникающий в данных изображения, кодированных на основе этих данных изображения, и средство противодействия восстановлению, предназначенное для применения обработки для противодействия восстановлению для данных области изображения, определенной с помощью средства определения при кодировании данных изображения, при этом когда упомянутые данные изображения кодированы в модулях данных блоков, упомянутое средство определения определяет данные блока, формирующие упомянутые данные изображения, как упомянутые данные области изображения, и средство противодействия восстановлению принудительно устанавливает равным нулю коэффициент ортогонального преобразования, который становится равным нулю, когда выполняют квантование с использованием параметра квантования, установленного для данных блока вокруг упомянутых данных блока, среди коэффициентов ортогонального преобразования данных блока, определенных с помощью упомянутого средства определения. 4 н. и 10 з.п. ф-лы, 18 ил.

1. Устройство кодирования, содержащее:
средство определения, предназначенное для определения данных области изображения, предназначенных для обработки, для противодействия восстановлению, под которым понимается шум зернистости, возникающий в данных изображения, кодированных на основе этих данных изображения и
средство противодействия восстановлению, предназначенное для применения обработки для противодействия восстановлению для данных области изображения, определенной с помощью средства определения при кодировании данных изображения, при этом когда упомянутые данные изображения кодированы в модулях данных блоков, упомянутое средство определения определяет данные блока, формирующие упомянутые данные изображения, как упомянутые данные области изображения,
и средство противодействия восстановлению принудительно устанавливает равным нулю коэффициент ортогонального преобразования, который становится равным нулю, когда выполняют квантование с использованием параметра квантования, установленного для данных блока вокруг упомянутых данных блока, среди коэффициентов ортогонального преобразования данных блока, определенных с помощью упомянутого средства определения.

2. Устройство кодирования по п.1, в котором, когда упомянутые данные изображения формируют данные движущегося изображения, упомянутое средство определения определяет упомянутые данные области изображения на основе количества движения с другими данными изображения, кодированными перед ними в упомянутых данных изображения.

3. Устройство кодирования по п.2, в котором упомянутое средство определения определяет упомянутые данные области изображения на основе разности между изображением предиктивной разности в случае кодирования между кадрами упомянутых данных изображения, формирующих упомянутые данные движущегося изображения, и изображением предиктивной разности в случае его кодирования внутри кадра.

4. Устройство кодирования по п.1, в котором упомянутое средство определения определяет упомянутые данные области изображения на основе вариаций цвета в упомянутых данных изображения.

5. Устройство кодирования по п.1, в котором упомянутое средство противодействия восстановлению генерирует данные изображения непрерывно между кадрами и квантует сгенерированные данные изображения как данные исходного изображения.

6. Устройство кодирования по п.5, в котором упомянутое средство противодействия восстановлению выполняет, по меньшей мере, одну обработку из обработки кодирования между кадрами, обработки фильтрации в направлении времени и обработки с использованием других данных изображения, которые были кодированы перед ними в качестве данных исходного изображения.

7. Устройство кодирования по п.5, в котором упомянутое средство противодействия восстановлению изменяет параметр квантования упомянутых данных блока, измененных для упомянутого кодирования между кадрами, таким образом, чтобы он стал меньше, чем заданный параметр квантования.

8. Способ кодирования, содержащий:
первый этап определения данных области изображения, которые должны быть обработаны для противодействия восстановлению, под которым понимается шум зернистости, возникающий в данных изображения, кодированных на основе этих данных изображения, и
второй этап применения обработки для противодействия восстановлению для данных области изображения, определенной на первом этапе, при кодировании данных изображения, при этом когда упомянутые данные изображения кодированы в модулях данных блоков, определяют данные блока, формирующие упомянутые данные изображения, как упомянутые данные области изображения, и устанавливают равным нулю коэффициент ортогонального преобразования, который становится равным нулю, когда выполняют квантование с использованием параметра квантования, установленного для данных блока вокруг упомянутых данных блока, среди коэффициентов ортогонального преобразования данных блока, определенных с помощью упомянутого средства определения.

9. Устройство декодирования, содержащее:
средство декодирования, предназначенное для декодирования кодированных данных изображения, для генерирования декодированных данных изображения, средство определения, предназначенное для определения данных области изображения, предназначенной для обработки для противодействия восстановлению, под которым понимается шум зернистости, возникающий в декодированных данных изображения, сгенерированных средством декодирования, на основе декодированных данных изображения, и
средство противодействия восстановлению, предназначенное для применения обработки для противодействия восстановлению для данных области изображения, определенной с помощью средства определения, в декодированных данных изображения, сгенерированных средством декодирования, при этом когда упомянутые данные изображения кодированы в модулях данных блоков, упомянутое средство определения определяет данные блока, формирующие упомянутые данные изображения, как упомянутые данные области изображения, и
средство противодействия восстановлению принудительно устанавливает равным нулю коэффициент ортогонального преобразования, который становится равным нулю, когда выполняют квантование с использованием параметра квантования, установленного для данных блока вокруг упомянутых данных блока, среди коэффициентов ортогонального преобразования данных блока, определенных с помощью упомянутого средства определения.

10. Устройство декодирования по п.9, в котором, когда упомянутые данные изображения формируют данные движущегося изображения, упомянутое средство определения определяет упомянутые данные области изображения на основе количества движения, с другими данными изображения, кодированными перед упомянутыми данными изображения.

11. Устройство декодирования по п.10, в котором упомянутое средство определения определяет упомянутые данные области изображения на основе разности между изображением предиктивной разности в случае кодирования между кадрами упомянутых данных изображения, формирующих упомянутые данные движущегося изображения, и изображением предиктивной разности в случае их кодирования внутри кадра.

12. Устройство декодирования по п.9, в котором упомянутое средство определения определяет упомянутые данные области изображения на основе вариаций цвета упомянутых данных изображения.

13. Устройство декодирования по п.9, в котором упомянутое средство противодействия восстановлению добавляет структуру шумов к упомянутым данным области изображения.

14. Способ декодирования, содержащий:
первый этап, состоящий в декодировании кодированных данных изображения, для генерирования декодированных данных изображения,
второй этап определения данных области изображения, предназначенных для обработки для противодействия восстановлению, под которым понимается шум зернистости, возникающий в декодированных данных изображения, сгенерированных на первом этапе на основе декодированных данных изображения, и
третий этап применения обработки для противодействия восстановлению для данных области изображения, определенной на втором этапе, в декодированных данных изображения, сгенерированных на первом этапе, при этом когда упомянутые данные изображения кодированы в модулях данных блоков, определяют данные блока, формирующие упомянутые данные изображения, как упомянутые данные области изображения, и принудительно устанавливают равным нулю коэффициент ортогонального преобразования, который становится равным нулю, когда выполняют квантование с использованием параметра квантования, установленного для данных блока вокруг упомянутых данных блока, среди коэффициентов ортогонального преобразования данных блока, определенных с помощью упомянутого средства определения.