СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ Российский патент 1999 года по МПК H04N9/77 

Известный уровень техники
Настоящее изобретение относится к способу и устройству для кодирования изображения, в частности к способу и устройству для кодирования изображения с целью получения масштабного множителя в соответствии со сложностью и затем квантования изображения для кодирования изображений, имеющих различную сложность, при постоянной скорости передачи битов.

Благодаря достижениям в области компьютера, полупроводников и обработки дискретных сигналов в настоящее время стала быстро развиваться технология хранения и передачи данных. Дальнейшее развитие этой области требует улучшенных способов эффективного хранения данных на записывающей среде и улучшения качества воспроизводимого изображения, обработанного в цифровом воспроизводящем устройстве, например, цифровой самописец видеокассеты, телевизоры с высокой разрешающей способностью, цифровая видеокамера, видеотелефон или телевизионный телефон. Цифровой сигнал изображения включает в себя большее количество данных, чем сигнал аналогового типа, следовательно, для эффективного использования записывающей среды и информационных каналов необходимо сжимать или уплотнять данные изображения. Способы, применяемые для сжатия сигнала, включают в себя косинус-преобразование дискретного сигнала (ДСТ) и кодирование переменной длины (VLC).

На фиг. 1 представлена блок-схема известного устройства кодирования сигнала изображения. Как показано на фиг. 1, блок 11 косинус-преобразования дискретного сигнала (ДСТ) принимает блок информации входного изображения во временном представлении, имеющий постоянный размер (например, 8х8), при этом образуется 64 коэффициента дискретного косинус-преобразования в частотной области. Квантизатор 12 осуществляет квантование выходного сигнала коэффициентов дискретного косинус-преобразования из блока ДСТ (11) при заданном размере шага квантования. Затем блок кодирования переменной длины (VLC) определяет переменную длину данных кодирования, таким образом данные меньшей величины (или значение информации которых ниже) получают меньше битов, а данные большей величины (или значение информации которых выше) получают больше битов, тем самым уменьшая количество битов, необходимых для кодирования. Поскольку длина выходного сигнала данных из блока VLC 13 не является постоянной, то буферное запоминающее устройство 14 временно хранит эти данные, таким образом можно получить закодированные данные, имеющие постоянную скорость передачи данных.

Известное устройство 11 косинус-преобразования дискретного сигнала разделяет входное изображение на несколько небольших блоков изображения размером 8х8 и после этого обрабатывает независимо каждый подразделенный блок. Квантизатор 12 осуществляет квантование коэффициентов дискретного косинус-преобразования при размере шага квантования, полученном в соответствии с состоянием буферного запоминающего устройства 14, и в зависимости от сложности данного входного изображения. Таким образом, если различие между размером шага квантования смежных макроблоков большое, то корреляция между смежными блоками теряется вдоль окантовки, и это приводит к возникновению такого явления, как "блочный эффект".

Также, когда квантование осуществляют для соответствующих макроблоков при постоянном размере шага квантования, поскольку сложность каждого блока является различной даже в пределах данного кадра, то ошибки в кадре возникают неравномерно, в результате образуется артефакт, следовательно, качество изображения ухудшается. Таким образом, для исключения образования артефакта очень важно точно определить размер шага квантования.

С другой стороны, поскольку длина кода, полученная во время кодирования переменной длины, изменяется, то очень трудно достичь воспроизведения, если осуществляют специальные функции воспроизведения, например высокоскоростной поиск. Соответственно количество битов необходимо регулировать так, чтобы оно было постоянным. Также размер шага квантования в квантизаторе определяют по масштабному множителю, который является важным параметром для определения скорости передачи битов, причем он, в свою очередь, определяет степень сжатия сигнала и влияет на разрешающую способность кадра.

Однако, как показано на фиг.1, когда применяют буферное запоминающее устройство для получения постоянного количества битов, поскольку размер шага квантования регулируют в зависимости от полноты заполнения буфера, то могут возникнуть трудности в распределении битов для конкретной области (или макроблока), приспосабливаемой к сложности кадра.

Также в патенте США N 5253075 раскрыта система кодирования/декодирования сигнала изображения, в которой, после определения сложности блока косинус-преобразования дискретного сигнала (ДСТ), адаптивно регулируют размер шага квантования для квантизатора в соответствии с отношением блоков преобразования ДСТ с тем, чтобы уменьшить явление "блочного эффекта". В таком устройстве сложность изображения определяют на основе информации в частотной области для регулирования размера шага квантования. Однако известная система кодирования/декодирования изображения не способна обеспечить средство кодирования конкретного блока (или макроблока) при постоянной скорости передачи битов.

Краткое изложение изобретения
Таким образом, целью настоящего изобретения является разработка способа кодирования изображения для определения масштабного множителя, причем данные кодированного изображения имеют постоянную скорость передачи битов, приспосабливаемую к сложности, определенной для каждого подблока, который состоит из заданного количества единичных блоков.

Целью настоящего изобретения является разработка способа кодирования изображения для регулирования размера шага квантования, приспосабливаемого к сложности, определенной в пространственном домене и частотной области для макроблока.

Цель настоящего изобретения - создание устройства для кодирования изображения для получения масштабного множителя, приспосабливаемого к сложности, определенной для подблока.

Для достижения первых двух целей предложен способ кодирования изображения для разделения входного изображения на подблоки, состоящие из заданного количества единичных блоков, квантования сигнала разделенного изображения при размере шага квантования, который определяют в соответствии с масштабным множителем, и затем кодирования, причем способ кодирования изображения включает в себя следующие стадии:
- получают значение нормализации сложности соответствующих подблоков на основе сложности в пространственной области в отношении входного изображения,
- получают сумму нулевых коэффициентов посредством осуществления операции косинус-преобразования на входном изображении и подсчета коэффициентов косинус-преобразования дискретных сигналов в заданных пределах,
- получают значение нормализации нулевого коэффициента для соответствующих подблоков в соответствии с суммой нулевых коэффициентов,
- получают значение переходной весовой функции для соответствующих подблоков в соответствии с суммой нулевых коэффициентов и заданным отношением сжатия и
- суммируют значение нормализации сложности, значение нормализации нулевых коэффициентов и значение переходной весовой функции для получения масштабного множителя.

Для достижения третьей цели предложено устройство для кодирования изображения, содержащее
- блок дискретного косинус-преобразования для преобразования подблока, в качестве данных временной области, в коэффициент дискретного косинус-преобразования, в качестве данных частотной области относительно входного изображения, разделяемого на подблоки, состоящие из заданного количества единичных блоков,
- блок квантования коэффициента дискретного косинус-преобразования при заданном размере шага квантования, определенном в соответствии с масштабным множителем,
- блок кодирования переменной длины для кодирования квантованного коэффициента в код переменной длины,
- блок вычисления сложности в соответствии со значением элемента входного изображения на подблок,
- блок нормализации сложности для соответствующих подблоков,
- блок подсчета нулевого коэффициента в пределах заданного интервала на подблок среди коэффициентов дискретного косинус-преобразования, преобразованных в блоке дискретного косинус-преобразования,
- блок нормализации нулевого коэффициента для нормализации нулевого коэффициента для соответствующих подблоков,
- блок вычисления весовой функции для получения значения переходной весовой функции в соответствии с нулевым коэффициентом и заданным отношением сжатия и генератор масштабного множителя для суммирования значения нормализации сложности, значения нормализации нулевого коэффициента и переходного значения для получения масштабного множителя и подачи масштабного множителя в блок квантования.

Краткое описание чертежей
Указанные цели и преимущества изобретения станут более понятными из последующего подробного описания конкретного его исполнения со ссылкой на приложенные чертежи, на которых:
фиг. 1 - блок-схема известного устройства для кодирования изображения,
фиг. 2A-2C - диаграммы входного изображения в соответствии с форматом CCIR 601,
фиг. 3A и 3B - композиционные карты для сигнала Y, показанного на фиг. 2A,
фиг. 4 - блок-схема для определения масштабного множителя в соответствии со способом кодирования изображения согласно настоящему изобретению.

Подробное описание изобретения
Фиг. 2A-2C показывают формат 4 : 2 : 2 изображений, основанный на рекомендации CCIR 601, а фиг. 3A и 3B представляют компоненты макроблоков, относящихся к изображению Y.

Каждое изображение состоит из сигнала Y (показан на фиг. 2A), сигнала Сч (на фиг. 2B) и сигнала Св (показан на фиг. 2C), причем соответствующий сигнал разделен на макроблоки. В соответствующих макроблоках сигнал Y состоит из четырех блок-сигналов элементов изображения 8х8, а сигналы Сч и Св состоят из двух блок-сигналов элементов изображения 8х8. Фиг. 3A показывает один кадр сигнала Y, а фиг. 3B показывает макроблок элементов изображения 16х16 относительно сигнала Y.

Фиг. 4 - блок-схема для определения масштабного множителя в соответствии со способом кодирования изображения согласно настоящему изобретению. Способ определения масштабного множителя на входном изображении будет объяснен более подробно со ссылкой на фиг. 2A-2C и фиг. 3A и 3B. В следующих вычислениях в соответствии со способом согласно настоящему изобретению
Pix (k, l) представляет значение элемента изображения, где:
k и l - целые числа от 0 до 7,
N - количество блоков ( в этом примере исполнения N=4),
MB - количество макроблоков (в этом примере MB = 30х45),
i относится к количеству от 0 до MB - 1, а
j - количество от 0 до N - 1.

В качестве первого этапа, относящегося к входному изображению форматом 4 : 2 : 2 (шаг 410), для получения значения нормализации сложности соответствующих макроблоков в соответствии со сложностью пространственной области определяют среднюю сложность изображения для блока 8х8 (дальше будут называть единичный блок) в макроблоке (шаг 421).

Сложность сигнала яркости Y определяют с использованием значения элемента изображения. Среднюю сложность Ayb [j] блока элемента можно выразить следующим образом:

Среднюю сложность Ayt [i] получают путем суммирования всех значений средней сложности единичных блоков макроблока и затем деления результата на количество блоков элементов (шаг 422):

Получают среднее квадратичное значение σ2BT

[j] единичного блока в отношении различия между средней сложностью и истинным значением элемента изображения соответствующих единичных блоков в макроблоке (шаг 423):

После вычисления минимального квадратичного среднего значения среди квадратичных средних значений соответствующих единичных блоков относительно четырех единичных блоков Y (значение Y изменяется от 0 до 3) соответствующих макроблоков к полученному значению добавляют единицу, в результате получают минимальное σ2BT_мин[i] соответствующих макроблоков (шаг 424):
σ_BTмин[i] = MIN(σ2BT[j]) + 1 .
Здесь добавлена единица, таким образом, минимальное квадратичное среднее значение не равняется нулю.

Каждый макроблок нормализуют в соответствии с минимальным квадратичным средним значением макроблока и средней сложностью макроблока для вычисления значения нормализации сложности.

.

Здесь а - постоянная для нормализации.

В качестве второго этапа для получения значения нормализации нулевого коэффициента и значения переходной весовой функции для соответствующего макроблока в частотной области сигнала изображения осуществляют дискретное косинус-преобразование на входном изображении форматом 4 : 2 : 2 для вычисления коэффициента Pix _coeff(u,v) (шаг 431):


Здесь u и v - целые числа от 0 до 7, а когда это 0 (нуль), то C(u) и C(v) равны 1/ 2, но когда это другое число, то они равны 1.

Внутри макроблока подсчитывают все блоки Y, коэффициент дискретного косинус-преобразования которых больше или равен -1 и меньше или равен +1, для получения суммы нулевых коэффициентов Z[i] макроблока (шаг 432):

нулевой коэффициент [j] [k] [l]
Суммы нулевых коэффициентов соответствующих макроблоков суммируют для получения общей суммы нулевых коэффициентов Zr для всех макроблоков (шаг 433):

Общую сумму нулевых коэффициентов делят на количество макроблоков для получения средней суммы нулевых коэффициентов A_zero макроблоков (шаг 434):

Разность между средней суммой нулевых коэффициентов макроблоков и суммой нулевых коэффициентов макроблоков возводят в квадрат для получения квадратичного среднего значения нулевых коэффициентов:
σ2Zero

[i] = (A_Zero- Z[i])².
Нормализацию осуществляют в соответствии со средним квадратичным значением нулевых коэффициентов и средней суммой коэффициентов на макроблок для получения значения нормализации нулевого коэффициента Norzero [i] соответствующих макроблоков (шаг 436):

Здесь a - постоянная для нормализации.

Масштабный множитель изменяется в зависимости от сложности изображения, и интервал размера шага квантования определяют по этому масштабному множителю. Поскольку размер шага квантования может изменяться в зависимости от нулевых коэффициентов, а масштабный множитель можно регулировать в соответствии с отношением сжатия, то переходную весовую функцию W масштабного множителя можно выразить следующим образом:
,
где β и γ - постоянные весовой функции;
R - отношение сжатия, которое было определено.

Таким образом, переходную весовую функцию W соответствующих макроблоков получают в соответствии со средней суммой нулевых коэффициентов и отношением сжатия макроблока (ступень 441).

Таким образом, масштабный множитель SF [i] элемента макроблока определяют по сумме значения нормализации сложность, значения нормализации нулевого коэффициента и величины переходной весовой функции (шаг 450):
SF [i] = NorAct [i] + Norzero [i] + W.

Размер шага квантования определяют по масштабному множителю, где размер шага квантования вычисляют для коэффициента дискретного косинус-преобразования (ДСТ) в соответствии с матрицей квантования в квантизатор.

Другими словами, чем больше средняя сумма нулевых коэффициентов макроблока и меньше отношение сжатия, тем больше величина переходной весовой функции.

Если значение переходной весовой функции увеличивается, то масштабный множитель также увеличивается, а интервал квантования уменьшается.

Фиг. 5 представляет блок-схему в соответствии с одним примером исполнения устройства для кодирования изображения согласно настоящему изобретению. Помимо блока 51 для дискретного косинус-преобразования (ДСТ), квантизатора 58 и блока 59 кодирования переменной длины, которые являются подобными известному устройству, настоящее устройство включает в себя элементы для вычисления масштабного коэффициента на входном изображении. Блок 51 (ДСТ) выполняет функцию дискретного косинус-преобразования, на данных макроблока в качестве данных временного представления, в коэффициенты дискретного косинус-преобразования в качестве данных частотного представления входного изображения, разделенного на макроблоки сигналов Y, Сч и Св.

Квантизатор 58 осуществляет квантование выходных данных коэффициентов ДСТ из блока 51 (ДСТ) при заданном размере шага квантования. Блок 59 кодирования переменной длины (VLC) выдает данные кодирования, имеющие переменную длину, в соответствии с количеством информации, в результате общее количество битов для кодирования уменьшается.

Дополнительные элементы будут объяснены дальше со ссылкой на фиг. 5.

Калькулятор сложности 52 вычисляет сложность в соответствии со значениями элементов входного изображения. Блок нормализации сложности 53 нормализует сложность для соответствующих макроблоков.

Счетчик нулевых коэффициентов 54 подсчитывает нулевые коэффициенты, которые больше или равны -1 и меньше или равны +1, среди коэффициентов дискретного косинус-преобразования из блока 51 (ДСТ). Блок 55 нормализации нулевого коэффициента нормализует нулевой коэффициент для соответствующих макроблоков.

Калькулятор 56 весовой функции вычисляет переходную весовую функцию для каждого макроблока на основе нулевого коэффициента, подсчитанного в счетчике 54 нулевых коэффициентов, и отношения сжатия. Сумматор 57 суммирует значение нормализации сложности, значение нормализации нулевого коэффициента для передачи выходных данных масштабного коэффициента в квантизатор 58.

Размер шага квантования для коэффициента дискретного косинус-преобразввания (ДСТ) вычисляют на основе масштабного коэффициента и матрицы квантования. Матрицы квантования для всех входных изображений различаются в зависимости от степени активности, характеристик цветовых компонентов, разрешающей способности и цели применения, таким образом получают соответствующую матрицу для квантования. Эту матрицу квантования определяют с учетом различных психологических и визуальных экспериментов, которые связаны со способностью человека и с характеристиками коэффициентов ДСТ.

Квантизатор 58 осуществляет квантование сигнала изображения в соответствии с определенным размером шага квантования. Результаты квантования передаются в блок 59 кодирования переменной длины уплотненного потока битов, имеющего требуемое отношение битов.

Хотя кодирование осуществляют так, чтобы макроблоки имели постоянную скорость передачи битов в упомянутом примере исполнения настоящего изобретения, однако блок, который больше чем макроблок, может иметь постоянную скорость передачи битов.

Как было описано, настоящее изобретение позволяет получить масштабный коэффициент для кодирования с постоянной скоростью передачи битов в соответствии со сложностью в пространственной области и сложностью в частотной области (которая представляет генерирование нулевого коэффициента) входного изображения для регулирования размера шага квантования, которое приводит к такому эффекту, что кодирование можно осуществлять с постоянной скоростью передачи битов, причем без ухудшения качества изображения даже для кадра изображения, состоящего из элементов изображения, имеющих различную сложность.

Перевод надписей на рисунках
Фиг.1
Входное изображение
11 - блок дискретного косинус-преобразования
12 - квантизатор
13 - блок кодирования переменной длины
14 - буфер
Закодированные данные
Фиг.3B
блок 1, блок 2, блок 3, блок 4
16 - элементов изображения.

Фиг. 4
Блок-схема для вычисления масштабного коэффициента в соответствии со способом кодирования изображения согласно изобретению.

Начало
410 - входное изображение
421 - вычисление средней сложности на единицу блока
422 - вычисление средней сложности для каждого макроблока
423 - вычисление среднего квадратичного значения для каждого блока
424 - вычисление минимального среднего квадратичного значения для каждого макроблока
425 - вычисление значения нормирования сложности
431 - вычисление коэффициента дискретного косинус-преобразования
432 - вычисление суммы нулевых коэффициентов для макроблока
433 - вычисление всей суммы нулевых коэффициентов
434 - вычисление средней суммы нулевых коэффициентов для каждого макроблока
435 - вычисление среднего квадратичного значения нулевых коэффициентов для каждого макроблока
436 - вычисление значения нормализации нулевых коэффициентов для каждого макроблока
440 - вычисления значения переходной весовой функции
450 - вычисления целого числа сжатия
Конец.

Фиг. 5
Блок-схема устройства для кодирования изображения в соответствии с изобретением.

Входное изображение
51 - блок дискретного косинус-преобразования
52 - устройство для вычисления коэффициента сложности
53 - блок нормализации коэффициента сложности
54 - счетчик нулевых коэффициентов
55 - блок нормализации нулевых коэффициентов
56 - вычисление значения весовой функции
57 - сумматор
58 - квантизатор
59 - блок кодирования переменной длины.

Устройство для кодирования.

Способ кодирования изображения включает в себя стадии определения значения нормализации сложности соответствующих макроблоков на основе сложности в пространственной области относительно входного изображения, вычисления суммы нулевых коэффициентов посредством осуществления операции дискретного косинус-преобразования на входном изображении и подсчета коэффициентов дискретного косинус-преобразования от -1 до +1, вычисления значения нормализации нулевых коэффициентов для соответствующих макроблоков в соответствии с суммой нулевых коэффициентов, вычисления переходной весовой функции для соответствующих макроблоков в соответствии с суммой нулевых коэффициентов и заданным отношением сжатия и суммирования значения нормализации сложности, значения нормализации нулевых коэффициентов и переходной весовой функции для получения масштабного коэффициента. Размер шага квантования коэффициентов дискретного косинус-преобразования регулируют в элементе макроблока в соответствии с масштабным коэффициентом. Таким образом, достигаемый при этом технический результат состоит в том, что кадры изображения, имеющего различную сложность, можно закодировать при постоянной скорости передачи битов без ухудшения качества изображения, 2 с. и 9 з.п.ф-лы, 5 ил.

1. Способ кодирования изображения для разделения входного изображения на подблоки, состоящие из заданного количества единичных блоков, квантования сигнала разделенного изображения при размере шага квантования, определенном в соответствии с масштабным коэффициентом, и последующего кодирования, отличающийся тем, что получают значение нормализации сложности соответствующих подблоков на основе сложности в пространственной области входного изображения, получают сумму нулевых коэффициентов путем осуществления операции дискретного косинус-преобразования на входном изображении и подсчета коэффициентов дискретного косинус-преобразования в пределах заданного интервала, получают значение нормализации нулевых коэффициентов для соответствующих подблоков в отношении суммы нулевых коэффициентов, получают переходную весовую функцию для соответствующих подблоков в отношении суммы нулевых коэффициентов и заданного отношения сжатия и получают масштабный коэффициент путем суммирования значения нормализации сложности, значения нормализации нулевых коэффициентов и значения переходной весовой функции. 2. Способ по п.1, отличающийся тем, что получение значения нормализации сложности осуществляют для сигнала яркости. 3. Способ по п.1, отличающийся тем, что заданный интервал больше или равен -1 и меньше или равен +1. 4. Способ по п.3, отличающийся тем, что при получении суммы нулевых коэффициентов коэффициент, у которого коэффициент дискретного косинус-преобразования равен или больше чем -1 и равен или меньше чем +1, является коэффициентом для сигнала яркости. 5. Способ по п.1, отличающийся тем, что подблоком является макроблок. 6. Способ по п.5, отличающийся тем, что получение значения нормализации сложности включает в себя получение средней сложности для соответствующих единичных блоков в макроблоке, получение средней сложности для макроблока путем суммирования средней сложности единичных блоков, входящих в макроблок, и деления этой суммы на количество единичных блоков, получение разности между средней плотностью и истинным значением элемента изображения единичного блока для получения среднеквадратичного значения единичного блока, получение минимального среднеквадратичного значения макроблока путем добавления единицы к минимальному значению из указанных среднеквадратичных значений единичных блоков в макроблоке и получение значения нормализации сложности для каждого макроблока путем осуществления нормализации макроблока в соответствии с минимальным среднеквадратичным значением и средней сложностью макроблоков. 7. Способ по п.5, отличающийся тем, что получение значения нормализации нулевых коэффициентов включает в себя получение общей суммы нулевых коэффициентов путем суммирования сумм нулевых коэффициентов макроблоков, получение средней суммы нулевых коэффициентов макроблоков путем деления общей суммы нулевых коэффициентов на количество макроблоков, получение среднеквадратичного значения нулевого коэффициента макроблока путем возведения в квадрат разности между средней суммой нулевых коэффициентов макроблоков и суммой нулевых коэффициентов макроблока и получение значения нормализации нулевого коэффициента для каждого макроблока путем нормализации макроблока в соответствии со среднеквадратическим значением нулевых коэффициентов и суммой нулевых коэффициентов макроблока. 8. Способ по п.5, отличающийся тем, что получение значения переходной весовой функции включает в себя получение общей суммы нулевых коэффициентов путем суммирования, сумм нулевых коэффициентов макроблоков, получение средней суммы нулевых коэффициентов макроблоков путем деления общей суммы нулевых коэффициентов на количество макроблоков, получение значения переходной весовой функции каждого макроблока в соответствии со средней суммой нулевых коэффициентов макроблоков и отношением сжатия макроблока. 9. Устройство для кодирования изображения, содержащее блок дискретного косинус-преобразования для осуществления функции дискретного косинус-преобразования на подблоке в качестве данных временной области для получения коэффициента дискретного косинус-преобразования в качестве данных частотной области относительно входного изображения, которое должно разделяться на подблоки, состоящие из заданного количества единичных блоков, квантователь для квантования коэффициента дискретного косинус-преобразования при заданном размере шага квантования, определенном в соответствии с масштабным коэффициентом, блок кодирования переменной длины для кодирования квантованного коэффициента в код переменной длины, отличающееся тем, что содержит калькулятор сложности для получения сложности в соответствии со значением элемента изображения входного изображения на подблок, блок нормализации сложности для нормализации сложности для соответствующих подблоков, блок подсчета нулевых коэффициентов для подсчета нулевых коэффициентов в пределах заданного интервала на подблок среди коэффициентов дискретного с косинус-преобразования, блок нормализации нулевого коэффициента для нормализации нулевого коэффициента для соответствующих подблоков, калькулятор весовой функции для получения значения переходной весовой функции в соответствии с нулевым коэффициентом и заданным отношением сжатия и сумматор для суммирования значения нормализации сложности, значения нормализации нулевого коэффициента и переходной весовой функции для формирования масштабного коэффициента и передачи масштабного коэффициента в квантователь. 10. Устройство по п.9, отличающееся тем, что подблоком является элемент макроблока. 11. Устройство по п.9, отличающееся тем, что заданный интервал составляет от -1 до +1.