СПОСОБ ВЫЯВЛЕНИЯ БЛОЧНЫХ ИСКАЖЕНИЙ ПРИ JPEG-КОДИРОВАНИИ Российский патент 2009 года по МПК G06K9/40 H04N1/409 

Заявляемое изобретение относится к цифровой фотографии, а более конкретно к анализу качества цифрового изображения, и может найти применение для эффективного выявления искажений при использовании JPEG-кодирования.

Методика кодирования, известная как JPEG (термин JPEG образован от английского названия Объединенной Группы Экспертов-Фотографов), была принята в качестве стандарта (см. http://www.jpeg.org/)[1], который широко используется для сжатия цифровых данных, образующих фотоизображение. Обычно, чтобы добиться заметного коэффициента сжатия, применяют необратимое ("с потерями") сжатие, когда массив данных при восстанавлении изображения ("результат") не идентичен исходному массиву данных. Таким образом, изображение, представленное на основе восстановленных данных, не идентично исходному изображению.

При JPEG-кодировании изображение разбивают на мелкие блоки, обычно имеющие размер 8х8 пискселей, которые используются для записи и хранения данных. После разбиения изображения на блоки к этим блокам применяют кодировочное преобразование, дискретное косинусное преобразование (DCT). В результате кодировочного преобразования вместо конкретного числа пикселей получают эквивалентное число коэффициентов преобразования.

Затем набор коэффициентов для каждого блока квантуется, чтобы снизить объем информации, описывающей конкретные блоки.

Таким образом, некоторый объем информации об изображении теряется в процессе квантования, и поэтому в процессе восстановления оцифрованного изображения путем обратного кодировочного преобразования, примененного к набору квантованных коэффициентов, возникают так называемые блочные искажения или артефакты. Эти блочные искажения проявляются в области границ смежных блоков изображения в виде неоднородности таких параметров, как яркость, контрастность и/или цвет. С увеличением коэффициента сжатия эти искажения также усиливаются.

Чтобы снизить влияние блочных искажений, вызванных существенной потерей данных, было предложено множество различных алгоритмов и методов. Однако большинство решений предлагают обрабатывать все блоки в изображении, что приводит к увеличению продолжительности обработки, к объему требуемых ресурсов и размытию изображения из-за обработки блоков, которые не были подвержены блочным искажениям. Некоторые из предложенных решений включают этап выявления (шаг обнаружения), который помогает минимизировать обязательные манипуляции с изображением.

В патенте США №7003174 [2] уровень блочных искажений измеряют на основе соотношения между разностью пикселей по обе сторны границы блока и разностью пикселей, прилегающих к границе блока.

В патенте США №6738528 [3] положение и протяженность границ блока определяют, используя данные об аккумулированном суммировании вертикальных и горизонтальных высочастотных фильтров. Элементы процесса классификации блоков разработаны для видеопоследовательностей, а не для фотографий.

В патенте США №6320905 [4] предлагается проверять для каждой границы блока наличие края изображения, параллельного с границей блока. Если такой край существует, то для выравнивания границы блока и уменьшения размытия края используют меньшее число пикселей.

В патенте США №5796875 [5] описана процедура применения "выборочного фильтра устранения блочных искажений для изображений, сжатых с помощью DCT ". Обнаружение (выявление) блочных искажений и их исправление осуществляют в пространственной области. Основная идея заключается в том, чтобы обнаружить блочное искажение путем анализа граничных пикселов: пары смежных граничных пикселей, по одному от каждого блока, выборочно фильтруются, если разность между граничными пикселями, прилегающими к границе с разных сторон, меньше, чем первый предопределенный порог, а энергия вдоль границы меньше, чем второй предопределенный порог.

Патент США №5850294 [6] предлагает простую процедуру для обнаружения блочных искажений: путем вычисления числа коэффициентов, отличных от нуля, и сравнения этого числа с пороговой величиной.

В статье List P., Joch A., Lainema J., Bjontegaard G., Karczewicz M. "Adaptive Deblocking Filter," in IEEE Transactions on Circuits and Systems for Video Technology, vol.13, № 7, pp.614-619 [7] блочные искажения выявляют, вычисляя абсолютные разности пикселей, лежащих по разные стороны от границы блока, непосредственно на границе блока и в двух точках, прилегающих к границе блока, и сравнивая эти величины. Основная идея заключается в том, что, если в результате получена относительно большая абсолютная разность между выборками около границы блока, то весьма вероятно появление блочного искажения, которое следует минимизировать. Однако если величина этой разности будет настолько большой, что это не может быть объяснено грубостью квантования при кодировании, то вероятнее всего на границе блоков присутствует край, который не должен корректироваться.

В патенте США №6600839 [8] для оценки серьезности искажения извлекают первую глобальную метрику, а затем применяют локальную метрику. Для оценки числа пикселей, подлежащих обработке (сглаживанию), применяют нечеткую логику. Для глобальной метрики вычисляют градиенты изображения, затем абсолютные значения и направление градиентов.

В статье Z. Wang, А. С.Bovik, В. L. Evans, "Blind measurement of blocking artifacts in images," in Proc. IEEE Int. Conf. Image Proc., vol.3, pp.981-984, sept. 2000 [9] авторы предлагают применить глобальную метрику к блочным искажениям. Они вычисляют производную сигнала вдоль каждой горизонтальной строки, после чего усредняют фурье-образы этих производных. На графике ясно видимы пики полученного сигнала на характерных частотах (1/8, 2/8, 3/8 и 4/8). Далее авторы выводят метрики, основанные на величине пиков. Недостатком данного частотного метода является применение Быстрого Преобразования Фурье (FFT), которое приходится многократно вычислять для каждого изображения, что является достаточно трудоемким процессом.

В статье Fan Z., and R. L. de Queiroz, "Identification of Bitmap Compression History: JPEG Detection and Quantizer Estimation", IEEE Transactions on Image Processing, vol.12, №2, february 2003 [10] авторы предлагают построить специальные виды гистограмм для того, чтобы вычислить глобальную характеристику степени сжатия изображения, основываясь на разностях пикселей по разные стороны границы блока и на разностях пикселей в блоке.

Недавние разработки в области машинного обучения продемонстрировали, что методы, основанные на усилении (boosting), могут показывать удовлетворительные результаты при объединении усилий слабых классификаторов. Более того, процедура усиления может также рассматриваться как процесс выбора характерных признаков, если слабый классификатор использует один единственный признак на каждом этапе. Несколько решений основаны на применении обучающих методов к классификации изображений или блоков изображения на блоки, которые подвержены воздействию блочных искажений, и на блоки, им не подтвержденные.

В статье Z.Wang, H. R. Sheikh, and А. С.Bovik, "No-reference perceptual quality assessment of JPEG compressed images," in Proc. IEEE Int. Conf. Image Proc., sept. 2002 [11] авторы предлагают вычислить три характерных признака изображения: средние разности по разным сторонам границ блока, среднюю абсолютную разность между выборками изображения внутри блока и число пересечений нуля. После этого характерные признаки объединяются в следующей формуле:

и неизвестные α, β оценениваются исходя из данных, полученных от человеческих наблюдателей. Решение позволяет классифицировать изображения как "хорошие" и "плохие".

В статье Hanghang Tong; Mingjing Li; Hong-Jiang Zhang; Changshui Zhang; Jingrui He; Wei-Ying Ma, "Learning No-Reference Quality Metric by Examples", Multimedia Modelling Conference, 2005. МММ 2005. Proceedings of the 11th International Date: 12-14 Jan. 2005, Pages: 247-254 [12] авторы углубляют идеи Wang и др. и предлагают метод усиления, который позволяет вычислять глобальную оценку качества исходного изображения. Авторы предлагают построить обучающую выборку, построить двоичный классификатор, используя метод AdaBoost (сокращение от «адаптивного усиления»), и затем масштабировать результат классификатора так, чтобы получить качественные метрики, совместимые с метриками, полученными от наблюдателей. Построенный классификатор демонстрирует хороший результат, более чем 90%, линейной корреляции между спрогнозированными результатами и усредненной метрикой, основанной на мнениях наблюдателей. Хотя авторы упоминают, что этап отбора характерных признаков крайне важен для создания эффективного классификатора, фактически они предложили очень простые признаки. Для блочных искажений и эффекта Гиббса эти признаки состояли из значений пикселей блока изображения, оформленных в виде вектора.

Все перечисленные способы-аналоги основаны либо на слишком простых и недостоверных технических решения по обнаружению искажений, либо включают этап обнаружения края для разделения между истинными краями изображения и краями, появившимися в результате блочных искажений. Глобальные метрики не позволяют индивидуальной обработки каждого блока.

Таким образом, для минимизации блочных искажений (артефактов), вызванных существенной потерей информации, было предложено множество различных алгоритмов и методов. Однако в большинстве решений предлагается обрабатывать все блоки в изображении, что приводит к увеличению продолжительности обработки, большему объему необходимых ресурсов и сверхразмыванию изображения из-за обработки блоков, которые не подвержены блочным искажениям.

Решения, предусматривающие этап обнаружения блоков, затронутых блочными искажениями, применяют либо слишком простые и недостоверные способы обнаружения, либо включают этап обнаружения края для различения между истинными краями изображения и краями, появляющимися в результате блочных искажений.

Представляется, что в качестве прототипа заявляемого изобретения может быть использовано техническое решение, упомянутое в [2].

Задачей, на решение которой направлено заявляемое изобретение, является разработка такого способа выявления блочных искажений при использовании дискретного косинусного преобразования (DCT), который обеспечивал бы повышенную достоверность обнаружения блочных искажений при использовании минимальных вычислительных и временных ресурсов.

Требуемый технический результат в заявляемом изобретении достигается за счет применения нового способа выявления блочных искажений в JPEG-кодированных изображениях, предусматривающего выполнение следующих операций:

- оценивают размер кодировочного блока относительно требуемого разрешения печати;

- определяют для каждой границы блока приблизительную метрику различимости искажения при кодировочном преобразовании блока в случае, если размер кодировочного блока является различимым человеческим глазом;

- классифицируют, в случае, когда различимость искажений при кодировочном преобразовании превышает предопределенный порог, границу блока либо в качестве границы, которая требует коррекции для устранения блочных искажений, либо как границу, которая не подвержена блочным искажениям, путем применения бинарного классификатора к вектору характерных признаков, вычисленному с использованием проквантованных DCT коэффициентов смежных блоков и матрицы квантования изображения.

Заявляемый способ применим как к черно-белым, так и цветным изображениям. Для эффективной работы способа важно, чтобы приблизительную метрику различимости блочного искажения при блочном кодировании вычисляли с использованием суммы абсолютных значений разностей пикселей или числа отличных от нуля коэффициентов DCT в блоке.

Для эффективной работы способа важно также, чтобы классификацию границы данного блока в категорию либо границы, которая требуют коррекции для устранения блочных искажений, либо как границу, которая не подвержена блочным искажениям, осуществляли путем применения бинарного классификатора Real AdaBoost, основанного на усилении и взвешенном голосовании комитета слабых классификаторов.

Для эффективной работы способа важно также, чтобы бинарный классификатор Real AdaBoost применяли к вектору характерных признаков, вычисленному с использованием проквантованных DCT коэффициентов смежных блоков и матрицы квантования изображения.

Новизна заявляемого изобретения подтверждается следующими факторами:

- каждый блок изображения, затронутый блочными искажениями, обрабатывают с помощью процессорного устройства, а границы между блоками анализируют на предмет необходимости обработки;

- процесс анализа каждого блока изображения включает в себя использование классификации с помощью двоичного (бинарного) классификатора Real AdaBoost, основанного на усилении и взвешенном голосовании комитета по элементарному классификатору, причем классификации подвергается характеризующий вектор, вычисленный с помощью проквантованных коэффициентов DCT для смежных блоков и матрицы квантования изображения.

Для лучшего понимания существа заявляемого изобретения оно поясняется далее с привлечением графических материалов.

Фиг.1. Схема основных узлов системы.

Фиг.2. Основные этапы выявления блочных искажений.

Фиг.3. Процесс классификации границ.

Фиг.4. Результаты выявления блочных искажений.

На Фиг.1 приведена схема работы основных узлов системы, реализующей заявляемый способ. Ходом работы системы управляет процессор 101, который выполняет программный код, записанный в памяти 102. В памяти 102 записана также исходная черно-белая или цветная фотография. Изображение подвергают обработке и передают на устройство 104 отображения (дисплей). Обмен информацией осуществляют через шину 106 данных.

На Фиг.2 представлены основные этапы процесса выявления блочных искажений. На шаге 201 определяют, различим ли человеческим глазом блок кодировки изображения при данном разрешении печатающего устройства. Предположим, что разрешающая способность принтера составляет Х точек на дюйм (обычно 300-400 точек на дюйм), размер блока кодировки равен 8 пикселям, тогда ширина и высота блока при печати составят 8/Х дюймов. В случае, если этот размер не различим человеческим глазом, изображение не подвергают дальнейшей обработке, поскольку в этом случае и границы блока не являются различимыми, все границы блока маркируют как «хорошая», то есть граница, которая не затронута блочными искажениями (шаг 204). В противном случае для каждой границы блока применяют следующую процедуру. На шаге 202 путем анализа выясняют, присутствует ли блочное искажение на данной границе. Элементы, составляющие шаг 202, поясняются далее. Условие 203 заключается в проведении проверки, не осталось ли необработанных границ блоков. Если таких случаев не установлено, то способ продолжают реализовывать до его завершения.

Фиг.3 поясняет процесс классификации (шаг 202). На шаге 301 проверяют, не превышает ли число ненулевых коэффициентов DCT в двух смежных блоках предопределенного порога (в рассматриваем варианте реализации этот порог равен тридцати). Если проверка на шаге 301 дает положительный результат, такая граница маркируется (шаг 308) как "хорошая", то есть граница не затронута блочными искажениями, поскольку компрессия (сжатие) в этом случае не очень высокая. Если проверка на шаге 301 дает отрицательный результат, то переходят к выполнению следующего шага - шага 302, в процессе которого рассматривают два смежных блока изображения с размерами 8×8 пикселей B_i,j и B_i-1,j для верхней границы блока изображения B_i,j (или B_i,j и B_i,j-1 для левой границы блока изображения B_i,j) с целью проверки наличия какой-либо различимой границы между ними:

На шаге 303 также осуществляют проверку, и, если ΔB_i,j не превышает некоторого предопределенного порога (три для 8-битового изображения в рассматриваемом варианте реализации), то границу маркируют (шаг 308) как "хорошая", то есть граница, которая не затронута блочными искажениями. Если проверка на шаге 303 дает положительный результат, то есть ΔB_i,j превышает некий предопределенный порог, реализация способа переходит к шагу 304, где шагом 305 проверяют, не равно ли единице число ненулевых коэффициентов DCT в обоих смежных блоках. В этом случае оба смежных блока представляют в виде постоянной величины (константы). Если проверка на шаге 304 дает положительный результат, то границу сразу маркируют (шаг 306) как "плохая", то есть граница, требующая улучшения (корректировки) для устранения блочных искажений. Если проверка на шаге 304 дает отрицательный результат, то приступают к дальнейшему анализу.

На шаге 305 вычисляют вектор характерных признаков. С этой целью вычисляют две априорных постоянных матрицы размером 64×64, L и Т. Пусть p_i,j(k,l) является (i,j)-ой функцией базиса, i, j, k, l={0...7}.

Тогда

Граничные векторы характерных признаков для блока текущего изображения B_i,j и , для верхней и левой границ блока соответственно, вычисляют следующим образом. Пусть b_i,j - это блок соответствующих DCT коэффициентов блока B_i,j изображения. Тогда

- для признаков левой границы,

- для признаков верхней границы.

В этом случае длина вектора характерных признаков равна 4096 (64×64).

В предпочтительном варианте реализации заявляемого способа вектор характерных признаков укорочен для упрощения классификатора: только следующие пары берутся для (k, l) и (m, n): (0, 0), (0, 1), (0, 2), (0, 3), (0, 4), (0, 5), (1, 0), (1, 1), (1, 2), (1, 3), (1, 4), (2, 0), (2, 1), (2, 2), (3, 0), (3, 1), (3, 3), (4, 0), (4, 1), (4, 4), (5, 0). В этом случае в память заносят 441 (т.е. 21×21) компонент вектора характерных признаков.

В предпочтительном варианте реализации заявляемого изобретения система классификации представлена классификатором, состоящим из двух классов. Обозначим обучающую выборку векторов как {х₁; у₁}; ...; {x_m; у_m}, где x_m∈R^N - вектор характерных признаков, а y_m ∈ {-1,+1} - его классификационный индекс.

Классификация является применением программы Real AdaBoost, основанной на усилении и взвешенном голосовании комитета слабых классификаторов (см. Friedman J., T.Hastie, R.Tibshirani, 2000, "Additive logistic regression: A statistical view of boosting". The Annals of Statistics, 38(2):337-374) [13]. Функция решения строится как взвешенная сумма элемнтарных классификаторов:

Здесь слабый классификатор заключается в сравнении соответствующей компоненты вектора характерных признаков с неким пороговым значением, вычисленным на стадии обучения. Функция F(x) относит входящий проверочный вектор характерных признаков х к тому или другому классу. В предпочтительном варианте реализации классификатор обучали на базе данных, включающей 6300 проиндексированных векторов характерных признаков, демонстрируя 3% ошибок при десятикратной перекрестной проверке.

На шаге 307 классификатор применяют к вектору характерных признаков, вычисленному на шаге 305. Если F(x)>0, границу маркируют как «плохая», т.е. как границу, требующую коррекции (улучшения) с целью устранения (шаг 306) блочных искажений (артефактов), в противном случае граница маркируется (шаг 308) как «хорошая», т.е. как граница, не затронутая блочными искажениями.

Фиг.4 демонстрирует результаты выявления блочного искажения. Заявляемый способ может найти применение в программном обеспечении для цифровых камер, сканнеров для слайд, камерафонов, принтеров и других подобных устройств.

Для специалиста в данной области должно быть ясно, что возможны и другие варианты реализации данного изобретения, и что в рамках единого концептуального замысла допустимы модификации отдельных элементов изобретения, при этом представленные графические материалы и описание следует рассматривать как имеющие иллюстративный характер, а не как исчерпывающее представление изобретения.

Изобретение относится к цифровой фотографии, в частности к анализу качества цифрового изображения. Техническим результатом является повышение достоверности обнаружения блочных искажений при использовании минимальных вычислительных и временных ресурсов. Предложен способ выявления блочных искажений при JPEG-кодировании, при котором: оценивают размер кодировочного блока относительно требуемого разрешения печати; определяют для каждой границы блока приблизительную метрику различимости искажения при кодировочном преобразовании блока в случае, если размер кодировочного блока является различимым человеческим глазом; классифицируют, в случае, когда различимость искажений при кодировочном преобразовании превышает предопределенный порог, границу блока либо в качестве границы, которая требует коррекции для устранения блочных искажений, либо как границу, которая не подвержена блочным искажениям, путем применения бинарного классификатора к вектору характерных признаков, вычисленному посредством использования проквантованных DCT коэффициентов смежных блоков и матрицы квантования изображения. 3 з.п. ф-лы, 4 ил.

1. Способ выявления блочных искажений при JPEG-кодировании, включающий в себя выполнение следующих операций:

оценивают размер кодировочного блока относительно требуемого разрешения печати;

определяют для каждой границы блока приблизительную метрику различимости искажения при кодировочном преобразовании блока в случае, если размер кодировочного блока является различимым человеческим глазом;

классифицируют, в случае, когда различимость искажений при кодировочном преобразовании превышает предопределенный порог, границу блока либо в качестве границы, которая требует коррекции для устранения блочных искажений, либо как границу, которая не подвержена блочным искажениям, путем применения бинарного классификатора к вектору характерных признаков, вычисленному посредством использования проквантованных DCT коэффициентов смежных блоков и матрицы квантования изображения.