СПОСОБ ЦИФРОВОЙ ОБРАБОТКИ ДИНАМИЧЕСКИХ ИЗОБРАЖЕНИЙ Российский патент 2002 года по МПК H04N7/00 H04N7/18 

Заявляемое изобретение относится к области цифровой обработки изображений, а более конкретно к способу цифровой обработки динамических изображений, и может быть применено для их компьютерной обработки, создания систем видеотелефонии, видеоконференцсвязи, цифрового телевизионного вещания.

Известен широко используемый способ цифровой обработки изображений, соответствующий стандарту JPEG (G. K. Wallace. The JPEG Still Picture Compression Standard Communication of the ACM. 1991, v. 34, N 4), предусматривающий при кодировании изображений их разделение на компоненты, разбиение каждой компоненты на блоки, двумерное дискретное косинусное преобразование (ДКП) этих блоков, деление частотных компонент ДКП на соответствующие элементы матрицы квантования, округление результатов деления с последующим их упорядочиванием и кодированием.

Этот способ цифровой обработки изображений характеризуется наличием жесткой взаимосвязи между коэффициентом сжатия и конкретно используемой матрицей квантования без адаптации к рельефу пикселов изображений. Это приводит к нежелательному эффекту, а именно к тому, что при насыщенности изображения мелкими деталями на ровном поле возможно получить высокое качество восстановленного изображения только при малых коэффициентах сжатия и при больших потоках цифровых данных в случае передачи динамических изображений.

Наиболее близким по технической сущности к заявляемому техническому решению является способ покадрового сжатия изображений (Патент Российской Федерации 2122295), предусматривающий преобразование последовательности кадров изображений в цифровую форму, разбиение на компоненты и запоминание их дискретных отсчетов, вычисление допустимых отклонений уровней каждого из этих отсчетов, разбиение текущего кадра на блоки размером N•N пикселов, двумерное дискретное косинусное преобразование (ДКП) этих блоков в матрицу частотных компонент ДКП, деление частотных компонент на соответствующие элементы матрицы квантования, деление полученных частотных компонент на задаваемый коэффициент квантования, округление результатов деления, восстановление частотных компонент и обратное их косинусное преобразование, цифровое кодирование частотных компонент ДКП.

Недостатки упомянутого способа заключаются в необходимости определения коэффициента квантования частотных компонент ДКП каждого блока итерационным методом, что резко увеличивает объем вычислительных операций, и отсутствием возможности адаптации алгоритма цифровой обработки к пропускной способности используемого канала цифровой передачи информации о динамических изображениях.

В основу настоящего изобретения положена задача, состоящая в уменьшении количества вычислительных процедур при обработке изображений, за счет чего достигается повышение скорости цифровой обработки динамических изображений, в повышении визуального качества восстановленного изображения при заданном коэффициенте сжатия или повышении коэффициента сжатия при заданном визуальном качестве восстановленного изображения, в реализации коэффициента сжатия изображения, обеспечивающего его передачу в канале с заданной пропускной способностью.

Эта задача решена в способе цифровой обработки динамических изображений, предусматривающем преобразование последовательности кадров изображений в цифровую форму, разбиение на компоненты и запоминание их дискретных отсчетов, вычисление допустимых отклонений уровней каждого из этих отсчетов, разбиение текущего кадра на блоки размером N•N пикселов, двумерное дискретное косинусное преобразование (ДКП) этих блоков в матрицу частотных компонент ДКП, деление частотных компонент на соответствующие элементы матрицы квантования, деление полученных частотных компонент на задаваемый коэффициент квантования, округление результатов деления, восстановление частотных компонент и обратное их косинусное преобразование, цифровое кодирование частотных компонент, согласно изобретению по результатам вычитания значений соответствующих пикселов исходного блока и блока, полученного в результате обратного косинусного преобразования (ОДКП) и сравнения модулей полученных разностей с упомянутыми вычисленными значениями допусков производят вычисление требуемого коэффициента квантования, обеспечивающего минимизацию искажений уровней пикселов до величин, не превышающих вычисленных допустимых значений, а затем после повторного квантования частотных компонент производят их цифровое кодирование.

Было бы целесообразно наряду с вышеперечисленными операциями также осуществлять вычисление разностей значений только тех соответствующих пикселов исходного блока и блока, полученного в результате ОДКП, которые соответствуют нескольким минимальным значениям упомянутых допусков изменений уровней пикселов в каждом блоке кадра и только по этим значениям производят вычисление требуемого коэффициента квантования.

Кроме этого, было бы не менее целесообразно дополнительно оценивать размер кодов частотных компонент ДКП каждого из блоков кадра, определять общий размер кодов, характеризующий кадр в целом, сравнивать этот размер с установленной допустимой величиной, и по результату этого сравнения определять дополнительный коэффициент, на который умножать рассчитанные упомянутые коэффициенты квантования каждого из блоков, и производить цифровое кодирование вновь преобразованных частотных компонент ДКП.

В дальнейшем настоящее изобретение будет более подробно раскрыто в нижеследующем подробном описании, иллюстрирующем заявляемый способ цифровой обработки динамических изображений, с использованием поясняющих чертежей, на которых:
фиг. 1 изображает один из возможных вариантов структурной схемы устройства для реализации способа цифровой обработки динамических изображений, осуществляемого согласно изобретению;
фиг. 2 изображает типичную зависимость ошибки восстановления от коэффициента квантования макроблока.

Структурная схема реализующего заявляемый способ устройства, изображена на фиг.1. Она предусматривает наличие на входе блока 1 цифровой памяти кадров изображений, выход которого соединен через блок 2 разделения кадра на компоненты с блоками их обработки, имеющими одинаковую структуру. На входе блока обработки первой компоненты цифровые сигналы подаются параллельно на формирователь 3 допусков, последовательно соединенные схему 4 памяти блоков, преобразователь ДКП 5, схему 6 матрицирования, первую схему 7 квантования и округления, преобразователь ОДКП 8 и вычислитель ошибок 9, второй вход которого подключен к выходу схемы 4 непосредственно. Выходы формирователя 3 и вычислителя 9 соединены со входами вычислителя 10 коэффициентов квантования в блоках кадра, подключенного через последовательно соединенные вторую схему 11 квантования и округления, второй вход которой соединен с выходом схемы 6 матрицирования, схему 12 оценки кода каждого блока кадра и сумматор 13 кодов оценки к схеме сравнения 14, на второй вход которой подается величина допустимого значения кода, а выход подключен к одному из входов перемножителя 15. Выходы схемы 6 и вычислителя 10 через схему памяти 16 подключены ко второму входу перемножителя 15 и к одному из входов схемы 17 квантования и округления данных всех блоков кадра. Второй вход схемы 17 соединен с выходом перемножителя 15, а выход - с одним из входов блока кодирования 18.

Сущность предлагаемого способа состоит в следующем.

Цель проводимых преобразований над представленным в цифровом виде цветным динамическим изображением состоит в достижении наибольшего сжатия цифровой информации при снижении объема вычислительных операций, обеспечении согласования формируемого цифрового потока с пропускной способностью канала его передачи и максимальном визуальном соответствии восстановленного и исходного изображений.

Предлагаемый способ обеспечивает реализацию этой цели за счет изменения коэффициента квантования матрицы частотных компонент ДКП блоков кадра в зависимости рельефа их пикселов, структуры допустимых отклонений рельефа изображения и соответствия формируемого цифрового потока заданной пропускной способности канала цифровой передачи информации.

Устройство для реализации предложенного способа работает следующим образом.

Кадры цветного динамического изображения обычно представляют собой либо двумерные массивы скалярных компонент при дискретизации полного цветового сигнала, кодируемого, например, по системам SECAM, PAL, NTSC, либо двумерный массив векторов, состоящий из трех скалярных компонент, соответствующий величинам цветовых составляющих R, G, В.

Этот массив данных запоминается в блоке 1 цифровой памяти кадров изображений и через блок 2, в котором создаются компоненты изображения (обычно, яркостная составляющая Y и цветоразностные сигналы U, V), поступающие на соответствующие блоки их цифровой обработки, по стуктурной схеме не отличающиеся друг от друга.

В одном из таких блоков, например обработки составляющей яркости, с помощью формирователя 3 допусков создается рельеф допустимых отклонений значений пикселов каждого кадра.

Один из известных эффективных вариантов вычисления такого рельефа определяется соотношением:
,
где
X (..,..) - значение пикселя в точке (..,..), коэффициенты взвешивания, К₀ - коэффициент пропорциональности..

Сформированные таким образом допустимые отклонения определяют возможные изменения величин пикселей компоненты при ее восстановлении после преобразования, обеспечивающего сжатие изображений.

Выделенные схемой 4 коды каждого блока размером N•N пикселов (например, согласно стандарту JPEG - 8•8) подаются через преобразователь ДКП 5, формирующий из дискретных значений пикселов X(i,j), 0 ≤ i,j ≤ N, частотные компоненты дискретного косинусного преобразования блока F(u,v), 0 ≤ u,v ≤ N, схему 6 матрицирования, в которой каждая компонента ДКП делится на соответствующее число Q(u,v), учитывающее влияние визуальной заметности изменений различных спектральных компонент ДКП, первую схему 7 квантования и округления, формирующую преобразованные частотные компоненты: round[(1/К^*) • F(u,v)/Q(u, v)] , где K^* - заранее заданный коэффициент квантования, преобразователь ОДКП, формирующий из "восстановленных" спектральных компонент косинусного дискретного преобразования
F(u,v) = К^* • Q(u,v) • round[(1/K^*) • F(u,v)/Q(u,v)]
измененные вследствие обработки значения пикселов компоненты на вычислитель ошибок 9, на второй вход которого поступают исходные значения уровней пикселов этого же блока.

В результате на выходе вычислителя 9 формируются отклонения преобразованных вследствие матрицирования и квантования с заданным коэффициентом К^* значений пикселов от исходных величин:
Ввиду того, что величина этих отклонений значений пикселов практически линейно зависит от коэффициента квантования К^* в достаточно большом диапазоне его значений (фиг.2), на основании полученных данных можно рассчитать требуемый коэффициент квантования К_доп, обеспечивающий такое преобразование пикселов блока, что изменения их значений будут находиться в зонах допустимых отклонений Δ_доп(i,j), формируемых в схеме 3.

Расчет величины коэффициента квантования К_доп в блоке 10 может осуществляться различным образом. Один из вариантов расчета связан с определением средних значений реальных и допустимых отклонений в блоке:

и по этим значениям вычисляют величину К_доп по формуле K_доп = K•Δ_доп/(Δ+λ), где λ<Δ_доп- некоторая малая величина.

Другой вариант, требующий меньше вычислительных операций, связан с определением величин Δ_доп и Δ только путем усреднения нескольких минимальных значений среди Δ_доп(i,j) и соответствующих им по положению в блоке значений Δ(i,j).
Вычисленный блоком коэффициент квантования используется для вычислений во второй схеме 11 квантования и округления частотных компонент ДКП каждого блока кадра:
L(u,v) = round[1\K_доп) • F(u,v)/Q(u,v)], 0 ≤ u,v ≤ N.

По значениям этих величин каждого из М блоков кадра в схеме 12 производится Z-упорядочивание частотных компонент ДКП и оценка величины кода (например, кода Хаффмана) Size(m), 1 ≤ m ≤ М, определяющего цифровой поток каждого блока.

Величины Size(m) поступают на сумматор 13, где накапливаются величины кодов всех блоков кадра и далее - на схему сравнения 14, в которой значение Size_Σ сравнивается с допустимым значением размера суммарного кода Size_Σдоп.
Если величина q = Size_Σ/Size_Σдоп>1, то формируемый поток оказывается больше пропускной способности канала передачи информации.

Для того, чтобы устранить это несоответствие в перемножителе 15 коэффициенты квантования всех блоков кадра, запомненные схемой памяти 16, умножаются на рассчитанный коэффициент К^* _доп (m) = q • К_доп(m), 1 ≤ m ≤ М и подаются на схему 17 квантования и округления данных, на второй вход которой поступают также частотные компоненты ДКП всех блоков кадра, предварительно запомненные в схеме памяти 16.

Таким образом, на выходе схемы формируются коды цифровых данных о всех блоках кадра:
L_m(u,v) = round{[1/K^* _доп(m)]•F^u,v)/Q(u,v)}, 0 ≤ u,v ≤ N, 1 ≤ m ≤ M.

Эти результаты обработки одной из компонент изображения поступают на блок 18 кодирования, на который подаются результаты обработки других компонент изображения. В случае, если цифровой поток вновь окажется не соответствующим пропускной способности канала связи, операции вычисления коэффициента q = Size_Σвых/Size_Σдоп, где Size_Σвых- цифровой поток, полученный в результате указанных выше преобразований, и уточнения коэффициентов квантования могут быть повторены. Выход блока 18 является выходом устройства, реализующего предлагаемый способ цифровой обработки динамических изображений.

Изобретение относится к области цифровой обработки изображений и может быть применено для их компьютерной обработки, создания систем видеотелефонии, видеоконференцсвязи, цифрового телевизионного вещания. Технический результат - уменьшение количества вычислительных процедур при обработке изображений, повышение визуального качества восстановленного изображения при заданном коэффициенте сжатия или повышение коэффициента сжатия при заданном визуальном качестве восстановленного изображения, реализация коэффициента сжатия изображения, обеспечивающего его передачу в канале с заданной пропускной способностью. Технический результат достигается за счет того, что в способе цифровой обработки динамических изображений по результатам вычитания значений соответствующих пикселов исходного блока и блока, полученного в результате дискретного косинусного преобразования (ДКП), квантования с заданным коэффициентом, обратного косинусного преобразования (ОДКП) и сравнения модулей полученных разностей с вычисленными значениями допусков производят вычисление требуемого коэффициента квантования, обеспечивающего минимизацию искажений уровней пикселов до величин, не превышающих вычисленных допустимых значений, а затем после повторного квантования частотных компонент производят их цифровое кодирование. 2 з.п.ф-лы, 2 ил.

1. Способ цифровой обработки динамических изображений, включающий преобразование последовательности кадров изображений в цифровую форму, разбиение на компоненты и запоминание их дискретных отсчетов, вычисление допустимых отклонений уровней каждого из этих отсчетов, разбиение текущего кадра на блоки размером N • N пикселов, двумерное дискретное косинусное преобразование (ДКП) этих блоков в матрицу частотных компонент ДКП, деление элементов матрицы ДКП на соответствующие элементы матрицы квантования, деление полученных частотных компонент на задаваемый коэффициент квантования, округление результатов деления, восстановление спектральных компонент и обратное их косинусное преобразование, цифровое кодирование спектральных компонент, отличающийся тем, что по результатам вычитания значений соответствующих пикселов исходного блока и блока, полученного в результате обратного дискретного косинусного преобразования (ОДКП) и сравнения модулей полученных разностей с упомянутыми вычисленными допустимыми отклонениями уровней производят вычисление требуемого коэффициента квантования, обеспечивающего минимизацию искажений уровней пикселов до величин, не превышающих вычисленных допустимых отклонений, а затем после повторного квантования коэффициентов дискретного косинусного преобразования производят их цифровое кодирование. 2. Способ цифровой обработки динамических изображений по п. 1, отличающийся тем, что осуществляют вычитание значений только тех соответствующих пикселов исходного блока и блока, полученного в результате ОДКП, которые соответствуют нескольким минимальным значениям упомянутых допустимых отклонений уровней пикселов в каждом блоке кадра и только по этим значениям производят вычисление требуемого коэффициента квантования. 3. Способ цифровой обработки динамических изображений по п. 1, отличающийся тем, что оценивают размер кодов коэффициентов косинусного преобразования каждого из блоков кадра, определяют общий размер кодов, характеризующий кадр в целом, сравнивают этот размер с установленной допустимой величиной и по результату этого сравнения определяют дополнительный коэффициент, на который умножают рассчитанные упомянутые коэффициенты квантования каждого из блоков, и производят цифровое кодирование вновь преобразованных спектральных компонент ДКП.