СПОСОБ СЖАТИЯ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ И УСТРОЙСТВО ДЛЯ ЕГО РЕАЛИЗАЦИИ Российский патент 2007 года по МПК H04N7/12 G06K9/36 

Настоящее изобретение относится к цифровой обработке изображений и может быть использовано в устройствах, осуществляющих сжатие цифровых изображений, получаемых с помощью фото и видеокамер.

В связи с бурным развитием и внедрением систем фото-видео съемки, в настоящее время большое развитие получают устройства для качественного цифрового захвата изображений. Обычно такие устройства захватывают не полноцветное, а так называемое Байеровское мозаичное изображение (БМИ). Повышение разрешающей способности устройств захвата изображений приводит к увеличению размера изображений и, соответственно, требует больших объемов памяти для хранения этих данных. Развитие подсистем устройств хранения информации и увеличение пропускной способности каналов передачи данных лишь отчасти решает эту проблему, поэтому разработка методов сжатия БМИ может существенно уменьшить требования к этим подсистемам и каналам передачи.

Известно описание изобретения к патенту США №6154493 "Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image", МПК H 04 N 7/12, содержащий способ сжатия цифровых изображений, который состоит из разделения необработанных цифровых данных, полученных с устройства захвата изображений, на множество цветовых каналов, включая цветоразностные. При этом для устранения взаимной корреляции при формировании дифференциальных каналов используется прямая разность цветовых каналов. Каждый из полученных таким образом каналов подвергаются двумерному дискретному вейвлет-преобразованию и квантованию, позволяющему проводить сжатие изображений без визуальных потерь. Устройство для реализации указанного способа включает в себя блок захвата и предобработки изображения, генератора каналов, блока сжатия и блока хранения информации. Указанный метод и реализующее его устройство можно использовать для сжатия БМИ. Применяемые коэффициенты квантования зависят от обрабатываемого цветового канала и подполосы вейвлет-коэффициентов.

Однако указанные способ и устройство сжатия не позволяют эффективно сжимать данные, так как корреляция между цветовыми каналами устраняется не полностью, что приводит к многократному сжатию одной и той же информации и, как следствие, к большему размеру сжатых данных.

Кроме того, при обработке БМИ указанный метод сжатия не позволяет перейти в систему цветопредставления YCbCr, для которой известны коэффициенты квантования, применение которых приводит к получению меньшего по размеру сжатого изображения.

Техническим результатом настоящего изобретения является сжатие данных, с эффективным устранением взаимной корреляции между цветовыми каналами, что дает меньший размер сжатых данных. При применении к БМИ позволяет перейти в систему цветопредставления YCbCr, что делает возможным использование коэффициентов квантования, разработанных для этой системы цветопредставления.

Указанный результат достигается за счет того, что в известном методе сжатия цифровых изображений, заключающемся в последовательном применении операций разделения необработанных цифровых данных, полученных с устройства захвата изображений, на множество каналов, с их последующим прямым цветовым преобразованием, вейвлет-преобразованием и квантованием, предложены следующие правила прямого цветового преобразования каналов:

- получение четырех полноразмерных расширенных матриц (получение матриц из мозаичного изображения представлено на фиг.1) из трех цветовых каналов, первая из которых содержит значения первого канала, вторая и третья содержат значения второго канала, четвертая - значения из третьего канала,

- с помощью интерполяции цветовых матриц, содержащих значения первого и третьего цветового каналов, получают данные в точках, где известны значения второго цветового канала,

- преобразуют значения во второй и третьей матрицах (С2А', С2В'), используя интерполированные значения первой и четвертой матриц (С1i', С3i') в новые значения (YA и YB) по формуле

- где а1, а2, а3 - вещественные коэффициенты,

- с помощью интерполяции цветовых матриц, содержащих значения второго цветового канала, получают данные в точках, где известны значения первого и третьего цветовых каналов,

- преобразуют значения первой и четвертой матриц (С1', С3'), используя интерполированные значения второго канала (Y') в новые значения (DC1, DC2) по формуле:

DС1=b1*(С1'-Y')

DC3=b2*(C3'-Y')

где b1, b2 - вещественные коэффициенты,

- по значениям второй матрицы вычисляют значения третьей матрицы, после чего в третью матрицу записывают поправки от вычисленных значений и

- от преобразованных полноразмерных расширенных матриц переходят обратно к цветовым каналам, три из которых являются дифференциальными.

Изображение, получаемое с сенсора, обычно имеет мозаичную структуру, когда в каждой точке известно значение лишь одного цвета, а значения двух других цветов неизвестны. Набор известных цветов в каждой точке может быть различным, наиболее распространен так называемый Байеровский набор цветовых светофильтров (БНЦС). Таким образом, цветовые каналы, из которых состоит изображение, оказываются разреженными. Мозаичное изображение, полученное с помощью БНЦС, и есть Байеровское мозаичное изображение. Кроме того, в БМИ количество точек, в которых известны значения зеленого, в два раза больше, чем количество точек с красным и синим цветом, поэтому канал зеленого делят на два подканала, получая четыре канала - два зеленых, один красный и один синий. Значения этих каналов можно записать в специальные матрицы С1', С2А', С2В', С3', как указано на фиг.1. Это делается для удобства программной и аппаратной реализации последующего алгоритма преобразования каналов цвета. В случае БНЦС С1 - канал красного, С2 - канал зеленого, С3 - канал синего цветов. Для перехода в систему YCbCr в каждой точке изображения необходимо иметь все три компонента цвета:

α_R=0.299; α_B=0.114; α_G=0.587

Y=α_R·R+α_G·G+α_B·В

Из формул преобразования следует, что в зеленых точках имеет смысл вычислять компонент Y, так как в него зеленый компонент системы RGB (для случая БНЦС) входит с наибольшим весом, поэтому относительная ошибка при вычислении именно этого компонента будет наименьшей. Аналогично, вместо компонентов R и В имеет смысл вычислять компоненты Cr и Cb. Для вычисления красного и синего цветов в точках с известным зеленым цветом можно применить линейную интерполяцию, используя соседние точки с известными красными и синими цветами (у каждой зеленой точки есть по две соседние красные и синие, для вычисления значений красного и синего в зеленой точке берется полусумма значений из соседних красных и синих точек). После получения недостающих компонент цвета в зеленых точках вычисляется компонент У (яркость). Так как имеется две матрицы со значениями зеленого канала цвета для различения значений яркости, принадлежащих этим матрицам, обозначим их YA для С2А' и YB для С2B'. Полученные значения яркости интерполируются в синие и красные точки (каждая такая точка имеет четыре соседних значений яркости по диагонали, интерполированное значение равно четверти суммы соседних яркостей). По интерполированным значениям яркости и имеющимся значениям красного или синего цветов вычисляются значения цветоразностей Cr и Cb. Полученные из матриц С1', С3' значения цветоразностей обозначим DC1 и DC3.

Значения в матрицах С2А' и С2В' на фиг.1 (до цветопреобразования это значения зеленого канала, а после яркость) сильно коррелированы между собой. Для устранения корреляции можно значения матрицы С2В' предсказывать с помощью значений матрицы С2А' и хранить в матрице С2В' только поправки от предсказанных значений. В простейшем случае можно воспользоваться для предсказания билинейной интерполяцией, то есть в качестве интерполированного значения матрицы С2В' использовать четверть суммы четырех соседних значений матрицы С2А', то есть значений, индексы позиций которых в матрице С2А' отличаются не больше, чем на единицу от индексов предсказываемого значения в матрице С2В'. Полученные значения поправок обозначим dY.

Для сохранения среднего уровня сигнала в канале зеленого (после цветопреобразования - канала яркости) для матрицы С2А' с помощью поправок, хранимых в матрице С2В', делается следующая операция: к каждому значению матрицы С2А' добавляется одна восьмая от суммы ближайших соседних поправок, хранимых в матрице С2В'. Операция сохранения среднего может быть любой, при выполнении следующего условия:

Полученные обновленные значения матрицы С2А' обозначим YA'.

Таким образом, получаем из матриц С1', С2А', С2В', С3' соответственно матрицу со значениями цветоразности Cr - DC1, матрицу со значениями яркости YA', матрицу поправок dY, матрицу со значениями цветоразности Cb - DC3.

После выполненных преобразований от матриц переходят к каналам: С1T, C2AT, С2ВТ и С3Т. При этом значения каналов необходимо выбирать из позиций матриц, соответствующих позициям с ненулевыми значениями исходных матриц. Из этих каналов три являются дифференциальными.

Формальное описание обратного преобразования цветовых каналов следующее:

1. Получение из цветовых каналов: С1Т, С2АТ, С2ВТ и С3Т полноразмерных расширенных матриц DC1, YA', dY, DC3.

2. Отмена операции сохранения среднего для YA' путем применения к матрице, полученной поэлементным сложением YA' и dY, фильтра со следующей импульсной характеристикой:

с последующим прореживанием получившейся матрицы (все позиции, кроме тех, в которых изначально были ненулевые значения YA', заполняются нулями). Таким образом, получаем матрицу YA.

3. Построение предсказателей для ненулевых значений матрицы YB по ненулевым значениям матрицы YA достигается путем применения к матрице YA в позициях, соответствующих ненулевым значениям матрицы YB, интерполирующего фильтра со следующей импульсной характеристикой:

Полученную матрицу обозначим Р.

Получение значений YB: YB=dY+P (операция поэлементного сложения, выполняется только для ненулевых значений матрицы dY).

4. Получение интерполированных значений для матриц YA и YB в позициях расположения ненулевых значений матриц DC1 и DC3, достигается применением к сумме матриц YA и YB фильтра со следующей импульсной характеристикой:

Обозначим полученную матрицу как Y'.

5. Получение матриц С1' и С3' из цветоразностных матриц DC1 и DC3 в точках расположения ненулевых значений матриц DC1 и DC3:

где b1, b2 - некоторые вещественные коэффициенты, которые в случае БМИ таковы: b1=0,7133; b2=0,5643.

6. С помощью линейной интерполяции матриц С1' и С3' получаются данные в позициях, где находятся ненулевые значения YA и YB. Полученные интерполированные значения матрицы обозначим С1'i и С3'i.

7. Преобразование ненулевых значений YA и YB в С2А', С2В' по следующим формулам:

где а1, а2, а3 - некоторые вещественные коэффициенты, которые в случае БМИ таковы: а1=0,299; а2=0,587; а3=0,114.

8. Получение из полноразмерных расширенных матриц С1', С2А', С2В', С3' восстановленных цветовых каналов: С1, С2 и С3 (фиг.1).

Указанный способ сжатия реализуется устройством.

На фиг.1 изображен структура полноразмерных расширенных цветовых матриц.

На фиг.2 представлена общая структурная схема устройства сжатия цифровых изображений.

На фиг.3 представлена структурная схема блока преобразования цветовых каналов.

Устройство, реализующее описанный выше способ сжатия цветовых изображений, например БМИ, представлено на фиг.2 и состоит из блока захвата и предобработки цифрового изображения (блок 2.1), который соединен с блоком преобразования цветовых каналов (блок 2.2), связанным с блоком сжатия (блок 2.3) и затем блоком хранения и передачи сжатых данных (блок 2.4).

Блок преобразования цветовых каналов (фиг.3) включает в себя следующие блоки. Блок формирования расширенных матриц (блок 3.1) производит преобразование входных цветовых каналов С1, С2, С3 и имеет три входа: С1, С2, С3. Выход С1' блока 3.1 соединен с входом блока вычисления интерполированных значений С1 (блок 3.2), а выход С3' с входом блока вычисления интерполированных значений С3 (блок 3.3). Выход С1'i блока 2 соединяется с блоком вычисления значений YA (блок 3.4) и блоком вычисления значений YB (блок 3.5). Выход блока C3'i соединяется с блоком 3.4 и 3.5. Выход блока 3.1 С2А' соединяется с блоком 3.4, а выход блока 3.1 С2В' - с блоком 3.5. Выход блока 3.4 YA соединен с блоком вычисления значений Y' (блок 3.6), а также блоком вычисления поправок dY (блок 3.7) и блоком сохранения среднего (блок 3.10). Выход блока 3.5 YB соединен со входом блока 3.6 и блоком вычисления поправок dY (блок 3.7). Выход блока 3.6 Y' соединен с блоком вычисления значений DC1 (блок 3.8) и блоком вычисления значений DC3 (блок 3.9). Кроме того, выход блока 3.1 С1' соединяется с входом блока 3.8, а выход блока 3.1 С3' соединяется с входом блока 3.9. Выход блока 3.7 соединяется с блоком сохранения среднего (блок 3.10). Выходы блока 3.7 dY, блока 3.8 DC1, блока 3.9 DC3, блока 3.10 YA' соединены с соответствующими входами блока формирования цветовых каналов (блок 3.12). Выходы блока 3.12 С1Т, С3Т, С2АТ и С2ВТ являются выходами блока преобразования цветовых каналов. Блок управления и генерации адресов (блок 3.11) имеет вход для получения конфигурационной информации и соединяется со всеми вышеперечисленными блоками блока преобразования цветовых каналов.

Устройство сжатия (фиг.2) работает следующим образом. Блок 2.1 является источником получения цветовых каналов с фотосенсора, а также проводит необходимую предобработку. В результате на вход блока 2.2 поступают цветовые каналы С1, С2, С3, которые в случае БМИ соответствуют каналам R, G, В. Блок 2.2 производит преобразование указанных цветовых каналов в С1Т, С2АТ, С2ВТ, С3Т, которые поступают на вход блока 2.3. Блок 2.3 производит прямое дискретное вейвлет-преобразование и квантование для каждого из цветовых каналов, статистическое кодирование, например, арифметическое кодирование или кодирование Хаффмана, формирует сжатый поток, который передается в блок 2.4, обеспечивающий хранение и передачу сжатых данных.

Рассмотрим работу блока преобразования цветовых каналов (фиг.3). В блок 3.11 на вход IS поступает конфигурационная информация о размерности обрабатываемых данных, диапазоне их изменения и т.п. Затем блок 3.11 формирует синхронизирующий импульс, который передается на вход SS блока 3.1. Блок 3.1 формирует расширенные матрицы С1', С2А', С2В', С3' в соответствии с правилом 1.1 указанного выше прямого преобразования цветовых каналов. Затем блок 3.11 формирует синхронизирующий сигнал, который подается на синхровходы SS блоков 3.2 и 3.3. В результате блок 3.2 осуществляет вычисление значений С1'i в соответствии с правилом 1.2, а блок 3.3 - вычисление значений С3'i по правилу 1.2. После этого блок 3.11 формирует синхроимпульс, который поступает на синхровходы блоком 3.4 и 3.5. Блок 3.4 вычисляет значения YA в соответствии с правилом 1.3. Блок 3.5 вычисляет значения YB в соответствии с правилом 1.3. После вычисления значений YA и YB блок 3.11 формирует синхроимпульс, который подается на синхровходы SS. Блок 3.6 осуществляет вычисление значений Y' по правилу 1.6. Блок 3.7 вычисляет значения поправок dY по правилу 1.4. Затем блок 3.11 генерирует синхросигнал, который подается на соответствующие входы блоков 3.8, 3.9 и 3.10. В результате блок 3.8 производит вычисление значений DC1 по правилу 1.7, блок 3.9 - вычисление значений DC3 по тому же правилу, а блок 3.10 - на основании значений dY и YA, поступающих на его входы, производит операцию сохранения среднего в соответствии с правилом 1.5. На выходе блока 3.10 формируются значения YA'. Блок 3.11 вырабатывает синхроимпульс, который поступает на вход блока 3.12. Блок 3.12 на основании значений DC1, DC3, dY, YA', которые подаются на его соответствующие входы, формирует цветовые каналы С1Т, С2АТ, С2ВТ, С3Т в соответствии с правилом 1.8.

Настоящее описание изобретения, в т.ч. состав и работу устройства, включая предлагаемый вариант его исполнения, предполагает дальнейшее возможное совершенствование специалистами и не содержит каких-либо ограничений в части реализации.

Изобретение относится к области обработки цифровых изображений и может быть использовано в системах захвата и сжатия изображений, например, фото-видеокамерах. Технический результат - увеличиние степени сжатия цифровых изображений, достигается тем, что для известного способа сжатия цифровых изображений, заключающегося в последовательном применении операций разделения необработанных цифровых данных, полученных с устройства захвата изображений, на множество каналов, с их последующим прямым цветовым преобразованием, вейвлет-преобразованием и квантованием, предложены измененные правила прямого цветового преобразования каналов, позволяющие более полно устранить корреляцию между цветовыми каналами изображения, за счет чего можно сжать данные до меньшего размера. Кроме того, при обработке байеровских мозаичных изображений предложенный способ сжатия позволяет перейти в систему цветопредставления YCbCr, для которой известны коэффициенты квантования. Применение этих коэфициентов приводит к получению меньшего по размеру сжатого изображения, чем в случае квантования исходных каналов R, G, В. Предложено также устройство для реализации способа. 2 н. и 3 з.п. ф-лы, 3 ил.

1. Способ сжатия цифровых изображений посредством последовательного применения операций разделения необработанных цифровых данных, полученных с устройства захвата изображений, на множество цветовых каналов, включая цветоразностные, каждый из которых подвергают двумерному дискретному вейвлет-преобразованию, квантованию и статистически кодируют, отличающийся тем, что операции разделения цветовых данных осуществляют путем получения четырех полноразмерных расширенных матриц из трех цветовых каналов (R, G, В), первая из которых (С') содержит значения первого канала (R), вторая (С2А') и третья (С2В') содержат значения второго канала (G), четвертая (С3') значения из третьего канала (В), с помощью интерполяции цветовых матриц, содержащих значения первого и третьего цветового каналов, получают данные в точках, где известны значения второго цветового канала, преобразуют значения во второй и третьей матрице (С2А', С2В'), используя интерполированные значения первой и четвертой матриц (C1i', С3i') в новые значения (YA и YB) по формуле

YA=a1·C1'i+a2·C2A'+a3·C3'i

YB=a1·C1'i+a2·C2A'+a3·C3'i'

где а1, а2, а3 вещественные коэффициенты,

с помощью интерполяции цветовых матриц, содержащих значения второго цветового канала, получают данные в точках, где известны значения первого и третьего цветовых каналов, преобразуют значения первой и четвертой матриц (С1', С3'), используя интерполированные значения второго канала (Y) в новые значения (DC1, DC2) по формуле

DC1=b1·(C1'-Y')

DC3=b2·(C3'-Y')

где b1, b2 вещественные коэффициенты,

по значениям второй матрицы путем предсказания получают третью матрицу, записывая в нее только поправки от предсказанных значений (dY), и от преобразованных полноразмерных матриц переходят обратно к цветовым каналам, три из которых являются дифференциальными.