СПОСОБ УЛУЧШЕНИЯ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ Российский патент 2009 года по МПК G06K9/40 G06T5/00 

Описание патента на изобретение RU2367015C1

Изобретение относится к области обработки цифровых изображений и может быть использовано для уменьшения либо полного удаления искажений, возникающих в случаях применения других способов улучшения качества фото- и видеоизображений, таких как повышение резкости или разрешения изображения, фильтрация шума.

В настоящее время при обработке цифровых изображений широкое распространение получили различные способы повышения качества изображения. Так, многие современные цифровые фото- и видеокамеры оборудованы цифровыми процессорами обработки изображений, которые, в том числе, используются для повышения качества изображения. Однако требование мобильности, а также стоимости фото- и видеокамер не позволяет использовать в их составе мощные вычислительные средства. В результате во многих случаях используются усеченные либо упрощенные способы обработки, при которых возникают нежелательные побочные эффекты, такие как:

- появление двойных контуров-ореолов при дополнительном повышении резкости (в дальнейшем эффект halo);

- появление аналогичных искажений для некоторых типов интерполяций (в частности, широко используемой бикубической) при повышении разрешения.

Широко известен способ улучшения качества оригинального изображения при помощи программы Adobe Photoshop. В этом случае применяют смягчающий фильтр, который позволяет уменьшить искажения, появляющиеся в результате обработки оригинального изображения путем увеличения резкости.

Недостатком данного способа является отсутствие избирательности, т.к. фильтр применяется ко всем областям изображения. Поэтому с уменьшением искажений происходит потеря резкости по всему изображению.

Известен способ улучшения видеоизображения [1], при котором автоматически определяют искаженные области изображения, корректируют искажения расчетом откорректированных яркостей пикселей искаженных областей изображения.

Недостатком этого способа является возможность корректировки лишь тех участков изображения, в которых наблюдается так называемый блюминг, т.е. явление протекания заряда из соседних пикселей датчика при высоких значениях заряда.

Известен также способ коррекции динамического видеоизображения [2], представляющий собой коррекцию ступенчатых искажений (так называемая постеризация) в изначально монотонно закрашенных областях изображения, привнесенных, например, предварительным сжатием изображения.

Недостатком данного способа является невозможность корректировки двойных контуров-ореолов, корректируются лишь ступенчатые искажения.

Известен способ обработки оригинальных цифровых изображений [3], при котором улучшение качества изображения осуществляют путем увеличения резкости цветного изображения. При этом производят выделение яркостного канала из каналов различных цветов и, после повышения яркости, добавление яркостного канала обратно в цветовые каналы. Для повышения четкости изображения используют стандартный линейный фильтр с ядром размером 3×3, или 5×5, или 7×7 пикселей.

Недостатком этого способа является появление искажений в виде эффекта halo вследствие применения фильтра.

Наиболее близким к заявляемому изобретению является способ улучшения качества изображений путем повышения резкости [4], учитывающий особенности регистрирующих и воспроизводящих устройств. При этом способе осуществляется защита от пересвечивания мелких контрастных деталей, таких как листва, волосы, трава и т.д., путем смешивания данных оригинального изображения и изображения с повышенной резкостью с изменением весовых коэффициентов в локальной области в окрестностях пересвеченных объектов.

Недостаток способа заключается в том, что корректируются лишь те участки изображения с повышенной резкостью, которые приводят или могут привести к пересвечиванию. Кроме того, чтобы подвергать корректировке изображения указанным способом, необходим доступ к параметрам оригинального изображения.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке такого способа улучшения качества изображений, который позволил бы значительно уменьшить либо полностью удалить искажения, возникшие при обработке оригинальных изображений другими способами. При этом в качестве исходного объекта обработки используют лишь изображение с уже привнесенными искажениями. Данных о параметрах оригинального изображения и примененных способах обработки не требуется.

Поставленная цель достигается тем, что в известном способе улучшения цифровых изображений, который включает анализ параметров изображения, извлечение яркостной компоненты, построение корректирующего фильтра и корректировку изображения, построение корректирующего фильтра производят по усредненному профилю проекции путем вычисления амплитуд и направлений градиентов яркости изображения с последующим отбором участков изображения с высоким значением градиента и построением набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках. При этом корректировку изображения осуществляют следующим образом: вычисляют амплитуду градиента изображения, отбирают пиксели изображения в локальной области, примыкающей к граням, исключая пиксели, находящиеся непосредственно на гранях, и корректируют отобранные участки при помощи построенного ядра корректирующего фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.

На фиг.1 представлено цифровое изображение до обработки.

На фиг.2 - то же изображение после увеличения резкости. На снимке отчетливо виден эффект halo.

На фиг.3 - то же изображение после обработки заявляемым способом.

На фиг.4, 5, 6 показаны локальные проекции грани в направлении градиента:

фиг.4 - локальная проекция грани исходного изображения;

фиг.5 - локальная проекция грани после увеличения резкости, виден ореол (halo-эффект);

фиг.6 - локальная проекция грани после коррекции искажений заявляемым способом.

Улучшение исходных изображений заявляемым способом осуществляют следующим образом:

I. Анализ изображения для сбора параметров:

1. Извлечение яркостной компоненты.

2. Вычисление амплитуд и направлений градиентов яркости изображения.

3. Отбор участков изображения с высоким значением градиента (граней).

4. Построение набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках.

5. Вычисление усредненного профиля проекции по построенному набору локальных проекций.

II. Построение корректирующего фильтра по вычисленному усредненному профилю.

III. Корректировка изображения:

1. Вычисление амплитуд градиентов изображения.

2. Отбор пикселей изображения, находящихся в непосредственной близости от граней, исключая пиксели, находящиеся непосредственно на гранях. Для таких пикселей выполняется соотношение:

max(abs(grad(M)))/abs(grad(p))>Thr

где:

p - пиксель;

м - множество точек, окружающих данный пиксель;

Thr - некоторый предел, константа.

3. Корректировка найденных участков при помощи построенного фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.

Пример конкретного выполнения:

I. Анализ изображения для сбора параметров:

а. Извлечение яркостной компоненты.

Предположим, каждый пиксель изображения хранится в виде трех цветовых

компонент: R, G, В. Определяем яркостную компоненту (Y) по формуле:

Y=R*0.2989+G*0.587+В*0.114

Данное представление сигнала и вычисление яркостной компоненты является типичным при обработке фото- и видеоизображений и хорошо известно.

b. Вычисление абсолютного значения и направлений градиентов яркости изображения.

Gx(a,b)=Y(a-1,b-1)-Y(a+1,b-1)+Y(a-1,b+1)-Y(a+1,b+1)+2*Y(a-1,b)-2*Y(a+1,b)

Gy(a,b)=Y(a-1,b-1)+Y(a+1,b-1)-Y(a-1,b+1)-Y(a+1,b+1)+2*Y(a,b-1)-2*Y(a,b+1)

Ga(a,b)=Gx(a,b)*Gx(a,b)+Gy(a,b)*Gy(a,b)

Gx - компонента градиента в направлении х,

Gy - компонента градиента в направлении у,

Ga - квадрат абсолютного значения градиента,

a, b - координаты пикселя.

с. Отбор участков изображения с высоким значением градиента (граней), сортировка пикселей по убыванию абсолютного значения градиента и отбор первых N пикселей.

N=4*(W+H)/(W*H)

W, H - ширина и высота изображения в пикселях соответственно.

d. Построение набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках.

Определение такого из абсолютных значений Gх(а,b), Gy(а,b), которое является максимальным для данного пикселя в координате (a,b) (пиксели - из участков, выбранных на этапе с). С учетом знака получаем 4 варианта:

Если то собираем вектор проекции яркости V из пикселей в координатах abs(Gx)>abs(Gy) и Gx<0 Vi(1…15)=Y(a+7,b)…Y(a-7,b) abs(Gx)>abs(Gy) и Gx>0 Vi(1…15)=Y(a-7,b)…Y(a+7,b) abs(Gx)<abs(Gy) и Gy<0 Vi(1…15)=Y(a,b+7)…Y(a,b-7) abs(Gx)<abs(Gy) и Gy>0 Vi(1…15)=Y(a,b-7)…Y(a,b+7)

e. Вычисление усредненного профиля проекции по построенному набору локальных проекций.

II. Построение ядра корректирующего фильтра по вычисленному усредненному профилю.

f. Создание одномерного профиля фильтра

Pi=[Vavg(7+i)+Vavg(9-i)]/2 i=2…7

P1=1

g. Развертка одномерного профиля в радиально-симметричное двумерного ядра.

Матрица F размерами 15×15 элементов заполняется путем вычисления расстояния элемента матрицы от центра и выборки соответствующих значений из одномерного профиля Р с интерполяцией (например, линейной).

III. Корректировка изображения:

h. Вычисление амплитуд градиентов изображения.

Gx(a,b)=Y(a-1,b-1)-Y(a+1,b-1)+Y(a-1,b+1)-Y(a+1,b+1)+2*Y(a-1,b)-2*Y(a+1,b)

Су(а,b)=Y(a-1,b-1)+Y(a+1,b-1)-Y(a-1,b+1)-Y(a+1,b+1)+2*Y(a,b-1)-2*Y(a,b+1)

Ga(a,b)=Gx(a,b)*Gx(a,b)+Gy(a,b)*Gy(a,b)

Gx - компонента градиента в направлении x,

Gy - компонента градиента в направлении у,

Ga - квадрат абсолютного значения градиента,

a,b - координаты пикселя.

i. Отбор пикселей изображения в локальной области, примыкающей к граням, исключая пиксели, находящиеся непосредственно на гранях. Для таких пикселей выполняется соотношение:

w<3; w вычисляется по формуле:

где: (a, b) - координаты пикселя.

j. Корректировка отобранных участков при помощи построенного ядра корректирующего фильтра с регулировкой весовых коэффициентов (параметризацией) фильтра по локальным значениям амплитуды градиента. В данном варианте исполнения параметризуется только центральный элемент ядра фильтра, что функционально эквивалентно подмешиванию исходного изображения с некоторым весом.

где:

Y - яркостная компонента исходного изображения;

Y′ - яркостная компонента откорректированного изображения;

F′ - параметризованный фильтр.

α - нормирующий коэффициент, который выбирается таким образом, чтобы сумма элементов F′ равнялась 1.

Заявляемый способ улучшения цифровых фото- и видеоизображений позволяет значительно уменьшить, а в ряде случаев полностью устранить искажения. При этом как исходный объект обработки используют лишь изображение с уже привнесенными искажениями. Данных о параметрах оригинального изображения и примененных способах обработки не требуется.

СПИСОК ЛИТЕРАТУРЫ

1. Заявка на изобретение RU № 2005125325, Бюл. № 5, 2007 г.

2. Заявка на изобретение RU № 2006105328, Бюл. № 28, 2007 г.

3. Патент RU № 2298226, Бюл. № 12, 2007 г.

4. Патент US № 7268916 (прототип).

Похожие патенты RU2367015C1

название год авторы номер документа
СПОСОБ УЛУЧШЕНИЯ ИЗОБРАЖЕНИЙ 2009
  • Шмунк Дмитрий Валерьевич
  • Панич Евгений Александрович
RU2426264C2
СПОСОБ СУПЕРРАЗРЕШЕНИЯ ИЗОБРАЖЕНИЙ И НЕЛИНЕЙНЫЙ ЦИФРОВОЙ ФИЛЬТР ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ 2010
  • Шмунк Дмитрий Валерьевич
RU2431889C1
СПОСОБ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ 2011
  • Шмунк Дмитрий Валерьевич
RU2489752C2
СПОСОБ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ МАССИВА НЕОДНОРОДНЫХ ИЗОБРАЖЕНИЙ 2021
  • Катин Вячеслав Викторович
  • Чаровский Максим Александрович
  • Лупанчук Владимир Юрьевич
  • Скиба Валерий Александрович
  • Зайцев Александр Владимирович
  • Данилочев Дмитрий Валерьевич
  • Шиховцев Александр Леонидович
  • Лазарев Виктор Михайлович
  • Стручков Иван Евгеньевич
  • Кулак Александр Викторович
RU2767281C1
Способ повышения резкости цифрового изображения 2015
  • Беззубик Виталий Вениаминович
  • Белашенков Николай Романович
  • Васильев Владимир Николаевич
RU2680754C2
ОПТИЧЕСКАЯ СИСТЕМА ГИБРИДНОЙ РЕАЛЬНОСТИ С ЦИФРОВОЙ КОРРЕКЦИЕЙ АБЕРРАЦИЙ 2018
  • Шмунк Дмитрий Валерьевич
RU2679915C1
СПОСОБ И СИСТЕМА ПОДГОТОВКИ СОДЕРЖАЩИХ ТЕКСТ ИЗОБРАЖЕНИЙ К ОПТИЧЕСКОМУ РАСПОЗНАВАНИЮ СИМВОЛОВ 2016
  • Качер Ольга Арнольдовна
  • Загайнов Иван Германович
  • Логинов Василий Васильевич
RU2628266C1
МОБИЛЬНОЕ УСТРОЙСТВО С ОПТИЧЕСКИМИ ЭЛЕМЕНТАМИ 2014
  • Шмунк Дмитрий Валерьевич
  • Панич Евгений Александрович
RU2589750C2
Цифровая коррекция аберраций оптической системы 2017
  • Шмунк Дмитрий Валерьевич
  • Монарев Виктор Александрович
RU2716843C1
СПОСОБ ПОМЕХОУСТОЙЧИВОГО ГРАДИЕНТНОГО ВЫДЕЛЕНИЯ КОНТУРОВ ОБЪЕКТОВ НА ЦИФРОВЫХ ПОЛУТОНОВЫХ ИЗОБРАЖЕНИЯХ 2016
  • Безуглов Дмитрий Анатольевич
  • Мищенко Сергей Евгеньевич
  • Кузин Александр Павлович
RU2648954C2

Реферат патента 2009 года СПОСОБ УЛУЧШЕНИЯ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ

Изобретение относится к области обработки цифровых изображений, в частности, для уменьшения искажений. Техническим результатом изобретения является эффективное уменьшение и удаление искажений в цифровых изображениях с привнесенными искажениями. Предложен способ улучшения цифровых изображений, включающий анализ параметров изображения с последующим извлечением яркостной компоненты, построение корректирующего фильтра и корректировку изображения, причем корректировке подвергают изображения с искажениями, привнесенными предыдущими корректировками, без использования и анализа параметров оригинального изображения, при этом построение корректирующего фильтра производят по усредненному профилю проекции с построением набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках, корректировку изображения осуществляют, отбирая пиксели изображения в локальной области, примыкающей к граням, исключая при этом пиксели, находящиеся непосредственно на гранях, и корректируют отобранные участки при помощи построенного корректирующего фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента. 6 ил.

Формула изобретения RU 2 367 015 C1

Способ улучшения цифровых изображений, включающий анализ параметров изображения с последующим извлечением яркостной компоненты, построение корректирующего фильтра и корректировку изображения, отличающийся тем, что корректировке подвергают изображения с искажениями, привнесенными предыдущими корректировками, без использования и анализа параметров оригинального изображения, при этом построение корректирующего фильтра производят по усредненному профилю проекции с построением набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках, корректировку изображения осуществляют, отбирая пиксели изображения в локальной области, примыкающей к граням, исключая при этом пиксели, находящиеся непосредственно на гранях, и корректируют отобранные участки при помощи построенного корректирующего фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.

Документы, цитированные в отчете о поиске Патент 2009 года RU2367015C1

ГОНСАЛЕС Р
и ВУДС Р
Цифровая обработка изображений, Техносфера
- М., 2006, с.209-218, 351-352, 825-850, 868-867
Устройство для вычисления порядковых статистик последовательностей из @ - @ -разрядных чисел 1987
  • Василькевич Александр Владимирович
  • Дмитриев Александр Георгиевич
  • Кипецкий Юрий Антонович
SU1434424A1
US 7268916 В2, 11.09.2007
US 6259823 B1, 10.07.2001
US 6873741 В2, 29.03.2005
JP 8163408 A, 21.06.1996
Устройство для обработки изображений объектов 1987
  • Барановский Александр Алексеевич
  • Сапронов Игорь Анатольевич
  • Колесник Эдуард Миронович
  • Ключников Александр Сергеевич
SU1529262A1
US 2006072844 A1, 06.04.2006
ЯНЕ Б
Цифровая обработка изображений,

RU 2 367 015 C1

Авторы

Шмунк Дмитрий Валерьевич

Даты

2009-09-10Публикация

2008-05-12Подача