СПОСОБ ПОВЫШЕНИЯ КАЧЕСТВА ЦИФРОВОГО ФОТОИЗОБРАЖЕНИЯ Российский патент 2010 года по МПК G06T5/00 G06K9/40 

Изобретение относится к фототехнике и может применяться в процессах автоматизированной цифровой фотопечати для улучшения качества изображений.

Вследствие применения цифровых технологий современные фотокамеры обеспечивают не только удобный способ для регистрации и записи цифровых фотографий, но также и возможность редактирования, ретуширования и улучшения получаемых цифровых фото, как в самой фотокамере, так и с использованием персонального компьютера.

Последние технические решения типа «SoC» («System on Chip») дают основания утверждать, что в этой части фотопроцесса возможно полное устранение компьютера. Так, разработанный ассоциацией производителей фотокамер и устройств отображения CIPA (Camera & Imaging Products Association) стандарт "CIPA DC-001", известный под названием PictBridge (см. например, http://www.cipa.jp/pictbridge), уже сейчас обеспечивает унификацию процесса передачи и обработки данных входного и выходного устройств фотографического процесса, в частности фотокамеры и принтера.

Несмотря на то, что цифровые камеры предоставляют широкие возможности для интерактивных манипуляций с выбранными изображениями с учетом предпочтений фотографа или дизайнерских решений специалиста по обработке изображений, проблема улучшения изображений в автоматическом режиме представляет собой актуальную и содержательную техническую задачу.

В большинстве случаев финальные изображения характеризуются видимыми отличиями в передаче и восприятии динамических характеристик регистрируемых сцен. Это объясняется тем, что оптические сенсоры фотокамеры регистрируют физические характеристики светового потока, в то время как восприятие пользователя есть результат комплексных процессов, происходящих в его зрительной системе в процессе фоторецепции и анализа световых раздражений. Эти процессы описываются сложным нелинейным механизмом, который корректирует воспринимаемую локальную яркость и хроматическую компоненту в зависимости от уровня освещенности и цветового тона всей сцены. Последние экспериментальные результаты показывают, что зрительная система человека способна регистрировать яркость от 10^-6 до 10⁸ кд/м² или в абсолютном диапазоне 10¹⁴:1 (на самом деле зрительная система человека не может регистрировать световой поток во всем световом диапазоне одновременно; максимальный диапазон покрытия составляет от 10000 до 30000 к 1).

Результаты фотометрических измерений демонстрируют широкий динамический диапазон многих повседневных сцен: от теней во внутренних помещениях (1 кд/м²) до границы насыщения - белые облака при ярком солнечном свете (49000 кд/м²). Сравнительные фотометрические данные представлены в Табл.1.

Таблица 1. Фотометрия сцен (выдержка из Jobson et al. A multiscale Retinex for bridging the gap between color images and the human observation of scenes, IEEE Transactions on Image Processing, vol.6, No.7, 1997, pp. 965-976. [1]) Характеристики сцены кд/м² Визуальное насыщение (белые облака вблизи от солнца) 49000 Вблизи насыщения (облака в удалении от 18000-37000 солнца)   Наружные фасады зданий - яркое солнце 7000-13000 Голубое небо - утром 4600 Бетонный тротуар     На солнце 3200   В тени 570   В глубокой тени 290 Внутренняя часть помещения -   флуоресцентное освещение     Пол 36-140   Области тени 4-18 Внутренняя часть помещения     Стены 29   Области тени 1-6

Как видно из Табл.1, видимость в помещении, на нижней границе диапазона, крайне низкая - порядка нескольких единиц кд/м², при этом снаружи достигаются несравнимо более высокие значения - 10000 кд/м² и выше. С точки зрения фотографической широты регистрирующего устройства такие сцены характеризуются расширенным динамическим диапазоном (HDRI - "high dynamic range images"): разница между самой темной и самой яркой точкой сцены оказывается большей, чем диапазон между самым светлым и самым темным пикселом, который в состоянии зафиксировать фотоаппарат.

Зрительная система человека оперирует HDR-изображениями посредством локальной адаптации к отдельным участкам сцены, что обеспечивает способность выделять детали как в теневых областях, так и в областях, характеризуемых высокой освещенностью.

Реализация такой адаптации в цифровых камерах является затруднительной. Устройства, в основе которых лежит технология изготовления сенсорных элементов в виде приборов с зарядовой связью (ПЗС-матрицы), обеспечивает адекватное воспроизведение HDR-сцен в диапазоне 2500:1. С технической точки зрения, часть градаций яркости изображения не будет зафиксирована матрицей цифрового фотоаппарата и будет потеряна. Тем не менее, этого диапазона оказывается в общем случае достаточно для того, чтобы вместить вариации освещенности внутри отдельной сцены, а изменение диапазона от сцены к сцене может быть достигнуто дополнительной подстройкой апертуры объектива.

Понятно, что передача динамического диапазона значений тонов, которые могут содержаться в электронном файле, от самого светлого до максимально темного, является актуальной проблемой и современной цифровой печати, поскольку динамический диапазон принтера характеризуется во многих случаях величиной 100:1.

Таким образом, утрата деталей в областях тени, а также в областях, отличающихся высокой освещенностью, объясняется, в частности, неадекватной компрессией (отображением) динамического диапазона сцены в процессе печати.

Способы компрессии динамического диапазона, известные из уровня техники, можно, согласно R.Fattal, D.Lischinski, M.Werman Gradient domain high dynamic range compression, ACM Transaction on Graphics (TOG), vol.21 (3), 2002, pp.249-256 [2], подразделить на две группы:

- глобальные, т.е. пространственно инвариантные, отображения и

- локальные, т.е. пространственно зависимые, отображения.

Глобальные преобразуют яркость каждого пикселя, используя фиксированную кривую тоновоспроизведения TRC («Tone Reproduction Curve»), которая строится, используя некоторые усредненные характеристики всего изображения. Наиболее часто в качестве такой характеристики применяется средняя логарифмическая яркость. Простота этих алгоритмов очень притягательна, но детали изображений часто теряются в особо ярких или очень темных областях изображения, где динамический диапазон особенно велик.

В локальных отображениях преобразование яркости в каждом пикселе зависит от средней яркости окрестности преобразуемого пикселя. Наиболее трудной и вычислительно дорогостоящей проблемой алгоритмов такого типа является правильное определение размера локальной окрестности для каждой точки. В случаях, когда это сделано не совсем корректно, могут возникать разнообразные артефакты.

Воспроизведение сцены, отличающейся высоким динамическим диапазоном, можно также осуществить посредством регистрации набора изображений интересующей сцены с различными временами экспозиции. При этом на недоэкспонированном изображении будут проработаны тени, а на переэкспонированном - детали в светлых областях. Динамический диапазон итогового снимка расширяется за счет специального смешивания («blending») «недодержанной» и «передержанной» версий.

Одним из наиболее эффективных методов реализации технологии локальных (т.е. пространственно зависимых) отображений является предложенная Лэндом ретинекс-теория цветового зрения. Термин Ретинекс («Retinex») - неологизм, образованный от латинских слов «Retina» (сетчатка) и «Cortex» (кора головного мозга). Эдвин Лэнд формулировал название данной теории, комбинируя название сетчатки глаза и коры головного мозга, с целью создания информационной модели цветового зрения, основанной на вполне определенных допущениях о свойствах реального мира. В техническом плане речь идет о методе обработке изображения, придающем ему зрительный реализм по двум аспектам: согласование динамического диапазона и обеспечение цветового постоянства (см. Е.Н.Land and J.J.McCann Lightness and Retinex theory, Journal of the Optical Society of America, vol.61, 1971, pp.1-11. [3], Е.Н.Land The Retinex theory of color vision, Scientific American, vol.237, 1977, pp.108-128. [4], Е.Н.Land An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision, Proceedings of the National Academy of Science, Volume 83, pp.3078-3080, 1986. [5]).

Реализация подхода Лэнда к цветовому зрению применительно к области обработки цифровых изображений раскрывается в целом ряде технических решений.

Первоначальный вариант алгоритма, построенного на основе ретинекс-теории, изложен в U.S. Pat. No. 4,384,336 [6].

Последующие алгоритмические модификации, имеющие отношение к предмету настоящего изобретения, раскрыты в U.S. Pat. No. 5,991,456 [7], U.S. Pat. No. 6,760,484 [8], U.S. Pat. No. 6,804,409 [9], U.S. Pat. No. 6,807,299 [10], U.S. Patent Application No. 2004/0091164 [11]. В этих патентных документах описываются варианты реализации ретинекс-обработки исходного изображения I в форме Single-scale Retinex (SSR) и Multi-scale Retinex (MSR).

Операция SSR над исходным изображением I(х,у) представляется в виде

,

где I_i(x,y), i=1,…,3 - значение яркости i-й спектральной компоненты в произвольной точке (х,у); символ ⊗ означает операцию свертки. При этом F(x,y) - функция «окружения» («surrounding function») (в терминах ретинекс-теории), действующая на каждый пиксел преобразуемого изображения и s - гауссова константа окружения, аналогичная величине σ, применяемой для обозначения стандартного отклонения. Гауссова константа окружения s представляет собой величину, которая характеризует масштаб («scale») ретинекса. Член I_i(x,y)⊗F(x,y) эквивалентен взвешенному среднему значению интенсивности окружающих точек пикселов относительно рассматриваемого пиксела изображения. Таким образом, применение функции окружения F(x,y) означает учет вклада соседних элементов изображения в зрительное восприятии текущего пиксела.

Результат операция SSR сильно зависит от значения константы окружения s, выбор которой определяется, в свою очередь, как динамическим диапазоном изображения в целом, так и его отдельных областей.

Операция MSR (см. U.S. Pat. No. 6,834,125 [12]) разработана для преодоления указанной сложности, а также с целью сделать SSR решение более приспособленным для обработки произвольного изображения.

Операция MSR представима в виде:

,

где n обозначает номер ретинекс-маски, ω_n весовой коэффициент, характеризующий вклад операции SSR с маской s. Следовательно итоговое значение MSR рассчитывается как взвешенная сумма нескольких SSR операций над исходным изображением, осуществляемых с разными ретинекс-масками. Моделирование MSR показывает, что оптимальный выбор размера маски, а также количества масок позволяют достичь существенного прогресса при решении задачи согласования динамических диапазонов устройств регистрации и отображения (см. Zia-ur Rahman, D.J.Jobson, G.A.Woodell, Retinex processing for automatic image enhancement, Journal of Electronic Imaging 13(1), January 2004 [13]).

В частности, установлено, что использование масок с малым числом элементов обеспечивает хорошую компрессию динамического диапазона, достигаемую, однако, ценою утраты корректной цветопередачи в однородных цветовых областях. Данное обстоятельство является объяснимым, поскольку в этих областях нарушается предположение о «сером мире», на котором базируется ретинекс: «Сумма всех цветов на изображении естественной сцены дает серый цвет». С другой стороны, протяженные маски обеспечивают более качественное цветовоспроизведение ценою потери качества компрессии динамического диапазона.

Суммируя вышесказанное, MSR нацелен на достижение компромисса между компрессией динамического диапазона и цветопередачей посредством комбинации нескольких SSR с набором масок. Наиболее часто упоминаемым в прототипах являются набор масок размерности 15, 80 и 250 пикселов. Использование других значений также имеет место в статье Т.Watanabe, Y.Kuwahara, A.Kojima, T.Kurosava An adaptive multi-scale Retinex algorithm realizing high color quality and high-speed processing, Journal of Imaging Science and Technology, vol.49, No.5, 2005, pp.486-497 [14], при этом минимальное и максимальное значение размерности маски рассчитываются исходя из размерности и характеристических особенностей изображения.

Нетрудно увидеть, что непосредственное применение ретинекс-технологии соответствует выполнению операций свертки, что сопряжено со значительными вычислительными затратами. В выложенной заявке США No. 2006/0078222 [15] изложены методы, направленные на оптимизацию алгоритмических решений, основанных на ретинекс-технологии.

В подходе [8]-[10] для гауссова размытия используется ускоренная схема вычислений, в которую дополнительно вводится ряд пороговых значений. Описанный способ используется в технологии HP "Adaptive Lighting". Основная идея метода заключается в применении модифицированного MSR к каналу яркости, которая рассчитывается как max (R, G, В). Результат модифицированного MSR рассматривается в дальнейшем в форме маски, добавляемой к R, G и В каналам. Современный подход к проблеме расчета MSR, оптимизированный по времени и по объему требуемой памяти, отражен в опубликованной заявке США US Pat. No. 6,947,176 [18].

Проблема обеспечения локального контраста как для стандартных цифровых изображений, так и для изображений с расширенным динамическим диапазоном непосредственно связана с проблемой выделения отражательной способности R(x,y) (reflectance или albedo). Исходное изображение I(х,у) рассматривается при этом как произведение отражательной способности R(x,y) и освещенности (luminance) L(x,y) в каждой точке (х,у), т.е.,

I(x,y)=L(x,y)·R(x,y).

В рамках данной модели изменения, связанные с освещением, имеют в целом постепенный характер, проявляясь обычно в виде гладких градиентов освещенности, в то время как изменения, связанные с вариациями отражательной способности, проявляют тенденцию к резкости. При этом отражательная способность реальных сцен не создает более высокий контраст, чем 100:1 (см. R.Fattal, D.Lischinski, М.Werman Gradient domain high dynamic range compression, ACM Transaction on Graphics, vol.21, No.3, 2002, pp.249-256 [16]).

Таким образом, улучшение зрительного восприятия воспроизводимого изображения может быть достигнуто разделением эффектов, связанных с изменением освещения, и эффектов, связанных с изменениями отражательной способности, т.е. L и R компонент, получением скорректированной оценки функции освещенности и последующим смешиванием и R, например, посредством умножения

.

Эта операция уменьшает контраст между ярко освещенными областями и тенями, не изменяя при этом контраста текстуры и отражательных характеристик поверхности.

Система и способ раздельного определения L и R компонент раскрыты, в частности, в патенте US No. 6,941,028 [17], который выбран в качестве прототипа заявляемого изобретения. В [17] решается задача определения экстремума функционала по L, в предположении, что минимум этого функционала соответствует наилучшей аппроксимации L. Отыскание экстремума функционала выражается в форме вариационной задачи с ограничениями следующего вида: 1) функция освещенности L ищется в классе гладких функций; 2) значения альбедо, т.е. отношение количества рассеянного во все стороны излучения к величине падающего на поверхность полного его потока (от лат. albedo - белизна), находятся в интервале [0,1] - соответственно, при разложении изображения I на образующие его компоненты искомое решение должно удовлетворять неравенству L>I; 3) среди континуума возможных решений оценка освещенности L должна быть насколько возможно близкой к I, чтобы контраст R принимал максимальное значение; 4) вид функции R соответствует поведению типичной естественной сцены (т.е., отражательная способность R(x,y) описывается кусочно-гладкой функцией).

Достигнутый уровень технологии производства приборов с зарядовой связью, в частности ПЗС-матриц, а также комплементарных металло-оксидных полупроводников, составляющих основу сенсорных элементов современных цифровых фотокамер, обеспечил существенное повышение размерности исходных изображений, подвергающихся обработке разнообразными процедурами улучшения их качества. В частности, получают широкое распространение профессиональные камеры с 16 Мп ПЗС-матрицей. Аналогичные параметры имеют и устройства, базирующиеся на более дешевой в производстве КМОП-технологии. Объявленный в последнее время размер КМОП-матрицы в 16,8 Мп ставит базирующиеся на их основе цифровые устройства в один ряд с приборами, основанными на применении получивших широкое распространение ПЗС-матриц, имеющими более чем 30-летнюю историю. Например, профессиональная камера Canon EOS D30, представляющая новое поколение цифровых зеркальных фотокамер с полнокадровым CMOS-датчиком, демонстрирует вполне конкурентные результаты, позволяя снимать в широком динамическом диапазоне и передавать мельчайшие градации цвета в тени, а также полутона и светлые области.

Таким образом, оптимизация алгоритма обработки изображения, используемого в программно-аппаратных средствах, представляет собой важную задачу, в особенности, если алгоритм обрабатывает изображение в целом.

Основные недостатки всех известных решений заключаются в том, что большинство из указанных методов требуют для их реализации значительных вычислительных затрат, что существенно ограничивает область их применимости.

Кроме того, после корректировки в той или иной мере проявляются следующие дефекты:

- возникновение ореола («halo» эффект) вдоль резких перепадов яркости на изображении;

- цветовые искажения;

- усиление уровня шума во всем тоновом диапазоне или отдельно в области теней;

- чрезмерное усиление темных областей (черный цвет приобретает неприятный грязный оттенок);

- чрезмерное усиление средних и светлых тоновых областей;

- постеризация изображения (огрубление плавных градиентов интенсивности, выражающееся в заметных скачках тона при переходе от одного уровня к другому).

Несмотря на существенный прогресс в данной технической области, существующие методы регистрации, улучшения и воспроизведения изображений пока не в состоянии обеспечить такое высокое качество цифровых изображений, которое было бы полностью адекватно процессу обработки в зрительной системе человека. Применительно к области цифровой печати, алгоритмическое и программное обеспечение ретинекс-технологии также отсутствует.

Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы повысить качество изображения, сохранить и, по возможности, улучшить цветовую информацию, повысить резкость во всех тоновых диапазонах, устранить эффект постеризации изображения, обеспечить коррекцию крайне темных тонов изображения и, наконец, снизить уровень шума скорректированного изображения.

Поставленная задача решена путем разработки и применения усовершенствованного способа (метода) улучшения цифровых изображений, основанного на использовании модели формирования изображения, в которой производится разделение эффектов, связанных с отражательной способностью поверхности, и эффектов, связанных с характеристиками освещения сцены, который, в конечном итоге, включает в себя глобальное контрастирование, локальную коррекцию темных и светлых тонов, коррекцию шума изображения, а также увеличение резкости изображения. Метод не приводит к возникновению заметных ореолов, обеспечивает значительное повышение резкости во всех тоновых диапазонах, снижение постеризации и шума, коррекцию крайне темных тонов изображения.

Заявляемый способ улучшения цифрового изображения основан на использовании модели формирования изображения, в которой производится разделение эффектов, связанных с отражательной способностью поверхности R, и эффектов, связанных с характеристиками освещения сцены L, и состоит из следующих этапов:

- регистрируют изображение;

- вычисляют оценку качества изображения и принимают решение о необходимости коррекции изображения;

- осуществляют фильтрацию шума изображения;

- создают уменьшенную копию изображения;

- определяют из уменьшенной копии изображения пределы для последующего контрастирования на этапе коррекции;

- выделяют канал яркости исходного изображения;

- фильтруют канал яркости исходного изображения с использованием билатерального фильтра;

- корректируют изображение в соответствии с эмпирически найденным уравнением, основу которого составляет LR-модель формирования изображения:

где А - нижняя граница диапазона контрастирования уменьшенной копии изображения; Ф и Ψ - нижняя и верхняя границы контрастирования преобразованного изображения; J_B - компонента яркости исходного изображения после билатеральной фильтрации; γ - параметр нелинейного преобразования и J_F - компонента яркости улучшенного изображения;

- преобразуют результирующее изображение в цветовое пространство RGB.

При этом при реализации заявляемого способа целесообразно использовать билатеральный фильтр для фильтрации шумов. Предпочтительно, чтобы для фильтрации использовали такой билатеральный фильтр, в котором фильтрация осуществляется сначала по строкам, а затем по столбцам изображения:

где I_r(r,c) - результат фильтрации исходного изображения I для всех пикселов (r,с) по строкам; I_f(r,с) - результат фильтрации исходного изображения I для всех пикселов (r,с) по столбцам; u и w - гауссовские функции, применяемые для фильтрации по пространству и градациям яркости (стоп-функция) соответственно.

Для реализации заявляемого способа важно, чтобы создание уменьшенной копии изображения, осуществляемое посредством интерполяционного изменения частоты дискретизации исходного изображения, т.е. расчета яркости в точках, не принадлежащих исходному множеству точек изображения, в которых значения яркости известны, состояло из следующих этапов:

- вычисляют множество координат, в которых необходимо вычислить значения яркости;

- для каждой пары координат исходного изображения определяют координаты 16 ближайших соседей и рассчитывают значения элементов карты направлений краев, которые могут принимать значения от 1 до 8, в зависимости от значений частных производных в восьми направлениях;

- выполняют морфологические операции над картой направлений краев;

- для каждой пары рассчитанных координат выполняют одномерную интерполяцию в направлении, определяемом значением соответствующего элемента в карте направлений краев, при этом повторяют данный шаг для каждой цветовой компоненты;

- подчеркивают края на изображении для улучшения визуального восприятия изображения.

Для реализации заявляемого способа важно, чтобы оценка качества изображения, основанная на разбиении матрицы изображения на блоки и последующем анализе гистограмм блоков, составляющих изображение, с целью выявления и классификации дефектов экспозиции исходного цифрового изображения, включала в себя выполнение следующих операций:

- разбивают изображение на отдельные не перекрывающиеся между собой блоки;

- рассчитывают яркостную гистограмму каждого блока;

- проводят анализ яркостной гистограммы каждого блока;

- присваивают классификационный признак каждому блоку;

- изображение классифицируют как Нормальное, Темное, Светлое и Низкоконтрастное.

Для реализации заявляемого способа важно, чтобы на этапе коррекции предварительно вычисляли двумерную таблицу перекодировки, которая хранит скорректированные значения яркости в зависимости от исходной яркости (номер строки таблицы) и результата билатеральной фильтрации (номер столбца таблицы), что приводит к уменьшению времени коррекции.

Для реализации заявляемого способа важно, чтобы коррекция цифрового изображения, основанная на использовании модели формирования изображения, в которой производится разделение эффектов, связанных с отражательной способностью поверхности R, и эффектов, связанных с характеристиками освещения сцены L, производилась в устройстве фотопечати (фотопринтере), причем чтобы одновременно осуществлялось улучшение уменьшенной копии изображения, используемой в настоящее время во многих моделях принтеров для отображения на ЖК-мониторе, посредством применения билатеральной фильтрации и обработки фильтрованного изображения в соответствии с формулой

,

где T_B - преобразованное изображение уменьшенной копии после билатеральной фильтрации; T_F - результирующее изображение после «блендирования», т.е. специального смешивания уменьшенной копии и результата ее билатеральной фильтрации; γ - параметр, определяемый эмпирически.

Сущность заявляемого изобретения поясняется далее с привлечением чертежей.

Фиг.1. Схема базовых компонентов системы для реализации процедуры улучшения изображений, основанной на использовании LR-модели их формирования.

Фиг.2. Общая блок-схема алгоритма улучшения изображений, основанного на использовании LR-модели их формирования.

Фиг.3. Блок-схема этапов процесса построения карты направлений краев.

Фиг.4. Блок-схема этапов процесса обработки карты направлений краев.

Фиг.5. Блок-схема этапов процесса интерполяции изображения.

Фиг.6. Интерполяционная схема в случае, когда значения карты направлений краев принимают значения от 1 до 4.

Фиг.7. Интерполяционная схема в случае, когда значения карты направлений краев принимают значения от 5 до 8.

Фиг.8. Блок-схема этапов постобработки.

Фиг.9. Примеры кривых преобразования яркости для разных значений контролирующего параметра n.

Фиг.10. Блок-схема коррекции глобального контраста.

Фиг.11. Деление изображения на 2×2 и 3×3 частей.

Фиг.12. Блок-схема глобального и локального анализа цифровых изображений и классификации дефектов экспозиции.

Фиг.13. Блок-схема процесса выбора возможной техники коррекции изображения.

Фиг.14. Результаты классификации и соответствующие гистограммы.

Фиг.15. Результаты глобальной и локальной классификации недоэкспонированного изображения.

Фиг.16. Результаты глобальной и локальной классификации переэкспонированного изображения.

Фиг.17. Блок-схема алгоритма улучшения цифрового изображения, основанного на использовании LR-модели его формирования.

Фиг.18. Определение пороговых значений диапазона контрастирования А, Ф и Ψ из гистограммы уменьшенной копии изображения («thumbnail»).

Фиг.19. Пример улучшения изображения, зарегистрированного в сложных условиях освещения, с использованием LR-алгоритма.

Фиг.1 показывает схему взаимодействия основных компонентов системы в форме, достаточной для реализации предложенного метода улучшения изображения. Цифровое фотоизображение получают от одного или более входных устройств 101 или загружают с носителя 102. Цветные изображения сохраняют в цветовом пространстве RGB, при этом они имеют размерность N×М и глубину цвета d (n=d/3 - битов на цветовой канал). Полутоновые изображения имеют размерность N×М и глубину цвета n битов на пиксел. В том случае, если цветовое пространство исходного изображения отличается от RGB, возможно соответствующее преобразование цветового пространства. Носитель 102, в свою очередь, выполняют в форме съемного или стационарного устройства, которое включает магнитные диски, магнитные ленты или кассеты, CD-ROM, CD-RW, DVD, или произвольного устройства, которое может хранить изображение, содержащее информацию, или с которого цифровое изображение может быть считано. Носитель 102 может также содержать команды, используемые программным модулем 105 для автоматического анализа и коррекции цифровых изображений. Процесс анализа и оценки изображений осуществляют реальным или виртуальным процессором 106, который выполняет программу, записанную в блоке памяти 103. В мультипроцессорной системе программный код выполняется несколькими процессорами с целью увеличения производительности. Информационный обмен осуществляют через шину 104 данных. После обработки изображение посылают на одно или более выводных устройств 107, либо выгружают на носитель 102. Метаданные, соответствующие коррекции изображения, генерируют и записывают в файл цифрового изображения, содержащий улучшенное изображение, для предотвращения многократной оценки или коррекции изображения.

Фиг.2 демонстрирует этапы предварительной обработки исходного изображения, целесообразные с точки зрения последующего эффективного применения процедуры улучшения, основанной на использовании LR-модели. Первоначально осуществляется считывание (загрузка) исходного изображения 201 и проверяется выполнение условия 202: соответствует ли размерность исходного изображения размерности итогового изображения? Если условие не выполняется, производится необходимое изменение для согласования размеров цифрового изображения 203.

Во многих случаях современные камеры обеспечивают высокое качество исходных изображений, так что их последующая коррекция не требуется. Поэтому на шаге 204 проверятся условие: требуется ли исходному изображению дополнительная коррекция экспозиции? Если условие не выполняется, применяется процедура улучшения, основанная на использовании LR-модели 205. В большинстве случаев применение алгоритма не требует предварительной сортировки изображений по признакам качества экспозиции; предлагаемый алгоритм является достаточно стабильным: его влияние на восприятие нормально экспонированного изображения незначительно.

В результате выполнения предыдущих операций производится печать или сохранение обработанных изображений.

Далее последовательность операций, определенных блок-схемой на Фиг.2, описывается шаг за шагом поблочно.

Один из возможных методов интерполяции изображения 203, то есть расчета яркости в точках, не принадлежащих исходному множеству точек изображения, в которых значения яркости известны, состоит из следующих этапов:

- предварительная обработка изображения с целью удаления артефактов сжатия с потерями, если необходимо;

- для каждой пары координат исходного изображения определение координат пятнадцати ближайших соседей и расчет значений элементов карты направлений краев, которые могут принимать значения от одного до восьми, в зависимости от значений частных производных в восьми направлениях;

- выполнение морфологических операций над картой направлений краев;

- вычисление множества координат, в которых необходимо вычислить значения яркости;

- для каждой пары рассчитанных координат выполнение одномерной интерполяции в направлении, определяемом значением соответствующего элемента в карте направлений краев;

- повторение предыдущего шага для каждой цветовой компоненты;

- последующая обработка изображения для уменьшения артефактов и улучшения границ (т.е. подчеркивания краев).

Отметим, что шаг 203 является существенным этапом в последовательности алгоритмических действий (Фиг.2), поскольку размер обрабатываемого изображения оказывает непосредственное влияние на значения параметров последующей LR-коррекции.

Метод может быть применен как к цветным, так и к черно-белым (в оттенках серого) изображениям, и обеспечивает получение качественных и резких изображений высокого разрешения.

На Фиг.3 приведена блок-схема этапов реализации способа. Пусть I - исходное изображение, размер которого больше, чем четыре на четыре пиксела. Для каждого элемента исходного изображения производят следующую процедуру. Выделяют пятнадцать ближайших соседей обрабатываемой точки 302, т.е. для каждой пары координат i, j исходного изображения выделяют точки с координатами i+k, j+l, для всевозможных k и l, таких что -1<k<2, -1<l<2. Затем вычисляют абсолютные значения производных в четырех направлениях (шаг 303). В качестве приближения производных используют соответствующие конечные разности, вычисляемые по следующим правилам. Для каждой пары координат i, j исходного изображения

где I_x, I_y, I_d1, I_d2, I_xxy, I_yxx, I_xyy, I_yyx являются абсолютными значениями производных по восьми направлениям. На шаге 304 выбирают минимальное среди этих восьми производных по направлению. Индекс минимальной по направлению производной заносят в массив - карту направлений краев (шаг 305). Индекс для величин [I_x, I_y, I_d1, I_d2, I_xxy, I_yxx, I_xyy, I_yyx] выбирают как [1, 2, 3, 4, 5, 6, 7, 8] соответственно.

Фиг.4 иллюстрирует процесс обработки карты направлений краев в блоке интерполяции 203. Сначала к карте направлений краев применяют операцию удаления резких вариаций: для этого используют окно размером три на три элемента, выделяют восемь ближайших соседей (шаг 401). Если внутри окна существует, по крайней мере, три разных значения карты направлений краев со значениями, больше или равными пяти, то значение карты направлений краев в центральной части окна заменяют по следующему правилу: 5 и 6 заменяют на 1; 7 и 8 заменяют на 2 (шаг 402). Когда достигается последний элемент карты направлений краев (шаг 403), процесс обработки карты направлений краев переходит к следующему этапу. На последующих этапах (шаги 404-407) небольшие изолированные края (с индексами в карте направлений краев, большими или равными пяти), которые могут быть проявлениями шума в изображении, удаляют с помощью морфологических операций эрозии, с последующей дилатацией. Морфологическая операция эрозии помечает центральный пиксель как ненулевой, если все ненулевые элементы структурного элемента совпадают с ненулевыми элементами обрабатываемого массива (изображения). Морфологическая операция эрозии помечает центральный пиксель как ненулевой, если по крайней мере один ненулевой элемент структурного элемента совпадает с ненулевыми элементами обрабатываемого массива (изображения). Структурный элемент выбирают в зависимости от обрабатываемого значения карты направлений краев следующим образом:

Значение КНК Структурный элемент Значение КНК Структурный элемент 5       7       1 1 0 1 0 0 1 1 1 1   0 1 6       8       0 1 1 0 1 1 1 0 1 1   1 0

Фиг.5 иллюстрирует интерполяционную процедуру в ее наиболее предпочтительном применительно к целям настоящего изобретения варианте. Сначала строят множество точек, в которых необходимо вычислить значения яркости (шаг 501), и для каждой точки построенного множества производят следующую процедуру. Определяют координаты точки А (шаг 502), поскольку координаты этой точки в общем случае не совпадают с какими-либо координатами точек исходного изображения. Затем находят координаты шестнадцати ближайших соседей, принадлежащих исходному изображению (шаг 502), и соответствующее направление края считывают из карты направлений краев (шаг 504). Интерполяцию производят в соответствии со считанным значением из карты направлений краев. Этот процесс (шаг 505) будет далее описан подробней. Как только считано последнее значение из множества точек, в которых необходимо вычислить значения яркости, условие 505 считают удовлетворенным. Описанную процедуру, а именно шаги 502-505, производят для каждой цветовой компоненты, в цветовом пространстве RGB или YCrCb. После того, как условие 507 выполнено, изображение направляют на устройство вывода (принтер, дисплей или какое-либо другое) или сохраняют в память.

Фиг.5 и Фиг.6 подробно иллюстрируют метод интерполяции, упомянутый на шаге 505. В левой колонке таблицы указано значение карты направления краев, в соседней правой приведена соответствующая иллюстрация для интерполяции значений яркости изображения. Пусть требуется найти яркость в точке А (помеченной крестиком) сконструированного множества координат, окруженной шестнадцатью ближайшими соседями. Точки P₁ и Р₂ находят таким образом, что линия P₁P₂ проходит через точку А и ее наклон равен 45°, -45°, 26.5°, -26.5°, 63.5° или -63.5°. Значения яркости в точках P₁ и Р₂ находят с помощью одномерной линейной интерполяции, используя два значения по вертикали для точки P₁ и два значения по горизонтали для точки Р₂ (соответствующее ребро координатной решетки показано жирной линией). Для того, чтобы найти значения яркости в точке А, используют линейную интерполяцию между точками P₁ и Р₂. Заметим, что методы одномерной интерполяции здесь не ограничиваются линейной или кубической интерполяцией. Для расчета яркости в точках P₁, Р₂ и А могут быть использованы как различные интерполяционные функции, так и большее количество точек сетки.

Последующую постобработку производят, если необходимо подчеркнуть края и увеличить резкость.

Фиг.7 иллюстрирует основные шаги для подчеркивания краев. Сначала на шаге 801 определяют толщину краев, в вертикальном и горизонтальном направлениях, Kv и Kh соответственно, как округленные значения степени увеличения изображения по вертикали и горизонтали. Затем рассчитывают таблицу преобразований (look-up-table) кривой преобразования яркости, для усиления локального контраста (шаг 802). Кривая преобразования яркости отображает сегмент [0,1] в себя, и ее производная в точке 0,5 должна быть больше единицы. Результирующая резкость краев зависит от формы кривой, особенно от величины производной в точке 0,5: чем больше производная, тем резче получаются в результате края. Функцию для кривой преобразования яркости выбирают следующую:

где производная в точке х=0,5 контролируется параметром n. (На Фиг.9 приведены варианты кривой преобразования яркости для различных значений n.)

Далее над каждым пикселем исходного изображения производят следующую процедуру. Сначала определяют цветовой канал c₁, в котором значение яркости является максимальным из трех, в цветовом пространстве RGB или YCrCb (шаг 803). Далее, на шагах 803-807, до тех пор, пока условие 808 не будет выполнено, обрабатывают значения яркости в данном канале. В некоторой окрестности находят минимальное и максимальное значения яркости, входной пиксель масштабируют на сегмент [0,1] (шаг 805):

На шаге 806 находят значение обрабатываемого пикселя, которое обозначают как f(I_sc), после чего производят масштабирование на сегмент [I_min, I_max] по следующей формуле:

В том случае, если изображение содержит более одной цветовой компоненты, оставшиеся компоненты находят как произведение значения соответствующей цветовой компоненты и отношения найденной величины и исходного значения этого цветового канала :

Как было указано, цветовой канал c₁ был выбран как максимальный среди трех , и . В случае, когда значение равно нулю, все остальные цветовые компоненты также равны нулю.

Процедуры, функционирующие в автоматическом режиме, требуют работоспособных алгоритмов анализа изображений, которые могут обеспечить решение о необходимости коррекции изображения (Фиг.2, блок 204), и если коррекция необходима, определить, какой тип коррекции следует применить и в какой степени.

Хотя дефекты цифровых изображений проявляются как на глобальном, так и на локальном уровнях, большинство методов, упомянутых выше, работают преимущественно с глобальными характеристиками изображения. Причина в том, что получение локальных статистик изображения требует выделения визуально важных областей, т.е. областей интереса, так чтобы необходимое улучшение производилось именно в этих областях.

В наиболее простом исполнении локальный анализ изображений заключается в подразделении изображения на ряд прямоугольных блоков (или областей) приблизительно одинакового размера. Так, например, в S.Bhukhanwala, Т.Ramabadran Automated global enhancements of digitized photographs, IEEE Transactions on Consumer Electronics, vol.40, No.1, 1994 [19] авторами используется деление изображения на одинаковое число горизонтальных и вертикальных прямоугольных областей. Как следствие, результирующий сегмент имеет то же отношение сторон, что и исходное изображение. Показано, что размер сегмента (или эквивалентно, число сегментов внутри изображения) является важным параметром алгоритма. Если размер сегмента слишком велик, то необходимое разрешение для идентификации локальных статистик изображения не будет достигнуто. Если размер слишком мал, каждый сегмент может содержать часть изображения, которая не важна сама по себе, т.е. контраст изображения может быть определен для больших областей, т.е. целого изображения (глобальный контраст) или для небольших областей изображения (локальный контраст). Высококонтрастные области оказывают наибольшее влияние на восприятие изображения. Это происходит из-за того, что высокий глобальный контраст означает лучшее выделение объекта от фонового окружения. Кроме того, высокий локальный контраст проявляет более отчетливо детали в ярких областях.

В алгоритме, обеспечивающем получение оценки качества изображения в заявленном изобретении (Фиг.2, блок 204), применяют разбиение оцениваемого изображения на блоки с целью его последующей характеризации как недоэкспонированного, переэкспонированного, низкоконтрастного либо нормального. При этом:

- выявление и классификацию недоэкспонированных, переэкспонированных, низкоконтрастных и нормальных изображений осуществляют посредством анализа гистограмм яркости как изображения в целом, так и его частей;

- оценивание изображений выполняют как на глобальном, так и на локальном уровнях, что обеспечивает более точное функционирование автоматической процедуры;

- анализ изображений и их оценку производят в автоматическом режиме, который не требует вмешательства эксперта или иного внешнего участия;

- оценка качества изображения, в частности, определение изображений нормального вида, существенно увеличивает производительность соответствующего программного обеспечения для фотопечати устранением процедур улучшения изображений, если таковые в действительности не требуются;

- настройка конфигурации программного обеспечения, реализующего предложенный способ оценки качества изображений, позволяет оптимизировать модуль коррекции изображений посредством добавления, удаления или упорядочивания соответствующих фильтров обработки;

- метаданные, характеризующие процесс коррекции изображения, могут быть сгенерированы и записаны в файл улучшенного изображения, что позволяет отказаться от многократной оценки качества или коррекции изображения. Данный момент является чрезвычайно важным, поскольку большинство алгоритмов улучшения цифровых изображений не включает предварительный анализ изображения. В автоматическом режиме данное обстоятельство является критическим и в процессе неоднократного применения процедуры коррекции может вести не к улучшению, а к ухудшению конечного изображения.

На Фиг.10 приведена блок-схема простой автоматической процедуры для определения недостаточного глобального контраста цифрового изображения (если таковой имеется) и последующей коррекции. Прежде всего, вычисляют глобальную гистограмму яркости Н исходного изображения I(r,с). Здесь r и с - индексы строки и столбца отдельного пиксела изображения. Если значения гистограммы для двух минимальных и двух максимальных значений яркости равны нулю ((H[0]==0 and Н[1]==0) или (Н[2ⁿ-3]==0 and H[2ⁿ-2]==0)), тогда выполняют глобальную коррекцию контраста.

Нижнюю границу диапазона для глобальной коррекции контраста определяют с помощью операции 1001:

где Н₀ - пороговое значение гистограммы, полученное в процессе обработки серии изображений, и Т - дополнительный порог, введенный с целью избежать чрезмерного потемнения изображения.

Верхнюю границу диапазона для глобальной коррекции контраста определяют с помощью операции 1002:

Дальнейшее линейное контрастирование выполняют во всех каналах на шаге 1002:

Глобальную гистограмму яркости Н пересчитывают на шаге 1003.

Оценку изображения выполняют на основе анализа двух наименьших и двух наибольших значений яркости глобальной гистограммы. Таким образом, коррекцию глобального контраста изображения выполняют по формулам (4)-(6) на основе полученных эмпирически значений величин порогов Н₀ и Т.

Помимо оценки качества целого изображения, изображение может быть сегментировано на несколько блоков, каждый из которых имеет собственную локальную гистограмму.

Фиг.11 демонстрирует процедуру деления изображения, при котором исходное изображение делят на 4 (Фиг.11.1) и 9 (Фиг.11.2) блоков. Такое разбиение в процедуре оценки качества изображения аналогично многоуровневому представлению изображения, используемому в алгоритмах поиска соответствий на изображениях, или нахождению областей интереса изображения для адаптивной коррекции экспозиции (см., например, L.Shu, М.Т.Özsu, V.Oria, R.Ng, An Extendible Hash for Multi-Precision Similarity Querying of Image Databases. In Proceedings of the 27^th International Conference on Very Large Database Systems (VLDB), Rome Italy, September 2001, pages 221-230. [20], G.Messina, A.Castorina, S.Battiato, A.Bosco, "Image Quality Improvement by Adaptive Exposure Correction Techniques". In Proceedings of IEEE ICME'03 International Conference on Multimedia and Expo 2003, Vol.I, pp.549-552, Baltimore USA, July 2003[21]). Разбиение на части является важным этапом в дополнительном определении визуально значимых областей внутри изображения и более точной оценки его качества с точки зрения погрешностей экспозиции, если таковые присутствуют. Так как число разбиений по вертикали и горизонтали одинаково, результирующие прямоугольники имеют такое же отношение сторон, как и в исходном изображении. Размер блока является важным параметром алгоритма. Если размер блока слишком велик, то необходимое разрешение для классификации значимых областей изображения не будет достигнуто. Если размер слишком мал, блок может содержать лишь однотонную часть изображения, которая будет классифицирована как низкоконтрастная область. На практике деление на «2×2» и «3×3» блоков дает удовлетворительные результаты для изображений размера от пяти мегапикселов и выше.

Фиг.12 демонстрирует блок-схему глобального и локального анализа цифровых изображений и классификации дефектов экспозиции, основанную на многоуровневом анализе изображений. Классификацию выполняют как на основе анализа целого изображения, так и его составных частей, что позволяет включить в процесс оценки локальные характеристики исходного изображения.

Вначале, на этапе 1201, производят трансформацию изображения из цветового пространства RGB в цветовое пространство YCbCr и анализируют значения пикселов Y яркостной гистограммы. Цветовые компоненты Cb и Cr оставляют без изменений. Используют следующую формулу преобразования:

Изображение может быть также преобразовано в другие цветовые пространства, например HSI, с отделением компоненты интенсивности (серый) от цветовой информации (цвет и насыщенность). После выполнения коррекции экспозиции (в случае необходимости) изображение преобразуют обратно в цветовое пространство RGB.

В процессе анализа яркостной гистограммы определяют параметры, полезные для последующей классификации данных экспозиции. Одна из возможных реализации вычислительного процесса раскрыта в заявке США №2004/0190789 [22]. Другое решение приводится в патентной заявке РФ 2005112311 [23].

В первом методе вычисление стандартного отклонения гистограммы служит основой для выявления глобальных проблем с контрастом и необходимости выравнивания гистограммы. Вычисление среднего значения гистограммы используется для того, чтобы определить, следует ли яркость увеличить для компенсации дефекта недоэкспонирования или уменьшить при наличии переэкспонирования.

Наиболее предпочтительным вариантом, используемым в настоящем изобретении, является разделение всего диапазона яркостей на 3 поддиапазона:

Тени (темные тона):

[0, T_Shadow] или [0, ((256/4)-1)] или [0, 63]

Средние тона:

Света (Светлые тона):

[T_Highlight, 255] или [3*(256/4), 255] или [192, 255],

где T_Shadow and T_Highlight - пороговые значения для темных и светлых тонов соответственно.

На этапе 1202 осуществляют разбиение изображения на части. Далее производят анализ качества изображения каждого блока изображения 1203 и присваивают каждому из блоков соответствующий классификационный признак. После того, как данная операция произведена для всех блоков, составляющих изображение, производят присвоение классификационного признака изображению в целом. На этапе 1204 осуществляют сравнение показателя качества изображения, вычисленного в 1203, с соответствующим пороговым значением. Если значение показателя качества изображения не превышает пороговое значение, то выполняют печать изображения 1205 (если требуется) или его сохранение. В противном случае производят каталогизацию изображения 1206 в отдельную директорию или удаление.

Фиг.13 представляет блок-схему алгоритма классификации изображения на основе параметров, полученных во время анализа яркостной гистограммы изображения, в частности среднего значения и стандартного отклонения σ, которые определяют как

Хотя конкретные параметры и пороговые значения определены эмпирически, они указаны выше лишь в качестве примера, и в других реализациях для классификатора могут быть использованы иные пороговые значения или иные параметры классификации изображений. Например, в случае обработки изображения с расширенным динамическим диапазоном (high/whide dynamic range image, HDRI, WDRI) пороговые значения классификатора будут совершенно иными.

На шаге 1301 производят проверку, является ли исходное изображение, поступающее с входного устройства либо загружаемое с носителя, пересвеченным или, иными словами, переэкспонированным? При этом среднее значение сравнивают с порогом яркости T_Highlight. Если превышает T_Highlight, то изображение классифицируют как Светлое (Яркое) (шаг 1302).

Если среднее значение гистограммы не превышает порога яркости, то на шаге 1303 выполняют проверку, является ли среднее значение гистограммы меньшим, чем пороговое значение теней изображения. В случае положительного ответа изображение классифицируют как Темное (шаг 1304); в случае отрицательного ответа на шаге 1305 контролируют, является ли стандартное отклонение меньшим, чем порог стандартного отклонения σ*. Если ответ "Да", то цифровое изображение классифицируют как Низкоконтрастное (шаг 1306), если ответ "Нет", то изображение классифицируют как Нормальное (шаг 1307).

В описанном варианте реализации пороговое значение в тенях равняется шестидесяти четырем, яркостный порог равняется ста девяносто двум и стандартное отклонение равняется тридцати двум.

В процессе моделирования на репрезентативной выборке цифровых изображений было установлено, что деление на девять частей дает приемлемую оценку качества. Дальнейшее деление не ведет к увеличению точности.

Фиг.14 показывает результаты классификации и обработанные с помощью предложенного алгоритма гистограммы изображений, содержащих различные типы дефектов.

Фиг.15 демонстрирует результаты классификации недоэкспонированного изображения (Фиг.15.1), произведенной на основе его анализа в целом, а также его соответствующую классификацию по четырем (Фиг.15.2) и девяти (Фиг.15.3) блокам. Гистограмма исходного изображения и результаты его классификации приведены справа. Темная, т.е. недоэкспонированная, область отмечена горизонтальной штриховкой, низкоконтрастная область обозначена черным цветом, а светлая, т.е переэскспонированная - вертикальной штриховкой. Области с корректной экспозицией не окрашены. Можно видеть, как увеличение числа областей проявляет тонкую структуру изображения.

Фиг.16 показывает оценку качества Светлого изображения.

Оценку качества изображения на основе параметра «Нормальное» можно получить из Таблицы 2. Значение параметра вычислено на основе оценок каждого отдельного квадранта: если одна часть из девяти оценена как нормальная, то значение параметра 100/9~11, две части соответствуют значению 22 и т.д.

Таблица 2 Оценка качества цифрового изображения в целом на основе параметра «Нормальное» для изображения, разделенного на девять частей Значение параметра «Нормальное», % Качество изображения 89-100 Отличное 78-88 Хорошее 55-77 Удовлетворительное Ниже 55 Плохое

Предлагается использовать описанный классификатор для обеспечения устойчивой работы произвольной процедуры улучшения изображения, функционирующей в автоматическом режиме, а не только на основе LR-модели формирования изображения. В наиболее предпочтительном для данного изобретения варианте в качестве процедуры улучшения может выступать техника коррекции экспозиционных погрешностей, нацеленная на одновременное выравнивание ярких и темных участков, или техника согласования динамического диапазона, основанная на применении ретинекс-алгоритмов. При этом модуль анализа и классификации изображений вначале определяет наличие в цифровом изображении соответствующих дефектов (классификация изображений). Затем производят обработку с использованием одного или нескольких фильтров, ориентированных на коррекцию дефектов экспозиции.

Для корректной работы системы автоматической корректировки необходимо вносить соответствующую запись в текстовую часть раздела Exif-файла с целью предотвращения повторной обработки, которая может привести к обратному результату.

Фиг.17 демонстрирует блок-схему метода улучшения цифровых изображений, основанного на использовании LR-модели их формирования (Фиг.2, блок 205).

Как известно, как при глобальной, так и при локальной коррекции области уровень шума и JPEG артефакты возрастают. По этой причине до непосредственного применения процедуры коррекции следует выполнить шумовую фильтрацию изображения (шаг 1701).

Одним из способов подавления шума является фильтрация с предохранением границ (edge preserving filtering) для каждой компоненты R, G, В.

Существует несколько типов фильтров с предохранением границ. В литературе они рассматриваются как фильтры для подавления шумов. Семейством простейших в реализации и эффективных с точки зрения временных затрат являются билатеральные (bilateral) фильтры (см. С.Tomasi, R.Manduchi "Bilateral Filtering for Gray and Color Images", Proc. IEEE conf. on Computer Vision, 1998. [24]). В общем виде семейство таких фильтров может быть представлено как

для всех (r, с) пикселов исходного изображения I, где S - размер пространственного ядра фильтра. Классическая реализация билатерального фильтра является нерекурсивной и использует гауссовские функции для фильтрации по пространству:

и по градациям яркости (так называемая стоп-функция границ):

где и - дисперсии по пространству и по градациям яркости соответственно.

Вычислительная сложность билатерального фильтра в классическом виде (11) для изображения размера N×N есть O(N²×S²), что требует значительных вычислительных затрат. В статье F.Durand, J.Dorsey "Fast bilateral filtering for the display of high-dynamic range images", SIGGRAPH 2002, pp.257-266 [25] приводится эффективный способ уменьшения времени вычисления билатерального фильтра для больших значений S. Данный алгоритм эффективен, когда S более 30-50, в зависимости от реализации двумерного FFT. Недостатком данного способа является сложность его реализации для обработки изображения отдельными блоками.

Поэтому для S<30 целесообразно применение билатерального фильтра, в котором фильтрация осуществляется сначала по строкам, а затем по столбцам изображения:

По аналогии со сверткой будем называть такой фильтр сепарабельным, хотя разделимость билатерального фильтра в математическом смысле не доказана. Вычислительная сложность сепарабельного билатерального фильтра O(2×N²×S). В [23] предлагается использовать билатеральный фильтр в соответствии с формулами (11)-(14) с параметрами S=3, σ_R=0,02(2ⁿ-1), или оценивать σ_R адаптивно. Другие варианты - это вычислять расстояние между цветами в цветовой системе Lab или по яркостной компоненте.

Альтернативная возможность шумоподавления (шаг 1701) заключается в применении предварительно оцененного и сохраненного профиля шума устройства регистрации изображения с тем, чтобы обеспечить аппаратную ориентацию шумовой фильтрации. Таким образом, профиль шума учитывает специфические особенности устройства ввода, использовавшегося для получения цифровых изображений. Одно из возможных решений заключается в применении метода вэйвлет-преобразований (см. A.V.Pereberin On systematization of wavelet-transforms Numerical methods and programming, vol.2, p.15-40, 2001 [26]).

Применительно к задачам обработки фотоизображений установлено, что для лучшего восприятия скорректированного изображения требуется осуществить дополнительное адаптивное выравнивание гистограммы. Эта идея реализована на шагах 1702-1708.

Аналогично тому, как это делалось на этапе оценки качества изображения (см. шаг 204 на Фиг.2), обрабатывают лишь яркостную компоненту (шаг 1702). Хроматические данные оставляют неизменными. Как указывалось ранее, изображение может быть также преобразовано в другие цветовые пространства, например HSI, HSV и др., с отделением компоненты интенсивности (серый) от цветовой информации (цвет и насыщенность).

Если размерность исходного изображения I равняется M×N пикселов, а размерность уменьшенной копии изображения Т равняется M_T×N_T пикселов, и при этом M_T не превосходит, скажем, двухсот пикселов, то значения M_T и N_T находят по следующей формуле:

.

На шаге 1703 производят расчет гистограммы H_T и одновременно вычисляют нижнюю границу диапазона контрастирования А (шаг 1704). Процедура вычисления нижней границы А демонстрируется на Фиг.18.1. Соответствующее математическое выражение имеет вид:

где .

На шаге 1705 к уменьшенной копии изображения Т применяют билатеральную фильтрацию и полученное фильтрованное изображение обрабатывают далее (шаг 1706) в соответствии с формулой

где T_B - преобразованное изображение уменьшенной копии после билатеральной фильтрации, а T_F - результирующее изображение после «блендирования», т.е. специального смешивания уменьшенной копии и результата ее билатеральной фильтрации. Значение параметра γ определено эмпирически; здесь и далее используют величину 1,5. Правильность выбора данного значения подтверждается также результатами моделирования, приведенными в прототипе [17]. Варьирование данного параметра позволяет сделать изображение оптимальным для восприятия того или иного эксперта. Оптимальное значение параметра γ может быть также установлено исходя из специфических характеристик внешнего устройства вывода (в наиболее предпочтительном в рамках данного изобретения варианте - принтера).

Гистограмму обработанной уменьшенной копии изображения T_F рассчитывают на шаге 1707. Нижнюю и верхнюю границы контрастирования, соответственно Ф и Ψ, гистограммы H_TF получают на шаге 1708 в виде:

где

и

где

(см. также Фиг.18.2).

Прежде чем использовать параметры Ф и Ψ для дальнейшей обработки целого изображения, необходимо особо отметить, что уравнение (17) обеспечивает попутно возможность формирования улучшенной версии уменьшенной копии изображения, которое в настоящее время часто используется во многих моделях принтеров для просмотра на экране ЖК-дисплея. Это отражено на Фиг.17 в виде отдельного сигнального выхода, обозначенного как T_F.

На шаге 1709 из изображения I рассчитывают полутоновое изображение J, после чего на шаге 1710 к нему применяют билатеральную фильтрацию. Полученное изображение обозначено как J_B. Далее, т.е. на шаге 1711, с помощью формулы:

производят вычисление изображения J_F на основе полутонового изображения J и отфильтрованного изображения J_B, причем цветовые каналы исходного изображения I обрабатывают с использованием J и J_F на шаге 1712.

Пример LR-процессирования цифрового изображения, полученного в сложных условиях освещения, приведен на Фиг.19: (Фиг.19.1) - Исходное изображение; (Фиг.19.2) - Изображение, полученное в результате применения раскрытого алгоритма.

Предлагаемый алгоритм может быть реализован в программно-аппаратных средствах получения или печати изображений, в виде программного обеспечения, а также в форме специализированных ретинекс-ориентированных математических сопроцессоров.

Наиболее существенные преимущества перед известными решениями заключаются в том, что заявляемый способ обеспечивает:

- повышение качества изображения, предназначенного для печати, посредством приведения динамического диапазона исходного изображения в соответствие с динамическим диапазоном печатающего устройства;

- сохранение и улучшение цветовой информации в процессе применения метода улучшения изображения;

- значительное повышение резкости во всех тоновых диапазонах;

- практически отсутствующий эффект постеризации изображения;

- коррекция крайне темных тонов изображения;

- уровень шума скорректированного изображения, после применения соответствующей процедуры фильтрации, ниже, чем у большинства известных авторам существующих решений.

Предлагаемый в заявляемом изобретении алгоритм применим для повышения качества изображений при их печати на фотопринтерах в тех случаях, когда устранение эффектов неравномерного освещения, а также адекватное восстановление отражательных характеристик регистрируемого объекта имеют важное значение.

Метод улучшения изображений, основанный на использовании LR-модели их формирования, эффективен также в фотопринтерах или МФУ, когда цифровая печать осуществляется в пакетном режиме.

При незначительных изменениях он также может быть использован для повышения качества захватываемых изображений в цифровых камерах, камерафонах, камкордерах или телевизионных камерах. Возможна модификация метода для дисплеев.

Изобретение относится к системам автоматизированной цифровой фотопечати. Техническим результатом является повышение качества изображения. Предложено использовать модель формирования изображения с разделением эффектов, связанных с отражательной способностью поверхности R, и эффектов, связанных с характеристиками освещения сцены L, при котором: вычисляют оценку качества зарегистрированного изображения и при решении о необходимости коррекции изображения фильтруют шум изображения; создают уменьшенную копию изображения; определяют из уменьшенной копии изображения пределы для последующего контрастирования на этапе коррекции; выделяют и фильтруют канал яркости исходного изображения; корректируют изображение в соответствии с эмпирически найденным уравнением LR-модели формирования изображения:

где А - нижняя граница диапазона контрастирования уменьшенной копии изображения; Ф и Ψ - нижняя и верхняя границы контрастирования преобразованного изображения; J_B - компонента яркости исходного изображения после билатеральной фильтрации; γ - параметр нелинейного преобразования и J_F - компонента яркости улучшенного изображения; и преобразуют результирующее изображение в цветовое пространство RGB. 6 з.п. ф-лы, 19 ил., 2 табл.

1. Способ улучшения цифрового изображения с использованием модели формирования исходного изображения, в которой производят разделение эффектов, связанных с отражательной способностью поверхности R, и эффектов, связанных с характеристиками освещения сцены L, состоящий из следующих этапов:
регистрируют исходное изображение;
вычисляют оценку качества исходного изображения и принимают решение о необходимости коррекции исходного изображения;
осуществляют фильтрацию шума исходного изображения;
создают уменьшенную копию исходного изображения;
определяют из уменьшенной копии исходного изображения пределы для последующего контрастирования на этапе коррекции;
выделяют канал яркости исходного изображения;
фильтруют канал яркости исходного изображения с использованием билатерального фильтра;
корректируют изображение в соответствии с эмпирически найденным уравнением, основу которого составляет LR-модель формирования изображения:

где А - нижняя граница диапазона контрастирования уменьшенной копии исходного изображения; Ф и Ψ - нижняя и верхняя границы контрастирования преобразованного изображения; J_B - компонента яркости исходного изображения после билатеральной фильтрации; γ - параметр нелинейного преобразования и J_F - компонента яркости улучшенного изображения;
преобразуют результирующее изображение в цветовое пространство RGB.

2. Способ по п.1, отличающийся тем, что для фильтрации шумов используют билатеральный фильтр.

3. Способ по п.2, отличающийся тем, что для фильтрации используют билатеральный фильтр, в котором фильтрация осуществляется сначала по строкам, а затем по столбцам изображения:


где I_r(r,c) - результат фильтрации исходного изображения I для всех пикселов (r,с) по строкам; I_f(r,c) - результат фильтрации исходного изображения I для всех пикселов (r,с) по столбцам; u и w - гауссовские функции, применяемые для фильтрации по пространству и градациям яркости (стоп-функция) соответственно, S - размер пространственного ядра фильтра.

4. Способ по п.1, отличающийся тем, что создание уменьшенной копии изображения посредством интерполяционного изменения частоты дискретизации исходного изображения, т.е. расчета яркости в точках, не принадлежащих исходному множеству точек изображения, в которых значения яркости известны, состоит из следующих этапов:
вычисляют множество координат, в которых необходимо вычислить значения яркости;
для каждой пары координат исходного изображения определяют координаты шестнадцати ближайших соседей и рассчитывают значения элементов карты направлений краев, которые могут принимать значения от одного до восьми в зависимости от значений частных производных в восьми направлениях;
выполняют морфологические операции над картой направлений краев;
для каждой пары рассчитанных координат выполняют одномерную интерполяцию в направлении, определяемом значением соответствующего элемента в карте направлений краев, при этом повторяют данный шаг для каждой цветовой компоненты;
подчеркивают края на изображении для улучшения визуального восприятия изображения.

5. Способ по п.1, отличающийся тем, что оценка качества изображения, основанная на разбиении матрицы исходного изображения на блоки и последующем анализе гистограмм блоков, составляющих изображение, с целью выявления и классификации дефектов экспозиции исходного цифрового изображения, включает в себя выполнение следующих операции:
разбивают исходное изображение на отдельные не перекрывающиеся между собой блоки;
рассчитывают яркостную гистограмму каждого блока;
проводят анализ яркостной гистограммы каждого блока;
присваивают классификационный признак каждому блоку;
изображение классифицируют как Нормальное, Темное, Светлое и Низкоконтрастное.

6. Способ по п.1, отличающийся тем, что на этапе коррекции предварительно вычисляют двумерную таблицу перекодировки, которая хранит скорректированные значения яркости в зависимости от исходной яркости, т.е. номера строки таблицы, и результата билатеральной фильтрации, т.е. номера столбца таблицы, что приводит к уменьшению времени коррекции.

7. Способ по п.1, отличающийся тем, что коррекция цифрового исходного изображения, основанная на использовании модели формирования изображения, в которой производят разделение эффектов, связанных с отражательной способностью поверхности R, и эффектов, связанных с характеристиками освещения сцены L, производят в устройстве фотопечати, т.е. фотопринтере, причем одновременно осуществляют улучшение уменьшенной копии исходного изображения, используемой для отображения на ЖК-мониторе, посредством применения билатеральной фильтрации и обработки фильтрованного изображения в соответствии с формулой

где Т_В - преобразованное изображение уменьшенной копии после билатеральной фильтрации; Т_F - результирующее изображение после «блендирования», т.е. специального смешивания уменьшенной копии и результата ее билатеральной фильтрации; γ - параметр, определяемый эмпирически.