СПОСОБ ПОЛУЧЕНИЯ ЦИФРОВОГО ИЗОБРАЖЕНИЯ С БОЛЬШИМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ Российский патент 2012 года по МПК G06T5/50 

Изобретение относится к технике получения цифровых изображений объекта с широким диапазоном яркости, преимущественно в аэрофотографических и разведывательных целях.

В большинстве случаев технической съемки (например, рентгеновская или аэросъемка), результирующее изображение формируется за счет совокупности малоконтрастных объектов наблюдения, находящихся в большом диапазоне яркостей. Основной причиной информационных потерь при съемке данных объектов является несоответствие динамического диапазона входного сигнала динамическому диапазону регистратора изображения. Это объясняется действием ряда факторов: перепад освещенности за счет теней от облаков, естественных и искусственных сооружений, дыма от заводских труб и других предметов; наличие в поле зрения съемочной камеры «бликующих» зеркально отражающих, в том числе водных поверхностей; широкий диапазон изменения коэффициента яркости естественных объектов съемки (от 0,02 для чернозема до 1,0 для свежевыпавшего снега); малый динамический диапазон приемников оптического излучения, используемых в съемочных камерах для регистрации изображения.

Известен способ расширения динамического диапазона передаваемых градаций яркости и/или освещенности в телевизионной системе (патент РФ 2199827). Весь световой диапазон регистрируется несколькими параллельными каналами, имеющими различную настройку. Способ не адаптирован для создания фотографических изображений.

Известен способ получения изображения объекта с большим диапазоном яркости (патент России 2383911). Экспонирование светочувствительного материала осуществляют через частотно избирательную фильтр-маску, которую предварительно строят на прозрачном элементе из фотохромного материала. Маска представляет собой нерезкое негативное изображение того же объекта. Использование способа предусматривает наличие дополнительного оптико-электронного канала и отличается сложностью из-за необходимости проведения точных юстировочных работ по совмещению изображений, формируемых оптическим и оптико-электронным каналами.

В большинстве случаев фотографирования практически весь диапазон объекта может быть зафиксирован при съемке одного и того же объекта при различных уровнях экспозиции. На этом основан ряд способов получения изображения с большим динамическим диапазоном оптического сигнала.

Известен способ получения изображения (патент США 6822762). Способ сводится к обработке изображения с большим диапазоном выходного сигнала. В свою очередь изображение с большим диапазоном выходного сигнала может быть предварительно получено известными способами из нескольких изображений одного и того же объекта при разных экспозициях. Изображение строят следующим образом. Предварительно создают маску в виде размытого изображения яркостного канала. Для размытия используют линейный фильтр низких частот. Далее значение каждой компоненты изображения попиксельно преобразуется с учетом значения маски. Предложенный способ позволяет усилить темные места изображения и ослабить светлые, снижая макроконтраст изображения, повышая контраст мелких деталей. Использование способа позволяет существенно улучшить изображение, приведя его к удобному для визуального восприятия виду. Вместе с тем, способ, за счет подавления низких пространственных частот, предполагает потерю части информации, которая в ряде случаев может быть полезной. Кроме того, по существу, способ не гарантирует получение наиболее информативных изображений, наиболее интересных дешифровщику.

Известен способ получения цифрового изображения объекта с большим динамическим диапазоном (патент России 2429584). Для реализации способа получают серию изображений одного и того же объекта при разных экспозициях. Для каждого пикселя каждого цифрового изображения рассчитывают или измеряют значение параметра, определяющего эффективность фотосъемки, после чего попиксельно строят результирующее изображение. При этом в каждый пиксель результирующего изображения заносят информацию из сопряженного ему пикселя цифрового изображения, для которого ранее полученное значение параметра, определяющего эффективность фотосъемки, имеет оптимальное значение. Способ позволяет получить качественное с точки зрения дешифрирования изображение, однако допускает потерю части информации об объекте фотографирования в области низких и средних пространственных частот.

Для минимизации потерь информации при регистрации цифровых изображений применяется технология HDR (High Dynamic Range), предусматривающая формирование изображений с большим динамическим диапазоном. Чаще всего итоговое HDR изображение составляют из цифровых значений, пропорциональных реальной яркости участков объекта фотографирования, соответствующих каждому пикселю изображения и записывают в вещественной форме в файл с большим числом разрядов (32 и более). Обычно такие изображения формируют из нескольких изображений с малым динамическим диапазоном LDR (Low Dynamic Range), полученных в результате съемки одного и того же сюжета при разных уровнях средней экспозиции или светочувствительности (так называемого брекетинга экспозиции или светочувствительности). При формировании HDR изображения сохраняется большой объем информации об объекте фотографирования во всем диапазоне пространственных частот. Полученные таким образом изображения допускают дальнейшую алгоритмическую обработку для обеспечения удобства их отображения на приборах с ограниченным динамическим диапазоном выходного сигнала (мониторы, фотопринтеры и т.д.). Вместе с тем потери информации на этапе формирования HDR изображения являются невосполнимыми.

Известен способ получения изображения путем восстановления карты яркостей с большим динамическим диапазоном из фотографий, имеющих меньший динамический диапазон (Debevec P.E., Malik J. 1997. Recovering High Dynamic range Radiance Maps from Photographs, SIGGRAH 97 Conference Proceedings, pp.369-378), являющийся наиболее близким аналогом заявляемого изобретения. Способ заключается в следующем. С использованием брекетинга экспозиции получают несколько изображений одного и того же объекта. После этого определяют кривую отклика фотографической системы (нелинейную функцию, связывающую цифровое значение каждого пикселя изображения со значением экспозиции светочувствительной поверхности матрицы, соответствующего данному пикселю). После определения кривой отклика ее используют для преобразования цифровых значений пикселей в соответствующие им экспозиции и впоследствии в относительные величины яркости объекта фотографирования.

Для повышения достоверности получаемых результатов, уменьшения эффекта артефактов и снижения уровня шумов в способе используют все доступные экспозиции конкретного пикселя, которые суммируют с определенным весовым коэффициентом в соответствии с формулой, которая в обозначениях оригинала имеет вид:

Где Е_i - освещенность поверхности матрицы, соответствующая i-ому пикселю в изображении; Δt_j - эффективная выдержка для j-ого кадра в серии снимков; Z_ij - цифровое значение, соответствующее i-ому пикселю в изображении для j-ого кадра в серии снимков; g(Z_ij) - кривая отклика фотографической системы, w(Z_ij) - весовой коэффициент; Р - число снимков в серии.

В свою очередь весовой коэффициент w(z) для любых значений числа z=Z_ij, выбирают из условия:

где Z_min и Z_max минимальное и максимальное цифровое значение разрядной сетки файла LDR изображения.

То есть при суммировании экспозиций максимальный «вес» придают той, которая находится ближе к средней части кривой отклика.

Способ позволяет сформировать изображение с большим динамическим диапазоном из фотографий, имеющих меньший динамический диапазон, отличается простотой и универсальностью. Вместе с тем он не свободен от недостатков. При описании способа приняты следующие основные допущения: картинка во время получения снимков является статичной; изменение средней экспозиции при получении серии снимков производится только с помощью изменения выдержки, в то время как распределение E_i остается неизменным, оптимальная экспозиция соответствует средней части кривой отклика. Однако данные допущения не всегда соответствуют реальным условиям фотографирования, в связи с чем, по существу, способ не всегда гарантирует получение наиболее информативных изображений, наиболее интересных дешифровщику. Параметр, определяющий эффективность съемки, далеко не всегда определяется только уровнем экспозиции. Чаще всего эффективность съемки оценивают по информационной емкости снимка или его разрешающей способности. На кривой отклика приемника оптического изображения (например, кривой отклика матрицы ПЗС или характеристической кривой фотопленки) существует достаточно узкий интервал экспозиций, для которого разрешающая способность изображения имеет максимальное значение. В зоне малых и больших экспозиций разрешающая способность падает за счет снижения контраста изображения из-за нелинейности кривой отклика. В области больших экспозиций имеет место насыщение, малых - доминирующее значение на разрешающую способность оказывают шумы. Однако и другие звенья фотоаппарата оказывают влияние на качество получаемого изображения. Прежде всего LDR изображения серии не всегда могут быть получены в статичных условиях только за счет изменения средней выдержки. Во время экспонирования в реальных условиях может быть сдвиг изображения. Кроме того, брекетинг экспозиции может быть сделан за счет изменения относительного отверстия объектива или коэффициента пропускания нейтрального светофильтра объектива. В обычных условиях брекетинг относительного отверстия объектива не проводят из-за различия в глубине резко изображаемого пространства снимков, полученных при разных значениях диафрагмы. В то же время при съемке плоских объектов (например, аэроландшафта с летательного аппарата), применение брекетинга относительного отверстия объектива вполне корректно. Также снимки серии могут быть получены в результате брекегинга светочувствительности или путем одновременного использования брекетинга экспозиции и светочувствительности. В этом случае оптимальная с точки зрения оценки эффективности экспозиция может не находиться в средней части кривой отклика приемника оптического излучения. Например, фрагмент объекта, изображение которого находится в средней зоне кривой отклика фотоприемника на одном снимке, может иметь более низкую разрешающую способность, чем тот же фрагмент объекта на другом снимке, изображение которого находится в другой зоне экспозиции. Это может определяться, например, различными выдержками при съемке. В первом случае некомпенсированный смаз изображения может оказать более существенное влияние на разрешающую способность, чем неоптимальная экспозиция. Аналогичный эффект может быть получен при разных относительных отверстиях объектива за счет аберрационных и дифракционных явлений. При использовании брекетинга светочувствительности изображение, находящееся в средней части кривой отклика, может быть менее информативным, чем аналогичное более светлое с другого снимка серии, из-за влияния шумов. Вместе с тем, с точки зрения дешифрирования наибольший интерес представляет изображение, несущее максимальную информацию о деталях данного объекта.

В основу изобретения положена задача повышения качества изображения объекта съемки, за счет составления его из наиболее информативных элементов изображений объекта, полученных при одинаковых внешних условиях и разных экспозициях. Это позволит минимизировать потери информации при получении изображения с большим динамическим диапазоном.

Поставленная задача решается за счет того, что в способе получения цифрового изображения объекта с большим динамическим диапазоном из серии цифровых изображений того же объекта, полученных при разных уровнях средней экспозиции или разной светочувствительности приемника оптического излучения и имеющих меньший динамический диапазон, при котором итоговое цифровое изображение составляют из цифровых значений, пропорциональных реальной яркости участков объекта фотографирования, соответствующих каждому пикселю изображения, для расчета которой используют цифровую информацию сопряженных пикселей каждого изображения с учетом весовых коэффициентов, в соответствии с изобретением сначала для каждого пикселя каждого цифрового изображения рассчитывают или измеряют значение параметра, определяющего эффективность фотосъемки, используя информацию от совокупности пикселей участка изображения, содержащей требуемый пиксель и отстоящих от него на заданном расстоянии, одновременно с этим для каждого пикселя каждого цифрового изображения рассчитывают весовой коэффициент ψ(i,j)=α·R(i,j), где R - параметр, определяющий эффективность фотосъемки, i - номер пикселя в изображении, j - номер серии цифрового изображения, α - коэффициент пропорциональности, кроме того, для каждого пикселя каждого кадра рассчитывают значение соответствующей ему яркости объекта фотографирования L(i,j), далее, рассчитывают значение реальной яркости соответствующих каждому пикселю участков объекта фотографирования , где р - число изображений в серии, после чего из оцифрованных значений L₀(i) составляют результирующее изображение.

Способ осуществляют следующим образом. С использованием брекетинга экспозиции или брекетинга светочувствительности приемника оптического излучения получают несколько изображений одного и того же объекта. После этого определяют кривую отклика фотографической системы (нелинейную функцию, связывающую цифровое значение каждого пикселя изображения со значением экспозиции светочувствительной поверхности матрицы, соответствующего данному пикселю). Кривая отклика может быть получена экспериментально или рассчитана аналитически. Далее, используя данные о параметрах камеры и условиях съемки, с учетом кривой отклика g(Z_ij), цифровое значение каждого пикселя каждого кадра Z_ij пересчитывают в значение, пропорциональное реальной яркости участка объекта фотографирования L(i,j), соответствующих конкретному пикселю. Кроме того, для каждого пикселя каждого цифрового изображения рассчитывают или измеряют значение параметра, определяющего эффективность фотосъемки R(i,j), используя информацию от совокупности пикселей участка изображения, содержащей требуемый пиксель и отстоящих от него на заданном расстоянии. Одновременно с этим для каждого пикселя каждого цифрового изображения рассчитывают весовой коэффициент ψ(i,j)=α·R(i,j) где i - номер пикселя в изображении, j - номер серии цифрового изображения, α - коэффициент пропорциональности. Коэффициент пропорциональности α (в общем случае нелинейный) выбирают исходя из требований к параметрам шума и резкости итогового изображения. В дальнейшем, на основании полученных данных, для участков объекта фотографирования, соответствующих каждому пикселю, проводят расчет значения соответствующей ему яркости объекта фотографирования , где р - число изображений в серии, после чего из оцифрованных значений L₀(i) составляют результирующее изображение.

В предложенном способе результирующее изображение с большим динамическим диапазоном формируется в результате суммирования приведенных к реальной яркости изображений объекта, полученных при разных экспозициях. При этом наиболее информативные элементы каждого изображения при суммировании имеют максимальный весовой коэффициент, что определяет высокое качество результирующего изображения.

Изобретение относится к технике получения цифровых изображений объекта, преимущественно в аэрографических и разведывательных целях. Техническим результатом является повышение качества результирующего изображения. Изображение с большим динамическим диапазоном формируют в результате суммирования приведенных к реальной яркости изображений объекта, полученных при разных экспозициях. Для каждого пикселя каждого изображения определяют значение параметра, определяющего эффективность съемки. Наиболее информативным элементам каждого изображения при суммировании присваивают максимальный весовой коэффициент.

Способ получения цифрового изображения объекта с большим динамическим диапазоном из серии цифровых изображений того же объекта, полученных при разных уровнях средней экспозиции разной светочувствительности приемника оптического излучения и имеющих меньший динамический диапазон, при котором итоговое цифровое изображение составляют из цифровых значений, пропорциональных реальной яркости участков объекта фотографирования, соответствующих каждому пикселю изображения, для расчета которой используют цифровую информацию сопряженных пикселей каждого изображения с учетом весовых коэффициентов, отличающийся тем, что сначала для каждого пикселя каждого цифрового изображения рассчитывают или измеряют значение параметра, определяющего эффективность фотосъемки, используя информацию от совокупности пикселей участка изображения, содержащей требуемый пиксель и отстоящих от него на заданном расстоянии, одновременно с этим для каждого пикселя каждого цифрового изображения рассчитывают весовой коэффициент Ψ(i, j)=α·R(i, j), где i - номер пикселя в изображении, j - номер серии цифрового изображения, α - коэффициент пропорциональности, R(i, j) - параметр, определяющий эффективность фотосъемки, кроме того, для каждого пикселя каждого кадра рассчитывают значение соответствующей ему яркости объекта фотографирования L(i, j), далее рассчитывают значение реальной яркости соответствующих каждому пикселю участков объекта фотографирования

где p - число изображений в серии, после чего из оцифрованных значений L₀(i) составляют результирующее изображение.