СПОСОБ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ Российский патент 2001 года по МПК G06T5/00 G06T5/40 G06K9/00 G06K9/62 G06K9/68 G06K9/70 

Изобретение относится к оптоэлектронным средствам получения и обработки изображений и может найти применение в устройствах, предназначенных для визуализации поверхности и формы любых исследуемых объектов, в том числе в системах, используемых для определения местоположения и ориентации объектов по информации, получаемой с летательных аппаратов, например при проведении съемки поверхности земли, в навигации для координации траектории полетов транспортных средств, в геодезии при картографировании земной поверхности и т.п.

Реализация известных способов формирования изображений исследуемой поверхности, например, земной, предполагает использование систем, предназначенных для синтеза единого мозаичного кадра из отдельных изображений, формируемых несколькими ПЗС-линейками, установленными на летательном аппарате и выполняющими съемку подстилающей поверхности с небольшими взаимными перекрытиями. Синтез мозаичного изображения происходит с помощью программы, занесенной в память ПЭВМ, путем последовательного геометрического трансформирования отдельных изображений в область определения одного из них, выбираемого в качестве базового.

При этом в большинстве подобных систем геометрические различия изображений моделируются в виде плоскопараллельного смещения [1], либо в виде аффинного преобразования плоскости по коэффициентам, найденным на основе регрессионных зависимостей, составленных на основе координат одноименных объектов в общих областях смежных изображений [2]. Яркостные различия задаются в виде аддитивного шума или полагаются отсутствующими. Такие модели являются упрощенными по отношению к задаче высокоточного формирования мозаичного изображения, для решения которой необходимо иметь строгое и точное описание взаимного геометрического и фотометрического соответствия между совмещаемыми изображениями.

К одному из известных способов воспроизведения изображения можно отнести способ, описанный в международной заявке [3], согласно которому формирование изображения осуществляется путем проецирования на экран неровной поверхности или рельефной карты.

Одним из аналогов заявленного изобретения является также способ, описанный в заявке на европейский патент [4]. Этот способ позволяет определить скорость и направление морских волн, при этом телевизионная система, установленная на космическом летательном аппарате, сканирует участки наблюдаемой поверхности, обеспечивая согласование углов съема соседних участков изображения путем использования соответствующего математического аппарата, обрабатывающего полученные сигналы.

Однако в этих способах не обеспечивается возможность совмещения отдельных участков изображения в единый мозаичный кадр.

Известен также способ определения азимутальной координаты подвижного объекта, основанный на использовании навигационной системы и заключающийся в считывании текущего контурного изображения рассматриваемого объекта, которое сканируется приемопередающей оптической системой, затем производят обработку полученных сигналов в вычислительной системе, предназначенной для координатной привязки полученных координат к протяженному ориентиру на основе сравнения контурного изображения с эталонным [5].

К недостатку данного решения следует отнести отсутствие механизмов яркостного и геометрического комплексирования двух изображений в единый кадр.

Наиболее близким аналогом к заявляемому изобретению является способ формирования изображения, реализованный в бортовом комплексе корректируемого летательного аппарата, снабженного телевизионной головкой самонаведения. Способ представлен в описании к патенту РФ [6] и основан на том, что вводят в память компьютера бортового комплекса изображение, полученное с телевизионной камеры, установленной на авиационной бомбе. Затем запоминают текущий телевизионный сигнал, как эталонный, выделяют в полученном поле изображения имеющиеся контрасты и производят корреляционную обработку текущего и эталонного телевизионных сигналов.

Последний из указанных способов также не обеспечивает выполнение операций геометрического и фотометрического совмещения отдельных изображений в одно общее целое.

Целью изобретения является формирование единого кадра изображения с увеличенной полосой обзора путем высокоточного, бесшовного геометрического и фотометрического совмещения отдельных изображений, получаемых от различных ПЗС-линеек.

Достигаемый при этом технический результат заключается в повышении точности отображаемых характеристик исследуемой поверхности, в обеспечении геометрического и фотометрического совмещения общих областей изображений для получения визуально непрерывного изображения исследуемой поверхности большей площади, в исключении влияния на формируемое изображение качественных показателей используемых ПЗС-линеек, обусловленных различием их передаточных характеристик и геометрическими несовмещениями, и, кроме того, в повышении точности при получении однородной по яркости картины наблюдаемых объектов за счет исключения геометрической нестыковки одних и тех же объектов, представленных на разных изображениях.

Применение заявленного способа при дистанционном зондировании Земли обеспечивает получение растровых космокарт на основе изображений от нескольких датчиков, состоящих из ПЗС-линеек и выполняющих, например, синхронную съемку подстилающей поверхности с небольшой зоной перекрытия.

Способ основан на том, что наблюдаемую поверхность сканируют с помощью k, ПЗС-линеек, перемещающихся в пространстве и имеющих взаимное перекрытие. По результатам сканирования получаются К цифровых полутоновых изображений. Результирующее растровое изображение космокарты формируется при геометрическом и фотометрическом совмещении исходных изображений в ходе коррекции взаимных и возникающих в процессе съемки искажений и трансформировании в картографическую проекцию.

Существо заявленного способа состоит в получении мозаичного кадра из отдельных перекрывающихся изображений, формируемых различными ПЗС-линейками, установленными на летательных аппаратах и выполняющими съемку земной поверхности.

Исходя из этого, указанный выше технический результат достигается тем, что согласно заявленному изобретению сканируют наблюдаемую поверхность, используя, по меньшей мере, несколько ПЗС-линеек, по результатам сканирования формируют цифровые изображения, данные каждого из которых, полученного от соответствующей ПЗС-линейки, вводят в память компьютера, из полученных введенных в компьютер цифровых изображений выбирают пару изображений, одно из которых принимают в качестве базового.

Во всех изображениях выделяют отображения одноименных объектов, содержащихся в них, затем объединяют изображения путем образования общих областей, распространяя эти области к периметру кадра, и в результате произведенного объединения формируют единый кадр изображения.

Новым в способе является то, что цифровые изображения формируют с общими областями перекрытия, при этом в упомянутой паре изображений, включающей базовое, другое изображение, имеющее с базовым общую область перекрытия, принимают в качестве дополнительного.

Перед выделением отображений одноименных объектов формируют гистограммы распределения значений яркостей пикселей базового изображения и общей области перекрытия базового и дополнительного изображений, после чего определяют значения взаимно корреляционной функции упомянутых гистограмм распределения значений яркостей пикселей каждой общей области перекрытия изображений по отношению к гистограмме распределения значений яркостей пикселей базового изображения.

Затем определяют максимальное значение полученной взаимно корреляционной функции гистограмм распределений, в котором выделяют аддитивную и мультипликативную составляющие рассогласования значений яркостей пикселей общей области перекрытия базового и дополнительного изображений по отношению к значениям яркостей пикселей базового изображения, после чего производят выравнивание яркостей пикселей общей области перекрытия базового и дополнительного изображений путем добавления к упомянутому значению яркости каждого пикселя общей области перекрытия соответствующей ему аддитивной составляющей максимального значения упомянутой взаимно корреляционной функции, предварительно умноженной на соответствующую ему мультипликативную составляющую.

Одновременно с формированием гистограмм распределения значений яркостей пикселей изображений выделяют граничные области каждого изображения, включая базовое, упомянутое выделение отображений одноименных объектов производят в примыкающих друг к другу общих граничных областях соседних изображений в каждой паре, и в каждой из упомянутых общих граничных областях изображений определяют взаимно корреляционную функцию отображений каждого из выделенных одноименных объектов.

Затем полученную взаимно корреляционную функцию отображений каждого из одноименных объектов, выделенных в паре из базового и дополнительного изображений, принимают в качестве геометрического рассогласования базового и дополнительного изображений, после чего производят геометрическое совмещение отображений одноименных объектов в примыкающих друг к другу общих граничных областях изображений путем минимизации полученного рассогласования, при необходимости используя перемещение и вращение отображений одноименных объектов и масштабирование их геометрических параметров.

Упомянутое образование общей области осуществляют объединением базового и дополнительного изображений, производимым после упомянутых выравнивания яркостей пикселей этих изображений и геометрического совмещения отображений в них одноименных объектов. Полученную общую область изображения принимают за новое базовое, а в качестве нового дополнительного принимают изображение, имеющее с новым базовым общую область перекрытия, и производят упомянутые выравнивание яркостей пикселей и геометрическое совмещение новых базового и дополнительного изображений.

Упомянутое распространение общих областей изображений к периметру кадра производят, образуя последовательно новые базовые изображения после очередного выравнивания яркостей пикселей и геометрического совмещения изображений, на основе объединения очередной пары изображений.

Изобретение поясняется иллюстрирующими его примерами, где на фиг. 1 изображена модель сканирования наблюдаемой поверхности двумя ПЗС-линейками, на фиг. 2 - изображения, полученные от двух датчиков МСУ-Э с небольшой зоной перекрытия, на фиг. 3 - результирующий мозаичный кадр космокарты, полученный путем бесшовного геометрического и фотометрического совмещения изображений, представленных на фиг. 2.

При воспроизведении одного из возможных примеров реализации способа наблюдаемую поверхность сканируют из одной точки, перемещающейся в пространстве, с помощью двух ПЗС-линеек, имеющих небольшое взаимное перекрытие. По результатам сканирования получаются два цифровых изображения. При этом пространственные координаты (X, Y, Z) каждого пиксела задаются векторным уравнением (см. фиг. 1):
R_k(t) = η (t) + r_k(t),
где η = [X₀(t), Y₀(t), Z₀(t)]^T - радиус-вектор, задающий положение объекта в пространстве; r_k(t) = [X_k(t), Y_kt), Z_K(t)]^T - вектор, задающий на земной поверхности положение сканирующего луча k-й ПЗС-линейки в момент времени t. Полученные изображения представляются цифровыми двумерными массивами пикселов с яркостями b_k(m_k,n_k), Причем, для одноименных объектов земной поверхности, определяемых векторами R₁(t₁) = R₂(t₂) и отображаемых на первом и втором изображениях, из-за различия характеристик передаточных трактов соответствующих ПЗС-линеек b₁(m₁,n₁ ≠ b₂(m₂,n₂).

Каждое изображение считывается в память компьютера, где выполняется его геометрическое трансформирование в плоскость единого мозаичного изображения, описываемого системой координат (x, y):

где Ф_k(m_k, n_k)--->(x, y) - оператор геометрического трансформирования изображения в заданную картографическую проекцию.

Одно из изображений, например, первое, выбирается в качестве базового и его регистрационная система координат (x, y) принимается за систему координат единого мозаичного изображения. Тогда, в случае идеальной ориентации ПЗС-линеек, компоненты векторов r₁ и r₂, являющиеся функциями элементов ориентации ПЗС-линеек по крену α_k, тангажу ω_k и рысканью χ_k, (r_k(t) = F( θ_k , t), где θ_k= [α_k,ω_k,γ_k]) для одноименных объектов, находящихся в зоне перекрытия, должны совпадать и геометрическое совмещение осуществляться точно. Поскольку на практике данное условие не выполняется, то для высокоточного геометрического совмещения происходит уточнение параметров взаимной ориентации линеек на основе рассогласования координат одноименных объектов, находящихся в общей области соседних изображений.

С этой целью реализуется следующая последовательность действий.

1. По априорно известным установочным углам θ_k= [α_k,ω_k,χ_k] ПЗС-линеек рассчитывают общие области 1-го и 2-го изображений.

2. Изображение b₁(m₁, n₁) выбирается в качестве базового изображения и его яркостные характеристики не изменяются, а изображение b₂(m₂,n₂) - в качестве дополнительного.

3. Для каждой общей области формируют гистограммы распределения яркостей h₁(j), h₂(j), При этом связь между гистограммами определяется следующим соотношением:

где a₀ и a₁ - соответственно аддитивный и мультипликативный коэффициенты фотометрического выравнивания 2-го изображения относительно 1-го.

Данные коэффициенты рассчитываются с помощью процедуры корреляционно-экстремального сопоставления гистограмм h₁(j) и h₂(j). Для этого гистограмму h_k+1(j) "растягивают" и перемещают по оси j до тех пор, пока не будет достигнут максимум взаимно корреляционной функции:

где k, v - параметры, задающие сдвиг и растяжение гистограммы h₂(j).

4. Выполняется фотометрическое преобразование всех пикселов дополнительного изображения:

где b₂ ^*(m₂,n₂) - скорректированное значение яркости (m₂,n₂)-го пиксела.

5. Затем общая область 1-го изображения разбивается на квадратные фрагменты и с помощью процедуры корреляционно-экстремального анализа идентифицируются их образы в общей области 2-го изображения. После этого фиксируются координаты центров идентифицированных фрагментов, определяемые точками (m₁(i),n₁(i)) и (m₂(i),n₂(i)), i = 1, 2, 3, ...

6. На основе полученных координат одноименных точек рассчитывается вектор поправок Δθ₂ к углам ориентации 2-й ПЗС-линейки, и уточняются параметры оператора геометрического трансформирования Ф₂ ---> Ф₂ ^*, который обеспечивает совпадение соответственно пространственных и картографических координат одноименных точек, т.е.

где ε - допустимая остаточная погрешность совмещения.

7. С помощью уточненного оператора Ф₂ ^* и оператора Ф₁ выполняется геометрическое трансформирование изображений b₂ ^*(m₂,n₂) и b₁(m₁,n₁), в результате чего формируется единый мозаичный кадр d(x,y), включающий в себя первое и второе изображение.

Рассмотренный подход реализован в виде программного модуля, входящего в состав программной системы NormSat, функционирующей на компьютерах типа Pentium II и выше в операционной среде MS Windows 95/98/NT 4.0. Программа позволяет формировать в автоматическом режиме единый мозаичный кадр из изображений, получаемых от двух ПЗС-датчиков МСУ-Э, установленных на Российских спутниках серии "Ресурс-01" и выполняющих синхронную съемку земной поверхности с 10-15% областью перекрытия (см. фиг. 2).

Единый мозаичный кадр (см. фиг. 3) представляется в картографической проекции Меркатора или Гаусса-Крюгера и характеризуется точностью геометрического совмещения не более 0,5 пиксела и точностью фотометрического выравнивания не хуже 0,2% от максимального значения яркостной шкалы, что делает его визуально непрерывным изображением.

Хотя предпочтительные варианты воплощения изобретения в достаточной степени раскрыты для разъяснения принципа его реализации, возможны различные модификации, добавления и уточнения без изменения существа изобретения, раскрытого в формуле.

Литература
1. Губанов А.В., Ефимов В.М., Киричук В.С. и др. Методы оценивания взаимного смещения фрагментов цифровых изображений // Автометрия. 1988. N 3. С. 70-73.

2. ER Mapper 5.0. Helping people manage the earth: Earth Resource Mapping Press, 1997. 42 p.

3. WO 90/01242, кл. H 04 N 5/74, опубл. 08.02.1990.

4. Европейский патент N 496329, кл. G 01 S 13/95, опубл. 29.07.1992.

5. Патент РФ N 2002207, кл. G 01 C 21/24, опубл. 30.10.1993.

6. Патент РФ N 2058011, кл. F 42 B 15/00, опубл. 14.10.1996.

Изобретение относится к области вычислительной техники и может быть использовано для обработки изображений. Техническим результатом является расширение класса решаемых задач. Способ основан на геометрическом и фотометрическом совмещении общих областей изображений, получаемых при сканировании исследуемой поверхности, заключающемся в получении однородного по яркости и совпадающего по геометрическим признакам общего изображения. 3 ил.

Способ формирования изображения, заключающийся в том, что сканируют наблюдаемую поверхность, используя по меньшей мере несколько ПЗС-линеек, по результатам сканирования формируют цифровые изображения, данные каждого из которых, полученного от соответствующей ПЗС-линейки, вводят в память компьютера, из полученных введенных в компьютер цифровых изображений выбирают пару изображений, одно из которых принимают в качестве базового, во всех изображениях выделяют отображения одноименных объектов, содержащихся в них, затем объединяют изображения путем образования общих областей, распространяя эти области к периметру кадра, и в результате произведенного объединения формируют единых кадр изображения, отличающийся тем, что цифровые изображения формируют с общими областями перекрытия, при этом в упомянутой паре изображений, включающей базовое, другое изображение, имеющее с базовым общую область перекрытия, принимают в качестве дополнительного, перед выделением отображений одноименных объектов формируют гистограммы распределения значений яркостей пикселей базового изображения и общей области перекрытия базового и дополнительного изображений, после чего определяют значения взаимно корреляционной функции упомянутых гистограмм распределения значений яркостей пикселей каждой общей области перекрытия изображений по отношению к гистограмме распределения значений яркостей пикселей базового изображения, затем определяют максимальное значение полученной взаимно корреляционной функции гистограмм распределений, в котором выделяют аддитивную и мультипликативную составляющие рассогласования значений яркостей пикселей общей области перекрытия базового и дополнительного изображений по отношению к значениям яркостей пикселей базового изображения, после чего производят выравнивание яркостей пикселей общей области перекрытия базового и дополнительного изображений путем добавления к упомянутому значению яркости каждого пикселя общей области перекрытия соответствующей ему аддитивной составляющей максимального значения упомянутой взаимно корреляционной функции, предварительно умноженной на соответствующую ему мультипликативную составляющую, одновременно с формированием гистограмм распределения значений яркостей пикселей изображений выделяют граничные области каждого изображения, включая базовое, упомянутое выделение отображений одноименных объектов производят в примыкающих друг к другу общих граничных областях соседних изображений в каждой паре и в каждой из упомянутых общих граничных областях изображений определяют взаимно корреляционную функцию отображений каждого из выделенных одноименных объектов, затем полученную взаимно корреляционную функцию отображений каждого из одноименных объектов, выделенных в паре из базового и дополнительного изображений, принимают в качестве геометрического рассогласования базового и дополнительного изображений, после чего производят геометрическое совмещение отображений одноименных объектов в примыкающих друг к другу общих граничных областях изображений путем минимизации полученного рассогласования, при необходимости используя перемещение и вращение отображений одноименных объектов и масштабирование их геометрических параметров, упомянутое образование общей области осуществляют объединением базового и дополнительного изображений, производимым после упомянутых выравнивания яркостей пикселей этих изображений и геометрического совмещения отображений в них одноименных объектов, полученную общую область изображения принимают за новое базовое, а в качестве нового дополнительного принимают изображение, имеющее с новым базовым общую область перекрытия, и производят упомянутые выравнивание яркостей пикселей и геометрическое совмещение новых базового и дополнительного изображений, упомянутое распространение общих областей изображений к периметру кадра производят, образуя последовательно новые базовые изображения после очередного выравнивания яркостей пикселей и геометрического совмещения изображений, на основе объединения очередной пары изображений.