Способ радиометрической коррекции скановой структуры изображения от многоэлементного фотоприёмника многозонального сканирующего устройства Российский патент 2019 года по МПК G06T5/50 H04N5/365 

Предлагаемое изобретение относится к области дистанционного зондирования Земли (ДЗЗ), а именно к оптико-электронным способам и системам формирования и обработки изображений.

В процессе орбитального функционирования аппаратуры ДЗЗ для абсолютизации получаемого сигнала (т. е. для установления однозначного соответствия между цифровым значением сигнала и физической величиной, в данном случае – эффективной энергетической яркостью), регулярно проводится внутренняя бортовая радиометрическая калибровка фотоприёмного оптико-электронного тракта при помощи опорных бортовых излучателей. Однако, при использовании в качестве регистратора сигнала линейного многоэлементного фотоприёмника могут возникнуть ситуации, при которых в результате проведённой внутренней бортовой радиометрической калибровки не в полной мере обеспечивается пространственная однородность чувствительности по полю фотоприёмника (т. е. для некоторых элементов фотоприёмника соответствие между цифровым значением сигнала и эффективной энергетической яркостью устанавливается не вполне верно). Эта неоднородность характеризуется различием сигнала от разных элементов фотоприёмника при съёмке пространственно квазиоднородных сцен и проявляется в виде скановой структуры на обработанном изображении. Она тем больше, чем выше уровень регистрируемого сигнала, поэтому особенно сильно она проявляется при съёмке пространственно квазиоднородных сцен с высоким уровнем средней яркости. На фиг. 1 приведен фрагмент многосканового инфракрасного изображения, полученного аппаратурой МСУ-ИК-СРМ (космический аппарат Канопус-В-ИК). Визуально такая неоднородность воспринимается, как наличие на изображении поперечных полос с периодом, равным ширине скана (см. Акимов Н.П. и др., Перспективный ИК-радиометр для оперативного мониторинга техногенных и природных чрезвычайных ситуаций на территории России, Региональные проблемы дистанционного зондирования Земли. Материалы III Международной научной конференции, Красноярск, с. 46-49).

Причины появления указанной скановой структуры могут быть различны. Подобные эффекты могут быть вызваны особенностями оптической схемы и механизма калибровки конкретной аппаратуры, то есть особенностями съёмки бортовых эталонных источников излучения. Кроме того, неоднородность чувствительности может быть нестационарной и изменяться в процессе эксплуатации аппаратуры, что со временем снижает эффект компенсационного влияния предполётных наземных калибровок и ухудшает радиометрическое качество получаемой информации, то есть возникает необходимость её наземной коррекции.

Из уровня техники известны статистические способы наземной коррекции неоднородности многоэлементных фотоприёмников
(см. Современные технологии обработки данных дистанционного зондирования Земли / под ред. В.В. Еремеева. М.: ФИЗМАТЛИТ, 2015. С. 23-75), которые заключаются в усреднении сигналов от одноимённых элементов фотоприёмника и конструировании корректирующих функций, приводящих усреднённые сигналы от разных элементов к одному или нескольким опорным значениям. Далее функции применяются ко всем элементам исходного (искажённого) изображения, что и представляет собой его коррекцию.

Из использования в известных статистических способах усреднения сигналов следует их основной недостаток, а именно то, что каждый из них накладывает определённые ограничения на исходный спутниковый снимок: одни алгоритмы требуют однородности сюжета, другие учитывают его неоднородность, но предполагают резкую границу между разнородными классами объектов; все они чувствительны к объёму исходных данных, т.е. требуется объёмная статистическая выборка.

Также известен способ коррекции неоднородности многоэлементных фотоприёмных устройств со сканированием, патент на изобретение RU2297728, ФГУП «НПО «Орион», опубликован 20.04.2007 г., который обеспечивает коррекцию неоднородности многорядных фотоприёмных устройств со сканированием без использования источников эталонных сигналов. Для проведения коррекции производится последовательная регистрация элементов сцены соседними фоточувствительными площадками при сканировании. В диапазоне изменения входных сигналов от различных участков сцены определяется зависимость сигналов каждого элемента от сигналов соседнего элемента при регистрации одинаковых элементов сцены (пикселей). По данным зависимостям определяется корректирующая функция и последовательно осуществляется коррекция сигналов каждого последующего элемента фотоприёмного устройства относительно предыдущего так, чтобы скорректированные сигналы всех элементов были одинаковы при одинаковых световых сигналах во всём диапазоне сигналов сцены.

Основным недостатком известного способа является то, что статистический анализ выполняется только между парами соседних элементов матричного фотоприёмника. Использование способа ограничено условием равенства средних зарегистрированных эффективных яркостей для всех элементов матричного фотоприёмника, что выполняется либо с использованием больших выборок значений, либо с использованием подходящих яркостных сцен, либо посредством доработки аппаратуры с целью сканирования в специальном режиме.

В качестве ближайшего аналога заявленного изобретения выбран способ коррекции неоднородности сканирующих многоэлементных фотоприёмных устройств по сигналам сцены, патент на изобретение RU2347324, ФГУП «НПО «Орион», опубликован 28.05.2007. Для проведения коррекции производится сканирование с половинным, относительно ширины строки матричного фотоприёмного устройства, сдвигом сканера. Производится последовательная регистрация сигналов сцены элементами матричного фотоприёмника при сканировании, по отсчетам пар сигналов соседних элементов определяются функции связи сигналов элементов матричного фотоприёмника, и с их помощью корректируется неоднородность сигналов.

Однако, основным недостатком способа является то, что статистический анализ выполняется только между парами соседних элементов матричного фотоприёмника, также, как и в RU2297728. Несмотря на то, что по сравнению с RU2297728 в способе, описанном в RU2347324, используется аппроксимация сигналов, его использование остается ограниченным условием равенства средних зарегистрированных эффективных яркостей для всех элементов матричного фотоприёмника, что выполняется либо с использованием больших выборок значений, либо с использованием подходящих яркостных сцен, либо посредством доработки аппаратуры с целью сканирования в специальном режиме.

В свою очередь, предлагаемое изобретение направлено на дальнейшее совершенствование способов обработки изображения и позволяет устранить на изображении скановую структуру, то есть устранить специфический вид пространственной неоднородности изображений, получаемых аппаратурой с поперечным сканированием многоэлементным фотоприёмником. Также, изобретение обеспечивает радиометрическую коррекцию скановой структуры многоскановых изображений без дополнительного сканирования сцены фотоприёмником в технологическом режиме, но с использованием только самого изображения, полученного в результате штатного функционирования аппаратуры и предназначенного для конечного потребителя информации ДЗЗ. Также особенностью заявленного способа является то, что он позволяет устранить неоднородность между элементами фотоприёмника без использования усреднения, т.е. напрямую, с точностью до географической привязки исходных сканов. Следовательно, предлагаемое изобретение позволяет повысить радиометрическое качество изображений Земли из космоса.

При осуществлении предложенного способа радиометрической коррекции скановой структуры изображения от многоэлементного фотоприёмника многозонального сканирующего устройства ДЗЗ изображение подстилающей поверхности, представляющее собой матрицу значений эффективной энергетической яркости, полученное аппаратурой дистанционного зондирования Земли с поперечным сканированием многоэлементным фотоприёмником и переданное на наземный комплекс приёма, обработки и распространения, на котором до формирования и передачи потребителю тематического продукта дистанционного зондирования Земли проходит процедуру радиометрической коррекции скановой структуры – компьютерную обработку изображения, при этом, в отличие от известных технических решений, на основе статистического анализа значений эффективной энергетической яркости для каждого элемента фотоприёмника в областях межсканового перекрытия последовательных сканов значение сигнала от каждого элемента фотоприёмника сопоставляется со значениями сигнала от нескольких других элементов фотоприёмника без привлечения дополнительных операций съемки. Далее вычисляется набор корректирующих коэффициентов и производится преобразование значений эффективной энергетической яркости каждого элемента изображения линейным образом с использованием полученных корректирующих коэффициентов.

Обработанное изображение используется для формирования и передачи потребителю тематических продуктов ДЗЗ – карт эффективной яркости, альбедо, облачности, температуры подстилающей поверхности и т. п.

Предложенный способ поясняется изображениями, приведенными в качестве примера.

Фиг. 2 – Перекрытие двух последовательных сканов.

Фиг. 3 – Стадии получения матрицы коэффициентов .

Фиг. 4 – Процесс самосогласования матрицы коэффициентов .

Фиг. 5 – Вычисленные коэффициенты коррекции и аппроксимирующая их функция .

Сущность способа поясняется на примере обработки сигнала многозонального сканирующего устройства МСУ-ИК-СРМ, установленного на борту космического аппарата Канопус-В-ИК. При лётно-конструкторских испытаниях МСУ-ИК-СРМ в результате обработки на наземном комплексе приёма, обработки и распространения получаемых им изображений выявлена описанная выше техническая проблема обеспечения пространственной однородности чувствительности. Данный пример не ограничивает и не исключает возможность применения предложенного способа в других существующих и разрабатываемых системах ДЗЗ. Приведенная ниже функция, определяющая коэффициенты коррекции значений эффективной энергетической яркости получена при обработке результатов лётно-конструкторских испытаний МСУ-ИК-СРМ и является иллюстрацией работы способа радиометрической коррекции скановой структуры. В зависимости от конкретных конструктивных особенностей различной сканирующей аппаратуры набор коэффициентов коррекции может быть задан в виде значений гладкой функции или таблично.

На борту космического аппарата формируется изображение земной поверхности, т.е. матрица значений эффективной энергетической яркости, в виде последовательных сканов, которое калибруется по опорным бортовым излучателям, а затем передается на наземный комплекс приёма, обработки и распространения. Для коррекции выявленной пространственной неоднородности чувствительности необходимо выполнить линейную по яркости коррекцию пространственной неоднородности полученного многосканового изображения путём использования избыточности информации, возникающей из-за перекрытия (> 50 %) последовательных сканов изображения (кадров мозаики), полученного поперечным сканированием.

На фиг. 2 схематично показано перекрытие последовательных сканов при их пространственной сшивке (географической привязке изображения) и приведена индексация пары пространственно совпадающих элементов изображения из разных сканов.

Коррекция полученного на борту космического аппарата изображения основана на избыточности информации, содержащейся в исходном изображении с аппаратуры ДЗЗ.

На компьютеры и/или серверы наземного комплекса приёма, обработки и распространения поступает многоскановое изображение c переменным межскановым перекрытием последовательных сканов, т.е. имеющее такие области перекрытия между последовательными сканами, что ширина области (размер в направлении, перпендикулярном сканированию) непрерывно изменяется от некоторого начального значения до конечного, составляющего не менее 50 % от ширины всего скана. Благодаря различному межскановому перекрытию, возрастающему от центра к краю скана, номера пар элементов фотоприёмника, сигнал от которых в разных сканах соответствует одному и тому же участку подстилающей поверхности, варьируется в широком диапазоне. Следовательно, сигнал от таких пар элементов должен быть одинаков, а различия сигнала объясняются выявленной неоднородностью чувствительности по полю фотоприёмника. Коррекция данной неоднородности осуществляется следующим образом.

Сканы представляют собой результат съёмки линейным многоэлементным фотоприёмником с использованием оптико-механической развёртки в широком угле обзора. Для вычисления коэффициентов коррекции значений эффективной энергетической яркости вводится индексация элементов матрицы её значений, полученных на борту космического аппарата: – номер скана, – номер строки изображения в скане (эквивалентен номеру фоточувствительного элемента), – номер пикселя в строке скана. В случае полностью корректной калибровки аппаратуры в области перекрытия значения эффективной энергетической яркости для одних и тех же объектов должны быть одинаковыми в разных сканах. В случае, если калибровка не компенсировала полностью неоднородность чувствительности элементов фотоприёмника, то для элемента изображения с координатами {i, j, k} линейное искажение сигнала имеет вид: где – искажённое значение сигнала; – идеальное, неискажённое значение сигнала; α_i – коэффициент, отвечающий за степень искажения сигнала; β – уровень сигнала, передающийся без искажений (далее принимаем значение β=0).

Для любых пар элементов изображения {i,j,k}₁ и {i,j,k}₂, совпадающих пространственно, должно выполняться равенство , то есть Коэффициент характеризует «степень взаимного искажения» сигнала для строк i₁ и i₂ изображения или фотоэлементов с такими номерами. Количество коэффициентов равно I², однако лишь I из них являются независимыми. Следовательно, зная значения коэффициентов и , можно найти значение коэффициента , а также . Требования наличия хотя бы 50% перекрытия между соседними сканами и широкого угла обзора сканера обеспечивают получение I независимых коэффициентов , то есть гарантируют существование хотя бы одной пары коэффициентов и для любой пары индексов i₂ и i₃. Поскольку все коэффициенты являются относительными, то выбор конкретных I независимых коэффициентов формально является произвольным. Однако, если наибольшие искажения сигнала обычно наблюдаются на краях скана, а в центральной области почти отсутствуют, следовательно, необходимо вычислять набор коэффициентов .

Процесс формирования матрицы коэффициентов для изображения с аппаратуры МСУ-ИК-СРМ (фиг. 1) приведен на фиг. 3.

На фиг. 3(а) показана область матрицы коэффициентов, полученная при наборе статистики по изображению. Возникающая при этом избыточность для определения каждого коэффициента устраняется выбором медианного или среднего значения.

На фиг. 3(б-г) показано дополнение области до содержащей I² коэффициентов. Для получения новых коэффициентов, например, для перехода из «в» в «г», используются все известные пары коэффициентов, и конечным результатом считается медианное значение среди результатов вычисления. После заполнения пустых областей в матрице коэффициентов на фиг. 3(г) отчётливо видны диагональные полосы – границы подобластей, что указывает на необходимость согласования полученных коэффициентов, для чего в несколько итераций выполняется вычисление каждого коэффициента с использованием (I-1) пары коэффициентов.

На фиг. 4(а-г) показаны исходная матрица и три итерации её самосогласования, а на фиг. 4(д-ж) – разницы между значениями коэффициентов для соседних итераций, где видно, что указанные дефекты быстро исчезают и набор коэффициентов становится самосогласованным.

На фиг. 5 приведены значения искомого набора коэффициентов . Коэффициенты на фиг. 5 аппроксимированы полиномом 6-й степени для тестового изображения с I=288. Выбор аппроксимирующих функций определяется распределением коэффициентов относительно матрицы изображений. Наименьший разброс значений коэффициентов по краям скана, объясняется тем, что для них изначально было больше статистических данных, чем ближе строка к центру скана. То есть, чем меньше разница |I/2-i|, тем реже она участвует в межскановом перекрытии. С физической точки зрения, полученная зависимость – это относительная чувствительность фотоприёмного тракта аппаратуры, как функция порядкового номера фотоэлемента.

Итоговая коррекция значений эффективной энергетической яркости заключается в применении к каждому элементу изображения процедуры где – скорректированное значение сигнала, .

В случае если β=0, коррекция значений эффективной энергетической яркости выполняется по зависимости: . После переноса свободного члена в левую часть имеет симметричный относительно него вид и все дальнейшие вычисления следует проводить со значениями , при этом можно использовать априорное значение с учётом специфики конструкции и работы сканера, получившего изображение, а в случае неудовлетворительного результата – сделать несколько итераций полного цикла вычисления коэффициентов и последующей коррекции изображения, варьируя значения , как параметра.

При β≠0, коррекция значений эффективной энергетической яркости выполняется по зависимости В следствии этого, на наземном комплексе приёма, обработки и распространения выполняют радиометрическую коррекцию скановой структуры изображения – компьютерную обработку изображения, преобразуя эффективной энергетической яркости каждого элемента изображения линейным образом с использованием корректирующих коэффициентов. Значения корректирующих коэффициентов определяются исходя из статистического анализа, т.е. статистической обработки упомянутых значений эффективной энергетической яркости для каждого элемента фотоприёмника по всему изображению. Формируют и передают потребителю тематического продукта ДЗЗ яркостную или тематическую карту.

Таким образом, предложенный способ радиометрической коррекции скановой структуры изображения от многоэлементного фотоприёмника многозонального сканирующего устройства устраняет скановую структуру, порождаемую пространственной неоднородностью чувствительности фотоприёмного оптико-электронного тракта аппаратуры ДЗЗ, не устраненную в полной мере при проведении внутренней бортовой радиометрической калибровки фотоприёмного оптико-электронного тракта при помощи опорных бортовых излучателей.

Изобретение относится к области дистанционного зондирования Земли и касается способа радиометрической коррекции скановой структуры изображения от многоэлементного фотоприёмника многозонального сканирующего устройства. Способ включает в себя получение с помощью аппаратуры дистанционного зондирования Земли с поперечным сканированием многоэлементным фотоприемником изображения подстилающей поверхности, представляющего собой матрицу значений эффективной энергетической яркости. Изображение передается на наземный комплекс приёма, обработки и распространения, на котором проводят радиометрическую коррекцию скановой структуры изображения. При этом на основе статистического анализа значений эффективной энергетической яркости для каждого элемента фотоприёмника в областях межсканового перекрытия последовательных сканов значение сигнала от каждого элемента фотоприемника сопоставляют со значениями сигнала от нескольких других элементов, вычисляют набор корректирующих коэффициентов. С использованием полученных корректирующих коэффициентов производят линейное преобразование значений эффективной энергетической яркости каждого элемента изображения. Технический результат заключается в повышении качества изображения. 5 ил.

Способ радиометрической коррекции скановой структуры изображения от многоэлементного фотоприёмника многозонального сканирующего устройства, в ходе которого изображение подстилающей поверхности, представляющее собой матрицу значений эффективной энергетической яркости, полученное аппаратурой дистанционного зондирования Земли с поперечным сканированием многоэлементным фотоприемником и переданное на наземный комплекс приёма, обработки и распространения,

на котором до формирования и передачи потребителю тематического продукта дистанционного зондирования Земли проходит процедуру радиометрической коррекции скановой структуры – компьютерную обработку изображения, отличающийся тем, что

на основе статистического анализа значений эффективной энергетической яркости для каждого элемента фотоприёмника в областях межсканового перекрытия последовательных сканов значение сигнала от каждого элемента фотоприемника сопоставляется со значениями сигнала от нескольких других элементов фотоприемника без привлечения дополнительных операций съемки,

вычисляется набор корректирующих коэффициентов и

производится преобразование значений эффективной энергетической яркости каждого элемента изображения линейным образом с использованием полученных корректирующих коэффициентов.