Способ коррекции геометрических искажений гиперспектральных изображений по информации о крене сканирующего сенсора Российский патент 2025 года по МПК G01C11/02 G06T5/00 

Изобретение относится к области исследования поверхности щелевым гиперспектральным сенсором дистанционного зондирования, в частности - к коррекции геометрических искажений изображений, формируемых в условиях угловых колебаний носителя сенсора по крену.

Из уровня техники известен способ (патент RU 2411449, опубликовано 10.02.2011 г., МПК: G01C 11/02), включающий в себя получение последовательности снимков кадрового сенсора и сканирующего сенсора, которое синхронизировано по времени, запись их на запоминающее устройство, сопоставление отдельных снимков кадрового сенсора в порядке их последовательности, определение сдвига и поворота каждого последующего снимка относительно предыдущего снимка методом цифровой обработки изображений снимков. На основании сопоставления координат центров отдельных снимков определяют линию траектории движения областей обзора сканирующего и кадрового сенсоров. Далее на линию траектории накладывают снимки кадрового сенсора друг на друга с учетом их положения, получая изображение зондируемой поверхности в виде мозаик, и на основе мозаики осуществляют построение математического преобразования для коррекции изображения методом триангуляции. Полученное геометрическое преобразование используют для пересчета данных сканирующего сенсора, формируя неискаженное изображение зондируемой поверхности. Недостатком способа является необходимость дополнительной полезной нагрузки в виде кадрового сенсора, а также вычислительная сложность алгоритмов совместной цифровой обработки гиперспектральных и видеоизображений.

Данного недостатка лишен способ коррекции геометрических искажений гиперспектральных изображений (патент RU 2806667, опубликовано 02.11.2023, МПК: G01C 11/02 (2006.01)), выбранный в качестве прототипа как наиболее близкий по совокупности признаков. В указанном способе по- лучают последовательность строк от сканирующего сенсора и выполняют их запись на запоминающее устройство. При этом синхронно с получением строк изображения дополнительно получают значения угла крена, с использованием которых определяют количество пикселей смещения в строке, а затем корректируют каждую строку путем сдвига индексов пикселей в строке на определенное количество пикселей смещения влево или вправо в зависимости от значения и направления угла крена.

В описании способа прототипа отмечается, что при установке аппаратуры для гиперспектральной съемки без применения гиростабилизированной платформы, например, на беспилотный летательный аппарат, подвергающийся неизбежным возмущениям по углам крена, тангажа и рыскания, возникают геометрические искажения формируемых изображений, что снижает эффективность решения задач обнаружения, распознавания и классификации объектов по их пространственно-спектральным признакам. При этом наиболее существенные искажения формируемых изображений вызывают угловые колебания по крену, приводящие к смещению контурных точек на формируемом гиперспектральном изображении. При наличии информации о крене γ носителя коррекция согласно способу прототипа заключается в измерении величины смещения центра изображения ΔD при съемке в надир относительно съемки с углом крена γ и пересчете данной величины в ее проекцию Δj на фоточувствительном приборе, измеряемую в пикселях:

При этом где - фокусное расстояние регистрирующей камеры, выраженное в пикселях, - фокусное расстояние камеры, выраженное в единицах измерения длины (мм или мкм), - поперечный размер пикселя, измеренный в единицах измерения длины (мм или мкм). Знак «минус» в (1) показывает, что направление смещения противоположно знаку угла крена (см. сопоставление фиг. 3 и фиг. 4 описания способа прототипа).

Принцип коррекции способа прототипа заключается в том, что в каждом спектральном канале для i-й строки изображения X_l l-го спектрального канала, l=1, 2, L, где L - количество спектральных каналов, выполняется ее сдвиг на Δj столбцов, где Δj для величины крена γ вычисляют по (1). В результате получают скорректированное изображение X^γ_l:

где i и j - номер строки и столбца изображения соответственно.

За величину вычисляемого и затем корректируемого смещения Δj в способе прототипа принимается смещение центра изображения относительно положения камеры при съемке в надир. Исходя из геометрической постановки задачи способа прототипа, формула (1) для величины смещения справедлива, если:

1) объект интереса находится приблизительно в центре кадра, т.е. для величины углового направления Δϕ на объект в системе координат регистрирующей камеры справедливо приближенное равенство Δϕ ≈ 0;

2) крен γ невелик, т.е. также справедливо приближенное равенство γ ≈ 0. При выполнении двух указанных условий для величины Δj, действительно, приближенно справедливо равенство (1).

Для произвольного углового направления на объект Δϕ, лежащего внутри поля зрения камеры, в общем случае будет справедливо следующее выражение для смещения Δj:

В частном случае, при Δϕ ≈ 0 и γ ≈ 0, выражение (3) вырождается в (1).

На фиг. 1 приведено семейство графиков для различных углов крена γ и углового размера поля зрения камеры (параметр FoV) с шириной строки в 1024 пикселя, показывающих разницу между (1) и (3) при различных γ и Δϕ.

Техническая проблема, решаемая заявляемым изобретением, заключается в коррекции положения контурных точек объекта, наблюдаемого в любой части кадра, формируемого гиперспектральной аппаратурой.

Технический результат изобретения заключается в снижении ошибки коррекции изображений объектов, расположенных не в центре кадра. Указанный технический результат достигается расчетом поправок, учитывающих угловое направление на каждый из пикселей строки, а не только на центральные.

Технический результат достигается тем, что первоначально, как и в способе прототипа, в каждом l-м спектральном диапазоне получают последовательность строк от сканирующего сенсора и выполняют их запись в запоминающее устройство. При этом дополнительно получают, например, от навигационного модуля носителя гиперспектральной аппаратуры, значения угла крена γ_i синхронно с получением строк изображения Далее для каждого j-го пикселя строки вычисляют тангенс углового направления Δϕ_j на него в системе координат камеры:

где с - координата главной точки камеры по координате столбца. Оценки априори неизвестных параметров с и гиперспектральной регистрирующей аппаратуры могут быть оценены, например, по результатам ее фотограмметрической калибровки. Как видно из (4), вычисления тригонометрической операции «тангенс» при расчете поправок t_j - не требуется.

Вычисленные по (4) значения и углы γ_i, далее подставляют в (3).

В результате получают матрицу поправок ΔJ, состоящую из элементов

С учетом (5) выражение для коррекции (2) примет вид:

Таким образом, при коррекции изображения по (6) для каждого пикселя i-й строки рассчитывается свое смещение по (5), а не общее смещение на всю строку по (1), как в способе прототипа.

Поскольку элементы матрицы поправок ΔJ в общем случае являются дробными, то непосредственная подстановка в (6) не применима для аппаратной реализации, т.к. столбцовые индексы пикселей в строке являются целочисленными. Следовательно, на практике требуется выполнять интерполяцию значения яркости по одному или нескольким соседям пикселя В простейшем случае - при интерполяции яркости по критерию ближайшего соседа, как в способе прототипа (см. фиг. 4 описания прототипа) - выполняется округление поправки до ближайшего целого, оператор округления в формуле (7):

Иными, но и более вычислительно затратными, вариантами интерполяции являются, например, линейная интерполяция, сплайн-интерполяция или интерполяция по Ланцошу (Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учебное пособие. - СПб.: Университет ИТМО, 2008. 195 с):

где interp(⋅) - оператор одномерной интерполяции яркости в направлении движения по столбцам вдоль строки.

Для уменьшения объема вычислительных затрат, связанных с вычислением значений в (5), применяют вычислительно эффективные алгоритмы, например, CORDIC (Дайнеко Д. Реализация CORDIC-алгоритма на ПЛИС // Компоненты и технологии. 2011. №12. С. 36-46).

Изобретение относится к области исследования поверхности щелевым гиперспектральным сенсором дистанционного зондирования, в частности - к коррекции геометрических искажений изображений, формируемых в условиях угловых колебаний носителя сенсора по крену. Способ коррекции геометрических искажений гиперспектральных изображений заключается в получении последовательности строк сканирующего сенсора и их записи в запоминающее устройство. При этом синхронно с получением i-х строк изображения получают значения угла крена с использованием которых определяют количество пикселей смещения. Для этого для каждого j-го пикселя каждой i-й строки вычисляют тангенс углового направления на него, формируют матрицу поправок с элементами вычисляют значения индексов столбцов с учетом коррекции и выполняют одномерную интерполяцию значений яркости в направлении движения по столбцам вдоль строки. Технический результат – повышение точности гиперспектральных изображений за счет снижения ошибки коррекции изображений объектов, расположенных не в центре кадра. 1 ил.

Способ коррекции геометрических искажений гиперспектральных изображений, включающий получение последовательности строк сканирующего сенсора и их запись в запоминающее устройство, при этом синхронно с получением i-х строк изображения получают значения угла крена с использованием которых определяют количество пикселей смещения, отличающийся тем, что для каждого j-го пикселя каждой i-й строки вычисляют тангенс углового направления на него, формируют матрицу поправок с элементами вычисляют значения индексов столбцов с учетом коррекции и выполняют одномерную интерполяцию значений яркости в направлении движения по столбцам вдоль строки.