Изобретение относится к области исследования поверхности щелевым гиперспектральным сенсором дистанционного зондирования, в частности - к коррекции геометрических искажений изображений, формируемых в условиях угловых колебаний носителя сенсора по крену.
Из уровня техники известен способ (патент RU 2411449, опубликовано 10.02.2011, МПК: G01C 11/02), включающий в себя получение последовательности снимков кадрового сенсора и сканирующего сенсора, которое синхронизировано по времени, запись их на запоминающее устройство, сопоставление отдельных снимков кадрового сенсора в порядке их последовательности, определение сдвига и поворота каждого последующего снимка относительно предыдущего снимка методом цифровой обработки изображений снимков. На основании сопоставления координат центров отдельных снимков определяют линию траектории движения областей обзора сканирующего и кадрового сенсоров. Далее на линию траектории накладывают снимки кадрового сенсора друг на друга с учетом их положения, получая изображение зондируемой поверхности в виде мозаик, и на основе мозаики осуществляют построение математического преобразования для коррекции изображения методом триангуляции. Полученное геометрическое преобразование используют для пересчета данных сканирующего сенсора, формируя неискаженное изображение зондируемой поверхности. Недостатком способа является необходимость дополнительной полезной нагрузки в виде кадрового сенсора, а также вычислительная сложность алгоритмов совместной цифровой обработки гиперспектральных и видеоизображений.
Данного недостатка лишен способ коррекции геометрических искажений гиперспектральных изображений (патент RU 2806667, опубликовано 02.11.2023, МПК: G01C 11/02 (2006.01)), выбранный в качестве прототипа как наиболее близкий по совокупности признаков. В указанном способе получают последовательность строк от сканирующего сенсора и выполняют их запись на запоминающее устройство. При этом синхронно с получением строк изображения дополнительно получают значения угла крена, с использованием которых определяют количество пикселей смещения в строке, а затем корректируют каждую строку путем сдвига индексов пикселей в строке на определенное количество пикселей смещения влево или вправо в зависимости от значения и направления угла крена.
В описании способа прототипа отмечается, что при установке аппаратуры для гиперспектральной съемки без применения гиростабилизированной платформы, например, на беспилотный летательный аппарат, подвергающийся неизбежным возмущениям по углам крена, тангажа и рыскания, возникают геометрические искажения формируемых изображений, что снижает эффективность решения задач обнаружения, распознавания и классификации объектов по их пространственно-спектральным признакам. При этом наиболее существенные искажения формируемых изображений вызывают угловые колебания по крену, приводящие к смещению контурных точек на формируемом гиперспектральном изображении. При наличии информации о крене γ носителя коррекция согласно способу прототипа заключается в измерении величины смещения центра изображения при съемке в надир относительно съемки с углом крена γ и пересчете данной величины в ее проекцию Δj на фоточувствительном приборе, измеряемую в пикселях:
При этом ƒ=ƒкам/а, где ƒ - фокусное расстояние регистрирующей камеры, выраженное в пикселях, ƒкам - фокусное расстояние камеры, выраженное в единицах измерения длины (мм или мкм), а - поперечный размер пикселя, измеренный в единицах измерения длины (мм или мкм). Знак «минус» в (1) показывает, что направление смещения противоположно знаку угла крена (см. сопоставление фиг. 3 и фиг. 4 описания способа прототипа).
Принцип коррекции способа прототипа заключается в том, что в каждом спектральном канале для i-й строки изображения Xl l-го спектрального канала, l=1, 2, …, L, где L - количество спектральных каналов, выполняется ее сдвиг на Δj столбцов, где Δj для величины крена γ вычисляют по (1). В результате получают скорректированное изображение Xγl:
где i и j - номер строки и столбца изображения соответственно.
За величину вычисляемого и затем корректируемого смещения Δj в способе прототипа принимается смещение центра изображения относительно положения камеры при съемке в надир. Исходя из геометрической постановки задачи способа прототипа, формула (1) справедлива, если нодальная точка фокусирующей оптической системы аппаратуры для гиперспектральной съемки лежит на продольной строительной оси ее носителя. В таком случае линейными перемещениями гиперспектрометра при крене носителя, действительно, можно пренебречь.
При установке оптических устройств на малых летательных аппаратах, как правило, применяют специализированные подвесы. Применение для коррекции (1) в таком случае не будет полностью компенсировать смещение изображения объекта, вызванного не только угловым, но еще и линейным, перемещением регистрирующей гиперспектральной аппаратуры.
Техническая проблема, решаемая заявляемым изобретением, заключается в увеличении ошибки коррекции положения контурных точек объекта по (1) при размещении нодальной точки фокусирующей оптической системы аппаратуры для гиперспектральной съемки не на продольной строительной оси носителя; при этом указанная ошибка тем больше, чем больше линейное расстояние от нодальной точки до строительной оси.
Технический результат изобретения заключается в уменьшении ошибки коррекции положения контурных точек объекта на изображении, формируемом гиперспектральной аппаратурой.
Указанный технический результат достигается учетом линейного перемещения нодальной точки регистрирующей гиперспектральной аппаратуры при крене носителя при расчете поправок Δj.
Согласно геометрической постановке задачи с размещением гиперспектральной аппаратуры на подвесе (фиг. 1) пространственные координаты нодальной точки в системе координат OнXнYнZн, образованной строительными осями носителя, одновременно не равны нулю: С=[Сх, Су, Cz], ||С||≠ 0, где 
- оператор вычисления два-нормы.
При крене γ носителя, т.е. его вращении вокруг продольной строительной оси ОнYн, в таком случае относительно положения со съемкой в надир будут изменяться только координаты Cx и Cz:
где 
Воспользуемся уравнениями математической модели проективной камеры (Hartley R., Zisserman A. Multiple view geometry in computer vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.) применительно к гиперспектрометру с угловым размером поля зрения Δϕ, шириной формируемого кадра в пикселях W и координатой главной точки камеры сх=W/2 в направлении оси X, т.е. для фокусного расстояния камеры ƒ в данном случае справедливо равенство ƒ=0,5W/tg(0,5Δϕ). В результате получим выражения для пиксельной координаты изображения точечного объекта, расположенного строго под носителем в точке с координатами Mo=[Мх, Mz]T=[0, D]T, где D - дальность до точки объекта по вертикали, при нулевом крене и крене γ для гипотезы о расположении нодальной точки на продольной строительной оси носителя с ||С||=0 - формулы (3) и (4) и для положения нодальной точки в точке С в случае размещения гиперспектральной аппаратуры на подвесе -формулы (5) и (6):
где 0=[0, 0]T, Е - единичная матрица размера 2×2, K - матрица внутренних параметров гиперспектральной камеры, 
обозначение [а|b] - оператор аугментации, т.е. пристыковки массива b к массиву а справа. Нормирующие множители w в выражениях (3)-(6) обеспечивают равенство единице последнего элемента вычисляемого в них вектора, т.е. приведение вычисленной пиксельной координаты х к однородным координатам.
Например, при С=[0, 0, d]T, где d - смещение в надирном направлении нодальной точки относительно центра вращения Он носителя (фиг. 2), для множителей w справедливы равенства:
Величина поправки Δjпредл согласно предлагаемому способу вычисляется как разница величин, рассчитанных по (5) и (6) для априори известного положения С нодальной точки гиперспектральной аппаратуры:
Таким образом, для вычисления поправок по (7) требуется информация о пространственных координатах С нодальной точки оптической системы гиперспектральной аппаратуры в системе координат строительных осей ее носителя и высоты над поверхностью съемки D. Априорная информация относительно величины С может быть получена из конструкции носителя с установленным на его подвесе гиперспектрометром, а информация о величине D по аналогии с креном γ получена синхронно с получением изображения от навигационной системы носителя.
Рассмотрим несколько частных случаев для геометрической постановки задачи, соответствующей фиг. 2, для γ=2,5°, d=0,1 м и W=1024 пикселя и вычислим для них смещение изображения точечного объекта Δj по (7). Дополнительно, для сравнения, вычислим разницу значений, рассчитанных по (3) и (4), а также выполним расчет по формуле (1) способа прототипа.
1) D=50 м, Δϕ=10°:
Δj(3)-(4)=-255,512,
Δjпредл=-256,024,
Δj(1)=-255,512.
Ошибка коррекции согласно способу прототипа:
|Δjпредл-Δj(1)|≈0,5 пикс.
2) D=25 м, Δϕ=10°:
Δj(3)-(4)=-255,512,
Δjпредл=-256,537,
Δj(1)=-255,512.
Ошибка коррекции согласно способу прототипа:
|Δjпредл-Δj(1)|=1,02 пикс.
3) D=50 м, Δϕ=6°:
Δj(3)-(4)=-426,547,
Δjпредл=-427,401,
Δj(1)=-426,547.
Ошибка коррекции согласно способу прототипа:
|Δjпредл-Δj(1)|≈0,85 пикс.
4)D=25 м, Δϕ=6°:
Δj(3)-(4)=-426,547,
Δjпредл=-428,259,
Δj(1)=-426,547.
Ошибка коррекции согласно способу прототипа:
|Δjпредл-Δj(1)|=1,7 пикс.
Таким образом, для рассмотренных примеров ошибка коррекции изображения точечного объекта согласно способу прототипа лежит в пределах от долей до единиц пикселей, в то время как для предлагаемого способа при точном определении координат точки С и высоты D стремится к нулю, а на практике - определяется погрешностью их измерения. Например, если погрешность установки гиперспектральной аппаратуры на подвесе Δd=2 мм=0,002 м, а погрешность измерения навигационной системой высоты над поверхностью съемки ΔD=-1 м, то расчеты по (7) для четырех рассмотренных случаев 1)-4) приведут к значениям -256,044, -256,602, -427,436 и -428,366 пикселя соответственно, т.е. абсолютные погрешности не превысят по модулю 0,2 пикселя.
Рассчитанные по (7) поправки далее используются для коррекции формируемого изображения путем интерполяции значений яркости с учетом крена носителя γ. При этом может применяться интерполяция яркости по критерию ближайшего соседа (аналогично способу прототипа, см. фиг. 4 его описания), линейная интерполяция, сплайн-интерполяция, интерполяция по Ланцошу (Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учебное пособие. - СПб.: Университет ИТМО, 2008. 195 с) или иной вид интерполяции.
Изобретение относится к оптической аппаратуре дистанционного зондирования Земли и применяется для коррекции геометрических искажений изображений. Заявленный способ коррекции геометрических искажений гиперспектральных изображений заключается в получении последовательности строк сканирующего сенсора и их записи в запоминающее устройство. При этом получают значения угла крена, с использованием которых определяют количество пикселей смещения и по ним корректируют каждую строку. При этом синхронно с получением строк изображения получают значения высоты D над поверхностью съемки. Для вычисления поправок определяют пространственные координаты нодальной точки оптической системы в системе координат строительных осей ее носителя, вводят их в качестве параметров в уравнения проективной камеры и получают поправку как разницу между пиксельными координатами изображения точки под гиперспектрометром при нулевом крене и при текущем крене. Техническим результатом изобретения является уменьшение ошибки коррекции положения контурных точек объекта на изображении, формируемом гиперспектральной аппаратурой. 2 ил.
Способ коррекции геометрических искажений гиперспектральных изображений по информации о крене сканирующего сенсора при размещении гиперспектральной аппаратуры на подвесе, включающий получение последовательности строк сканирующего сенсора и их запись в запоминающее устройство, при этом синхронно с получением изображения получают значения угла крена γ, с использованием которых определяют количество пикселей смещения Δj и по ним корректируют каждую строку, отличающийся тем, что синхронно с получением строк изображения получают значения высоты D над поверхностью съемки, для вычисления поправок Δj определяют пространственные координаты С нодальной точки оптической системы гиперспектральной аппаратуры в системе координат строительных осей ее носителя, вводят их в качестве параметров в уравнения проективной камеры и вычисляют поправки Δj как разницу между пиксельными координатами изображения точки под гиперспектрометром при нулевом крене и при текущем крене γ.
| СПОСОБ КОРРЕКЦИИ ГЕОМЕТРИЧЕСКИХ ИСКАЖЕНИЙ ГИПЕРСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИЙ | 2023 |
|
RU2806667C1 |
| US 9269014 B2, 23.02.2016 | |||
| СПОСОБ УСТРАНЕНИЯ ИСКАЖЕНИЙ ИЗОБРАЖЕНИЙ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ, СВЯЗАННЫХ СО СЛОЖНОЙ ТРАЕКТОРИЕЙ ДВИЖЕНИЯ НОСИТЕЛЯ СЕНСОРА ИЗОБРАЖЕНИЯ | 2009 |
|
RU2411449C1 |
| СПОСОБ ОПРЕДЕЛЕНИЯ ГЕОМЕТРИЧЕСКИХ СМЕЩЕНИЙ СЕНСОРОВ В ПЛОСКОПАНЕЛЬНОМ ДЕТЕКТОРЕ РЕНТГЕНОВСКОГО ИЗОБРАЖЕНИЯ | 2013 |
|
RU2545503C1 |
