СПОСОБ ПОВЫШЕНИЯ ПРОСТРАНСТВЕННОГО РАЗРЕШЕНИЯ ГИПЕРСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИЙ Российский патент 2022 года по МПК G06T5/50 G06T7/174 

Изобретение относится к области цифровой обработки изображений, в частности к повышению пространственного разрешения гиперспектральных изображений (ГСИ), за счет использования изображений более высокого пространственного разрешения.

Из уровня техники известен способ пространственного объединения ГСИ и панхроматического изображений (ПХИ) (см. Шовенгердт Р.А. Дистанционное зондирование. Модели и методы обработки изображений. М.: Техносфера, 2013. 592 с.), который включает, предварительное увеличение частоты пространственной дискретизации каждой спектральной компоненты ГСИ низкого пространственного разрешения в соответствии с пространственной дискретизацией ПХИ высокого пространственного разрешения и попиксельное умножение каждой спектральной компоненты ГСИ на ПХИ, после чего полученный результат нормируется на низкочастотную компоненту ПХИ. Техническим результатом является получение ГСИ с пространственным разрешением ПХИ.

Недостатком указанного способа является потеря спектральной информации, происходящая при умножении на ПХИ, а также артефакты, проявляющиеся в силу того, что большинство пикселей ГСИ характеризуются смесью нескольких объектов присутствующих на ПХИ.

Наиболее близким к предлагаемому является способ повышения детальности материалов гиперспектральной съемки Земли на основе привлечения многозональных изображений высокого пространственного разрешения (Патент RU 2579046 опубликовано 27.03.2016 г., МПК G06K 9/00). Данный способ, заключается в том, что для разделения каждого пиксела ГСИ с низким пространственным разрешением на отдельные объекты используются синхронно полученные многозональные изображения с большим пространственным разрешением и присвоение каждому выделенному объекту спектральной характеристики наиболее схожей с характеристикой одного из объектов, отображаемых на ГСИ. Техническим результатом является получение ГСИ с пространственным разрешением многозонального изображения.

Недостатками способа-прототипа является отсутствие учета взаимной ориентации и привязки ГСИ и многозональных изображений получаемых разными датчиками. Ведь даже при синхронном их получении с взаимной ориентацией полей зрения датчиков на один и тот же участок местности будут присущи пространственные искажения растра ГСИ относительно многозонального и это может привести к снижению точности, либо вовсе ложному спектральному разделению объектов на ГСИ. Еще одним недостатком данного способа является необходимость приведения ГСИ к спектральному разрешению многозонального изображения при спектральном разделении объектов, что требует точной предварительной калибровки датчиков ГСИ и многозонального изображений, что не всегда возможно.

Техническим результатом предлагаемого способа повышения пространственного разрешения ГСИ является повышение точности спектрального разделения объектов на ГСИ по ПХИ высокого пространственного разрешения, а также возможность использования ПХИ полученных в другие моменты времени (не синхронно) по отношению к получению ГСИ.

Технический результат достигается тем, что согласно предлагаемого способа включающего разделение каждого пиксела ГСИ с низким пространственным разрешением (i=1, …, I элементов по строкам и j=1, …, J по столбцам) на отдельные объекты, присвоение каждому выделенному объекту спектральной характеристики наиболее схожей с характеристикой одного из объектов, отображаемых на ГСИ, для разделения пикселей ГСИ используют ПХИ с многократно большим пространственным разрешением (r=1, …, R, s=1, …, S элементов по строкам и столбцам соответственно), выделяют контура ГСИ и ПХИ, находят соответствующие точки контуров ГСИ и ПХИ, совмещают их контура, преобразовывают растр ГСИ таким образом, чтобы координаты соответствующих точек контуров ГСИ и ПХИ совпадали, обрезают участки ПХИ, в которых оно пространственно не совпадает с ГСИ, формируют индексы строк r'=1, …, R' и столбцов s'=1, …, S' обрезанного ПХИ пространственно соответствующего ГСИ, вычисляют масштабный коэффициент ПХИ и ГСИ, формируют масштабную сетку по строкам и столбцам ПХИ, состоящую из I×J ячеек и соответствующую размеру ПХИ, разделение на отдельные объекты выполняют по яркостям пикселей ПХИ в каждой i,j-той ячейке соответствующей i,j-му пикселу ГСИ, формируют итоговое ГСИ с пространственным разрешением r'=1, …, R' элементов по строкам и s'=1, …, S' по столбцам, путем присвоения каждому пикселу с координатами спектральной характеристики наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на ГСИ, где р=0, 1, …, P, q=0, 1, …, Q.

Сущность предлагаемого способа заключается в следующем.

На первом этапе получают ГСИ (фиг. 1) с пространственным разрешением i=1, …, I элементов по строкам, j=1, …, J по столбцам и спектральным разрешением l=1,…,L и ПХИ (фиг. 2) с более высоким пространственным разрешением r=1, …, R элементов по строкам, s=1, …, S по столбцам, полученное в широком спектральном диапазоне . За эталонное по пространственной ориентации берется ПХИ. На приведенных примерах на фиг. 1, 2 пространственное разрешение ГСИ в пять раз ниже разрешения ПХИ, т.е. одному пикселу ГСИ соответствует 25 пикселов ПХИ.

На втором этапе выделяют контура объектов на ГСИ (фиг. 3) и ПХИ (фиг. 4), находят как минимум четыре пары соответствующих точек, например, на фиг. 3, 4 таких пар десять. Далее совмещают точки контуров ГСИ с эталонными точками контуров ПХИ, например, алгоритмами представленными в (см. Обработка изображений в авиационных системах технического зрения / Под ред. Л.Н. Костяшкина, М.Б. Никифорова. М.: Физматлит, 2016. 240 с.). Красным пунктиром на фиг. 4 обозначена прямоугольная область 1 соответствующая точному пространственному положению контуров ГСИ на ПХИ, а голубым пунктиром обозначена область 2, смещенная на два пиксела по вертикали и по горизонтали относительно исходной. На фиг. 5 представлен результат точного совмещения контуров ГСИ и ПХИ в соответствии с областью 1, а на фиг. 6 для сравнения результат совмещения с ошибкой на два пиксела ГСИ в соответствии с областью 2.

На третьем этапе преобразовывают растр (сдвиг, поворот, изменение масштаба) ГСИ (фиг. 7) таким образом, чтобы координаты соответствующих точек контуров ГСИ и ПХИ совпадали, а растр ПХИ обрезают, где оно пространственно не совпадает с ГСИ (см. прямоугольная область на фиг. 4). Формируют новые индексы строк r'=1, …, R' и столбцов s'=1, …, S' обрезанного ПХИ (фиг. 8) пространственно соответствующего с ГСИ .

На четвертом этапе вычисляют масштабный коэффициент , на основе которого формируют виртуальную масштабную сетку по строкам и столбцам ПХИ, состоящую из I×J ячеек и соответствующую размеру ПХИ . На фиг. 9 представлен фрагмент ПХИ с наложением такой сетки с размером ячейки соответствующей размеру i,j-го пиксела ГСИ (фиг. 10) приведенного к масштабу ПХИ.

На пятом этапе выполняют спектральное разделение на отдельные объекты по яркостям -х пикселей ПХИ в каждой i,j-й ячейке соответствующей i,j-му пикселу ГСИ, например, путем вычисления среднеквадратического отклонения:

где - ГСИ, усредненное по М спектральным компонентам соответствующим спектральному диапазону регистрации ПХИ.

Далее σ_i,j сравнивают с порогом. Если значение σ_i,j превышает заданный порог T, то i,j-й пиксел ГСИ считается «смешанным» и соответствует нескольким объектам, отображаемым на ПХИ, а если σ_i,j меньше порога, то i,j-й пиксел считается «чистым» и соответствует одному объекту. Всем «смешанным» i,j-м пикселам присваивают нули, а «чистые» сохраняют:

На фиг. 11 представлен пример спектрального разделения в соответствии с выражением (2) при Т=30 для случая точного совмещения контуров и растров ГСИ и ПХИ как представлено на фиг. 5, а на фиг. 12 приведен пример спектрального разделения для случая совмещения контуров с ошибкой, как на фиг. 6. Из фиг. 9-12 видно, что точное совмещение ГСИ и ПХИ играет важную роль в точности разделения объектов, так на фиг. 12 подавляющее большинство пикселей отнесено к смешанным, что в действительности не является таковым. С учетом того, что на примере неточного совмещения растров ГСИ и ПХИ, ошибка взаимной ориентации была линейной и небольшой, то при более сильных взаимных искажениях ГСИ и ПХИ, спектральное разделение вовсе будет ложным.

На шестом этапе формируют итогового гиперспектральное изображения (фиг. 13) с пространственным разрешением r'=1, …, R' элементов по строкам, s'=1, …, S' по столбцам и спектральным разрешением l=1, …, L, путем присвоения каждому -му пикселу панхроматического изображения спектральной характеристики наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на гиперспектральном изображении:

где , p=0, 1, …, Р, g=0, 1, …, Q - параметры окрестности i,j-го пиксела.

Таким образом, в предлагаемом способе повышения пространственного разрешения ГСИ с привлечением ПХИ высокого пространственного разрешения, за счет взаимной их пространственной привязки и масштабирования происходит повышение точности разделения ГСИ низкого пространственного разрешения на отдельные объекты, а также возможность использования ПХИ полученных в другие моменты времени (не синхронно) по отношению к получению ГСИ.

Предлагаемый способ может быть реализован, например, с помощью устройства, блок-схема которого представлена на фиг. 14. Блок-схема устройства содержит: блоки 1, 2 выделения контуров; блок 3 выбора соответствующих точек; блок 4 совмещения контуров; блок 5 формирования новых индексов ПХИ; блок 6 формирования обрезанного ПХИ; блок 7 пространственного преобразования растра ГСИ; блок 8 вычисления масштабного коэффициента; блок 9 формирования масштабной сетки; блоки 10, 14 усреднения; блок 11 вычисления среднеквадратического отклонения; блок 12 сравнения; блок 13 блок формирования «чистых» спектральных характеристик объектов на ГСИ; блок 15 нахождения минимума; блок 16 формирования конечного ГСИ высокого пространственного разрешения.

Устройство на фиг. 14 работает следующим образом. На вход устройства поступают ГСИ и ПХИ, которые подают на вход блоков выделения контуров 1, 2 соответственно, полученные контура далее подают в блок 3 выбора соответствующих точек на контурах ГСИ и ПХИ и подают их в блок 4 совмещения контуров, из которого информация о координатах совмещенных контуров параллельно поступает на блок 5 формирования новых индексов ПХИ на основе которых, в блоке 6 формируют обрезанное ПХИ пространственно соответствующее ГСИ, на блок 7 преобразования растра ГСИ в соответствии с пространственной ориентацией ПХИ, на блок 8 расчета масштабного коэффициента и блок 9 формирования масштабной сетки. Полученную масштабную сетку подают в блок 11 расчета среднеквадратического отклонения, на вход которого, также подают ПХИ с блока 6 и усредненное по спектральным компонентам ГСИ с блока 10, после чего, полученные значения среднеквадратического отклонения подают на блок сравнения 12, а далее на блок 13 формирования «чистых» спектральных характеристик ГСИ с которого информация параллельно поступает в блок усреднения 14 и блок 16 формирования результирующего ГСИ высокого пространственного разрешения. Полученные в блоке 14 значения подают в блок 15 нахождения минимума между значениями яркости пикселей ПХИ, попавших в i,j-ю ячейку масштабной сетки и соответствующими i,j-м и его окружающими i±р,j±q-ми пикселями усредненного ГСИ, и далее подают в блок 16, где присваивают каждому пикселу ПХИ поступившего на его вход с блока 6 i,j-й спектральной характеристики соответствующей минимуму с i,j-м пикселом ГСИ поступившего на его вход с блока 13.

Таким образом, предлагаемый способ позволяет повысить точность спектрального разделения объектов на ГСИ, а также использовать ПХИ, полученные в другие моменты времени (не синхронно) по отношению к получению ГСИ, за счет того, что для разделения пикселей ГСИ используют ПХИ с многократно большим пространственным разрешением (r=1, …, R, s=1, …, S элементов по строкам и столбцам соответственно), выделяют контура ГСИ и ПХИ, находят соответствующие точки контуров ГСИ и ПХИ, совмещают их контура, преобразовывают растр ГСИ таким образом, чтобы координаты соответствующих точек контуров ГСИ и ПХИ совпадали, обрезают участки ПХИ, в которых оно пространственно не совпадает с ГСИ, формируют индексы строк r'=1, …, R' и столбцов s'=1, …, S' обрезанного ПХИ пространственно соответствующего ГСИ, вычисляют масштабный коэффициент , ПХИ и ГСИ, формируют масштабную сетку по строкам и столбцам ПХИ, состоящую из I×J ячеек и соответствующую размеру ПХИ, разделение на отдельные объекты выполняют по яркостям пикселей ПХИ в каждой i,j-й ячейке соответствующей i,j-му пикселу ГСИ, формируют итоговое ГСИ с пространственным разрешением r'=1, …, R' элементов по строкам и s'=1, …, S' по столбцам, путем присвоения каждому пикселу с координатами спектральной характеристики наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на ГСИ, где р=0, 1, …, Р, q=0, 1, …, Q.

Предлагаемое техническое решение является новым, поскольку из общедоступных сведений неизвестен способ повышения пространственного разрешения гиперспектральных изображений, заключающийся в том, что выполняют разделение каждого пиксела гиперспектрального изображения с низким пространственным разрешением (i=1, …, I элементов по строкам и j=1, …, J по столбцам) на отдельные объекты, присваивают каждому выделенному объекту спектральную характеристику наиболее схожую с характеристикой одного из объектов, отображаемых на гиперспектральном изображении, для разделения пикселей гиперспектрального изображения используют панхроматическое изображение с многократно большим пространственным разрешением (r=1, …, R, s=1, …, S элементов по строкам и столбцам соответственно) по отношению к гиперспектральному, выделяют контура гиперспектрального и панхроматического изображений, находят соответствующие точки контуров гиперспектрального и панхроматического изображений, совмещают их контура, преобразовывают растр гиперспектрального изображения таким образом, чтобы координаты соответствующих точек контуров гиперспектрального и панхроматического изображений совпадали, обрезают участки панхроматического изображения, в которых оно пространственно не совпадает с гиперспектральным изображением, формируют индексы строк r'=1, …, R' и столбцов s'=1, …, S' обрезанного панхроматического изображения пространственно соответствующего гиперспектральному изображению, вычисляют масштабный коэффициент панхроматического и гиперспектрального изображений, формируют масштабную сетку по строкам и столбцам панхроматического изображения, состоящую из I×J ячеек и соответствующую размеру панхроматического изображения, разделение на отдельные объекты выполняют по яркостям пикселей панхроматического изображения в каждой i,j-й ячейке соответствующей i,j-му пикселу гиперспектрального изображения, формируют итоговое гиперспектральное изображение с пространственным разрешением r'=1, …, R' элементов по строкам и s'=1, …, S' по столбцам, путем присвоения каждому пикселу с координатами спектральной характеристики наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на гиперспектральном изображении, где p=0, 1, …, P, q=0, 1, …, Q.

Предлагаемое техническое решение является промышленно применимым, так как для его реализации могут быть использованы любые известные из уровня техники программируемые и непрограммируемые процессоры цифровой обработки сигналов и изображений (см., например, URL: http://module.ru/catalog/).

Изобретение относится к области обработки изображений. Технический результат заключается в повышении точности спектрального разделения объектов на гиперспектральных изображениях по панхроматическим изображениям высокого пространственного разрешения. Технический результат достигается за счет выполнения следующих этапов способа: разделение каждого пиксела гиперспектрального изображения на отдельные объекты, присвоение каждому выделенному объекту спектральной характеристики, для чего используют панхроматическое изображение с многократно большим пространственным разрешением, выделение контура гиперспектрального и панхроматического изображений, соотнесение контуров гиперспектрального и панхроматического изображений таким образом, чтобы координаты соответствующих точек совпадали, обрезка участков панхроматического изображения, в которых оно не совпадает с гиперспектральным изображением, формирование индексов строк и столбцов обрезанного панхроматического изображения, вычисление масштабного коэффициента панхроматического и гиперспектрального изображений, формирование масштабной сетки панхроматического изображения, разделение на объекты по яркостям пикселей панхроматического изображения в каждой ячейке, соответствующей пикселу гиперспектрального изображения, формирование итогового гиперспектрального изображения путем присвоения каждому пикселу спектральной характеристики, наиболее схожей с характеристикой одного из ближайших по окрестности объектов, отображаемых на гиперспектральном изображении. 14 ил.

Способ повышения пространственного разрешения гиперспектральных изображений, включающий разделение каждого пиксела гиперспектрального изображения с низким пространственным разрешением (i = 1, …, I элементов по строкам и j = 1, …, J по столбцам) на отдельные объекты, присвоение каждому выделенному объекту спектральной характеристики, наиболее схожей с характеристикой одного из объектов, отображаемых на гиперспектральном изображении, отличающийся тем, что для разделения пикселей гиперспектрального изображения используют панхроматическое изображение с многократно большим пространственным разрешением (r = 1, …, R, s = 1, …, S элементов по строкам и столбцам соответственно) по отношению к гиперспектральному, выделяют контуры гиперспектрального и панхроматического изображений, находят соответствующие точки контуров гиперспектрального и панхроматического изображений, совмещают их контуры, преобразовывают растр гиперспектрального изображения таким образом, чтобы координаты соответствующих точек контуров гиперспектрального и панхроматического изображений совпадали, обрезают участки панхроматического изображения, в которых оно пространственно не совпадает с гиперспектральным изображением, формируют индексы строк r' = 1, …, R' и столбцов s' = 1, …, S' обрезанного панхроматического изображения, пространственно соответствующего гиперспектральному изображению, вычисляют масштабный коэффициент панхроматического и гиперспектрального изображений, формируют масштабную сетку по строкам и столбцам панхроматического изображения, состоящую из I×J ячеек и соответствующую размеру панхроматического изображения, разделение на отдельные объекты выполняют по яркостям пикселей панхроматического изображения в каждой i,j-й ячейке соответствующей i,j-му пикселу гиперспектрального изображения, формируют итоговое гиперспектральное изображение с пространственным разрешением r' = 1, …, R' элементов по строкам и s' = 1, …, S' по столбцам путем присвоения каждому пикселу с координатами спектральной характеристики, наиболее схожей с характеристикой одного из ближайших по окрестности i±p,j±q объектов, отображаемых на гиперспектральном изображении, где р = 0, 1, …, P, q = 0, 1, …, Q.