СПОСОБ ПРЕОБРАЗОВАНИЯ ИЗОБРАЖЕНИЯ Российский патент 2016 года по МПК G06T5/50 

Изобретение относится к способам преобразования многозональной или гиперспектральной видеоинформации, преимущественно для целей дистанционного зондирования. Способ основан на использовании в качестве признаков объектов особенностей в структуре матрицы корреляций видеоинформации, получаемой в разных зонах спектра.

Состояние области

Широко используются различные способы преобразования многозональных изображений, заключающиеся в том, что выполняют съемку одновременно в разных зонах электромагнитного спектра, выбирают наиболее информативные для решаемой задачи зоны спектра, полученные результаты преобразуют в цветокодированное изображение, в котором по цвету определяют ареалы распространения анализируемых объектов (Союз-22 исследует Землю. Наука. М., 1980 г.).

Недостатком многозонального способа является то, что ограниченное число выделенных широких зон спектра не всегда обеспечивает решение поставленной задачи.

Более продвинутыми являются гиперспектральные способы получения и преобразования изображений. Они заключаются в том, что сканируют наблюдаемую область, принимают отраженное от наблюдаемых объектов излучение, раскладывают его в спектр и накапливают (запоминают) видеоинформацию о спектральных характеристиках каждой просматриваемой точки в наблюдаемой области сканирования. При этом формируется видеоинформационный куб, который содержит многоспектральные слои изображений, полученных в результате сканирования. Характерное число таких многоспектральных слоев может быть 200 и более. Например, 242 у ИСЗ «Hyperion» (Imaging Spectrometry: Basic Princip lesand Prospective Applications, Ed. F.D. vander Meerand S.M. deJong, Kluwer Academic Publishers, New York, Boston, Dordrecht, London, Moscow, 2002, 403 pp).

Предложены способы распознавания природных объектов и их состояния по гиперспектральным данным (см. патент RU №2422858, кл. G01V 9/00, опубл. 27.06.2011 г.).

Недостатком гиперспектрального способа преобразования изображений является резкое усложнение выделения необходимой информационной составляющей о наличии и характере анализируемых объектов. Увеличение числа съемочных зон вместе с увеличением объема получаемой информации соответственно увеличивает также и сложность выбора информативной составляющей для решаемых задач. Анализ этой видеоинформации требует выполнения ее целевого преобразования с целью минимизации анализируемого объема данных и оптимизации ее представления.

Эффективным способом сокращения избыточности при использовании многоканальных данных является преобразование полученной видеоинформации методом выделения главных компонент (преобразование Карунена-Лоэва). (Hyvdrinen A, Karhunen J., and Oja Ε., Independent Component Analysis, John Wiley & Sons, Inc., 2001, XVI+481 pp). В основе этого преобразования лежит использование корреляционной зависимости информации в разных зонах спектра. Оно приводит к резкому сокращению объема данных и получению существенно меньшего числа значимых изображений со статистически ортогональной оценкой (см. статью Чабан Л.Н. «Автоматизированная обработка аэрокосмической информации при картографировании геопространственных данных», учебное пособие, М., МИИГАиК, 2013 г.).

Недостатком полученных таким путем изображений является их статистическая оптимальность, не связанная с выделением конкретного объекта. Хотя в целом эти изображения сохраняют объем информации, в частном случае для некого произвольного, но интересующего нас объекта, условия распознавания могут даже ухудшиться.

Известно использование корреляции между изображениями стереопары для выявления их соответствия по характеру пространственной структуры изображения. Широкое применение оно нашло в стереофотограмметрии для получения информации о рельефе наблюдаемой местности (см. статью Лобанов А.Н. «Фотограмметрия», М.: Недра, 1984).

Упоминалось также о наличии характерных физиономичных особенностей корреляционных данных различных классов объектов, получаемых при анализе результатов многозональной или гиперспектральной съемки и потенциальной возможности использования их при интерпретации (см. статью Котцов В.А., Фивенский Ю.И. «Многозональная аэрокосмическая съемка и ее использование при изучении природных ресурсов», ред. Ю.Ф. Книжников, М., изд-во Московского университета, 1976 г.).

Недостатки корреляционных методов проявляются в наличии яркостных вариаций текущего изображения по отношению к эталонному. Особенно влияют на степень корреляционных оценок изменение условий освещения и ракурса наблюдения. В связи с этим корреляционные алгоритмы считают недостаточно устойчивыми к возможным искажениям.

Выявлено, что корреляционная структура спектра оптического сигнала, восходящего от природных образований, имеет характерные особенности, связанные со свойствами наблюдаемых объектов. Отмечено, что эта структура, базирующаяся на корреляции оценок в разных зонах спектра, устойчива к статистической неоднородности массива данных (см. статью Попа Α., Балтер Б.М., Ганзориг М., Егоров В.В., Качински Р. «Особенности корреляционной структуры спектра оптического сигнала, восходящего от зондируемых объектов (на примере морской поверхности)», журнал «Исследование Земли из космоса», №3, 1988, с. 23).

Однако эффективных способов, которые используют для целевого использования особенности структуры корреляционной матрицы между зонами спектра, до настоящего времени предложено не было.

Прототип

В качестве прототипа к предлагаемому техническому решению принят способ преобразования изображений (см. патент RU №2267232, кл. G06K 9/36, G06T 5/00, Η04Ν 1/40, 9/67, опубл. 27.12.2005 г.). Он заключается в том, что производят (многозональную) гиперспектральную съемку. Выбирают эталонный объект по материалам съемки и формируют для него n-мерный вектор признаков. При этом в качестве признаков используют яркости пикселей исходных изображений для этого объекта. Затем поэлементно просматривают результаты съемки в разных зонах спектра, анализируют их яркостное содержание в тех же зонах спектра, а синтез итогового изображения осуществляют так, что каждому текущему элементу синтезируемого изображения присваивают значение, равное расстоянию в n-мерном векторном пространстве признаков между вектором, соответствующим эталону, и вектором, соответствующим элементу просматриваемой исходной видеоинформации.

Недостатком прототипа является недостаточная эффективность сравнения яркостных характеристик, получаемых в разных зонах спектра, при сравнении объектов в произвольных меняющихся условиях наблюдения с эталонными данными.

Предлагаемое техническое решение

Целью предлагаемого технического решения является повышение надежности выявления на многозональном или гиперспектральном изображении областей наибольшего сходства с областью изображения, выбранной за эталон, а также повышение эффективности определения области распространения его на изображении.

Сущность предлагаемого технического решения заключается в том, что производят многозональную или гиперспектральную съемку. По априорным данным в библиотеке спектрометрических данных эталонных объектов, содержащей информацию о естественной изменчивости этих объектов в виде набора вариантов спектра, или по результатам самой съемки по эталонному участку предварительно вычисляют матрицу межканальных корреляций яркости для интересующего объекта (эталона) в этих зонах спектра. Сокращают (уменьшают) число используемых зон спектра, используя набор спектральных каналов, физиономичных для рассматриваемого эталона (эталонов), и отбрасывая каналы с незначимой межканальной корреляцией. Затем пофрагментно просматривают результаты съемки и для каждого из последовательно просматриваемых фрагментов вычисляют матрицу корреляций яркости в тех же выбранных зонах спектра. При этом последовательно сравнивают матрицу корреляций яркости, полученную для каждого из этих фрагментов, с корреляционной матрицей интересующего объекта (эталона), а по результатам этого сравнения формируют синтезированное изображение.

Наиболее эффективно такое сравнение выполняют вычислением величины корреляции между матрицами корреляций яркости, полученных для каждого из последовательности фрагментов исходного изображения, и априорной корреляционной матрицей интересующего объекта (эталона). Получаемую при этом оценку (вторичная или «двойная корреляция») представляют изображением, в соответствии с произведенным пофрагментным просмотром. Оно отражает степень сходства всей совокупности характеристик пространственно-спектральной изменчивости различных участков территории с соответствующими характеристиками эталонного объекта (или различных объектов, если формируется несколько результирующих изображений).

Сравнение выполняют вычислением величины корреляции по набору связных подмножеств спектральных каналов корреляционных матриц фрагментов исходного изображения и интересующего объекта (эталона), причем спектральные каналы этих подмножеств должны находиться во взаимно-однозначном соответствии для обеих сравниваемых корреляционных матриц. Выбор сравниваемых подмножеств производится экспертным путем, в зависимости от того, пространственно-спектральную изменчивость каких характеристик объекта предполагается отразить на результирующем изображении. Уменьшение используемого подмножества каналов приводит к ускорению счета.

Для повышения эффективности визуального восприятия получаемая оценка величины корреляции при сравнении с эталоном может кодироваться цветом. В этом случае ареал распространения интересующего объекта на изображении легко прослеживается по цвету.

В некоторых случаях цветовое кодирование может использоваться для одновременного сравнения распространения разных объектов - факторов. Наиболее эффективно использовать результаты анализа для трех объектов (эталонов). Для этого их поэлементно совмещают в одно изображение, предварительно окрашивая их в основные цвета (красный, зеленый и синий для позитивного или пурпурный, желтый и голубой для негативного отображения).

В случае пространственного разделения разных объектов - факторов их можно пофрагментно совместить в формируемое изображение в соответствии с величиной полученной оценки и окрасить для представления в разные цвета.

Пример реализации

Предложенное техническое решение легко осуществляется существующими техническими средствами обработки видеоинформации. В качестве примера реализации предлагаемого способа использованы материалы съемки гиперспектрометром AVIRIS, выполненные с самолета в районе лесного пожара. На фиг. 1 представлено изображение района лесного пожара, выполненное в нормальном цветном отображении.

В качестве объектов (эталонов) на этой территории были выбраны участки возгорания с разными характерными особенностями. Затем для этих участков по результатам гиперспектральной съемки было выполнено описанное преобразование. На фиг. 2 (а, б и в) показаны полученные результаты анализа распространения лесного пожара. Белый цвет на снимке: величина корреляции 0, черный: корреляция 1. Они были получены путем пофрагментной оценки и корреляционного сравнения наблюдаемой области лесного пожара с 3 образцами корреляционных характеристик, полученных на эталонных участках, отмеченных квадратами: на снимке а, показанном слева, выделен главный очаг пожара, на снимке 6, показанном в центре, выделен фронт горения, а на правом снимке выделена область множества мелких возгораний. Видно, что пространственная структура области высоких корреляций с эталоном (темное на изображении) принципиально различается в зависимости от того, что принято за эталон. Эта особенность корреляционной структуры в каждом случае позволяет выявить в исходной видеоинформации разную в смысловом отношении видеоинформацию - области очагов, фронтов и мелких возгораний по всей территории, охваченной снимком.

Положительный эффект

Предлагаемый способ достаточно ясный по смыслу и простой в реализации и позволяет быстро получать легко интерпретируемый результат. Он достаточно просто адаптируется к любому спектрально характерному объекту и приводит к резкому сокращению объема представляемой для последующего анализа видеоинформации. Следует заметить, что, так же, как и при традиционном цветокодировании результатов многозонального анализа, эффективность способа зависит от выбора спектрального диапазона, числа и ширины используемых зон спектра и спектральных особенностей фона, на котором производится поиск объекта.

Выбор в качестве критерия величины корреляции существенно снижает зависимость получаемого результата от изменения условий наблюдения вследствие того, что это нормированный параметр. Предлагаемый способ является устойчивым к изменению освещенности и положения объекта в поле зрения съемочной системы. Вместе с тем, поскольку этот параметр носит комплексный характер, связанный с набором зон спектра, то он будет избирателен к индивидуальным особенностям объекта, а получаемый результат максимально снижает размерность признаков после преобразования. Как видно из примера реализации, результат целевого анализа может быть представлен одним черно-белым изображением.

Применение цветового кодирования получаемой видеоинформации позволит увеличить эффективность прослеживания степени подобия и областей распространения анализируемых объектов, подобных эталону.

Предлагаемый способ может быть использован в наземных и бортовых комплексах обработки многозональной и гиперспектральной видеоинформации дистанционного зондирования для получения целевой информации о распространении объектов с заданными характеристиками, а также для резкого сокращения объема передаваемой целевой видеоинформации.

Изобретение относится к способам преобразования многозональной или гиперспектральной видеоинформации, преимущественно для целей дистанционного зондирования. Предложено формировать изображение на основе пофрагментного просмотра получаемой многозональной или гиперспектральной видеоинформации и сравнения матриц межканальных корреляций для каждого фрагмента с матрицей межканальных корреляций для эталона, выбираемого на снимках или из априорных данных. Сравнение может выполняться путем определения их корреляции. Технический результат - снижение размерности исходной видеоинформации и устойчивость к изменениям условий наблюдения. 1 з.п. ф-лы, 2 ил.

1. Способ преобразования изображения, заключающийся в том, что производят многозональную или гиперспектральную съемку, выбирают объект (эталон) и формируют для него признак, а затем пофрагментно просматривают результаты съемки и по сравнению признаков преобразуют полученные значения яркости в разных зонах спектра к синтезированному изображению, отличающийся тем, что в качестве признака предварительно вычисляют матрицу межканальных корреляций яркости между зонами спектра для интересующего объекта (эталона) по априорным спектрометрическим данным или выбранному известному участку в результатах съемки, при этом после вычисления матриц межканальных корреляций яркости сокращают число используемых зон спектра, используя только набор спектральных каналов, значимых (физиономичных) корреляций для рассматриваемого объекта (эталона), и отбрасывают каналы с незначимой межканальной корреляцией, а затем для каждого из последовательно просматриваемых фрагментов исходной видеоинформации вычисляют матрицу межканальных корреляций яркости в тех же зонах спектра, и сравнивают эту матрицу межканальных корреляций с корреляционной матрицей выбранного интересующего объекта (эталона), при этом определяют коэффициент корреляции между этими матрицами, а по результатам этого определения пофрагментно формируют синтезированное изображение.

2. Способ по п. 1, отличающийся тем, что повторяют те же операции для другого интересующего объекта (эталона), при этом выбирают набор спектральных каналов со значимыми (физиономичными) корреляциями только для этого нового объекта (эталона), а затем в формируемом изображении совмещают результаты оценок, полученных для разных объектов (эталонов), окрашивая их разным цветом.