СПОСОБ ПРЕОБРАЗОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2005 года по МПК H04N1/40 H04N9/67 G06K9/36 G06T5/00 

Изобретение относится к области обработки данных дистанционного зондирования и может быть использовано для решения задач обнаружения и распознавания в различных областях народного хозяйства, например, в аэро- и космической фотосъемке, обнаружении природных аномалий, лесных пожаров, техногенных катастроф, в частности, для решения задач оперативного наблюдения при необходимости вынесения быстрых решений.

Информационные технологии, имеющие отношение к пространственно распределенной информации и использующие дистанционное зондирование Земли из космоса или с самолетов, а также сбор информации на местности, должны представлять информацию в виде, удобном для зрительного восприятия. При современном уровне развития техники съемка ведется раздельно в нескольких спектральных диапазонах, и фиксируются отдельно различные зоны спектра - многозональный режим. При многозональном режиме получают серию геометрически попиксельно совмещенных изображений в нескольких узких зонах электромагнитных волн. Многозональный режим предоставляет более полную информацию, по сравнению с одноканальным режимом, но для зрительного восприятия неудобен. Необходимо предпринимать обработку полученных изображений, чтобы подготовить информацию к виду, позволяющему интерпретировать полученную информацию.

Известным способам преобразования изображений присущ компромисс между спектральным разрешением и трудоемкостью визуализации. Либо в способе используется очень низкое спектральное разрешение (обычное цветовое телевидение) либо применяется трудоемкая техника визуализации.

Известен способ преобразования изображений (см. Know H., Der S.Z., Nasrabadi N.М., Adaptive multisensor target detection using feature-based fusion. Optical Engineering, 2002, V.41(1), c.69-80), включающий получение изображения сцены одновременно в нескольких спектральных диапазонах видимого и теплового излучения, которые затем визуализируются в одном синтезированном цветном изображении, где каждое исходное изображение представлено монохроматическим цветом - красным, зеленым или голубым.

К причинам, препятствующим достижению указанного ниже технического результата при использовании известного способа, относится то, что слияние изображений возможно лишь при такой обработке исходных изображений и совместного их представления в цвете, когда независимо от внешних условий получения исходных изображений обеспечивается достаточный для уверенного восприятия цветовой контраст. К внешним условиям, ограничивающим применение метода для зрительного восприятия, относится влияние неравномерности фона, уровня и характера дневного освещения, степень вариации температурных контрастов элементов сцены, зависящих от метеообстановки, времени суток и года. Кроме того, в известном способе необходима многоканальная передача информации.

Наиболее близким способом того же назначения к заявленному изобретению по совокупности признаков является способ преобразования изображений [см. А.Л.Зуев. Схемы и особенности применения фоноцелевой информации при реализации методов комплексного распознавания разноспектральных изображений. // Научно-технический сборник, выпуск 5, под редакцией М.Н.Марова, СПб: МО РФ, 2003. С.15-23.], включающий получение исходных геометрически попиксельно совмещенных оцифрованных изображений одной и той же сцены одновременно в n спектральных диапазонах, формирование исходной матрицы признаков, каждый элемент которой представляет собой n-мерный вектор значений признаков пикселей исходных изображений с одинаковыми координатами, синтез итогового изображения. Способ принят за прототип. В способе итоговое изображение синтезируют на основе функционального преобразования с использованием предварительной фильтрации исходных изображений и изменения динамического диапазона. В методе определяющую роль играет классификация пикселей на основе меры статистической разделимости их на классы. К причинам, препятствующим достижению указанного ниже технического результата при использовании известного способа, относится то, что в известном способе практическая реализация операций способа является трудоемкой и предполагает наличие исходной или обучающей статистики банка данных информации по фону и объектам.

Сущность изобретения заключается в следующем.

Задача извлечения из изображений, полученных дистанционным зондированием, содержательной информации в общем случае весьма сложна. Удовлетворительное дешифрирование во многих случаях не может быть осуществлено без участия человека, который при распознавании использует неформализованные признаки, накопленные опытом. Обработка изображений с помощью вычислительной техники может облегчить человеку вынесение решений. Особенно эффективна такая обработка при многозональном режиме, когда получают серию геометрически попиксельно совмещенных изображений в нескольких узких зонах электромагнитных волн. Многозональный режим предоставляет более полную информацию, по сравнению с одноканальным режимом, но для зрительного восприятия неудобен. Необходимо подготовить информацию, содержащуюся в изображениях, к виду, позволяющему зрительно интерпретировать полученные данные. Для подготовки изображений к облегчению зрительного восприятия применяются методы теории распознавания. Эти методы предполагают серьезную подготовительную работу и быстродействующую вычислительную технику. Однако существует достаточно большой класс практически важных задач, которые требуют быстрого распознавания и обнаружения объектов на изображениях без затраты времени на подготовительные мероприятия. Заявленное изобретение ориентировано на именно такой класс задач и предназначено для оперативной подготовки изображений, полученных в n спектральных диапазонах, к виду, удобному для распознавания человеком-дешифровщиком.

Технический результат изобретения заключается в упрощении и ускорении операций по созданию синтезированного изображения для визуальной интерпретации, при выполнении которых осуществляется возможность адаптации синтезированного изображения к интересующим наблюдателя объектам, возможность более детального отражения на синтезированном изображении объектов, выбранных наблюдателем, возможность более надежного выделения на синтезированном изображении объектов, выбранных наблюдателем. При осуществлении заявленного способа также снижаются требования к условиям получения данных. Кроме того, обеспечивается более компактное представление информации, позволяющее ускорить передачу необходимой информации по одному каналу с высокой пропускной способностью.

Указанный технический результат при осуществлении изобретения достигается тем, что в известном способе, включающем получение геометрически попиксельно совмещенных оцифрованных изображений одной и той же сцены одновременно в n спектральных диапазонах, формирование исходной матрицы признаков, каждый элемент которой представляет собой n-мерный вектор значений признаков пикселей исходных изображений с одинаковыми координатами, синтез итогового изображения, отлично то, что выбирают эталон в виде произвольного элемента исходной матрицы признаков, синтез итогового изображения осуществляют так, что формируют итоговую числовую матрицу, каждому текущему элементу которой присваивают значение, равное расстоянию в векторном пространстве признаков между вектором, соответствующим эталону, и вектором, соответствующим элементу исходной матрицы с тем же номером строки и столбца, что и текущий элемент, переводят итоговую числовую матрицу в цифровое изображение, при этом в качестве признаков используют яркости пикселей исходных изображений.

Если в качестве признаков дополнительно используют текстурные характеристики пикселей исходных изображений, то вследствие увеличения размерности пространства признаков возникает усиление указанного ранее технического результата относительно более детального отражения на синтезированном изображении объектов, выбранных наблюдателем.

Если в качестве признаков дополнительно используют градиентные характеристики пикселей исходных изображений, то вследствие увеличения размерности пространства признаков возникает усиление указанного ранее технического результата относительно более детального отражения на синтезированном изображении объектов, выбранных наблюдателем.

Если к выбранному в качестве эталона элементу матрицы признаков присоединяют дополнительно соседние элементы этой матрицы признаков, строят гистограмму на векторах, соответствующих эталону и присоединенным элементам, при формировании итоговой числовой матрицы, каждому текущему элементу присваивают значение, равное расстоянию в пространстве признаков между вектором, соответствующим элементу исходной матрицы с тем же номером строки и столбца, что и текущий элемент, и векторами, соответствующими эталону и присоединенным к нему элементам, при этом расстояние для текущего элемента определяют соответствующим значением гистограммы, то возникает усиление указанного ранее технического результата относительно более надежного выделения на синтезированном изображении объектов, выбранных наблюдателем. Этот результат является следствием более детального описания эталона путем присоединения к его признакам дополнительно признаков, содержащихся в соседних элементах.

Совокупность вышеизложенных признаков изобретения связана причинно-следственной связью с техническим результатом изобретения. Итоговое изображение, представляемое для зрительного восприятия, синтезируется нами из исходных геометрически попиксельно совмещенных изображений одной и той же сцены, полученных одновременно в n спектральных диапазонах, таким образом, что визуализирует в результате меру сходства отображаемых элементов сцены с эталоном. Эталон выбирается произвольным образом в виде элемента матрицы признаков, характеризующих пиксели исходных изображений. В качестве признаков используют яркости пикселей исходных изображений. Эталон может быть выбран так, что соответствует тем пикселям исходных изображений, которые принадлежат объектам, более всего интересующим наблюдателя. Меру сходства мы оцениваем расстоянием в векторном пространстве признаков. Расстояние в векторном пространстве признаков определяется известными соотношениями. Оно может определяться либо евклидовым расстоянием, либо максимальным отклонением, либо евклидовым расстоянием с весовыми коэффициентами, выбранными в соответствии с априорной информацией об объектах, послуживших основой для выбора эталона, и т.д.

При описанном подходе к синтезу исходного изображения упрощаются операции по его созданию, уменьшается время, необходимое для его создания. Также появляется возможность адаптации синтезируемого изображения к интересующим наблюдателя объектам. В заявленном методе визуализируется расстояние, которое выражается скалярной величиной и отображается на синтезированном изображении в серой шкале. Это обеспечивает более компактное представление информации, позволяющее ускорить передачу ее без применения мультиплексирования, используя при этом лишь один канал. Поскольку как признаки текущих пикселей, так и признаки пикселей эталона при формировании изображения происходят из данных, полученных при одинаковых условиях (в тот же момент той же самой аппаратурой), результирующее синтезированное изображение инвариантно относительно условий и способов регистрации. Этот факт позволяет существенно снизить требования к условиям съемки.

Использование в качестве признаков дополнительно текстурных характеристик пикселей исходных изображений увеличивает размерность признакового пространства и приводит к более детальному отражению объектов.

Использование в качестве признаков дополнительно градиентных характеристик пикселей исходных изображений увеличивает размерность признакового пространства и приводит к более детальному отражению объектов.

Присоединение к выбранному в качестве эталона элементу матрицы признаков дополнительно соседних элементов этой матрицы признаков позволяет характеризовать объект, выбранный наблюдателем, большим числом признаков. Построение гистограммы на векторах, соответствующих эталону и присоединенным элементам и использование для формирования итоговой числовой матрицы расстояния, определяемого соответствующим значением гистограммы для текущего элемента, увеличивает надежность выделения на синтезированном изображении объектов, выбранных наблюдателем.

На фиг.1 представлены результаты примера конкретного выполнения способа по п.1. На фиг.1А приведены изображения одного и того же участка земной поверхности в 8-и спектральных диапазонах, полученные в результате дистанционного зондирования. Эти изображения служили исходными изображениями для последующего синтезирования итогового изображения. На фиг.1В представлен ряд синтезированных изображений, отличающихся выбором эталона в процессе их создания. Под каждым изображением на фиг.1В приведены координаты пикселей, которым соответствовали выбранные эталоны.

На фиг.2 представлены результаты примеров конкретного выполнения способа по пунктам 1 (фиг.2С) и 3 (фиг.2В). На фиг.2А приведены изображения одного и того же участка земной поверхности в 2-х спектральных диапазонах, полученные в результате дистанционного зондирования. Эти изображения служили исходными изображениями для последующего синтезирования итогового изображения. На фиг.2С представлено синтезированное изображение, полученное с использованием в качестве признаков яркостей пикселей исходных изображений. На фиг.2В представлено синтезированное изображение, полученное с использованием в качестве признаков яркостей и дополнительных градиентных характеристик пикселей исходных изображений. Синтез в обоих случаях осуществлялся с выбором эталона, соответствующего одинаковым координатам местоположения.

Способ реализуется в следующей последовательности операций.

При помощи оптической аппаратуры получают исходные геометрически попиксельно совмещенные изображения одной и той же сцены одновременно в n спектральных диапазонах. Под геометрически попиксельно совмещенными изображениями подразумеваем изображения, у которых всем пикселям с одинаковыми номерами строки и столбца на каждом из изображений соответствует один и тот же отображаемый объект сцены. Если изображения не являются оцифрованными, то их переводят в растровый цифровой формат известными способами. Если изображения не являются геометрически попиксельно совмещенными, то их с помощью обработки на ЭВМ известными способами приводят к такому виду. Затем формируют исходную матрицу признаков, каждый элемент которой представляет собой n-мерный вектор значений признаков пикселей исходных изображений с одинаковыми координатами. В качестве признаков используют яркости пикселей исходных изображений. Затем выбирают эталон в виде произвольного элемента исходной матрицы признаков. Эталон может быть выбран либо на основе визуального анализа какого-либо из полученных изображений, либо на основе априорной информации о местоположении интересующего объекта, либо на основе информации о спектральных признаках искомого объекта. Затем осуществляют формирование итоговой числовой матрицы, каждому текущему элементу которой присваивают значение, равное расстоянию в векторном пространстве признаков между вектором, соответствующим эталону, и вектором, соответствующим элементу исходной матрицы с тем же номером строки и столбца, что и текущий элемент. Текущим элементом мы называем произвольный формируемый элемент итоговой числовой матрицы. Расстояние в векторном пространстве признаков между вектором, соответствующим эталону и вектором, соответствующим текущему элементу, может быть определено либо как евклидово расстояние:

либо как:

либо как евклидово расстояние с весовыми коэффициентами, выбранными в соответствии с априорной информацией об эталоне:

Затем переводят итоговую числовую матрицу в цифровое изображение.

Если в качестве признаков дополнительно используют текстурные или градиентные характеристики пикселей исходных изображений: , то расстояние в векторном пространстве признаков между вектором, соответствующим эталону , и вектором, соответствующим текущему элементу , может быть определено либо как евклидово расстояние:

либо как:

либо как евклидово расстояние с весовыми коэффициентами, выбранными в соответствии с априорной информацией об эталоне:

Если к выбранному в качестве эталона элементу матрицы признаков присоединяют дополнительно соседние элементы этой матрицы признаков: , где d может принимать значения из множества d=±0,...,±D, h=±0,...,±H, где D и H - максимальное удаление дополнительных соседних элементов от выбранного элемента матрицы признаков по строке и по столбцу соответственно, значение D, H выбирают таким, чтобы максимально удаленные элементы не выходили за пределы матрицы признаков, строят гистограмму на векторах, соответствующих эталону и присоединенным элементам, s=k±0,...,k±D,h=t±0,...,t±H при формировании итоговой числовой матрицы каждому текущему элементу присваивают значение, равное расстоянию в пространстве признаков между вектором, соответствующим элементу исходной матрицы с тем же номером строки и столбца, что и текущий элемент, и векторами, соответствующими эталону и присоединенным к нему элементам, при этом расстояние определяют значением гистограммы для текущего элемента Количество соседних элементов выбирается произвольным образом и может изменяться от 1 до (KxL)-1, где K×L - размер изображения в пикселях.

Примеры конкретного выполнения способа.

Пример 1. В результате дистанционного зондирования земной поверхности, были получены геометрически попиксельно совмещенные изображения одной и той же сцены в 8-и спектральных диапазонах в цифровом растровом формате BMP размером 512×512. Эти изображения приведены на фиг.1А. Затем была сформирована исходная матрица признаков, каждый элемент которой представлял собой 8-мерный вектор значений признаков пикселей исходных изображений.

В качестве признаков использовались яркости пикселей оцифрованных исходных изображений. Затем были выбраны координаты местоположения на изображениях (k,l). (Согласно априорной информации этим координатам на изображениях соответствовал интересующий наблюдателя объект.) Этим координатам местоположения соответствовал эталон с вектором исходной матрицы признаков:

Затем была рассчитана числовая итоговая матрица при использовании евклидового расстояния. Для каждого текущего пикселя i=1,...,512; j=1,...,512 рассчитано расстояние:

Таким образом, была получена числовая матрица размером 512×512. Затем известным способом эта матрица была визуализирована. Синтез изображений был произведен 4 раза для 4 различных эталонов, соответствующих координатам местоположения: 1) k=436, l=422; 2) k=428, l=371; 3) k=386, l=374; 4) k=484, l=334. Эти синтезированные изображения приведены на фиг.1В. В результате применения способа упрощаются операции по синтезу изображения и обеспечивается более компактное представление информации, позволяющее передавать необходимую информацию по одному каналу. Фиг.1 демонстрирует, что синтезированное изображение адаптировано к конкретному объекту. Действительно, итоговые изображения отличаются, они синтезированы с различными эталонами.

Пример 2. Этот пример относится к выполнению способа по п.3. В результате дистанционного зондирования земной поверхности были получены геометрически попиксельно совмещенные одноракурсные и одномасштабные изображения в 2-х спектральных диапазонах в цифровом растровом формате BMP размером 512×256. Эти изображения приведены на фиг.2А. Затем для каждого пикселя и для каждого из изображений была произведена оценка модуля градиента и получены градиентные характеристики . При проведении оценок были использованы соотношения, взятые из [Р.Дуда, П.Харт, Распознавание образов и анализ сцен. М.: Мир, 1976, с.511].

Затем была сформирована исходная матрица признаков, каждый элемент которой представлял собой 4-х мерный вектор значений признаков пикселей исходных изображений.

В качестве признаков x₁,x₂ использовались яркости пикселей оцифрованных исходных изображений. Затем был выбран эталон с координатами местоположения на изображениях (k,l), k=208, l=231. (Согласно априорной информации этим координатам на изображениях соответствовал интересующий наблюдателя объект.) В признаковом пространстве эталону с координатами местоположения (k,l) соответствует 4-х мерный вектор

Затем была рассчитана числовая итоговая матрица при использовании евклидового расстояния. Для каждого текущего пикселя k=1,...,512, l=1,...,256 рассчитано расстояние:

Таким образом была получена числовая матрица размером 512×256. Затем известным способом эта матрица была визуализирована. Это синтезированное изображение приведено на фиг.2В.

Для сравнения была сформирована исходная матрица признаков, каждый элемент которой представлял собой 2-х мерный вектор значений признаков пикселей исходных изображений.

В качестве признаков x₁,x₂ использовались яркости пикселей оцифрованных исходных изображений. В признаковом пространстве эталону с координатами местоположения (k,l) соответствует 2-х мерный вектор

Затем была рассчитана числовая итоговая матрица при использовании евклидового расстояния. Для каждого текущего пикселя. i=1,...,512 j=1,...,256 рассчитано расстояние:

Таким образом была получена числовая матрица МР1 размером 512×256. Затем известным способом эта матрица была визуализирована. Это синтезированное изображение приведено на фиг.2С.

Фиг.2В демонстрирует эффект более детального отображения на синтезированном изображении объектов при использовании дополнительных градиентных характеристик. На изображении, полученном с использованием и яркостных и градиентных признаков, отображено больше малоразмерных объектов.

Предлагаемый способ имеет ряд преимуществ перед известными способами.

Для зрительного восприятия предоставляют синтезированное изображение, отражающее меру сходства отображаемых элементов сцены с эталоном. Критерий преимущества данного способа - это не объем извлекаемой информации, а ее практическая полезность и оперативность. Способ позволяет упростить и ускорить создание синтезированного изображения для визуальной интерпретации и при этом позволяет сконцентрировать внимание на интересующих наблюдателя объектах. Кроме того, способ отражает на синтезированном изображении не только интересующий объект, но и окружающий фон, что немаловажно для использования наблюдателем контекстной информации. Синтезированное заявленным способом изображение существенно менее чувствительно к условиям регистрации и съемки, поэтому при его осуществлении снижаются требования к условиям получения данных. Важным является то, что синтезированное изображение представляют в серой шкале, что обеспечивает передачу необходимой информации по одному каналу с высокой пропускной способностью. Необходимо отметить и то, что способ при вычислении меры сходства, позволяет легко включать пространственные характеристики, что увеличивает детальность синтезированного изображения и надежность выделения интересующего объекта.

Изобретение относится к области обработки данных дистанционного зондирования для обнаружения и распознавания по изображениям. Техническим результатом является упрощение операций по созданию синтезированного изображения для визуальной интерпретации, его адаптации к интересующим наблюдателя объектам, детальном отражении на синтезированном изображении объектов, выбранных наблюдателем, снижение требований к условиям получения исходных данных и компактном представлении информации. Технический результат достигается тем, что получают исходные геометрически попиксельно совмещенные оцифрованные изображения одной и той же сцены одновременно в n спектральных диапазонах, формируют исходную матрицу признаков, каждый элемент которой представляет собой n-мерный вектор значений признаков пикселей исходных изображений с одинаковыми координатами, выбирают эталон в виде произвольного элемента исходной матрицы признаков, формируют итоговую числовую матрицу, каждому текущему элементу которой присваивают значение, равное расстоянию в векторном пространстве признаков между вектором, соответствующим эталону и вектором, соответствующим элементу исходной матрицы с тем же номером строки и столбца, что и текущий элемент, переводят итоговую матрицу в цифровое изображение, причем в качестве признаков используют яркости пикселей, текстурные и градиентные характеристики пикселей исходных изображений. 3 з.п. ф-лы, 2 ил.

1. Способ преобразования изображений, включающий получение исходных геометрически попиксельно совмещенных оцифрованных изображений одной и той же сцены одновременно в n спектральных диапазонах, формирование исходной матрицы признаков, каждый элемент которой представляет собой n-мерный вектор значений признаков пикселей исходных изображений с одинаковыми координатами, синтез итогового изображения, отличающийся тем, что выбирают эталон в виде произвольного элемента исходной матрицы признаков, синтез итогового изображения осуществляют так, что формируют итоговую числовую матрицу, каждому текущему элементу которой присваивают значение, равное расстоянию в векторном пространстве признаков между вектором, соответствующим эталону, и вектором, соответствующим элементу исходной матрицы с тем же номером строки и столбца, что и текущий элемент, переводят итоговую числовую матрицу в цифровое изображение, при этом в качестве признаков используют яркости пикселей исходных изображений.2. Способ по п.1, отличающийся тем, что в качестве признаков дополнительно используют текстурные характеристики пикселей исходных изображений.3. Способ по п.1, отличающийся тем, что в качестве признаков дополнительно используют градиентные характеристики пикселей исходных изображений.4. Способ по п.1, отличающийся тем, что к выбранному в качестве эталона элементу матрицы признаков присоединяют дополнительно соседние элементы этой матрицы признаков, строят гистограмму на векторах, соответствующих эталону и присоединенным элементам, при формировании итоговой числовой матрицы каждому текущему элементу присваивают значение, равное расстоянию в пространстве признаков между вектором, соответствующим элементу исходной матрицы с тем же номером строки и столбца, что и текущий элемент, и векторами, соответствующими эталону и присоединенным к нему элементам, при этом расстояние для текущего элемента определяют значением гистограммы.