Способ идентификации опорных точек на космических изображениях местности при их трансформировании Российский патент 2019 года по МПК G06K9/46 

Изобретение относится к системам фотограмметрической обработки космических изображений местности высокого и сверхвысокого разрешения и может быть использовано при трансформировании этих изображений методами, требующими набора опорных точек, идентифицированных на обрабатываемом и опорном изображениях местности. Предлагаемый способ позволяет без участия оператора осуществить идентификацию набора опорных точек, исключить ложно идентифицированные опорные точки, что, в свою очередь, позволяет уменьшить ошибку геодезической привязки космического изображения (КИ) местности при его последующем трансформировании.

Известен способ автоматического выбора и идентификации характерных точек на разновременных разномасштабных аэрокосмических снимках [А.П. Гук, Йехиа Хассан Мики Хасан. Автоматический выбор и идентификация характерных точек на разновременных разномасштабных аэрокосмических снимках // Изв. вузов. «Геодезия и аэрофотосъемка». - 2010. - №2. - с. 63 - 68], включающий: подчеркивание контуров и выделение границ объектов путем определения разностного изображения для соседних уровней гауссова пространства изображений; выделение ключевых точек на разностном изображении путем последовательного просмотра разностных уровней и выявления локальных экстремумов (максимумов или минимумов) для разностных изображений; описание локальной области выделенной вокруг точки путем задания масштаба и ориентации локальной системы координат, связанные с этой локальной областью; детальное описание точки с помощью градиентов по направлениям, заданным относительно ориентации локальной области; сравнение детальных описании точки опорного и обрабатываемого космического изображения местности (КИ).

Недостатком известного способа является идентификация одновременно всех опорных точек на КИ, что имеет положительный результат для относительно небольших изображений (примерно 3000×3000 пикселов). При увеличении размерности сопоставляемых изображений возрастает количество ключевых точек изображения. Учитывая ограниченность свойств ключевой точки (64 или 128 в зависимости от алгоритма), отдельные ключевые точки, принадлежащие на обрабатываемом и опорном изображении разным объектам, могут иметь одинаковые значения свойств. Это приводит к появлению ложных опорных точек, что увеличивает ошибку геодезической привязки КИ при его последующем трансформировании.

Известен способ автоматического определения одноименных точек для вычисления элементов взаимного ориентирования [А.В. Соловьев. Метод автоматического определения одноименных точек для вычисления элементов взаимного ориентирования // Изв. вузов. «Геодезия и аэрофотосъемка». - 2017. - №1. - с. 40 - 44], включающий: определение особых (ключевых) точек изображений; определение опорных точек из совокупности особых; отбраковка ложных и грубо отождествленных опорных точек.

Недостатком известного способа является идентификация одновременно всех опорных точек на КИ, что имеет положительный результат для относительно небольших изображений (примерно 3000×3000 пикселов). Отсутствует возможность использовать параметры условий съемки для локализации области идентификации опорных точек.

Наиболее близким по своей сущности к заявляемому изобретению является способ, положенный в основу робастного детектора ключевых точек и дескриптора (патент US 8 670 619 В2 от 11.03.2014 г.). Данный способ включает: фильтрование изображений, построение интегрального представления изображений, обнаружение ключевых точек, локализация ключевых точек, вычисление дескрипторов для каждой ключевой точки изображений, сопоставление дескрипторов ключевых точек одного изображения с дескрипторами ключевых точек другого изображения. Недостатками прототипа является:

1) осуществление идентификации одновременно всех опорных точек на КИ, что имеет положительный результат для относительно небольших изображений (примерно 3000×3000 пикселов). Для КИ, покрывающих площадь земной поверхности порядка 40×30 км и более при линейном разрешении 2,5 м/пиксел и лучше, сопоставление изображений целиком способствует появлению ложных соответствий. Ложные соответствия -опорные точки, выделенные по близким описаниям ключевых точек исходного и опорного КИ, но не соответствующие одному объекту местности. Это объясняется наличием на снимаемой местности объектов одинаковых или достаточно близких по яркостным свойствам. При этом вероятность наличия ложных соответствий и их количество растет с увеличением размеров снимаемой местности (размеров КИ);

2) большое количество пикселей (порядка 10⁹ и более), составляющих КИ, ведет к возрастанию размерности задачи при поиске и отождествлении опорных точек (квадратичная зависимость), и резкому возрастанию временных затрат;

3) значительно большая площадь земной поверхности, отображаемая в одном пикселе КИ (от 1 до 100 м и более) по сравнению с наземной съемкой (площадь меньше 1 м), т.е. один и тот же объект при наземной съемке представлен большим количеством пикселей, чем на КИ. Данная особенность снижает эффективность использования существующих алгоритмов для поиска опорных точек на КИ, поскольку порождает большое количество (от единиц до десятков тысяч) пикселов-кандидатов (ключевых точек) в опорные точки, имеющих соответствующий градиент яркости в своей окрестности. Кроме того, делает существующие алгоритмы чувствительными к условиям съемки, что накладывает ограничения на выбор опорных изображений;

4. Отсутствие функций обработки информации об условиях выполнения съемки, позволяющих определить параметры первичной геодезической привязки обрабатываемого КИ, разрешение на местности и азимут съемки, а также геодезическую привязку опорного КИ. Это не позволяет использовать также геометрические свойства изображений, позволяющие например, локализовать область поиска опорных точек.

Целью изобретения является повышение оперативно-технических характеристик идентификации опорных точек на обрабатываемом и опорном космических изображениях при трансформировании, в том числе, сокращение времени на сравнение дескрипторов ключевых точек изображений и сокращение количества ложно найденных опорных точек, что позволяет уменьшить ошибку геодезической привязки обрабатываемого КИ.

Заявляемые преимущества обеспечиваются введением новых операций: использование параметров первичной геодезической привязки обрабатываемого КИ, полученных на основе данных об условиях выполнения съемки, и параметров геодезической привязки опорного изображения местности с целью определения района местности с совместным покрытием; уточнение параметров первичной геодезической привязки обрабатываемого КИ; разбиение обрабатываемого и опорного изображений на виртуальные фрагменты заданного размера, где каждому фрагменту обрабатываемого КИ соответствует фрагмент опорного КИ; идентификация опорных точек на каждой паре фрагментов; построение модели трансформации обрабатываемого КИ в систему координат опорного КИ на основе полученных опорных точек; итеративная фильтрация опорных точек с уточнением модели трансформации по критерию качества.

Сопоставительный анализ технического решения со способом, выбранным в качестве прототипа, показывает, что заявляемый способ отличается новыми операциями, такими как: использование параметров геодезической привязки обрабатываемого и опорного КИ; уточнение параметров первичной геодезической привязки обрабатываемого КИ; разбиение обрабатываемого и опорного изображений на виртуальные фрагменты; итеративная фильтрация опорных точек с уточнением модели трансформации по критерию качества.

Таким образом, заявляемое техническое решение соответствует критерию изобретения «новизна».

Анализ известных технических решений в исследуемой области и в смежных областях позволяет сделать вывод о том, что введенные операции известны. Однако введение их в способ идентификации опорных точек на космических изображениях местности при их трансформировании в указанной последовательности придает этому способу новые свойства. Введенные операции осуществляются таким образом, что позволяют значительно снизить время идентификации опорных точек, поскольку сравниваются дескрипторы не всех найденных ключевых точек обрабатываемого и опорного КИ, а только дескрипторы ключевых точек соответствующих фрагментов изображений. Кроме того, использование геодезической привязки обрабатываемого и опорного КИ, уточнение параметров первичной геодезической привязки обрабатываемого КИ, разбиение обрабатываемого и опорного изображений на виртуальные фрагменты позволяют определить более точно границы соответствующих фрагментов, что, наряду с итеративной фильтрацией опорных точек приводит к снижению количества ложных соответствий и, следовательно, снижает ошибку геодезической привязки трансформированного изображения местности.

Таким образом, техническое решение соответствует критерию «изобретательский уровень», так как оно для специалиста явным образом не следует из уровня развития техники.

Техническое решение может быть использовано в геоинформационных системах и цифровых фотограмметрических станциях в процессах фотограмметрической обработки космических изображений местности методами, требующими наличия набора опорных точек.

Таким образом, изобретение соответствует критерию «промышленная применимость».

На фиг. 1 представлена схема идентификации опорных точек на космических изображениях местности при их трансформировании.

На фиг. 2 представлено расположение осей файловой системы координат и положение КИ на местности относительно геодезической системы координат для обрабатываемого и опорного КИ.

Задачу идентификации опорных точек на космических изображениях местности будем рассматривать как задачу идентификации опорных точек на каждой паре фрагментов обрабатываемого и опорного изображений с последующим объединением их в единый набор опорных точек.

Данная задача может решаться как последовательной обработкой каждой пары фрагментов, так и параллельной их обработкой.

Под обрабатываемым изображением понимается космическое изображение местности, поступившее на фотограмметрическую обработку для трансформирования.

Под опорным изображением понимается эталонное трансформированное (ортотрансформированное) изображение местности, имеющее геодезическую привязку.

Под идентификацией опорных точек понимается процесс нахождения точек на обрабатываемом и опорном изображениях, соответствующих одному и тому же объекту местности.

В качестве необходимого условия идентификации опорных точек является наличие информации об условиях съемки, по которой может быть вычислена первичная геодезическая привязка обрабатываемого изображения, и опорного изображения (мозаики опорных изображений), покрывающего требуемый участок местности.

Под первичной геодезической привязкой понимается привязка, выполненная на основе результатов обработки данных прямых измерений местоположения и ориентации космического аппарата во время съемки.

Пусть имеется исходное КИ, для которого задана первичная геодезическая привязка в виде файла информации об условиях съемки, содержащего геодезические координаты углов обрабатываемого снимка (первичная геодезическая привязка может быть задана любым способом, а указанный способ рассматривается в качестве примера), а также покрывающее его опорное КИ.

Требуется идентифицировать такой набор опорных точек на обрабатываемом и опорном изображении, что бы он имел требуемую плотность на единицу площади и ошибка идентификации каждой опорной точки не превышала заданного порогового значения.

Способ включает следующие операции:

1. Определение первичной геодезической привязки обрабатываемого КИ на основе информации, сопутствующей этому изображению и содержащей данные об условиях съемки. На основе этих параметров формируется модель обрабатываемого КИ вида

где (X, Y) - геодезические координаты произвольного пиксела КИ;

(X_ВЛ, Y_ВЛ) - геодезические координаты левого верхнего угла КИ; n_x и n_y - порядковый номер пиксела в файле по осям абсцисс и ординат; r - размер пиксела КИ; α - азимут съемки.

Использование модели вида (1) позволяет определить соответствие масштабов обрабатываемого и опорного КИ, что позволяет при выполнении последующих операций сократить количество обрабатываемых обзорных слоев (октав) изображений при идентификации опорных точек, наличие которых необходимо при сопоставлении разномасштабных изображений. Уменьшение количества используемых обзорных слоев приводит к сокращению времени идентификации опорных точек на изображениях пропорционально количеству исключенных слоев и их размеру.

2. Определение области пересечения обрабатываемого и опорного КИ. В процессе данной операции определяются области обрабатываемого и опорного КИ с учетом ошибки определения первичной геодезической привязки обрабатываемого КИ, на которых в дальнейшем будут идентифицироваться опорные точки.

3. Формирование копий опорного и обрабатываемого КИ с пониженным разрешением. Разрешение КИ выбирается, исходя из соотношения

где δ - допустимая величина ошибки геодезической привязки обрабатываемого КИ (определяется требованиями потребителя по точности к трансформируемому изображению местности); r_k - размер пиксела копии обрабатываемого КИ; δ_k - априорно известная величина ошибки геодезической привязки исходного КИ. Копия опорного КИ приводится к разрешению копии обрабатываемого КИ r_k.

4. Идентификация четырех опорных точек. В рамках данной операции из копий обрабатываемого и опорного КИ пониженного разрешения выбирается пара фрагментов (по одному с каждого изображения), таким образом, чтобы эти фрагменты покрывали один и тот же участок местности с учетом априорно известной ошибки определения первичной геодезической привязки обрабатываемого КИ с размерами от 1000×1000 пикселов до 3000×3000 пикселов. На этих фрагментах алгоритмами SURF, SIFT или любыми другими идентифицируются опорные точки, из которых по критерию качества (например, максимальное значение расстояния Махаланобиса между дескрипторами ключевых точек фрагмента обрабатываемого и фрагмента опорного КИ) выбираются 4 опорные точки.

5. Уточнение первичной геодезической привязки обрабатываемого КИ. С использованием координат опорных точек, полученных в п. 4, вычисляются параметры модели (1) методом наименьших квадратов, либо аналогичным. Допускается использование меньшего количества опорных точек, если некоторые параметры модели (1) известны с достаточной точностью.

Отметим, что операции по п. 4 и 5 могут выполняться итеративно несколько раз подряд для достижения требуемой точности геодезической привязки обрабатываемого КИ.

6. Формирование пар фрагментов. Обрабатываемое КИ виртуально разбивается на прямоугольные фрагменты, размер которых определяется ограничениями алгоритмов идентификации опорных точек (SURF, SIFT и др.). Для выбранного на обрабатываемом КИ фрагменте g_i определяется соответствующая прямоугольная область опорного КИ с учетом требований методов, используемых для сопоставления опорных точек, включая: нахождение полного покрытия g_i выделенной на опорном КИ областью; приведение к близкой (одинаковой) ориентации фрагмента и выделенной области; приведение фрагментов к равному масштабу.

Положение области опорного КИ, соответствующей фрагменту g_i однозначно задается началом отсчета (х_ф, y_ф) и направлением сторон β в системе координат опорного КИ (фиг. 2), а также размером стороны фрагмента h_ф.

Указанные величины определяются следующим образом

где ƒ(δ₁, δ₂) - функция от погрешностей в определении геодезической привязки обрабатываемого и опорного КИ соответственно; β - угол, противоположный по знаку азимуту α съемки обрабатываемого КИ, р_тек - разрешение обрабатываемого (текущего) КИ, р_оки - разрешение опорного КИ, h_min - минимально допустимый размер фрагмента для выбранного алгоритма идентификации опорных точек, коэффициент, учитывающий погрешность в определении геодезической привязки КИ.

Из области опорного КИ формируется виртуальное изображение с масштабом и ориентацией, соответствующими g_i на котором осуществляется дальнейшая идентификация опорных точек.

Поскольку существующие алгоритмы сопоставления изображений, как правило, чувствительны к повороту изображаемой сцены (наличие большого количества ложных соответствий), то приведение к близкой (одинаковой) ориентации фрагмента текущего и выделенной области опорного КИ приводит к снижению ложных соответствий. Это позволяет при оценке пригодности (истинности) опорной точки использовать не только близость яркостных характеристик, но и их псевдо геометрические характеристики (рассматривается в п. 11).

7. Перебор пар фрагментов.

8. Идентификация опорных точек на каждой паре фрагментов. Данная операция включает: фильтрацию фрагментов изображений фильтром Гаусса или подобным, обеспечивающим подавление шума изображения; поиск ключевых точек на фрагментах одним из известных детекторов (например, детектор углов Харриса, детерминант матрицы Гессе и др.); формирование дескрипторов для каждой ключевой точки фрагментов (в виде Гауссовых производных, моментных инвариант, комплексных характеристик, характеристик меньшего масштаба в окрестностях ключевой точки и др.); вычисление оценки близости дескриптора ключевой точки фрагмента обрабатываемого КИ дескриптору ключевой точки фрагмента опорного КИ (например, в виде евклидового расстояния, расстояния Махаланобиса или аналогичных оценок).

Отметим, что сравниваются дескрипторы ключевых точек только соответствующих фрагментов, а не всего изображения, что позволяет снизить вычислительную сложность задачи и уменьшить количество ложных соответствий.

9. Выбор опорных точек из пар ключевых точек фрагментов по критерию качества. В качестве критерия качества выступает пороговая функция. Например, если значение евклидова расстояния для пары ключевых точек превышает значение пороговой функции, то считается, что ключевая точка фрагмента опорного КИ и ключевая точка обрабатываемого КИ принадлежат одному и тому же объекту, то есть эта пара является опорной точкой.

10. Построение модели трансформации. После нахождения опорных точек на всех фрагментах обрабатываемого КИ, имеющих общее покрытие участка местности с фрагментами опорного КИ, формируется набор опорных точек для обрабатываемого изображения. С использованием этого набора методом наименьших квадратов вычисляются параметры модели трансформации обрабатываемого изображения из системы координат фотоприемной аппаратуры космического аппарата в геодезическую систему координат. В качестве модели трансформации может быть использована полиномиальная модель (например, полиномиальная функция 1-го, 2-го или иного порядка, рациональный полином) или иная модель, параметры которой могут быть вычислены по полученному набору опорных точек.

11. Формирование набора опорных точек. Пользователем задается критерий качества идентифицированных опорных точек в виде максимального значения отклонения геодезических координат опорной точки от геодезических координат этой точки, полученных по модели трансформации п. 10. Если отклонение геодезических координат опорной точки превышает максимальное значение, то данная опорная точка исключается из набора, а параметры модели, полученные в п. 10, вычисляются повторно.

Таким образом, при использовании заявляемого способа достигается повышение оперативно-технических характеристик идентификации опорных точек на обрабатываемом и опорном космических изображениях при трансформировании, в том числе, сокращение времени на сравнение дескрипторов ключевых точек изображений и сокращение количества ложно найденных опорных точек, что позволяет уменьшить ошибку геодезической привязки обрабатываемого КИ.

Изобретение относится к области фотограмметрической обработки космических изображений (КИ) местности. Техническим результатом является сокращение времени идентификации опорных точек и количества ложно идентифицированных опорных точек, что приводит к уменьшению ошибки геодезической привязки КИ местности. Способ идентификации опорных точек на КИ местности при их трансформировании заключается в том, что определяют параметры первичной геодезической привязки обрабатываемого КИ на основе информации, сопутствующей этому изображению; определяют области пересечения обрабатываемого и опорного КИ; формируют копии опорного и обрабатываемого КИ с пониженным разрешением; идентифицируют четыре опорные точки на этих копиях; уточняют параметры первичной геодезической привязки обрабатываемого КИ; формируют пары из фрагментов обрабатываемого КИ и опорного КИ; идентифицируют опорные точки на каждой паре фрагментов; выбирают опорные точки из пар ключевых точек фрагментов по критерию качества; строят модель трансформации обрабатываемого КИ; формируют набор опорных точек, соответствующих этой модели. 2 ил.

Способ идентификации опорных точек на космических изображениях (КИ) местности при их трансформировании, отличающийся тем, что обрабатываемое и опорное КИ разбиваются на фрагменты, для определения фрагмента опорного КИ, соответствующего фрагменту обрабатываемого КИ, используются параметры геодезической привязки этих КИ, идентификация опорных точек осуществляется на каждом фрагменте обрабатываемого и соответствующем ему фрагменте опорного КИ, в котором определяют параметры первичной геодезической привязки обрабатываемого КИ на основе информации, сопутствующей этому изображению; определяют области пересечения обрабатываемого и опорного КИ; формируют копии опорного и обрабатываемого КИ с пониженным разрешением; идентифицируют четыре опорные точки на этих копиях; уточняют параметры первичной геодезической привязки обрабатываемого КИ; формируют пары из фрагментов обрабатываемого КИ и соответствующих им фрагментов опорного КИ; идентифицируют опорные точки на каждой паре фрагментов; выбирают опорные точки из пар ключевых точек фрагментов по критерию качества; строят модель трансформации обрабатываемого КИ; формируют набор опорных точек, соответствующих этой модели.