СПОСОБ ОБНАРУЖЕНИЯ ПОЛОЖЕНИЯ И МЕСТОНАХОЖДЕНИЯ ПОСРЕДСТВОМ ВИРТУАЛЬНЫХ ОПОРНЫХ ИЗОБРАЖЕНИЙ Российский патент 2017 года по МПК G06T1/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способам обнаружения положения и местонахождения камеры по отношению к топографической карте посредством виртуальных опорных изображений.

УРОВЕНЬ ТЕХНИКИ

Для исследования экстремальных окружающих сред, например, других планет или также глубоких областей океана все чаще используются автономно действующие транспортные средства, которые должны определять свое местонахождение в своей окружающей среде, чтобы можно было достичь предполагаемого целевого местонахождения. Одним возможным способом в этом случае является способ ранее упомянутого типа, который базируется на навигации на основе камеры на базе существующих топографических карт. Топографические карты этого типа также существуют для регионов, которые до сих пор не достаточно исследованы, таких как, например, морское дно глубокого океана или поверхности планет, таких как Луна и Марс. В частности, для Луны и Марса подробные топографические карты всей Луны и также для Марса, которые содержат как фотографии, так и рельеф возвышенности и были получены посредством стерео- или лазерных измерений расстояний, существуют благодаря картографическим программам американского и японского космических агентств NASA и JAXA, которые проводились в прошлом. Качество картографического материала является очень высоким и приближается к разрешению несколько метров для областей, таких как, в частности, полярные области Луны.

Спускаемое транспортное средство, которое должно совершать посадку точно в заданном местонахождении, должно постоянно наблюдать свое положение и местонахождение во время процесса посадки, чтобы иметь возможность скорректировать отклонение от предполагаемой траектории. Поскольку за пределами Земли не существует каких-либо современных навигационных систем, навигация должна осуществляться некоторым другим образом. Для требуемой точности в несколько сотен метров навигация посредством радиолокационных систем невозможна с Земли, и навигация, поддерживаемая с помощью технического зрения на базе известных признаков в отношении поверхности планеты, остается единственным возможным средством. В этом случае, во время формирования изображения поверхности планеты с помощью камеры, проблема заключается в том, чтобы выделить и распознать признаки, пространственные местонахождения которых известны по отношению к системе отсчета. Положение и местонахождение системы камер по отношению к системе отсчета можно затем определить из соответствия двухмерных местонахождений в изображении, полученном с помощью камеры и трехмерных местонахождений в системе отсчета.

Основной принцип уже известных способов навигации на основе карт состоит в том, что изображения местности, над которой пролетели, получены с помощью системы камер и что визуальные признаки выделяются на основе изображений, записанных камерой, признаки которых можно распознать в картографическом материале, доступном для местности. Конкретное положение и местонахождение можно определить исходя из назначения друг другу двухмерного положения выделенных признаков в изображении с камеры и 3D-координат распознанных признаков в картографическом материале. В связи с этим в случае космических аппаратов было уже предложено ограничиться определением его положения, так как его местонахождение можно измерить более точно с помощью звездных камер. Отличия между различными известными способами заключаются в основном в выборе признаков, которые выделяются из изображений с камеры и которые должны быть распознаны в картографическом материале.

Способ, выполненный по существу для навигации на поверхности Луны, которая описана в статье "Advanced Optical Тerrain Absolute Navigation for Pinpoint Lunar Landing" bу M. Mammarella, M.A. Rodrigalvarez, A. Pizzichini and A.M. Sanchez Montero in "Advances in Aerospace Guidance Navigation and Control", 2011, on pages 419-430, основан на распознавании кратеров. В данной статье изображение с камеры исследуется с использованием специально разработанного оператора обработки изображения в отношении признаков в изображении эллиптического вида и выполнено с характерным оттенением, и кратеры выделяются в изображении. В то же самое время кратеры обнаруживаются на топографических картах, которые известны как цифровые карты возвышенностей (DEM) лунной поверхности, и ее 3D-координаты хранятся в координатах Луны. Назначение кратеров карты кратерам, обнаруженным в изображении с камеры, происходит в дальнейшем по существу посредством анализа совокупности кратеров. Благодаря распознаванию кратеров при различных условиях освещения для решения задачи навигации достаточно топографической карты.

В способе, который называется "LandStel", который описан, в частности, в статье "Vision-Based Absolute Navigation for Descent and Landing" bу В. Van Pham, S. Lacroix and M. Devy in "Journal of Field Robotics", pages 627-647, Volume 29, Issue 4, July 2012, отсутствует распознавание кратеров, а скорее используется обнаружитель ярко выраженных точек в изображении c камеры, который также называется оператором Харриса. Для того чтобы он был масштабно-инвариантным, используется информация о высоте, например, выдаваемая высотомером. Затем вычисляют признаки Харриса в пределах масштабируемого изображения, из которых складывается масштабная инвариантность, не требуя при этом затрат на вычисление так называемого оператора SIFT, как описано в статье "Distinctive Image Features from Scale-Invariant Keypoints" bу David G. Lowe in the journal "International Journal of Computer Vision", Volume 60, No 2, pages 91-110, 2004. В этом известном способе совокупность признаков Харриса, которые преобразуются в вектор вращательно-инвариантных признаков, называется признаками. Эти векторы признаков в дальнейшем используются для распознавания признаков между картой и текущим изображением с камеры. В этом случае карта содержит фотографию местности, а также топографическую карту для определения 3D-координат соответствующих признаков.

В другом известном способе признаки обнаруживают с помощью того, что известно, как оператор признаков SIFТ и признаки аналогичным образом сравниваются между фотографией и текущим изображением с камеры. 3D-данные берутся в этом случае из топографической карты. В другом известном способе выделяются маленькие детали изображения вокруг определенных точек, которые необходимо распознать посредством корреляционных операторов на картах местности.

В дополнение к этим методам, основанным на изображении, стали также уже известными способы, которые предлагают данные о глубине в целях навигации и которые базируются на данных LIDAR (оптической локационной системы).

Общим в подходах, основанных на изображении, является то, что предпринимается попытка разработать операторы, независимые от освещения, которые заявлены в подходе, основанном на кратерах, за исключением того, что используются карты, которые уже имели аналогичные условия освещения, как и изображения, которые следует ожидать для навигации.

В дополнение, уже также стали известны конкретные способы на небесные тела. Таким образом, в документе DE 102010051561 A1 описана система для автоматической посадки беспилотных летающих объектов, которая предполагает наличие "наземной" установки. Документ DE 102009036518 A1 касается выполнения процедуры посадки межпланетного летающего объекта и при этом описывает исполнительные механизмы, которые требуются для процедуры посадки. Кроме того, документ DE 102008064712 В4 касается вспомогательного устройства для посадки с помощью датчиков между вертолетами и посадочной платформой. В документе DE 19521600 A1 предложена навигационная система с использованием изображения для автоматической посадки, которая основана на оборудовании зоны приземления искусственными маркерами. В документе DE 3939731 C2 также предложено, что зона приземления оборудована вспомогательными маркерами и дополнительно предложено использование планарных датчиков глубины, таких как лазерные сканеры или локаторы (RADAR). И, наконец, в документе DE 2126688 A также предложено использование видимых маркеров в наземной станции. Только в документе DE 3110691 С2 предложена навигационная система для крылатой ракеты, которая принимает последовательности импульсов на базе имеющихся картографических материалов и активного датчика, например измерительного луча лазера, который позволяет получать расстояние и интенсивность, имеющегося на летающем объекте, и сравнивают эти последовательности импульсов с последовательностями импульсов, которые создаются от изображений аэросъемки вручную или автоматически. Кроме того, в этом документе предложено использовать множество измерительных лучей.

Задача изобретения состоит в том, чтобы разработать способ типа, упомянутого в начале, таким образом, чтобы он позволил обеспечить навигацию на основе технического зрения и использования способов компьютерной графики для создания опорной базы данных, которая позволяет использовать даже выделитель признаков, если он не является независимым от освещения или не является достаточно надежным, когда подвергается изменению освещения.

Изобретение решает эту задачу посредством способа, в котором создают базу данных признаков в автономном процессе из существующих топографических карт и в котором ее используют в дальнейшем в неавтономном процессе для распознавания признаков, которые были видны. В связи с этим виртуальные опорные изображения ожидаемой ситуации предпочтительно создают с использованием способов компьютерной графики, которые анализируют посредством выделения признаков, и из них получают каталог признаков, состоящий из векторов признаков на основе технического зрения, и ассоциированные 3D-координаты локализованных признаков. Эти данные хранятся в авиационной системе в виде базы данных моделей и навигации, и затем осуществляют навигацию близко к опорной траектории для планируемых условий освещения.

Использование полных изображений и пассивных датчиков, таких как камера, и технологий выделения признаков, которые используются в изобретении, не объяснены в опубликованном документе DB 3110691 С2, и они не известны из каких-либо других ранее обсужденных способов.

В этом случае изобретение использует тот факт, что для многих возможных случаев использования, таких как, например, для процесса посадки на планету, известны местонахождение и время предполагаемого пролета. В дополнение к этому, если известна точная топографическая карта зоны пролета, то ожидаемые результаты, выработанные с помощью компьютерной графики того, что камера будет предположительно изображать, можно вычислить с помощью способа согласно изобретению посредством способов компьютерной графики на базе картографического материала и знания предполагаемой траектории пролета, а также предполагаемого времени пролета. Таким образом, можно использовать способ согласно изобретению при подготовке пролета для вычисления последовательности виртуальных изображений, для которой дополнительно, для каждого пикселя в изображении, сохраняют соответствующую 3D-координату в опорной системе координат.

Предварительный расчет ожидаемой последовательности изображений в данном случае представляет собой автономный процесс, который используется для построения, которое выполнено согласно изобретению, каталога признаков, который используется для навигации во время фактического пролета. Поэтому основная идея способа согласно изобретению заключается в разбиении всего процесса таким образом, чтобы первоначально была создана база данных признаков и чтобы база данных признаков, созданная заранее таким образом, затем использовалась бы во время работы, связанной с полетом, в неавтономном приложении. Хотя способ согласно изобретению использует способы из числа уже существующих способов, его новизна заключается в использовании множества уже существующих выделителей признаков, которые имеют присущий недостаток, не являясь инвариантными по отношению к освещению за счет использования способов компьютерной графики для подготовки и обработки картографического материала. Только способ согласно изобретению позволяет использовать уже установленные и до некоторой степени очень надежные способы выделения признаков и распознавания признаков. Этот способ имеет преимущество по сравнению со способом обнаружения кратеров, например, в случае его использования при посадке на Луну в том, что фактически используются детальные признаки, которые можно очень хорошо локализовать на изображении и на карте, и поэтому позволяет значительно повысить достижимую точность по сравнению с методом, основанным на обнаружении кратеров. Более низкая достижимая точность подхода, основанного на обнаружении кратеров, обусловлена в основном тем обстоятельством, что кратер не является регулярным телом с резко очерченными структурами, и поэтому даже его положение относительно имеющегося картографического материала можно определить только приблизительно. Дополнительно, в способах, основанных на обнаружении кратеров, изменение условий освещения приводит к большому смещению обнаруженного положения кратера, поэтому способ, реализованный с использованием настоящего изобретения, будет также иметь преимущество перед способами, основанными на обнаружении кратеров.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Способ согласно изобретению будет объяснен более подробно ниже со ссылкой на чертежи, на которых:

на фиг. 1 показана основная процедура автономного процесса создания базы данных признаков;

на фиг. 2 показана основная процедура неавтономного процесса обнаружения положения и местонахождения камеры по отношению к опорной карте;

на фиг. 3 показано назначение признаков между виртуальным изображением и реальным изображением;

на фиг. 4 показана средняя точность положения, полученная в результате смоделированной испытательной посадки с высоты 100 км до 5 км на базе реальных изображений робототехнической испытательной установки;

на фиг. 5 показано среднеквадратическое отклонение изображений для позиционирования смоделированной испытательной посадки с высоты 100 км до 5 км на базе реальных изображений робототехнической испытательной установки.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Выработка признаков с помощью способов компьютерной графики, иллюстрированных на фиг. 1, заключается в первоначальном создании локальной модели 2, которая содержит только те детали карты, которые видны камере для прогнозируемого положения и местонахождения камеры на базе модели 1 местности, например цифровую карту возвышенностей (DEM) всей зоны пролета. В зависимости от погрешностей, которые следует ожидать в отношении положения и местонахождения во время взлета по планируемой траектории, локальная модель слегка увеличивается для того, чтобы учесть ожидаемые погрешности. Планируемое время с ассоциированным условием 3 освещения, например положение Солнца, положение планеты или Луны и т.д., предполагается для планируемой траектории. Виртуальное изображение 6 ожидаемой ситуации создается затем с помощью технологий 5 компьютерной графики, которые по существу известны, например, такие как трассировка лучей, из локальной модели и ожидаемого положения 4 и местонахождения камеры по отношению к локальной модели 2 и планируемых условий 3 освещения.

Таким образом, создание локальной модели может быть необходимо в случае, когда вся зона, над которой будет пролет, возможно, содержит слишком большое количество данных. Для специфического положения и местонахождения камеры локальная модель первоначально представлена в виде 3D-модели 2 и, если она представлена таким образом, обеспечивается тем, что известно как карта альбедо, которая представляет свойства отражения от поверхности. В этом случае любые ошибки, представленные в карте, должны корректироваться и пробелы должны интерполироваться.

Затем создается локальная карта на базе оригинального картографического материала. Это относится к цифровым картам возвышенностей, где значения серых тонов соответствуют различным высотам. В этой локальной модели одну камеру можно виртуально разместить в ожидаемом положении, и на основании этого можно создать виртуальное изображение, а также виртуальную карту глубин.

Поэтому совпадение может быть похожим в зависимости от имеющегося картографического материала на то, что признаки 7 изображения, которые были вычислены в виртуальном изображении 6, можно без труда распознать в реальном изображении с камеры. Эти признаки хранятся в базе данных 8 и состоят из вектора признаков (в зависимости от используемого выделителя признаков), а также ассоциированных 3D-координат в опорной системе (например, координаты Луны).

На фиг. 2 показано то, как на основании базы 8 данных признаков, полученной таким образом, определение положения и местонахождения камеры 10 можно выполнять во время пролета над нанесенной на карту местности. В этом случае камера 10 записывает данные цифрового изображения при фиксированном цикле, который анализируется блоком 11 обработки. Выделитель 12 признаков обнаруживает ярко выраженные признаки на изображении, которое может содержать любой вид выделителя признаков, такого как, например, SURF, SIFT Harris, SUSAN, FASТ или еще более сложные структуры, такие как признаки кратеров или LandStel. Векторы признаков, то есть локальные описания местонахождений на основе информации о градации серых тонов, обнаруживаются 13 аналогичным образом в местонахождениях обнаруженных признаков из цифрового изображения и переходят на стадию 14 распознавания, связанную с 2D-местонахождениями обнаруженных точек на изображении. Распознавание 15 признаков получает ряд признаков базы 8 данных признаков путем предварительного выбора релевантных признаков 9 и пытается выполнить назначение между признаками, обнаруженными на изображении, и признаками, которые хранятся в базе 8 данных. В связи с этим сначала используются векторы признаков, которые можно распознать посредством, например, классификаторов ближайших соседей. Результатом является назначение признаков в изображении и базе 8 данных, к которой прикреплены 3D-координаты карты. На следующей стадии 16 любые возможные ошибки, которые известны как выбросы, предпринятого назначения проверяются и удаляются. Это можно предпринять, например, посредством известных способов, таких как, например, фильтрация RANSAC. И, наконец, корректируются 2D-координаты признаков, которые были обнаружены, в соответствии с внутренней калибровкой 17 камеры, которая доступна для камеры 10, поэтому в конце этой стадии 14 обработки присутствует список соответствующих 2D и 3D-точек.

Для распознавания признаков, ради простоты, не все признаки, присутствующие в базе 8 данных признаков, сравниваются с признаками, обнаруженными в изображениях, а выбираются только те признаки, которые могут быть поставлены под сомнение после учета оценки положения и местонахождения, выполненной ранее. Таким образом, большое количество признаков, которые совсем не видны, можно уже исключить заранее, так как они принадлежат к картографическим зонам, которые находятся слишком далеко. Списки соответствующих 2D-местонахождений из текущего изображения с камеры и 3D-координаты из цифровых карт возвышенностей затем позволяют обнаружить 18 положение и местонахождение системы 10 камер по отношению к опорной карте двумя способами. Это выполняется либо посредством способа оптимизации, который определяет непосредственно положение и местонахождение камеры, либо используется итеративный, так называемый фильтр Кальмана, который имеет преимущество в том, что он может учитывать дополнительные измерения других датчиков 19. Для предварительного выбора 9 релевантных признаков в следующем временном цикле из базы 8 данных признаков таким образом полученная информация о местонахождении используется непосредственно, или инициализация предварительно определяется извне.

На фиг. 3 показаны пример распознавания признаков между изображением с реальной камеры кратера 20 Луны, иллюстрированного на участке изображения слева, и изображение, сформированное искусственным образом, того же самого кратера 21 Луны на участке изображения справа. В этой паре изображений был использован обнаружитель признаков SURF, который инвариантен к вращению и масштабированию, то есть при вращении и масштабировании изображения, тем не менее, обнаруживаются одинаковые векторы признаков. Однако этот выделитель признаков не является независимым от условий освещения. То, что этот оператор можно использовать, несмотря на это, сводится к тому, что согласно изобретению база данных моделей вырабатывается с помощью способов компьютерной графики, которые предусматривают предсказанные условия освещения, а также позволяют вводить их в базу данных признаков. В результате, можно по существу использовать любой желательный выделитель признаков!

В заключение, фиг. 4 и 5 иллюстрируют то, как был проверен и протестирован способ на базе траектории для моделированной посадки на Луну. В этом случае использовались как чистое моделирование, так и сравнения между реальными и виртуальными изображениями. Кривые, иллюстрированные на фиг. 4 и 5, показывают точности для спуска моделированного лунного модуля с высоты приблизительно 100 км до высоты приблизительно 5 км. Фиг. 4 и 5 иллюстрируют средние точности позиционирования, достигнутые при испытании, и ассоциированные среднеквадратические отклонения в каждом случае. Эти испытания с последовательностями реальных изображений, выдаваемых камерой, были выполнены в робототехнической испытательной установке перед моделью лунной поверхности в масштабе 1:50000.

Изобретение относится к способам обнаружения положения и местонахождения камеры по отношению к топографической карте. Технический результат заключается в расширении арсенала средств в неавтономном процессе для распознавания признаков. Автономный процесс создает базу данных признаков из существующих топографических карт, которая впоследствии используется. Виртуальные опорные изображения ожидаемой ситуации создаются с использованием способов компьютерной графики, с выделением признаков для получения каталога признаков, состоящего из векторов признаков, основанных на техническом зрении, и ассоциированных 3D-координат локализованных признаков. Эти данные хранятся в авиационной системе в виде базы данных моделей, например, и позволяют обеспечить навигацию близко к опорной траектории и для планируемых условий освещения. 3 з.п. ф-лы, 5 ил.

1. Способ обнаружения положения и местонахождения камеры по отношению к топографической карте посредством виртуальных опорных изображений, отличающийся тем, что базу (8) данных признаков создают в процессе из существующих топографических карт, и тем, что ее в дальнейшем используют в процессе для распознавания признаков, которые были видны в реальном изображении с камеры, с помощью признаков, хранящихся в базе данных в опорной системе координат, при этом виртуальные опорные изображения ожидаемой ситуации создают с использованием способов компьютерной графики, которые анализируют посредством выделения (11) признаков, и из них получают каталог (8) признаков, состоящий из векторов признаков, основанных на техническом зрении, и ассоциированные 3D-координаты локализованных признаков.

2. Способ по п. 1, отличающийся тем, что его используют на борту авиационной системы.

3. Способ по п. 1, отличающийся тем, что вычисляют последовательность (6) виртуальных изображений, в которой для каждого пикселя в изображении сохраняют соответствующую 3D-координату в опорной системе координат.

4. Способ по п. 1, отличающийся тем, что данные хранят в авиационной системе в виде базы (8) данных моделей, и тем, что затем осуществляют навигацию близко к опорной траектории и для планируемой обстановки (3) освещения.