СПОСОБ ОПРЕДЕЛЕНИЯ МЕСТОПОЛОЖЕНИЯ НА ОСНОВЕ СИГНАТУР ИЗОБРАЖЕНИЙ ГОРОДСКОЙ ЗАСТРОЙКИ В ВИДИМОМ И ИНФРАКРАСНОМ ДИАПАЗОНАХ Российский патент 2016 года по МПК G06T7/00 G06K9/48 G01S5/16 

Изобретение относится к области видеонавигации, в частности к способам определения местоположения наземных объектов на основе полученных изображений городской застройки.

Известен способ определения местоположения на основе полученных изображений, где требуется индексированная база данных характерных точек изображений и их дескрипторов [1]. При составлении индексированной базы данных применяется 3D модель городской местности и предварительно полученные фотографии городской среды. В процессе работы индексированная база данных расширяется и пополняется. Недостаток данного способа заключается в том, что совместное использование 3D модели и предварительно полученных фотографий местности ограничивает область использования данной системы для плохо изученных или труднодоступных территорий.

Известен способ определения местоположения на основе полученных изображений и инерциальной навигации, заключающийся в использовании специальных визуальных ориентиров, представляющих собой QR-метки, в которых закодированы их заранее определенные координаты [2]. При этом предполагается, что координаты, вычисляемые инерциальным модулем, уточняются в определенные моменты, когда в поле зрения камеры попадают указанные ориентиры. Недостатком данного способа является необходимость предварительной подготовки местности, на которой будет производиться определение местоположения, то есть установки ориентиров, ограничивающая применение данной системы в незнакомой и малоизученной местности.

Известен способ определения местоположения по изображению, полученному с помощью всенаправленной камеры с объективом типа «рыбий глаз» при наличии 3D модели городской местности [3]. Оценка местоположения производится путем сравнения исходных нелинейных изображений области неба, ограниченной линией горизонта и виртуальных изображений области неба, ограниченной линией горизонта, полученных преобразованием из линейной 3D модели городской местности. Данный способ является наиболее близким аналогом (прототипом) к предлагаемому.

Признаки прототипа, являющиеся общими с заявляемым изобретением, включают получение исходного изображения в видимом диапазоне, наличие цифровой карты городской местности, определение местоположения на основе сравнения исходных и виртуальных изображений.

Недостаток способа, представленного в прототипе, заключается в наличии ошибок в выделении линий горизонта на исходных изображениях, при наличии мешающих объектов (например, деревья, столбы и провода), которые не представлены в 3D модели городской местности. Данное обстоятельство приводит к ошибкам определения местоположения при сравнении исходных и виртуальных изображений. Другим недостатком прототипа является то, что использование всенаправленной камеры с объективом типа «рыбий глаз» приводит к необходимости дополнительного преобразования виртуального изображения в нелинейное, при этом увеличиваются аппаратные затраты и требуется наличие достаточно точной 3D модели городской местности. Кроме того, при сравнении исходных и виртуальных изображений используются двумерные массивы, а не одномерные в качестве контуров линий горизонта, что в сочетании с отсутствием алгоритмов уменьшения гипотетической области неопределенности местоположения по характеру застройки будет приводить к большому времени определения местоположения, особенно при первом определении. При этом в прототипе не рассмотрен вопрос работы системы в ночное время суток, а также при недостаточном круговом обзоре, например при наличии одной или нескольких камер со стандартными объективами.

Технический результат заключается в повышении точности и скорости определения местоположения наземного объекта в городских условиях при наличии мешающих объектов (деревья, столбы, провода) в дневное и ночное время суток.

Указанный технический результат достигается благодаря тому, что способ определения местоположения наземного объекта на основе сигнатур изображений городской застройки в видимом и инфракрасном диапазонах и цифровой карты, включающий

- выделение одномерных сигнатур контуров рельефа застройки;

- оценку координат объекта путем построения моделей сигнатур контуров рельефа застройки для разных точек области позиционирования с последующим определением наилучшего приближения к выделенным сигнатурам контуров рельефа застройки;

имеет следующие отличия:

- применение изображений как видимого, так и инфракрасного диапазона;

- выделение из представленного изображения массива одномерных сигнатур контуров рельефа застройки;

- наличие алгоритма фильтрации мешающих объектов, направленного на уменьшение искажения сигнатур контуров рельефа застройки контурами деревьев, столбов и проводов; использование распознавания характера застройки, с целью уменьшения зоны позиционирования;

- построение массивов одномерных сигнатур модели контуров рельефа застройки (эталонов) для разных точек области позиционирования при оценке координат объекта на цифровой карте;

- реализация оценки координат объекта в виде многоэтапной процедуры поиска координат области позиционирования, с наименьшим различием эталона и фактических сигнатур контуров рельефа застройки, при уменьшении на каждом этапе шага поиска по координатам и увеличении разрешения;

- использование на первом этапе оценки координат объекта переменного шага поиска, который вычисляется на основе оценки плотности застройки в текущем районе;

- применение различного количества видеокамер при различных значениях углов обзора.

Как показано на фиг. 1 предлагаемый способ включает следующие этапы:

1. Формирование исходных данных.

2. Предварительная обработка изображений.

3. Оценка координат объекта.

Исходными данными для системы, которыми являются изображение I, полученное при помощи одной или нескольких видеокамер 102 в дневное время или тепловизоров в ночное время суток, а также информация о направлении объектива в горизонтальной и вертикальной плоскости (азимут α и угол места θ), формируемая соответственно магнитным компасом и инклинометром 101.

На этапе предварительной обработки производится преобразование изображения I в вид, пригодный для сравнения с эталонной моделью:

выделение сигнатур контуров зданий (фактических контуров). При этом можно выделить следующие подэтапы:

- бинаризация изображений 103. Принимается, что в дневное время фон ярче объектов сцены (зданий), при этом порог яркости предварительно вычисляется на основе распределений яркости пикселей изображения 104. В ночное время изображение с тепловизора(ов) сначала инвертируется и дальнейшие этапы обработки остаются такими же.

- фильтрация мешающих объектов 105 (фиг. 2, а-в), при этом строки и столбцы бинарного изображения представляются в качестве последовательности импульсов единичной амплитуды с разной длительностью. Последовательно для строк и столбцов производится селекция импульсов по длительности, при этом на выход проходят импульсы с длительностью больше некоторого, экспериментально определяемого порога.

- вычисление одномерной сигнатуры контура рельефа застройки 106 (фиг 2, г).

На этапе оценки координат объекта можно выделить следующие шаги:

- в интересах предварительного определения местоположения объекта производится выявление характера застройки 107 (спальный район, частный сектор, деловой центр) по сигнатурам контуров исходного изображения;

- формирование сокращенной области поиска D′ на цифровой карте 108 с помощью информации о характере застройки на исходном изображении;

- поиск координат объекта.

На этапе поиска координат объекта производится построение эталонных сигнатур 111 контуров рельефа застройки для различных значений координат из D′, взятых с определенным шагом А. При этом используется цифровая карта городской местности 110 и данные о направлении объектива(ов) путем построения перспективной модели объектов сцены. Вычисляется целевая функция f(x, y), имеющая смысл меры различия между фактическими и эталонными сигнатурами контуров рельефа застройки. Далее, в процессе работы алгоритма вычисляются глобальные координаты ( $${\stackrel{⌢}{x}}_{ф}$$ , $${\stackrel{⌢}{y}}_{ф}$$ ) экстремума целевой функции f(x, y), которые принимаются в качестве оценки координат объекта.

В целях уменьшения вычислительных затрат шаг поиска Δ на первом этапе должен быть максимален при наименьшей вероятности пропуска максимума. Установлено, что величина начального шага имеет связь с плотностью застройки в определенных участках местности, представленной на карте. При этом плотность застройки ρ - отношение площади территории занятой зданиями к общей площади территории. Шаг поиска на первом этапе оценивается в блоке 109.

Также в целях уменьшения вычислительных затрат предлагается использовать на первом этапе позиционирования эталоны с низким разрешением, постепенно увеличивая в последующих этапах. Работа многоэтапной процедуры поиска максимума (фиг. 3) включает:

- инициализацию поиска 301: задание начального шага Δ=Δ₀ 109, начального значения разрешения и области позиционирования D′ 108, устанавливается требуемое число этапов поиска К, задается текущее минимальное значение целевой функции М и текущее значение оценки координат объекта (х, y);

- запуск счетчика этапов поиска 302;

- поиск максимума целевой функции f(x, y) в области D′ (в качестве начальной точки поиска (х₀, y₀) берется угловая точка области D): запускаются счетчики х и y (302, 303, 304) с шагом Δ, для каждой точки вычисляется эталонная сигнатура (306), вычисляется целевая функция 309, которая в последующим сравнивается с текущим минимальным значением М 309, с последующем присвоением $$\stackrel{⌢}{x}=x$$ , $$\stackrel{⌢}{y}=y$$ , М=f(x, y) 310;

- производится уменьшение шага Δ и увеличение разрешения используемых изображений для следующего этапа (307).

Выход из программы 311 производится при выполнении заданного числа этапов поиска. Уменьшение шага и увеличение разрешения следует производить таким образом, чтобы на последнем этапе использовалось максимальное разрешение, доступное для используемой видеокамеры, а шаг поиска соответствовал ожидаемому значению точности видеопозиционирования.

Целесообразно рассматривать следующие варианты осуществления изобретения, такие как:

1. Использование нескольких видеокамер, платы видеозахвата, компаса на базе магнитометра и инклинометра на основе акселерометра и гироскопа, а также блока вычисления и управления на базе электронно-вычислительной машины.

2. Использование нескольких видеокамер и тепловизоров, сопряженных вместе, платы видеозахвата, компаса на базе магнитометра и инклинометра на основе акселерометра и гироскопа, а также блока вычисления и управления на базе электронно-вычислительной машины.

3. Использование одной видеокамеры, поворотных приводов по двум плоскостям, компаса на базе магнитометра и инклинометра на основе акселерометра и гироскопа, а также блока вычисления и управления на базе электронно-вычислительной машины.

4. Использование одной видеокамеры и тепловизора, сопряженных вместе, поворотных приводов по двум плоскостям, компаса на базе магнитометра и инклинометра на основе акселерометра, а также блока вычисления и управления на базе электронно-вычислительной машины.

Представленные варианты реализации предлагаемого способа особенно актуальны для роботизированных аппаратов, как правило, содержащих на борту одну или несколько видеокамер и тепловизоров, инерциальный блок, включающий гироскопы, акселерометры, магнитометры.

Список источников

1. Patent application US №20140010407 A1, application number US 13/544,817 - Image-based localization. Published 9.01.2014.

2. Patent application US №20120176491 A1, application number US 13/173,984 - Camera-based position location and navigation based on image processing. Published 12.07.2012.

3. Patent US №US8249302 B2, application number US 12/495,655 - Method for determining a location from images acquired of an environment with an omni-directional camera. Published 21.08.2012.

Изобретение относится к способу определения местоположения наземных объектов. Техническим результатом является повышение точности определения местоположения наземного объекта в условиях городской застройки. В способе выделяют из изображения массив одномерных сигнатур контуров рельефа застройки. Способ содержит алгоритм фильтрации мешающих объектов, распознавание характера застройки, построение для точек области позиционирования эталонных одномерных сигнатур модели контуров рельефа застройки с учетом данных о направлениях и углах обзора объективов, оценку местоположения объекта посредством многоэтапной процедуры поиска координат области позиционирования с наименьшим различием эталонных и выделенных сигнатур контуров рельефа застройки, использование при оценке координат объекта переменного шага поиска, вычисляемого на основе оценки плотности застройки в текущем районе, применение изображений видимого и инфракрасного диапазонов. 3 ил.

Способ определения местоположения наземного объекта на основе сигнатур изображений городской застройки в видимом и инфракрасном диапазонах и цифровой карты, включающий получение исходного изображения, выделение контуров рельефа застройки, оценку координат объекта путем построения эталонных контуров рельефа застройки для разных точек области позиционирования с последующим определением наилучшего приближения эталона к выделенным контурам; и отличающийся выделением из представленного изображения массива одномерных сигнатур контуров рельефа застройки; наличием алгоритма фильтрации мешающих объектов, направленного на уменьшение искажения контуров рельефа застройки контурами деревьев, столбов и проводов; использованием распознавания характера застройки, с целью уменьшения гипотетической зоны позиционирования; построением для разных точек области позиционирования эталонных одномерных сигнатур модели контуров рельефа застройки с учетом данных о направлениях и углах обзора объективов; реализацией оценки местоположения объекта в виде многоэтапной процедуры поиска координат области позиционирования, с наименьшим различием эталонных и выделенных сигнатур контуров рельефа застройки, при уменьшении на каждом этапе шага поиска по координатам и увеличении разрешения; использованием на первом этапе оценки координат объекта переменного шага поиска, который вычисляется на основе оценки плотности застройки в текущем районе; применением изображений видимого и инфракрасного диапазонов при различном количестве видеокамер и тепловизоров при разных значениях углов обзора.