СПОСОБ ВИЗУАЛЬНОЙ ЛОКАЛИЗАЦИИ ГОРОДСКОГО РЕЛЬСОВОГО ТРАНСПОРТА НА ОСНОВЕ ФИЛЬТРОВ ЧАСТИЦ КАЛМАНА И ДАННЫХ О КАРТИРОВАНИИ Российский патент 2023 года по МПК G01C21/30 

Изобретение относится к области навигации, а именно способам автономного позиционирования наземных рельсовых транспортных средств.

В связи с тем, что количество автономных транспортных средств и систем информационной поддержки водителя растет, задача позиционирования таких систем приобретает большую значимость. Точная оценка собственного положения в пространстве необходима для точного управления движением, планирования маршрута и обеспечения безопасности при эксплуатации автономных транспортных средств, предотвращая возможность возникновения дорожно-транспортных происшествий.

Одним из аналогов предложенного технического решения является [Бикмаев Р.Р., Полукаров А.А., Садеков Р.Н. Определение местоположения наземного транспортного средства с использованием монокамеры и дорожных знаков с геодезической привязкой. В сборнике: XXVII Санкт-Петербургская международная конференция по интегрированным навигационным системам. Сборник материалов. 2020. С. 341-345.]. Суть подхода заключается в распознавании дорожных знаков, сравнении полученных данных с картой и корректировку навигационной системы. Распознавание дорожных знаков производиться на основе нейронной сети, при этом сеть не только распознает дорожный знак, но и классифицирует его, что позволяет более точно решать задачу идентификации благодаря дополнительной информации о классе знака. Однако, такой подход не лишен недостатков это невозможность корректировки по знаку в случае его заслонения, отсутствие информации о его расположении относительно земли (самостоятельный или на растяжках, или в виде флага и прочее), локальность знака и высокая вероятность его демонтажа, деформация (повреждение) и разворот знаков относительно плоскости дороги. Все эти ошибки приводят к аномальным коррекциям навигационной системы и как-следствие резким скачкам в значениях погрешностей.

Подход, описанный в работе [Бикмаев Р.Р., Золотов М.Д., Попов А.Н., Садеков Р.Н. Повышение точности сопровождения подвижных объектов с применением алгоритма комплексной обработки сигналов с монокулярной камеры и лидара. В сборнике: XXVI Санкт-Петербургская международная конференция по интегрированным навигационным системам. Сборник материалов. 2019. С. 39-42.] заключается в получении облака точек окружающее объект по информации лидара и сравнения его с картой местности, подготовленной заранее. Он обладает достаточно высокой точностью, однако имеет ряд недостатков, это большая заблаговременная работа по сьемке местности на которой происходит движение и постоянная работа по актуализации информации о местности в случае локальных ремонтных работ. Дороговизна датчика и необходимость установки мощного вычислителя, а также зависимость качества навигации от динамических объектов, находящихся в сцене. Все эти ограничения приводят к существенным экономическим затратам при реализации данного подхода, чем использование монокамеры.

Другим аналогом предложенного технического решения является [Беркович С.Б., Котов Н.И., Садеков Р.Н., Шолохов А.В., Бикмаев Р.Р., Быстров Д.Е. Распознавание стрелочных переводов в задаче позиционной навигации подвижного рельсового состава. В сборнике: Юбилейная XXV Санкт-Петербургская Международная конференция по интегрированным навигационным системам. Сборник материалов. Главный редактор В.Г. Пешехонов. 2018. С. 171-174.]. Суть подхода заключается в распознавании стрелочных переводов, сравнении полученных данных с картой и корректировку навигационной системы. Распознавание стрелочных переводов осуществляется на основе детектора линий на основе метода Хафа и выбора тех линий, которые соответствуют дорожному полотну. При приближении к стрелочному переводу найденные линии на пути следования и соседнем пути начинают сходиться, а момент их схождения и характеризует стрелку. Такой подход прост в работе и надежен, однако он не способен распознать стрелочный перевод типа «Y», кроме того, сделочные переводы встречаются достаточно редко в связи с чем, коррекция навигационной системы производится не своевременно, что может приводить к росту ее ошибок, выходящих за уровень допуска.

Также из уровня техники известно устройство оценки положения движущегося тела и способ оценки положения движущегося тела (патент RU2621480, опубликован 06.06.2017, МПК G06K9/46, G06T7/73, G08G1/123). Устройство оценки положения движущегося тела – транспортного средства - основано на том, что сопоставляют данные карты, хранящейся в блоке хранения, и изображений, полученных камерой, с использованием фильтра частиц. При этом блок вычисления значения оценки сравнивает изображение края объекта и виртуальное изображение для каждой частицы, присваивает более высокое значение оценки, если имеется большее количество перекрывающихся краев между изображениями, а также присваивает более высокое значение оценки, если имеется большее количество краев, которые не являются перекрывающимися краями и для которых расстояние от края до края, которое представляет собой расстояние между краем в изображении края и краем в виртуальном изображении, меньше или равно заданному значению.

Недостатком этого аналога является его сильная зависимость от шума, так как сравнением столбов осуществляется на основе анализа их краев при этом на транспорте передвигающимся в городских условиях таких краев на изображении может быть очень много, что существенно ухудшает качество решения задачи распознавания и как следствие коррекции показания навигационной системы.

Известен способ определения положения транспортного средства (патент US11393216B2, опубликован 19.07.2022, МПК G01C21/30), включающий этапы загрузки и хранения набора данных объектов окружающей среды в бортовой вычислитель ТС, в процессе движения ТС с камер получают данные о объектах окружающей среды, определяют присутствие наблюдаемого объекта в наборе данных окружающей среды с применением искусственной нейроновой сети (ИНС), оценивают перемещения и ориентацию в пространстве ТС во времени на основе информации, полученной от бортовых датчиков (одометрия, инерциальная навигационная система, GNSS), определяют местоположение и ориентацию ТС с применением алгоритма фильтра частиц, при реализации которого инициализируют множество частиц-гипотез о положении транспортного средства в начальном положении и перемещают каждую частицу в соответствии с показаниями бортовых датчиков, оценивают вероятность каждой частицы-гипотезы из инициализированного множества с применением вероятностной модели с учетом результатов обнаружения наблюдаемого объекта-ориентира в наборе данных объектов окружающей среды.

Замена алгоритма сравнения на ИНС, предлагаемая в указанном патенте, также имеет недостатки в связи с ошибками детектирования объектов (термин присутствие, обнаружение) поскольку объекты типа столб детектируются крайне плохо так-как они не входят целиком в кадр, а другие типы объектов в городских сценах встречаются редко, что не позволяет производить коррекцию своевременно и значит точность определения координат сильно ухудшается.

К общим недостаткам указанных аналогов можно отнести то, что результат выполнения алгоритма фильтра частиц дает неплохую оценку местоположения, но довольно шумную, в результате чего инициализация большого количества частиц-гипотез о положении ТС ведет к увеличению ошибки локализации ТС, снижает надежность и стабильность работы систем позиционирования в рамках, которой реализуется способ, что в конечном итоге приводит к повышению требований к вычислительным мощностям систем позиционирования, в следствии чего уменьшается быстродействие системы позиционирования.

Задачей, поставленной при разработке данного изобретения, являлось создание способа визуальной локализации городского рельсового транспорта на основе фильтров частиц и Калмана, а также данных о картировании, с высокой точностью позиционирования за счёт использования коррекции по «столбо – подобным» ориентирам, таким как дорожные знаки, опоры, светофоры, деревья и т.д.

Технический результат, достигаемый при реализации данного изобретения, заключается в повышении точности определения положения рельсового транспортного средства в пространстве (за счет использования объектов, часто распространённых в городской среде и еще используется модель пути) при обеспечении возможности снижения требований к вычислительным мощностям системы позиционирования в составе транспортного средства.

Указанный технический результат достигается способом визуальной локализации городского рельсового транспорта на основе фильтров частиц и Калмана, и данных о картировании, при котором получают исходное изображение с камеры установленной на транспортном средстве, исходное изображение выравнивается с использованием информации о положении камеры, ее внутренних параметрах и ошибках оптической системы, затем выравненное исходное изображение обрезается и сегментируется (а не детектируется) при помощи нейронной сети с целью нахождения на нём статических объектов, далее формируются гистограммы углов (а не контуры) до статических объектов, сегментированных на изображении и при помощи фильтра частиц, генерируется положение большого количества частиц предполагаемого местоположения и ориентации объекта, на завершающем этапе по информации о предполагаемом месте расположения объекта и имеющейся информации о расположении ориентиров на месте определяется местоположение объекта на основе фильтра Калмана путем комплексирования данных GPS и одометра.

Указанные технические признаки позволяют с высокой точностью осуществить расчёт местоположения рельсового транспортного средства, не требуя при этом высоких вычислительных затрат, что повышает скорость позиционирования.

В основе данного способа предусмотрено использование информации с камеры, установленной на транспортном средстве для уточнения собственного местоположения. На карте маршрута следования имеются статические объекты - столбы, колонны, дорожные знаки. Они являются ориентирами относительно которых корректируется положение объекта, координаты данных объектов заранее известны поскольку они берутся с карты. Кроме-того используется информация о GPS, одометрическая информация (текущая скорость) и информация о рельсах – сплайн.

Техническая сущность изобретения поясняется чертежом. На фиг.1 изображен алгоритм осуществления способа визуальной локализации городского рельсового транспорта на основе фильтров частиц и Калмана, и данных о картировании, позиции которого содержат следующие шаги:

1. Получение исходного изображения пути следования;

2. Выравнивание исходного изображения;

3. Сегментация выравненного изображение;

4. Получение данных GPS и одометрии;

5. Получение данных об объектах на маршруте следования;

6. Расчет местоположение объекта;

7. Применение фильтра частиц;

8. Применение фильтра Кальмана.

В предпочтительном варианте исполнения изобретение осуществляется следующим образом.

На первом этапе с камеры, расположенной на транспортном средстве, получают исходное изображение (1), которое затем выравнивается (2) с использованием информации о положении камеры, ее внутренних параметрах и ошибках оптической системы. Далее оно обрезается для дальнейшего использования.

На втором этапе изображение сегментируется (3) и находятся столбы. Сегментация производится на основе нейронной сети. Само сегментированное изображение является одноканальной матрицей, в которой значение каждого пикселя равно номеру класса объекта, которому он принадлежит.

Для получения гистограммы углов до объектов на изображении, алгоритм проходится по каждому пикселю в маске и проверяет принадлежность к заданному классу. Каждый пиксель имеет «свой голос» при составлении гистограммы. Тем самым учитывается расстояния до объектов и их размеры. Затем вычисляется угол.

Репроекция пикселя будет рассчитываться следующим образом:

,

где – координаты пикселя; – координаты принципиальной точки; – фокусные расстояния; – заданное расстояние до точки; – внешняя поза камеры; – результирующий вектор.

Полученный вектор находится в системе координат, связанной с камерой. Вторым шагом нужно найти аналогичный вектор для VR-центра. Для этого достаточно вычесть из промежуточного результата вектор переноса камеры:

Теперь остается посчитать сам угол в радианах:

Угол считается относительно оси Y и точно принадлежит промежутку , ведь угол обзора камеры примерно 60 градусов. Все вычисленные углы записываются в массив, из которого затем собирается гистограмма. По оси X – углы в радианах, а по оси Y – количество пикселей. Так как интересует не конкретное количество пикселей, а форма самой гистограммы, то следует ее нормализовать от 0 до 1.

Аналогичное решение готовиться по информации о предполагаемом месте расположения объекта (5) и имеющейся информации о расположении ориентиров на месте. Местоположение объекта определяется на основе фильтра Калмана (8) путем комплексирования данных GPS и одометра (4). Однако в силу ошибок GPS позиция объекта является неточной, неопределенность в исходных данных задается ковариационной матрицей ошибок.

Для коррекции показаний используется фильтр частиц (7), который генерирует положение большого количества частиц предполагаемого местоположения и ориентации объекта. Для оценки положения объекта необходимо оценить вес каждой частицы.

Каждая частица обладает тремя параметрами: координаты, матрица поворота и скорость. Частицы добавляются исходя из локальной окрестности точки с GPS-датчика и ориентации объекта путем добавления «нормального» шума. Веса частиц в каждый момент времени являются одинаковыми.

При поступлении «корректных» данных с GPS-датчика (4), частицы обновляются. Частицы, располагающиеся далеко от текущих GPS данных, получают меньший вес обратно пропорционально квадрату расстояния между точками. На каждой итерации частицы сортируются по весу и лучшие частицы клонируются, заменяя частицы с меньшим весом.

Модель движения частицы построена на равномерном прямолинейном движении материальной точки. К тому же трамвайные пути в основном состоят из прямых участков. Следовательно, это изменение считается так:

,

где поза частицы; – положение столба в глобальной системе координат.

Аналогично с получением углов для самого трамвая, следует вычислить арктангенс

.

Гистограмма, полученная из наблюдений с камеры, отражает дальность и ширину столбов. Для получения похожего результата для частиц, вводится масштабирование ориентиров с учетом дальности до маршрута.

Оценка веса частицы производится через следующую функцию корреляции, представленную ниже:

где H₁ – гистограмма изображения и H₂ гистограмма, полученная по карте.

Если у частицы в зоне видимости не нашлось ориентира, то ей присваивается нулевой вес.

Каждый вес домножается на коэффициент совпадения гистограмм и затем веса нормализуются.

Итоговые координаты предполагаемого местоположения считаются (6) как взвешенное среднее облака частиц:

,

где – координаты -ой частицы.

Итоговая дисперсия облака частиц:

Результат выполнения алгоритма фильтра частиц дает неплохую оценку местоположения, но довольно шумную. Для решения этой проблемы используется расширенный фильтр Калмана (8). В такой модификации он способен работать с нелинейными функциями. В нашем случае, функция перехода от состояния к измерениям – нелинейная.

Состояние включает в себя только одну величину – метр маршрута.

Вектор контролирующих параметров также включает в себя только одну величину – скорость, которая берется из измерений колесной одометрии.

Измерения представляют собой координаты, полученные из фильтра частиц.

Далее проводится прогнозирование. Функция экстраполяции состояния совпадает с функцией прогнозирования в фильтре частиц:

Так как расширенный метод Калмана подразумевает наличие нелинейных функций, то вместо стандартных матриц и , описывающих модель движения, будут использоваться матрицы Якоби, для линеаризации.

Очевидно, что из-за линейности функции прогнозирования, данные матрицы не изменились.

Для прогнозирования матрицы ковариации ошибки формула не меняется:

,

где – матрица ковариации ошибки контролирующих параметров.

В начальный момент времени матрица (в данном случае размера ) равна некоему большому числу. Это сделано для того, чтобы на первых итерациях больше прислушиваться к измерениям, которым нужно некоторое время, чтобы стабилизироваться.

Функция перехода из состояния в измерение является нелинейной, так как она использует сплайн:

,

где – модифицированная функция сплайна, которая выдает точку на плоскости, соответствующую заданному метру маршрута .

Тогда матрица будет рассчитываться так:

Матрица – отвечает за ошибку измерений. В данном случае измерениями являются результаты фильтра частиц, с рассчитанной дисперсией, поэтому ошибка будет различаться на каждой итерации:

Результирующие значения для состояния и ошибки считаются стандартным способом без изменений.

Таким образом, предлагаемое изобретение представляет собой способ позиционирования рельсовых транспортных средств, обеспечивающий высокую точность определения местоположения и углового положения в пространстве с повышенной скоростью обработки показаний, получаемых от разнородных источников навигационной информации, при достижении стабильной и надежной реализации способа без жестких требований к вычислительным ресурсам системы позиционирования.

Использование: для визуальной локализации городского рельсового транспорта. Сущность изобретения заключается в том, что получают исходное изображение с камеры, установленной на транспортном средстве, исходное изображение выравнивается с использованием информации о положении камеры, затем выравненное исходное изображение обрезается, далее изображение сегментируется при помощи нейронной сети с целью нахождения на нём статических объектов, далее формируются гистограммы углов до статических объектов, сегментированных на изображении и при помощи фильтра частиц, генерируется положение большого количества частиц предполагаемого местоположения и ориентации объекта, на завершающем этапе по информации о предполагаемом месте расположения объекта и имеющейся информации о расположении ориентиров на месте определяется местоположение объекта на основе фильтра Калмана путем комплексирования данных GPS и одометра. Технический результат: повышение точности определения положения рельсового транспортного средства в пространстве при обеспечении возможности снижения требований к вычислительным мощностям системы позиционирования в составе транспортного средства. 1 ил.

Способ визуальной локализации городского рельсового транспорта на основе фильтров частиц Калмана и данных о картировании, при котором получают исходное изображение с камеры, установленной на транспортном средстве, исходное изображение выравнивается с использованием информации о положении камеры, затем выравненное исходное изображение обрезается, далее изображение сегментируется при помощи нейронной сети с целью нахождения на нём статических объектов, далее формируются гистограммы углов до статических объектов, сегментированных на изображении и при помощи фильтра частиц, генерируется положение большого количества частиц предполагаемого местоположения и ориентации объекта, на завершающем этапе по информации о предполагаемом месте расположения объекта и имеющейся информации о расположении ориентиров на месте определяется местоположение объекта на основе фильтра Калмана путем комплексирования данных GPS и одометра.