Способ распознавания местности Российский патент 2025 года по МПК G06V20/56 

Заявленное изобретение относится к определению местоположения, т.е. процессу определения местоположения мобильного устройства, путем локализации и картографии, а именно к способу распознавания местности.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Одновременная локализация и картографирование является фундаментальным компонентом в развитии автономных транспортных средства и робототехники. Такой подход позволяет роботам создавать карту окружающей среды с одновременной локализацией себя внутри нее.

Из уровня техники известны методы определения собственного местоположения, например метод определения местоположения мобильных устройств (см. RU2699376, опубл. 05.09.2019). Инициирующий узел, входящий в состав сети для определения местоположения, передает беспроводным способом сигнал инициации на мобильное устройство, причем сигнал инициации сконфигурирован для вынуждения мобильного устройства испускать беспроводным способом сигнал в ответ на прием сигнала инициации; ожидающие сигнала узлы ожидают сигнал ответа, передаваемый от мобильного устройства в ответ на сигнал инициации, и, таким образом, в каждом соответствующем множестве ожидающих сигнала узлов, которые принимают беспроводным способом сигнал ответа от мобильного устройства, принимаются соответствующие измерения сигнала ответа, принятые в соответствующем ожидающем сигнала узле для использования при выполнении определения местоположения для определения местоположения мобильного устройства на основании одного или более этих измерений.

Из уровня техники известен выбранный в качестве ближайшего аналога способ картографирования местности для автономных транспортных средств (см. RU2784310, опубл. 23.11.2022). Способ заключается в том, что формируют и сохраняют глобальную карту местности, обрабатывают полученные с камер АТС изображения с выделением линейных объектов дорожного полотна, формируют карту признаков выделенных объектов, формируют локальную карту, задают начальные оценки вероятности нахождения признаков выделенных объектов в ячейках глобальной и локальной карт, записывают признаки выделенных объектов в соответствующие ячейки глобальной и локальной карт, формируют на основе указанных точек линии, оценивают для каждой ячейки локальной карты вероятность нахождения признака выделенного объекта дорожного полотна, полученный участок локальной карты накладывают на соответствующий участок глобальной карты с суммированием оценок вероятности нахождения признака выделенного объекта с учетом предыдущей оценки, получают результирующую карту путем осуществления бинаризации ячеек полученной карты по пороговому значению оценки вероятности нахождения признака выделенного линейного объекта дорожного полотна.

Указанный способ также не обладает большой производительностью, так как обработка информации производится для каждого распознаваемого объекта, в отличие от заявленного способа, где обработку производят посредством созданной библиотеки изображений.

Предложенный аналог наиболее близко подходит к решению проблем, решаемых заявленным изобретением, однако, по мнению заявителя, проблема решается не самым эффективным способом.

КРАТКОЕ ИЗЛОЖЕНИЕ ИЗОБРЕТЕНИЯ

Техническим результатом изобретения является повышение производительности и вычислительной эффективности.

Технический результат достигается посредством создания способа распознавания местности, включающего одновременную локализацию и картографирование, по меньшей мере один цикл распознавания места путем определения совершал, посещал ли ранее робот текущее место, для чего производят сравнение текущего наблюдения с данным, замыкание цикла при условии, что совпадение найдено.

Способ характеризуется тем, что используют визуальное распознавание мест и распознавание мест на основе облака точек, при этом визуальное распознавание мест основано на данных, получаемых с камер, для идентификации ранее посещенных мест и использует извлечение и сопоставление методом сравнения текущего места с сохраненными в памяти, а распознавание мест на основе облака точек использует 3D-данные, полученные от таких датчиков, как LiDAR.

В предпочтительном варианте выполнения в визуальном методе распознавания мест преобразуют локальные особенности изображения в дискретные.

В предпочтительном варианте выполнения локальные особенности изображения преобразуют в дискретные путем объединения свойств визуальных изображений в визуальную библиотеку, формирования глобального дескриптора изображения, обнаружения ключевых точек и извлечения их, назначения локальных дескрипторов из входных изображений с использованием самоконтролируемого обучения геометрически стабильной функции графовой нейронной сети.

В предпочтительном варианте выполнения используют датчики Livox LiDAR с малым полем зрения.

КРАТКОЕ ОПИСАНИЕ РИСУНКОВ

Сущность изобретения поясняется рисунками, на которых:

Рис.1 – пример перцептивного сглаживания;

Рис.2 – траектория данных, собранных в офисном помещении;

Рис.3 – траектория данных из лабораторной среды.

Эти рисунки не охватывают и, кроме того, не ограничивают весь объем вариантов реализации данного технического решения, а представляют собой только иллюстративный материал частного случая его реализации.

ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Заявленный способ распознавания местности осуществляется следующим образом. Распознавание мест является активной областью исследований, и поиск подходящей реализации для конкретного варианта использования является сложной задачей. В предложенном способе распознавания используют разделение на два основных типа решения задачи: визуальное распознавание мест и распознавание мест на основе облака точек. Визуальное распознавание мест основано на изображениях, данные о которых обычно получают с камер, для идентификации ранее посещенного места. Использует извлечение и сопоставление методом сравнения текущей сцены с сохраненными в памяти робота. Также используют определение местоположения на основе облака точек, при котором используют распознавание 3D-данных, полученные от таких датчиков, как LiDAR.

Для осуществления способа использовалась аппаратная установка, которая включает в себя датчик Livox LiDAR MID-70 с ограниченным полем зрения и камеру Intel Depth Camera D435i. Несмотря на возможности D435i по определению глубины, использовалась ее информация RGB исключительно для методов визуального распознавания мест. Датчики LiDAR и камеры установлены на портативном устройстве, что делает способ особенно актуальным для портативных приложений картографирования и локализации.

Способ распознавания мест осуществлялся с использованием данных, собранных с помощью LiDAR с малым полем зрения и камеры RGB в помещении. Такие среды часто создают проблемы, такие как переменные условия освещения, беспорядок и окклюзии, которые могут существенно повлиять на точность и надежность методов распознавания мест. Все тесты и оценки проводились исключительно в закрытых помещениях, принимая во внимание такие факторы как эффективность вычислений, устойчивость к динамическим изменениям и устойчивость к искажениям восприятия. Изучая эти факторы, стремились предоставить ценную информацию и рекомендации по внедрению эффективных методов распознавания мест в приложениях SLAM внутри помещений, в которых используются камеры RGB и/или LiDAR с малым полем зрения.

Существует ряд проблем, связанных с распознаванием места в помещении при использовании данных LiDAR и настройки камеры.

Основные проблемы распознавания мест заключаются в пяти ключевых аспектах:

1) перцепционное сглаживание,

2) изменение внешнего вида,

3) разница точек зрения,

4) способность к обобщению;

5) эффективность и надежность.

• Перцептивное совмещение: В помещениях часто присутствуют похожие проявления в разных местах, как показано на рис. 1. Эта проблема может возникнуть повторяющихся узоров, однородных текстур или симметричных структур, обычно встречающихся в техногенных средах. Решение проблемы имеет решающее значение для улучшения производительности распознавания мест как в LiDAR, так и в системах на базе камер.

• Изменение внешнего вида: распознавание мест в помещении может быть особенно сложным из-за изменения внешнего вида, вызванных условными факторами, такими как различные условия освещения и структурные факторы, такие как беспорядок, окклюзии и повторяющиеся структуры. Изменения со временем влияют на визуальные наблюдения, в то время как структурные изменения влияют как на зрение, так и на LiDAR датчики.

• Разница точек зрения: методы распознавания мест должны уметь учитывать различные точки зрения, поскольку при наблюдении в одном и том же месте могут быть разные узоры, если смотреть под разными углами. Это особенно важно в долгосрочной навигации.

• Способность к обобщению: эффективное распознавание мест. Метод должен быть способен распознавать невидимую среду. Поскольку сценарии реального мира бесконечны, и одно и то же место может быть представлено в разных экологических условиях, невозможно собрать все возможные комбинации наборов данных о местах одновременно.

• Эффективность и надежность: для приложений реального времени эффективность метода распознавания места должна быть вычислительно эффективной и надежной, способной работать на встроенных устройствах, не вызывая значительных задержки.

Проблемы с распознаванием мест облака точек:

• Livox LiDAR имеет небольшое поле зрения, что может ограничивать его эффективность в определенных подходах к распознаванию мест, поскольку большинство современных методов предназначены для обзора на 360-градусных датчиков LiDAR.

• Большинство современных подходов к распознаванию мест специально разработаны для использования на открытом воздухе и в автономных автомобилях. Применение этих подходов к внутренним условиям может привести к неожиданным вызовам и требует значительной адаптации.

Проблемы с визуальным распознаванием места:

• Методы визуального распознавания мест чувствительны к изменениям в условиях освещения, характерных для внутренней среды. Тени, отражения и искусственные освещение могут привести к несоответствию между изображением, что затрудняет идентификацию ранее посещенных локации.

• Внутренняя среда может содержать динамические элементы. Например, движущиеся объекты, люди или временные препятствия. Эти факторы могут негативно повлиять на производительность алгоритмов визуального распознавания мест и привести к ложноположительным или ложноотрицательным замыканиям петли.

• Методы визуального распознавания мест могут сталкиваться с ограничениями в обработке изменений масштаба и перспективы при использовании исключительно на информации RGB. Это может привести к снижению точности и надежности.

Методы визуального распознавания мест (VPR) предлагают экономичную альтернативу датчикам LiDAR для определения местоположений в окружающей среде. Доступность методов VPR и высокая эффективность сделали их популярными для задач распознавания мест. Мешок визуальных слов (BoVW), хорошо зарекомендовавший себя метод VPR, квантует локальные особенности изображения в отдельные визуальные слова, группируя их в визуальный словарь. Изображение представляется в виде гистограммы этих визуальных слов, образующих глобальный дескриптор изображения. На производительность BoVW могут влиять локальные особенности, алгоритмы кластеризации и размер визуального словаря.

NetVLAD интегрирует метод VLAD в архитектуру CNN, извлекая локальные функции и объединяя их в компактный глобальный дескриптор. Этот метод превосходно справляется с крупномасштабными задачами распознавания мест даже в сложных условиях.

SuperPoint одновременно обнаруживает ключевые точки и извлекает локальные дескрипторы из входных изображений, используя подход самоконтролируемого обучения для геометрически стабильного представления признаков. SuperGlue, основанный на графовых нейронных сетях подход для сопоставления признаков, используется в сочетании с SuperPoint для надежного и эффективного соответствия ключевых точек.

Для экспериментального подтверждения заявленного способа были собраны данные с помощью портативного устройства, оснащенного Livox LiDAR MID-70 и камерой глубины Intel D435i. Затем для оценки траекторий, или одометрии, использовался алгоритм обработки данных. Способ демонстрирует достаточно высокую точность и на выбранном наборе данных демонстрирует относительно небольшую ошибку из-за коротких траекторий. Эта характеристика делает набор данных подходящим для оценки различных методов распознавания мест.

Набор данных хранится в файле rosbag, содержащем три темы: одна тема с RGB изображением с камеры, другая тема с данными облака точек из Livox LiDAR и последняя тема, содержащая информацию об одометрии, оцененную алгоритмом оценки.

Данные были собраны в Университете Иннополис с использованием двух отдельных файлов rosbag, представляющих разные среды. Первый файл rosbag содержит данные, собранные внутри офисного помещения и вокруг него, состоящие из двух циклов (рис. 2). Второй файл rosbag содержит данные из лабораторной среды с траекторией в форме восьмерки, которая также включает две петли (рис. 3). Офисная и лабораторная среда обладают различными геометрией и внешним видом, что делает их подходящими для использования в качестве данных для обучения и тестирования методов распознавания мест.

Процесс тонкой настройки включает в себя ручное определение порога для каждой модели, который дает наилучшие результаты распознавания мест для набора данных роботов. Основное внимание уделяется достижению максимально возможной точности набора данных о роботах, поскольку точность играет решающую роль в эффективности методов распознавания мест. Для метода «Мешок слов» (BoW) был реализован на DBoW23. Перед оценкой была создана база данных BoW для улучшения прогнозов, используя еще один лаюораторный rosbag. Затем использовали набор данных робота, чтобы найти соответствующий порог оценки, обеспечивающий наилучшие результаты.

Для метода SuperPoint + SuperGlue использовали предварительно обученные внутренние весы на основе данных ScanNet, доступных в исходном репозитории. Модель вычисляет количество совпадающих признаков между двумя изображениями. После процесса точной настройки мы определяем оптимальный порог количества совпадающих объектов, означающий, что два изображения соответствуют одному и тому же местоположению.

Для методов на основе облака точек использовали Livox MID-70 LiDAR. Облака точек, генерируемые MID-70, представляют собой редкие лепестки, из-за чего отдельные облака чрезвычайно сложно распознать даже для людей-наблюдателей. Поскольку ни один из методов не сработал с отдельными облаками, накапливали облака либо в глобальном кадре, либо в локальном кадре первого облака в пакете. Каждое накопленное облако содержит 10 одиночных облаков, что соответствует количеству облаков точек, собираемых Livox MID-70 LiDAR в секунду. Было выбрано 10 облаков, потому что такое количество позволяет человеческому глазу легче распознавать структуры.

Кроме того, все облака точек были преобразованы в локальные координаты путем их перевода и вращения на основе перемещения и вращения первого облака точек, чтобы улучшить производительность алгоритма.

Метод Scan Context5 не требует предварительно обученных весов. Алгоритм вычисляет расстояние между дескрипторами контекста сканирования. Если расстояние между двумя дескрипторами невелико, соответствующие точки считаются одинаковыми.

Метод LoGG3D-Net6 предварительно обучен на наборе данных MulRan для наружного использования и по-прежнему достаточно хорошо работает в помещениях.

Однако лучше тренироваться на данных, полученных в помещении, чтобы улучшить результаты в дальнейшем. Подобно Scan Context LoGG3DNet вычисляет расстояние между дескрипторами.

Для эксперимента были определены две точки траектории как одинаковые, если они находятся в радиусе 3 метров друг от друга. Кроме того, из-за ограниченного поля зрения Livox LiDAR MID-70 в 70 градусов, учитывал ориентацию устройства, учитывая устройство, считая, что устройство смотрит в одном направлении, если угловое расстояние меньше 45 градусов. Таким образом, мы рассматриваем два случая:

1) Когда две точки траектории расположены близко друг к другу другое (в пределах 3 метров).

2) Когда две точки траектории расположены близко друг к другу другие и ориентированы в том же направлении (в пределах 45 градусов).

В процессе оценки собрали кадры данных, которые включают данные одометрии, изображения и облака точек из данных тестирования в лабораторных условиях. Каждый кадр данных сравнивался со всеми ранее собранными кадрами данных, чтобы делать прогнозы для кандидатов на замыкание цикла, используя модели, точно настроенные на данные робота. В дальнейшем мы рассчитали показатели производительности, такие как точность, полнота и оценка F1.

Результаты представлены в таблицах I и II.

Таблица I

Оценка моделей на данных испытаний (лабораторная среда). Две точки близко друг к другу (не более 3 метров)

Таблица II

Оценка моделей на данных испытаний (лабораторная среда). Две точки близко друг к другу (не более 3 метров) и ориентированы в одном направлении (45 градусов)

Учитывая ограниченное поле зрения Livox LiDAR MID-70, результаты, учитывающие угол, более надежные. Таким образом, рекомендуется полагаться на эти результаты, поскольку они обеспечивают более точное представление модели.

Помимо оценки производительности каждого метода независимо были исследованы потенциальные преимущества объединения различных методов для улучшения обнаружения замыкания цикла.

Для этого анализа считали две точки кандидатами на цикл только в том случае, если оба рассматриваемых метода одновременно идентифицируют их как кандидатов на цикл. Результаты этого комбинированного подхода можно увидеть в таблицах III и IV ниже. Основным показателем, представляющим интерес, является точность, поскольку крайне важно гарантировать, что модель распознавания мест не создаст неверных кандидатов в циклы. Ошибочные кандидаты в циклы могут усугубить ошибки SLAM, а не смягчить их.

Таблица III

Оценка комбинированных моделей на испытательных данных. Две точки находятся близко друг к другу (не более 3 метров)

S.P. = SUPERPOINT, S.G. = SUPERGLUE.

Таблица IV

Оценка комбинированных моделей на испытательных данных. Две точки близко друг к другу (не более 3 метров) и ориентированы в одном направлении (45 градусов)

Объединив эти подходы, достигается более надежное обнаружение замыкания цикла с точки зрения точности.

Комбинированные модели демонстрируют более высокие значения точности, что демонстрирует эффективность использования дополнительной информации как из визуальных данных, так и из данных облаков точек. Слияние методов компенсирует индивидуальные ограничения каждого метода, что приводит к повышению общей производительности.

Изобретение относится к распознаванию местности. Технический результат заключается в повышении производительности и вычислительной эффективности. Способ включает: одновременную локализацию и картографирование, цикл распознавания места путем определения совершал, посещал ли ранее робот текущее место, для чего производят сравнение текущего наблюдения с данным, замыкание цикла происходит при условии, что совпадение найдено. Для распознавания местности используют визуальное распознавание мест и распознавание мест на основе облака точек. При этом визуальное распознавание мест основано на данных, получаемых с камер, для идентификации ранее посещенных мест путем извлечения и сопоставления методом сравнения текущего места с сохраненными в памяти. Распознавание мест на основе облака точек использует 3D-данные, полученные от таких датчиков, как LiDAR. 1 з.п. ф-лы, 3 ил., 4 табл.

1. Способ распознавания местности, включающий одновременную локализацию и картографирование, по меньшей мере один цикл распознавания места путем определения совершал, посещал ли ранее робот текущее место, для чего производят сравнение текущего наблюдения с данным, замыкание цикла при условии, что совпадение найдено, отличающийся тем, что используют визуальное распознавание мест и распознавание мест на основе облака точек, при этом визуальное распознавание мест основано на данных, получаемых с камер, для идентификации ранее посещенных мест и использует извлечение и сопоставление методом сравнения текущего места с сохраненными в памяти, а распознавание мест на основе облака точек использует 3D-данные, полученные от таких датчиков, как LiDAR, при визуальном методе распознавания мест преобразуют локальные особенности изображения в дискретные путем объединения свойств визуальных изображений в визуальную библиотеку, формирования глобального дескриптора изображения, обнаружения ключевых точек и извлечения их, назначения локальных дескрипторов из входных изображений с использованием самоконтролируемого обучения геометрически стабильной функции графовой нейронной сети.

2. Способ распознавания по п.1, отличающийся тем, что используют датчики Livox LiDAR с малым полем зрения.