Способ локализации и построения навигационных карт мобильного сервисного робота Российский патент 2021 года по МПК G05D1/02 G05D3/00 G01C3/00 G01C7/00 G06T1/00 G01C21/04 

Изобретение относится к области робототехники, а именно к системам и способам локализации и построения карт препятствий и глобальной карты помещения для мобильного сервисного робота, осуществляющего технологические функции на коммерческих объектах, в частности, операции, связанные с инвентаризацией.

Известен способ работы робота для очистки полов (заявка WO № 2019007038А1 от 23.01.2018), включающий в себя следующие этапы: получение от бинокулярной камеры двух изображений объекта, сделанных одновременно с разных углов; получение информации о препятствии на основе информации двух изображений и выбор различных режимов работы на основе информации о препятствиях. Информация о препятствии содержит размер препятствия, форму препятствия и расстояние между препятствием и роботом. Этап одновременного получения двух изображений одного и того же препятствия под разными углами дополнительно содержит ассоциирование системой обработки видеоизображения всей информации о препятствии с соответствующим режимом работы.

Недостаток данного способа – невысокая точность определения контуров препятствий, обусловленная применением для позиционирования только RGB-камеры.

Известен способ составления карт рабочей области для автономного робота (заявка на изобретение US № 2018/0004217А1 от 18.11.2015), включающий: выполнение роботом идентификации граничных линий между смежными отображенными подобластями и не отображенными подобластями рабочей области, которые должны быть отображены на карте, путем сравнения расстояний, пройденных роботом, впервые проезжающим по рабочей области, измеренных с помощью средств определения координат и одометрии; инициирование отображения на карте не отображенной подобласти, примыкающей к граничным линиям, идентифицированным контактным датчиком, во время движения из первой точки на первой граничной линии в ненанесенную на карту подобласть; генерирование карты рабочей области на основе карт подобластей, составленных роботом.

Основным недостатком данного способа является отсутствие метода корректировки расчетной координаты робота, что приводит к нарастанию погрешности определения координаты местоположения робота в процессе движения, так как данные одометрии имеют значительную погрешность.

Известен способ построения карты роботом (патент US № 8761925В2 от 23.10.2008) оснащенным трехмерным измерительным аппаратом (например, стереокамерой или видеокамерой глубины и расстояния (ToF-камерой)), включающий: последовательное получение первых и вторых данных о поверхности маршрута, по которому движется робот; сопоставление данных первой и второй поверхности для вычисления разности между данными о первой и второй поверхностях; обнаружение динамического препятствия по первым и вторым поверхностным данным в соответствии с разницей между данными о первой и второй поверхностях; генерирование данных третьей поверхности путем удаления данных о динамическом препятствии по меньшей мере из данных о первой или второй поверхностях; сопоставление данных третьей поверхности без динамического препятствия с данными первой и второй поверхностей для построения карты, при этом сопоставление данных выполняется путем итерации ближайшей точки (ICP) для регистрации данных первой и второй поверхностей, а данные о трехмерном образе робот получает в процессе движения.

Основным недостатком данного способа является отсутствие метода корректировки расчетной координаты робота, что приводит к нарастанию погрешности локализации в процессе движения, так как данные одометрии имеют значительную погрешность. Также недостатком данного способа является применение только одного типа сенсора - трехмерного измерительного аппарата.

Известна система и способ навигации транспортного средства с использованием абсолютных и относительных координат (заявка JP № 2010519550А от 21.02.2008). Система включает GPS-датчик абсолютного положения в дополнение к одному или нескольким дополнительным датчикам, таким как камера, лазерный сканер или радар.

В процессе движения датчики обнаруживают присутствие объектов и измеряют относительное положение транспортного средства относительно этих объектов. Эта информация используется вместе с информацией об абсолютном местоположении и дополнительной картографической информацией для определения местоположения транспортного средства и для поддержки функций управления и предотвращения столкновений. Система по одному из вариантов использует относительное позиционирование, не полагаясь на сохранение информации об абсолютном положении. В способе навигации используются RFID-метки для идентификации различных физических объектов на карте, таких как дорожные знаки.

Описанные система и способ используют GPS для корректировки текущей координаты, что не позволяет применять их для роботов в закрытых помещениях.

Известен способ генерации и обновления карт помещений (заявка CN № 107764270А от 19.10.2017) роботом c лазерным радаром (далее - ЛИДАР), установленным на его верхней части, кодером и чипом центрального процессора, установленными в роботе; сигнальной антенной, связывающей робот с управляющим компьютером, и ЛИДАРом для сканирования окружающего пространства и передачи отсканированной информации о дискретных точках в центральный процессор. Использование ЛИДАР позволяет осуществлять быстрый и точный сбор данных и точно создавать, и обновлять карту помещений.

Данный способ включает следующие этапы: преобразование данных о 361 точке окружения робота, полученных с помощью ЛИДАР, в диапазоне 180 градусов с интервалом 0,5 градуса, представленных полярными координатами в глобальные координаты карты помещения в декартовой системе координат; обработку информации о данных дискретных точек, полученной ЛИДАРом, в сегмент линии, используемый для представления информации об окружении робота (о препятствиях) и генерации локальной карты; перемещение робота в помещении для получения множества локальных карт; генерирование глобальной карты помещения объединением множества локальных карт; обновление глобальной карты помещения для точного позиционирования робота путем вычисления взаимосвязи между соответствующими линейными сегментами для соответствующих линейных сегментов локальной и глобальной карт; представление областей карт одним или несколькими сегментами линий.

Основным недостатком данного способа невозможность обнаружения препятствий, находящихся выше и ниже уровня сканирования ЛИДАРа.

Известны способ и устройство навигации робота (заявка CN № 106681330А от 25.01.2017, прототип), использующие для построения карты мультисенсорное объединение данных (технологию «sensor fusion»).

Способ содержит следующие этапы: создание карты окружающего пространства в соответствии с данными, полученными лазерным радаром и данными одометрии; определение текущего положения робота на глобальной карте окружающего пространства в режиме реального времени в соответствии с данными, полученными с помощью лазерного радара, акселерометра, гироскопа и магнитометра, глобальной карты и данных одометрии; карта локальной среды строится в соответствии с данными, полученными в режиме реального времени камерой глубины и лазерным радарным датчиком; управление роботом для объезда препятствий осуществляется с помощью локального алгоритма планирования пути, стратегией выбора предварительно установленного направления; картой локальной среды (включающей препятствия), текущим положением и запланированным маршрутом робота; данные, полученные в режиме реального времени, проецируются на двухмерную плоскость для создания двухмерной проекции; если для соответствующего положения робота не существует данных двухмерной проекции, полученных лазерным радаром, данные карты локальной среды соответствующей позиции заполняются соответствующими данными двухмерной проекции; если для соответствующего положения робота имеются данные двухмерной проекции и данные, полученные лазерным радарным датчиком, то данные двухмерной проекции и данные, полученные лазерным радаром, взвешиваются и усредняются для получения данных локальной карты окружающего пространства для соответствующей позиции робота.

Основным недостатком данного способа является отсутствие метода корректировки расчетной координаты робота, что приводит к нарастанию погрешности локализации в процессе движения, так как данные одометрии имеют значительную погрешность.

Техническая задача, решаемая изобретением - повышение точности определения координаты местоположения робота, формы и расположения препятствий на пути мобильного сервисного робота в режиме реального времени.

Техническая задача решена в способе локализации и построения навигационных карт мобильного сервисного робота, эксплуатирующегося в помещении коммерческого объекта, включающем: использование в помещении стационарных светоотражающих маяков; построение первоначального маршрута с использованием плана помещения (статической карты); определение текущей координаты робота с помощью модуля одновременной локализации и картирования (далее – SLAM, англ.: simultaneous localization and mapping); использование RFID-меток для идентификации стационарных светоотражающих маяков в окружающем робота пространстве; детектирование контуров объектов с помощью камеры глубины, ЛИДАРа и ультразвуковых дальномеров; построение модулем SLAM карты SLAM с помощью данных сенсоров ЛИДАР, одометрии и инерционного измерительного устройства (далее - IMU); определение текущей координаты робота с помощью модуля SLAM; построение модулем SLAM пройденной роботом траектории; построение глобальной карты с использованием данных карты SLAM и статической карты; преобразование данных с камеры глубины в проекцию на плоскость, при этом способ включает: корректировку текущей координаты робота с использованием стационарных светоотражающих маяков с установленной на каждом из маяков RFID-меткой; построение подкарты препятствий в конкретной позиции робота и обновление слоев построенной подкарты препятствий с использованием данных с RGB-D камеры, заднего ЛИДАР и ультразвуковых дальномеров соответственно при построении каждого из слоев в произвольной последовательности; привязка текущей подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; при перемещении робота на заданную пороговую величину построение новой подкарты препятствий робота и обновление слоев построенной подкарты препятствий с использованием данных с RGB-D камеры, заднего ЛИДАР и ультразвуковых дальномеров при построении каждого из слоев соответственно в произвольной последовательности; привязка новой подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; объединение подкарт препятствий в карту препятствий после построения каждой новой подкарты препятствий; построение глобальной карты с использованием данных карты SLAM, статической карты и карты препятствий.

Решение технической задачи - повышение точности определения текущей координаты местоположения робота, формы и расположения препятствий на пути мобильного сервисного робота в режиме реального времени, - обеспечивается следующей совокупностью отличительных признаков способа локализации и построения карты мобильного сервисного робота, включающего: корректировку текущей координаты робота с использованием стационарных светоотражающих маяков с установленной на каждом из маяков RFID-меткой; построение подкарты препятствий в конкретной позиции робота и обновление слоев построенной подкарты препятствий с использованием данных с RGB-D камеры, заднего ЛИДАРа и ультразвуковых дальномеров соответственно при построении каждого из слоев в произвольной последовательности; привязку текущей подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; при перемещении робота на заданную пороговую величину - построение новой подкарты препятствий робота и обновление слоев построенной подкарты препятствий с использованием данных с RGB-D камеры, заднего ЛИДАРа и ультразвуковых дальномеров соответственно при построении каждого из слоев в произвольной последовательности; привязку новой подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; объединение подкарт препятствий в карту препятствий после построения каждой новой подкарты препятствий; построение глобальной карты с использованием данных карты SLAM, статической карты и с учетом данных карты препятствий.

Данная совокупность отличительных признаков не обнаружена в ходе патентно-информационного поиска, следовательно, техническое решение соответствует критерию «новизна». Оно также не следует явно из уровня техники, следовательно, оно соответствует критерию «изобретательский уровень».

На фиг. 1 показана схема помещения коммерческого объекта.

На фиг. 2 показана структурная схема мобильного сервисного робота.

На фиг. 3 представлена структурная схема программного обеспечения компьютера мобильного сервисного робота.

На фиг. 4 показана структурная схема комплекса программного модуля формирования глобальной карты помещения.

На фиг. 5 показана функциональная схема формирования глобальной карты помещения коммерческого объекта.

На фиг. 6 показана схема алгоритма корректировки оценки текущей координаты мобильного сервисного робота с использованием стационарных светоотражающих маяков.

На фиг. 7 показана схема алгоритма детектирования стационарных светоотражающих маяков.

На фиг. 8 показана схема алгоритма построения карты препятствий.

Способ локализации и построения навигационных карт мобильного сервисного робота 1 (фиг. 1-2), оснащенного сенсорами: RFID 2, передним ЛИДАРом 3, задним ЛИДАРом 4, RGB-D видеокамерой 5 и ультразвуковыми дальномерами 6; контроллером 7 обработки сигналов сенсоров 2-6, колесами с двигателями 8 с одометрическим датчиком 9 и IMU 10, контроллером 11 двигателей, обрабатывающим данные, поступающие от одометрического датчика 9 и IMU 10; компьютером 12 мобильного сервисного робота 1, который с помощью блока 13 человеко-машинного интерфейса или с помощью внешнего сервисного устройства 14, соединенного с компьютером 12 через блок 15 коммуникаций. В помещении 17 коммерческого объекта, разделенного на зоны 18, со стеллажами 19 расположены стационарные светоотражающие маяки 16 с установленной на каждом из маяков RFID-меткой (не показана).

Робот 1 с компьютером 12 имеет следующие программные модули (фиг. 3):

- программный модуль 20 формирования статической карты,

- комплекс 21 программных модулей формирования глобальной карты помещения коммерческого объекта,

- программный модуль 22 обработки сигналов сенсоров,

- программный модуль 23 навигации и распознавания стеллажей,

- программный модуль 24 формирования маршрута движения,

- программный модуль 25 управления движением.

Комплекс 21 программных модулей формирования глобальной карты помещения коммерческого объекта состоит из взаимосвязанных модулей:

- программного модуля 21a корректировки координат местонахождения робота,

- программного модуля 21b SLAM, реализующего алгоритмы SLAM,

- программного модуля 21c создания проекции данных от RGB-D камеры на горизонтальную плоскость,

- программного модуля 21d построения карты препятствий,

- программного модуля 21e формирования глобальной карты.

Способ локализации и построения навигационных карт мобильного сервисного робота, эксплуатирующегося в помещении коммерческого объекта, выполняется в указанной ниже последовательности.

При поступлении команды «старт» программный модуль (далее – ПМ) 21 получает от ПМ 20 статическую карту. Получив исходные данные, ПМ 21 генерирует стартовую глобальную карту помещения 17 с нанесенной стартовой позицией робота 1, включая координату стартовой позиции. Сгенерированные глобальная карта и координаты передаются в ПМ 23, который по полученным данным генерирует путевые точки. Сгенерированные путевые точки передаются в ПМ 24, который, на основе координат полученных путевых точек, генерирует маршрут движения, передаваемый на исполнение в ПМ 25, который, учитывая окружающую динамическую ситуацию, получаемую от сенсоров 2-6 через контроллер 7 (фиг. 2) и ПМ 22, формирует команды управления двигателями 8 (фиг. 2) и передает команды управления на контроллер 11 (фиг. 2). Контроллер 11 дает команду на начало движения робота 1. Робот 1 начинает движение из стартовой позиции по маршруту, сформированному ПМ 24.

Далее запускается параллельная работа ПМ 21-25 (фиг. 3). ПМ 22 получает данные от сенсоров 2-6 (фиг. 1, 2), сканирующих окружающее пространство, и после первичной обработки данных контроллером 7 (фиг. 2) передает сводную информацию в ПМ 21 и ПМ 25 (фиг. 3). ПМ 21 (фиг. 3) формирует, по мере обследования, глобальную карту помещения 17 и определяет координату местонахождения робота 1.

ПМ 21 (фиг. 3) работает следующим образом.

ПМ 21b SLAM (фиг. 4, 5) получает от ПМ 22 (фиг. 3) данные одометрии и IMU. ПМ 21b обрабатывает полученные данные, используя метод SLAM

(http://ais.informatik.unifreiburg.de/teaching/ss12/robotics/slides/12-slam.pdf),

оценивает пройденную траекторию и абсолютные координаты робота 1 и передает результат в ПМ 21а (фиг. 5). ПМ 21а, используя данные от переднего ЛИДАРа, полученные от ПМ 22 (фиг. 3), детектирует наличие стационарных светоотражающих маяков 16 (фиг. 1) с RFID-метками (фиг. 1) в соответствии с алгоритмом (фиг. 7). В случае обнаружения в окружении робота 1 (фиг. 1) RFID-метки, соответствующей стационарному светоотражающему маяку 16 (фиг. 1), ПМ 21а (фиг. 5), в соответствии с алгоритмом (фиг. 6), производит корректировку координаты местоположения и пройденной траектории робота 1 (фиг. 1) с учетом координаты обнаруженного стационарного светоотражающего маяка 16 (фиг. 1).

Скорректированный результат возвращается в ПМ 21b (фиг. 5), который формирует текущую карту SLАM и пройденную роботом 1 (фиг. 1) траекторию.

Текущая карта SLAM передается в программный ПМ 21е (фиг. 5) формирования глобальной карты.

Пройденная траектория передается в ПМ 21d (фиг. 5). ПМ 21d работает следующим образом (фиг. 8):

- ПМ 21d (фиг. 5) получает от ПМ 22 (фиг. 3) данные от заднего ЛИДАРа 4 (фиг. 1) и ультразвуковых дальномеров 6 (фиг. 1); затем ПМ 21d получает от ПМ 22 (фиг. 3) через ПМ 21с от RGB-D видеокамеры 5 (фиг. 1) проекцию на горизонтальную плоскость;

- строится подкарта препятствий в конкретном местоположении робота и обновляются слои построенной подкарты препятствий с использованием данных с RGB-D видеокамеры 5 (фиг. 1), заднего ЛИДАРа 4 (фиг. 1) и ультразвуковых дальномеров 6 (фиг. 1) соответственно при построении каждого из слоев в произвольной последовательности;

- осуществляется привязка текущей подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота;

- при перемещении робота на заданную пороговую величину строится новая подкарта препятствий робота и обновляются слои построенной подкарты препятствий с использованием данных с RGB-D видеокамеры 5 (фиг. 1), заднего ЛИДАРа 4 (фиг. 1) и ультразвуковых дальномеров 6 (фиг. 1) соответственно при построении каждого из слоев в произвольной последовательности;

- осуществляется привязка новой подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота.

По полученным данным ПМ 21d (фиг. 5), объединяя подкарты препятствий, формирует карту препятствий, содержащую информацию о контурах препятствий, обнаруженных по маршруту движения робота 1 (фиг. 1).

Сформированная карта препятствий передается в ПМ 21е (фиг. 5). ПМ 21е объединяет в одну глобальную карту полученные карты: от ПМ 21b - карту SLAM; от ПМ 21d - карту препятствий; от ПМ 20 (фиг. 3) - статическую карту.

Работа всех ПМ завершается по возвращении робота 1 (фиг. 1) на стартовую позицию.

Построение подкарт и карты препятствий позволяет повысить точность определения формы и расположения препятствий на пути робота в режиме реального времени. Корректировка текущей координаты робота с помощью стационарных светоотражающих маяков позволяет повысить точность определения текущей координаты местоположения робота при выполнении складских операций.

Изобретение относится к робототехнике. В способе локализации и построения навигационных карт мобильного сервисного робота, эксплуатирующегося в помещении, корректируют текущие координаты робота и пройденной траектории с использованием стационарных светоотражающих маяков с установленной на каждом из маяков RFID-меткой. Строят подкарту препятствий в конкретной позиции робота и обновляют слои построенной подкарты с использованием RGB-D камеры. Привязывают подкарту препятствий к системе координат помещения согласно пройденной траектории. При перемещении робота на заданную пороговую величину строят новую подкарту препятствий и обновление слоев построенной подкарты. Объединяют подкарту препятствий в карту препятствий после построения каждой новой подкарты препятствий. Затем строят глобальную карту с использованием данных карты SLAM, статической карты и с учетом данных карты препятствий. Повышается точность определения координат робота. 8 ил.

Способ локализации и построения навигационных карт мобильного сервисного робота, эксплуатирующегося в помещении коммерческого объекта, включающий: использование в помещении стационарных маяков; использование RFID-меток для идентификации стационарных объектов на глобальной карте; детектирование контуров объектов с помощью камеры глубины, ЛИДАРа и ультразвуковых дальномеров; построение карты SLAM с помощью ЛИДАРа и инерционного измерительного устройства; определение текущей координаты робота с помощью модуля SLAM; построение с помощью модуля SLAM пройденной роботом траектории; построение глобальной карты с использованием данных карты SLAM и статической карты; преобразование данных с камеры глубины в проекцию на плоскость, отличающийся тем, что он включает: корректировку текущей координаты робота и пройденной роботом траектории с использованием стационарных светоотражающих маяков с установленной на каждом из маяков RFID-меткой; построение подкарты препятствий в конкретной позиции робота и обновление слоев построенной подкарты препятствий с использованием данных с RGB-D камеры, заднего ЛИДАРа и ультразвуковых дальномеров соответственно при построении каждого из слоев в произвольной последовательности; привязку текущей подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; при перемещении робота на заданную пороговую величину - построение новой подкарты препятствий робота и обновление слоев построенной подкарты препятствий с использованием данных с RGB-D камеры, заднего ЛИДАРа и ультразвуковых дальномеров соответственно при построении каждого из слоев в произвольной последовательности; привязку новой подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; объединение подкарт препятствий в карту препятствий после построения каждой новой подкарты препятствий; построение глобальной карты с использованием данных карты SLAM, статической карты и с учетом данных карты препятствий.