Программно-аппаратный комплекс для управления автономным мобильным роботом-погрузчиком Российский патент 2024 года по МПК G05D101/15 G06V20/80 B60W60/00 

Изобретение относится к средствам навигации, ориентирования и управления автономного мобильного робота-погрузчика по потолочным оптическим меткам круглой формы с зашифрованной в них в виде бинарной последовательности координаты оптической метки, ориентации автономного мобильного робота в пространстве складского помещения без помощи оператора, наведения на палету и корректировки направления движения по линиям разметки палетного места для захвата и автоматического перемещения грузов, формирования предупреждающего сигнала и прекращения движения при появлении людей на пути следования робота-погрузчика. Техническим результатом является расширение функциональных возможностей по безопасной навигации, ориентированию и маневренности автономного мобильного робота-погрузчика.

Уровень техники

Известен «Автономный мобильный робот и способ его работы» RU 2634857, который способен осуществлять навигацию без помощи оператора. Контроллер робота сконфигурирован для управления системой привода для того, чтобы перемещать робота по площади пола в соответствии со стратегией охвата пола, которая строится на основе топологической карты площади пола. К недостаткам относится необходимость предварительного построения топологической карты помещения.

Известен «Способ перемещения мобильного робота на складе» RU 2748441, содержащий мобильную платформу для перемещения. Недостатком является необходимость создания отдельного проезда, по которому перемещается мобильный робот, а также необходимость задания параметров траекторий возможных перемещений мобильной платформы мобильного робота по соответствующему проезду, что ограничивает маневренность робота.

Известен «Мобильный робот с автономной навигационной системой (варианты)» RU 2454313, содержащий автономную навигационную систему для перемещения в среде с навигационными маркерными элементами в виде установленных на опорной плоскости светоизлучающих маяков или в виде нанесенной на опорную плоскость светоконтрастной полосы. Автономная навигационная система выполнена с возможностью кругового сканирования пространства, и с возможностью определения отклонения проекции точки середины передней кромки платформы робота на опорную плоскость от средней линии светоконтрастной полосы и отклонения продольной оси платформы робота от касательной к средней линии светоконтрастной полосы в указанной точке. Недостатком является необходимость использования круговой системы сканирования и установки на опорной плоскости светоизлучающих маяков, или необходимость нанесения на всю траекторию движения по опорной плоскости светоконтрастной полосы.

Известен робот-погрузчик GLOBAL AGV L12 https://www.global-agv.com/our-agvs/. Автономный вилочный погрузчик, который самостоятельно создает двухмерную карту местных условий. Недостатком является использование технологии LIDAR для распознавания окружающей среды, что требует крупных финансовых затрат и существенно повышает цену робота.

Известен автономный мобильный робот погрузчик SEER SFL-MP10S https://m.seer-group.com/agv-forklifts/SFL-CBD15, оснащенный лазерным сканером, камерами и ультразвуковыми датчиками. Недостатком является необходимость использования лазерного сканера и ультразвуковых датчиков, которые позволяют определять расстояние до препятствий и объектов в окружающей среде.

Известен робот-погрузчик ROBOPAC INTEGRA или ОСМЕ AURIGA https://www.robopac.com/en/inteegra-nn-p297. оборудованный фотодатчиками. Недостатком является необходимость использования фотодатчиков для сканирования пространства вокруг робота.

Наиболее близким аналогом является «Автономный мобильный робот и система управления автономным мобильным роботом» WO 2024014529, для навигации которого используется множество меток, расположенных на поверхности стен вдоль маршрута движения. Недостатком является использование прямоугольных настенных меток в виде QR-кодов, для которых затруднительно точное определение центра метки. Кроме того, использование настенных меток возможно только при свободных стенах в помещении, что затрудняет использование робота в складских помещениях.

Раскрытие сущности изобретения

Задачей, на решение которой направлено заявляемое изобретение является создание программно-аппаратного комплекса для управления автономным мобильным роботом-погрузчиком, обеспечивающего навигацию, управление движением, ориентирование по потолочными оптическим меткам и корректировку направления движения по линиям разметки палетного места.

Техническим результатом является расширение функциональных возможностей по безопасной навигации, ориентированию, управлению движением и маневренностью автономного мобильного робота-погрузчика по потолочным оптическим меткам круглой формы с зашифрованной в них в виде бинарной последовательности координаты метки без необходимости предварительного построения топологической карты помещения, задания параметров траекторий возможных перемещений, установки на опорной плоскости светоизлучающих маяков или нанесения на всю траекторию движения по опорной плоскости светоконтрастной полосы, без использования технологии LIDAR, лазерного сканера, ультразвуковых или фотодатчиков для распознавания окружающей среды.

Решение технической задачи достигается тем, что программно-аппаратный комплекс для управления автономным мобильным роботом-погрузчиком содержит блок обработки данных (1), включающий модуль нейросетевого детектора оптических меток (8), декодировщик изображений оптических меток (9), трекер оптических меток (10), фильтр определения корректности декодирования (11), модуль вычисления координаты и угла поворота (12), модуль навигации по напольной разметке (13), модуль детектирования людей (14); блок управления (2), навигационную камеру (3), две камеры для поиска палет и чтения напольной разметки (4), курсовую камеру (5), сигнализатор (6), при этом блок обработки данных (1) имеет первый вход для ввода данных с навигационной камеры (3) в модуль нейросетевого детектора оптических меток (8), второй и третий входы для ввода данных с двух камер для поиска палет и чтения напольной разметки (4) в модуль навигации по напольной разметке (13), четвертый вход для ввода данных с курсовой камеры (5) в модуль детектирования людей (14), модуль нейросетевого детектора оптических меток (8) соединен с декодировщиком оптических меток (9), декодировщик оптических меток (9) соединен с трекером оптических меток (10), трекер оптических меток (10) соединен с фильтром определения корректности (11) декодирования потолочных оптических меток, фильтр определения корректности (11) декодирования потолочных оптических меток соединен с модулем вычисления координаты и угла поворота (12), выход модуля вычисления координаты и угла поворота (12) соединен с первым входом в блок управления (2), выход модуля навигации по напольной разметке (13) соединен со вторым входом в блок управления (2), выход модуля детектирования людей (14) соединен с третьим входом в блок управления (2), первый выход блока управления (2) соединен со входом в сигнализатор (6), второй выход блока управления (2) выполнен с возможностью соединения со входом в систему управления движением мобильного робота-погрузчика (7).

Технический результат достигается тем, что применяются программно-аппаратные средства, обеспечивающие возможность ориентирования и навигации автономного мобильного робота-погрузчика в пространстве складского помещения по потолочным оптическим меткам круглой формы с зашифрованной в них в виде бинарной последовательности координаты метки без помощи оператора, наведения на палету и корректировки направления движения по линиям напольной разметки палетного места для захвата и автоматического перемещения грузов, контроля установки груза на палету, прекращения движения и формирования предупреждающего сигнала при появлении людей на пути следования робота.

Сущность предлагаемого программно-аппаратного комплекса для управления автономным мобильным роботом-погрузчиком заключается в том, что он содержит следующие независимые модули:

- блок обработки данных, в котором

- с помощью первого нейросетевого алгоритма, работающего на базе модуля нейросетевого детектора оптических меток, декодировщика изображений оптических меток, трекера оптических меток, фильтра определения корректности декодирования, модуль вычисления координаты и угла поворота, определяются координаты и размеры ограничивающих рамок для каждой потолочной оптической метки, попавшей на изображение, зафиксированное навигационной камерой,

- с помощью второго нейросетевого алгоритма, работающего на базе модуля навигации по напольной разметке, осуществляется наведение на палету с грузом и корректировка направления движения по линиям напольной разметки палетного места для обеспечения захвата палеты по изображениям, полученным с двух камер для поиска палет и чтения напольной разметки,

- с помощью третьего нейросетевого алгоритма, работающего на базе модуля детектирования людей, осуществляется детектирование людей в поле зрения курсовой камеры;

- блок управления на основе информации, полученной из модуля вычисления координаты и угла поворота в результате работы первого нейросетевого алгоритма, из модуля навигации по напольной разметке в результате работы второго нейросетевого алгоритма, из модуля детектирования людей в результате работы третьего нейросетевого алгоритма, формирующий с помощью сигнализатора предупреждающий сигнал, в случае возникновения людей в поле зрения курсовой камеры, и управляющие сигналы для системы управления движением автономного мобильного робота-погрузчика, которая обеспечивает возможность перемещения.

Новым в предлагаемом техническом решении является возможность безопасной навигации, ориентирования, движения и маневренности автономного мобильного робота-погрузчика по потолочным оптическим меткам круглой формы с зашифрованной в них в виде бинарной последовательности координаты метки без необходимости предварительного построения топологической карты помещения, задания параметров траекторий возможных перемещений, установки на опорной плоскости светоизлучающих маяков или нанесения на всю траекторию движения по опорной плоскости светоконтрастной полосы, без использования технологии LIDAR, лазерного сканера, ультразвуковых или фотодатчиков для распознавания окружающей среды.

Кратное описание чертежей

Фиг. 1 - Схема работы программно-аппаратного комплекса для управления автономным мобильным роботом-погрузчиком

1. Блок обработки данных.

2. Блок управления.

3. Навигационная камера.

4. Две камеры для поиска палет и чтения напольной разметки.

5. Курсовая камера.

6. Сигнализатор.

7. Система управления движением автономного мобильного робота-погрузчика.

Фиг. 2 - Внешний вид потолочных оптических меток.

Фиг. 3 - Схема блока обработки.

1. Блок обработки.

2. Блок управления.

3. Навигационная камера.

8. Модуль нейросетевого детектора оптических меток.

9. Декодировщик изображений оптических меток.

10. Трекер оптических меток.

11. Фильтр определения корректности декодирования.

12. Модуль вычисления координаты и угла поворота.

13. Модуль навигации по напольной разметке.

14. Модуль детектирования людей.

15. Потолочная оптическая метка.

16. Напольная разметка или палета

Осуществление изобретения

Сущность заявляемого изобретения поясняется фиг. 1-3.

На потолке склада устанавливаются оптические потолочные метки (15). В каждой оптической метке (15) зашифрована бинарная последовательность, которой соответствуют координаты (х, у, h) оптической метки относительно системы координат склада, где х -координата по оси абсцисс, у - координата по оси ординат, h - высота над плоскостью, в которой находится навигационная камера (3). Пример изображения потолочных оптических (15) меток с кодами представлен на фиг. 2.

Определение дальности и направления движения мобильного робота-погрузчика осуществляется при нахождении хотя бы двух оптических меток в области видимости навигационной камеры (3).

С навигационной камеры (3), направленной вверх, изображение поступает в блок обработки данных (2), в котором с помощью первого нейросетевого алгоритма определяются координаты и размеры ограничивающих рамок для каждой оптической метки (15), попавшей на изображение. Осуществление работы блока обработки поясняет фиг. 3. Изображение потолка с установленными на нем оптическими метками (15) с навигационной камеры (3) поступает в модуль нейросетевого детектора (8), в котором определяются ограничивающие рамки для каждой найденной метки (3). Кадрированные изображения потолочных оптических меток передаются (15) передается в декодировщик изображений оптических меток (9), в котором для получения кода потолочной оптической метки (15) ее изображение бинаризуется, удаляются пустые области, определяется центр оптической метки (15) с субпиксельной точностью, затем выделяются внешние сегменты, обозначающие двоичную последовательность, внутренний сегмент оптической метки (15), который определят место стартового бита. Найденная последовательность представляет собой код Хэмминга [1], который позволяет исправлять одиночную ошибку. Определенные коды поступают в трекер оптических меток (10), который позволяет сохранять стабильность при неправильном декодировании оптических меток (15), которое может происходить при перекрытии области видимости камеры посторонними объектами. Для каждой потолочной оптической метки (15) на основе ее местоположения на изображении создается трек - связанная последовательность ограничивающих рамок одной и той же метки. С помощью фильтра Калмана [2] трекер оптических меток (10) прогнозирует местоположение оптических меток (15) для следующего кадра. Получив действительную информацию об ограничивающих рамках с нового кадра, трекер оптических меток (10) сопоставляет эти рамки с ранее полученными треками. Декодирование оптической метки (15) производится по последовательности серии изображений. В качестве результата декодирования берется наиболее часто встречающаяся последовательность.

Достоверность измерений проверяется с помощью фильтра определения корректности (11) путем сравнения реального и посчитанного расстояний между двумя метками, если разница между расстояниями не удовлетворяет порогу ошибки, пара потолочных оптических меток (15) маркируется как недостоверные.

На основании полученных данных о координатах и высоте (x1, y1, h2), (х2, у2, h2) двух оптических меток (15) в модуле вычисления координаты и угла поворота (12) определяются координаты навигационной камеры (3) и угол ее поворота на карте в системе координат склада. Итоговый результат вычисляется с помощью фильтра Калмана [2], что позволяет сгладить траекторию техники и избежать дополнительных искажений, связанных с вибрацией камеры. Определенные текущие координаты и угол поворота передаются в блок управления (2).

В местах размещения грузовых палет на пол наносится ограничительная разметка (16), определяющая левую, правую и заднюю границы палетного места.

После приближения робота к месту хранения палет с грузами с двух камер для поиска груза и чтения разметки (4), расположенных по бокам мобильного робота-погрузчика и направленных вперед, изображение поступает в модуль навигации по напольной разметке (13) блока обработки данных (1), в котором с помощью второго нейросетевого алгоритма, предназначенного для сегментации палет и ограничительной разметки (16), осуществляется наведение на палету с грузом и корректировка направления движения по линиям напольной разметки (16) палетного места для обеспечения захвата палеты. Для точного позиционирования автономного мобильного робота-погрузчика при работе с палетами используется навигация по напольной разметке (16), осуществляемая в два этапа:

- наведение на палету,

- перемещение вдоль ограничительной разметки (разметки палетного места) (16).

Изображение, полученное с камер для поиска груза и чтения разметки (4) сегментируется, определяются границы палеты и места для грузовых вил, затем мобильный робот-погрузчик выставляет свое положение и направление движения таким образом, чтобы специально заданные точки, отвечающие за грузовые вилы, совмещались с областью палетных пазов на изображении. Движение вперед происходит в соответствии со скорректированным направлением до тех пор, пока вилы мобильного робота-погрузчика не начнут заезжать под палету, что определяется по наличию нижней границы палеты на изображении, полученном с навигационных камер (4). Для выравнивания мобильного робота-погрузчика, определяется угол направления относительно палеты. Затем мобильный робот-погрузчик корректирует направление движения по линиям разметки (16) палетного места до момента полного заезда под палету. Для контроля установки груза на палету используется сигнализатор (6).

Движение при выезде с палетного места (с грузом или без груза), а также постановка палеты осуществляется с помощью информации, полученной с камер для поиска груза и чтения разметки (4). Изображение с камер для поиска груза и чтения разметки (4) сегментируется, определяется маска напольной разметки (16), определяются продольные линии разметки - левая и правая границы палетного места. Вычисляется собственное положение мобильного робота-погрузчика относительно линий разметки. Траектория движения мобильного робота-погрузчика корректируется, выравниваясь таким образом, чтобы робот-погрузчик мог оставаться соосным с боковыми линиями палетного места. При движении задним ходом, управление с помощью второго нейросетевого алгоритма осуществляется до тех пор, пока нижняя граница линии разметки не преодолеет заранее заданный порог, соответствующий расположению камер для поиска груза и чтения разметки (4), после этого возобновляется работа первого нейросетевого алгоритма.

В течение всего времени движения и работы мобильного робота-погрузчика с курсовой камеры (5), направленной по ходу движения, поступает видеоизображение в модуль детектирования людей (14) блока обработки данных (1), в котором с помощью третьего нейросетевого алгоритма осуществляется детектирование людей, попадающих в поле зрения курсовой камеры (5). Расстояние до человека определятся благодаря калибровке курсовой камеры (5) и нижней границе ограничивающей рамки человека. В случае, если человек находится в недопустимой области, любая деятельность мобильного робота-погрузчика приостанавливается, издается звуковой сигнал, оповещающий человека о том, что следует покинуть область работы мобильного робота-погрузчика. Работа мобильного робота-погрузчика возобновляется после того, как человек покинет область работы и не будет детектироваться в поле зрения курсовой камеры (5) в течение заранее заданного времени.

Вся информация из блока обработки данных (1), полученная в результате работы первого, второго и третьего нейросетевых алгоритмов, поступает в блок управления (2), управляющие сигналы с которого передаются в систему управления автономного мобильного робота (8), которая обеспечивает возможность перемещения.

В результате работы предлагаемого программно-аппаратного комплекса для управления автономным мобильным роботом-погрузчиком, образец которого собран из деталей и узлов, выпускаемых серийно, обеспечивается безопасное движение и навигация автономного мобильного робота по потолочным оптическим меткам круглой формы с зашифрованной в них в виде бинарной последовательности координаты метки, ориентация автономного мобильного робота в пространстве складского помещения без помощи оператора, наведение на палету и корректировка направления движения по линиям напольной разметки палетного места для захвата и автоматического перемещения грузов, формирование предупреждающего сигнала при появлении людей на пути следования робота. В качестве робота может быть использована например, электротележка (включая, но не ограничиваясь) MiMA МЕ20 производства компании MiMA, в качестве блока обработки может быть использован модуль Jetson Orin NX производства компании NVIDIA, в качестве блока управления может быть использован микроконтроллер Stm32f407vet6 на базе ядра ARM Cortex-M4 производства STMicroelectronics, навигационная камера может быть Logitech Stream Cam, курсовая камера и камеры для поиска палет и чтения разметки могут быть Logitech c310 HD производства компании Logitech. Нейросетевые алгоритмы блока обработки основаны на архитектуре нейронной сети YOLOv8 [3].

Список литературы

1. Блейхут Р. Теория и практика кодов, контролирующих ошибки, пер. с англ. - М.: Мир, 1986, 576 с.

2. Kalman R.E. A new approach to linear filtering and prediction problems//Journal of Basic Engineering. - 1960. - т.82 (1). - pp. 35-45.

3. Reis D., Kupec J., Hong J., Daoudi A. Real-Time Flying Object Detection with YOLOv8 // https://arxiv.org/abs/2305.09972.

Изобретение относится к средствам навигации и ориентирования автономного мобильного робота-погрузчика по потолочным оптическим меткам круглой формы с зашифрованной в них в виде бинарной последовательности координаты оптической метки. Техническим результатом является расширение функциональных возможностей по безопасной навигации, ориентированию и маневренности автономного мобильного робота-погрузчика. Комплекс содержит блок обработки данных, включающий модуль нейросетевого детектора оптических меток, декодировщик изображений оптических меток, трекер оптических меток, фильтр определения корректности декодирования, модуль вычисления координаты и угла поворота, модуль навигации по напольной разметке и модуль детектирования людей, блок управления, навигационную камеру, две камеры для поиска палет и чтения напольной разметки, курсовую камеру, сигнализатор. 3 ил.

Программно-аппаратный комплекс для управления автономным мобильным роботом-погрузчиком содержит блок обработки данных, включающий модуль нейросетевого детектора оптических меток, декодировщик изображений оптических меток, трекер оптических меток, фильтр определения корректности декодирования, модуль вычисления координаты и угла поворота, модуль навигации по напольной разметке, модуль детектирования людей; блок управления, навигационную камеру, две камеры для поиска палет и чтения напольной разметки, курсовую камеру, сигнализатор, при этом блок обработки данных имеет первый вход для ввода данных с навигационной камеры в модуль нейросетевого детектора оптических меток, второй и третий входы для ввода данных с двух камер для поиска палет и чтения напольной разметки в модуль навигации по напольной разметке, четвертый вход для ввода данных с курсовой камеры в модуль детектирования людей, модуль нейросетевого детектора оптических меток соединен с декодировщиком оптических меток, декодировщик оптических меток соединен с трекером оптически меток, трекер оптических меток соединен с фильтром определения корректности декодирования потолочных оптических меток, фильтр определения корректности декодирования потолочных оптических меток соединен с модулем вычисления координаты и угла поворота, выход модуля вычисления координаты и угла поворота соединен с первым входом в блок управления, выход модуля навигации по напольной разметке соединен со вторым входом в блок управления, выход модуля детектирования людей соединен с третьим входом в блок управления, первый выход блока управления соединен со входом в сигнализатор, второй выход блока управления выполнен с возможностью соединения со входом в систему управления движением мобильного робота-погрузчика, причем блок обработки данных выполнен с возможностью определения координаты и размеров ограничивающих рамок для каждой потолочной оптической метки, попавшей на изображение, зафиксированное навигационной камерой, наведения на палету и корректировки направления движения для захвата и автоматического перемещения грузов по линиям напольной разметки палетного места, детектирования людей в поле зрения курсовой камеры, блок управления выполнен с возможностью формирования управляющих сигналов для системы управления движением автономного мобильного робота-погрузчика и предупреждающий сигнал в случае возникновения людей в поле зрения курсовой камеры.