Система взаимодействия человек-робот на основе смешанной реальности Российский патент 2024 года по МПК B25J9/16 

ОБЛАСТЬ ТЕХНИКИ

Заявленное изобретение в целом относится к автономным мобильным роботам для взаимодействия с людьми и, более конкретно, к автономным мобильным роботам для помощи людям в выполнении различных задач, а именно к взаимодействию человека и робота на основе смешанной реальности, и конкретно к взаимодействию человека и робота в процессах программирования и супервизорного управления.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно, в частности, изобретение, описывающее машинное обучение контроля передач объектов (US2022032454A1, опубл. 03.02.2022)(1). Система управления роботом направляет робота взять объект из рук человека, получая изображение руки человека, удерживающей объект, оценивая положение руки человека и объекта и определяя положение захвата для робота, которое не будет мешать, с человеческой рукой. По крайней мере, в одном примере камера глубины используется для получения облака точек руки человека, держащего объект. Облако точек передается в глубокую сеть, которая обучена генерировать позу захвата для роботизированного захвата, который может взять объект из руки человека, не зажимая и не касаясь пальцев человека.

Подход, предложенный в (1) не совсем подходит для промышленного применения, поскольку является очень энерго- и время-затратным, потому что каждого робота нужно обучать индивидуально.

Также в качестве аналога заявленного изобретения можно назвать изобретение, в котором раскрыт робот-компаньон для личного взаимодействия (JP2015038737A, 26.02.2015) (2). Мобильный робот для взаимодействия с человеком содержит множество датчиков для наблюдения за контролируемым пространством вокруг робота. Контролируемое пространство включает в себя множество контролируемых секций, разделенных по высоте робота. Каждая контролируемая секция контролируется как минимум одним датчиком.

Наиболее близким аналогом заявленного способа, по мнению заявителя, является изобретение, в котором раскрыта эффективная передача человеческого опыта роботам и другим автономным машинам (см. US2020090022A1, опубл. 19.03.2020) (3). Описан механизм, облегчающий передачу человеческого опыта автономным машинам. Способ варианта осуществления, включает в себя облегчение восприятия одним или несколькими датчиками одного или нескольких входных данных, относящихся к пользователю, и оценку одного или нескольких входных данных для захвата одной или нескольких поведенческих характеристик пользователя. Способ может дополнительно включать в себя обучение модели нейронной сети на основе одного или нескольких признаков поведения и применение обученной модели нейронной сети к вычислительному устройству, чтобы упростить принятие вычислительным устройством одной или нескольких признаков поведения, чтобы вести себя как пользователь.

Предложенный аналог (3) наиболее близко подходит к решению проблем, решаемых заявленным изобретением, однако, по мнению заявителя, проблема решается не самым эффективным способом, поскольку механизм также не обеспечивает промышленного применения.

КРАТКОЕ ИЗЛОЖЕНИЕ ИЗОБРЕТЕНИЯ

Заявленное изобретение направлено на решение технической проблемы, связанной созданием системы взаимодействия человек-робот на основе смешанной реальности, обеспечивающей ее промышленное применение.

Техническим результатом изобретения является повышение эффективности и безопасности при промышленном применении системы.

Технический результат достигается посредством создания системы взаимодействия человек-робот на основе смешанной реальности, содержащей устройство смешанной реальности, промышленного робота, сервисного робота, связанные системой трансформации, при этом устройство смешанной реальности содержит виртуального робота, связанного непосредственно с системой трансформации, а также соединенного с модулем отслеживания человека через интерфейс, планировщиком задач и пространственную карту с системой трансформации, промышленный робот содержит планировщик траектории, связанный с системой трансформации, который связан с контроллером, связанным с сенсорами и актуаторами, сервисный робот содержит планировщик движения, связанный с системой трансформации, который связан с контроллером, связанным с сенсорами и актуаторами.

В частном варианте выполнения виртуальный робот содержит виртуальный контроллер, связанный с виртуальными сенсорами и 3D-моделью.

В одном из вариантов выполнения интерфейс постановки задачи может быть реализован на пульте робота или на выделенном дисплее персонального компьютера.

Одной из актуальных проблем является то, что взаимодействие с большинством современных роботов стоится таким образом, что сначала оператор устанавливает задачу роботу через интерфейс человек-компьютер, а затем взаимодействует с ним через физический интерфейс. Такая модель взаимодействия при постановке задач не учитывает физическую природу роботов, оператор при постановке задачи должен учитывать габариты робота и физическую траекторию движения в пространстве выполнения задачи. Интерфейс постановки задачи может быть реализован на пульте робота или на выделенном дисплее персонального компьютера, но через 2Д дисплей нельзя достичь пространственного восприятия человеком поставленной задачи. Это приводит к ошибкам при постановке задачи и проблемам с безопасностью при исполнении задачи, так как у человека нет наглядной информации о том, как и куда поедет робот.

Для решения это проблемы применяют интерфейсы дополненной реальности, которые позволяют через 2Д экран произвести наложение цифровой модели робота на изображение реального мира. Визуализация траектории и воспроизведение симуляции в дополненной реальности требует просмотра с разных ракурсов для получения пространственного восприятия человеком. Помимо этого, через интерфейс дополненной реальности нельзя реализовать физическое взаимодействие между роботом и человеком

КРАТКОЕ ОПИСАНИЕ РИСУНКОВ

Сущность изобретения поясняется чертежами, на которых:

Фиг.1 - модель взаимодействия человек-робот через интерфейс смешанной реальности;

Фиг.2 - архитектурная модель системы взаимодействия человек-робот на основе смешанной реальности.

На фиг.2 позиции обозначают следующее:

1- устройство смешанной реальности;

2- промышленный робот;

3- сервисный робот;

4- система трансформации;

5- виртуальный робот;

6- интерфейс;

7- модуль отслеживания человека;

8- планировщик задач;

9- пространственная карта;

10- планировщик траектории;

11- контроллер;

12- сенсор;

13- актуатор;

14- планировщик движения;

15- виртуальный контроллер;

16- виртуальный сенсор;

17- 3D-модель.

Эти чертежи не охватывают и, кроме того, не ограничивают весь объем вариантов реализации данного технического решения, а представляют собой только иллюстративный материал частного случая его реализации.

ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Данное описание служит для иллюстрации осуществления изобретения и ни в коей мере объема настоящего изобретения.

В соответствии с примером осуществления изобретения, представленном на фиг.2 система содержит устройство смешанной реальности (1), промышленный робот (2), сервисный робот (3), связанные системой трансформации (4). Устройство смешанной реальности (1) содержит виртуального робота (5), связанного через интерфейс (6) с модулем отслеживания человека (7), с планировщиком задач (8) и с пространственной картой (9), и с системой трансформации (4). Пространственная карта (9) связанна с системой трансформации (4). Промышленный робот (2) содержит планировщик траектории (10), связанный с системой трансформации (4). Планировщик траектории (10) связан с контроллером (11), связанным с сенсорами (12) и актуаторами (13). Сервисный робот (3) содержит планировщик движения (14), связанный с системой трансформации (4), который связан с контроллером (11), связанным с сенсорами (12) и актуаторами (13).

Виртуальный робот (5) содержит виртуальный контроллер (15), связанный с виртуальными сенсорами (16) и 3 D моделью (17).

Модель взаимодействия на основе интерфейса смешанной реальности показана на фиг.1. Смешанная реальность, основана на том, что реальные и виртуальные объекты существуют в едином 3Д пространстве и одинаковы для восприятия человека, и он может взаимодействовать с этими объектами. Важно отметить, что для погружения в смешанную реальность используются стерео очки, которые позволяют визуализировать 3 виртуальные объекта с пространственным ощущением для человека. Смешанная реальность позволяет оператору устанавливать задачу роботу в виде 3D голограмм в физическом пространстве робота, тем самым человек имеет явное представление о результате задачи, заданной роботу. При этом смешанная реальность позволяет визуализировать траекторию движения робота в пространственном виде, в таком случае оператору не нужно иметь специальные знания для прогнозирования движения робота, это все ему наглядно видно. Такая модель взаимодействия поможет уменьшить количество ошибок при постановке задачи и повысить безопасность при ее выполнении. Возможности новой модели взаимодействия робота и человека объясняются тем, что любое действие робота имеет конечный физический результат, соответственно, это физическое представление результата можно представить в виде виртуальной 3Д модели.

Для решения задачи предложена система такая то, основные узлы и блоки которой описаны в виде блок-схемы на фиг.2. Она делится на основные 3 части: устройство смешанной реальности (1), система трансформаций (4) и роботы (2) (3) и (5). Блоки управления промышленными или сервисными роботами являются абстрактными и могут иметь различную внутреннею архитектуру и реализацию. Модуль устройства смешанной реальности (1) содержит основные программно-аппаратные блоки для реализации системы.

Интерфейс (6) - пространственный графический интерфейс, отвечающий за формирование команд и структурирование процесса взаимодействия. Блок принимает на вход данные о действиях человека. На выходе отправляются команды на блоки виртуальных роботов и планирования задач.

Виртуальные роботы (5) - цифровые двойники реальных роботов, с которыми происходит взаимодействие человека, повторяющие кинематическую структуру физических роботов. Они отвечают за визуализацию состояния робота, симуляцию движения в смешанной реальности и взаимодействуют с пространственной картой. Виртуальные роботы имеют собственные местоположения в среде смешанной реальности. На вход виртуальные роботы принимают положение их в пространстве смешанной реальности, это необходимо для установки голограммы робота на место реального робота. Виртуальные роботы (5) принимают на вход спланированную траекторию движения и глобальный путь, для симуляции движения и визуализации ее пользователю. Это необходимо для верификации пользователем заданной программы через цифровой двойник робота. Помимо этого, виртуальный робот (5) принимает информацию с сенсоров (12) роботов или другую информацию о его состоянии и визуализирует оператору через устройство смешанной реальности. Виртуальные роботы передают свое положение и ориентацию на блок планирование задачи.

Пространственная карта (9) - это виртуальное геометрическое представление окружающего пользователя мира. Это модуль, переносящий реальное окружение в цифровую среду. Используется для симуляции движения робота, для планирования задачи роботу и для определения положения баз роботов. Модуль построения пространственной карты обязательный модуль устройства смешанной реальности (1), он позволяет добавлять эффект окклюзии для цифровых объектов, то есть часть виртуальная модель робота может быть перегорожена физическим препятствие для восприятия пространственного положения человеком. Помимо этого, пространственная карты (9) позволяет виртуальным роботам выполнять более корректную симуляцию движения с учетом геометрии рабочего пространства, это дает возможность детектировать столкновения. Так же пространственная карта позволяет выполнять установку задачи роботу прямо на поверхность физических объектов или позволяет путем анализа пространства построить кратчайший путь между двумя контрольными точками для робота. Анализ пространственной карты в модуле Система трансформаций (4) позволяет определить местоположение робота относительно системы смешанной реальности.

Модуль отслеживания человека (7) - модуль детектирования действий человека, положения кистей рук и головы человека. Может быть, расширен дополнительными системами слежения, например детектирование направления взгляда или детектирования жестов. Это позволяет построить мультимодальный интерфейс взаимодействия с 3D объектами в системе смешанной реальности.

Планировщик задач (8) - модуль, отвечающий за формирование задачи на исполнение роботу. Например, для робототехнического манипулятора формирует и передает декартовый путь на движение инструмента робота. Основной модуль системы взаимодействия с роботами. На вход принимает команды из интерфейса и положение виртуального робота. Внутри содержит информацию и модель постановки задачи для конкретного робота. В контексте взаимодействия с промышленными роботами формирует набор команд робота на линейное перемещение между заданными через интерфейс контрольными точками. Передает задачу на выполнение роботу с учетом определенного заранее положения реального робота.

Система трансформаций (4) - модуль, содержащий информацию о дереве трансформаций системы и алгоритмы для определения трансформации от системы координат смешанной реальности до роботов. Модуль модифицирует координаты задачи роботы из системы координат системы смешанной реальности в координаты системы управления робота. Основной модуль системы взаимодействия с роботами. На вход принимает информацию о пространственной карте (9), на выходе отправляет положения базовых систем координат роботов относительно системы координат смешанной реальности.

Контроллеры роботов (11) обозначены в виде абстрактного набора блоков, к ним относятся блоки планирования траектории или блоки глобального и локального планирования пути, в зависимости от модели робота. У роботов также есть аппаратные части, а именно исполнительные механизмы и датчики, которые отправляют данные виртуальным роботам.

Сенсоры роботов (12) - это абстрактные блоки описывающие сенсорику робота, информацию с этих блоков передается на контроллер робота (11), который в свою очередь может ретранслировать эту информацию в виртуального роботы (5) для визуализации оператору в смешанной реальности.

Актуаторы роботов (13) - это абстрактное электромеханическое исполнительное устройство робота, которое выполняет управляющие команды с контроллера робота (11). При этом виртуальный робот (5) в смешанной реальности может иметь копию актуаторов в виде 3D-модели, это необходимо для визуализации робота и воспроизведения симуляции движения в смешанной реальности.

Планировщик движения (14) - это блок мобильных роботов, который отвечает за планирование глобального пути движения мобильного робота в пространстве. Глобальный путь передается виртуальному роботу для визуализации оператору в смешанной реальности.

Виртуальный контроллер (15) - это контроллер виртуального робота, который управляет 3Д моделью виртуального робота и отвечает за воспроизведение симуляционного движения по заданной оператором программе.

Виртуальный сенсор (16) - это блок, отвечающий за симуляцию работы реальных сенсоров робота в смешанной реальности, является своего рода двойником реальных сенсоров, применяется для симуляции движения реального робота.

3D-модель (17) - это геометрическое представления реального робота в смешанной реальности, применяется для визуализации робота оператору и симуляции работы робота в смешанной реальности.

Работа системы подразумевает следующие этапы:

1. Согласование систем координат всех роботов и устройства смешанной реальности. На данном этапе происходит определение положения всех роботов (2), (3), (5) относительно системы координат смешанной реальности, посредством пространственной карты (9) В результате все элементы могут работать в одном общем пространстве, представляющим собой 3 Д сетку.

2. Формирование задачи роботу модулем отслеживания человека (7) через интерфейс (6) и,планировщик задач (8), которые передают команды виртуальному роботу (5), а также через систему трансформации(4) на через планировщик траектории (10), контроллеры (12) промышленного робота (2) и через планировщик движения (14) с контроллером (11) сервисного робота (3)

3. Робот выполняет планирование траектории или глобального пути движения, эта информация отправляется на виртуальных роботов (5), которые визуализируют ее в смешанной реальности виртуальным контроллеров (15) виртуального робота (5)

4. Человек оценивает корректность понимания роботом поставленной задачи. Если траектория устраивает оператора, то отправляется команда на запуск физического робота или происходит возврат к шагу 2.

5. Исполнение программы роботом и физическое взаимодействие с человеком.

Предложенный алгоритм описан для сценариев супервизорного управления сервисным роботом и программирования промышленных роботов. Основное отличие этих двух сценариев в том, что в супервизорном управлении задача для робота меняется несколько раз входе взаимодействия после ее выполнения роботом, а в программирование задается одна задача - программа с продолжительным ее повторением и не меняется в ходе взаимодействия.

ПРОМЫШЛЕННОЕ ПРИМЕНЕНИЕ

Предложенный способ предназначен для ряда применений, включающих применения новая модели взаимодействия человека и робота на основе интерфейса смешанной реальности, которая приводит к единому интерфейсу взаимодействия процесса постановки задачи и процесса взаимодействия с роботом во время выполнения задачи. В соответствии с новой моделью предложена новая архитектурная модель для программно-алгоритмической реализации система взаимодействия робота и человека в сценариях программирования робот и супервизорного управления роботами. Предложенная система впервые позволит управлять через единый интерфейс предметами реального мира (роботами) используя иммерсионные технологии смешанной реальности.

Изобретение в целом относится к автономным мобильным роботам для взаимодействия с людьми и, более конкретно, к автономным мобильным роботам для помощи людям в выполнении различных задач, а именно к взаимодействию человека и робота на основе смешанной реальности и конкретно к взаимодействию человека и робота в процессах программирования и супервизорного управления. Промышленный робот, устройство смешанной реальности и сервисный робот связаны системой трансформации для приема и отправки информации о положении базовых систем координат роботов относительно системы координат смешанной реальности. При этом устройство смешанной реальности на основе стереоочков содержит виртуального робота, связанного непосредственно с системой трансформации, а также соединенного с модулем отслеживания действий человека, положения кистей рук и головы человека через интерфейс, планировщиком задач, и пространственную карту с системой трансформации. Промышленный робот содержит планировщик траектории, связанный с системой трансформации, который связан с контроллером, связанным с сенсорами и актуаторами. Сервисный робот содержит планировщик движения, связанный с системой трансформации, который связан с контроллером, связанным с сенсорами и актуаторами. Техническим результатом изобретения является повышение эффективности и безопасности при промышленном применении системы. 1 з.п. ф-лы, 2 ил.

1. Система для управления промышленным роботом, содержащая устройство смешанной реальности и сервисного робота, связанные системой трансформации для приема и отправки информации о положении базовых систем координат роботов относительно системы координат смешанной реальности, отличающаяся тем, что устройство смешанной реальности на основе стереоочков содержит виртуального робота, связанного непосредственно с системой трансформации, а также соединенного с модулем отслеживания действий человека, положения кистей рук и головы человека через интерфейс, планировщиком задач, и пространственную карту с системой трансформации, промышленный робот содержит планировщик траектории, связанный с системой трансформации, который связан с контроллером, связанным с сенсорами и актуаторами, сервисный робот содержит планировщик движения, связанный с системой трансформации, который связан с контроллером, связанным с сенсорами и актуаторами.

2. Система по п.1, отличающаяся тем, что виртуальный робот содержит виртуальный контроллер, связанный с виртуальными сенсорами и 3D-моделью.