СПОСОБ ПОДДЕРЖКИ ОПЕРАТОРА С ПОМОЩЬЮ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ ПРИ ДИСТАНЦИОННОМ УПРАВЛЕНИИ НАЗЕМНЫМ МОБИЛЬНЫМ РОБОТОМ В УСЛОВИЯХ НАЛИЧИЯ ЗАДЕРЖЕК В КАНАЛАХ ПЕРЕДАЧИ ИНФОРМАЦИИ Российский патент 2023 года по МПК G09G5/377 

Область техники, к которой относится изобретение

Изобретение относится к области робототехники, а именно к системам дистанционного управления наземными мобильными роботами.

Для наземных мобильных робототехнических комплексов характерно использование режима дистанционного управления. Применяемые системы управления в общем случае состоят из пульта управления, бортовой системы управления мобильного робота и связывающего их канала передачи данных, проводного или беспроводного.

В процессе управления человек-оператор постоянно формирует и отправляет с помощью пульта команды приводам робота, основываясь на получаемой от робота информации, включая видеоизображение с установленных на нем телевизионных камер. Наличие временных задержек передачи информации значительно снижает эффективность выполнения задач. Когда задержки постоянны во времени и достаточно малы (различные экспериментальные данные определяют порог в пределах 200-400 миллисекунд), оператор может к ним адаптироваться, предсказывая результат выполнения своих команд. При увеличении задержек, а также их непостоянстве, оператор, чрезмерно корректируя скорость и направление движения робота, начинает выдавать ошибочные команды. Это снижает эффективность управления, а в некоторых случаях может стать причиной потери устойчивости системы управления.

Временные задержки, возникающие в системе управления, имеют различную природу и могут быть разделены на несколько основных групп:

- задержки передачи и выполнения команд управления. Типичные значения составляют от 50 до 100 миллисекунд;

- задержки передачи телеметрической информации от робота к пульту управления, которые имеют такой же порядок значений;

- задержки передачи видеоизображения. Типичные значения составляют от 200 до 500 миллисекунд в зависимости от типа камер и формата видео.

На величину задержек дополнительно оказывает влияние применение ретрансляторов сигналов, сетей с ячеистой топологией, блоков криптографической защиты информации, а также нестабильность канала связи и потери пакетов между роботом и пультом.

Уровень техники

Существует достаточно большое количество работ, связанных с проблемами управления в условиях действия временных задержек. Широко распространенный подход к снижению их негативного влияния основан на повышении информированности оператора за счет прогнозирования и отображения на мониторе информации о движении робота в окружающей среде в текущий момент времени или в будущем, с учетом времени задержки передачи команд. Актуальные данные о положении робота относительно других объектов позволяют значительно повысить эффективность дистанционного управления.

Известно устройство и способ отображения видеоданных, передаваемых камерами робота, по патенту (Патент US 10410608B2. Method for displaying image and electronic device thereof: US 16/230,329: заявл. 21.12.2018: опубл. 10.09.2019 / Yoon-sang Kim, Jae-keun Na, Ho-Chul Shin; заявитель, патентообладатель Samsung Electronics Co. Ltd.). Предлагаемое устройство включает в себя коммуникатор, устройство ввода, монитор и контроллер. Передаваемое видеоизображение сопровождается информацией о времени, когда оно было получено. В процессе управления устройство непрерывно вычисляет величину задержки передачи видеоизображения. С помощью данных о задержке и скорости движения робота определяет его положение в текущий момент времени относительно положения, зафиксированного видеокамерой. На основе этой информации устройство вычисляет параметры и накладывает на видеоизображение графический объект в виде рамки, который представляет поле зрения робота в текущий момент.

В патенте не раскрыты способы получения актуальных данных о скорости и расчета на их основе положения робота в текущий момент времени.

Известен способ формирования изображения для поддержки оператора по патенту (Патент US 10425622 B2. Method of generating a predictive display for tele-operation of a remotely-operated ground vehicle: US 15/652,975: заявл. 18.07.2017: опубл. 24.09.2019 / Mark J. Brudnak; заявитель, патентообладатель US Department of Army). 0441

В патенте описан способ преобразования видеоизображения, получаемого с большой задержкой от видеокамеры беспилотного транспортного средства. Такое преобразование позволяет смоделировать, что «увидит» видеокамера из другого положения, соответствующего текущему моменту времени. Для этого полученное изображение делят на две части: ближний и дальний план. К каждой части применяют отдельный математический алгоритм преобразования перспективы. После этого изображение объединяют и отображают на мониторе. Для расчета прогнозируемого положения транспортного средства используют кинематические и динамические модели, а также отправляемые команды и получаемые с задержкой данные телеметрии.

Способ позволяет повысить эффективность управления транспортным средством, однако его важным недостатком являются высокие требования к вычислительным ресурсам, предъявляемые как системой моделирования движения, так и системой преобразования видеоизображений. Также использованный подход к моделированию движения позволяет применять способ лишь в структурированных средах на ровной поверхности.

Известен способ управления, описанный в публикации (A low-cost predictive display for teleoperation: Investigating effects on human performance and workload / Dybvik H. [et al.] // International Journal of Human-Computer Studies. - 2021. - Vol. 145, 102536. - DOI: 10.1016/j.ijhcs.2020.102536). Авторы предлагают пренебречь преобразованием перспективы и использовать только изменение масштаба и кадрирование видеоизображения. В процессе управления роботом положение и масштаб задержанного во времени изображения на мониторе изменяют таким образом, чтобы объекты отображались приблизительно так, как если бы задержки не было. Для расчета прогнозируемого положения не используются кинематические и динамические модели, а только ранее переданные команды оператора, сохраненные в памяти пульта управления.

Предложенный способ управления из-за использованного подхода к расчету и отображению положения робота также может применяться только в хорошо структурированной среде.

Таким образом, известные технические решения предлагают различные варианты поддержки оператора за счет отображения на мониторе пульта управления информации о прогнозируемом положении мобильного робота. При этом ключевой задачей является получение информации о состоянии робота в текущий момент времени или в момент получения команд оператора. Для ее решения применяют различные подходы:

- используют кинематические и динамические модели робота. Основной недостаток такого решения связан с тем, что оно может использоваться только в структурированной среде, например, в помещении или на дороге. Простые модели не позволяют в достаточной мере учесть все параметры движения робота, а более сложные требуют значительных вычислительных мощностей и точной предварительной настройки под каждый тип мобильного робота;

- используют только ранее переданные команды оператора, известные вычислителю пульта управления в текущий момент времени. Такое решение значительно проще, но обладает низкой точностью, что так же препятствует его применению в неструктурированном окружении.

Наиболее близким аналогом, выбранным за прототип, является способ управления, известный по публикации (Chucholowski F. Е. Evaluation of display methods for teleoperation of road vehicles // Journal of Unmanned System Technology. - 2016. - Vol. 3. - No. 3. - Pp. 80-85. - DOI: 10.21535%2Fjust.v3i3.38). Для поддержки оператора авторы предлагают использовать наложение на видеопоток изображения прямоугольной рамки, которая показывает положение и ориентацию транспортного средства с учетом задержки. Прогнозируемое положение рассчитывают, используя модель динамики транспортного средства, на основе команд оператора и текущих значений скоростей и ускорений. Так же на экране с помощью визуальных меток отображают рассчитанную траекторию и другую техническую информацию, например, скорость движения.

В публикации авторы сравнивают предлагаемый способ отображения прогнозируемого движения «от третьего лица» с другими способами поддержки и приходят к выводу о его преимуществе. При этом важными недостатками выбранного в качестве прототипа способа управления, как и в ряде других подходов, являются:

- высокие требования к ресурсам, необходимые для моделирования динамики движения;

- необходимость настройки параметров модели под каждый тип транспортного средства;

- возможность применять предложенный способ только в структурированных средах, в частности, на автомобильных дорогах с ровным покрытием, так как при моделировании также должны учитываться параметры окружающей среды.

Раскрытие сущности изобретения

Задачей, на решение которой направлено изобретение, является повышение эффективности дистанционного управления наземным мобильным роботом. Для этого применяется способ поддержки оператора, заключающийся в наложении с помощью дополненной реальности на видеопоток графических объектов, показывающих положение и ориентацию робота в тот момент, когда он получит и начнет исполнять формируемые команды, а также траекторию, по которой он будет двигаться до достижения этого положения.

Все описанные недостатки технического решения, выбранного за прототип, вызваны использованием моделирования динамики беспилотного транспортного средства для прогнозирования его положения.

Задача повышения эффективности способа управления с поддержкой оператора решается за счет подхода, не использующего модель динамики, но обеспечивающего повышение точности прогнозирования положения и ориентации робота в условиях работы в неструктурированной среде при одновременном снижении нагрузки на вычислитель пульта управления. Это дает возможность использовать способ в недорогих малогабаритных робототехнических комплексах. Предлагаемый способ отличается простотой реализации и использует особенности соотношения величин задержек передачи видеоданных и телеметрии в реальных системах дистанционного управления.

Задержки в системе вызваны обработкой и буферизацией данных при передаче между узлами. Сложность обработки видеоизображения, с учетом цифровой компрессии и декомпрессии, значительно выше, чем команд и данных телеметрии. В зависимости от конструкции комплекса, примененных компонентов и разрешения передаваемого изображения, величины задержек передачи видео и телеметрии различаются от двух до десяти раз и более. Это позволяет использовать следующий подход для прогнозирования положения мобильного робота:

- определить мгновенное значение действующих задержек видео, команд и телеметрии;

- на основе поступившей к текущему моменту в составе телеметрии информации о линейной и угловой скоростях робота определить его перемещение из положения, зафиксированного видеокамерой и отображаемого на мониторе, в положение, актуальное для момента отправки последнего полученного пакета данных;

- на основе сохраненной в памяти пульта управления информации о заданиях линейной и угловой скоростей определить оставшуюся часть перемещения робота до положения, актуального для момента времени, в который он получит передаваемые команды. Учитывая соотношения величин задержек, можно считать, что эта часть перемещения будет сравнительно мала. Так как она приходится на конечный этап траектории, то не окажет существенного влияния на общую точность определения положения робота.

После вычисления координат и углов поворота робота относительно зафиксированного камерой состояния, его положение, ориентацию и траекторию движения отображают на мониторе, накладывая информацию на видеопоток в режиме дополненной реальности.

Краткое описание рисунков

Сущность изобретения поясняется фигурами 1-6.

На фигуре 1 показана блок-схема системы дистанционного управления мобильным роботом. Отмечены:

1 - оператор мобильного робота;

2 - пульт управления;

3 - монитор для вывода информации;

4 - интерфейс ввода команд оператора;

5 - вычислитель пульта управления;

6 - приемник видеоизображения;

7 - пультовой приемопередатчик команд оператора и данных телеметрии;

8 - канал передачи данных;

9 - бортовая система управления робота;

10 - передатчик видеоизображения;

11 - бортовой приемопередатчик команд оператора и данных телеметрии;

12 - бортовой вычислитель;

13 - видеокамера мобильного робота;

14 - система управления приводами;

15 - окружающая среда.

На фигуре 2 показана диаграмма передачи информации между пультом управления и мобильным роботом. Отмечены:

h_v - задержка передачи видеоизображения;

h_t - задержка передачи данных телеметрии;

h_c - задержка передачи команд оператора;

t₁ - момент времени, в который робот получает и начинает исполнять команды оператора;

t₂ - момент времени, в который оператор на основе полученных данных формирует вектор управления , представленный командами мобильному роботу;

t₃ - момент времени, в который отправлен последний пакет данных телеметрии, полученный к моменту формирования вектора управления;

t₄ - момент времени, в который видеокамера робота фиксирует изображение окружающей обстановки.

На фигуре 3 показаны положения робота в локальной системе координат. Отмечены:

- вектор положения, зафиксированного видеокамерой и принятого за начальное, содержащий координаты робота и угол его поворота;

- вектор положения робота в момент времени t₁ при получении команд оператора с учетом всех задержек;

v_r(t₄), v_r(t₁) - линейные скорости робота в моменты времени t₄ и t₁,

ω_r(t₄), ω_r(t₁) - угловые скорости робота в моменты времени t₄ и t₁,

ϕ(t₁) - угол поворота робота в момент времени t₁.

На фигурах 4 и 5 показаны диаграммы передачи информации между пультом управления и мобильным роботом при определении положения робота. Дополнительно отмечены:

t₅ - момент времени, в который на пульт поступают отправленные при фиксации видеоизображения данные телеметрии;

t₆ - момент времени, в который были отправлены команды, полученные роботом в момент t₃.

На фигуре 6 показан возможный внешний вид экрана монитора, на который выводится видеоизображение с камеры мобильного робота, дополненное информацией о его положении и ориентации в тот момент, когда он получит команды оператора. Отмечены:

16 - траектория движения робота;

17 - метка, представляющая прогнозируемое положение и ориентацию робота.

Осуществление изобретения

Управление мобильным роботом осуществляется следующим образом (фигура 1).

Видеокамера 13 непрерывно фиксирует информацию о состоянии окружающей среды 15 и положении в ней мобильного робота. Бортовая система управления 9 передает эту информацию на пульт 2 по каналу информационного обмена 8. Вычислитель 5 обрабатывает поступающий видеопоток и отображает его на мониторе 3.

Так как обработка полученного изображения видеокамерой 13, цифровая компрессия в бортовом вычислителе 12, передача и прием информационных пакетов, декомпрессия в вычислителе 5 и вывод на монитор 3 требуют определенного времени, зафиксированная информация отображается с задержкой h_v. Как было отмечено выше, величина задержки может достигать нескольких сотен миллисекунд.

Одновременно с этим вычислитель 12 получает данные о скорости вращения приводов 14 и после обработки передает их в пульт управления 2. Вычислитель 5 использует полученные данные для информирования оператора 1 о движении робота. Данные телеметрии проходят меньше узлов, требующих буферизации и обработки информации, поэтому суммарное время задержки передачи h_t значительно меньше.

Оператор 1 на основе получаемой информации формирует с помощью интерфейса ввода 4 команды мобильному роботу. Система управления обеспечивает обработку и передачу команд до исполнительных приводов 14 с задержкой h_c, близкой по величине к задержке телеметрии h_t.

На фигуре 2 приведена диаграмма передачи информации в процессе дистанционного управления. В момент времени t₄ видеокамера 13 фиксирует изображение окружающей обстановки вокруг мобильного робота. За время h_v изображение передается до пульта управления 2 и выводится на монитор 3. За это же время мобильный робот успевает переместиться из положения, определяемого вектором где х и у - координаты робота, ϕ - угол его поворота, в положение, определяемое На основе полученных данных оператор 1 в момент времени t₂ формирует команды, представленные вектором управления где v_h - задание линейной скорости, ω_h - угловой. За время h_c команды оператора достигают бортовой системы управления, а сам робот перемещается в положение Одновременно с видеоизображением робот постоянно передает на пульт данные телеметрии, подготовленные бортовым вычислителем 12 на основе информации системы управления приводами 14 и содержащие вектор состояния где v_r - линейная скорость робота, ω_r - угловая.

Предлагаемый способ поддержки заключается в предоставлении оператору в момент времени t₂ информации о положении и ориентации мобильного робота с использованием видеоданных, актуальных для момента t₄.

В первую очередь определяют мгновенное значение действующих задержек передачи информации h_v, h_c и h_t. Для этого при включении и инициализации системы производят синхронизацию внутренних часов пульта управления 2 и бортовой системы робота 9. В последствии все пакеты данных сопровождают метаданными, содержащими временные метки. С их помощью в каждый момент времени вычисляют задержку передачи информации.

В расчетах используют локальную двухмерную систему координат, привязанную к положению мобильного робота в момент t₄ - то есть тому, которое будет отображено на мониторе 3 пульта управления (фигура 3). Это положение принимают за нулевое:

Для определения конечного состояния робота необходимо рассчитать координаты и угол его поворота в каждый момент времени при движении из Эти расчеты проводят в два этапа. На первом этапе вычисляют путь робота из Для этого используют данные телеметрии, полученные с момента t₅, в который на пульт поступят отправленные при фиксации видеоизображения данные, до текущего момента времени t₂ (фигура 4). Вычислитель пульта 5 производит численное интегрирование значений линейной и угловой скоростей робота за время (h_v-h_t) и определяет его положение в момент времени t₃:

Может быть применен любой метод численного интегрирования; для решаемой задачи достаточно прямого метода Эйлера. Несмотря на то, что полученная оценка не учитывает проскальзывание колес или гусениц, сравнительно короткий интервал интегрирования позволяет считать точность достаточной.

На втором этапе осуществляют прогнозирование движения робота из Для этого используют сохраненные в памяти вычислителя 5 команды оператора, которые к текущему моменту были отправлены роботу за время (h_t+h_c), начиная с t₆ (фигура 5):

где - оценка координат и угла поворота робота.

Мобильный робот не всегда оказывается в состоянии в точности выполнить задания линейной и угловой скоростей, однако для малогабаритных наземных мобильных роботов, движущихся с небольшими скоростями, разница между командами и реальным движением на коротких интервалах будет небольшой и не окажет влияния на эффективность способа. В процессе численного интегрирования в памяти вычислителя сохраняют промежуточные результаты - положение робота в локальной системе координат на всем пути из

На мониторе 3 пульта управления, отображающем кадр, соответствующий моменту времени t₄, в режиме дополненной реальности отображают метку 17, представляющую прогнозируемое положение и ориентацию робота в будущем, когда он получит формируемые оператором команды (фигура 6). Метка может быть представлена геометрической фигурой, стрелкой или другим графическим объектом, дающим представление об ориентации робота. Координаты на экране, размер и ориентацию метки определяют на основе полученной оценки положения робота таким образом, чтобы метка соответствовала ему с учетом перспективы.

Для повышения информативности изображение метки дополняют прогнозируемой траекторией 16 движения до нее. Траекторию строят с помощью ранее сохраненного множества точек, полученных при интегрировании скоростей движения.

Эта информация позволяет оператору значительно повысить точность управления, несмотря на задержки.

Для проверки предложенного способа поддержки была создана компьютерная модель и проведен ряд экспериментов. В основу модели положен программный комплекс на основе платформы Unity. В процессе экспериментов оператор управлял с помощью джойстика моделью мобильного робота, осуществляя движение по заранее заданной эталонной траектории, отображаемой на экране. Видео с виртуальной камеры передавали напрямую или с заданной задержкой. Команды и данные телеметрии также передавали между пультом и моделью робота с заданной задержкой. Траектории движения робота в виртуальной среде записывали для последующего анализа.

Результаты моделирования показали, что применение способа поддержки оператора при отсутствии задержки не сказывается на управлении движением мобильного робота. При суммарных задержках (h_v+h_c) 0,6 с и задержке телеметрии h_t 0,1 с применение управления с поддержкой позволило заметно уменьшить время выполнения задания и повысить точность следования траектории. При задержках (h_v+h_c) от 1,2 до 2,4 с и h_t от 0,2 до 0,4 с соответственно повышение эффективности системы управления достигает 50%. При больших задержках применение предложенного способа не оказывает заметного влияния на управление. В этом случае в системе прогнозируемое положение мобильного робота определяется с заметными ошибками и, к тому же, часто находится вне угла обзора видеокамеры. Оператор при этом, не имея актуальной информации о состоянии робота, интуитивно переходит от непрерывного управления к стратегии «старт-стоп»: на протяжении короткого времени формирует команды движения, прекращает управление и ожидает, когда робот их исполнит и обновленная информация поступит на пульт.

Таким образом, компьютерное моделирование показало, что предложенный способ поддержки обеспечивает повышение эффективности дистанционного управления мобильным роботом при наличии временных задержек в каналах управления.

Изобретение относится к области робототехники. Технический результат заключается в повышении точности управления при наличии временных задержек. Способ заключается в наложении на видеоизображение, получаемое с задержкой от видеокамеры мобильного робота, графических объектов, показывающих положение и ориентацию робота с учётом задержки в тот момент, когда он получит передаваемые в текущий момент времени команды оператора, а также траекторию движения до этого положения. Способ использует особенности соотношения величин задержек передачи видеоданных и телеметрии в реальных системах дистанционного управления. Для его реализации в два этапа выполняют расчёт положения и ориентации робота относительно положения, зафиксированного видеокамерой и отображаемого на мониторе пульта управления. На первом этапе на основе поступившей от робота к текущему моменту телеметрии рассчитывают его перемещение в положение, актуальное для момента отправки последнего полученного пакета данных. На втором этапе оставшуюся часть перемещения рассчитывают на основе сохранённой в памяти пульта информации о командах оператора. После этого на мониторе в режиме дополненной реальности отображают метку, представляющую прогнозируемое положение и ориентацию робота, а также траекторию его движения. 6 ил.

Способ поддержки оператора при дистанционном управлении наземным мобильным роботом в условиях наличия задержек в каналах передачи информации, заключающийся в наложении на видеоизображение, получаемое с задержкой от видеокамеры мобильного робота и предоставляющее оператору информацию о его состоянии – положении и ориентации в пространстве, графических объектов, показывающих положение и ориентацию робота с учётом задержки в тот момент, когда он получит передаваемые в текущий момент времени команды оператора, а также траекторию движения до этого положения, отличающийся тем, что в процессе управления определяют мгновенные значения действующих задержек передачи видеоизображения, данных телеметрии и команд оператора; при расчётах положения и ориентации робота используют локальную систему координат, привязанную к состоянию, зафиксированному видеокамерой и отображаемому на мониторе пульта управления; при расчётах состояния робота используют особенности соотношения величин задержек передачи видеоданных и телеметрии в реальных системах дистанционного управления; расчёт состояния проводят в два этапа; на первом этапе расчёта на основе поступившей от робота к текущему моменту в составе телеметрии информации о линейной и угловой скоростях робота рассчитывают его перемещение из положения, зафиксированного видеокамерой и отображаемого на мониторе, в положение, актуальное для момента отправки последнего полученного пакета данных; на втором этапе на основе сохранённой в памяти пульта управления информации о заданиях линейной и угловой скоростей рассчитывают оставшуюся часть перемещения робота до положения, актуального для момента времени, в который он получит передаваемые команды; расчёты положения и ориентации выполняют путём численного интегрирования скоростей движения робота; графическим объектом, показывающим состояние робота на экране, является метка, представленная стрелкой или иной геометрической фигурой, координаты на экране, размер и ориентацию которой определяют на основе полученной оценки положения и ориентации робота таким образом, чтобы метка соответствовала ему с учётом перспективы; в процессе численного интегрирования в памяти вычислителя сохраняют промежуточные результаты – множество точек положения робота в локальной системе координат на всём пути; траекторию движения робота строят с помощью ранее сохранённого множества точек, полученных при интегрировании скоростей движения, и отображают на экране поверх изображения от видеокамеры одновременно с меткой.