СПОСОБ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ И РОБОТОТЕХНИЧЕСКАЯ СИСТЕМА ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2020 года по МПК G06T7/70 G06T19/00 

Предполагаемое изобретение относятся к робототехнике, применению методов дополненной реальности в робототехнике и может быть использовано в следующих областях:

- ядерная энергетика - работа с радиоактивными материалами или радиактивной среде;

- химическая промышленность - работа с отравляющими, пожаро - и взрывоопасными веществами, веществами вредными для здоровья;

- биотехнологии - работа в среде с опасностью биологического заражения микробами, бактериями, вирусами;

- электронная промышленность - работа в «чистых» комнатах;

- сварка в камерах с контролируемой атмосферой;

- работа в помещениях с экстремальными температурными режимами (морозильные камеры, горячие цеха);

- пожаротушение;

- ликвидация последствий аварий на опасных производствах;

- военные и антитеррористические операции;

- разминирование;

- подводные работы;

- работы в космическом пространстве;

- удаленное сервисное обслуживание промышленных роботов;

- дистанционное и недистанционное программирование промышленных роботов.

В данных областях, для предоставления дополнительной информации оператору робототехнических систем, а так же для поддержки программирования данных систем могут использоваться изображения с дополненной реальностью (англ. Augmented Reality (AR)), то есть, изображения, получаемые с некоторого приемника изображения и дополненные изображением некого виртуального объекта, сгенерированного соответствующим программным модулем. Виртуальными объектами могут быть:

- текстовые указатели-выноски, указывающие на конкретный объект или точку в реальном пространстве;

- графическое изображение точки в пространстве, где должна быть расположена центральная точка инструмента (англ. Tool Center Point (TCP));

- пространственные линии, соответствующие требуемой траектории движения инструмента;

- изображение самого инструмента или даже манипулятора, в том числе в динамике для целей имитационного моделирования;

- изображения скрытых объектов;

- изображения объектов, которые будут получены в результате обработки, но еще пока не получены или изображения объектов после промежуточной обработки;

- ограничители пространства;

- индикаторы и приборные панели

- другие графические объекты, в том числе в динамике (анимированные) для целей имитационного моделирования.

Использование AR обеспечивает возможности наглядного, информационно насыщенного ассистирования операторам, существенным образом расширяет возможности робототехнических систем с манипуляторами и значительно увеличивает число решаемых с их помощью задач.

Кроме того, визуализация траектории движения инструмента робота позволяет упростить процесс программирования промышленных роботов-манипуляторов в обычных условиях эксплуатации, а также снизить требования к квалификации операторов практически любых промышленных роботов.

Для того что бы правильно построить и затем правильно и реалистично отображать изображение с дополненной реальностью, необходимо правильно определять положение приемника изображения в реальном пространстве относительно реальных объектов, а также знать положение виртуального объекта в данном пространстве.

Для этих целей может использоваться известный способ, в котором для определения положения приемника изображения используются специальные маркеры, представляющие собой некоторые изображения, располагаемые в заданном известном положении. Положение приемника в процессе работы, при этом, определяется исходя из вида маркера на полученном приемником изображении и исходя из известных геометрических параметров изображения на маркере и координат расположения маркеров (заявка WO 03/064116, B25J, от 07.08.2003 г.).

К недостаткам данного способа следует отнести тот факт, что точность определения позиции ограничена качеством оптики камеры, качеством и калибровкой самой камеры, точностью определения положения маркеров или точностью их размещения в известных местах пространства, а также качеством обработки изображения. Кроме того, в указанных выше условиях размещение маркеров в требуемых положениях бывает либо затруднительно, либо вообще невозможно, что существенно снижает возможности робототехнических систем. Кроме того, положение виртуального объекта является изначально привязанным к положению маркера и может изменяться либо путем изменения положения маркера, либо путем «ручного» изменения положения виртуального объекта относительно маркера на неопределенные или заданные величины перемещений и углов поворота без точной привязки виртуального объекта к точкам реальных объектов, что так же существенно снижает функциональные возможности роботов и ограничивает удобство их программирования.

Известен так же способ формирования изображения дополненной реальности, где для определения положения приемника изображения используются, как минимум, одно собственное измерительное устройство системы позиционирования инструмента робототехнической системы. В качестве измерительных устройств в этом случае имеются в виду, прежде всего, датчики угла поворота в приводах такой робототехнической системы. Первоначальное положение приемника относительно системы координат робота определяется в процессе калибровки, которая предполагает задание соответствия между некоторыми положениями приемника и изображениями, получаемыми с помощью данного приемника. (Европейский патент ЕР 1521211 B1, G06T 7/00, от 15.06.2011 г.).

К недостаткам данного способа следует отнести невозможность обеспечения точной привязки виртуальных объектов, дополняющих реальность, к конкретным точкам реальных объектов. На практике этот факт, например, может означать, что траекторию движения инструмента, отображаемую в виде виртуального объекта, невозможно точно привязать к реальному обрабатываемому объекту и ошибки этой привязки приведут к невозможности генерации программы для робота либо генерации ошибочной программы.

Известна так же робототехническая система, с устройством дополненной реальности, которая, как и заявляемая робототехническая система, содержит систему позиционирования инструмента с системой управления, по меньшей мере, один приемник изображения, по меньшей мере, один монитор, вычислитель с модулем формирования изображения дополненной реальности (Европейский патент ЕР 1521211 B1, G06T 7/00, от 15.06.2011 г).

К недостаткам указанной системы следует отнести отсутствие средств для обеспечения точной привязки виртуальных объектов к точкам реальных объектов без использования маркеров. Такое исполнение робототехнической системы приводит к необходимости использования маркеров, что как уже сказано выше, во-первых: не всегда возможно, в силу недосягаемости или вредности среды, для здоровья оператора, во-вторых не всегда обеспечивает необходимую точность привязки, что существенно ограничивает возможности дистанционного использования робото-технических систем, а так же ограничивает использование технологии дополненной реальности для облегчения программирования и снижения требований к квалификации оператора робототехнической системы.

Известен так же способ формирования изображения дополненной реальности,

описанный в статье (Ng C.L., Ng Т.С., Nguyen T.A.N., Yang G., Chen W. (2010). Intuitive robot tool path teaching using laser and camera in augmented reality environment. In: Proceedings of the International Conference on Control, Automation, Robotics and Vision. Singapore; 7-10 December 2010. p. 114-9.), в котором изображение реального объекта получают с помощью стационарно установленной на штативе приемника изображения, в виде цифровой видеокамеры, затем с помощью мышки указывают курсором на экране монитора точки привязки на реальном объекте и с помощью лазерного дальномера, установленного с возможностью вращения вокруг вертикальной и горизонтальной осей на специальном приспособлении, определяют с помощью собственной системы позиционирования приспособления текущее положение и ориентацию лазерного дальномера и на основе этих данных координаты данной точки в системе координат робота. Затем накладывают виртуальное изображение, в статье это траектория движения инструмента и инструмент, на реальное изображение таким образом, чтобы точки привязки виртуального объекта соответствовали точкам привязки реального объекта, а также в соответствии с положением цифровой видеокамеры относительно реального объекта, которое определяется предварительно в процессе калибровки видеокамеры.

При этом, для определения координат точек реального объекта, указанных на мониторе, лазерный дальномер поворачивают так, чтобы луч подсветки дальномера подсветил пиксел, указанный курсором мыши на мониторе и соответствующий указанной точке привязки реального объекта. Для этого в процессе поворота дальномера отслеживается положение следа луча подсветки на изображении путем цветового анализа пикселей и определяется центр этого следа. Когда центр данного следа совпадет с пикселом, соответствующим точке привязки, производится замер расстояния до данной точки и, используя известные данные о положении и ориентации дальномера, вычисляются координаты данной точки.

Данный способ по совокупности признаков является наиболее близким к заявляемому техническому решению и поэтому принят авторами заявляемого изобретения за прототип.

К недостаткам данного способа следует отнести необходимость отслеживания пятна от луча подсветки на экране монитора, так как, как отмечают сами авторы статьи, определение пятна может быть ошибочным из за возможных шумов-подсветок, путь пятна может быть прерывистым, если он проходит через резко изменяющие направления поверхности, пятно может исчезать на некоторых особенностях поверхности, например, отверстиях, пятно может расщепляться или раздваиваться на отражающих поверхностях, форма его зависит от угла падения на поверхность, что затрудняет вычисление центра пятна. Все это приводит к усложнению процедуры определения координат точек привязки, увеличивает ее время и снижает точность определения координат.

Известна так же робототехническая система, содержащая промышленный робот с контроллером и установленным на роботе инструментом, приемник изображения в виде цифровой видеокамеры, установленной стационарно на штативе, лазерный дальномер, установленный на фиксированном расстоянии от камеры на специальном приспособлении, выполненным с приводом вращения вокруг вертикальной и горизонтальной осей и собственной системой позиционирования текущего положения и ориентации лазерного дальномера, монитор и вычислитель с модулем формирования изображения дополненной реальности (Ng C.L., Ng Т.С., Nguyen T.A.N., Yang G., Chen W. (2010). Intuitive robot tool path teaching using laser and camera in augmented reality environment. In: Proceedings of the International Conference on Control, Automation, Robotics and Vision. Singapore; 7-10 December 2010. p. 114-9.).

К недостаткам данного устройства следует отнести такое расположение приемника изображения и дальномера, которое приводит к необходимости отслеживания пятна подсветки на экране монитора для обеспечения возможности замера расстояния до точки реального объекта, указанной на мониторе. Как показано выше, это приводит к усложнению процедуры определения координат точек привязки, увеличивает ее время и снижает точность определения координат.

С учетом вышеизложенного, в основу изобретения положена задача устранить указанные недостатки и создать такой способ формирования изображения дополненной реальности, который бы за счет перемещения дальномера в положения, при которых линия измерения расстояний дальномера совпадает с лучом, задающим направление от точки фокуса приемника изображения на указанную точку привязки реального объекта и последующего измерения расстояний до указанных точек из этих положений, позволил бы определять координаты точек указанных на мониторе в системе координат робота без необходимости отслеживания пятен луча подсветки дальномера и вычисления их центров, в итоге обеспечить упрощение процедуры привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реальному.

Также задачей заявляемого изобретения является создание такой робото-технической системы, которая бы за счет жесткого закрепления дальномера и, по меньшей мере, одного приемника изображения на корпусе одного из подвижных звеньев робота и обеспечения, вследствие этого, возможности перемещения и переориентации приемника изображения и дальномера в зоне действия робота обеспечила бы возможность совмещения линии измерения расстояний дальномера с лучом, задающим направление от точки фокуса приемника изображения на указанную точку привязки реального объекта и последующего измерения расстояний до указанных точек из этих положений, позволил бы определять координаты точек указанных на мониторе в системе координат робота без необходимости отслеживания пятен луча подсветки дальномера и вычисления их центров, в итоге обеспечить упрощение процедуры привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реальному.

Поставленная задача решается тем, что в способе формирования изображения дополненной реальности для робототехнических систем, включающем получение изображения реального объекта с помощью приемника изображения, формирование изображения реального объекта на экране монитора, указание курсором на экране монитора точек привязки реального объекта, определение с помощью дальномера координат указанных точек на реальном объекте, указание соответствующих точек привязки виртуального объекта, и наложение на сформированное изображение реального объекта изображения виртуального объекта в соответствии с привязкой точек виртуального объекта к точкам привязки реального объекта при соответствующем положении приемника изображения относительно реального объекта, согласно изобретению, определение координат указанных на мониторе точек привязки реального объекта осуществляют путем последовательных перемещений дальномера с помощью привода и системы управления робота в положения, при которых линия измерения расстояний дальномера совпадает с лучом, заданным направлением от точки фокуса приемника изображения на указанную точку привязки реального объекта, последующего измерения из этих положений с помощью дальномера расстояний до указанных точек реального объекта, при этом каждое положение приемника изображения определяют с помощью датчиков приводов осей и системы управления робота.

Такой способ формирования изображения дополненной реальности позволяет: - за счет перемещения дальномера с помощью привода и системы управления робота в положения, при которых линия измерения расстояний дальномера совпадает с лучом, заданным направлением от точки фокуса приемника изображения на указанную точку привязки реального объекта и последующего измерения из этих положений с помощью дальномера расстояний до указанных точек реального объекта, исключить необходимость отслеживания пятен луча подсветки дальномера и вычисления их центров на поверхности реального объекта, вследствие чего обеспечить упрощение процедуры привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реальному;

- за счет определения положения приемника изображения с помощью датчиков приводов осей и системы управления робота исключить необходимость обмена данными с внешними, по отношению к роботу, устройствами, вследствие чего упростить процедуру привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реальному.

Также поставленная задача решается за счет того, что в робототехнической системе, содержащей робот с контроллером, технологическое оборудование с установленным на концевом звене робота инструментом, по меньшей мере, один приемник изображения, дальномер, установленный с возможностью вращения, по меньшей мере, относительно двух осей, по меньшей мере, один монитор, связанный с вычислителем, на котором установлен модуль формирования изображения дополненной реальности, согласно изобретению, дальномер и, по меньшей мере, один приемник изображения жестко закреплены на подвижном звене робота.

Такое конструктивное исполнение робототехнической системы обеспечивает за счет жесткого закрепления дальномера и, по меньшей мере, одного приемника изображения на подвижном звене робота возможность перемещения и переориентации приемника изображения и дальномера в зоне действия робота с помощью приводов осей подвижных звеньев робота с использованием системы управления робота, что позволяет, с минимальными погрешностями, соизмеримыми с характеристикой повторяемости робота, совмещать линии измерения расстояний дальномера с лучом, задающим направление от точки фокуса приемника изображения на указанную точку привязки реального объекта и исключить необходимость обмена данными с внешними по отношению к роботу устройствами, вследствие чего упростить процедуру привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реальному.

Целесообразно также, чтобы робототехническая была снабжена дополнительно, по меньшей мере, одним приемником изображения, установленным вне робота и содержащим маркер своего положения, а также средством определения положения данного приемника изображения, жестко закрепленном на одном из подвижных звеньев робота.

Такое конструктивное выполнение робототехнической системы за счет возможности размещения приемника изображения вне робота, например, в руках оператора и выбора оператором удобного места для обзора реальных объектов, а также возможности определения местоположения данного приемника изображения с помощью средства определения положения, закрепленного на подвижном звене робота, позволяет оператору ускорить процесс выбора оптимальных точек привязки виртуального объекта к реальному, вследствие чего упростить процедуру привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, сократить время на ее проведение, а за счет возможности выбора оптимального (минимального) взаимного расположения средства определения местоположения и приемника изображения минимизировать погрешности определения местоположение приемника и повысить точность привязки виртуального объекта к реальному.

Целесообразно также, чтобы робототехническая система содержала в качестве приемника изображения цифровую видеокамеру

Такое конструктивное выполнение робототехнической системы позволяет осуществлять получение изображения реальных объектов и его обработку компьютерными средствами в условиях эксплуатации робототехнической системы в оптически прозрачной среде и, таким образом, решить задачу заявляемого изобретения в этих условиях.

Целесообразно также, чтобы робототехническая система содержала в качестве

приемника изображения приемник акустического изображения - звуковизор..

Такое конструктивное выполнение робототехнической системы позволяет осуществлять получение изображения реальных объектов и его обработку компьютерными средствами в условиях эксплуатации робототехнической системы в оптически непрозрачной, но в акустически прозрачной среде, например, в замутненной воде, и, таким образом, решить задачу заявляемого изобретения в этих условиях.

Целесообразно также, чтобы робототехническая система содержала в качестве дальномера лазерный дальномер.

Такое конструктивное выполнение робототехнической системы позволяет осуществлять точные замеры расстояния до точек реального объекта в условиях эксплуатации робототехнической системы в оптически прозрачной среде и, таким образом, решить задачу заявляемого изобретения в этих условиях.

Целесообразно также, чтобы робототехническая система содержала в качестве дальномера ультразвуковой дальномер.

Такое конструктивное выполнение робототехнической системы позволяет осуществлять замеры расстояния до точек реального объекта в условиях эксплуатации робототехнической системы в недостаточно оптически прозрачной среде, где использование оптических средств измерений проблематично и, таким образом, решить задачу заявляемого решения в этих условиях.

Целесообразно также, чтобы робототехническая система содержала в качестве вычислителя персональный компьютер.

Такое конструктивное выполнение робототехнической системы позволяет за счет подбора необходимых характеристик персонального компьютера обеспечить компьютерную обработку виртуальных объектов и изображения реальных объектов с максимальной производительностью, что сокращает время на проведение процедуры привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, а также делает возможным использование удаленного компьютера и привлечение к формированию дополненной реальности кроме оператора дополнительный персонал, который может выступать по отношению к оператору как ассистент или супервизор (командир), что позволяет при эксплуатации робототехнической системы объединить опыт, компетенции и навыки оператора и ассистента или супервайзера (командира) и таким образом повысить эффективность использования робототехнической системы.

Ниже изобретение поясняется на предпочтительных примерах его выполнения, не имеющих ограничительного характера, которые проиллюстрированы сопровождающими чертежами, на которых изображены:

Фиг. 1 - робототехническая система для осуществления заявляемого способа формирования изображения дополненной реальности;

Фиг. 2 - иллюстрация положений дальномера, вид сразу после указания точки привязки, но до перемещения дальномера в положение из которого производится замер расстояния до данной точки;

Фиг. 3 - иллюстрация положений дальномера, вид после перемещения дальномера в положение, из которого производится замер расстояния;

Фиг. 4, Фиг. 5 - изображения обрабатываемого объекта, полученные с приемника изображения и дополненные виртуальными изображениями траектории движения инструмента и самого инструмента в процессе формирования траектории его движения;

Фиг. 6 - изображение обрабатываемого объекта, полученное с приемника изображения и дополненное виртуальными изображениями траектории движения инструмента и самого инструмента в конце процесса формирования траектории его движения;

Фиг. 7 - изображение обрабатываемого объекта, полученное с приемника изображения, перед началом корректировки привязки точки траектории к обрабатываемому объекту;

Фиг. 8 - изображение обрабатываемого объекта, полученное с приемника изображения, после корректировки привязки точки траектории к обрабатываемому объекту;

Фиг. 9 - изображение обрабатываемого объекта, полученное с приемника изображения, после задания скоростей движения инструмента и технологических параметров резки на различных участках траектории.

Далее со ссылкой на сопровождающие чертежи описываются неограниченные варианты реализации способа формирования изображения дополненной реальности и робототехнической системы для его осуществления по настоящему изобретению.

Предпочтительный вариант реализации робототехнической системы для осуществления заявляемого способа формирования изображения дополненной реальности содержит робот-манипулятор 1 (Фиг. 1) с контроллером 2, переносной пульт 3 управления. Робот-манипулятор 1 и переносной пульт 3 управления соединены с контроллером 2 робота-манипулятора 1 посредством кабельной системы (условно не показанной на Фиг 1.).

На фланце 4 подвижного звена робота-манипулятора 1 закреплен инструмент 5. В данном конкретном примере в качестве инструмента 5 используется гидроабразивная режущая головка. К фланцу 4 подвижного звена робота-манипулятора 1 жестко закреплены приемник изображения, выполненный в виде цифровой видеокамеры 6 и лазерный дальномер 7. Лазерный дальномер 7 и видеокамера 6 расположены друг относительно друга таким образом, что бы зона 8 обзора видеокамеры 6 пересекалась с линией 9 измерений лазерного дальномера 7. Кроме цифровой камеры 6, установленной на роботе-манипуляторе 1, робототехническая система содержит три стационарно установленных приемника изображений, выполненных в виде видеокамер 10, 11 и 12. Видеокамеры 10 и 11 направлены на зону действия робота-манипулятора 1. На переносном пульте 3 управления также имеется приемник изображения в виде видеокамеры 13 с индикатором 14 положения пульта 3 управления.

Видеокамера 12 направлена вне зоны действия манипулятора, так что бы в ее зону видимости мог быть помещен переносной пульт 3 управления. Видеокамера 12 является частью средства определения положения приемника изображения, выполненного в виде видеокамеры 13. Индикатор 14 положения пульта 3 управления выполнен в виде трех разноцветных шариков, геометрические центры которых размещены не на одной прямой, которые жестко закреплены на пульте 3 управления и имеют яркую контрастную окраску.

Пульт 3 управления также содержит монитор в виде сенсорного экрана 15 и органы управления 16 в виде кнопок и джойстика.

Кроме того, к системе управления робототехнической системы подключен вычислитель 17 с модулем формирования изображения дополненной реальности и монитор 18.

Видеокамеры 6, 10, 11, 13 подключены к системе управления таким образом, что бы полученные с их помощью изображения могли отображаться на мониторе 15 пульта управления 3 и на мониторе 18.

Видеокамера 6, прикрепленная к фланцу 4 робота-манипулятора 1, стационарно установленные видеокамеры 10, 11, 12, видеокамера 13 на пульте 3 управления предварительно откалиброваны, т.е. определены их внешние и внутренние параметры, необходимые как для вычисления координат точек реального пространства, отображаемых на экране монитора по координатам пиксела, в котором данная точка отображается, так и для обратного вычисления координат пиксела, в котором отображается точка реального пространства по координатам данной точки в реальном пространстве.

Для видеокамеры 6 внешними параметрами являются ее положение и ориентация относительно фланца 4. Для видеокамер 10, 11, 12 внешними параметрами являются положения этих видеокамер и их ориентация в системе координат реального пространства. Для видеокамеры 13 на пульте управления 3 внешними параметрами являются ее точное положение и ориентация относительно индикатора 14 положения пульта 3 управления. К внутренним параметрам видеокамер относятся фокусное расстояние, углы наклона пикселей, положение точки пересечения плоскости изображения с оптической осью, совпадающей с центром кадра, коэффициенты дисторсии.

Лазерный дальномер 7 также откалиброван, то есть для него определены в виде набора чисел положение точки начала отсчета, расстояния и ориентация относительно фланца 4, необходимые для расчета координат точки в реальном пространстве, до которой измеряется расстояние.

Работа робототехнической системы для реализации заявляемого способа формирования изображения дополненной реальности показана на примере составления технологической программы гидроабразивной резки обрабатываемого объекта 19, имеющего сложную пространственную форму, в условиях, когда непосредственный доступ оператора к изделию отсутствует и у оператора отсутствует математическая модель обрабатываемого объекта. При этом, в качестве виртуальных объектов, дополняющих реальность, используется виртуальное изображение инструмента и траектория движения центральной точки инструмента робототехнической системы (Tool Center Point (TCP)), которая формируется оператором в процессе составления программы.

После включения робототехнической системы включаются видеокамеры 6, 10, 11 и 13, которые формируют изображения реальных объектов, окружающих робот-манипулятор 1. При этом камеры 10 и 11 формируют изображение обрабатываемого объекта 19, так как изначально сориентированы на этот объект.

Используя органы управления 16 пульта управления 3, оператор перемещает манипулятор 1 таким образом, чтобы обрабатываемый объект 19 находился так же и в поле зрения видеокамеры 6. Ориентируя пульт управления 3 относительно обрабатываемого объекта, оператор также может располагать видеокамеру 13, так что бы в ее поле зрения находился обрабатываемый объект 18.

Оператор может переключаться между камерами так, чтобы, при необходимости, изображение с любой из камер 6,10, 11,13 могло отображаться на мониторах 15 и (или) 18. Предположим, что оператор переключился на камеру 6, тогда камера 6 формирует изображение реального обрабатываемого объекта 19, которое отображается на мониторах 18 и 15.

Далее оператор курсором на экране монитора 18 указывает точку 20 (Фиг. 2) на поверхности обрабатываемого объекта, которая будет начальной точкой траектории TCP при гидроабразивной резке обрабатываемого объекта.

Данной точке на экране монитора соответствует конкретный пиксел 21, которому, в свою очередь соответствует пиксел 22 ПЗС матрицы цифровой камеры 6. Положение данного пиксела задает направление от фокуса 23 цифровой камеры на точку 20 на поверхности обрабатываемого объекта. Далее с помощью вычислителя 17, используя данные о внутренних параметрах цифровой камеры и данные о положении камеры в пространстве, определяемые с помощью датчиков системы позиционирования манипулятора 1, по адресу соответствующего пиксела автоматически вычисляют уравнение прямой 24, определяемой двумя точками, фокусом камеры 23 и положением пиксела 22.

Далее используя данные о калибровке дальномера 6, вычисляется положение, в которое должен быть перемещен дальномер 6, при котором линия измерения расстояний 9 дальномера 6 совпадет с прямой 24 как показано на Фиг. 3. Затем производят перемещение дальномера 6 в данное положение. При таком положении дальномера 6 линия измерения расстояний 9 дальномера проходит через точку 20 обрабатываемого объекта, и положение пятна луча подсветки дальномера, видимое оператору на мониторе, совпадает с данной точкой. При этом никакого слежения за положением пятна луча подсветки не требуется. После чего, производят замер расстояния до точки 20 и, используя данные о калибровке дальномера и данные о положении дальномера, определяемые с помощью датчиков системы позиционирования робота-манипулятора 1, определяют координаты точки 20. Точка отображается на экране монитора 18 в виде точки 25 (Фиг. 4) виртуального объекта. Так же на экране монитора 18 может быть отображено и виртуальное 3D изображение 26 инструмента в положении в котором TCP инструмента совпадает с точкой 25. Ориентация виртуального изображения инструмента может быть изменена, так как это делается в распространенных CAD программах, например AutoCad, SolidWork и т.п. Поскольку изображение данной точки изначально привязано к точке реального объекта, то в данном случае нет необходимости дополнительно указывать соответствие точек виртуального и реального объектов.

Аналогичным образом осуществляется указание точки 27 (Фиг. 5) и вычисление ее координат. Далее оператор указывает каким образом будет осуществляться перемещение инструмента из точки 25 в точку 27, по прямой или по дуге окружности. В данном случае по прямой, поэтому после указания точки 27 на экране монитора 18 отображается прямая. Если перемещение между точками будет осуществляться по дуге окружности то, перед отображением этой дуги необходимо отметить еще одну точку. Таким образом осуществляется указание всех точек, определяющих траекторию и построение всей траектории TCP как показано на Фиг. 6. При перемещении камеры 6, с помощью вычислителя 16 с модулем формирования изображения дополненной реальности происходит пересчет изображения виртуальных объектов, так, как если бы эти объекты в реальности были привязаны к указанным ранее точкам реального объекта. При этом в качестве исходных данных для данного пересчета используются координаты ранее указанных точек реальных объектов, положение камеры 6, получаемое от системы управления манипулятора и калибровочные данные камеры 6.

При переключении на другие камеры изображение виртуальных объектов перевычисляется вычислителем 17 в соответствии с положением этих камер. При переключении на камеру 13, включается камера 12 (Фиг. 1) и, если индикатор 14 положения, находится в поле зрения камеры 12, то вычисляется положение индикатора, по нему определяется положение камеры 13 и строится изображения виртуальных объектов, дополняющих изображение реальных объектов, получаемых с камеры 13.

Для уточнения задания точек привязки на реальном объекте, оператор с помощью пульта управления может приблизить камеру 6 к данным точкам. При приближении камеры и дальномера к этим точкам, погрешность определения координат точек может быть уменьшена пропорционально расстоянию до них. После приближения к одной из точек требующих уточнения, оператор указывает курсором точку 28 (Фиг. 7) привязки виртуального объекта и точку 29, являющейся изображением на мониторе точки реального объекта, к которой надо осуществить более точную привязку точки 28. Далее, согласно описанному выше алгоритму, дальномер перемещается в положение при котором положение пятна луча подсветки дальномера совпадает с положением точки реального объекта, отображаемой точкой 29 на экране монитора, измеряется расстояние до подсвеченной точки и производится пересчет координат данной точки, после чего изображение виртуальных объектов пересчитывается с учетом уточненных координат, как показано на Фиг. 8.

Произведя все необходимые уточнения, оператор может задать скорости перемещения инструмента на различных участках траектории, представленной в виде виртуального объекта и другие технологические параметры резки, например давление водяной струи. Данные о точках траектории, об ориентации инструмента в данных точках и о скорости перемещения инструмента между этими точками, технологические параметры резки, являются исходными данными для генерации управляющей программы для робота-манипулятора. Данные о скоростях и технологические параметры могут быть так же отражены в виде объектов дополненной реальности на изображении обрабатываемого объекта, как это показано на Фиг. 9.

Таким образом, в результате описанных выше действий, оператор без непосредственного доступа к обрабатываемому объекту, т.е. дистанционно, без применения специальных маркеров, с требуемой точностью, и изначально не имея 3D модели обрабатываемого объекта сгенерировал программу для обработки объекта. При этом, возможность наглядного отображения результата работы оператора методами дополненной реальности позволила минимизировать ошибки программирования.

Подводя итог вышеизложенному описанию изобретения, следует заметить, что для специалиста в данной области техники, в общем, очевидны различные модификации и усовершенствования изобретения, не выходящие из его объема, который определяется исключительно формулой изобретения.

Описанный выше способ формирования изображения дополненной реальности с использованием удаленного компьютера позволяет привлечь к формированию изображения дополненной реальности кроме оператора дополнительный персонал, который может выступать по отношению к оператору как ассистент или супервизор (командир), что позволяет при эксплуатации робототехнической системы объединить опыт, компетенции и навыки оператора и ассистента или супервайзера (командира) и таким образом повысить эффективность использования робототехнической системы.

Кроме того, данный способ позволяет дистанционно управлять робототехнической системой без присутствия оператора рядом с ней, что обеспечивает возможность использования робототехнической системы с системой дополненной реальности в недоступной для оператора или удаленной от оператора среде, облегчает программирования робототехнической системы и, как следствие, расширяет функциональные возможности и области применения робото-технических систем с дополненной реальностью.

Изобретение может найти применение при проведении любых работ, где используются роботы с перемещаемыми по программе роботами-манипуляторами и использоваться на предприятиях ядерной энергетики, химической, биотехнологической, электронной промышленности, практически во всех отраслях, где в настоящее время используются промышленные роботы. Так же настоящее изобретение может использоваться в других различных экстремальных ситуациях и средах, где нахождение оператора вблизи манипулятора невозможно без ущерба для здоровья.

Изобретение относится к способу формирования изображения дополненной реальности и робототехнической системе для его осуществления. Техническим результатом является упрощение процедуры привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, сокращение времени на ее проведение и повышение точности привязки виртуального объекта к реальному. Способ включает получение изображения реального объекта с помощью приемника изображения, формирование изображения реального объекта на экране монитора, указание курсором на экране монитора точек привязки реального объекта, определение с помощью дальномера координат указанных точек на реальном объекте, указание соответствующих точек привязки виртуального объекта и наложение на сформированное изображение реального объекта изображения виртуального объекта в соответствии с привязкой точек виртуального объекта к точкам привязки реального объекта при соответствующем положении приемника изображения относительно реального объекта, причем определение координат указанных на мониторе точек привязки реального объекта осуществляют путем последовательных перемещений дальномера с помощью привода и системы управления робота в положения, при которых линия измерения расстояний дальномера совпадает с лучом, заданным направлением от точки фокуса приемника изображения на указанную точку привязки реального объекта, последующего измерения из этих положений с помощью дальномера расстояний до указанных точек реального объекта, при этом каждое положение приемника изображения определяют с помощью датчиков приводов осей подвижных звеньев робота и системы управления робота. 2 н. и 6 з.п. ф-лы, 9 ил.

1. Способ формирования изображения дополненной реальности для робототехнической системы, включающий получение изображения реального объекта с помощью приемника изображения, формирование изображения реального объекта на экране монитора, указание курсором на экране монитора точек привязки реального объекта, определение с помощью дальномера координат указанных точек на реальном объекте, указание соответствующих точек привязки виртуального объекта и наложение на сформированное изображение реального объекта изображения виртуального объекта в соответствии с привязкой точек виртуального объекта к точкам привязки реального объекта при соответствующем положении приемника изображения относительно реального объекта, отличающийся тем, что определение координат указанных на мониторе точек привязки реального объекта осуществляют путем последовательных перемещений дальномера с помощью привода и системы управления робота в положения, при которых линия измерения расстояний дальномера совпадает с лучом, заданным направлением от точки фокуса приемника изображения на указанную точку привязки реального объекта, последующего измерения из этих положений с помощью дальномера расстояний до указанных точек реального объекта, при этом каждое положение приемника изображения определяют с помощью датчиков приводов осей подвижных звеньев робота и системы управления робота.

2. Робототехническая система для осуществления способа по п. 1, содержащая робот с контроллером, технологическое оборудование с установленным на концевом звене робота инструментом, по меньшей мере один приемник изображения, дальномер, установленный с возможностью вращения, по меньшей мере, относительно двух осей, по меньшей мере один монитор, связанный с вычислителем, на котором установлен модуль формирования изображения дополненной реальности, отличающаяся тем, что дальномер и по меньшей мере один приемник изображения жестко закреплены на подвижном звене робота.

3. Робототехническая система по п. 2, отличающаяся тем, что она снабжена дополнительно по меньшей мере одним приемником изображения, установленным вне робота и содержащим маркер своего положения, а также средством определения положения данного приемника изображения, жестко закрепленным на одном из подвижных звеньев робота.

4. Робототехническая система по п. 2, отличающаяся тем, что в качестве приемника изображения используют цифровую видеокамеру.

5. Робототехническая система по п. 2, отличающаяся тем, что в качестве приемника изображения используют приемник акустического изображения - звуковизор.

6. Робототехническая система по п. 2, отличающаяся тем, что в качестве дальномера используют лазерный дальномер.

7. Робототехническая система по п. 2, отличающаяся тем, что в качестве дальномера используют ультразвуковой дальномер.

8. Робототехническая система по п. 2, отличающаяся тем, что в качестве вычислителя используют персональный компьютер.