Способ точного управления подводным манипулятором с помощью откалиброванной бинокулярной системы технического зрения Российский патент 2023 года по МПК G01C11/00 

Изобретение относится к области информационно-измерительных систем роботов и, в частности, к системе технического зрения (СТЗ), используемой в водной среде для точного определения трёхмерных координат объектов работ с целью их захвата манипулятором.

Известен 1. способ наведения рабочего органа манипулятора лесной машины на объект оператором, отличающийся тем, что оператор указывает положение места захвата или спила объекта пятном луча дальномера и одновременно с расстоянием до объекта автоматически измеряются углы поворота дальномера, с дальнейшим компьютерным расчетом и управлением движениями лесной машины, манипулятора и рабочего органа.

2. Способ наводки по п.1, отличающийся тем, что оператор указывает несколько объектов, не ожидая начала операции или окончания текущей, с последующей автоматизированной обработкой всех указанных объектов.

3. Способ наводки по п.1, отличающийся тем, что оператор, для оптимизации точки захвата, указывает на каждом объекте по меньшей мере две точки, например, для определения длины сортамента и/или оптимальной раскряжёвки.

4. Способ наводки по п.3, отличающийся тем, что оператор указывает на каждом объекте в заданном порядке комель и вершину или точки, близкие к ним (Патент РФ № 2010 147 210 Бюл. №15, 27.05.2012).

Недостатком этого способа является невозможность точного наведения рабочего органа манипулятора на объекты под водой без присутствия оператора.

Известен также 1. способ захвата объектов с помощью роботизированного устройства, выполняемый по меньшей мере одним вычислительным устройством, содержащий этапы, на которых: - получают цветное изображение и карту глубины; - осуществляют поиск объектов для захвата на изображении с учетом данных карты глубины; - выбирают объект для захвата; - на основе данных карты глубины формируют облако точек выбранного объекта; - осуществляют поиск в облаке точек заданного количества ключевых точек; - определяют арифметический центр между упомянутыми ключевыми точками; - определяют точку среди ключевых точек, наиболее близкую к арифметическому центру; - на основе координат ключевых точек и точки, наиболее близкой к арифметическому центру, определяют положение выбранного объекта; - на основе данных о положении объекта и данных модели, построенной в результате машинного обучения, определяют ориентацию и положение устройства захвата роботизированного устройства; - осуществляют захват выбранного объекта с помощью роботизированного устройства. 2. Способ по п. 1, характеризующийся тем, что дополнительно содержит этап, на котором в случае неудачного захвата выбирают новую позу захвата роботизированного устройства. 3. Способ по п. 1, характеризующийся тем, что дополнительно содержит этапы, на которых: - сегментируют изображение на отдельные изображения объектов; - полученные изображения объектов ранжируют для определения порядка захвата объектов; причем для захвата объекта выбирают первый объект согласно определенному порядку захвата объектов. 4. Способ по п. 1, характеризующийся тем, что этап поиска в облаке точек заданного количества ключевых точек включает этапы, на которых: - преобразуют облако точек в матричное представление; - рассчитывают матрицу ковариации на основе матричного представления; - осуществляют поиск собственных векторов матрицы ковариации; - выбирают два первых собственных вектора матрицы ковариации; осуществляют поиск заданного количества ключевых точек, имеющих минимальные и максимальные координаты вдоль осей, базисом которых являются собственные векторы. 5. Способ по п. 1, характеризующийся тем, что дополнительно содержит этап, на котором формируют список наблюдаемых параметров, в который заносятся данные об упомянутых ранее ключевых точках и точке, наиболее близкой к арифметическому центру, для передачи сформированного списка в алгоритм обучения. 6. Система захвата объекта с помощью роботизированного устройства, содержащая: - роботизированное устройство, содержащее по меньшей мере один сенсор глубины и захватное устройство; - вычислительное устройство, соединенное с роботизированным устройством; - по меньшей мере одну память, содержащую машиночитаемые инструкции, которые при их исполнении по меньшей мере одним вычислительным устройством выполняют способ по любому из пп. 1-5. (Патент РФ № 2745380. Бюл. № 9, 24.03.2021).

Этот способ является наиболее близким к предлагаемому изобретению. Его недостатком является невозможность точного определения 3D-координат объектов работ в наблюдаемом подводном пространстве при наличии больших оптических искажений в СТЗ, возникающих на границе различных сред при захвате этого объекта манипулятором.

Задачей заявляемого изобретения является устранение указанного недостатка прототипа, т.е. точное автоматическое выполнение захвата объектов под водой с помощью манипулятора и выполнение различных технологических операций по всей наблюдаемой с помощью бинокулярной системы технического зрения (БСТЗ) поверхности объектов работ (ОР) в водной (вязкой) среде.

Технический результат, получаемый при решении поставленной задачи, заключается в реализации системы, обеспечивающей точное управление подводным манипулятором в процессе выполнения конкретных подводных технологических операций с помощью откалиброванной бинокулярной системы технического зрения, использующей способ, изложенный в патенте РФ № 2 785 952. Бюл. № 35, 2022. Этот способ перед началом работы позволяет точно определить координаты характерных точек ОР в системе координат (СК) подводного манипулятора, а затем точно выполнить все его движения в этой СК даже при наличии значительных искажений видеоинформации, получаемой с помощью используемой СТЗ.

Поставленная задача решается тем, что основание подводного манипулятора, предназначенного для подвода его рабочего органа к каждой заданной характерной точке объекта работ, расположенного в наблюдаемом подводном рабочем пространстве откалиброванной бинокулярной системы технического зрения, фиксируют в водной среде с помощью подводного аппарата, три пространственные координаты очередной характерной точки, принадлежащей объекту работ, определяют с помощью этой системы технического зрения в связанной с ней системе координат, в трёхмерной калибровочной матрице памяти, ранее построенной для связанной с указанной системой технического зрения системы координат, выбирают ячейку памяти, пространственные координаты которой в связанной с системой технического зрения системе координат наиболее близки к выявленным этой системой технического зрения координатам текущей характерной точки объекта работ, из выбранной ячейки памяти извлекают три числа, которые определяют оптические искажения подводного пространства, вносимые видеокамерами используемой системы технического зрения в наблюдаемой малой области рабочего пространства вблизи текущей характерной точки объекта работ, и с их помощью уточняют реальное пространственное расположение указанной характерной точки в системе координат, связанной с используемой системой технического зрения, затем уточненное пространственное расположение этой характерной точки передают из указанной системы координат в систему координат, жестко связанную с основанием манипулятора, который в зависимости от поставленной задачи после аналитического решения для его известной конфигурации типовой обратной задачи кинематики и последующего использования этого решения может уже точно переместить свой рабочий орган сразу же в рассматриваемую характерную точку объекта работ или близко к ней, всю указанную процедуру повторяют для всех характерных точек всех объектов работ.

Сопоставительный анализ существенных признаков заявляемого способа с существенными признаками аналогов и прототипа свидетельствует о его соответствии критерию "новизна".

При этом отличительные признаки формулы изобретения решают следующие функциональные задачи.

Признак «…основание подводного манипулятора, предназначенного для подвода его рабочего органа к каждой заданной характерной точке объекта работ, расположенного в наблюдаемом подводном рабочем пространстве откалиброванной бинокулярной системы технического зрения, фиксируют в водной среде с помощью подводного аппарата …» позволяет зафиксировать СК, связанную с основанием манипулятора, в водном пространстве с целью точного решения обратной задачи кинематики этого манипулятора и точного перемещения его рабочего органа в заданную точку рабочего пространства (в характерную точку ОР или перед ней) в СК этого манипулятора.

Признак «…три пространственные координаты очередной характерной точки, принадлежащей объекту работ, определяют с помощью этой системы технического зрения в связанной с ней системе координат …» позволяет автоматически определить искаженные водной средой исходные координаты реальной трёхмерной точки рабочего пространства в СК, связанной с левой видеокамерой СТЗ.

Признак «…в трёхмерной калибровочной матрице памяти, ранее построенной для связанной с указанной системой технического зрения системы координат, выбирают ячейку памяти, пространственные координаты которой в связанной с системой технического зрения системе координат наиболее близки к выявленным этой системой технического зрения координатам текущей характерной точки объекта работ, из выбранной ячейки памяти извлекают три числа, которые определяют оптические искажения подводного пространства, вносимые видеокамерами используемой системы технического зрения в наблюдаемой малой области рабочего пространства вблизи текущей характерной точки объекта работ, и с их помощью уточняют реальное пространственное расположение указанной характерной точки в системе координат, связанной с используемой системой технического зрения …» позволяет автоматически определить реальные оптические искажения, появляющиеся в используемой СТЗ в наблюдаемой точке рабочего пространства в результате различного преломления лучей света на границах различных сред (стекло, воздух, вода) и в итоге уточнить реальные координаты поочередно всех характерных точек ОР в СК, связанной с СТЗ.

Признак «…уточненное пространственное расположение этой характерной точки передают из указанной системы координат в систему координат, жестко связанную с основанием манипулятора, который в зависимости от поставленной задачи после аналитического решения обратной задачи кинематики и последующего использования этого решения точно перемещает свой рабочий орган сразу же в рассматриваемую характерную точку объекта работ или близко к ней …» позволяет автоматически с необходимой точностью вначале определить реальные координаты очередной трёхмерной точки пространства, принадлежащей ОР, в СК, жестко связанной с основанием манипулятора, а затем точно переместить рабочий инструмент этого манипулятора к указанной точке.

Признак «… всю указанную процедуру повторяют для всех характерных точек всех объектов работ…» указывает на возможность использования описанной в изобретении процедуры для всех обнаруживаемых характерных точек всех объектов работ.

На Фиг. 1 показана обобщенная схема произвольного многостепенного манипулятора, зафиксированного с помощью подводного аппарата, бинокулярной СТЗ и ОР, поясняющая только суть предложенного нового способа управления подводным манипулятором.

На Фиг.1 введены следующие обозначения: 1 – подводный аппарат; 2 – подводный манипулятор; 3 – система координат (СК), связанная с основанием манипулятора; 4 –БСТЗ; 5 – СК, связанная с левой видеокамерой БСТЗ; 6 – ОР; 7 – характерная точка ОР.

Для реализации нового способа точного автоматического управления подводным манипулятором 2 с помощью предварительно откалиброванной бинокулярной СТЗ 4 в процессе реализации заданных операций с ОР 6 вначале основание этого манипулятора точно фиксируют в подводном пространстве с помощью подводного аппарата 1. Затем по наблюдаемым с помощью этой СТЗ изображениям ОР 6 определяют три пространственные координаты каждой принадлежащей ему характерной точки 7 в СК x2y2z2 5, связанной с левой видеокамерой СТЗ, с учётом всех реальных оптических искажений, появляющихся в результате различного преломления лучей света на границах различных сред. Оси y2 и z2 этой СК 5 лежат в плоскости изображения левой видеокамеры СТЗ и жестко связаны с ней, а ось x2 совпадает с оптической осью этой видеокамеры.

После этого в трёхмерной калибровочной матрице памяти, построенной для СК x2y2z2, с использованием способа, изложенного в патенте РФ № 2 785 952 (Бюл. № 35, 2022), выбирают ячейку памяти с наиболее близкими координатами характерной точки ОР в СК x2y2z2. Затем из выделенной ячейки памяти выбирают три числа, которые определяют оптические искажения подводного пространства (вектор искажений), вносимые видеокамерами СТЗ 4 в наблюдаемой малой области рабочего пространства (вблизи, наблюдаемой характерной точки 7 ОР 6). С помощью этих трех чисел - вектора искажений определяют (уточняют) реальное расположение указанной характерной точки в наблюдаемом с помощью СТЗ 4 подводном рабочем пространстве (в СК x2y2z2). Затем уточненное положение этой характерной точки передают из СК x2y2z2 в СК x1y1z1 манипулятора 2, который после решения типовой обратной задачи кинематики для его известной кинематической схемы может уже точно переместить свой рабочий инструмент сразу же в рассматриваемую характерную точку 7 ОР 6.

Данная процедура повторяется для всех характерных точек ОР. Поэтому манипулятор 2 может точно выполнять все задаваемые манипуляционные работы (включая захват ОР), связанные со всеми характерными точками 7 ОР 6 или между ними, используя известные методы интерполяции.

Практическая реализация предложенного нового способа точного управления подводным манипулятором с помощью откалиброванной бинокулярной СТЗ не требует присутствия оператора.

Изобретение относится к управлению системами технического зрения, используемыми в водной среде. Основание манипулятора фиксируют в водной среде с помощью подводного аппарата, три пространственные координаты очередной характерной точки определяют с помощью системы технического зрения в связанной с ней системе координат, в трёхмерной калибровочной матрице памяти выбирают ячейку памяти, пространственные координаты которой в связанной с системой технического зрения системе координат наиболее близки к выявленным этой системой технического зрения координатам текущей характерной точки объекта работ, из выбранной ячейки памяти извлекают три числа, определяющие оптические искажения подводного пространства, вносимые видеокамерами используемой системы технического зрения в наблюдаемой малой области рабочего пространства вблизи текущей характерной точки объекта работ, и с их помощью уточняют реальное пространственное расположение указанной характерной точки в системе координат, связанной с используемой системой технического зрения. Затем уточненное пространственное расположение этой характерной точки передают из указанной системы координат в систему координат, жестко связанную с основанием манипулятора, который в зависимости от поставленной задачи после аналитического решения обратной задачи кинематики и последующего использования этого решения точно перемещает свой рабочий орган в рассматриваемую характерную точку объекта работ или близко к ней. Изобретение обеспечивает повышение точности управления манипулятором. 1 ил.

Способ точного управления подводным манипулятором посредством откалиброванной бинокулярной системы технического зрения, обеспечивающей получение цветного изображения и карты глубины, а также поиск объектов работ на изображении с учетом данных этой карты глубины, с использованием которого осуществляется подход рабочего органа манипулятора к характерным точкам объекта работ, отличающийся тем, что основание подводного манипулятора, предназначенного для подвода его рабочего органа к каждой заданной характерной точке объекта работ, расположенного в наблюдаемом подводном рабочем пространстве откалиброванной бинокулярной системы технического зрения, фиксируют в водной среде с помощью подводного аппарата, три пространственные координаты очередной характерной точки, принадлежащей объекту работ, определяют с помощью этой системы технического зрения в связанной с ней системе координат, в трёхмерной калибровочной матрице памяти, ранее построенной для связанной с указанной системой технического зрения системы координат, выбирают ячейку памяти, пространственные координаты которой в связанной с системой технического зрения системе координат наиболее близки к выявленным этой системой технического зрения координатам текущей характерной точки объекта работ, из выбранной ячейки памяти извлекают три числа, которые определяют оптические искажения подводного пространства, вносимые видеокамерами используемой системы технического зрения в наблюдаемой малой области рабочего пространства вблизи текущей характерной точки объекта работ, и с их помощью уточняют реальное пространственное расположение указанной характерной точки в системе координат, связанной с используемой системой технического зрения, затем уточненное пространственное расположение этой характерной точки передают из указанной системы координат в систему координат, жестко связанную с основанием манипулятора, который в зависимости от поставленной задачи после аналитического решения обратной задачи кинематики и последующего использования этого решения точно перемещает свой рабочий орган сразу же в рассматриваемую характерную точку объекта работ или близко к ней, всю указанную процедуру повторяют для всех характерных точек всех объектов работ.