Способ выполнения манипуляции с объектом Российский патент 2023 года по МПК B25J9/16 B25J13/08 

Описание патента на изобретение RU2800443C1

Изобретение относится к робототехнике, в частности, к роботизированным системам для манипулирования объектами посредством манипулятора с захватным устройством.

В патенте США US 9552673 раскрывается способ и устройство для имитации захвата виртуального объекта в дополненной реальности. Для отслеживания положения руки оператора может применяться сенсорная перчатка, при этом наличие камеры для отслеживания положения руки оператора не требуется. Указано, что движение руки отслеживают путем моделирования формы руки и объекта структурированными периодическими узорами.

Заявка на патент США US 2017136632 описывает исключение некорректных положений захватов объектов из возможных вариантов при помощи оператора. Затем данные могут передаваться на вход системы машинного обучения. Кроме того, на вход могут подаваться данные захватного устройства, сгенерированные путем моделирования объекта и захвата в какой-либо среде моделирования. Параметры захватного устройства генерируются самой системой, и чем ближе место захвата к центру объекта, тем захват считается лучше.

В патенте США US 9014857 раскрывается способ генерирования видов захвата для применения роботом, имеющим трехпальцевое захватное устройство. Способ включает генерирование множества направлений приближения, каждое из которых перпендикулярно поверхности объекта. Для каждого из направлений приближения определяется набор видов захвата; для каждого из видов захвата по каждому из направлений высчитывается коэффициент качества захвата. Для захвата объекта выбирается захват, коэффициент качества которого выше заданного. Каждый вид захвата, коэффициент качества которого превышает заданный, сохраняется в базе данных, включая данные об изначальном положении захватного устройства, информацию о преобразовании и значение коэффициента качества.

В международной публикации WO 2019045779 описаны система и метод для устойчивого захвата объектов. Обучающий набор данных генерируется на основе трехмерных моделей объектов. В обучающий набор данных включен показатель качества захвата, и эти данные подаются на вход нейронной сети. Трехмерные модели объектов могут включать данные о массе объектов (свойствах распределения массы по объекту), свойства вещества объекта. Виды захватов могут подразделяться на классы.

В патенте США US 9914213 также раскрываются система и способ машинного обучения для осуществления захвата. Здесь набор обучающих данных формируется из данных, полученных при попытках робота захватить объект.

Патент РФ RU 2700246 раскрывает способ и систему захвата объекта с помощью роботизированного объекта, в котором роботизированное устройство обучается с использованием алгоритма машинного обучения для распознавания и запоминания точек захвата объектов. Обучение выполняется на данных, характеризующих фотографические изображения объектов и соответствующие трехмерные модели объектов в различных видах. Это позволяет повысить точность распознавания области захвата объекта роботизированным устройством. Несмотря на это, точность распознавания области захвата объекта может оказаться недостаточной для применения известного способа и системы пользователем с ограниченными или нарушенными двигательными функциями. Кроме того, такая система требует достаточно длительного обучения, а выбор объекта манипулирования из нескольких объектов вообще не предусмотрен.

Из заявки на патент США US 2017021500 известны системы и способы определения данных о смещении роботизированной установки в рабочей среде. Робот, работающий в рабочей среде, может получить указание для определения рабочего смещения. Рабочее смещение может описывать местоположение и угловую ориентацию рабочей плоскости рабочей среды относительно базовой плоскости робота. В ответ на указание робот может идентифицировать рабочую плоскость. Робот может управляться для контакта с одной или несколькими точками рабочей плоскости; определять соответствующие местоположения точек контактируемых точек относительно базовой плоскости на основе соответствующих положений робота в соответствующие моменты времени контакта; определять местоположение и угловую ориентацию рабочей плоскости относительно базовой плоскости на основании определенных соответствующих точечных местоположений контактирующих точек.

Заявка на патент США US 2019240843 описывает способ манипулирования деформируемым объектом, который включает определение соответствующего трехмерного положения одного или нескольких маркеров на деформируемом объекте, удерживаемом роботизированным манипулятором, а также определения модели деформации деформируемого объекта путем отображения движения робота-манипулятора и движения одного или нескольких маркеров. Управляют роботизированным манипулятором на основе определенной модели деформации, чтобы манипулировать деформируемым объектом и перемещать один или несколько маркеров в соответствующую позицию.

Известные манипуляторы и алгоритмы их работы рассчитаны на манипуляцию с объектами известного назначения, а значит, известной формы и трехмерного форм-фактора. Обучение часто проводится самой системой, что повышает количество ошибок при ее последующем использовании, а также увеличивает количество объектов в базе объектов, а значит, усложняет критерии выбора подходящего объекта, поскольку выбор алгоритма захвата объекта привязан к самому объекту, и изменение параметров или неточности в этих параметрах могут вызвать проблемы с захватом либо привести к невозможности осуществления захвата и манипуляции с объектом.

Таким образом, существует задача разработки такого способа выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством, который позволяет выполнять манипуляции с произвольным объектом произвольного назначения и трехмерного форм-фактора, либо выбрать оптимальный способ захвата такого объекта, либо определить, что данным захватным устройством данный объект захватить невозможно, либо захват возможен, но будет неустойчив.

Техническим результатом изобретения является обеспечение возможности захвата и манипуляции с высокой точностью ранее неизвестными объектами, а также объектами сложной формы.

Поставленная задача решается, а заявленный технический результат достигается в предложенном способе выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством, который включает следующие этапы:

a) обеспечение библиотеки способов захвата объектов указанным захватным устройством, которая содержит информацию о трехмерных форм-факторах объектов с которыми может работать указанное захватное устройство с заданной степенью вероятности, а для каждого трехмерного форм-фактора объекта информацию о позициях предзахвата, позициях захвата и состояниях захватного устройства, при этом состояниями захватного устройства являются захват устойчив в горизонтальной и вертикальной плоскости, захват устойчив в горизонтальной плоскости, захват неустойчив в горизонтальной плоскости, причем библиотеку выполняют в виде нейронной сети с категориальным выходом, классы которой соответствуют способам захвата, а до этапа а) осуществляют обучение нейронной сети с использованием карты глубины;

b) получение формы объекта, размеров объекта и точки положения объекта;

c) получение сцены вокруг объекта;

d) определение возможности захвата объекта с использованием библиотеки, формы объекта и размеров объекта;

e) выбор позиции предзахвата захватного устройства с использованием библиотеки, формы объекта, размеров объекта и сцены вокруг объекта;

f) определение оптимального способа захвата с использованием библиотеки, формы объекта и размеров объекта;

g) определение положения захватного устройства;

h) подвод захватного устройства в точку предзахвата и установку захватного устройства в позицию предзахвата;

i) выполнение захвата объекта, и

j) выполнение требуемой манипуляции с объектом.

Поставленная задача решается, а заявленный технический результат достигается также в частных вариантах реализации способа выполнения манипуляции с объектом, которыми, однако, данное изобретение не ограничивается.

Так, является предпочтительным, если получение сцены вокруг объекта выполняют на всех последующих этапах, начиная с этапа выбора позиции предзахвата захватного устройства (этап с), т.е., по сути, непрерывно, и при изменении сцены вокруг объекта, при необходимости, корректируют этап выбора позиции предзахвата захватного устройства (этап е).

Библиотека содержит информацию о трехмерных форм-факторах объектов, с которыми может работать указанное захватное устройство с заданной степенью вероятности. При этом для каждого форм-фактора объекта в библиотеке содержится информация о позициях предзахвата, позициях захвата и состояниях захватного устройства. Указанными состояниями захватного устройства могут являться, в частности, следующие состояния: захват устойчив в горизонтальной плоскости и вертикальной плоскости; захват устойчив в горизонтальной плоскости; захват неустойчив в горизонтальной плоскости.

В предпочтительном варианте исполнения изобретения библиотеку выполняют в виде нейронной сети с категориальным выходом, причем классы нейронной сети соответствуют способам захвата. Обучение нейронной сети выполняют заранее, с использованием карты глубины, о чем более подробно будет сказано ниже.

Далее заявленный способ выполнения манипуляции с объектом и некоторые варианты его осуществления более подробно поясняются со ссылкой на фигуру, на которой схематично представлена блок-схема алгоритма захвата объекта для целей выполнения манипуляции с ним.

Для выполнения манипуляции с объектом может быть использована любая известная роботизированная система, представляющая собой манипулятор с установленным на нем захватным устройством (также называемым роботизированной рукой, схватом и др.). Как правило, такие системы содержат стереокамеру, с помощью которой получают изображения объектов и изображения окрестности представляющего интерес объекта, называемого сценой (или сценой вокруг объекта). Кроме того, система должна позволять определять форму и размеры объекта (или трехмерный форм-фактор объекта), точку положения объекта, а также точку положения захватного устройства. При этом, как будет показано далее, предпочтительно, чтобы указанные данные система могла определять в истинных координатах, или глобальных координатах, т.е. в координатах объекта или стереокамеры, а не относительных координатах изображения.

Согласно алгоритму, представленному на фигуре, для выполнения требуемой манипуляции с объектом посредством роботизированной руки, снабженной захватным устройством, необходимо сформировать библиотеку способов захвата объекта конкретно данным захватным устройством. Замена захватного устройства на другое, вообще говоря, может потребовать формирования другой библиотеки способов захвата. Это обусловлено тем, что захватные устройства могут иметь различное количество пальцев, их размеры, подвижность, силу захвата и другие параметры, учет которых необходим для обеспечения определения вероятности успешного полного или частичного захвата того или иного объекта.

Библиотека способов захвата, далее для краткости также именуемая библиотекой, позволяет для произвольного объекта произвольного назначения и форм-фактора выбрать оптимальный способ захвата, или определить, что данным захватным устройством данный объект захватить невозможно, или определить, что данным захватным устройством данный объект захватить возможно, но захват будет неустойчив.

В предпочтительном варианте реализации заявленного способа библиотеку выполняют в виде нейронной сети, для которой классами являются способы захвата, причем способами захвата, согласно изобретению, являются следующие: захват устойчив в горизонтальной плоскости и вертикальной плоскости; захват устойчив в горизонтальной плоскости; захват неустойчив в горизонтальной плоскости.

Захват считается устойчивым в горизонтальной плоскости и вертикальной плоскости, если определено, что объект из захватного устройства не выскальзывает, допустимы любые трехмерные перемещения объекта и наклон объекта на угол в пределах заданного либо на произвольный угол. В этом случае захват считается полностью устойчивым.

Захват считается устойчивым в горизонтальной плоскости, если определено, что вертикальная фиксация отсутствует. Отрыв и подъем объекта от опорной плоскости невозможен (т.е. при отрыве объект с большой долей вероятности выпадет из захватного устройства), но без отрыва от опорной плоскости допустимо любое перемещение объекта. В этом случае захват считается частично устойчивым.

Захват считается неустойчивым в горизонтальной плоскости, если определено, что полная горизонтальная фиксация объекта невозможна (например, объект невозможно обхватить пальцами), но возможно передвижение объекта в некотором наборе направлений без отрыва от поверхности. Отрыв объекта от опорной плоскости также невозможен. В этом случае захват считается неустойчивым.

Соответственно, сценарий манипуляций с объектом должен учитывать устойчивость захвата. Например, если нет необходимости отрывать объект от опорной плоскости, а нужно только передвинуть его, можно выбрать любой вариант устойчивости захвата, в том числе частично устойчивый захват или даже неустойчивый захват. Если же требуется осуществить перемещение объекта по вертикали с отрывом от опорной плоскости (например, требуется поднять стакан), то необходимо использовать только полностью устойчивый захват.

После получения системой информации об объекте, с которым пользователь собирается совершить требуемую манипуляцию, такой как форма объекта, размеры объекта и точка положения объекта (это можно осуществить, например, посредством стереокамеры), определяют, можно ли данный объект захватить используемым захватным устройством, и если да, какие способы захвата доступны системе (см. фигуру). В противном случае система выдает сообщение о невозможности выполнить захват.

Далее, библиотека может содержать информацию о трехмерных форм-факторах объектов, с которыми может работать указанное захватное устройство с заданной степенью вероятности. При этом для каждого трехмерного форм-фактора объекта библиотека может содержать информацию о позициях предзахвата, позициях захвата и состояниях захватного устройства.

Для захвата объекта захватное устройство вначале устанавливают в позицию предзахвата. Позиция предзахвата - это то положение захватного устройства вблизи выбранного объекта, из которого захватное устройство должно выполнить однозначно заданные действия именно для захвата объекта, причем предполагается, что захватное устройство находится вблизи объекта, и между захватным устройством и объектом нет препятствий. До позиции предзахвата движение захватного устройства обусловлено, в общем случае, только условием не задевания препятствий и подведением захватного устройства к выбранному объекту в позицию предзахвата, и при этом правильная ориентация захватного устройства и положение его пальцев являются несущественными.

Например, необходимо взять чайник за ручку. Позиция предзахвата - это положение захватного устройства с правильно расположенными пальцами возле ручки чайника. До позиции предзахвата захватное устройство просто доставляется в нужную позицию в обход препятствий на его пути. Начиная с позиции предзахвата работает уже алгоритм захвата объекта (чайника): например, вначале пальцы захватного устройства и само захватное устройства движутся так, чтобы ручка чайника оказалась в нужной точке между пальцами захватного устройства, а затем движением пальцев чайник фиксируют в захватном устройстве.

Состояние захвата - это ориентация ладони и положение пальцев захватного устройства. Начиная с позиции предзахвата и до завершения процедуры захвата объекта в каждый момент времени должно быть обеспечено правильное состояние захватного устройства, чтобы правильно схватить объект: с нужной стороны подвести захватное устройство, вначале пальцами не задеть объект, чтобы он не передвинулся, а затем, после подвода захватного устройства, пальцами зафиксировать объект.

После получения системой информации о возможности захватить данный объект захватным устройством, используя данные библиотеки, а также информацию о форме, размерах объекта и его расположении, определяют оптимальную позицию предзахвата для данного объекта (например, для стоящего стакана это позиция сбоку - пальцы захватного устройства готовы схватить стакан с боков; для того же стакана, лежащего на боку, это позиция сверху - пальцы готовы схватить стакан сверху). Для объекта может существовать несколько вариантов позиции предзахвата, например, одна для захвата сбоку за корпус, вторая - для захвата сбоку за ручку, третья - для захвата сверху за корпус. Тогда оптимальной позицией предзахвата считается та, которая, согласно информации по данным библиотеки, оказалась удачной для максимального класса близких ситуаций и объектов.

Одновременно с оптимальной позицией предзахвата из конечного набора данных библиотеки определяется оптимальный алгоритм захвата, т.е. оптимальные движения пальцев и самого захватного устройства.

Как было указано выше, библиотека захватов может быть реализована как нейронная сеть. Предпочтительно, если это нейронная сеть с категориальным выходом, в которой на основании входных данных библиотека предлагает все возможные позиции предзахвата с указанием веса каждой из них. Соответственно, вес оптимальных позиций предзахвата близок к 1 (единице), а вес нецелесообразных или непригодных позиций предзахвата близок к 0 (нулю). Оптимальной является позиция предзахвата, вес которой самый близкий к 1, а понятие «возможность схватить» определяется именно как превышение весом позиции предзахвата заданного порога.

Как и для любой нейронной сети, сначала надо провести обучение библиотеки, что может быть выполнено различными известными способами. Ниже описан вариант обучения библиотеки, наиболее подходящий для целей настоящего изобретения.

На рабочем столе, в поле зрения стереопары располагают по одному различные предметы, которые может взять захватное устройство. На видео стереопары в формате карты глубины, в отдельном окне, в обычном видеоролике фиксируют положение руки человека-оператора, максимально подходящее для захвата лежащего предмета. На видеоролике предмет не должен загораживаться рукой (предполагается, что рука находится в положении предзахвата). При этом на руку оператора надета перчатка с пометками, позволяющими в автоматическом режиме определять декартовы координаты руки (например, на тыльной стороне перчатки и на ладони нанесены по одной уникальной метке). Также на перчатку нанесены метки, позволяющие определить пространственную угловую ориентацию руки (например, структурированный периодический узор, по проективным деформациям которого определяем углы ориентации перчатки в пространстве), и метки на пальцах для определения сжатия/разжимания захвата.

Оператор рукой, одетой в подготовленную перчатку, выполняет многократный захват различных объектов из различных позиций. Программа отслеживает трехмерное изображение руки и трехмерное изображение объекта. Когда вычисленное расстояние становится равным или меньше расстояния предзахвата, осуществляют серию записей в библиотеку, при этом каждая запись содержит трехмерную форму объекта, координаты кисти руки, ориентацию кисти руки, состояние сжатия руки. Все данные руки могут определяться обработкой изображений меток, нанесенных на перчатку. Так формируют выборку успешных захватов объектов.

На основе данной выборки успешных захватов объектов обучают нейронную сеть, которая по трехмерному форм-фактору объекта, получаемому от стереопары, предлагает «общепринятые» возвышение точки предзахвата над объектом, ориентацию захватного устройства и требуемые положения пальцев, а также, предпочтительно, более подробную инструкцию по условиям, необходимым для успешного выполнения захвата.

Возможны ситуации, когда объекты по форме одинаковы, но заметно отличаются по размерам. В этом случае библиотека определяет, насколько это важно для конкретного захватного устройства, т.е. насколько объекты разные, чтобы относить их к разным классам объектов. Например, для объектов «яблоко» и «бусина» может оказаться разным положение позиции предзахвата относительно объекта. Во-вторых, для этих объектов алгоритмы движения пальцев и захватного устройства также могут оказаться разными. В тех пределах, когда параметры позиции предзахвата и алгоритма движения пальцев могут быть вычислены использованием только размеров «яблока» или «бусины», они будут считаться одним объектом с разными размерами. При выходе за данные пределы, когда будет нужна другая позиция предзахвата и/или алгоритм движения пальцев, «яблоко» либо «бусинка» будет считаться другим объектом с другим алгоритмом выполнения захвата.

Результатом является создание библиотеки способов захвата для данного захватного устройства, которая работает как нейронная сеть и определяет, какие объекты могут быть схвачены и каким образом. Важным является то, что, как было указано выше, фиксация видеоизображений осуществляется в формате карты глубин. За счет этого не происходит фиксации обучающейся нейронной сети на мелкие и несущественные детали, а кроме того, значительно уменьшается количество предметов (объектов).

Особенностью метода использования карты глубин, отличающего его от известных аналогов, является то, что детекцию и идентификацию объектов на изображениях выполняют не на изображении точек в пиксельных координатах (относительных координатах на самом изображении), а на двухмерном изображении в шкале серого (предпочтительно, 8-битного), в котором яркость точки зависит от истинного расстояния до точки, т.е. от истинных координат точки, или глобальных координат. При этом детектированию и идентификации подвергают не узоры, рисунки, надписи на объектах и т.п., а темные силуэты объектов на светлом фоне. Поскольку фон является более удаленным, чем объекты, и между фоном и объектами есть некоторое расстояние, фон на двухмерном изображении в шкале серого светлее объектов, причем образуется контрастная граница между фоном и объектами. Объекты выглядят компактными, контрастными темными силуэтами именно потому, что они расположены ближе, чем фон, и чем ближе объект, тем темнее силуэт объекта. Как следствие, периодические, квазипериодические и стохастические узоры, вообще свойства прозрачности фона и объектов не влияют на процесс детекции и идентификации, потому что обрабатывается только геометрический силуэт, полученный из карты глубин. На этом этапе данные о цветовых и оптических характеристиках объекта уже отсутствуют, т.к. они отсеиваются на этапе стереореконструкции, когда вместо видимого двумерного изображения работают с картой глубин, а на карте глубин данные о раскраске объекта отсутствуют.

После определения оптимальной позиции предзахвата для данного объекта определяют положение захватного устройства (в общем случае это можно сделать и раньше) и подводят захватное устройство в точку предзахвата. Например, захватное устройство подводят в точку предзахвата, которая находится на расстоянии от 0,01 до 0,1 м до объекта; находится в вертикальной плоскости, проходящей через центр объекта и точку крепления захватного устройства.

Далее устанавливают захватное устройство в выбранную позицию предзахвата. Положение захватного устройства рассчитывают только для достижения положения позиции предзахвата. При заданном числе пальцев захватного устройства для объекта должна быть определена позиция предзахвата, куда и будет доставлено захватное устройство. От числа пальцев зависит только положение позиции предзахвата относительно объекта, классы объектов, которые могут быть схвачены, и собственно алгоритмы выполнения захвата (то есть движения пальцев и захватного устройства с целью захвата).

Далее осуществляют захват объекта и, наконец, осуществляют требуемую манипуляцию с объектом.

Как было указано выше, для выполнения манипуляции используется роботизированная система, содержащая стереокамеру, с помощью которой, помимо прочего, получают изображения пространства вокруг представляющего интерес объекта, называемого сценой (или сценой вокруг объекта). Сцена определяет, в частности, путь подвода захватного устройства в точку предзахвата, так чтобы не были задеты другие объекты.

Предпочтительно, если сцена определяется всегда и постоянно, например, в фоновом режиме, поскольку она может меняться. Алгоритм движения захватного устройства может быть остановлен либо изменен в соответствии с изменениями сцены.

Например, требуется захватить яблоко, и, соответственно, сначала подвести захватное устройство в точку предзахвата и перевести его в позицию предзахвата. Если в процессе выполнения алгоритма движения захватного устройства вблизи точки предзахвата появляется кошка, либо кошка появляется там, где будет происходить захват, либо по какой-то причине произойдет перемещение яблока, позиция предзахвата может быть признана непригодной. Тогда захватное устройство будет отведено от яблока как от препятствия, будет произведен поиск новой позиции предзахвата, где есть яблоко и нет кошки, и в эту новую позицию предзахвата будет доставлено захватное устройство. Далее произойдет захват яблока: пальцы захватного устройства будут разведены влево-вправо, затем захватное устройство будет приближено к яблоку, затем пальцы будут сведены на яблоке.

Заявленный способ выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством был успешно испытан на объектах с горизонтальным диаметром до 10 см, высота объекта не ограничена. За счет того, что в способе предусмотрена работа с картами глубин, не происходило фиксации обучающей программы библиотеки на мелких и несущественных деталях, а кроме того сильно уменьшилось количество объектов библиотеки. Способ является универсальным в том смысле, что фактически возможно захватить все, что захватное устройство теоретически способно удержать. При этом способ является адаптивным по отношению к объекту, позволяет для произвольного объекта произвольного назначения и форм-фактора либо выбрать оптимальный способ захвата, либо определить, что данным захватным устройством данный объект захватить невозможно или возможно, но захват будет неустойчивым.

Похожие патенты RU2800443C1

название год авторы номер документа
Способ получения набора объектов трехмерной сцены 2019
  • Новиков Андрей Владимирович
  • Герасимов Владимир Николаевич
  • Горбачев Роман Александрович
  • Швиндт Никита Евгеньевич
  • Новиков Владимир Иванович
  • Ефременко Андрей Евгеньевич
  • Шишков Дмитрий Леонидович
  • Зарипов Михаил Нилович
  • Козин Филипп Александрович
  • Старостенко Алексей Михайлович
RU2803287C1
СПОСОБ И СИСТЕМА ЗАХВАТА ОБЪЕКТА С ПОМОЩЬЮ РОБОТИЗИРОВАННОГО УСТРОЙСТВА 2019
  • Ефимов Альберт Рувимович
  • Сёмочкин Александр Николаевич
  • Морошкин Святослав Дмитриевич
  • Забихифар Сейедхассан
RU2700246C1
СПОСОБ И СИСТЕМА ЗАХВАТА ОБЪЕКТОВ С ПОМОЩЬЮ РОБОТИЗИРОВАННОГО УСТРОЙСТВА 2020
  • Семочкин Александр Николаевич
  • Статовой Дмитрий Александрович
  • Егоров Дмитрий Александрович
  • Постников Алексей Леонидович
  • Селиверстова Елена Владимировна
  • Забихифар Сейедхассан
  • Гонноченко Алексей Сергеевич
RU2745380C1
СПОСОБЫ И СИСТЕМЫ МАНИПУЛИРОВАНИЯ ОБЪЕКТАМИ С ПОМОЩЬЮ РОБОТА ДЛЯ КОНКРЕТНОГО ПРИМЕНЕНИЯ В ИНСТРУМЕНТАЛЬНОЙ СРЕДЕ С ЭЛЕКТРОННЫМИ БИБЛИОТЕКАМИ МИНИ-МАНИПУЛЯЦИЙ 2015
  • Олейник Марк
RU2756863C2
РОБОТИЗИРОВАННАЯ КУХОННАЯ СИСТЕМА 2015
  • Олейник Марк
RU2743044C1
РОБОТИЗИРОВАННАЯ КУХОННАЯ СИСТЕМА (ВАРИАНТЫ), СПОСОБ УПРАВЛЕНИЯ И КУХОННЫЙ МОДУЛЬ С ЕЁ ИСПОЛЬЗОВАНИЕМ (ВАРИАНТЫ) 2015
  • Олейник Марк
RU2743194C1
СПОСОБ И УСТРОЙСТВО ДЛЯ ВЗАИМОДЕЙСТВИЯ С ВИРТУАЛЬНЫМИ ОБЪЕКТАМИ 2015
  • Аверьянов Виталий Витальевич
  • Комисаров Андрей Валерьевич
RU2601169C1
СПОСОБЫ И СИСТЕМЫ ДЛЯ ПРИГОТОВЛЕНИЯ ПИЩИ НА РОБОТИЗИРОВАННОЙ КУХНЕ 2015
  • Олейник Марк
RU2699690C2
Роботизированный модуль для сортировки твердых бытовых отходов 2023
  • Ефимцев Денис Андреевич
  • Гравчиков Сергей Александрович
  • Ульянов Евгений Евгеньевич
RU2815930C1
СПОСОБ И СИСТЕМА ПРЕДИКТИВНОГО ИЗБЕГАНИЯ СТОЛКНОВЕНИЯ МАНИПУЛЯТОРА С ЧЕЛОВЕКОМ 2018
  • Постников Алексей Леонидович
  • Гамаюнов Александр Русланович
  • Затягов Денис Дмитриевич
  • Ефимов Альберт Рувимович
RU2685996C1

Иллюстрации к изобретению RU 2 800 443 C1

Реферат патента 2023 года Способ выполнения манипуляции с объектом

Изобретение относится к роботизированным системам для манипулирования объектами посредством манипулятора с захватным устройством. Способ выполнения манипуляции с объектом посредством роботизированной руки включает следующие этапы: обеспечение библиотеки способов захвата объектов захватным устройством руки, получение формы объекта, его размеров и точки положения, получение сцены вокруг объекта, определение возможности захвата объекта, выбор позиции предзахвата захватного устройства, определение оптимального способа захвата и положения захватного устройства, подвод захватного устройства в точку предзахвата и установка захватного устройства в позицию предзахвата, выполнение захвата и требуемой манипуляции с объектом. В результате обеспечивается возможность захвата и манипуляции с высокой точностью ранее неизвестными объектами и объектами сложной формы. 2 з.п. ф-лы, 1 ил.

Формула изобретения RU 2 800 443 C1

1. Способ выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством, включающий следующие этапы:

a) обеспечение библиотеки способов захвата объектов указанным захватным устройством, которая содержит информацию о трехмерных форм-факторах объектов, с которыми может работать указанное захватное устройство с заданной степенью вероятности, а для каждого трехмерного форм-фактора объекта информацию о позициях предзахвата, позициях захвата и состояниях захватного устройства, при этом состояниями захватного устройства являются: захват устойчив в горизонтальной и вертикальной плоскости, захват устойчив в горизонтальной плоскости, захват неустойчив в горизонтальной плоскости, причем библиотеку выполняют в виде нейронной сети с категориальным выходом, классы которой соответствуют способам захвата, а до этапа а) осуществляют обучение нейронной сети с использованием карты глубины;

b) получение формы объекта, размеров объекта и точки положения объекта;

c) получение сцены вокруг объекта;

d) определение возможности захвата объекта с использованием библиотеки, формы объекта и размеров объекта;

e) выбор позиции предзахвата захватного устройства с использованием библиотеки, формы объекта, размеров объекта и сцены вокруг объекта;

f) определение оптимального способа захвата с использованием библиотеки, формы объекта и размеров объекта;

g) определение положения захватного устройства;

h) подвод захватного устройства в точку предзахвата и установка захватного устройства в позицию предзахвата;

i) выполнение захвата объекта и

j) выполнение требуемой манипуляции с объектом.

2. Способ по п. 1, в котором получение сцены вокруг объекта выполняют на всех последующих этапах, начиная с этапа с).

3. Способ по п. 2, в котором при изменении сцены вокруг объекта корректируют этап е).

Документы, цитированные в отчете о поиске Патент 2023 года RU2800443C1

СПОСОБ, КОМПЬЮТЕРНАЯ ПРОГРАММА И УСТРОЙСТВО ДЛЯ ОПРЕДЕЛЕНИЯ МЕСТА ЗАХВАТА 2011
  • Лукка, Туомас
RU2594231C2
СПОСОБ И СИСТЕМА ЗАХВАТА ОБЪЕКТА С ПОМОЩЬЮ РОБОТИЗИРОВАННОГО УСТРОЙСТВА 2019
  • Ефимов Альберт Рувимович
  • Сёмочкин Александр Николаевич
  • Морошкин Святослав Дмитриевич
  • Забихифар Сейедхассан
RU2700246C1
СПОСОБ ВЫБОРА ФИЗИЧЕСКИХ ОБЪЕКТОВ В РОБОТЕХНИЧЕСКОЙ СИСТЕМЕ 2011
  • Валпола, Харри
  • Лукка, Туомас
RU2566226C2
СИСТЕМА УПРАВЛЕНИЯ АНТРОПОМОРФНЫМ РОБОТОМ И СПОСОБ УПРАВЛЕНИЯ 2007
  • Толстель Олег Владимирович
RU2361726C2
Многоступенчатая активно-реактивная турбина 1924
  • Ф. Лезель
SU2013A1

RU 2 800 443 C1

Авторы

Новиков Андрей Владимирович

Герасимов Владимир Николаевич

Горбачев Роман Александрович

Швиндт Никита Евгеньевич

Новиков Владимир Иванович

Ефременко Андрей Евгеньевич

Шишков Дмитрий Леонидович

Зарипов Михаил Нилович

Козин Филипп Александрович

Старостенко Алексей Михайлович

Даты

2023-07-21Публикация

2019-12-23Подача