СПОСОБ ИЗГОТОВЛЕНИЯ ПЕРЧАТКИ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ Российский патент 2018 года по МПК G06F3/01 

Изобретение относится к манипуляторам и может быть использовано при изготовлении виртуальных перчаток, предназначенных для работы с интерактивными устройствами, компьютерной робототехникой и компьютером.

Из уровня техники известно решение KR 100221335, где описана система и способ передачи перчаткой значение датчика в системе виртуальной реальности, включающая в себя ряд датчиков, измеряющих движения запястья и пальцев рук и вывода электрического сигнала; мультиплексор выбирает количество сигналов датчиков, включенных в одну из групп датчиков. Цель патента принципиально отличается от заявленного решения. В аналоги описана именно скоростная передача данных между датчиками и системой виртуальной реальности. В заявленном решении метод передачи данных не имеет никакого значения.

В патенте CN 1480822 описано устройство для ввода данных для людей с ограниченными возможностями, представляющее собой перчатку, имеющую множество датчиков, способных обнаруживать движение пальцев, значительно быстрее, чем обычно требуется для нажатия клавиш в обычной клавиатуре; датчик содержит детектор виртуальных клавиш и ключевой декодер, оба из которых по отдельности калиброваны. Отличается назначение перчатки и метод детекции. В аналоге предлагается осуществлять взаимодействие путем прикосновений к определенным датчикам перчатки для людей с ограниченными способностями, прикосновения будут передавать на внешнее устройство. Заявленное нами решение определяет именно движения и положения пальцев и руки для передачи на внешнее устройство. В заявке US 20150002401 описаны альтернативные перчатки на основе «ключа» для мобильных устройств, включающие в себя, по меньшей мере, одну пару перчаток, множество датчиков, расположенных на первой стороне, по меньшей мере, два экрана, расположенных с каждой стороны перчатки. Задачей перчатки является ввод каких-то ключей для мобильных устройств. При этом перчатка не детектирует движение и положения пальцев и руки, как это делает заявленное решение.

В патенте US 6870526 описана перчатка мышь с виртуальным отслеживанием курсора, предназначенная для контроля перемещения курсора и обеспечения функции компьютерной мыши. Представленная перчатка предназначена только для управления курсором и мышки.

Заявленное нами решение может не только управлять курсором мышки, но и определять движение всех пальцев и руки для создания цифровой 3D модели руки в виртуальном пространстве.

В патенте US 7205979 описано устройство формирования управляющих сигналов для манипулирования виртуальными объектами в компьютерной системе в соответствии с жестами оператора или другими частями тела; устройство включает в себя перчатку, которая включает датчики для обнаружения жестов кисти руки, а также сенсоры положения рук, соединенные с перчаткой и подключенные к компьютерной системе для определения положения руки по отношению к системе.

Отличается принципом определения жестов руки. В аналоге жесты определяются по средствам внешних датчиков установленных например на мониторе компьютера. Заявленное нами решение использует встроенные прямо в перчатку инерционные датчики.

В решении ЕР 2624238 описан виртуальный макет с тактильной рукой, имеющий смоделированные объекты, которые манипулируются с помощью носимых на руках перчаток во время работы тренажера. В перчатке на пальцах расположены 3D общие средства обнаружения движения, интегрированные вместе с по меньшей мере одним датчиком задач взаимодействия и одним тактильным компонентом. В аналоге не конкретизировано, как и именно датчики движений используются. В заявленном решении конкретизировано использование инерционных датчиков с акселерометром и гироскопом.

В международной заявке WO 98050839, описана система для управления данными на основе жестов, предназначенная для обработки компьютерной анимации в реальном времени, таких как виртуальная реальность, и управляется на компьютере. Система включает в себя цифровую перчатку для управления данными на основе жестов рук оператора. Решение основано на использовании материалов, которые меняют свое сопротивление при сгибании.

Отличием заявленной полезной модели - использование инерционных датчиков. В международной заявке WO 2007129663 (опубл.: 15.11.2007), описано устройство ввода с использованием датчиков, установленных на палец. Пользователь надевает перчатки с пальцами, каждый из которых имеет датчик обнаружения движения и тактильный датчик для каждого из кончиков пальцев на обеих руках. Информация движения на каждом из кончиков пальцев передается на различные информационные устройства, такие как персональный компьютер (ПК), карманный компьютер, и сотовый телефон, так что позиции соответствующих кончиков пальцев отображаются на виртуальной клавиатуре на дисплее одного из устройств обработки информации.

В аналоге не конкретизировано, как и именно датчики движений используются. В заявленном решении конкретизировано использование инерционных датчиков с акселерометром и гироскопом.

Наиболее близким аналогом является виртуальная перчатка по патенту US 9060385, опубл.: 16.06.2015. В прототипе описана перчатка виртуальной реальности, содержащая датчики, расположенные на пальцах перчатки, и сенсоры положения рук, расположенные на фалангах пальцев перчатки, причем датчики подключены к микропроцессору. Недостатком прототипа и иных известных решений является следующее. Как известно, тактильный анализатор обладает высокой способностью к пространственной локализации. Характерная его особенность - быстрое развитие адаптации (привыкания), т.е. исчезновение чувства прикосновения или давления. Время адаптации зависит от силы раздражителя, для различных участков тела оно колеблется от 2 до 20 секунд. Благодаря адаптации мы не чувствуем прикосновение одежды к телу. См. [Экзерцева Екатерина Вадимовна, Тема 1.1. Общие вопросы безопасности жизнедеятельности, Российский государственный технологический университет им. К.Э. Циолковского (МАТИ), Лекции, http://www.studfiles.ru/preview/854779/page:6/]

Аналогичные проблемы работы с виртуальными перчатками вызывают и известные аналоги, что снижает эффект восприятия у пользователя с течением определенного времени работы в них.

Недостатком использования IMU-сенсоров без дополнительного внешнего "трекинга" (трекинг - определение местоположения движущихся объектов во времени с помощью камеры) является проблема "дрифта" - накоплению погрешности гироскопических/инерциальных датчиков, существенному отклонению получаемых данных от реальных и, как следствие, невозможности точного абсолютного позиционирования.

Для решения этой проблемы приходится накладывать ограничения на получаемые данные, ограничивая тем самым подвижность "виртуальной руки" - рука фиксируется в локтевом суставе. Таким образом, все движения интерпретируются в рамках полусферы, которую может описать кисть при зафиксированном локтевом суставе - движения руки в горизонтальной плоскости полностью игнорируются, что доставляет неудобства на практике.

Задачей изобретения является устранение указанных проблем.

Техническим результатом изобретения является возможность получать и передавать в компьютер или другое устройство данные о положении пальцев, кистей рук, локтевых и плечевых суставов, а также осуществлять тактильную обратную связь путем передачи вибрации на пальцы.

Также техническим результатом является более точное (позиционирование) вычисление положения кисти в пространстве и придание дополнительной степени свободы руке, устранение проблемы "дрифта".

Также техническим результатом является возможность фиксировать виртуальную модель руки не в локтевом суставе, а в плечевом и с высокой точностью распознавать и передавать на компьютер или иное устройство всех возможных движений руки, в том числе и в горизонтальной плоскости.

Еще одним преимуществом перед другими известными устройствами, основанными только на внешнем трекинге, является возможность использования вне стационарно оборудованных помещений, что удобно при использовании решения вместе с мобильными устройствами (смартфонами), или портативными решениями виртуальной и дополненной реальностей.

Указанный технический результат достигается за счет того, что заявлен способ изготовления перчатки виртуальной реальности, использующий датчики, расположенные на пальцах перчатки, причем датчики подключают к системной плате, отличающийся тем, что в качестве датчиков используют сенсоры IMU, которые устанавливают на пальцы перчатки, причем на указательный, средний, безымянный пальцы и мизинец устанавливают по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони; на большой палец устанавливают два датчика - на первую и на вторую фалангу, с внешней стороны; дополнительно IMU-сенсоры устанавливают на кисть руки; IMU-сенсоры с помощью кабеля подключают к системной плате; дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещают вибрационные моторы, которые крепят аналогичным IMU-сенсорам способом, и также с помощью кабеля подключают к системной плате; на плечевом суставе дополнительно закрепляют плечевой модуль с IMU-сенсором, который подсоединяют к системной плате с помощью кабеля через разъем совмещенного модуля, либо беспроводным способом. IMU-сенсоры могут быть закреплены с помощью тряпичной перчатки, будучи вшитыми в необходимых позициях, либо каждый датчик может быть закреплен независимо с помощью тряпичного или из другого материала.

Дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещают вибрационные моторы, которые крепят аналогичным IMU-сенсорам способом, и также с помощью кабеля подключают к системной плате. Используют корпус для модуля управления, в который помещают аккумулятор с расположенной поверх него системной платой.

На системную плату размещают по меньшей мере два фотодиода, при этом внешний корпус для модуля управления изготавливают из прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены фотодиоды, а в сам внешний корпус для модуля управления встраивают системную плату и аккумулятор. Дополнительный фотодиод устанавливают рядом с IMU-сенсором на запястье. Предпочтительно, дополнительный фотодиод располагают вместе с IMU-сенсором в плечевом модуле.

Посредством фотодиодов регистрируют световые сигналы, посылаемые парой специальных внешних световых излучателей, установленных стационарно, неподвижно и отдельно от описываемого контроллера (системной платы и набора сенсоров в виде перчатки или другой форме), по разные стороны от него. Излучатели выполняют таким образом, что они генерируют световые импульсы определенной длины, формы и направления, через определенные промежутки времени. Свет от излучателей испускают как в видимом, так и в инфракрасный, либо ультрафиолетовом диапазонах.

Посредством одного излучателя генерируют набор коротких импульсов света, а затем генерируют узкую полосу лазером, установленном на поворотном механизме, вращающемся в горизонтальной плоскости, а посредством другого излучателя параллельно, но в другие временные интервалы, генерируют такие же импульсы, но в вертикальной плоскости.

Данные о временных интервалах, последовательности световых импульсов, формы и характера импульсов, которые известны по параметрическим данным излучателей, сопоставляют с полученными через драйвер внешнего устройства: временем регистрации фотодиодами различных импульсов света, посредством чего вычисляют их координаты относительно излучателей в пространстве, затем эти данные используют для корректировки абсолютной позиции руки в пространстве, вычисленной с помощью IMU-сенсоров, и устраняют накопленную погрешность.

На системную плату размещают по меньшей мере два световых или инфракрасных светодиода, при этом внешний корпус для модуля управления изготавливают из прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены светодиоды, а в сам внешний корпус для модуля управления встраивают системную плату и аккумулятор.

Используют по меньшей мере две видеокамеры, от которых на внешнее устройство управления получают доступ к изображению с камер; на формируемых с камер изображениях находят позицию светодиодов и затем, используя данные о взаимном расположении камер, о линейном расстоянии между светодиодами и о получившемся размере и искажении (повороте/сжатии) изображения светодиодов вычисляют абсолютную позицию светодиодов в пространстве, после чего эти данные используют для корректировки абсолютной позиции руки в пространстве, вычисленную с помощью IMU-сенсоров, и устраняют накопленную погрешность.

Краткое описание чертежей

На Фиг. 1 показан пример выполнения перчатки с использованием на запястье и IMU сенсора и без использования фотодиодов.

На Фиг. 2 показан пример выполнения перчатки с использованием фотодиодов и расположенного на запястье совмещенного модуля, содержащего фотодиод и IMU сенсор.

На Фиг. 3 показан пример выполнения перчатки без использования фотодиодов в системной плате и расположенного на запястье совмещенного модуля, содержащего фотодиод и IMU сенсор.

На Фиг. 4 показан пример подключения к перчатке плечевого модуля.

На чертежах: 1 - перчатка, 2 - инерционный датчик (сенсор) IMU, объединяющий в себе акселерометр, гироскоп и магнитометр, 3 - вибрационный мотор, предназначенный для передачи ощущений вибрации, 4 - системная плата, 5 - аккумулятор, 6 - провода, 7 - корпус, объединяющий системную плату и аккумулятор, 8 - фотодиод, 9 - совмещенный модуль, 10 - плечевой модуль, 11 - соединительный провод между совмещенным модулем и плечевым модулем.

Осуществление изобретения

Заявленное решение позволяет получать и передавать в компьютер или другое устройство данные о положении пальцев, кистей рук, локтевых и плечевых суставов, а также осуществлять тактильную обратную связь путем передачи вибрации на пальцы. Это достигается следующим образом.

На пальцы устанавливаются гироскопические/инерциальные датчики (IMU-сенсоры): на указательный, средний, безымянный пальцы и мизинец устанавливается по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони; на большой палец устанавливается два датчика - на первую и на вторую фалангу, с внешней стороны. Дополнительно аналогичные датчики устанавливаются на кисть руки, с внешней стороны, и на запястье, с внешней или внутренней стороны ладони. Датчики могут быть закреплены в данных позициях с помощью тряпичной перчатки, будучи вшитыми в необходимых позициях, либо каждый датчик может быть закреплен независимо с помощью тряпичного (или из другого материала) кольца (крепления), надеваемого на палец/кисть/запястье, либо любым другим способом, обеспечивающим неподвижность датчика относительно пальца/кисти/запястья соответственно. В качестве IMU-сенсора может использоваться, например: https://www.digikey.com/product-detail/en/invensense/MPU-6000/1428-1005-1-ND/4038006

Датчики с помощью кабеля подключаются к модулю управления, расположенному на внешней стороне ладони в пластиковом корпусе. Модуль управления содержит электронику управления на основе микроконтроллера, радиомодуль беспроводной связи, аккумулятор.

Датчики постоянно собирают данные о движении и передают их микроконтроллеру, который по радиоканалу передает эти данные на компьютер или другое устройство. На компьютере (или другом устройстве) установлено программное обеспечение-драйвер, которое использует данные сдатчиков (угловые скорости и векторы ускорения) и преобразует их в кватернионы поворота пространства для следующих суставов: поворот(сгиб) последней фаланги пальца относительно ладони для указательного, среднего, безымянного пальцев и мизинца, в вертикальной плоскости относительно ладони; поворот указательного, среднего, безымянного пальцев и мизинца в горизонтальной плоскости (плоскости ладони); поворот/сгиб большого пальца относительно ладони в пространстве; поворот/сгиб кисти(ладони) относительно локтевого сустава; поворот локтевого сустава относительно плечевого сустава. Затем из полученных углов, с помощью алгоритмов инверсной кинематики (данных о связях суставов и их линейных размерах) вычисляются повороты всех остальных суставов и относительное положение всех суставов кисти руки.

Полученные данные затем предоставляются для доступа в виде программного интерфейса приложения (API) и могут быть использованы сторонними производителями программного обеспечения в любых целях.

Дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещается вибрационный мотор, который крепится аналогичным IMU-сенсорам способом, и также с помощью кабеля подключается к системной плате и микроконтроллеру.

Программный интерфейс приложения (API) позволяет запускать вибрационный мотор независимо на каждом из пальцев, задавая необходимые параметры широтно-импульсной модуляции (частоту/интенсивность вибрации).

Команда от программного интерфейса обрабатывается драйвером устройства и, через радиоканал, передается на микроконтроллер, который управляет непосредственно вибрационным мотором.

Таким образом, вибрация может контролироваться сторонними производителями программного обеспечения с помощью программного интерфейса приложения (API). В качестве вибрационного мотора может использоваться, например: https://ru.aliexpress.com/item/50pcs-DC3V-0820-8-2-0mm-Mobile-phone-micro-flat-vibration-motor-Coin-motor-Mini-vibrator/32783671636.html

Недостатком использования IMU-сенсоров без дополнительного внешнего "трекинга" (трекинг - определение местоположения движущихся объектов во времени с помощью камеры) является проблема "дрифта" - накоплению погрешности гироскопических/инерциальных датчиков, существенному отклонению получаемых данных от реальных и, как следствие, невозможности точного абсолютного позиционирования.

Для решения этой проблемы приходится накладывать ограничения на получаемые данные, ограничивая тем самым подвижность "виртуальной руки" - рука фиксируется в локтевом суставе. Таким образом, все движения интерпретируются в рамках полусферы, которую может описать кисть при зафиксированном локтевом суставе - движения руки в горизонтальной плоскости полностью игнорируются, что доставляет неудобства на практике.

По причине чего на плечевом суставе дополнительно закреплен еще один гироскопический/инерциальный датчик (IMU-сенсор), например, внутри плечевого модуля (10) (Фиг. 4) и подсоединен к системной плате (4) с помощью кабеля (11) через разъем совмещенного модуля (9).

Данные с датчика, передаются на микроконтроллер, и далее через радиоканал - в программное обеспечение-драйвер, где они используются для вычисления поворота локтевого сустава относительно плечевого, а также вращения локтевого сустава в перпендикулярной ему плоскости. Это позволяет более точно вычислять положение кисти в пространстве и придать дополнительные степени свободы руке. Благодаря такому подходу, можно зафиксировать виртуальную модель руки не в локтевом суставе, а в плечевом и с высокой точностью распознавать и передавать на компьютер (или иное устройство) все возможные движения руки, в том числе и в горизонтальной плоскости.

Для полного решения проблемы накапливаемой погрешности в вычисленной абсолютной позиции датчиков допустимо добавить поддержку внешнего "трекинга". Для этого, дополнительно, на модуль управления размещаются два или более фотодиодов, реагирующие на вспышки света. При этом корпус для модуля управления изготавливается из прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены фотодиоды. Еще один фотодиод располагается рядом с IMU-сенсором на запястье. Опционально еще один фотодиод также располагается вместе с IMU-сенсором на плечевом суставе.

Фотодиоды регистрируют световые сигналы, посылаемые парой специальных внешних свето-излучателей, установленных стационарно, неподвижно и отдельно от описываемого контроллера (системной платы и набора сенсоров в виде перчатки или другой форме), по разные стороны от него.

Излучатели запрограммированы особым образом и генерируют световые импульсы определенной длины, формы и направления, через определенные промежутки времени. Свет может излучаться как в видимом, так и в невидимых (инфракрасный, ультрафиолетовый) диапазонах.

Например, излучатель может генерировать набор коротких импульсов света, а затем генерировать узкую полосу лазером, установленном на поворотном механизме, вращающемся в горизонтальной плоскости. Другой излучатель может параллельно (но в другие временные интервалы) делать тоже самое, но в вертикальной плоскости. Временные интервалы, последовательность световых импульсов, форму и характер импульсов (например форму пучка света лазера и скорость поворотного механизма) известны заранее, эти данные сопоставляются программным обеспечением-драйвером со временем регистрации фотодиодами различных импульсов света, благодаря чему вычисляется их позиция относительно излучателей, и таким образом - абсолютная позиция фотодиодов в пространстве. Затем эти данные используются для корректировки абсолютной позиции руки в пространстве, вычисленную с помощью IMU-сенсоров, и устранения накопленной погрешности.

В качестве фотодиода может использоваться, например: https://www.digikey.com/product-detail/en/osram-opto-semiconductors-inc/BPW-34-S-Z/475-2659-1-ND/1893861

В качестве внешнего излучателя может использоваться, например: https://www.microsoftstore.com/store/msusa/en_US/pdp/HTC-Vive-Base-Station/productID.5073718900

Альтернативным способом является расположение в тех же позициях световых или инфракрасных светодиодов вместо фотодиодов и замена световых излучателей на две или более видеокамеры. В этом случае, программное обеспечение должно иметь доступ к изображению, получаемому с камер.

Программное обеспечение находит на изображении позицию светодиодов и затем, используя данные о взаимном расположении камер, о линейном расстоянии между светодиодами и о получившемся размере и искажении (повороте/сжатии) изображения светодиодов вычисляет абсолютную позицию светодиодов в пространстве. Затем эти данные используются для корректировки абсолютной позиции руки в пространстве, вычисленную с помощью IMU-сенсоров, и устранения накопленной погрешности.

Заявленное решение может использоваться для анимации 3D моделей человеческой (или иной) руки в компьютерных программах, как способ взаимодействия с интерфейсами в виртуальной (VR - virtual reality) или дополненной (AR - augmented reality) реальностях, а также видеоиграх, симуляторах различных видов деятельности и в любых других задачах, где требуется получение, обработка, хранение или передача точных движений рук в пространстве.

Например, заявленное решение также может применяться в медицине, для пациентов с нарушениями моторики рук для отслеживания движений кистей и пальцев рук и стимулирования их активности.

Обратная связь с помощью вибромоторов может применяться для имитации ощущений прикосновения к предметам в виртуальной реальности, когда данные о положении руки и пальцев используются для определения коллизий с виртуальными предметами и, в случае их обнаружения, подавать на соответствующие месту контакта пальцы вибрации. При этом степень вибрации может зависеть от формы контакта - размера области пересечения, или от характеристик виртуального предмета. Другой возможный сценарий использования вибрации - подтверждение события взаимодействиями с виртуальными интерфейсами - например, нажатие на виртуальную кнопку. Заявленное решение предлагает новый способ размещения IMU-сенсоров и, как следствие, высокую точность получаемых результатов: взаимное расположение датчиков позволяет получить необходимые углы, между пальцами, кистью, локтевым и плечевым суставами; во вторую очередь такое расположение сенсоров и вибрационных моторов позволяет освободить последнюю фалангу пальцев, что удобно в практическом применении - пользователь может пользоваться сенсорными экранами, производить действия требующие мелкой моторики пальцев и т.п.

Преимуществом использования комбинированного подхода (применение IMU-сенсоров и внешнего трекинга в одной технологии) является высокая точность измерения пространственного перемещения, еще более высокая, чем любые альтернативные методы, такие как тензорезисторы (датчики сгиба) или решения основанные только на IMU-сенсорах. Кроме того, в отличии от методов, основанных на внешнем оптическом или другом внешнем трекинге у данного подхода полностью отсутствуют "слепые зоны", даже если между светодиодом (фотодиодом) и камерой (свето-излучателем) не будет прямого обзора, заявленное решение все равно позволит достаточно точно вычислить позицию руки в пространстве.

Еще одним преимуществом перед другими известными устройствами, основанными только на внешнем трекинге, является возможность использования вне стационарно оборудованных помещений, что удобно при использовании решения вместе с мобильными устройствами (смартфонами), или портативными решениями виртуальной и дополненной реальностей.

Способ может быть реализован на примере выполнения перчатки в следующей конструкции.

Перчатка (Фиг. 1) (1) выполняется из ткани, внутри которой расположены: IMU сенсоры (2), каждый из которых содержит в себе акселерометр, гироскоп и магнитометр, при этом четыре IMU сенсора (2) расположены на предпоследних фалангах мизинца, безымянного, среднего и указательного пальцев, два IMU сенсора (2) расположены на первой и второй фалангах большого пальца, один сенсор IMU (2) расположен на системной плате, один сенсор IMU (2) расположен на запястье.

На пальцах перчатки (1) также закреплены вибрационные моторы (3), по одному на каждом пальце, причем на всех пальцах, кроме большого, вибрационные моторы (3) закреплены на предпоследних фалангах пальцев, а на большом пальце вибрационный мотор (3) закреплен на последней фаланге.

На перчатке (1) закреплены системная плата (4), где расположен вычислительный модуль. При этом модуль беспроводной связи Bluetooth, для связи с компьютером или иным устройством по радиоканалу, установлен на системной плате (4).

Системная плата (4) закреплена поверх аккумулятора (5), который закреплен на перчатке (1).

Сенсоры IMU (2), вибромоторы (3), аккумулятор (5) подключены к системной плате (4) посредством проводов (6).

При необходимости, системная плата (4) и аккумулятор (5) могут быть выполнены в едином корпусе (7).

Дополнительным преимуществом виртуальной перчатки (1) является использование дополнительного плечевого модуля (10), который располагают на плече (бицепсе), и подключают к системной плате с помощью провода (11) через модуль (9), который выполняют содержащим соединительный коннектор (на чертежах не показан). Внутри плечевого модуля (10) может быть установлен IMU-сенсор.

Данное взаимное расположение IMU сенсоров с использованием сенсора, закрепленного в плечевом модуле (10), позволяет эффективно бороться с проблемой "дрифта" данных о положении пальцев и кисти рук в пространстве и более эффективно отслеживать движения плечевого сустава. В отличии от систем с внешним трекингом (основанным на фотодиодах или светодиодах и внешних камерах), данное решение может быть использовано без каких либо внешних устройств, что удобно для работы с мобильными устройствами (смартфонами).

Плечевой модуль (10) может быть так же реализован в беспроводном варианте, и подключаться к вычислительному модулю по радиоканалу (Bluetooth или Wifi). В этом случае в едином модуле с датчиком (10) располагают аккумулятор и радиомодуль (на чертежах не показаны) и провод (11) не используют.

Также плечевой модуль (10) может быть опционально реализован не с помощью IMU-сенсора, а с помощью одного или нескольких тензорезисторов (датчиков сгиба). В этом случае в плечевом модуле (10) устанавливается микроконтроллер, к которому подключают тензорезисторы, и через них агрегируют информацию и передают ее на основной вычислительный модуль системной платы (4).

При необходимости, системная плата (4) и аккумулятор (5) могут быть выполнены в едином корпусе (7) из светопроницаемого пластика для той цели, если на системной плате (4) также установлены фотодиоды (8), подключенные к совмещенному модулю (9), содержащему фотодиод и IMU сенсор. Предпочтительно, фотодиоды (8) могут быть установлены на системной плате (4) по ее краям равноудалено. Их может быть четыре. Дополнительно модуль (9) с IMU сенсором и световым датчиком может быть расположен на запястье перчатки (1). Такой модуль (9) можно использовать как при использовании фотодиодов (8), так и без них (см. Фиг. 3).

Изобретение относится к манипуляторам. Технический результат заключается в обеспечении возможности получать и передавать данные о положении пальцев, кистей рук, локтевых и плечевых суставов, а также осуществлять тактильную обратную связь путем передачи вибрации на пальцы. В качестве датчиков используют сенсоры IMU, которые устанавливают на пальцы перчатки, причем на указательный, средний, безымянный пальцы и мизинец устанавливают по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони, на большой палец устанавливают два датчика - на первую и на вторую фалангу, с внешней стороны, дополнительно IMU-сенсоры устанавливают на кисть руки, IMU-сенсоры с помощью кабеля подключают к системной плате, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещают вибрационные моторы, которые крепят аналогичным IMU-сенсорам способом, и также с помощью кабеля подключают к системной плате, на плечевом суставе дополнительно закрепляют плечевой модуль с IMU-сенсором, который подсоединяют к системной плате с помощью кабеля через разъем совмещенного модуля, либо беспроводным способом. 13 з.п. ф-лы, 4 ил.

1. Способ изготовления перчатки виртуальной реальности, использующий датчики, расположенные на пальцах перчатки, причем датчики подключают к системной плате, отличающийся тем, что в качестве датчиков используют сенсоры IMU, которые устанавливают на пальцы перчатки, причем на указательный, средний, безымянный пальцы и мизинец устанавливают по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони; на большой палец устанавливают два датчика - на первую и на вторую фалангу, с внешней стороны; дополнительно IMU-сенсоры устанавливают на кисть руки; IMU-сенсоры с помощью кабеля подключают к системной плате; дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещают вибрационные моторы, которые крепят аналогичным IMU-сенсорам способом, и также с помощью кабеля подключают к системной плате; на плечевом суставе дополнительно закрепляют плечевой модуль с IMU-сенсором, который подсоединяют к системной плате с помощью кабеля через разъем совмещенного модуля, либо беспроводным способом.

2. Способ по п. 1, отличающийся тем, что IMU-сенсоры закрепляют с помощью тряпичной перчатки, будучи вшитыми в необходимых позициях, либо каждый датчик может быть закреплен независимо с помощью тряпичного или другого материала.

3. Способ по п. 1, отличающийся тем, что дополнительно, на внутренней стороне ладони, на предпоследней фаланге каждого пальца размещают вибрационные моторы, которые крепят аналогичным IMU-сенсорам способом, и также с помощью кабеля подключают к системной плате.

4. Способ по п. 1, отличающийся тем, что используют корпус для модуля управления, в который помещают аккумулятор с расположенной поверх него системной платой.

5. Способ по п. 1, отличающийся тем, что на системную плату размещают по меньшей мере два фотодиода, при этом внешний корпус для модуля управления изготавливают из прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены фотодиоды, а в сам внешний корпус для модуля управления встраивают системную плату и аккумулятор.

6. Способ по п. 5, отличающийся тем, что дополнительный фотодиод устанавливают рядом с IMU-сенсором на запястье.

7. Способ по п. 5, отличающийся тем, что дополнительный фотодиод располагают вместе с IMU-сенсором в плечевом модуле.

8. Способ по п. 5, отличающийся тем, что посредством фотодиодов регистрируют световые сигналы, посылаемые парой специальных внешних световых излучателей, установленных стационарно, неподвижно и отдельно от описываемого контроллера (системной платы и набора сенсоров в виде перчатки или другой форме), по разные стороны от него.

9. Способ по п. 8, отличающийся тем, что излучатели выполняют таким образом, что они генерируют световые импульсы определенной длины, формы и направления, через определенные промежутки времени.

10. Способ по п. 8, отличающийся тем, что свет от излучателей испускают как в видимом, так и в инфракрасном, либо ультрафиолетовом диапазонах.

11. Способ по п. 8, отличающийся тем, что посредством одного излучателя генерируют набор коротких импульсов света, а затем генерируют узкую полосу лазером, установленным на поворотном механизме, вращающемся в горизонтальной плоскости, а посредством другого излучателя параллельно, но в другие временные интервалы, генерируют такие же импульсы, но в вертикальной плоскости.

12. Способ по п. 11, отличающийся тем, что данные о временных интервалах, последовательности световых импульсов, форме и характере импульсов, которые известны по параметрическим данным излучателей, сопоставляют с полученными через драйвер внешнего устройства: временем регистрации фотодиодами различных импульсов света, посредством чего вычисляют их координаты относительно излучателей в пространстве, затем эти данные используют для корректировки абсолютной позиции руки в пространстве, вычисленной с помощью IMU-сенсоров, и устраняют накопленную погрешность.

13. Способ по п. 1, отличающийся тем, что на системную плату размещают по меньшей мере два световых или инфракрасных светодиода, при этом внешний корпус для модуля управления изготавливают из прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены светодиоды, а в сам внешний корпус для модуля управления встраивают системную плату и аккумулятор.

14. Способ по п. 13, отличающийся тем, что используют по меньшей мере две видеокамеры, от которых на внешнее устройство управления получают доступ к изображению с камер; на формируемых с камер изображениях находят позицию светодиодов и затем, используя данные о взаимном расположении камер, о линейном расстоянии между светодиодами и о получившемся размере и искажении (повороте/сжатии) изображения светодиодов вычисляют абсолютную позицию светодиодов в пространстве, после чего эти данные используют для корректировки абсолютной позиции руки в пространстве, вычисленную с помощью IMU-сенсоров, и устраняют накопленную погрешность.