Носимое сенсорное устройство для распознавания двигательной активности руки и жестов кисти Российский патент 2024 года по МПК G06F3/346 

Изобретение относится к области человеко-машинных интерфейсов и представляет собой сенсорное устройство ввода информации. Предлагаемое изобретение может найти применение в качестве указывающего устройства или устройства, непосредственно формирующего конечные управляющие команды. Конфигурация устройства обеспечивает реализацию интерфейса с двумя модальностями, одной из которых являются движения руки пользователя, а второй жесты, формируемые кистью.

Из уровня техники известен ряд устройств подобного назначения. Изобретение, представленное в патентной заявке US 7333090 B2, предназначено для идентификации жестов, производимых в свободном пространстве, и предполагает размещение на предплечье. Авторы предлагают осуществлять распознавание жеста на основе электромиографических (ЭМГ) сигналов, обнаруженных на поверхности кожи в области мышц, производящих жесты. Перед работой предлагаемая система каждый раз требует индивидуальной калибровки, а также может быть чувствительна к внешним электромагнитным помехам. Место расположения устройства на предплечье ближе к локтевому сгибу, накладывает значительные ограничения на распознавание двигательной активности руки, так как ограничивается амплитуда ускорений, действующих на устройство.

Известно регулируемое сенсорное устройство для считывания физиологических параметров представленное в патенте на изобретение RU 2618296 C2. Представленное устройство содержит ремешок, включающий в себя датчик для измерения физиологического параметра на внутренней стороне запястья пользователя и блок обработки сигналов для обработки выходных данных, полученных от датчика. Упомянутый ремешок выполнен с возможностью обеспечения регулируемого прикрепления к блоку обработки сигналов на обоих концах ремешка. В результате обеспечивается точное расположение датчика на внутренней стороне запястья пользователя. Применение устройства предполагается для считывания психофизиологических параметров на запястье и оценки состояния здоровья. Основное внимание авторов представленного изобретения сосредоточено на принципах регулируемого крепления датчиков на запястье пользователя.

В патентной заявке US 20100199228 A1 предложены методы и архитектура системы для распознавания жестов и положения всего тела человека на основе данных с камеры глубины. Обработку данных, их анализ и распознавание жестов предлагается выполнять в некоторой вычислительной среде. Идентификация положения пальцев пользователя может осуществляться в области, ограниченной зоной обзора камер глубины. Предлагаемое решение не предполагает автономной работы и не является носимым устройством, что ограничивает его применение некоторой областью пространства.

Мобильное устройство для распознавания жестов и организации сенсорной плоскости представлено авторами патента на изобретение RU 2577467 С1. Устройство реализовано в виде браслета и имеет в своем составе источник подсветки и оптически сопряженные с ним две телевизионные камеры, направленные в сторону пальцев пользователя и подключенные к входам специализированного вычислителя. Устройство располагается на запястье и позволяет распознавать движение пальцев пользователя и использовать эту информацию в качестве управляющих команд для различных устройств. Также при наличии в окружающей обстановке участка плоской поверхности, как утверждают авторы, ее можно использовать как сенсорную. Распознавание жестов ограничивается распознаванием пальцев, которые находятся в области обзора камер, что накладывает ограничения на количество распознаваемых жестов и положение кисти пользователя.

Известно носимое устройство, представленное в заявке US 20150370326 A1, для распознавания жестов основанное на нескольких разнесенных датчиках, реагирующих на вибрации. Устройство представляет собой браслет, который при использовании может носится на запястье. Датчики физически разнесены между собой и располагаются на внутренней стороне браслета. В качестве датчиков могут использоваться цифровые микрофоны, инерциальные измерительные датчики или их комбинации. Устройство оснащено встроенным процессором, который обрабатывает сигналы, поступающие с датчиков, и классифицирует их как соответствующие определенным жестам. После классификации жеста встроенный в устройство передатчик отправляет соответствующую команду управляемому устройству. Предлагаемые решения в виду заложенных физических принципов подвержены внешним акустическим и вибрационным помехам, что снижает точность определения жеста.

Наиболее близким аналогом заявляемого технического решения является устройство для распознавания жестов с использованием радиочастотного датчика, представленное в патенте на изобретение RU 2641269 C1. Это устройство содержит центральный процессор (ЦП) с памятью, и радиочастотный (РЧ) датчик, включающий в себя, по меньшей мере, одну антенну, передатчик и один приемник, соединенный с аналого-цифровым преобразователем (АЦП). Принцип работы устройства заключается в следующем. Передатчики генерируют РЧ-сигналы и испускают их в часть тела пользователя, на которой располагается устройство для распознавания жестов, посредством антенн. Часть тела пользователя, на которой располагается устройство для распознавания жестов, может быть любой, содержащей мышцы, кости и сухожилия. РЧ сигналы отражаются от тканей тела пользователя и принимаются приемниками посредством антенн. Принимаемые РЧ-сигналы преобразуются АЦП в цифровые сигналы и вводятся в ЦП. ЦП обрабатывает цифровые сигналы, чтобы распознать жест и генерировать управляющую команду по результатам распознавания жеста. Авторы изобретения также упоминают, что устройство может содержать детектор перемещения или вибраций. В этом случае возможно распознавание жестов относительно предварительно заданной точки в пространстве. Представленные структурные схемы устройства и описанные принципы работы предполагают использование управляемых высокочастотных (1-10 ГГц) генераторов и соответствующих приемников и АЦП. Практическая реализация устройства будет иметь схемотехнические решения высокой сложности. Использование обозначенных рабочих частот датчиков предполагает особые требования к электронным компонентам, которые, вероятнее всего, будут специализированными для этого устройства. Из перечисленного возможно выделить следующие недостатки предлагаемого решения: необходимость использования специализированной уникальной базы электронных компонентов; высокая сложность схемотехнических решений. Следствием этих недостатков также будет высокая стоимость конечного устройства.

Среди обозначенных недостатков рассмотренных решений можно выделить общий, который состоит в завышенных требованиях к производительности вычислителя, интегрированного в устройство. Этот факт является следствием необходимости обработки временных рядов и работы с искусственными нейронными сетями.

Предлагаемое носимое сенсорное устройство отличается от известных расширенными функциональными возможностями и принципами работы датчиков, которые используются для распознавания жестов, формируемых кистью пользователя.

Целью предлагаемого изобретения является создание устройства для распознавания жестов с использованием емкостных датчиков, которое позволяет получить, по меньшей мере, одно из следующих преимуществ:

- отсутствие необходимости размещения компонентов устройства внутри ремешка;

- возможность реализации устройства на общедоступной базе электронных компонентов;

- потребность в небольшом числе датчиков;

- отсутствие влияния движений других частей тела пользователя, на результат распознавания жестов и двигательной активности руки;

- обеспечение низкого энергопотребления и безвредности для пользователя, за счет малой мощности излучаемых электромагнитных волн.

Техническая задача, на решение которой направленно заявляемое изобретение, заключается в расширении арсенала устройств для распознавания двигательной активности руки и жестов кисти.

Решение технической задачи достигается тем, что носимое сенсорное устройство для распознавания двигательной активности руки и жестов кисти состоит из корпуса, в который заподлицо его поверхности, обращенной к запястью, встроены электроды емкостных датчиков и ремешка закрепленного к корпусу и обеспечивающего фиксацию устройства на запястье пользователя; в корпус встроены высокочастотный генератор электрического напряжения, выход которого соединен с первым входом по меньшей мере одного блока «датчик и интерфейсная схема», второй вход которого соединен с выходом вычислителя, выход блока «датчик и интерфейсная схема» соединен с входом многоканального аналого-цифрового преобразователя, выход которого соединен с первым входом вычислителя, второй вход вычислителя соединен с выходом инерциальной измерительной системы, выходы вычислителя соединены двунаправленными шинами с блоком беспроводного интерфейса, блоком проводного интерфейса и блоком подключения устройств ввода/вывода; причем блок «датчик и интерфейсная схема» объединяет соединенный с первым входом блока емкостной датчик, соединенный со вторым входом блока цифровой потенциометр, соединенный с выходом блока электрический фильтр, вход которого соединен с выходом усилителя аналогового сигнала, входы которого соединены с выходами емкостного датчика и цифрового потенциометра.

Технический результат, достигаемый заявленной совокупностью признаков, состоит в повышении качества распознавания и представления в цифровом виде информации о двигательной активности руки и жестах, формируемых кистью пользователя.

Для повышения качества распознавания жестов и увеличения их количества носимое сенсорное устройство выполнено с возможностью регулировки уровня выходных сигналов и чувствительности емкостных датчиков.

Для реализации принципа распознавания жеста на основе разницы в реактивном сопротивлении емкостных датчиков размещение электродов выполняется на поверхности корпуса, обращенной к запястью.

Для упрощения схемотехнического решения, уменьшения числа электронных компонентов и снижения конечной стоимости устройства, используются емкостные датчики, изменяющие свое реактивное сопротивление в зависимости от площади прилегания к поверхности кожи пользователя.

Принцип построения электронных решений заявляемого изобретения поясняется структурной схемой, представленной на фиг. 1. На структурной схеме отражены следующие блоки: высокочастотный генератор электрического напряжения (1), емкостной датчик (2), усилитель аналогового сигнала (3), электрический фильтр (4), цифровой потенциометр (5), многоканальный аналого-цифровой преобразователь (6), инерциальная измерительная система (7), вычислитель (8), беспроводной интерфейс (9), проводной интерфейс (10), устройства ввода/вывода (11), блок «датчик и интерфейсная схема 1» (12), состоящий из (2), (3), (4), (5) и объединяющий дублирующийся части структурной схемы, блок «датчик и интерфейсная схема 2» (13), блок «датчик и интерфейсная схема n» (14).

Носимое сенсорное устройство состоит из аналоговой и цифровой частей. Аналоговая часть устройства представлена блоками (1), (2), (3), (4) и предназначена для преобразования изменения реактивного сопротивления емкостного датчика (2) в изменение напряжения, измеряемого многоканальным аналого-цифровым преобразователем (6). Принцип работы применяемых в устройстве емкостных датчиков состоит в изменении реактивного сопротивления в зависимости от площади прилегания электродов к поверхности кожи пользователя. Емкостной датчик представляет собой пару плоских электродов определенной формы имеющих непосредственный контакт с запястьем. Один из электродов подключен к высокочастотному генератору электрического напряжения (1), а второй к усилителю аналогового сигнала (3). Рабочая частота генератора находится в диапазоне до 10 МГц, и выбирается исходя из размеров электродов датчика. Выход усилителя подключен к входу фильтра (4), который необходим для выделения полезного сигнала. Выход фильтра подключен к одному из входов многоканального аналого-цифрового преобразователя.

Для распознавания жестов, формируемых кистью, устройство должно в своем составе иметь более одного датчика с интерфейсной схемой (12), что отражено в структурной схеме наличием блоков (13) и (14). В состав этих блоков входят емкостный датчик, усилитель, фильтр и цифровой потенциометр (5), выход которого соединенный со входом усилителя задающим коэффициент усиления. В зависимости от физиологических особенностей пользователя датчики носимого сенсорного устройства имеют различную площадь прилегания к запястью, результатом чего являются различия в уровне чувствительности датчиков. Цифровой потенциометр является программно- управляемым аппаратным средством и предназначен для управления коэффициентом усиления усилителя, что необходимо для регулировки чувствительности каждого датчика. Цифровой вход, предназначенный для управления цифровым потенциометром, соединен с цифровым выходом вычислителя (8).

Выходы блоков (12), (13) и (14) соединены со входами многоканального аналого-цифрового преобразователя, а его цифровой выход соединен с цифровым входом вычислителя. Вычислитель получает значения сигналов датчиков от аналого-цифрового преобразователя, осуществляет их обработку и при необходимости управляет цифровым потенциометром.

Данные о двигательной активности руки сенсорное устройство получает от инерциальной измерительной системы (7), цифровой выход которой соединен с цифровым входом вычислителя.

Вычислитель осуществляет фильтрацию и первичную обработку данных, получаемых с емкостных датчиков и инерциальной измерительной системы. Далее информация передается на управляемое устройство через беспроводной интерфейс (9) цифровой вход/выход которого соединен с цифровым вход/выходом вычислителя. Сенсорное устройство имеет проводной интерфейс (10) вход/выход которого соединен с цифровым вход/выходом вычислителя. Проводной интерфейс предназначен для отладки и обновления программного обеспечения. Носимое сенсорное устройство имеет в своем составе блок подключения устройств ввода/вывода (11), входы/выходы которых соединены с входами/выходами вычислителя. Блок подключения устройств ввода/вывода предназначен для подключения устройств, обеспечивающих взаимодействие с пользователем.

Конструктивные решения изобретения поясняются фиг. 2. Предлагаемое носимое сенсорное устройство в своем составе имеет следующие основные конструктивные элементы: корпус с установленной в него печатной платой (15), реализующей структуру электронного устройства в соответствии с фиг. 1; электроды емкостных датчиков (16), установленные на поверхности корпуса, обращенной к запястью; ремешок (17), закрепленный к корпусу и осуществляющий фиксацию сенсорного устройства на запястье пользователя.

Принцип размещения носимого сенсорного устройства на запястье пользователя поясняется фиг. 3, на которой показаны: корпус с установленной в него печатной платой (15), ремешок, закрепленный к корпусу и осуществляющий фиксацию сенсорного устройства на запястье пользователя (17), кисть пользователя (18).

Конфигурация основных конструктивных элементов носимого сенсорного устройства, представленного на фиг. 3, соответствует представленной на фиг. 2.

Функционирование заявляемого изобретения осуществляется следующим образом. Пользователь размещает носимое сенсорное устройство на запястье в соответствии с фиг. 3, после чего с помощью устройств ввода осуществляет сопряжение с внешним устройством для обучения распознаванию жестов посредством беспроводного интерфейса. Далее специализированное программное обеспечение на управляемом устройстве выполняет алгоритм машинного обучения. Алгоритм машинного обучения состоит из сбора данных с емкостных сенсоров и инерциальной измерительной системы для формирования обучающей выборки и последующего вычисления коэффициентов и параметров модели распознавания жестов. Сбор данных для обучающей выборки представляет собой процесс, в котором пользователь выполняет указанные специализированным программным обеспечением жесты с определенной ориентации кисти в пространстве. После завершения алгоритма обучения вычисленные коэффициенты и параметры модели передаются на носимое сенсорное устройство через беспроводной интерфейс. Далее пользователь носимого сенсорного устройства осуществляет его сопряжение через беспроводной интерфейс с управляемым устройством. Следующим этапом функционирования устройства является его непосредственная эксплуатация по назначению в качестве указывающего устройства или для формирования команд управления. Необходимо отметить, что работа алгоритма машинного обучения, а также функционирование модели распознавания жестов может происходить на управляемом устройстве.

Упрощение схемотехнического решения носимого сенсорного устройства для распознавания жестов и двигательной активности руки дает возможность его реализации на общедоступной базе электронных компонентов. Отсутствие необходимости применения специализированных уникальных электронных компонентов позволяет снизить стоимость конечного устройства. Составные части заявляемого устройства известны из уровня техники: высокочастотный генератор электрического напряжения может быть выполнен на базе интегральной микросхемы NE555; усилитель аналогового сигнала может быть выполнен на базе интегральной микросхемы LM358; электрический фильтр может быть выполнен как RC-фильтр известный из электротехники; цифровой потенциометр может быть выполнен на базе интегральной микросхемы AD8400; многоканальный аналого-цифровой преобразователь может быть выполнен на базе интегральной микросхемы ADS1115; инерциальная измерительная система может быть выполнена на базе интегральной микросхемы MPU9250; вычислитель может быть выполнен на базе микроконтроллера STM32F103; беспроводной интерфейс может быть выполнен на базе интегральной микросхемы ВС417143В; проводной интерфейс может быть выполнен с использованием встроенных возможностей STM32F103 и реализован как USB 2.0; устройство ввода может быть выполнено с использованием кнопок серии KLS7-TS6601; устройство вывода может быть выполнено с использованием дисплея GC9A01A.

Практическая реализация заявляемого изобретения выполнена на микроконтроллере с ядром ARM® Cortex®-M4 и имеет шесть емкостных датчиков. Применяемый микроконтроллер имеет встроенный приемопередатчик, совместимый с Bluetooth® Low Energy режимом работы, и отличается низким энергопотреблением. Li-pol аккумуляторной батареи с номинальным напряжением 3,7 В и емкостью 90 мА⋅ч достаточно на 8 часов автономной работы устройства. Внешний вид прототипа сенсорного устройства представлен на фиг. 4. Устройство выполнено в пластиковом корпусе, изготовленном с применением аддитивных технологий, имеет разъем microUSB для заряда и работы с программным обеспечением и две кнопки. Размеры устройства 48×46×9 мм, и сопоставимы с размерами смарт-часов.

Результаты сравнения ориентировочной цены заявляемого устройства с другими устройствами и системами, потенциально применимыми для распознавания жестов представлены в таблице 1.

Проведенный сравнительный анализ стоимости существующих устройств и систем для распознавания жестов показывает, что заявляемое устройство имеет значительно более низкую стоимость даже при единичном производстве.

Изобретение относится к области человеко-машинных интерфейсов. Технический результат заключается в повышении качества распознавания и представления в цифровом виде информации о двигательной активности руки и жестах, формируемых кистью пользователя. Носимое сенсорное устройство для распознавания двигательной активности руки и жестов кисти состоит из корпуса, в который заподлицо его поверхности, обращенной к запястью, встроены электроды ёмкостных датчиков, и ремешка, закрепленного к корпусу и обеспечивающего фиксацию устройства на запястье пользователя; в корпус встроены высокочастотный генератор электрического напряжения, выход которого соединен с первым входом по меньшей мере одного блока «датчик и интерфейсная схема», второй вход которого соединен с выходом вычислителя, выход блока «датчик и интерфейсная схема» соединен с входом многоканального аналого-цифрового преобразователя, выход которого соединен с первым входом вычислителя, второй вход вычислителя соединен с выходом инерциальной измерительной системы, выходы вычислителя соединены двунаправленными шинами с блоком беспроводного интерфейса, блоком проводного интерфейса и блоком подключения устройств ввода/вывода. 4 ил., 1 табл.

Носимое сенсорное устройство для распознавания двигательной активности руки и жестов кисти, характеризующееся тем, что оно состоит из корпуса, в который заподлицо его поверхности, обращенной к запястью, встроены электроды ёмкостных датчиков, и ремешка, закрепленного к корпусу и обеспечивающего фиксацию устройства на запястье пользователя,

причем в корпус встроены высокочастотный генератор электрического напряжения, выход которого соединен с первым входом по меньшей мере одного блока «датчик и интерфейсная схема», второй вход которого соединен с выходом вычислителя, выход блока «датчик и интерфейсная схема» соединен с входом многоканального аналого- цифрового преобразователя, выход которого соединен с первым входом вычислителя, второй вход вычислителя соединен с выходом инерциальной измерительной системы, выходы вычислителя соединены двунаправленными шинами с блоком беспроводного интерфейса, блоком проводного интерфейса и блоком подключения устройств ввода/вывода,

причем блок «датчик и интерфейсная схема» объединяет соединенный с первым входом блока ёмкостной датчик, соединенный со вторым входом блока цифровой потенциометр, соединенный с выходом блока электрический фильтр, вход которого соединен с выходом усилителя аналогового сигнала, входы которого соединены с выходами ёмкостного датчика и цифрового потенциометра.