СИСТЕМА И СПОСОБ УПРАВЛЕНИЯ ВНЕШНИМИ УСТРОЙСТВАМИ, ПОСРЕДСТВОМ ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА Российский патент 2025 года по МПК A61F2/72 A61B5/05 G06N3/02 A61B5/313 A61F4/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к человеко-машинным интерфейсам взаимодействия на основе системы датчиков, включающих датчики оптомиографии, и может применяться для управления внешними интерфейсами и устройствами для широкого спектра задач.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известен патент RU 2775757 C1 «Оптомиографический датчик электромеханического протеза», опубл. 07.07.2022. В данном решении описывается оптомиографический датчик электромеханического протеза. Датчик содержит корпус. Корпус имеет поверхность для взаимодействия с конечностью пользователя. На поверхности корпуса смонтированы оптические датчики для измерения светопроницаемости ткани, подключенные к плате. Датчик содержит элемент поочередной активации оптических датчиков, подключенный к оптическим датчикам. Корпус содержит элемент настройки интенсивности излучения света, попадающего на приемник оптического датчика. Элемент настройки интенсивности света подключен к плате и расположен с противоположной стороны корпуса от поверхности для взаимодействия с конечностью пользователя. Оптические датчики предназначены для измерения относительных изменений светопроницаемости ткани, находящейся под датчиком, за счет изменения светорассеяния мышечных волокон при сжатии/растяжении, или кровенаполнении мышечной ткани, или перемещении сухожилий.

Из уровня техники известен патент RU 2775756 C1 «Оптомиографический датчик электромеханического протеза и способ настройки электромеханического протеза», опубл. 07.07.2022. В данном решении описывается оптомиографический датчик электромеханического протеза и способ настройки электромеханического протеза.

Оптомиографический датчик содержит корпус. Корпус имеет поверхность для взаимодействия с конечностью пользователя. На поверхности корпуса расположены оптические датчики для получения данных о процессах, происходящих в подкожной структуре культи конечности пользователя. Оптомиографический датчик снабжен средством поочередной активации оптических датчиков. Корпус содержит элемент настройки интенсивности излучения света, попадающий на приемник оптического датчика. Элемент настройки расположен с противоположной стороны корпуса от поверхности для взаимодействия с конечностью пользователя. Оптические датчики предназначены для получения данных об изменении кривизны мышечных волокон, или кровенаполнении мышечной ткани, или перемещении сухожилий, происходящих под кожей культи конечности пользователя.

Из уровня техники известен также патент на изобретение US 10945863 B2 «Method for controlling an artificial orthotic or prosthetic knee joint», опубл. 16.03.2021. В данном патенте описан способ управления искусственным ортопедическим или протезным коленным суставом, на котором расположен компонент голени и с которым связано устройство сопротивления, при этом сопротивление изменяется в зависимости от данных датчиков, которые определяются по меньшей мере одним датчиком во время использования ортопедического или протезного коленного сустава, при этом определяется линейное ускорение компонента голени, которое сравнивается по меньшей мере с одним пороговым значением, и, если пороговое значение линейного ускорения достигается компонента голени, то изменяется сопротивление изгибу.

Недостатком известного решения в данной области техники является отсутствие использования данных оптомиографии (ОМГ) как управляющих входных данных.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической задачей, на решение которой направлено заявленное техническое решение, является создание способа и системы для управления внешними устройствами посредством человеко-машинного интерфейса с применением оптомиографических датчиков.

Техническим результатом, достигаемым при решении вышеуказанной технической задачи, является повышение точности распознавания данных и определения движений, полученных от оптомиографических данных и обработанных с помощью алгоритмов искусственного интеллекта. Сигнал, полученный с оптомиографических данных, устойчив к шумам и обладает высоким пространственным разрешением, благодаря этому алгоритм искусственного интеллекта способен с высокой точностью определять тип движения по входным данным. Управляющий алгоритм занимает маленький объем памяти и не нуждается в большом объеме оперативной памяти для работы, поэтому может быть встроен даже в миниатюрные системы управления.

Заявленный технический результат достигается за счет работы системы управления внешними устройствами, посредством человеко-машинного интерфейса, включающей:

носимое устройство, размещенное на пользователе, содержащее по меньшей мере один оптомиографический датчик, выполненный с возможностью снятия сигнала о текущем состоянии мышцы пользователя, с частотой 10-50 Гц, причем оптомиографический датчик состоит из фототранзистора и инфракрасного светодиода; микроконтроллер, выполненный с возможностью контроля времени включения инфракрасного светодиода и времени считывания данных с фототранзистора и передачи полученных данных на сервер обработки данных;

сервер обработки данных, выполненный с возможностью обрабатывать полученные данные посредством алгоритмов искусственного интеллекта для получения управляющих сигналов и передачи управляющих сигналов на внешние устройства.

В частном варианте реализации предлагаемой системы, в качестве носимого устройства используется браслет.

В другом частном варианте реализации предлагаемой системы, внешними устройствами являются по меньшей мере протезы конечностей или устройства виртуальной реальности, или персональный компьютер, или промышленный робот, или медицинский робот.

Заявленный технический результат также достигается за счет работы способа управления внешними устройствами, посредством человеко-машинного интерфейса, содержащий этапы, на которых:

осуществляют снятие сигналов движения пользователя посредством по меньшей мере одного оптомиографического датчика, состоящего из фототранзистора и инфракрасного светодиода, с частотой 10-50 Гц и передают полученные данные на микроконтроллер носимого устройства;

микроконтроллер носимого устройства управляет оптомиографическими датчиками и передает полученные данные с датчиков на сервер обработки информации;

на сервер обработки информации получают данные с оптомиографических датчиков и обрабатывают их посредством алгоритмов искусственного интеллекта для получения управляющих сигналов;

полученные управляющие сигналы передают на внешние устройства.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Рис. 1 иллюстрирует изменение сигнала оптомиографии по 50 каналам, при выполнении различных движений правой рукой.

Рис. 2 иллюстрирует матрицу несоответствий для парадигмы распознавания движений.

Рис. 3 иллюстрирует пример данных рукописного ввода, собранных в результате эксперимента.

Рис. 4 иллюстрирует результаты восстановления траектории.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Предлагаемое решение представляет собой аппаратно-программный комплекс с человеко-машинным интерфейсом взаимодействия на основе системы датчиков, включающих оптомиографические датчики, и может применяться для управления внешними интерфейсами и устройствами для широкого спектра задач. Среди областей применения можно, например, выделить медицинскую диагностику и реабилитацию, ассистивные технологи для людей с инвалидностью, управление джойстиками и компьютерными аксессуарами, в том числе для виртуальной реальности.

При помощи предлагаемого решения возможно создание человеко-машинных интерфейсов, с помощью которых можно быстро и точно управлять широким спектром устройств при помощи движения тех или иных групп мышц, такими устройствами могут быть протезы конечностей, устройства виртуальной реальности, персональный компьютер, промышленные или медицинские роботы и др.

Предлагаемое решение состоит из носимого устройства и сервера обработки данных.

Носимое устройство выполнено в виде браслета и включает в себя по меньшей мере один оптомиографический датчик и микроконтроллер. Оптомиографический датчик состоит из фототранзистора и инфракрасного светодиода. Микроконтроллер выполнен с возможностью управления по меньшей мере одним оптомиографическим датчиком. Микроконтроллер контролирует время включения инфракрасного светодиода и время считывания данных с фототранзистора. Частота включения оптомиографического датчика - 10-50 Гц. После снятия данных, микроконтроллер отправляет данные на сервер для обработки полученных данных.

На сервер обработки данных, полученные данные фильтруются обрабатываются и передаются на вход математической модели или искусственной нейронной сети (архитектура которой зависит от поставленной задачи) или алгоритма классического машинного обучения (алгоритма принятия решения) с целью получения необходимых управляющих сигналов и дальнейшей отправки внешним устройствам таких сигналов.

На вход математической модели или искусственной нейронной сети или алгоритма классического машинного обучения поступают входные данные оптомиографии, представляющие собой матрицу Х размером М×N, где М - количество каналов (в материалах настоящей заявки используется 50 каналов), а N - количество временных отсчетов и входные данные декодируемых состояний, представляющие собой матрицу Y размером K×N, где K - размерность пространства состояний, а N - количество временных отсчетов.

Пространственные состояния описают все состояния, в которых может находиться рука. Например, в случае с распознаванием движения компьютерной мышки, описываются пространства состояний при помощи косинуса и синуса угла, на который повернута рука. А в случае с распознаванием рукописного ввода, описывается пространство состояний при помощи декартовой системы координат (x1,y1) где точки описывают точки плоскости, в которых в настоящий момент пишет ручка.

Алгоритм обучения модели для предсказания необходимых управляющих сигналов включает в себя следующие этапы.

Калибровочные данные разделяются на тренировочные и тестировочные подвыборки.

Из матрицы тестировочных данных могут быть отброшены выбросные наблюдения (находящиеся на большом расстоянии от распределения большей части данных).

Для каждого момента времени декодируют его состояние, то есть осуществляют предсказание, какой сигнал нужно подать на внешнее устройство для управления. Соответственно для каждого состояния формируют его признаковую характеристику.

Иногда признаковая характеристика является вектором ОМГ каналов в данный момент времени.

Иногда признаковая характеристика является конкатенацией векторов ОМГ каналов в данный момент времени и в предыдущие L временных отсчетов.

Иногда признаковая характеристика является вектором ОМГ каналов в данный момент времени пропущенная через метод главных компонент для понижения размерности.

В решении используется стандартная архитектура (например, kNN, SVM, MLP, RNN) в которой случайным образом инициализируются веса. Далее осуществляется настройка весов при помощи алгоритма градиентного спуска или алгоритма случайного градиентного или алгоритма градиентного спуска Adam для получения наилучшего результата. Осуществляется N-шагов градиентного спуска, в результате чего обновляются веса модели. Через обновленную модель пропускают данные тестировочной выборки и при помощи разных метрик оценивается точность предсказаний. Когда изменение весов в результате шага градиентного спуска не дает приращения в качестве предсказания обучение прекращается.

Пример использования алгоритма 1.

Сбор калибровочных данных

Для реализации алгоритма проводится сбор калибровочных данных. В результате сбора, образуется данные оптомиографических временных рядов (матрица X размером M×N, где M=50) и данные смещения кисти в одну из 4-х сторон (матрицу Y размерности K×N, где K=1). Данные смещения кисти представляют из себя кодовое значение, характеризующее одно из пяти состояний: вверх, вниз, вправо, влево, расслабление (см. рис. 1).

Предобработка

На этапе предобработки данные с каждого канала оптомиографии подвергаются стандартизации. Значение, передаваемое на вход, в каждый момент времени вычисляется как разность среднего в канале, деленное на стандартную ошибку в этом канале.

Обработка алгоритмом SVM c RBF-ядром

Функция RBF ядра вычисляет сходство между двумя образцами ×и x’.

SVM с RBF ядром стремится найти оптимальную гиперплоскость, которая разделяет точки данных разных классов в пространстве признаков. Граница решения определяется подмножеством обучающих образцов, называемых опорными векторами, которые являются ближайшими точками данных к границе принятия решений.

Обучение

Во время обучения SVM с RBF ядром оптимизирует положение границы принятия решений, максимизируя зазор и минимизируя ошибку классификации на обучающих данных. Эта оптимизация выполнялась с использованием метода градиентного спуска.

Оценка качества предсказаний

Оценка качества предсказаний производится за счет матрицы несоответствий, где для каждого состояния демонстрируется, с какой вероятностью оно будет распознано правильно, а с какой ошибочно. На рис. 2 изображена матрица несоответствий для группы из 6 испытуемых.

Пример реализации алгоритма 2.

Сбор калибровочных данных

Для реализации алгоритма проводится сбор калибровочных данных. В результате сбора, образуется данные оптомиографических временных рядов (матрица X размером M×N, где M=50) и данные рукописного ввода (матрицу Y размерности K×N, где K=2). Данные рукописного ввода представляют из себя два временных ряда координат X, Y, сменяющихся в процессе письма, как представлено на рис. 3.

Предобработка

На этапе предобработки выбираются каналы, из которых будет извлекаться сигнал для входа в нейронную сеть. Каналы с качественным сигналом отбираются по принципу, что среднее первой половины калибровочной записи не отличается от среднего второй половины калибровочной записи более чем в два раза.

Обработка внутри сети

Временной ряд поступает на вход 5-слойной сети GRU, на каждом слое размерность скрытой матрицы составляет 50. GRU содержит два гейта:

- Гейт "забывания" (reset gate)

- Гейт "обновления" (update gate)

Гейты представляют собой механизмы, позволяющие сети решать, какую информацию следует сохранить или забыть при обработке новых входных данных. Вектор обновления определяет, какую часть предыдущего скрытого состояния следует обновить новым значением. Вектор сброса определяет, какую часть предыдущего скрытого состояния следует проигнорировать при вычислении нового состояния. На основе входных данных, предыдущего скрытого состояния и вектора обновления сеть вычисляет выходной вектор, который затем передается на следующий временной шаг или используется для решения задачи в соответствии с конкретной задачей.

После 5 слоев GRU выход проходит через функцию активации LeakyRELU

LeakyReLU(x)=max(0,x)+negative_slope⋅min(0,x)

Далее идет слой нормализации данных, после чего происходит передача на линейный слой, сжимающий входной вектор в два значения - предсказываемые координаты x, y изображаемого пространства. Подобная обработка происходит с каждым временным отсчетом данных оптомиографии.

Обучение

В процессе обучения происходит вычисление наиболее оптимальных значений параметров сети при помощи метода обратного распространения ошибки с использованием оптимизатора Adam над функцией ошибки MSELoss. MSELoss вычисляется как средний квадрат разницы между предсказанными координатами и реальными.

Результат восстановления траектории письма

Качество восстановленной траектории оценивается при помощи коэффициента детерминации, а также визуально, где оригинальная траектория сравнивается с полученной. На рисунке 4 представлены результаты восстановления траектории. Изображения по левому столбцу показывают оригинальные символы. Изображения по правому столбцу показывают реконструированные символы.

Алгоритм предсказывает управляющий сигнал и этот управляющий сигнал передается на внешнее устройство, например по последовательному соединению, по UDP Socket или по TCP Socket.

Управляющие сигналы. Пример 1

Для рукописного ввода управляющими командами являются координаты X,Y точек на дисплее планшета. В заявленном решении сигналы передаются при помощи пакета средств разработки ПО (SDK) Android Debug Bridge (adb). После обработки данных на основном вычислительном компьютере, управляющие команды передаются на планшет при помощи adb SDK, который окрашивает пиксели на дисплее планшета, в соответствии с координатами, предсказанными моделью.

Управляющие сигналы. Пример 2

Для управления протезом управляющими командами являются коды 1 и 0, кодирующие закрытие и открытие протеза соответственно. Далее коды преобразуется в соответствующие им байтовые сообщения, отправляемые на протезное устройство по Bluetooth при помощи пакета Bleak. Таким образом вычисление наблюдаемого состояние производится на основном вычислительном устройстве, а далее управляющая команда передает сигнал на протез через беспроводное соединение.

Вычислительная система, обеспечивающая обработку данных, необходимую для реализации заявленного решения, в общем случае содержит такие компоненты как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство ввода, средства сетевого взаимодействия.

При исполнении машиночитаемых команд, содержащихся в оперативной памяти, конфигурируют процессор устройства для выполнения основных вычислительных операций, необходимых для функционирования устройства или функциональности одного, или более его компонентов.

Память, как правило, выполнена в виде ОЗУ, куда загружается необходимая программная логика, обеспечивающая требуемый функционал. При осуществлении работы предлагаемого решения выделяют объем памяти, необходимый для осуществления предлагаемого решения.

Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти и т.п. Средство позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей/пассажиров, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.

Интерфейсы представляют собой стандартные средства для подключения и работы периферийных и прочих устройств, например, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning и т.п.

Выбор интерфейсов зависит от конкретного исполнения устройства, которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств ввода данных в любом воплощении системы, реализующей описываемый способ, может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств ввода данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства сопряжены посредством общей шины передачи данных.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные частные воплощения его реализации, которое не выходят за рамки испрашиваемого объема правовой охраны и является очевидными для специалистов в соответствующей области техники.

Группа изобретений относится к человеко-машинным интерфейсам взаимодействия на основе системы датчиков, включающих датчики оптомиографии, и может применяться для управления внешними интерфейсами и устройствами для широкого спектра задач. Предложена система управления внешними устройствами посредством человеко-машинного интерфейса для реализации способа, содержащая: носимое устройство, размещенное на пользователе, содержащее по меньшей мере один оптомиографический датчик, выполненный с возможностью снятия сигнала о текущем состоянии мышцы пользователя, с частотой 10-50 Гц, причем оптомиографический датчик состоит из фототранзистора и инфракрасного светодиода; микроконтроллер, выполненный с возможностью контроля времени включения инфракрасного светодиода и времени считывания данных с фототранзистора и передачи полученных данных на сервер обработки данных; сервер обработки данных, выполненный с возможностью обрабатывать полученные данные посредством алгоритмов искусственного интеллекта для получения управляющих сигналов и передачи управляющих сигналов на внешние устройства. Группа изобретений обеспечивает повышение точности распознавания данных и определения движений, полученных от оптомиографических данных и обработанных с помощью алгоритмов искусственного интеллекта. 2 н. и 2 з.п. ф-лы, 4 ил.

1. Система управления внешними устройствами, посредством человеко-машинного интерфейса, содержащая:

носимое устройство, размещенное на пользователе, содержащее по меньшей мере один оптомиографический датчик, выполненный с возможностью снятия сигнала о текущем состоянии мышцы пользователя, с частотой 10-50 Гц, причем оптомиографический датчик состоит из фототранзистора и инфракрасного светодиода; микроконтроллер, выполненный с возможностью контроля времени включения инфракрасного светодиода и времени считывания данных с фототранзистора и передачи полученных данных на сервер обработки данных;

сервер обработки данных, выполненный с возможностью обрабатывать полученные данные посредством алгоритмов искусственного интеллекта для получения управляющих сигналов и передачи управляющих сигналов на внешние устройства.

2. Система по п.1, отличающая тем, что в качестве носимого устройства используется браслет.

3. Система по п.1, отличающаяся тем, что внешними устройствами являются по меньшей мере протезы конечностей, или устройства виртуальной реальности, или персональный компьютер, или промышленный робот, или медицинский робот.

4. Способ управления внешними устройствами, посредством человеко-машинного интерфейса, содержащий этапы, на которых:

осуществляют снятие сигналов движения пользователя посредством по меньшей мере одного оптомиографического датчика, состоящего из фототранзистора и инфракрасного светодиода, с частотой 10-50 Гц, и передают полученные данные на микроконтроллер носимого устройства;

микроконтроллер носимого устройства управляет оптомиографическими датчиками и передает полученные данные с датчиков на сервер обработки информации;

на сервер обработки информации получают данные с оптомиографических датчиков и обрабатывают их посредством алгоритмов искусственного интеллекта для получения управляющих сигналов;

полученные управляющие сигналы передают на внешние устройства.