СПОСОБ И СИСТЕМА УПРАВЛЕНИЯ ИНТЕЛЛЕКТУАЛЬНОЙ БИОНИЧЕСКОЙ КОНЕЧНОСТЬЮ Российский патент 2017 года по МПК A61F2/72 A61F2/68 A61F2/62 

ОБЛАСТЬ ТЕХНИКИ

[0001] Данное техническое решение относится к области медицинской техники, а именно к протезированию, в частности к способам и системам для управления интеллектуальной бионической конечностью, и предназначено для протезирования людей с потерей конечности, а также для использования частей изделия независимо в различных задачах улучшения качества жизни.

УРОВЕНЬ ТЕХНИКИ

[0002] Из уровня техники известен патент РФ №2506931 «Протез кисти», дата публикации: 10.11.2013. В данном решении описывается протез кисти, содержащий приемную гильзу, корпус, каркасы первого пальца, второго-четвертого пальцев, приводную систему функции подвижности «схват-раскрытие кисти», шарнир сгибания в лучезапястном сочленении, манжету на предплечье, три потенциометра, три преобразователя сигнала, сумматор, два функциональных преобразователя и четыре усилителя мощности. Данное решение имеет микроприводы на четыре пальца (кроме мизинца) с закреплением приводов на каркасе и червячной передачей на пальцы. Недостатком данного протеза является механический способ управления, т.к. он требует значительного мышечного усилия, кроме того, такой способ управления не является физиологичным для человека. Например, задача взять монету со стола, не представляющая сложности для человека с неповрежденной рукой, для такого решения невыполнима.

[0003] Также из уровня техники известна заявка на китайский патент № CN1582866 (A) «Myoelectric bionic artificial hand with thigmesthesia and its control», патентообладатель: HANGZHOU ELECTRONIC SCIENCE AN [CN], дата публикации: 23.02.2005. В данном решении описывается миоэлектрическая бионическая искусственная рука с контролем осязания, содержащая измерительные электроды, установленные на остаточных мышцах культи, данные аналого-цифрового преобразования, собранные с помощью компьютера для завершения вывода распознавания движения управляющего сигнала ЭМГ схемой контроля для электрического привода искусственной руки, системы обработки сигнала и системы контроля осязания посредством пьезокерамической пластины. В данном изобретении для получения сенсорной информации, согласно формуле изобретения, используются следующие характеристики во временной области: среднее арифметическое и дисперсия. Но данное решение требует большой концентрации со стороны пользователя для точного позиционирования и выполнения захвата предмета. Кроме того, для более полноценной обратной связи требуется передача большего числа параметров о предмете, например, его температура.

[0004] Существующие в настоящее время системы управления протезами включают, как правило, двигатели, датчики, контроллеры, источники питания, механические и электрические разъемы, интерфейсы и механизмы обратной связи, все из которых являются дополнительными аксессуарами.

[0005] В настоящее время существует постоянная потребность в улучшении протезов верхней конечности, которые были бы способны восстановить полные двигательные функции и сенсорные способности ампутированной конечности.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

[0006] Техническая проблема, решаемая в данном техническом решении, состоит в осуществлении автономного полнофункционального управления для выполнения низкоуровневых задач манипуляции интеллектуальным бионическим протезом конечности, которое позволило бы воспринимать указанный протез как естественную конечность.

[0007] Технической задачей технического решения является разработка:

[0008] - надежного функционального интеллектуального бионического протеза конечности с обратной тактильной связью, управляемого посредством нейромышечных сигналов,

[0009] - способа и системы управления вспомогательным устройством, таким как протез конечности.

[00010] Техническим результатом, проявляющимся при решении указанной технической задачи и проблемы, является повышение точности позиционирования и принятия решения о захвате предмета.

[00011] Также дополнительным техническим результатом является уменьшение когнитивной нагрузки на человека, повышение эффективности управления протезом, снижение времени отклика исполнительных устройств и предотвращение ложных срабатываний протеза за счет способа предобработки сигнала.

[00012] Еще одним дополнительным техническим результатом является упрощение процедуры установки и настройки системы «протез-считывающее устройство» за счет модульности системы - считывающее устройство является портативным, и требует примерного позиционирования при размещении, и является легкосъемным. Протез в свою очередь надевается посредством культеприемника, и связан со считывающим устройством только беспроводными каналом передачи данных.

[00013] Понижение когнитивной нагрузки на человека и повышение эффективности управления протезом достигается за счет использования гибридной системы управления, которая сочетает в себе способы декодирования электронейромиосигналов с элементами автономных роботизированных манипуляций по захвату предмета при достижении порогового значения расстояния до него посредством принятия решения, не требующего участия пользователя, о начале или прекращении выполнения схвата с помощью информации от дополнительных датчиков (температуры и расстояния), и о силе сжатия предмета с помощью информации от датчиков.

[00014] Точность классификации и предотвращения ложного срабатывания протеза достигаются за счет одновременного формирования максимального значения и средней длительности превышения порогового значения нейромиосигнала в окне данных в режиме реального времени, затем после центрирования и нормализации принимается решение о возникновении управляющего сигнала.

[00015] Расположение микроконтроллера, выполненного с возможностью модульной сборки в протезе, позволяет приблизить искусственную конечность по весу и размеру к естественной.

[00016] Использование обратной связи, реализуемой с помощью датчиков температуры, расстояния, момента и позиции, расположенных в протезе, позволяет обезопасить использование протеза и предоставить максимальные возможности по управлению.

[00017] Использование беспроводной передачи данных между протезом и системой считывания обеспечивает удобство использования системы и взаимозаменяемость компонентов, кроме того, возможность их использования независимо друг от друга.

[00018] Указанный технический результат достигается благодаря способу управления интеллектуальной бионической конечностью, в котором получают по меньшей мере один ЭМГ-сигнал пациента посредством миоэлектрического устройства считывания; осуществляют обработку по меньшей мере одного ЭМГ-сигнала пациента посредством неперекрывающейся сегментации ЭМГ-сигнала; для каждого сегмента, полученного на предыдущем шаге, формируют набор признаков ЭМГ-сигнала на основе амплитуды ЭМГ-сигнала для классификации жестов; передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в систему управления интеллектуальной бионической конечностью; определяют тип жеста на основании набора признаков ЭМГ сигнала посредством использования искусственной нейронной сети; формируют управляющий сигнал на основании определенного типа жеста; передают сформированный управляющий сигнал на двигатели, приводящие в движение пальцы бионической конечности; получают обратную связь от системы управления интеллектуальной бионической конечностью посредством получения информации от внешних датчиков.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[00019] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей, на которых:

[00020] Фиг. 1 (а, б) представляет пример осуществления настройки и функционирования системы управления интеллектуальной бионической конечностью.

[00021] Фиг. 2 описывает общую структуру технического решения.

[00022] Фиг. 3 представляет блок-схему реализации системы управления интеллектуальной бионической конечностью.

[00023] Фиг. 4 представляет пример схемы реализации получения данных в виде миоэлектрической системы считывания (поз. 14 - система считывания, поз.15 - датчик регистрации биопотенциалов, поз. 16 - эластичная манжета).

[00024] Фиг. 5 показывает составные части бионического протеза руки в виде миоэлектрической системы считывания (поз. 17), культеприемника (поз. 18) и протеза кисти (поз. 19) и их примерное расположение на конечности.

[00025] Фиг. 6 показывает пример электромиографического сигнала, зарегистрированного при волевом усилии с мышц предплечья.

[00026] Фиг. 7 показывает примерную схему реализации ЭМГ-датчика с использованием более предпочтительного для долговременного использования сухого контакта.

[00027] Фиг. 8 представляет пример размещения датчиков обратной связи на интеллектуальной бионической конечности.

[00028] Фиг. 9 (а, б) представляет механизм привода пальца в прямом и согнутом состоянии.

[00029] поз. 6 Зубчатое колесо.

[00030] поз. 7 Резьбовой плунжер.

[00031] поз. 8 Гайка.

[00032] поз. 9 Рычаг-привод.

[00033] поз. 10 Зубчатое колесо большое.

[00034] поз. 11 Микродвигатель-редуктор.

[00035] поз. 12 Сустав-узел поворота закрепленный на пясти.

[00036] поз. 13 Первая фаланга пальца.

[00037] поз. 14 Сустав-узел поворота пальца.

[00038] поз. 15 Вторая фаланга пальца.

[00039] Фиг. 10 показывает размещение платы управления и приводов в кисти интеллектуальной бионической конечности.

[00040] Фиг. 11 показывает пример осуществления обработки сигнала от системы считывания.

[00041] Фиг. 12 показывает временные функции для выделения признаков ЭМГ-сигнала.

[00042] Фиг. 13 показывает захват данных по ортонормированному базису с помощью ротации. Слева: попытка нейрона приспособиться, чтобы покрыть новые данные. Справа: конечное положение нейрона после нового покрытия данных.

ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ

[00043] Ниже будут описаны понятия и определения, необходимые для подробного раскрытия осуществляемого технического решения.

[00044] Техническое решение может быть реализовано в виде распределенной компьютерной системы.

[00045] В данном решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).

[00046] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).

[00047] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические носители (CD, DVD и т.п.).

[00048] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

[00049] Электромиография (ЭМГ, ЭНМГ, миография, электронейромиография) - метод исследования биоэлектрических потенциалов, возникающих в скелетных мышцах человека и животных при возбуждении мышечных волокон; регистрация электрической активности мышц.

[00050] Культеприемник - часть протеза конечности, предназначенная для помещения культи.

[00051] Электронейромиография (ЭНМГ) - это комплексное электрофизиологическое исследование, необходимое для определения функционального состояния периферической нервной системы и мышц [1].

[00052] Способ физиологичного управления интеллектуальной бионической конечностью на основе распознавания жестов (обработка управляющего сигнала) осуществляют следующим образом.

[00053] Предварительно осуществляют предобработку сигнала и создание входного вектора признаков ЭМГ-сигнала для классификации жестов пациента, которая может выполняться аналогичным образом и при настройке, и при работе системы.

[00054] Для того чтобы различать и классифицировать мышечные движения, должны быть извлечены наиболее значимые части ЭМГ (признаки), которые представляют собой характеристики с достаточной для классификации информацией. По данным исследований, для классификации ЭМГ-сигналов верхних конечностей применяются различные типы функций в частотной области, такие как коэффициенты авторегрессии, коэффициенты косинусного преобразования Фурье и вейвлет-коэффициенты.

[00055] Более подходящими для анализа являются признаки ЭМГ-сигнала во временной области на основе амплитуд сигналов. Такие признаки могут быть легко определены, обладают высокой стабильностью для распознавания образов с помощью ЭМГ. Для достижения лучших результатов, функция (признак) должна содержать достаточное количество информации, чтобы представлять существенные свойства ЭМГ-сигнала, и должна быть достаточно простой для быстрой обработки и классификации. В некоторых вариантах осуществления в качестве признаков могут использоваться следующие величины во временной области, измеренные как функции времени: интегральная ЭМГ; среднее арифметическое; среднее значение модуля; конечные разности; сумма элементарных площадей; дисперсия; среднеквадратичное отклонение; длина сигнала; максимальное значение ЭМГ-сигнала, более подробно информация о выборе признаков для классификации раскрыта в работе авторов [2].

[00056] Формулы для расчета этих величин показаны на Фиг. 12.

[00057] Оценка эффективности признаков осуществляется по двум главным параметрам - производительность нейронной сети и время работы - как наиболее важным для использования в реальном времени. Согласно предыдущим исследованиям, описанным в источнике информации [3], для условия выполнения требований работы в режиме реального времени время распознавания сигнала должно занимать не более 25 мс. Для комфортной работы пользователя производительность, или точность распознавания (процентное отношение верных случаев классификации ко всем рассматриваемым случаям) должна быть не ниже 95%, как показано в источнике [4]. Пример осуществления обработки сигнала представлен на Фиг. 11. С целью повышения точности классификации жеста и предотвращения ложного срабатывания бионической конечности на этапе предобработки сигнала, одновременно с вычислением максимального значения сегмента ЭМГ-сигнала, вычисляется средняя длительность превышения порогового значения ЭМГ-сигнала в окне данных в режиме реального времени, затем после центрирования и нормализации полученного сигнала принимается решение о возникновении управляющего сигнала.

[00058] Данные нейромышечной активности (данные матрицы каналов электромиографа) получают от устройства миоэлектрического считывания и оцифровывают посредством АЦП, затем проверяют условие возникновения активного сигнала (соответствующего выполнению жеста), например, 30% от заданной в настройках амплитуды. Далее разбивают полученный оцифрованный сигнал неперекрывающимся окном на сегменты, длиной, например, 25 мс. В некоторых вариантах осуществления технического решения используют функцию максимального значения сегмента, как наиболее эффективную и легко вычисляемую. Для каждого сегмента вычисляется его максимальное значение по формуле:

[00059]

[00060] где x_k - k-й сегмент сигнала, x_i - i-e значение сегмента. Далее полученные значения нормируются следующим образом:

[00061]

[00062] где X - массив данных сигнала, X_i - i-e значение сигнала;

[00063] И центрируют:

[00064]

[00065] Где - среднее арифметическое сигналах X.

[00066] Таким образом, получают входной вектор признаков (по которому осуществляется классификация жестов) для каждого канала, с более низкой размерностью, чем у исходного сигнала (в зависимости от ширины окна): вектор длиной k вместо первоначального вектора длиной k*i, что снижает вычислительную нагрузку на микроконтроллер. Размерность понижается за счет того, что находят одно значение среди i значений.

[00067] На этапе настройки системы после создания входного вектора признаков ЭМГ-сигнала происходит обучение искусственной нейронной сети (ИНС). В некоторых вариантах осуществления используют ИНС на основе радиальной базисной функции (но не ограничиваясь ей). В некоторых вариантах осуществления может использоваться многослойный персептрон нейронной сети или метод опорных векторов.

[00068] Для того чтобы распознать жесты, извлеченные признаки должны быть классифицированы в отличительные классы. Классификатор должен быть в состоянии справиться с факторами, которые оказывают заметное влияние на шаблоны ЭМГ в течение времени, такие, как существенное изменение сигналов ЭМГ, расположение электродов, пот и усталость, описанные в источнике информации [5].

[00069] Вышеуказанный способ использует трехзвенную архитектуру управления (база данных - сервер - клиент) при обработке набора признаков ЭМГ-сигнала.

[00070] Во входном слое количество нейронов равно размерности вектора признаков (который в данном случае равен числу каналов передачи данных, по которым передаются данные с датчиков), который в примере реализации изобретения может быть равен восьми: x_i, i=1, 2…8. Скрытый слой, где число нейронов не было определено заранее, так как они были сформированы в ходе процедуры обучения, был разделен на четырнадцать субскрытых слоев (по количеству классов в учебных данных - четырнадцать жестов). В выходном слое число нейронов было равно количеству классов в наборе обучающих данных (четырнадцать нейронов).

Базисной функцией нейронной сети в скрытом слое является функция Гаусса, а выход k-го нейрна в скрытом слое для каждого данного входа X=[x₁,x₂,x₃,x₄,x₅,x₆,x₇,x₈]^T может вычисляться по следующей формуле:

Это уравнение описывает 8-мерный гауссиан с центром в точке C=[C₁,C₂,C₃,C₄,C₅,C₆,C₇,C₈,C₃]^T и вращается вдоль ортонормированного базиса {U₁,U₂,U₃,U₄,U₅,U₆,U₇,U₈}, что позволяет нейрону покрывать поле данных соседа без смещения или любого изменения размера. Ширина этого гауссиана вдоль каждой оси равна a_i, i=1, 2…8.

Поскольку входные векторы признаков для каждого образа являются восьмимерными, координаты, соответствующие этим векторам, представляют собой базис вида [1,0,0,0,0,0,0,0]^T, [0,1,0,0,0,0,0,0]^T … [0,0,0,0,0,0,0,1]^T. Таким образом, компонента x_i каждого входного вектора X по отношению к новым осям может быть вычислена как:

Вращение вдоль базисных векторов позволяет нейронам покрыть все близлежащие данные без увеличения радиуса. На Фиг. 13 показано, каким образом нейрон пытается приспособиться, чтобы покрыть новые данные; в правой части рисунка показано нахождение данных нейроном.

Во время настройки системы происходит запись сигнала пользователя в базу данных, данные в которой накапливаются, и используются для дообучения сети. Для каждого пользователя имеется вектор признаков с размером 8×N (где 8 - число каналов, N - число обучающих данных), полученный с помощью описанного выше способа (сегментации неперекрывающимимся окнами). Перед процедурой обучения каждый набор данных перемешивается, а затем делится на наборы в соотношении 2:1:1 (по числу обучающих данных N) с данными для этапов обучения, тестирования и контроля соответственно.

Ортонормированный базис вычисляется через собственный вектор ковариационной матрицы. Поскольку обучающие данные вводятся в сеть последовательно, вектор средней и ковариационная матрица вычисляются рекурсивно. Для N выборок X={x₁, x₂, …, x_N}, в котором , j=1, …, N вектор средних значений рассчитывается следующим образом:

где - это вектор средних значений множества данных X;

X_N+1 - новый вектор данных, добавляемый во множество данных X.

Затем ковариационная матрица вычисляется как:

Чтобы найти ортонормированный базис для РБФ, используется концепция анализа главных компонент. Собственные величины {λ₁, λ₂, λ₃, λ₄, λ₅, λ_б, λ₇, λ₈} и соответствующие им собственные векторы {U₁,U₂,U₃,U₄,U₅,U₆,U₇,U₈}вычисляются от уровня ковариационной матрицы. Далее множество собственных ортогональных векторов образуют ортонормированный базис, что показано в источнике информации [6].

Процедуру обучения нейронной сети во время настройки системы более подробно можно описать следующим образом.

[00071] Пусть X={(x_j, t_j)|1≤j≤N} есть множество N обучающих данных (обучающая выборка), где x_j является вектор-функцией (компонент , где - множество обучающих данных) и t_j является классом, с которым необходимо соотнести жест. Пусть Ω_k={Ω_k|1≤k≤m} это набор из m нейронов. Каждый нейрон имеет пять параметров:

[00072]

[00073] где C^k - центр k-го нейрона, S^k - ковариационная матрица k-го нейрона, N_k - это количество данных, соответствующих k-му нейрону, A_k - ширина вектора k-го нейрона, и d_k - класс-метка k-го нейрона.

[00074] Вся процедура обучения может быть сведена к следующим шагам.

[00075] Осуществляется инициализация вектора ширины пространства. В данном случае используется восьмимерный вектор признаков, для простоты расчетов примем радиус восьмимерной сферы Гаусса равным 1:А₀=[1; 1; 1; 1; 1; 1; 1; 1]^T.

[00076] Затем на вход ИНС подается множество обучающих данных (x_j, t_j). Когда нейрона нет в составе сети (K=0), K= K+1, новый нейрон Ω_k формируется с учетом следующих параметров: , , N_k=1, d_k=t_j, A_k=A₀. Затем обучающие данные сбрасываются. Если K≠0, ближайший нейрон в скрытом слое Ω_k∈Ω находится так, что d_k=t_j, и , ; и вектор средних значений и ковариационная матрица обновляются.

[00077] Далее определяют ортонормированный базис Ω_k, после чего на выходе k-го нейрона определяют значение:

[00078]

где X_j - j-e значение входа и цели, - центр нового нейрона, - координата ортонормированного базиса, - координата вектора ширины гауссиана.

[00079] Если значение ψ_k(X_j)≤0, то нейрон охватывает данные так, что временные параметры настраиваются на его основные параметры. В противном случае, при ψ_k(X_j)>0, создается новый нейрон.

[00080] Поскольку новые нейроны могут быть автоматически добавлены к сети и располагаться очень близко друг к другу, возможна реализация стратегии слияния нескольких нейронов во избежание роста сети до максимальной структуры (одного нейрона для каждой единицы данных), что подробно описано в источнике информации [7].

[00081] Обученная нейронная сеть позволяет точно подстроиться под пациента. В результате обучения ИНС сохраняют новые значения весовых коэффициентов нейронной сети в микропроцессор протеза напрямую или в хранилище данных.

[00082] Однако следует учитывать, что другие типы ИНС, как и другие методы классификации, также могут быть осуществлены в данном изобретении специалистом в своей области.

[00083] В процессе работы системы результат распознавания жеста преобразуется в соответствующую управляющую команду (например, мысленное сжатие в «кулак» пользователем - «кулак» на протезе) и передается на приводы бионического протеза кисти.

[00084] Система физиологичного управления интеллектуальной бионической конечностью на основе распознавания жестов (обработка управляющего сигнала) осуществляют следующим образом.

[00085] Вышеуказанная система состоит из миоэлектрического устройства считывания биопотенциалов, которое может быть конструктивно выполнено в виде легкосъемного эластичного браслета (показан на Фиг. 4 поз. 14). В данном устройстве располагаются электроды для регистрации активности нервно-мышечной системы (поз. 15), возникающей в ответ на фантомное движение пациента. Причем браслет может быть размещен на предплечье или на плече и выполнен с возможностью передачи управляющего сигнала протезу кисти.

[00086] В данном браслете может находиться датчик беспроводной передачи данных, причем, не ограничиваясь, могут использоваться технологии беспроводной передачи данных Bluetooth или Wi-Fi, или ZigBee.

[00087] В легкосъемном браслете, надеваемом на плечо или предплечье, размещены, по меньшей мере один датчик электромиограммы, (далее датчик ЭМГ), с операционными усилителями, фильтры нижних и верхних частот, аналого-цифровые преобразователи (АЦП), микропроцессор, микроконтроллер, преобразователь напряжения и аккумуляторы.

[00088] Датчик ЭМГ в некоторых вариантах осуществления представляет собой набор пластин электродов, размещенных на подложке из диэлектрика. В разных вариантах осуществления технического решения электроды могут быть выполнены из нержавеющей стали или из слабополяризующихся проводящих материалов (например, из нержавеющей стали марки 12Х18Н10). В некоторых вариантах осуществления электроды могут быть выполнены следующих размеров: квадрат 1×1 см для приемной пластины (2 штуки) и прямоугольник 1×0,5 см для референта, не ограничиваясь. Специалисту в данной области техники очевидно, что размер электродов может быть выполнен в другом размере, учитывая, что размер пластины влияет на амплитуду сигнала и уровень перекрестных помех.

[00089] На подложку электрода сверху устанавливается плата усилителя биопотенциалов, которая может состоять из инструментального (дифференциального) усилителя (например, такого как INA114), фильтров нижних и верхних частот, выполненных на пассивных элементах в виде RC цепочек или на активных элементах. Через гибкие шлейфы датчики подсоединяются к плате микропроцессора, где может происходить оцифровка посредством аналого-цифрового преобразования и передача его на микроконтроллер (например, 2x 16ти битных АЦП ADS1115 и предварительная обработка сигнала на контроллере ARM микропроцессора Cortex М4).

[00090] При волевом сокращении мышцы пациентом активными электродами регистрируется разность потенциалов в низкочастотном диапазоне, возникающая в нервно-мышечной ткани.

[00091] Следует особо подчеркнуть необходимость надежного способа снятия управляющего сигнала. Частотный состав электромиограммы у лиц с ампутацией, согласно исследованиям, представлен сильно зашумленным сигналом в диапазоне 0,5-300 Гц и амплитудой сигнала от 1 мкВ до 2 мВ (Фиг. 6).

[00092] Осуществление технического решения (Фиг. 1а) может происходить следующим образом. Пациент выполняет заданные жесты, при этом миоэлектрическое устройство считывания передает данные пользователя на устройство обработки данных по беспроводному каналу передачи данных (например, с использованием стандарта Bluetooth 4.0), где происходит создание профиля пользователя. Затем созданный профиль записывается на микроконтроллер.

[00093] Миоэлектрическое устройство считывания осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ) и передачу данных по беспроводному каналу связи (например, с использованием стандарта Bluetooth 4.0, но не ограничиваясь им) на плату управления протезом кисти, размещение которой показано на Фиг. 10 (поз. 20). Способ обработки сигнала более подробно раскрыт выше.

[00094] Фиг. 10 представляет собой вид сверху протеза кисти руки, который включает в себя ладонную часть руки, запястье и рычажную часть.

[00095] Как показано на Фиг. 8, индикаторы расположены в ладонной части протеза. Плата управления протезом подключается к светодиодным индикаторам, отображающим различные цвета: красный, зеленый, оранжевый и другие цвета, для предоставления различную информации/обратную связь пользователю протеза (например, при необходимости осуществить более сильное сжатие или повторить жест, или при невозможности выполнения захвата предмета из-за неподходящей температуры).

[00096] Система управления интеллектуальной бионической конечностью также включает в себя:

[00097] сеть контроллера (контроллерную сеть), которая обеспечивает модульную, надежную и отказоустойчивую схему взаимодействия для обмена данными между контроллером и остальными управляющими и исполнительными органами бионического протеза, и которая обеспечивает передачу контроллеру намерений от нервно-мышечной системы пользователя;

[00098] источник питания;

[00099] разноцветные поверхностные светоизлучающие диодные, вибро- и звуковые индикаторы (LED), расположенные в протезе, с помощью которых посредством контроллера обеспечивается обратная связь с пациентом.

[000100] Примерные варианты осуществления системы управления интеллектуальной бионической конечностью включают в себя контроллер 301 (не более 2×3 см), который принимает данные о результате распознавания, осуществляет обмен данными и управление двигателями пальцев, температурными, позиционными, контактными датчиками и датчиками момента, а также вибро- и цветовыми индикаторами в интеллектуальном бионическом протезе.

[000101] Контроллер в некоторых вариантах осуществления может включать в себя блок обработки,

[000102] блок интерфейса, который физически отделен от блока обработки, причем вышеуказанные блоки могут соединяться гибким шлейфом, что позволяет осуществлять гибкое построение интерфейса без изменения соответствующего элемента управления программным обеспечением.

[000103] Данная архитектура также обеспечивает гибкое управление питанием протеза, значительно увеличивая срок службы батареи, т.к. благодаря такой организации неиспользуемый в данный момент блок находится в состоянии ожидания и пониженного энергопотребления.

[000104] На Фиг. 3 показана блок-схема системы управления интеллектуальной бионической конечностью, которая включает в себя контроллер протеза 301, шину 302, и по меньшей мере одну шину пальцев 303 (на Фиг. 3 показана только одна из них). Шина 302 и шина пальца 303 подключены к контроллеру протеза 301 с помощью интерфейса ввода-вывода 304.

[000105] Контроллер 301 протеза может являться одним из компонентов протеза (не показанного на данной схеме). Контроллер 301 протеза является центральным звеном управления протезом. Таким образом, контроллер 301 протеза, который может быть конструктивно размещен внутри протеза (и, в одном из вариантов, может быть полностью размещен в ладонной части руки), несет ответственность за высокий уровень координированного управления рукой и крупными моторными суставами, а также разнообразные функции, связанные с внутренними нюансами работы протеза.

[000106] Также, в случае необходимости, в некоторых вариантах осуществления контроллер 301 протеза может быть размещен вне протеза.

[000107] Одна из функций контроллера 301 протеза - это управление движением протеза.

[000108] Соответственно, команды о намерении пользователя передаются блоком 305 ЭНМ интерфейса (электронейромиоинтерфейса), который взаимодействует с контроллером 301 конечности посредством шины 302 и интерфейса ввода-вывода 304, как показано на Фиг. 3. Команды из блока 305 ЭНМ интерфейса, а также информация от контроллера 306 крупноманипуляционного привода и по меньшей мере одного контроллера 307 мелкоманипуляционного привода (на Фиг. 3 показан один из них), которые поступают через шину 302 и шины 303 пальцев, позволяют способу управления интеллектуальной бионической конечностью, описанному выше, в контроллере 301 генерировать новые команды для управления крупноманипуляционными приводами и мелкоманипуляционными приводами.

[000109] Контроллер 301 протеза также обеспечивает передачу сенсорных данных от датчиков в протезе с помощью вибродатчика, либо с помощью слабого электрического импульса.

[000110] Эта обратная тактильная связь позволяет пациенту ощущать внешние условия, не будучи ограниченным только визуальной или звуковой обратной связью.

[000111] Контроллер 301 протеза также получает и обрабатывает сенсорную информацию, такую как температура предмета, положение протеза, крутящий момент и вибрация. Для этого на поверхности протеза размещены датчик 308 температуры, позиционный датчик 309, датчик 310 контакта и датчик 311 крутящего момента соответственно.

[000112] Как показано на Фиг. 3, контроллер 307 мелкоманипуляционного привода получает информацию от датчиков 308 температуры, позиционного датчика 309, датчика 310 контакта и датчика 311 крутящего момента.

[000113] В некоторых вариантах осуществления, два позиционных датчика 309 (или более) могут быть подключены к контроллеру 306. Кроме того, контроллер 306 крупноманипуляционного привода может иметь подключенные датчики, например один или более температурный датчик 308 или датчик 311 крутящего момента, как показано на Фиг. 3.

[000114] Как показано на Фиг. 3, система управления интеллектуальной бионической конечностью в соответствии с вариантом осуществления включает в себя, по меньшей мере, один узел 312 датчиков кончика пальца протеза, соединенный с контроллером 301 протеза с помощью шины 303 пальца, а также контроллер 313 сокета, подключенный к разъему контроллера 301 протеза через шину 302.

[000115] Узел 312 датчиков кончика пальца имеет набор датчиков (не показаны на фигуре), в том числе, но не ограничиваясь ими: позиционные датчики (например, потенциометр или датчики Холла), контактные датчики (например, поливинилиден дифторидный контактный датчик), и датчики температуры, каждый из которых обеспечивает информацию о различном положении, крутящем моменте и/или входах тактильной обратной связи контроллеру 301 протеза. Эти датчики, распределенные по всей конечности, обеспечивают входы для усовершенствованных способов управления, выполняющихся на контроллер 301 протеза, а также для тактильной обратной связи с пользователем.

[000116] В дополнительных вариантах осуществления изобретения контроллер 301 протеза использует шину 302 для взаимодействия с дополнительными устройствами и/или аксессуарами, такими как устройства радиочастотной идентификации (RFID датчики), смартфоны и персональные цифровые помощники, хотя дополнительные или альтернативные варианты осуществления изобретения не ограничивается этими примерами.

[000117] Протез кисти может представлять собой металлопластмассовый каркас пясти с пятью электродвигателями и пяти металлокаркасов пальцев, связанных с пястью рычажноплунжерной системой (мехатроника). Входной вектор признаков классифицируется алгоритмом нейронной сети по типу «обучение с учителем» в микропроцессоре Cortex М4, установленным в плате управления поз.20 см. Фиг. 9а, где каждому набору признаков ЭМГ, полученной от волевого сокращения мышцы, присваивается соответствующий управляющий сигнал для передачи приводному механизму протеза. При подаче сигнала от платы 20 управления (см. Фиг. 9а) на двигатель 11, гайка 8 совместно с рычагом приводом выдвигается (втягивается) в положение, показанное на Фиг. 9б, чем обеспечивается состояние «схват» или открытие ладони. Каждый палец имеет отдельный привод (см. Фиг. 10).

[000118] Функционирование системы происходит следующим образом. Миоэлектрическое устройство считывания в виде браслета надевается на уцелевшую часть предплечья и подключается к компьютеру, на компьютере происходит настройка, калибровка браслета и бионического протеза следующим образом. Обучающая выборка формируется следующим образом. С помощью программы калибровки на экран последовательно выводятся типы жестов, например «кулак», «щепоть тремя пальцами», «захват «ключ»», «цилиндрический схват», и другие, которые предлагается повторить пользователю несколько раз в течение определенного времени, например 5 раз по одной секунде, после чего полученные данные используются для обучения алгоритма распознавания на основе нейронной сети, как было описано выше. Создается профиль пользователя с новыми весовыми коэффициентами, который записывается в микроконтроллер браслета. Далее протез и браслет могут работать автономно, на основе беспроводной связи, например, посредством Bluetooth 4.0.

[000119] Протез кисти устанавливается в культеприемник. Миоэлектрическое устройство считывания можно надеть до, либо после установки протеза благодаря эластичной манжете.

[000120] Пользователь может использовать движения, записанные при калибровке. После совершения движения, сигнал регистрируется, преобразуется и классифицируется согласно этапам, описанным выше. Благодаря наличию датчиков, передающих дополнительную информацию от протеза, осуществляется обратная связь с пользователем, как описано выше.

ПРИМЕРЫ ОСУЩЕСТВЛЕНИЯ ТЕХНИЧЕСКОГО РЕШЕНИЯ

[000121] Средство сбора данных размещается на руке пользователя и одновременно соединяется с персональным компьютером, которое является устройством обработки данных. Пользователь, выполняя команды на экране, совершает 14 жестов (например, «Кулак», «Неполный кулак, или цилиндрический хват», «Раскрытие ладони», «Щепоть большим и указательным пальцем», «Щепоть большим и безымянным пальцами», «Поворот ладони на себя», «Поворот ладони от себя», ««Пистолет» - указательный и большой пальцы выпрямлены, остальные прижаты», «Кулак с выпрямленным большим пальцем», «Вращение предплечья на себя», «Вращение предплечья от себя», «Захват компьютерной мыши», «Захват под ключ», «Расслабление»), каждый в течение одной секунды, повторяя их согласно изображениям на экране, формируя таким образом обучающую выборку жестов.

[000122] Электроды датчика регистрируют разность потенциалов, возникающую при сокращении мышц, далее сигнал усиливается в 1000 раз, фильтруется в полосе 5-500 Гц и оцифровывается в АЦП. Далее, в режиме настройки, оцифрованный сигнал поступает на компьютер. Каждому цифровому отсчету сигнала по каждому жесту ставится в соответствие номер выполняемого жеста для дальнейшего обучения. Данные по каждому жесту соединяются в матрицу, соответственно, при частоте дискретизации, например, 1000 Гц, имеем набор данных размером 14×1000×8×14000 (14 жестов по 1 секунде х 1000 Герц, 8 - число каналов, 14000 - вектор целей от 1 до 14, присвоенный каждому отсчету номер жеста, по 1000 значений на каждую цель), амплитуда сигнала находится в диапазоне от 100 мкВ до 1 мВ. Затем сигнал сегментируют окнами шириной 25 мс, по 25 отсчетов на сегмент соответственно для частоты дискретизации 1000 Гц. Далее, находят максимум на каждом сегменте, получают на выходе вектор признаков размером 14×40×8×350 (размерность вектора целей также понижается). Затем данные в полученном векторе центрируются и нормируются, как описано выше. Амплитуда приводится к диапазону [-1:1].

[000123] Таким образом, получают входной вектор признаков для обучения нейронной сети. Обучение происходит согласно описанному выше алгоритму. Далее, новые значения весов сети записываются в контроллер системы считывания. После чего пользователь может использовать систему. Данные до сегментации и данные после сегментации сохраняются в базе данных на удаленном компьютере для возможности дальнейшего исследования и для пополнения обучающей выборки нейронной сети. Также далее возможно настроить соответствие жестов, выполняемых пользователем, и хватов, реализуемых приводами протеза в ответ на жест пользователя, подключив протез к компьютеру.

[000124] Затем при эксплуатации системы пользователь выполняет любой из четырнадцати жестов, затем происходит регистрация и обработка сигнала. Электроды датчика регистрируют разность потенциалов, возникающую при сокращении мышц, далее сигнал усиливается в 1000 раз, фильтруется в полосе 5-500 Гц и оцифровывается в АЦП. Далее, сигнал поступает на микроконтроллер системы считывания. Набирается число данных, равное ширине окна (25 мс), соответственно, при частоте дискретизации, например, 1000 Гц, имеем вектор данных размером 25×8 (25 отсчетов за 25 мс, 8 - число каналов), амплитуда сигнала находится в диапазоне от 100 мкВ до 1 мВ. Далее, находят максимум текущего сегмента, получают на выходе вектор размером 1×8. Затем данные в полученном векторе центрируются и нормируются, как описано выше. Амплитуда приводится к диапазону [-1:1]. Далее вектор подается на вход нейронной сети, которая определяет класс жеста. На основе результата классификации создается управляющая команда и передается на приводы протеза. Результирующий хват протеза может быть, как аналогичным выполненному пользователю, так и иным, заданным в настройках изначально.

ИСПОЛЬЗУЕМЫЕ ИСТОЧНИКИ ИНФОРМАЦИИ

1. Коуэн X.Л., Брумлик Дж. Руководство по электромиографии и электродиагностике: Пер. с англ. - М.: Медицина, 2005. - 192 с.

2. Будко Р.Ю., Старченко И.Б. Создание классификатора мимических движений на основе анализа электромиограммы // Труды СПИИРАН. 2016. Вып. 46. С. 76-89.

3. Englehart K, Hudgins В: A robust, real-time control scheme for multifunction myoelectric control. IEEE Trans Biomed Eng 2003, 50(7): 848-854.

4. Van den Broek EL, Lis'y V, Janssen JH, Westerink JHDM, Schut MH, Tuinenbreijer K: Affective Man-machine Interface: Unveiling human emotions through biosignals. Biomedical Engineering Systems and Technologies: Communications in Computer and Information Science. Berlin, Germany: Springer Verlag; 2010.

5. Maria C. Selection of suitable hand gestures for reliable myoelectric human computer interface / Maria Castro, Sridhar P Arjunan, Dinesh K Kumar // BioMedical Engineering OnLine. - 2015. - 14:30 (9 April 2015) available at: http://www.biomedical-engineering-online.com/content/14/1/30.

6. Huihui L. Relationship of EMG/SMG features and muscle strength level: an exploratory study on tibialis anterior muscles during plantar-flexion among hemiplegia patients / Huihui Li, Guoru Zhao, Yongjin Zhou, Xin Chen, Zhen Ji, Lei Wang // BioMedical Engineering OnLine. - 2014. 13:5 (27 January 2014) available at: http://www.biomedical-engineering-online.com/content/13/1/5.

7. Saichon J, Chidchanok L, Suphakant P: A very fast neural learning for classification using only new incoming datum. IEEE Trans Neural Netw 2010.

Изобретение относится к области медицинской техники, а именно к протезированию, в частности к способам и системам для управления интеллектуальной бионической конечности. Способ управления интеллектуальной бионической конечностью содержит этапы, на которых: получают по меньшей мере один ЭМГ-сигнал пациента посредством миоэлектрического устройства считывания; осуществляют обработку по меньшей мере одного ЭМГ-сигнала пациента посредством неперекрывающейся сегментации ЭМГ-сигнала; для каждого сегмента, полученного на предыдущем шаге, формируют набор признаков ЭМГ-сигнала на основе амплитуды ЭМГ-сигнала для классификации жестов; передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в систему управления интеллектуальной бионической конечностью; определяют тип жеста на основании набора признаков ЭМГ сигнала посредством использования искусственной нейронной сети; формируют управляющий сигнал на основании определенного типа жеста; передают сформированный управляющий сигнал на двигатели, приводящие в движение пальцы бионической конечности; получают обратную связь от системы управления интеллектуальной бионической конечностью посредством получения информации от внешних датчиков. Изобретение позволяет повысить точность позиционирования и принятия решения о захвате предмета. 2 н. и 11 з.п. ф-лы, 13 ил.

1. Способ управления интеллектуальным бионическим протезом верхней конечности, включающий следующие шаги:

A) получают по меньшей мере один ЭМГ-сигнал пациента, возникающий в ответ на фантомное движение пациента, посредством устройства считывания;

Б) осуществляют обработку по меньшей мере одного полученного ЭМГ-сигнала пациента посредством неперекрывающейся сегментации ЭМГ-сигнала;

B) для каждого сегмента, полученного на предыдущем шаге, формируют набор признаков ЭМГ-сигнала на основе амплитуды ЭМГ-сигнала для классификации жестов;

Г) передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в базу данных нейронной сети для накопления и дообучения нейронной сети и в устройство считывания;

Д) при намерении пациента совершить жест определяют тип жеста на основании сформированного набора признаков ЭМГ сигнала посредством использования искусственной нейронной сети;

Е) формируют управляющий сигнал на основании определенного типа жеста;

Ж) передают сформированный управляющий сигнал на контроллер протеза верхней конечности для передачи соответствующих сигналов двигателям, приводящих в движение пальцы бионической конечности;

З) получают обратную связь от системы управления интеллектуальной бионической конечностью посредством получения информации от внешних датчиков.

2. Способ по п. 1, характеризующийся тем, что при получении ЭМГ-сигнала регистрируется разность потенциалов в низкочастотном диапазоне, возникающая в нервно-мышечной ткани пациента при намерении совершить жест.

3. Способ по п. 1, характеризующийся тем, что при получении ЭМГ-сигнала устройство считывания осуществляют фильтрацию сигнала.

4. Способ по п. 1, характеризующийся тем, что при сегментации ЭМГ-сигнала для каждого сегмента определяют его максимальное значение.

5. Способ по п. 1, характеризующийся тем, что используют искусственную нейронную сеть на основе радиальной базисной функции.

6. Способ по п.1, характеризующийся тем, что во входном слое для искусственной нейронной сети количество нейронов равно размерности вектора признаков.

7. Способ по п. 1, характеризующийся тем, что в выходном слое для искусственной нейронной сети число нейронов равно количеству классов в наборе обучающих данных.

8. Система управления бионическим протезом верхней конечности с использованием искусственной нейронной сети, содержащая:

устройство считывания ЭМГ сигналов пациента, возникающих в ответ на фантомное движение пациента, и первичной обработки указанных сигналов;

по меньшей мере одно устройство обработки данных для создания профиля пациента, в котором формируется набор признаков ЭМГ-сигнала для классификации жестов согласно этапам А-В способа по п. 1;

база данных нейронной сети, включающая по меньшей мере данные об ЭМГ сигналах после первичной обработки и о наборе признаков ЭМГ сигналов для классификации жестов;

протез верхней конечности, который имеет

- контроллер, выполненный с возможностью управления независимыми приводами пальцев,

- один или несколько датчиков, подключенные к контроллеру и выбранные из следующих: температурный, позиционный, контактный, датчик момента;

- светодиоды различных цветов (LED), вибро- и звуковые индикаторы, подключенные к контроллеру,

при этом

устройство считывания ЭМГ сигналов и первичной обработки указанных сигналов имеет по меньшей мере один миоэлектрический датчик для регистрации ЭМГ сигналов, микропроцессор для первичной обработки указанных сигналов и микроконтроллер;

указанный микроконтроллер выполнен с возможностью

- обмена данными с устройством обработки данных,

- передачи управляющего сигнала на контроллер протеза верней конечности для управления движением пальцев,

- получения сигналов обратной связи от контроллера протеза верхней конечности,

при этом обработка управляющего сигнала осуществляется согласно способу по п. 1.

9. Система по п. 8, характеризующаяся тем, что устройством считывания ЭМГ сигналов пациента является легкосъемный эластичный браслет.

10. Система по п. 9, характеризующаяся тем, что браслет расположен на предплечье или на плече пациента.

11. Система по п. 8, характеризующаяся тем, что устройство считывания ЭМГ сигналов пациента содержит датчик беспроводной передачи данных.

12. Система по п. 8, характеризующаяся тем, что контроллер протеза верхней конечности размещен внутри протеза.

13. Система по п. 12, характеризующаяся тем, что указанный контроллер использует шины передачи данных для взаимодействия с внешними устройствами.