Способ получения набора ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом Российский патент 2025 года по МПК A61F2/72 G16H40/60 G16H50/70 

Изобретение относится к медицинской технике, используемой в сфере протезирования, а именно к способам управления бионическим протезом и может быть использовано в медицинской отрасли промышленности.

В настоящее время активно развиваются технологии бионического протезирования отсутствующих конечностей. Как правило, управление бионическим протезом осуществляется его контроллером на основании биологической обратной связи с отсутствующей конечностью пользователя, получаемой при помощи миографических датчиков. Однако объем данных, получаемых миографическими датчиками, достаточно велик и содержит в себе множество перекрывающейся нейронной информации, что может снизить точность распознавания контроллером отдельных жестов пользователя и как следствие снизить точность и эффективность управления протезом. Для устранения этой проблемы возможно увеличение мощности контроллера путем его обучения распознаванию и классификации все большего количества каналов миографических сигналов, при этом рост числа таких каналов будет требовать постоянного переобучения системы. Также для устранения этой проблемы возможно снижение операционной нагрузки на контроллер путем подачи на его вход данных, к распознаванию которых он наиболее способен.

Одним из примеров способа снижения операционной нагрузки на контроллер является выбранный в качестве прототипа способ обучения пользователя выполнению эталонных сокращений для управления бионическим протезом, включающий в себя получение системой миографических датчиков многоканального массива миографических сигналов в момент выполнения пользователем жеста отсутствующей конечностью, визуализацию в режиме реального времени полученного многоканального массива миографических сигналов в виде траектории, ассоциированной с сокращениями тех или иных мышц, зарегистрированными соответствующими миографическими датчиками во время выполнения пользователем жеста одновременно с визуализацией траектории, ассоциированной с предварительно выбранным эталонным сокращением мышц при выполнении этого жеста, и тренировку пользователем сокращений до достижения их сходства с эталонными, при этом дальнейшее управление бионическим протезом осуществляется пользователем путем осуществления выученных им эталонных сокращений, критерии предварительного выбора которых в документе не раскрываются, а снижение нагрузки на контроллер достигается за счет выполнения пользователем сокращений, соответствующих определенным жестам, в их эталонном исполнении [DE102008036714A1, дата публикации: 11.02.2010 г.]

Недостатком прототипа является высокая сложность управления бионическим протезом путем осуществления пользователем эталонных сокращений ввиду того, что указанные эталонные сокращения могут быть трудны для выполнения и повторного воспроизведения их пользователем, в результате чего с увеличением числа сокращений, не соответствующих эталонным, снижается точность распознавания этих сокращений контроллером. Сложность для пользователя в выполнении им эталонных сокращений заключается в том, что т.н. эталонные сокращения, не всегда могут учитывать особенности организма пользователя, в частности возможности сокращения им определенных мышц с определенной силой, что исключает возможность индивидуальной настройки протеза под пользователя, имеющего такие особенности. Помимо этого, выбранный в качестве прототипа способ имеет еще один существенный недостаток, заключающийся в том, что при управлении протезом путем выполнения пользователем эталонных сокращений, не известно то, насколько эталонные сокращения, соответствующие разным жестам и их разновидностям, являются различимыми друг от друга с точки зрения нейронной информации получаемой миографическми датчиками во время их выполнения, и как следствие распознаваемыми контроллером в качестве отличающихся друг от друга жестов, что не позволяет произвести оценку эффективности управления бионическим протезом при выполнении пользователем эталонных сокращений, соответствующих разным жестам и существенным образом ухудшает эксплуатационные характеристики бионического протеза, управляемого путем выполнения пользователем эталонных сокращений, а также не позволяет эффективно решить проблему снижения нагрузки на контроллер бионического протеза.

Техническая проблема, на решение которой направлено изобретение, заключается в необходимости повышения точности выполнения протезом моторных команд, используемых пользователем для управления бионическим протезом его конечности.

Технический результат, на достижение которого направлено изобретение, заключается в создании набора ассоциированных с жестами пользователя миографических сигналов, предназначенных для управления бионическим протезом пользователя, и обладающих высокой различимостью и индивидуальностью.

Дополнительный технический результат, на достижение которого направлено изобретение, заключается в обеспечении возможности индивидуальной настройки бионического протеза с учетом особенностей миографических сигналов, получаемых от конкретного пользователя.

Сущность изобретения заключается в следующем.

Способ получения набора ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом, характеризуется тем, что включает этапы, на которых:

– посредством электронного вычислительного устройства осуществляют визуализацию биологической обратной связи с отсутствующей конечностью пользователя, для чего:

– на примыкающей к отсутствующей конечности части тела пользователя закрепляют миографические датчики, подключенные к электронному вычислительному устройству,

– пользователь осуществляет выполнение жестов отсутствующей конечностью,

– при выполнении пользователем жестов отсутствующей конечностью получают многоканальный массив миографических сигналов от миографических датчиков,

– полученный многоканальный массив миографических сигналов сжимают до массива миографических сигналов меньшей размерности,

– полученный массив миографических сигналов меньшей размерности визуализируют в виде совокупности траекторий, каждая из которых ассоциирована с выполняемым пользователем ранее жестом, отображаемых в выбранной в соответствии с размерностью сжатого массива системе координат;

– на основе визуализации биологической обратной связи с отсутствующей конечностью пользователя формируют набор ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом, для чего:

– из совокупности траекторий, каждая из которых ассоциирована с выполняемым пользователем ранее жестом, выбирают траектории, обладающие наибольшей амплитудой и отличием друг от друга и формируют из таких траекторий упомянутый набор.

В рамках настоящего изобретения, под бионическим протезом понимается протез, обладающий системой электромеханических приводов для выполнения механических функций, автономной системой питания (батарея, аккумулятор) и контроллером для управления протезом, формирующим моторные команды на основе биологической обратной связи с отсутствующей конечностью пользователя.

Биологическая обратная связь (БОС) с отсутствующей конечностью представляет собой совокупность миографических сигналов, характеризующих состояние мышечной активности части тела пользователя, примыкающей к отсутствующей конечности. Для получения миографических сигналов, характеризующих упомянутую БОС, в процессе управления протезом или в процессе выполнения способа получения набора ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом, может быть использован миографический датчик или система миографических датчиков, закрепляемых на примыкающей к отсутствующей конечности части тела пользователя и подключенные к контроллеру или иному вычислительному устройству, производящему дальнейшую обработку миографических сигналов. Миографические датчики, в свою очередь, могут быть представлены электро-, опто-, акусто-, рео- и иными миографическими датчиками.

Целевым продуктом выполнения способа является сформированный набор ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом. Получение такого набора и его применение в качестве моторных команд для управления бионическим протезом обеспечивает снижение операционной нагрузки на контроллер управления протезом.

Для получения набора ассоциированных с жестами пользователя миографических сигналов сначала осуществляют визуализацию БОС с отсутствующей конечностью пользователя посредством электронного вычислительного устройства, а затем, на основании полученной визуализации формируют набор ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом. Визуализацию БОС могут осуществлять как на заранее собранных данных, так и в режиме реального времени, что обеспечивает возможность индивидуальной настройки бионического протеза с учетом особенностей миографических сигналов, получаемых от конкретного пользователя.

Для осуществления визуализации БОС с отсутствующей конечностью пользователя, для начала осуществляют ее получение путем закрепления на примыкающей к отсутствующей конечности части тела пользователя миографических датчиков, подключенных к электронному вычислительному устройству и выполнения пользователем жестов отсутствующей конечностью. Выполнение жестов отсутствующей конечностью осуществляется пользователем сознательно, путем отправки мозгом по нервной системе импульсов к целевым мышцам для их сокращения или расслабления. В момент выполнения пользователем жестов отсутствующей конечностью осуществляется получение миографическими датчиками многоканального массива миографических сигналов.

Дополнительно для повышения различимости и индивидуальности ассоциированных с жестами пользователя миографических сигналов, перед сжатием многоканального массива миографических сигналов его могут подвергать предварительной обработке.

Затем, полученный многоканальный массив миографических сигналов, сжимают до массива миографических сигналов меньшей размерности. Для сжатия многоканального массива миографических сигналов в вычислительном блоке электронного вычислительного устройства может быть применена нейронная сеть, реализующая подходы понижения размерности, за счет применения «метода главных компонент» (PCA), «сингулярного матричного разложения» (SVD), «самоорганизующихся карт Кохонена», а также на «стохастическом вложении соседей с t-распределением» (t-SNE), в том числе на нейросетевых имплементациях. Обучение моделей машинного обучения, лежащих в основе применяемых нейронных сетей может быть осуществлено на заранее подготовленных и размеченных датасетах (обучение с учителем), в которых каким-либо образом отмечено положение пальцев пользователя при выполнении жеста или дана какая-либо оценка этого положения, либо оно может быть осуществлено в процессе сжатия многоканального массива миографических сигналов (обучение без учителя).

Дополнительно для повышения различимости и индивидуальности ассоциированных с жестами пользователя миографических сигналов, предназначенных для управления бионическим протезом пользователя, сжатие многоканального массива миографических сигналов может быть осуществлено с применением в вычислительном блоке электронного вычислительного устройства может нейронной сети, выполненной на модели архитектуры «Автоэкнодер».

Многоканальный массив миографических сигналов может быть сжат вычислительным блоком до размерности двух или трех компонент, которые представляют собой двумерные или трехмерные траектории и могут быть спроецированы в латентное пространство, состоящее соответственно из двух или трех координат и выведены посредством устройства для двумерной или трехмерной визуализации данных соответственно.

Для получения набора ассоциированных с жестами пользователя миографических сигналов среди полученных траекторий определяют те, которые обладают наибольшей амплитудой и отличием друг от друга и формируют из таких траекторий упомянутый набор. Количество отобранных ассоциированных с жестами пользователя миографических сигналов может варьироваться в зависимости от количества возможных моторных команд, предоставляемых бионическим протезом.

Изобретение может быть выполнено из известных материалов с помощью известных средств, что свидетельствует о его соответствии критерию патентоспособности «промышленная применимость».

Изобретение характеризуется ранее неизвестной из уровня техники совокупностью существенных признаков, позволяющих выполнив ряд предложенных этапов получить набор ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом, отличающихся при этом высокой точностью, различимостью и индивидуальностью.

Следует отметить высокую простоту выполнения предложенного способа для пользователя протеза, поскольку ему не приходится подстраиваться под заранее запрограммированные в контроллере протеза эталонные сокращения, вследствие чего при проведении процедуры составления т.н. словаря жестов могут учитываться особенности организма конкретного пользователя, в частности, возможности сокращения им определенных мышц с определенной силой, которые при этом могут быть с легкостью выполнены и повторно воспроизведены пользователем, в результате чего возможно существенное расширение числа сокращений, которые могут быть использованы в качестве моторных команд бионического протеза.

Кроме того, предложенный способ обеспечивает возможность не только упрощения процедуры составления словаря жестов, но и позволяет в данном словаре жестов использовать только самые высокоразличимые друг от друга с точки зрения нейронной информации сигналы, что позволяет с легкостью распознавать данные сигналы контроллером протеза в качестве отличающихся друг от друга жестов.

Благодаря этому обеспечивается достижение технического результата, заключающегося в создании набора ассоциированных с жестами пользователя миографических сигналов, предназначенных для управления бионическим протезом пользователя, и обладающих высокой различимостью и индивидуальностью, тем самым повышается точность выполнения протезом моторных команд, используемых пользователем для управления бионическим протезом его конечности.

Изобретение обладает ранее неизвестной из уровня техники совокупностью существенных признаков, что свидетельствует о его соответствии критерию патентоспособности «новизна».

Из уровня техники не известны существенные признаки изобретения, ввиду чего оно соответствует критерию патентоспособности «изобретательский уровень».

Изобретение поясняется следующими фигурами.

Фиг. 1 — Система для выполнения способа получения набора ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом.

Фиг. 2 — Алгоритм выполнения способа получения набора ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом.

Фиг. 3 — Пример «Нейтрального» жеста.

Фиг. 4 — Пример разновидности жеста «Указание», которую пользователь выполняет путем вытягивания указательного пальца, тогда как остальные пальцы руки собраны вместе и удерживаются большим пальцем.

Фиг. 5 — Пример разновидности жеста «Указание», которую пользователь выполняет путем вытягивания указательного пальца, тогда как остальные пальцы руки собраны вместе, а большой палец отгибают вверх.

Фиг. 6 — Пример разновидности жеста «Указание», которую пользователь выполняет путем вытягивания указательного и среднего пальцев и сгибания большого пальца для удержания им остальных.

Фиг. 7 — Пример разновидности жеста «Щипок», которую пользователь выполняет путем соединения кончиков большого и указательного пальцев и удерживания остальных пальцев прямыми вдали от ладони.

Фиг. 8 — Пример разновидности жеста «Щипок», которую пользователь выполняет путем соединения кончиков большого и указательного пальцев и удерживания остальных пальцев собранными в кулак.

Фиг. 9 — Пример разновидности жеста «Щипок», которую пользователь выполняет путем соединения кончика большого с кончиками указательного и среднего пальцев.

Фиг. 10 — Визуализация биологической обратной связи с отсутствующей конечностью пользователя, представленная в виде совокупности двумерных траекторий, спроецированных в латентное пространство, состоящее из двух координат.

Для иллюстрации возможности реализации и более полного понимания сути изобретения ниже представлен вариант его осуществления, который может быть любым образом изменен или дополнен, при этом настоящее изобретение ни в коем случае не ограничивается представленным вариантом.

Способ получения набора ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом осуществляют посредством системы, содержащей персональный компьютер 100, к которому подключена миографическая манжета 110, оснащенная системой миографических датчиков.

Персональный компьютер 100 выполнен с возможностью сжатия многоканального массива миографических сигналов, получаемых датчиками манжеты 110, до массива миографических сигналов меньшей размерности, для чего его вычислительный блок содержит нейронную сеть 120, выполненную на модели архитектуры «Автоэнкодер», состоящей из энкодерной и декодерной частей, между которыми имеется латентное пространство, при этом латентное пространство является выходом для энкодерной части и входом для декодерной.

В качестве обучающей выборки модели машинного обучения используемой нейронной сети представлен датасет, в котором данные нарезаны на окна длиной 35 точек по времени (чуть больше 1 секунды) с шагом между двумя окнами равным 4 точкам по времени.

В качестве устройства для визуализации биологической обратной связи с отсутствующей конечностью пользователя может быть представлен монитор 130 персонального компьютера или шлем 140 виртуальной реальности, подключенные к персональному компьютеру.

Изобретение работает следующим образом.

При выполнении способа в режиме реального времени осуществляют визуализацию биологической обратной связи с отсутствующей конечностью пользователя, к примеру с отсутствующей кистью руки.

Для этого манжету 110 закрепляют на примыкающей к отсутствующей конечности части тела пользователя, к примеру на предплечье, таким образом, чтобы система датчиков манжеты 110 прилегала к поверхности кожного покрова пользователя.

Затем пользователю предлагают выполнить определенные жесты отсутствующей конечностью. Выполнение жестов отсутствующей конечностью осуществляется пользователем сознательно, путем отправки мозгом по нервной системе импульсов к целевым мышцам для их сокращения или расслабления. В качестве таких жестов используют несколько разновидностей жестов «Указание» и «Щипок», а также «Нейтральный» жест, который пользователь выполняет путем выпрямления всех пальцев и открытия ладони (Фиг. 3).

Одну из разновидностей жеста «Указание» пользователь выполняет путем вытягивания указательного пальца, тогда как остальные пальцы руки собраны вместе и удерживаются большим пальцем (Фиг. 4), вторую разновидность пользователь выполняет аналогично, при этом большой палец отгибают вверх (Фиг. 5), а третью разновидность пользователь выполняет путем дополнительного вытягивания среднего пальца и сгибания большого пальца для удержания им остальных (Фиг. 6).

Одну из разновидностей жеста «Щипок» пользователь выполняет путем соединения кончиков большого и указательного пальцев и удерживания остальных пальцев прямыми вдали от ладони (Фиг. 7), вторую разновидность пользователь выполняет аналогично, при этом остальные пальцы собраны в кулак (Фиг. 8), а третью разновидность пользователь выполняет путем соединения кончика большого с кончиками указательного и среднего пальцев (Фиг. 9).

В процессе выполнения пользователем жестов отсутствующей конечностью формируется многоканальный массив миографических данных, получаемых датчиками манжеты 110, и направляется на персональный компьютер 100.

Полученный компьютером 100 массив предварительно обрабатывается им путем: фильтрации по пороговому значению, составляющему 500, нормализации значений каналов массива в интервале от 0 до 1 и применения метода главных компонент с сохранением 95% вариации от исходного набора признаков.

После этого предварительно обработанный компьютером 100 массив сжимается посредством энкодерной части нейронной сети 120 и ее вектора латентного представления входных данных до размерности двух или трех компонент, которые проецируются в латентное пространство, состоящее соответственно из двух или трех координат.

Спроецированные в латентное пространство сжатые данные отображаются на мониторе 130 персонального компьютера или посредством шлема 140 виртуальной реальности в виде совокупности двумерных (Фиг.10) или трехмерных траекторий, каждая из которых ассоциирована с выполняемым пользователем ранее жестом, а именно с совокупностью миографических сигналов, полученных датчиками манжеты 110 при выполнении пользователем того или иного жеста, и представляет собой визуализацию биологической обратной связи с отсутствующей конечностью пользователя.

В частности, на Фиг. 10 приведена совокупность двумерных Траекторий 200-260, соответствующих следующим жестам:

Траектория 200 «Нейтральный» жест (Фиг. 3) Траектория 210 разновидность жеста «Указание», которую пользователь выполняет путем вытягивания указательного пальца, тогда как остальные пальцы руки собраны вместе и удерживаются большим пальцем (Фиг. 4) Траектория 220 разновидность жеста «Указание», которую пользователь выполняет путем вытягивания указательного пальца, тогда как остальные пальцы руки собраны вместе, а большой палец отгибают вверх (Фиг. 5) Траектория 230 разновидность жеста «Указание», которую пользователь выполняет путем вытягивания указательного и среднего пальцев и сгибания большого пальца для удержания им остальных (Фиг. 6) Траектория 240 разновидность жеста «Щипок», которую пользователь выполняет путем соединения кончиков большого и указательного пальцев и удерживания остальных пальцев прямыми вдали от ладони (Фиг. 7) Траектория 250 разновидность жеста «Щипок», которую пользователь выполняет путем соединения кончиков большого и указательного пальцев и удерживания остальных пальцев собранными в кулак (Фиг. 8) Траектория 260 разновидность жеста «Щипок», которую пользователь выполняет путем соединения кончика большого с кончиками указательного и среднего пальцев (Фиг. 9)

На основе полученной визуализации биологической обратной связи с отсутствующей конечностью пользователя формируют набор ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом, или т.н. набор «артикулированных» жестов. Для этого из совокупности двумерных или трехмерных траекторий, каждая из которых ассоциирована с выполняемым пользователем ранее жестом, выбирают траектории, обладающие наибольшей амплитудой, то есть отличием от «Нейтрального» жеста, и отличием друг от друга. Для этого траектории, соответствующие выполнению разновидностей жестов «Указание» и «Щипок», сравнивают c траекторией, соответствующей «Нейтральному» жесту, а также сравнивают между собой, при этом указанное сравнение осуществляет специалист.

Среди двумерных траекторий, представленных на Фиг. 10, наибольшим отличием от Траектории 200, соответствующей «Нейтральному» жесту, то есть наибольшей амплитудой, обладают Траектории 230 и 240, которые также обладают существенным отличием друг от друга, поскольку расположены в противоположных друг другу четвертях двумерной системы координат – то есть разновидности жестов, соответствующие этим траекториям, являются «артикулированными» и формируют набор, который затем может быть применен в качестве моторных команд, используемых пользователем для обучения системы распознавания жестов пользователя или для иных целей.

Таким образом обеспечивается простота выполнения предложенного способа для пользователя протеза, поскольку ему не приходится подстраиваться под заранее запрограммированные в контроллере протеза эталонные сокращения, вследствие чего при проведении процедуры составления т.н. словаря или набора «артикулированных» жестов могут учитываться особенности организма конкретного пользователя, в частности возможности сокращения им определенных мышц с определенной силой, которые при этом могут быть с легкостью выполнены и повторно воспроизведены пользователем, в результате чего возможно существенное расширение числа сокращений, которые могут быть использованы в качестве моторных команд бионического протеза.

Кроме того, предложенный способ обеспечивает возможность не только упрощения процедуры составления словаря жестов, но и позволяет в данном словаре жестов использовать только самые высокоразличимые друг от друга с точки зрения нейронной информации сигналы, что позволяет с легкостью распознавать данные сигналы контроллером протеза в качестве отличающихся друг от друга жестов.

Таким образом обеспечивается достижение технического результата, заключающегося в создании набора ассоциированных с жестами пользователя миографических сигналов, которые могут быть использованы для управления бионическим протезом пользователя, и обладающих высокой различимостью и индивидуальностью, тем самым повышается точность выполнения протезом моторных команд.

Изобретение относится к медицине, а именно к способам управления бионическим протезом. Сущность изобретения заключается в способе получения набора ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом, применяемого в качестве моторных команд, используемых пользователем для управления бионическим протезом его конечности. При этом упомянутый набор получают путем визуализации биологической обратной связи с отсутствующей конечностью пользователя и формирования на основе этой визуализации набора ассоциированных с жестами пользователя миографических сигналов. Технический результат, на достижение которого направлено изобретение, заключается в создании набора ассоциированных с жестами пользователя миографических сигналов, предназначенных для управления бионическим протезом пользователя и обладающих высокой различимостью и индивидуальностью. 5 з.п. ф-лы, 10 ил., 1 табл.

1. Способ получения набора ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом, характеризующийся тем, что включает этапы, на которых:

– посредством электронного вычислительного устройства осуществляют визуализацию биологической обратной связи с отсутствующей конечностью пользователя, для чего:

– на примыкающей к отсутствующей конечности части тела пользователя закрепляют миографические датчики, подключенные к электронному вычислительному устройству,

– получают многоканальный массив миографических сигналов в момент отправления пользователем по нервной системе импульсов к целевым мышцам для их сокращения или расслабления, которые характеризуют выполнение жестов отсутствующей конечностью,

– полученный многоканальный массив миографических сигналов сжимают до массива миографических сигналов меньшей размерности,

– полученный массив миографических сигналов меньшей размерности визуализируют в виде совокупности траекторий, каждая из которых ассоциирована с выполняемым пользователем ранее жестом, отображаемых в выбранной в соответствии с размерностью сжатого массива системе координат;

– на основе визуализации биологической обратной связи с отсутствующей конечностью пользователя формируют набор ассоциированных с жестами пользователя миографических сигналов для управления бионическим протезом, для чего:

– из совокупности траекторий, каждая из которых ассоциирована с выполняемым пользователем ранее жестом, выбирают траектории, обладающие наибольшей амплитудой и отличием друг от друга, и формируют из таких траекторий упомянутый набор.

2. Способ по п. 1, отличающийся тем, что визуализацию биологической обратной связи с отсутствующей конечностью пользователя осуществляют в режиме реального времени.

3. Способ по п. 1, отличающийся тем, что сжатие многоканального массива миографических сигналов до массива миографических сигналов меньшей размерности осуществляют с использованием нейронной сети.

4. Способ по п. 3, отличающийся тем, что в качестве нейронной сети используют нейронную сеть, выполненную на модели архитектуры «Автоэнкодер».

5. Способ по п. 1, отличающийся тем, что при сжатии многоканального массива миографических сигналов в двумерный массив миографических сигналов для отображения совокупности траекторий выбирают двумерную систему координат, а в случае сжатия упомянутого массива в трехмерный массив для отображения совокупности траекторий выбирают трехмерную систему координат.

6. Способ по п. 1, отличающийся тем, что перед сжатием многоканального массива миографических сигналов его подвергают предварительной обработке.