Система управления электронным устройством с использованием биологической обратной связи Российский патент 2023 года по МПК G06F3/01 A61F4/00 G05B1/00 

Изобретение относится к средствам реабилитации для людей с ограниченными возможностями, в частности, с двигательными нарушениями, для управления электронными устройствами посредством сигналов, порождаемых при сокращении мышц.

В описании использованы следующие термины.

HID (от англ. human interface device) – устройство взаимодействия с человеком.

БОС (биологическая обратная связь) – технология, включающая в себя комплекс исследовательских, немедицинских, физиологических, профилактических и лечебных процедур, в ходе которых человеку посредством внешней цепи обратной связи, организованной преимущественно с помощью микропроцессорной или компьютерной техники, предъявляется информация о состоянии и изменении тех или иных собственных физиологических процессов.

ЭМГ (электромиография) – метод исследования биоэлектрических потенциалов, возникающих в скелетных мышцах человека и животных при возбуждении мышечных волокон; регистрация электрической активности мышц.

Наиболее близким аналогом к заявляемому изобретению является техническое решение, известное из публикации международной заявки WO2022020778. Система содержит один или несколько переключателей, сконфигурированных для активации пользователем. Каждый переключатель содержит набор пользовательских устройств ввода, сконфигурированных для обнаружения сигнала от пользователя. Контроллер обнаруживает произвольный ввод пользователя, соответствующий увеличению конкретного входного сигнала, обнаруженного конкретным одним переключателем. Система также содержит устройство пользовательского интерфейса. Контроллер соединен с возможностью связи с одним или более переключателями, устройством пользовательского интерфейса и устройством, управляемым переключателем, и который: представляет конфигурационный пользовательский интерфейс на устройстве пользовательского интерфейса, включая выбираемые конфигурации для режимов доступа; назначает один или несколько переключателей относительно одного или нескольких пользовательских вводов в соответствии с текущей выбранной конфигурацией режима доступа; и обнаруживает произвольный пользовательский ввод, соответствующий изменению в конкретном входном сигнале, обнаруженному пользовательским устройством ввода, формирующим конкретный сигнал; идентифицирует назначенный пользовательский ввод на основе текущей выбранной конфигурации и обнаруженного произвольного пользовательского ввода сигнала конкретного пользовательского устройства ввода; и передает пользовательский ввод устройству, управляемому переключателем.

Однако данное решение требует специализированного программного обеспечения для работы электронного устройства, не позволяет взаимодействовать со стандартными приложениями напрямую.

Технической проблемой заявляемого изобретения является создание системы реабилитации для людей с нарушениями двигательной активности, позволяющей взаимодействовать со стандартными приложениями, доступными на электронных устройствах, поддерживающих HID интерфейс.

Техническим результатом изобретения является повышение доступности, удобства, универсальности и простоты системы для реабилитации людей с нарушениями двигательной активности с использованием двух режимов: попеременного переключения и комбинации «коротких» и «длинных» нажатий.

Использование двух режимов с устройством управления позволяет использовать стандартные приложения электронных устройств, работающих под широко распространёнными операционными системами.

Использование команд с заданной длительностью и пороговым значением позволяет чётко идентифицировать действия, которые хочет совершить пользователь, и передать их электронному устройству с помощью HID интерфейса.

Заявленную систему могут использовать даже дети. Пользователям при прохождении реабилитации не нужно осваивать дополнительное программное обеспечение, достаточно пользоваться привычными и любимыми приложениями, в том числе игровыми, что особенно важно для детей.

Универсальность системы позволяет использовать её со смартфонами, планшетными компьютерами, игровыми консолями и другими доступными электронными устройствами.

Сущность заявляемого изобретения заключается в том, что система управления электронным устройством с использованием биологической обратной связи содержит по крайней мере один датчик, устройство управления, датчик выполнен с возможностью непрерывной передачи сигнала на устройство управления, устройство управления выполнено с возможностью задания порогового значения уровня сигнала от датчика, длительности сигнала и соответствия сигнала отправляемой команде и отправки первой команды или второй команды на электронное устройство, поддерживающее интерфейс HID, и работы в двух режимах: в первом режиме первая команда отправляется при превышении сигналом от датчика порогового уровня, и вторая команда отправляется при снижении уровня сигнала от датчика ниже порогового уровня; во втором режиме первая команда направляется в случае превышения порогового значения сигналом с датчика и последующего снижения сигнала с датчика ниже порогового значения, при этом время, в течение которого сигнал превышает пороговое значение, не превышает заданной длительности, вторая команда направляется в случае превышения сигнала с датчика порогового значения и время превышения составляет больше заданной длительности.

Заявляемое изобретение поясняется фигурами 1-3, на которых изображены:

Фиг. 1 – схема заявляемой системы;

Фиг. 2-3 – схема передачи данных в системе.

На фигуре 1 позициями 1-5 показаны:

1 - Основная плата.

2 - Плата расширения для работы с датчиком в реальном времени и картой памяти.

3 - Плата расширения для организации ввода/вывода.

4 - Датчик электромиографии с электродами.

5 - Источник автономного питания.

Система содержит по крайней мере один датчик 4 и устройство управления, содержащее в частном случае основную плату 1, плату расширения 2 для работы с датчиком в реальном времени и картой памяти, плату расширения 3 для организации ввода/вывода, источник 5 автономного питания.

Датчик 4 выполнен с возможностью непрерывной передачи сигнала на устройство управления.

Устройство управления выполнено с возможностью задания порогового значения уровня сигнала от датчика, длительности сигнала и соответствия сигнала отправляемой команде и отправки первой команды или второй команды на электронное устройство, поддерживающее интерфейс HID.

Устройство управления выполнено с возможностью работы в двух режимах.

В первом режиме (фиг. 2) первая команда отправляется при превышении сигналом от датчика 4 порогового уровня, и вторая команда отправляется при снижении уровня сигнала от датчика 4 ниже порогового уровня.

Во втором режиме (фиг. 3) первая команда направляется в случае превышения порогового значения сигналом с датчика 4 и последующего снижения сигнала с датчика 4 ниже порогового значения, при этом время, в течение которого сигнал превышает пороговое значение, не превышает заданной длительности. Вторая команда направляется в случае превышения сигнала с датчика 4 порогового значения и время превышения составляет больше заданной длительности.

В частном случае устройство управления и электронное устройство соединены беспроводным соединением, например, Bluetooth или BLE (Bluetooth Low Energy).

В частном случае электронное устройство снабжено поддержкой режима Виртуальный контроллер (Switch Control) и Касание (Assistive Touch).

Специалисту в данной области техники понятно, что для заявляемого изобретения применимы различные датчики, обеспечивающие биологическую обратную связь, например, ЭМГ, ЭКГ, ЭЭГ. Дополнительно могут быть использованы датчики, обеспечивающие определение положения тела или отдельных его частей в пространстве: гироскоп, акселерометр, датчик давления.

Система работает следующим образом.

На пользователе закрепляют электрод датчика 4. Например, для датчика ЭМГ используют три электрода. Два электрода крепят на выбранную мышцу вдоль волокна. Третий электрод опорный крепят на расстоянии от первых двух, например, на кость. В случае с сухими электродами их располагают аналогичным образом без необходимости приклеивания. Такие электроды прижимают к телу повязкой или резинкой.

Датчики других типов крепят в зависимости от их типа и конструкции.

На устройстве управления задают пороговое значение и значение длительности. Для этого используют программное обеспечение c пользовательским интерфейсом.

В случае использования нескольких датчиков с помощью устройства управления для каждого датчика устанавливают разные пороговые значения, значения длительности и значение команды, которое передаётся на электронное устройство.

Система работает в двух режимах. В первом режиме первая команда отправляется при превышении сигналом от датчика порогового уровня, и вторая команда отправляется при снижении уровня сигнала от датчика ниже порогового уровня. Во втором режиме первая команда направляется в случае превышения порогового значения сигналом с датчика и последующего снижения сигнала с датчика ниже порогового значения, при этом время, в течение которого сигнал превышает пороговое значение, не превышает заданной длительности, вторая команда направляется в случае превышения сигнала с датчика порогового значения и время превышения составляет больше заданной длительности.

Первый режим предпочтительнее в случаях, когда действие повторяется непрерывно, пока переключение датчика 4 активно. Второй режим – когда в ответ на активизацию действие выполняется однократно.

Дополнительно можно использовать другие типы датчиков, например, гироскоп или акселерометр, которые могут реагировать на уровень наклона головы, т.е. команда будет отправлена при наклоне головы ниже порогового значение.

Для датчика типа ЭЭГ используют более сложные сигналы для отслеживания. Датчик ЭЭГ как и ЭМГ фиксирует сигналы пользователя непрерывно. Для управления можно выделять определенные паттерны, например, при закрытии глаз появляется альфа-ритм, который может быть сигналом к выполнению команды.

В частном случае устройство управления содержит основную плату 1, плату расширения 2 с картой памяти, плату расширения 3 для организации ввода/вывода и источник 5 автономного питания, например, аккумуляторную батарею. Основная плата 1 содержит микроконтроллер, модуль передачи сигнала, например, Bluetooth и память для хранения управляющей программы.

Датчик 4 ЭМГ фиксирует сокращение мышц и передаёт сигнал на устройство управления, которое осуществляет сравнение уровня сигнала с пороговым значением и передачу соответствующей команды по каналу связи на электронное устройство, например, под управлением iOS. Программное обеспечение электронного устройства, получив команду, запускает предварительно настроенный макрос.

В частном случае созданная система, реализующая взаимодействие по протоколу Bluetooth через функцию AssistiveTouch, совместимо со всеми устройствами, работающими на iOS, не имеет заметных задержек и может вызывать клики разной длительности.

Система на аппаратном уровне поддерживает фиксирование мышечной активности, взаимодействие по каналу связи, обеспечивает ввод-вывод информации, и имея энергонезависимую память, хранит статистику тренировок.

Система позволяет управлять, например, выбором приложений смартфона. Для этого с помощью передачи первой команды осуществляют построчный переход между строками иконок приложений на рабочих экранах. После выбора нужной строки с помощью второй команды осуществляют сужение диапазона итерационно и выбор конкретной иконки приложения. Аналогичным способом управляют экранной клавиатурой.

В частном случае устройство управления было реализовано на следующей компонентной базе.

Основная плата – Adafruit Feather nRF52 Bluefruit LE;

Плата расширения для работы с датчикам реального времени и картой памяти – Adafruit Adalogger FeatherWing - RTC + SD;

Плата расширения для организации ввода/вывода – Adafruit FeatherWing OLED - 128x32 OLED.

Изобретение относится к средствам реабилитации людей с ограниченными возможностями, применяемым для управления электронными устройствами посредством сигналов, порождаемых при сокращении мышц. Техническим результатом является обеспечение возможности чётко идентифицировать действия, которые хочет совершить пользователь за счет использования команд с заданной длительностью и пороговым значением в двух режимах: попеременного переключения и комбинации «коротких» и «длинных» нажатий. Для этого система управления электронным устройством с использованием биологической обратной связи, содержит по крайней мере один датчик и устройство управления. Датчик выполнен с возможностью непрерывной передачи сигнала на устройство управления. Устройство управления выполнено с возможностью задания порогового значения уровня сигнала от датчика, длительности сигнала и соответствия сигнала отправляемой команде и отправки первой команды или второй команды на электронное устройство, поддерживающее интерфейс HID, и работы в двух режимах. В первом режиме первая команда отправляется при превышении сигналом от датчика порогового уровня, и вторая команда отправляется при снижении уровня сигнала от датчика ниже порогового уровня. Во втором режиме первая команда направляется в случае превышения порогового значения сигналом с датчика и последующего снижения сигнала с датчика ниже порогового значения, при этом время, в течение которого сигнал превышает пороговое значение, не превышает заданной длительности, вторая команда направляется в случае превышения сигнала с датчика порогового значения и время превышения составляет больше заданной длительности. 5 з.п. ф-лы, 3 ил.

1. Система управления электронным устройством с использованием биологической обратной связи, характеризующаяся тем, что содержит:

- по крайней мере один датчик,

- устройство управления,

- датчик выполнен с возможностью непрерывной передачи сигнала на устройство управления,

- устройство управления выполнено с возможностью задания порогового значения уровня сигнала от датчика, длительности сигнала и соответствия сигнала отправляемой команде и отправки первой команды или второй команды на электронное устройство, поддерживающее интерфейс HID, и работы в двух режимах:

- в первом режиме первая команда отправляется при превышении сигналом от датчика порогового уровня, и вторая команда отправляется при снижении уровня сигнала от датчика ниже порогового уровня;

- во втором режиме первая команда направляется в случае превышения порогового значения сигналом с датчика и последующего снижения сигнала с датчика ниже порогового значения, при этом время, в течение которого сигнал превышает пороговое значение, не превышает заданной длительности, вторая команда направляется в случае превышения сигнала с датчика порогового значения и время превышения составляет больше заданной длительности.

2. Система по п.1, характеризующаяся тем, что устройство управления и электронное устройство соединены беспроводным соединением.

3. Система по п.2, характеризующаяся тем, что в качестве беспроводного соединения выбран Bluetooth или BLE (Bluetooth Low Energy).

4. Система по п.1, характеризующаяся тем, что электронное устройство снабжено поддержкой режима Виртуальный контроллер (Switch Control)

5. Система по п.4, характеризующаяся тем, что электронное устройство снабжено поддержкой режима Касание (Assistive Touch).

6. Система по п.1, характеризующаяся тем, что в качестве источников сигнала выбраны датчики, обеспечивающие получение сигнала на основе биологической обратной связи (ЭМГ, ЭКГ, ЭЭГ) и датчики, обеспечивающие определение положения тела или отдельных его частей в пространстве (гироскоп, акселерометр, датчик давления).