СПОСОБ РУЧНОГО ВВОДА ДАННЫХ В КОМПЬЮТЕР И УСТРОЙСТВО, ЕГО РЕАЛИЗУЮЩЕЕ Российский патент 1998 года по МПК G06F3/00 A61F4/00 

Изобретение относится к области компьютерной технике, преимущественно к ручному вводу данных в компьютер, а также может быть использовано для ручного управления иными техническими объектами и технологическими процессами с помощью процессорной техники.

Широко известны способы ввода данных о положении курсора и его движении, основанные на преобразовании движения ручного манипулятора, такого, как "мышь", "джойстик", в цифровые сигналы, управляющие перемещением курсора.

Известны также способы ввода в компьютер символьной информации, основанные на преобразовании механического воздействия пальцев в символы, например, с помощью клавиатуры.

Эти способы обладают недостаточной точностью, скоростью управления и ввода данных из-за естественной инерционности механических перемещений. Надежность клавиатуры недостаточна из-за применения в ней механических контактных переключателей. Ручной манипулятор не способен управлять независимым движением нескольких курсоров.

Некоторое увеличение скорости и точности управления курсором получено в патенте [1] , в котором используется скользящее движение кончика пальца по поверхности емкостного датчика. Увеличение скорости и точности достигается за счет использования более точного и менее размашистого движения по сравнению с традиционными манипуляторами.

Увеличение скорости ввода символьной информации достигается в патентах [2, 3] , в которых запатентованы устройства, использующие преобразование жестов рук в символы, вводимые в компьютер. В качестве датчиков сгибания, разгибания пальцев, кисти и поворотов кисти используются сенсорные или механические датчики, укрепленные на устройстве, надеваемом на кисть руки.

Так как в основу этих патентов положено также механическое движение, скорость ввода ограничивается инерционностью этих механических перемещений, а надежность конструкции ограничивается надежностью контактных или сенсорных датчиков.

Наиболее близкими к предлагаемому способу ручного ввода данных в компьютер и устройству, его реализующему, техническому решению являются "Способ биоэлектрического управления механизмами и устройствами" по авторскому свидетельству [4] и описанное в нем устройство для реализации этого способа, выбранные в качестве прототипов.

В известном способе [4] предлагается "биопотенциалы мышц, отводимые токосъемниками, усиливать с помощью электронных усилителей и использовать для приведения в действие управляемого механизма или устройства". Способ [4] впоследствии был реализован в устройстве управления протезами человеческой кисти [5]. Однако усиленные электромиограммы (биопотенциалы) мышц, представляющие собой аналоговый сигнал в виде достаточно хаотической последовательности импульсов, не могут быть непосредственно использованы для ручного ввода данных в компьютер.

Задача предлагаемого изобретения направлена на создание способа ручного ввода данных в компьютер и устройства, его реализующего, обеспечивающих увеличение точности и скорости управления курсором, увеличение скорости ввода символьных данных, увеличение надежности устройства, а также позволяющих расширить их функциональные возможности путем реализации в одном устройстве функций: клавиатуры, ручного манипулятора,управляющего движением набора курсоров, системы управления объектами виртуальной реальности, графического планшета с вводом силы нажима.

Указанная задача решается тем, что в способе ручного ввода данных в компьютер, основанном на отводе, усилении и преобразовании электромиограмм мышечной активности оператора, электромиограммы преобразуют в цифровой входной формат компьютера, при этом преобразование осуществляют в интерактивном режиме, после чего электромиограммы в цифровом входном формате компьютера используют в качестве данных, управляющих курсорами или иными экранными объектами, либо в качестве данных, кодирующих символьную информацию.

Это является существенным отличием от прототипа, не предусматривающего преобразование электромиограмм в цифровой формат данных в интерактивном режиме и их использование для кодирования символьных данных и управления движением экранных объектов.

Электромиограмма представляет собой достаточно хаотическую последовательность электрических импульсов, управляющих сокращением мышцы [6]. Каждое движение определенной части тела, например сгибание пальца, поворот кисти руки, осуществляется путем сокращения нескольких мышц. Чем больше амплитуда импульсов электромиограммы и частота их следования, тем сильнее сокращение мышцы. Причем даже без реального механического движения одно желание совершить движение вызывает появление управляющих электрических импульсов (идеомоторный эффект). Данная физиологическая особенность позволяет осуществлять ручной ввод данных в компьютер с минимальными механическими перемещениями конечности оператора или вообще без механических перемещений и тем самым получать значительное увеличение скорости и точности управления курсором или иными экранными объектами и ввода символьной информации.

Дополнительное увеличение точности управления обеспечивается также тем, что может быть использована информация о силе сокращения мышцы.

Использование электромиограмм позволяет расширить функциональные возможности устройства и применять его для ввода символьной информации, управления курсором или набором курсоров, процессорного управления иными техническими объектами и технологическими процессорами, объектами виртуальной реальности, в качестве графического планшета с вводом силы нажима.

Увеличение надежности достигается тем, что в устройстве отсутствует механические или сенсорные датчики (переключатели).

Вариантом преобразования электромиограмм в цифровой входной формат компьютера является использование в качестве сигнала управления оцифрованного значения мощности электромиограммы, средней за время квантования, т.е. заранее выбранного промежутка времени, за которой производится усреднение мощности.

Еще одним вариантом преобразования электромиограмм в цифровой входной формат компьютера, более точно отражающим степень сокращения мышцы [6], является использование в качестве сигнала управления оцифрованного значения просуммированных за время квантования амплитуд пиков электромиограммы. Характерная форма электрического сигнала иллюстрируется фиг. 1 настоящего описания заявки. На фиг. 1 эти пики отмечены стрелочками.

Указанная задача достигается также и тем, что устройство, содержащее устройство крепления датчика на теле оператора, блок поверхностных токосъемных датчиков, накладываемых на кожу оператора, подсоединенный к нему многоканальный усилитель, дополнительно содержит блок преобразования электромиограмм в цифровой входной формат компьютера в интерактивном режиме, подключенный к выходу многоканального усилителя.

Вариантом исполнения блока преобразования электромиограмм в цифровой входной формат компьютера является включение в его состав блока выпрямляющих диодов, подсоединенных к каждому выходному каналу усилителя, подсоединенного к нему многоканального интегратора, интегрирующего выпрямленный сигнал за время квантования, и подсоединенного к нему через мультиплексор аналого-цифрового преобразователя.

Еще одним вариантом исполнения блока преобразования электромиограмм в цифровой входной формат компьютера является включение в его состав многоканального суммирующего (за время квантования) пикового детектора и подсоединенного к нему через мультиплексор аналого-цифрового преобразователя.

Вариантом устройства крепления датчиков на теле оператора является его исполнение в виде "части перчатки", облегчающей руку оператора проксимальнее проксимальных фаланг пальцев. Так как фаланги пальцев не содержат мышц, на них датчики не размещаются. Датчики закреплены на этой "части перчатки" у мышц оператора. Для фиксации датчиков относительно конкретных мышц эта "часть перчатки" содержит элементы своей фиксации относительно суставов.

Вариантом конструкции датчика является его исполнение из пористого материала и подсоединение к устройству смачивания кожи оператора электролитом. Этот вариант датчика обеспечивает уменьшение электрического сопротивления кожи непосредственно под датчиком путем ее смачивания электролитом, например физраствором.

Предлагаемое изобретение поясняется чертежами, где:
фиг. 1 - иллюстрируется характерная форма электромиограммы;
фиг. 2 - изображена блок-схема устройства, реализующего предлагаемый способ (на фиг. 2 устройство крепления датчиков на теле оператора не показано);
фиг. 3 - изображен вариант блок-схемы блока преобразования электромиограмм в цифровой входной формат компьютера в интерактивном режиме;
фиг. 4 - изображен еще один вариант блок-схемы блока преобразования электромиограмм в цифровой входной формат компьютера в интерактивном режиме.

Примером конкретного выполнения предлагаемого способа ввода данных в компьютер является съем набора электромиограмм набора мышц оператора в интерактивном режиме, преобразование этого набора электромиограмм в цифровой формат, пригодный для ввода в компьютер, и использование оцифрованных электромиограмм для управления движением курсора или иных экранных объектов в реальном масштабе времени. Оператор управляет движением курсора или вводит символы, совершая заданные движения или мысленно "проигрывая" эти движения (идеомоторный эффект). Так как наиболее точными являются движения кисти руки, пальцев и глазного яблока, предпочтительно использовать электромиограммы соответствующих мышц, управляющих этими движениями. Электромиографические исследования движений глазного яблока проводились в работе [7], а изучение движений в процессе письма - в работе [8].

Предлагаемый способ позволяет также управлять движением (в том числе трехмерным) набора курсоров или иных экранных объектов, например, привязывая движение каждого курсора к движению соответствующего ему пальца руки. Кодирование символов для символьного ввода может быть осуществлено, например, с помощью координатно-моторных матриц, использующихся в патенте [2] и связывающих движение пальцев и кистей рук со стандартными или специальными символами.

Авторы патента [2] для кодирования символов использовали матрицы, строки которых соответствовали сгибанию разных пальцев, а столбцы - углу поворота кисти. Такой подход позволил довести скорость ввода текстовой информации до скорости речи. Использование идеомоторного эффекта позволяет еще увеличить скорость ввода символьных данных, так как не требует выполнять движения, а позволяет лишь мысленно их "проигрывать".

Другим примером реализации ввода символьной информации предлагаемым способом может служить следующий метод: на части экрана компьютера формируется изображение клавиатуры и десять курсоров, управляемых десятью пальцами рук. Увеличение скорости ввода символьной информации таким способом достигается за счет более быстрого дискретного перемещения курсоров на экране от клавиш к клавише, чем пальцев по клавиатуре. Обучение оператора такому варианту символьного ввода облегчается вследствие преемственности навыков работы со стандартной клавиатурой и не требует специальных методов обучения.

Предлагаемый способ, включающий преобразование электромиограмм в цифровой входной формат компьютера в интерактивном режиме, может быть использован для ручного управления иными техническими объектами и технологическими процессорами, например транспортными средствами, прицеливанием оружия с помощью промежуточного компьютера (процессора).

Реализация предлагаемого способа производится с помощью устройства, показанного на блок-схеме (фиг. 2). Оно включает устройство крепления датчиков на теле оператора, блок поверхностных токосъемных датчиков 1, накладываемых на кожу оператора, подсоединенный к нему многоканальный усилитель 2.

Существенным отличием от прототипа является то, что устройство содержит блок преобразования электромиограмм в цифровой входной формат компьютера 3, подключенный к выходу многоканального усилителя. Примером цифрового входного формата компьютера могут служить формат последовательного или параллельного входа. Для съема электромиограмм датчики выполнены в виде электродов, накладываемых на кожу у мышцы. Датчики могут быть закреплены на теле оператора с помощью клея-контактола на основе коллодия или клеола с добавлением электропроводящих материалов [6]. В этом случае клей играет роль устройства крепления датчиков на теле оператора. Для лучшего крепления датчиков обычно используются манжеты, облегчающие часть тела оператора. Датчики закреплены на манжете у мышц оператора.

Вариант исполнения блока преобразования электромиограмм а цифровой входной формат компьютера изображен на фиг. 3. В его состав включен блок выпрямляющих диодов 4, подсоединенных к каждому выходному каналу усилителя, подсоединенный к нему многоканальный интегратор 5, интегрирующий выпрямленный сигнал за время квантования, и подсоединенный к нему через мультиплексор 6 аналого-цифровой преобразователь 7 (АЦП).

Этот вариант исполнения работает следующим образом.

Сигнал от многоканального усилителя поступает на выпрямляющие диоды 4, а с них на соответствующие входы многоканального интегратора 5, который за время квантования ("накопления", например 0,1 с) интегрирует сигнал. В конце цикла накопления (времени квантования) АЦП 7 с помощью мультиплексора 6 опрашивает выходные каналы интегратора и передает данные в компьютер, одновременно производится сброс накопленного сигнала интегратора. Данные в компьютер передаются во входном формате компьютера, например, на последовательный или параллельный порт.

Еще один вариант исполнения блока преобразования электромиограмм в цифровой входной формат компьютера изображен на фиг. 4. В его состав включен многоканальный суммирующий (за время квантования) пиковый детектор 8 и подсоединенный к нему через мультиплексор 6 аналого-цифровой преобразователь 7.

Этот вариант исполнения работает следующим образом.

Последовательность импульсов от многоканального усилителя поступает на соответствующие входы многоканального суммирующего пикового детектора 8, который за время квантования накапливает сумму амплитуд пиков, дающую информацию о степени активности мышц [6]. В конце цикла накопления АЦП 7 с помощью мультиплексора 6 опрашивает выходные каналы суммирующего пикового детектора и передает данные в компьютер, одновременно производится сброс накопленных сигналов суммирующего пикового детектора.

Значительное уменьшение амплитуды механических перемещений и даже их исключение, а также использование информации о силе сокращения мышц увеличивает скорость и точность управления экранными объектами и скорость ввода символьной информации. Сочетание в одном достаточно простом устройстве возможностей трехмерного ручного манипулятора, клавиатуры и планшета с вводом информации о силе нажима приводит к значительной экономичной эффективности применения данного устройства.

Источники информации:
1. FR, патент, 2702292, G 06 K 11/16, 1994.

2. RU, патент, N 1836677, G 06 F 3/02, 1993.

3. PCT (WO), патент, N 94/12925, G 06 F 3/00, 1994.

4. Авторское свидетельство СССР N 110657, кл. 30d, 1₀₁, 1957.

5. Авторское свидетельство СССР N 1337082 Al, кл. A 61 F 2/72, 1985.

6. Персон Р.С. Электромиография в исследованиях человека. - М.: Наука, 1969.

7. Склярова Т.У. Электромиография внешних глазных мышц человека. Труды совещания главных окулистов РСФСР на 22-й выездной сессии Гос. института глазных болезней. - Саранск; 1961, с. 217 - 223.

8. Gon van den D.J.J., Thuring J.Ph. The guiding of human writind movements. - Kybernetik, 1965, v. 2, 4, 145 - 148.

Изобретение относится к области компьютерной техники, преимущественно к ручному вводу данных в компьютер. Изобретение может быть использовано для ручного управления иными техническими объектами и процессами с помощью процессорной техники. Технический результат достигается за счет увеличения точности и скорости управления курсором увеличения скорости ввода символьных данных, увеличения надежности устройства и расширения функциональных возможностей. В одном устройстве возможна реализация функций клавиатуры, ручного манипулятора, управляющего движением набора курсоров, системы управления объектами виртуальной реальности, графического планшета с вводом силы нажима. Изобретение основано на отводе, усилении и преобразовании электромиограмм мышечной активности оператора. Электромиограммы преобразуют в цифровой входной формат компьютера. Преобразование осуществляют в интерактивном режиме. Электромиограммы используют в качестве данных, управляющих курсорами или иными экранными объектами, либо в качестве данных, кодирующих символьную информацию. Устройство включает устройство крепления датчиков на теле оператора, блок поверхностных токосъемных датчиков, накладываемых на кожу оператора, многоканальный усилитель и блок преобразования электромиограмм в цифровой входной формат компьютера. 2 н. и 6 з.п. ф-лы, 4 ил.

1. Способ ручного ввода данных в компьютер, основанный на отводе, усилении и преобразовании электромиограмм мышечной активности оператора, отличающийся тем, что электромиограммы преобразуют в цифровой входной формат компьютера, при этом преобразование осуществляют в интерактивном режиме, после чего электромиограммы в цифровом входном формате компьютера используют в качестве данных, управляющих курсорами или иными экранными объектами, либо в качестве данных, кодирующих символьную информацию. 2. Способ по п.1, отличающийся тем, что в цифровой входной формат компьютера преобразуют среднюю за время квантования мощность электромиограммы. 3. Способ по п.1, отличающийся тем, что в цифровой входной формат компьютера преобразуют просуммированные за время квантования амплитуды пиков электромиограммы. 4. Устройство ручного ввода данных в компьютер способом по п.1, включающее устройство крепления датчиков на теле оператора, блок поверхностных токосъемных датчиков, накладываемых на кожу оператора, подсоединенный к нему многоканальный усилитель, отличающееся тем, что оно дополнительно содержит блок преобразования электромиограмм в цифровой входной формат компьютера в интерактивном режиме, подключенный к выходу многоканального усилителя. 5. Устройство по п.4, отличающееся тем, что блок преобразования электромиограмм в цифровой входной формат компьютера содержит блок выпрямляющих диодов, подсоединенных к каждому выходному каналу усилителя, подсоединенный к нему многоканальный интегратор и подсоединенный к нему через мультиплексор аналого-цифровой преобразователь. 6. Устройство по п.4, отличающееся тем, что блок преобразования электромиограмм в цифровой входной формат компьютера содержит многоканальный суммирующий (за время квантования) пиковый детектор и подсоединенный к нему через мультиплексор аналого-цифровой преобразователь. 7. Устройство по п.4, отличающееся тем, что устройство крепления датчиков на теле оператора выполнено в виде части перчатки, облегающей руку оператора проксимальнее проксимальных фаланг пальцев, причем эта часть перчатки содержит элементы своей фиксации относительно суставов, а датчики закреплены на этой части перчатки. 8. Устройство по п.4, отличающееся тем, что каждый датчик, входящий в состав блока поверхностных токосъемных датчиков, выполнен из пористого материала и присоединен к устройству смачивания кожи оператора электролитом.