СПОСОБ ДИСТАНЦИОННОГО УПРАВЛЕНИЯ Российский патент 2001 года по МПК G06F3/33 G09G5/08 G06K11/18 

Изобретение относится к области компьютерной техники, а более конкретно к вводу информации в компьютер, и может быть использовано для дистанционного управления различными объектами.

Известны способы ввода информации в компьютер, основанные на преобразовании механического движения в цифровые сигналы, управляющие работой компьютера. К ним относятся способы ввода данных о положении и перемещении курсора по экрану, основанные на преобразовании движения различных манипуляторов типа "мышь" и "джойстик" (см., например, ЕПВ, патент N 0085960, G 06 K 11/06, 1983).

Известны способы управления курсором, использующие движение пальца по поверхности емкостного датчика (см., например, FR, патент N 2702292, G 06 K 11/16, 1994).

Известны способы биоэлектрического управления механизмами и устройствами, предполагающие использование в качестве управляющих данных биопотенциалов руки (электромиограммы), отводимых, усиливаемых и преобразованных в цифровой входной формат компьютера (см., например, RU, патент N 2121706, G 06 F 3/00, A 61 F 4/00, 1996).

Известны также способы ввода информации в компьютер, использующие преобразование жестов рук в символы, вводимые в компьютер (см., например, PCT (WC), патент N 94/12925, G 06 F 3/00, 1994). Данный способ является наиболее близким к заявленному по технической сущности и выбирается в качестве прототипа. Известные способы-аналоги и способ-прототип имеют следующие недостатки: низкая надежность, определяемая надежностью механических устройств и датчиков, большая инерционность механических перемещений и сравнительно низкая точность.

В изобретении ставятся задачи устранения перечисленных выше недостатков и расширение области применения дистанционного управления.

Эти задачи решены в способе дистанционного управления, включающем операцию формирования управляющего сигнала органом управления, передачи с помощью оптического потока информации об управляющем воздействии от органа управления к входу устройства обработки информации, операцию идентификации и интерпретации информации об управляющем воздействии, выявляющей системные команды, управляющие работой объекта управления, в котором формирование управляющего воздействия осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации об управляющем воздействии от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию и интерпретацию информации об управляющем воздействии, которую несет оптический поток, производят путем выявления в световом потоке по крайней мере одного из структурных, геометрических, цветовых признаков органа управления и признаков движения, например, направления, сравнения управляющих признаков с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки и представляющими собой характерные структурные, геометрические, цветовые признаки и признаки движения, кодирующие системные команды, а системные команды, управляющие работой объекта управления, формируют по результатам упомянутого сравнения выявленных признаков с параметрами упомянутой модели.

Отличие предложенного способа заключается в том, что формирование управляющего воздействия осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации об управляющем воздействии от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию и интерпретацию информации о управляющем воздействии, которую несет оптический поток производят путем выявления в световом потоке, по крайней мере, одного из структурных, геометрических, цветовых признаков органа управления и признаков движения, например направления, сравнения управляющих признаков с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки и представляющими собой характерные структурные, геометрические, цветовые признаки и признаки движения, кодирующие системные команды, а системные команды, управляющие работой объекта управления, формируют по результатам упомянутого сравнения выявленных признаков с параметрами упомянутой модели.

Отличие первого варианта способа в том, что в качестве органа управления используют, по крайней мере, один палец кисти руки, а в световом потоке, создаваемом органом управления, выявляют структурные и цветовые признаки пальца и признаки его движения.

Отличие второго варианта способа заключается в том, что в качестве органа управления используют кисть руки, а в световом потоке, создаваемом кистью руки, выявляют регулярную структуру в виде, по крайней мере, трех параллельных линий, образованных прижатыми друг к другу пальцами раскрытой ладони кисти руки. Отличие третьего варианта способа заключается в том, что для реализации команд используют жесты кисти человека - оператора.

Отличие четвертого варианта способа заключается в том, что выявление признаков органа управления и признаков движения производят по всей области изображения с последующим сужением области поиска до размеров органа управления с окрестностями.

Предложенный способ иллюстрируется приведенными чертежами.

На фиг. 1 приведена общая блок-схема способа дистанционного управления.

На фиг. 2 приведен алгоритм выделения контурной информации.

Способ дистанционного управления включает:
1 - операцию формирования управляющего сигнала органом управления, по крайней мере, одной частью человеческого тела;
2 - передачу с помощью оптического потока информации об управляющем воздействии;
3 - преобразование оптического потока в двумерный цифровой электронный сигнал;
4 - задание области цифрового изображения, внутри которого находится орган управления;
5 - выявление структурных, геометрических, цветовых признаков органа управления и признаков движения;
6 - сравнение выявленных признаков управляющего органа с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки;
7 - расшифровку выявленных признаков органа управления и признаков движения;
8 - выработку управляющего воздействия;
9 - визуализацию положения и состояния объекта управления;
10 - переопределение параметров.

На операции 4 вначале в качестве области цифрового изображения, внутри которой находится орган управления, задается полный экран. После нахождения органа управления размеры этой области ограничиваются размерами органа управления с окрестностями.

В качестве органа управления при реализации способа может быть использован палец руки, и в этом случае на операции 5 выявляют, его структурные и цветовые признаки и характерные для него признаки движения.

В качестве органа управления может быть использована также кисть руки. При этом на операции 5 выявляется регулярная структура в виде, по крайней мере, трех параллельных линий, образованных прижатыми друг к другу пальцами раскрытой ладони кисти руки. После первоначального определения объекта управления в данном случае (как и в предыдущем) на операциях переопределения 10 и задания области 4 производят ограничение области поиска до размеров несколько больших области ладони.

Алгоритм, приведенный на фиг. 2 детализирует операцию 5 выявления структурных, геометрических, цветовых признаков органа управления и признаков движения. Операция 5 включает:
11 - получение полутонового изображения заданной области цифрового изображения, внутри которой находится орган управления одним из известных методов, например, методом главных компонент;
12 - выделение точек и провязка их в линии, сбор их в список линий;
13 - сбор линий в тройки, выделение из собранных троек линий тройки с наибольшей длиной провязки;
14 - обнаружение краев руки одним из известных методов, например с использованием критерия разделимости по Otsu;
15 - определение точки привязки прижатого большого пальца;
16 - определение наличия признаков движения большого пальца для процедуры выработки управляющих команд;
В варианте способа для реализации команд, управляющих работой системы управления, могут быть использованы различные жесты человека-оператора, например, отклонение ладони от вертикального положения.

В качестве конкретного примера предлагаемый способ может быть использован при дистанционном управлении курсором манипулятора "мышь" компьютера. При этом в качестве органа управления вместо традиционного электронно-механического или электронно-оптического устройства используют части человеческого тела, например, кисть руки. Для позиционирования курсора на экране дисплея используют положение одного, направленного вверх, пальца кисти рук (например, указательного), который может отклоняться от вертикального положения. Палец характеризуется как достаточно однородный по цвету вытянутый (возможно, немного изогнутый) объект, имеющий следующие признаки:
- примерно постоянную ширину,
- определенное отношение (сколько ширин укладывается в длину) средней ширины к длине,
- достаточно (перепад в 10-20 градаций яркости) четкие внешние верхние и боковые границы.

Объект управления - курсор занимает на экране компьютера положение, определяемое информацией, которая содержится в управляющем сигнале. Управляющий сигнал формируют органы управления. Передачу сигнала от органа управления входному устройству компьютера осуществляют посредством оптического потока, создаваемого пальцем руки. В качестве входного устройства используют сенсор, например ПЗС, преобразующий оптический поток в цифровой электрический сигнал. Далее электрический сигнал обрабатывают с помощью устройства обработки цифровой информации. В результате на вход устройства обработки цифровой информации подается двумерный байтовый массив, линейные размеры которого соответствуют формату входного изображения. При этом специальной программой производят нахождение некоторых структурных, геометрических, цветовых признаков и признаков движения органа управления, приведенных выше и соответствующих модели органа управления. Это производится по алгоритму, включающему два этапа, которые выполняют последовательно: первый - предобработка исходных изображений, содержащих орган управления - палец, представленных в виде цифрового электрического сигнала; второй - обработка и анализ предобработанных изображений.

В процессе предобработки производят выделение внешних и/или внутренних контуров движущихся объектов в исходных изображениях. Путем усреднения по цветам или методом главных компонент преобразуют цветные изображения в полутоновые. Одним из известных локальных методов, например сверткой с Лапласианом, выделяют контура. Сверткой с Гауссианом удаляют шумы сенсора. Пороговой бинаризацией, вычитанием последовательных кадров и логической фильтрацией устраняют разрывы контуров. В результате предобработки получают временной набор двумерных контурных изображений движущихся объектов. На втором этапе производят анализ контурных изображений для каждого момента времени. При этом находят и выделяют отрезки верхних границ движущихся контуров, например методом анализа второй производной от функции, описывающей контур по пути обхода контура. Производят провязку точек контура вниз от найденных отрезков верхних границ движущихся контуров. Составляют списки движущихся контуров. Производят расчет геометрических признаков, являющихся параметрами модели органа управления - пальца. В качестве примера модели органа управления можно использовать совокупность следующих признаков:
1 - наличие двух параллельных прямых в контуре, соединенных сверху выпуклой кривой;
2 - число, равное отношению длин параллельных линий к расстоянию между ними;
3 - средний уровень цветности внутри контура.

В результате обработки предобработанных изображений получают несколько наборов признаков, соответствующих части из обнаруженных контуров, удовлетворяющих модели органа управления. Далее производится их сравнение с эталонными параметрами модели органа управления, хранящимися в запоминающем устройстве устройства обработки. По результатам сравнения определяется контур, в наибольшей степени соответствующий эталону.

Для этого контура производят поиск верхней точки, координаты которой фиксируют в системе координат исходного изображения. Визуализация положения курсора на экране дисплея осуществляют с учетом режима экранного разрешения путем подсчета масштабных коэффициентов. В результате этой операции на экране появляется изображение курсора, соответствующее относительному положению органа управления-пальца в поле зрения оптического датчика.

Перемещение курсора по экрану осуществляют в режиме реального времени в зависимости от перемещения органа управления-пальца.

Для реализации команд, соответствующих нажатиям клавиш манипулятора "мышь" компьютера, используют определенные жесты, например, других пальцев той же ладони.

При этом распознавание жестов производят по алгоритму, описанному выше. В качестве примера подобных жестов можно использовать однократные и/или многократные отклонения большого пальца той же ладони, которые будут соответствовать одинарному или двойному нажатию клавиш манипулятора "мышь" компьютера.

Данный способ может быть использован для ввода команд и данных в компьютер в условиях, когда использование традиционного манипулятора "мышь" компьютера затруднено или нежелательно по гигиеническим соображениям и соображениям сохранности имущества. Способ может найти широкое применение при работе с компьютером и другими устройствами дистанционного управления: беспроводные и бесклавиатурные устройства ввода команд и данных для банкоматов, игровых автоматов, уличных электронных справочных систем.

Рассмотренными примерами не исчерпываются все возможные применения предложенного способа.

Кроме пальца, используемого в качестве органа управления, могут быть использованы и другие части человеческого тела: кисть руки, голова, туловище и т. д. При этом алгоритм распознавания сохраняется, меняется лишь модель органа управления.

Способ может найти широкое применение: для дистанционного управления вычислительными, справочно-информационными устройствами, манипуляторами, телекоммуникационными устройствами и другими, в которых в качестве сигналов управления можно использовать жесты человека.

Изобретение относится к области компьютерной техники, а более конкретно к вводу информации в компьютер, и может быть использовано для дистанционного управления различными объектами. Техническим результатом является повышение надежности и повышение точности ввода информации. Для этого в заявленном способе формирование управляющего воздействия осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации об управляющем воздействии от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию информации об управляющем воздействии производят путем выявления в световом потоке, по крайней мере, одного из структурных, геометрических, цветовых признаков органа управления и признаков движения, например направления. 4 з.п. ф-лы, 2 ил.

1. Способ дистанционного управления, включающий операции формирования управляющего сигнала органом управления, передачу с помощью оптического потока информации об управляющем сигнале от органа управления ко входу устройства обработки информации, операцию идентификации и интерпретации информации об управляющем сигнале, выявляющей системные команды, управляющие работой объекта управления, отличающийся тем, что формирование управляющего сигнала осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации о управляющем сигнале от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию и интерпретацию информации о управляющем сигнале, которую несет оптический поток, производят путем выявления в световом потоке, по крайней мере, одного из структурных, геометрических, цветовых признаков органа управления и признаков движения органа управления, сравнения выявленных признаков управляющего органа с параметрами модели органа управления, хранящимися в запоминающем устройстве устройства обработки и представляющими собой характерные структурные, геометрические, цветовые признаки и признаки движения, кодирующие системные команды, а системные команды, управляющие работой объекта управления, формируют по результатам упомянутого сравнения выявленных признаков с параметрами упомянутой модели. 2. Способ дистанционного управления по п.1, отличающийся тем, что в качестве органа управления используют, по крайней мере, один палец кисти руки, а в световом потоке, создаваемом органом управления, выявляют структурные и цветовые признаки пальца и признаки его движения. 3. Способ дистанционного управления по п.1, отличающийся тем, что в качестве органа управления используют кисть руки, а в световом потоке, создаваемом кистью руки, выявляют регулярную структуру в виде, по крайней мере, трех параллельных линий, образованных прижатыми друг к другу пальцами раскрытой ладони кисти руки. 4. Способ дистанционного управления по одному из пп.1-3, отличающийся тем, что для реализации системных команд используют жесты человека-оператора. 5. Способ дистанционного управления по одному из пп.1-4, отличающийся тем, что выявление признаков органа управления и признаков движения органа управления производят по всей области изображения с последующим сужением области поиска до размеров органа управления.