СПОСОБ И УСТРОЙСТВО ДЛЯ РАСПОЗНАВАНИЯ ЖЕСТОВ Российский патент 2019 года по МПК G06F3/41 

Перекрестные ссылки на связанные заявки

[0001] Настоящая заявка ссылается на приоритет заявки на патент Китайской Народной Республики 201610034534.5, на которой она основана и которая была зарегистрирована 19 января 2016 года. При этом содержимое упомянутой заявки полностью включено в настоящий документ путем ссылки.

Область техники

[0002] Варианты осуществления настоящего изобретения относятся, в общем, к технической области дисплеев, а именно, к способу и устройству для распознавания жестов.

Предпосылки создания изобретения

[0003] Технологии сенсорных экранов непрерывно развиваются, и с их развитием сенсорные экраны получают все больше новых функций, одной из которых является функция распознавания жестов.

[0004] На существующем уровне техники сенсорный экран определяет местоположение касания экрана пальцем пользователя и затем распознает жест пользователя согласно местоположению касания.

Сущность изобретения

[0005] Для преодоления недостатков, имеющихся на существующем уровне техники, в настоящем изобретении предложены способ и устройство для распознавания жестов.

[0006] В соответствии с первом аспектом вариантов осуществления настоящего изобретения предложен способ распознавания жестов, который может применяться в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, и при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом, и при этом способ включает:

[0007] когда приемник по меньшей мере одного датчика близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, обнаружение, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала, и затем переключился от приема отраженного сигнала на неприем отраженного сигнала;

[0008] когда упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, определение местоположения упомянутых одного или более датчиков близости; и

[0009] распознавание управляющего жеста пользователя согласно местоположению упомянутых одного или более датчиков близости.

[0010] Опционально, шаг обнаружения, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения или нет, может включать:

[0011] для каждого из упомянутых одного или более датчиков близости, получение значения дистанции, измеренного датчиком близости, при этом значение дистанции сконфигурировано таким образом, что указывает на расстояние между воздействующим объектом и датчиком близости, и при этом значение дистанции представляет собой заранее заданное численное значение, когда приемник не принимает отраженных сигналов;

[0012] обнаружение, изменилось ли значение дистанции от заранее заданного числового значения к первому числовому значению и затем - от первого числового значения к заранее заданному числовому значению, или нет; и

[0013] когда значение дистанции изменилось от заранее заданного числового значения к первому числовому значению и затем изменилось от первого числового значения к заранее заданному числовому значению, определение того, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, и того, что удовлетворено заранее заданное правило изменения.

[0014] Опционально, шаг распознавания управляющего жеста пользователя согласно местоположению упомянутых одного или более датчиков близости может включать:

[0015] получение последовательности, в которой приемники одного или более датчиков близости последовательно принимают отраженный сигнал; и

[0016] распознавание местоположений упомянутых одного или более датчиков близости как управляющего жеста согласно упомянутой последовательности.

[0017] Опционально, способ может дополнительно включать:

[0018] получение, от одного или более датчиков близости, временной длительности изменения значения дистанции в каждом из одного или более датчиков близости;

[0019] вычисление среднего значения по всем временным длительностям изменения;

[0020] определение скорости выполнения жеста согласно упомянутому среднему значению; и

[0021] определение способа отклика на жест согласно скорости его выполнения.

[0022] Опционально, способ может дополнительно включать:

[0023] получение, от одного или более датчиков близости, значения дистанции, измеренного каждым из одного или более датчиков близости;

[0024] обнаружение, равно ли каждое из значений дистанции заранее заданному численному значению в течение одного периода времени или нет, где заранее заданное численное значение - это значение дистанции, когда приемник не принимает отраженных сигналов;

[0025] когда все значения дистанции не равны заранее заданному численному значению в течение одного периода времени, определение того, что пользователем выполнен жест блокирования.

[0026] Опционально, способ может дополнительно включать:

[0027] получение, от одного или более датчиков близости, значения дистанции, измеренного каждым из одного или более датчиков близости, при этом значение дистанции является заранее заданным численным значением, когда приемник не принимает отраженных сигналов;

[0028] обнаружение, изменилось ли значение дистанции от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению, или нет; и

[0029] распознавание того, что пользователем выполнен жест щелчка (однократного нажатия), когда значение дистанции изменилось от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению.

[0030] В соответствии со вторым аспектом вариантов осуществления настоящего изобретения предложено устройство для распознавания жестов, которое может применяться в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, и при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом, и при этом устройство включает:

[0031] первый модуль обнаружения, сконфигурированный, когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, для обнаружения, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала, и затем переключился от приема отраженного сигнала на неприем отраженного сигнала;

[0032] первый модуль определения, сконфигурированный, когда результат обнаружения первым модулем обнаружения указывает на то, что упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, для определения местоположения упомянутых одного или более датчиков близости; и

[0033] первый модуль распознавания, сконфигурированный для распознавания управляющего жеста пользователя согласно местоположению, определенному первым модулем определения для упомянутых одного или более датчиков близости.

[0034] Опционально, первый модуль обнаружения может включать:

[0035] первый подмодуль получения, сконфигурированный, для каждого из одного или более датчиков близости, для получения значения дистанции, измеренного датчиком близости, при этом значение дистанции сконфигурировано таким образом, что указывает на расстояние между воздействующим объектом и датчиком близости, и при этом значение дистанции представляет собой заранее заданное численное значение, когда приемник не принимает отраженных сигналов;

[0036] подмодуль обнаружения, сконфигурированный для обнаружения, изменилось ли значение дистанции, полученное первым подмодулем получения, от заранее заданного числового значения к первому числовому значению и затем - от первого числового значения к заранее заданному числовому значению, или нет; и

[0037] подмодуль определения, сконфигурированный, когда результат обнаружения подмодулем обнаружения указывает на то, что значение дистанции изменилось от заранее заданного числового значения к первому числовому значению и затем изменилось от первого числового значения к заранее заданному числовому значению, для определения того, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, и того, что удовлетворено заранее заданное правило изменения.

[0038] Опционально, первый модуль распознавания может включать:

[0039] второй подмодуль получения, сконфигурированный для получения последовательности, в которой приемники одного или более датчиков близости последовательно принимают отраженный сигнал; и

[0040] подмодуль распознавания, сконфигурированный для распознавания местоположения упомянутых одного или более датчиков близости как управляющего жеста согласно последовательности, полученной вторым подмодулем получения.

[0041] Опционально, устройство может дополнительно включать:

[0042] первый модуль получения, сконфигурированный для получения, от одного или более датчиков близости, временной длительности изменения значения дистанции в каждом из одного или более датчиков близости;

[0043] вычислительный модуль, сконфигурированный для вычисления среднего значения по всем временным длительностям изменения, полученным первым модулем получения;

[0044] второй модуль определения, сконфигурированный для определения скорости выполнения жеста согласно среднему значению, вычисленному вычислительным модулем; и

[0045] третий модуль определения, сконфигурированный для определения способа отклика на жест согласно скорости выполнения, определенной вторым модулем определения.

[0046] Опционально, устройство может дополнительно включать:

[0047] второй модуль получения, сконфигурированный для получения, от одного или более датчиков близости, значения дистанции, измененного каждым из упомянутых одного или более датчиков близости.

[0048] второй модуль обнаружения, сконфигурированный для обнаружения, равно ли каждое из значений дистанции, полученных вторым модулем получения, заранее заданному численному значению в течение одного периода времени или нет, где заранее заданное численное значение - это значение дистанции, когда приемник не принимает отраженных сигналов; и

[0049] второй модуль распознавания, сконфигурированный, когда результат обнаружения вторым модулем обнаружения указывает на то, что все значения дистанции не равны заранее заданному численному значению в течение одного периода времени, для распознавания того, что пользователем выполнен жест блокирования.

[0050] Опционально, устройство может дополнительно включать:

[0051] третий модуль получения, сконфигурированный для получения, от одного или более датчиков близости, значения дистанции, измеренного каждым из одного или более датчиков близости, при этом значение дистанции является заранее заданным численным значением, когда приемник не принимает отраженных сигналов;

[0052] третий модуль обнаружения, сконфигурированный для обнаружения, изменилось ли значение дистанции, полученное третьим модулем получения, от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению, или нет; и

[0053] третий модуль распознавания, сконфигурированный для распознавания того, что пользователем выполнен жест щелчка, когда значение дистанции изменилось от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению.

[0054] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения предложено устройство для распознавания жестов, которое может применяться в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, и при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом, и при этом устройство включает:

[0055] процессор; и

[0056] память для хранения инструкций, исполняемых упомянутым процессором;

[0057] при этом процессор может быть сконфигурирован:

[0058] когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, для обнаружения, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала, и затем переключился от приема отраженного сигнала на неприем отраженного сигнала;

[0059] когда упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, для определения местоположения упомянутых одного или более датчиков близости; и

[0060] для распознавания управляющего жеста пользователя согласно местоположению упомянутых одного или более датчиков близости.

[0061] Технические решения, предложенные в вариантах осуществления настоящего изобретения, позволяют получить следующие полезные результаты:

[0062] когда приемник одного или более датчиков близости принимает отраженный сигнал, но операция касания воздействующим объектом на сенсорном экране не обнаружена, и если при этом обнаружено, что приемник переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, управляющий жест пользователя распознают в соответствии с местоположением упомянутых одного или более датчиков близости, благодаря чему терминал может распознавать управляющие жесты пользователя даже тогда, когда пользователь не выполняет операцию касания на сенсорном экране, и соответственно, может быть решена проблема, связанная с неспособностью терминала распознавать управляющие жесты пользователя, если пользователю неудобно выполнять операции касания на сенсорном экране. Соответственно, может быть получен технический результат, заключающийся в добавлении новых способов распознавания жестов и повышении универсальности распознавания жестов.

[0063] При этом количество распознаваемых управляющих жестов может быть еще более расширено за счет определения скорости управляющего жеста, жеста блокирования и жеста щелчка, благодаря чему может быть решена проблема, связанная с малым количеством способов отклика сенсорного экрана на управляющие жесты, возникающая, поскольку пользователь может выполнять лишь ограниченное количество жестов, не касаясь экрана, и может быть получен технический результат, заключающийся в увеличении количества способов отклика сенсорного экрана на управляющие жесты.

[0064] Нужно понимать, что и предшествующее общее описание, и подробное описание, приведенное ниже, являются исключительно иллюстративными и пояснительными, и не ограничивают настоящее изобретение, объем которого задан формулой изобретения.

Краткое описание чертежей

[0065] На приложенных чертежах, которые входят в состав настоящего описания и являются его неотъемлемой частью, проиллюстрированы варианты осуществления, соответствующие настоящему изобретению. Приложенные чертежи, вместе с описанием, служат для разъяснения замысла настоящего изобретения.

[0066] Фиг. 1 представляет собой блок-схему алгоритма для способа распознавания жестов в соответствии с одним из примеров осуществления настоящего изобретения.

[0067] Фиг. 2A представляет собой блок-схему алгоритма для способа распознавания жестов в соответствии с еще одним из примеров осуществления настоящего изобретения.

[0068] На фиг. 2В показана иллюстрация одного из сценариев определения местоположения воздействия управляющего жеста в соответствии с одним из примеров осуществления настоящего изобретения.

[0069] На фиг. 2C показана иллюстрация одного из сценариев определения местоположения воздействия управляющего жеста в соответствии с еще одним из примеров осуществления настоящего изобретения.

[0070] На фиг. 2D показана иллюстрация одного из сценариев распознавания управляющего жеста в соответствии с одним из примеров осуществления настоящего изобретения.

[0071] На фиг. 2E показана иллюстрация одного из сценариев распознавания управляющего жеста в соответствии с еще одним из примеров осуществления настоящего изобретения.

[0072] На фиг. 2F показана иллюстрация одного из сценариев распознавания управляющего жеста в соответствии с еще одним из примеров осуществления настоящего изобретения.

[0073] На фиг. 2G показана блок-схема алгоритма для способа определения скорости управляющего жеста в соответствии с одним из примеров осуществления настоящего изобретения.

[0074] На фиг. 2H показана блок-схема алгоритма для способа распознавания жеста блокировки в соответствии с одним из примеров осуществления настоящего изобретения.

[0075] На фиг. 2I показана блок-схема алгоритма для способа распознавания жеста щелчка в соответствии с одним из примеров осуществления настоящего изобретения.

[0076] Фиг. 3 представляет собой блок-схему устройства для распознавания жестов в соответствии с одним из примеров осуществления настоящего изобретения.

[0077] Фиг. 4 представляет собой блок-схему устройства для распознавания жестов в соответствии с еще одним из примеров осуществления настоящего изобретения.

[0078] Фиг. 5 представляет собой блок-схему устройства, сконфигурированного для распознавания жестов в соответствии с одним из примеров осуществления настоящего изобретения.

Подробное описание изобретения

[0079] Далее настоящее изобретение будет описано более подробно с помощью конкретных примеров его осуществления, которые проиллюстрированы на приложенных чертежах. Приведенное ниже описание выполнено со ссылками на приложенные чертежи, где, если не указано обратное, аналогичными обозначениями на различных чертежах обозначены одинаковые или аналогичные элементы. Реализации примеров осуществления настоящего изобретения, рассмотренные в приведенном ниже описании, не являются всеми возможными реализациями, соответствующими настоящему изобретению. Напротив, они являются исключительно примерами устройств и способов, соответствующих некоторым из аспектов, связанным с настоящим изобретением, которое определено приложенной формулой изобретения.

[0080] Фиг. 1 представляет собой блок-схему алгоритма для способа распознавания жестов в соответствии с одним из примеров осуществления настоящего изобретения. Данный способ применяют в терминале, который включает сенсорный экран и датчики близости, распределенные в сенсорном экране. Каждый из датчиков близости включает передатчик и приемник, при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом, В соответствии с иллюстрацией фиг. 1, способ распознавания жестов включает шаги, описанные ниже.

[0081] На шаге 101, когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, обнаруживают, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала, и затем переключился от приема отраженного сигнала на неприем отраженного сигнала.

[0082] На шаге 102, когда упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, определяют местоположения упомянутых одного или более датчиков близости.

[0083] На шаге 103 распознают управляющий жест пользователя согласно местоположению упомянутых одного или более датчиков близости.

[0084] Исходя из описанного выше, согласно способу распознавания жестов, предложенному в данном варианте осуществления настоящего изобретения, когда приемник одного или более датчиков близости принимает отраженный сигнал, но операция касания воздействующим объектом на сенсорном экране не обнаружена, и если при этом обнаружено, что приемник переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, управляющий жест пользователя распознают в соответствии с местоположением упомянутых одного или более датчиков близости, благодаря чему терминал может распознавать управляющие жесты пользователя даже тогда, когда пользователь не выполняет операцию касания на сенсорном экране, и соответственно, может быть решена проблема, связанная с неспособностью терминала распознавать управляющие жесты пользователя, если пользователю неудобно выполнять операции касания на сенсорном экране. Соответственно, может быть получен технический результат, заключающийся в добавлении новых способов распознавания жестов и повышении универсальности распознавания жестов.

[0085] Фиг. 2A представляет собой блок-схему алгоритма для способа распознавания жестов в соответствии с еще одним из примеров осуществления настоящего изобретения. Данный способ применяют в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, и при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом. В соответствии с иллюстрацией фиг. 2, данный способ распознавания жестов включает шаги, описанные ниже.

[0086] На шаге 201, когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, обнаруживают, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала, и затем переключился от приема отраженного сигнала на неприем отраженного сигнала.

[0087] На существующем уровне техники пользователь должен касаться сенсорного экрана пальцем, и только тогда терминал способен распознавать управляющие жесты пользователя, то есть, управляющий жест должен воздействовать на сенсорный экран. Если пользователю неудобно касаться сенсорного экрана, например, когда палец пользователя загрязнен, пользователь сможет выполнить операцию касания сенсорного экрана только очистив палец, что представляет собой проблему, поскольку пользователь может быть неспособен своевременно выполнить необходимые операции в терминале, или, если пользователь несмотря на это все-таки выполняет операцию касания на сенсорном экране, может быть загрязнен собственно сенсорный экран. Для решения этой проблемы в данном варианте осуществления настоящего изобретения предложен способ распознавания управляющих жестов пользователя без непосредственного касания сенсорного экрана пальцем, при этом подробное описание способа приведено ниже.

[0088] В сенсорном экране распределяют датчики близости двух типов. Передатчик в датчике близости первого типа передает инфракрасный сигнал; при этом приемник в датчике близости может принимать отраженный инфракрасный сигнал, когда к датчику близости приближается некоторый объект; когда расстояние между приближающимся объектом и датчиком близости сокращается, интенсивность отраженного светового сигнала, принимаемого приемником, растет. Соответственно, датчик близости первого типа может определять значение дистанции между приближающимся объектом и датчиком близости в соответствии с интенсивностью отраженного светового сигнала, принятого приемником.

[0089] Передатчик в датчике близости второго типа передает ультразвуковой сигнал, при этом передатчик и приемник такого датчика близости работают поочередно. Когда к датчику близости приближается некоторый объект, приемник может принимать отраженный ультразвуковой сигнал; и когда расстояние между приближающимся объектом и датчиком близости сокращается, для приема отраженного сигнала приемником требуется меньше времени, поэтому датчик близости второго типа может определять значение дистанции между приближающимся объектом и датчиком близости в соответствии со временем, которое требуется приемнику для приема отраженного сигнала.

[0090] Как было сказано выше, датчик близости любого из типов может определять значение дистанции, когда к нему приближается некоторый объект, и таким образом, датчик близости может определять, приближается ли к нему объект или нет, согласно этому значению дистанции, и передавать отчет о событии приближения в терминал, когда объект приближается.

[0091] Терминал, после приема отчета о событии приближения, переданном одним или более датчиками близости, определяет, была ли выполнена операция касания на сенсорном экране или нет. Если была выполнена операция касания на сенсорном экране, это означает, что данное событие приближения представляет собой управляющий жест, непосредственно воздействующий на сенсорный экран; а если операции касания на сенсорном экране не было, это означает, что данное событие приближения - это управляющий жест без воздействия на сенсорный экран.

[0092] Если такой управляющий жест является жестом скольжения, то в каждом датчике близости, к которому приближается палец пользователя в процессе совершения жеста, приемник переключается от неприема отраженного сигнала на прием отраженного сигнала и затем переключается от приема отраженного сигнала на неприем отраженного сигнала, и соответственно, для распознавания, является ли управляющий жест пользователя жестом скольжения или нет, может выполняться обнаружение, соответствуют ли упомянутые один или более датчиков близости заранее заданному правилу изменения.

[0093] В данном примере способ обнаружения, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения или нет, может включать следующее:

[0094] для каждого датчика близости получают значение дистанции, измеренное датчиком близости, при этом значение дистанции сконфигурировано таким образом, что указывает на расстояние между воздействующим объектом и датчиком близости, и при этом значение дистанции представляет собой заранее заданное численное значение, когда приемник не принимает отраженных сигналов; обнаруживают, изменилось ли значение дистанции от заранее заданного числового значения к первому числовому значению и затем - от первого числового значения к заранее заданному числовому значению, или нет; и когда значение дистанции изменилось от заранее заданного числового значения к первому числовому значению и затем изменилось от первого числового значения к заранее заданному числовому значению, определяют, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, и того, что удовлетворено заранее заданное правило изменения.

[0095] Когда приемник в датчике близости не принимает отраженного сигнала, значение дистанции в датчике близости равно заранее заданному пороговому значению, при этом заранее заданное пороговое значение может быть нулевым; или, заранее заданное пороговое значение может быть большой величиной, например: бесконечность или 10 м; или, заранее заданное значение может быть значением, отражающим степень близости, например, оно может быть задано в датчике близости таким образом, чтобы 0 представлял собой степень близости, означающую сильную близость, 1 - степень близости, которая означает относительную близость, 2 - степень близости, означающую относительное удаление, при этом упомянутое заранее заданное числовое значение назначают равным 2, причем способ назначения заранее заданного порогового значения в данном варианте осуществления настоящего изобретения не ограничен.

[0096] Когда приемник в датчике близости принимает отраженный сигнал, датчик близости может измерять значение дистанции; при этом значение дистанции имеет относительно меньшую величину, если приближающийся объект находится на относительно меньшем расстоянии от датчика близости, и значение дистанции имеет относительно большую величину, если приближающийся объект находится на относительно большем расстоянии от датчика близости. Таким образом, изменение датчика близости может быть определено согласно изменению значения дистанции. То есть, если значение дистанции изменилось от заранее заданного числового значения к первому числовому значению и затем изменилось от первого числового значения к заранее заданному числовому значению, определяют, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала; а когда значение дистанции изменилось от первого числового значения к заранее заданному числовому значению, определяют, что приемник из состава датчика близости переключился от приема отраженного сигнала на неприем отраженного сигнала, при этом первое числовое значение может быть фиксированным численным значением или переменным численным значением, без ограничения данного варианта осуществления настоящего изобретения в этом отношении.

[0097] На шаге 202, когда упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, определяют местоположения упомянутых одного или более датчиков близости.

[0098] Если в текущий момент времени пользователь выполняет управляющий жест, то поскольку его палец приближается к датчику близости, приемник из состава датчика близости может принимать отраженный сигнал, при этом все датчики близости, приемники которых принимают отраженный сигнал, образуют некоторую область. В данном варианте осуществления настоящего изобретения местоположение датчика близости в центральной точке каждой из таких областей может быть определено как местоположение датчика, который удовлетворяет заранее заданному правилу изменения в текущий момент, т.е. в качестве местоположения управляющего жеста в текущий момент времени.

[0099] Например, в соответствии с иллюстрацией фиг. 2В, в некоторый момент времени пользователь выполняет управляющий жест 2; датчики близости, приемники которых принимают отраженные сигналы, образуют область 3 в терминале 1, и терминал 1 получает, при помощи вычислений, центральную точку 4 положения одного или более датчиков близости и определяет центральную точку 4 как местоположением управляющего жеста в текущий момент времени.

[0100] В качестве другого примера: в соответствии с иллюстрацией фиг. 2С, в некоторый момент времени пользователь выполняет управляющий жест 5; датчики близости, приемники которых принимают отраженные сигналы, образуют область 6 и область 7 в терминале 1, и терминал 1 получает, при помощи вычислений, центральную точку 8 области из одного или более датчиков близости, соответствующих области 6, получает, при помощи вычислений, центральную точку 9 области из одного или более датчиков близости, соответствующих области 7, и определяет, что центральная точка 8 и центральная точка 9 является местоположениями управляющего жеста в текущий момент времени.

[0101] Терминал определяет местоположения воздействия управляющего жеста в каждый момент времени согласно местоположению одного или более датчиков близости, а также может распознавать управляющий жест согласно местоположениям в каждый момент времени.

[0102] На шаге 203 получают последовательность, в которой приемники одного или более датчиков близости последовательно принимают отраженный сигнал.

[0103] Если датчик близости передает в терминал отчет о событии приближения, терминал может записывать время приема отчета о событии приближения, когда отчет о событии приближения были принят; следовательно, когда управляющий жест сформирован непрерывным воздействием, таким, например, как операция скольжения, терминал может получать времена, в которые палец пользователя последовательно приближается к одному или более датчикам близости, и определять последовательность, в которой к одному или более датчикам близости было выполнено приближение согласно полученным временам.

[0104] На шаге 204, согласно упомянутой последовательности, распознают местоположения упомянутых одного или более датчиков близости как управляющий жест.

[0105] Траектория выполнения управляющего жеста, выполненного без контакта с сенсорным экраном, может быть получена согласно местоположениям воздействия управляющего жеста в каждый момент времени, определенным на шаге 202; при этом направление выполнения управляющего жеста может быть получено согласно последовательности, в которой были последовательно блокированы датчики близости, определенной на шаге 203, и терминал может распознавать управляющий жест пользователя в соответствии с траекторией выполнения и направлением выполнения.

[0106] Например, в соответствии с иллюстрацией фиг. 2D, в терминале 1 местоположение воздействия 11 определено в первый момент времени, местоположение воздействия 12 определено во второй момент времени, и местоположение воздействия 13 определено в третий момент времени. Согласно найденным местоположениям и их последовательности может быть сделан вывод о том, что управляющий жест, выполненный пользователем, - это скольжение вправо.

[0107] Опционально, в терминале могут быть также заданы первое пороговое значение угла и второе пороговое значение угла, что позволяет определять направление выполнения управляющего жеста, при этом второе пороговое значение угла больше, чем первое пороговое значение угла. Терминал может произвольным образом выбирать местоположения воздействия, которые определены в два различных момента времени; и если внутренний угол между линией, соединяющей эти два местоположения воздействия, и горизонталью меньше, чем первое пороговое значение угла, делают вывод о том, что управляющий жест представляет собой операцию скольжения вправо или влево; если же внутренний угол между линией, соединяющей эти два местоположения воздействия, и горизонталью больше, чем первое пороговое значение угла, делают вывод о том, что управляющий жест представляет наклонную операцию скольжения; а если внутренний угол между линией, соединяющей эти два местоположения воздействия, и горизонталью больше, чем второе пороговое значение угла, делают вывод о том, что управляющий жест представляет собой операцию скольжения вверх или вниз.

[0108] Например, в соответствии с иллюстрацией фиг. 2Е, в терминале 1 первое пороговое значение угла может быть задано равным 30 градусам, а второе пороговое значение угла может быть задано равным 60 градусам. В первый момент времени, который выбран произвольно, определяют местоположение 12 воздействия, а во второй момент времени, также выбранный произвольно, определяют местоположение 14 воздействия, при этом внутренний угол между линией, соединяющей эти два местоположения воздействия, и горизонталью равен 45 градусов, то есть превышает пороговое значение угла, и следовательно терминал, распознает, что управляющий жест пользователя - это жест скольжения вверх или вниз, согласно определенным местоположениям, последовательности определенных местоположений и внутреннему углу между линией, соединяющей эти два местоположения воздействия, и горизонталью.

[0109] Опционально, терминал может также вычислять, для каждой группы местоположений, среднее значение внутренних углов между линиями, соединяющими два местоположения воздействия в смежные моменты времени и горизонталью, и сравнивать полученное среднее значение с первым пороговым значением угла и вторым пороговым значением угла; при этом если среднее значение меньше, чем первое пороговое значение угла, делают вывод о том, что управляющий жест представляет собой операцию скольжения влево или в право; если же среднее значение больше, чем первое пороговое значение угла, делают вывод о том, что управляющий жест представляет наклонную операцию скольжения; а если среднее значение больше, чем второе пороговое значение угла, делают вывод о том, что управляющий жест представляет собой операцию скольжения вверх или вниз.

[0110] Опционально, если терминал обнаруживает присутствие по меньшей мере двух местоположений воздействия в один момент времени, то для каждого местоположения воздействия определяют местоположение воздействия, расположенное ближе всех к этому местоположению воздействия в смежный момент времени, и определяют, что само это местоположение воздействия является управляющей комбинацией, при этом управляющий жест распознают в соответствии со всеми определенными управляющими комбинациями.

[0111] Например, в соответствии с иллюстрацией фиг. 2F, в терминале 1, если в первый момент времени определены 11 и 15 местоположения воздействия, во второй момент времени определены местоположения 12 и 16 воздействия, и в третий момент времени определены местоположения 13 и 17 воздействия, терминал определяет, что местоположения 11, 12 и 13 воздействия представляют собой управляющую комбинацию, определяет, что местоположения 15, 16 и 17 также являются управляющей комбинацией, и распознает управляющий жест в соответствии в двумя определенными управляющими комбинациями.

[0112] Опционально, для расширения количества способов отклика на управляющие жесты, сенсорный экран может также определять скорость выполнения управляющего жеста. На фиг. 2В показана блок-схема алгоритма для способа определения скорости управляющего жеста в соответствии с одним из примеров осуществления настоящего изобретения. Способ определения скорости управляющего жеста применяют в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом. В соответствии с иллюстрацией фиг. 2G способ определения скорости управляющего жеста включает шаги, описанные ниже.

[0113] На шаге 205 получают временную длительность изменения значения дистанции каждого из упомянутых одного или более датчиков близости.

[0114] В одном из возможных вариантов реализации для каждого из датчиков близости терминал записывает время, в которое значение дистанции датчика близости поддерживается неравным заранее заданному числовому значению; при этом когда датчик близости отвечает заранее заданному правилу изменения, терминал может вычислять, согласно записанному времени, временную длительность изменения, в течение которой значение дистанции датчика близости поддерживалось неравным заранее заданному числовому значению. В другом варианте реализации терминал, перед определением, удовлетворяет ли датчик близости заранее заданному правилу изменения, может получать временную длительность изменения, в течение которой значение дистанции датчика близости поддерживалось неравным заранее заданному числовому значению, и непосредственно считывать полученную временную длительность изменения, когда обнаружено, что датчик близости удовлетворяет заранее заданному правилу изменения. В данном варианте осуществления настоящего изобретения не накладывается ограничений на момент времени получения, терминалом, временной длительности изменения, в течение которой значение дистанции поддерживалось неравным заранее заданному числовому значению.

[0115] На шаге 206 вычисляют среднее значение по всем временным длительностям изменения.

[0116] Терминал вычисляет среднее значение по всем полученным временным длительностям изменения, или терминал выбирает одну или более временных длительностей изменения из всех полученных временных длительностей изменения, и вычисляет среднее значение по выбранным одной или более временным длительностям изменения.

[0117] На шаге 207 определяют скорость выполнения жеста согласно полученному среднему значению.

[0118] В терминале заранее задано пороговое значение времени, с которым терминал может сравнивать полученное среднее значение для определения скорости выполнения жеста, при этом могут быть заданы одно или более пороговых значений времени.

[0119] Например, в терминале могут быть заданы два пороговых значений времени, т.е. первое пороговое значение времени и второе пороговое значение времени, при этом первое пороговое значение времени может быть меньшим, чем второе пороговое значение времени. Если упомянутое среднее значение больше, чем первое пороговое значение времени, терминал определяет, что жест является жестом низкой скорости; если упомянутое среднее значение меньше, чем второго пороговое значение времени, терминал определяет, что жест является жестом высокой скорости; и если упомянутое среднее значение больше, чем второе пороговое значение времени, но меньше, чем первое пороговое значение времени, терминал определяет, что жест является жестом средней скорости.

[0120] На шаге 208 определяют способ отклика на жест согласно скорости его выполнения.

[0121] Количество различных способов отклика терминала на управляющие жесты может быть расширено при помощи определения скорости выполнения управляющего жеста.

[0122] Например, способом отклика, соответствующим жесту скольжения вправо с высокой скоростью, может быть быстрая перемотка видео; а способом отклика, соответствующим жесту скольжения вправо с низкой скоростью может быть переход на следующее видео.

[0123] Опционально, в одном из вариантов осуществления настоящего изобретения предложен также способ распознавания жеста блокировки, выполненного пользователем. На фиг. 2H показана блок-схема алгоритма способа распознавания жеста блокировки. Способ включает шаги, описанные ниже.

[0124] На шаге 209 получают значение дистанции, измеренное каждым из упомянутых одного или более датчиков близости.

[0125] На шаге 210 обнаруживает, равно ли каждое из значений дистанции заранее заданному численному значению в течение одного периода времени или нет, где заранее заданное численное значение - это значение дистанции, когда приемник не принимает отраженных сигналов.

[0126] Если обнаружено, что присутствует одно или более значений дистанции для одного момента времени, терминал переходит к обнаружению, поддерживались ли эти одно или более значений дистанции неравными заранее заданному числовому значению в течение одного периода времени, или нет.

[0127] На шаге 211, когда все значения дистанции не равны заранее заданному численному значению в течение одного периода времени, распознают, что пользователем выполнен жест блокирования.

[0128] Терминал может распознавать, что управляющим жестом пользователя является жест блокирования, когда все значения дистанции поддерживалсь неравными заранее заданному числовому значению в течение одного периода времени. Терминал распознает жест блокирования, выполненный пользователем, то есть, может быть расширено количество способов отклика на управляющие жесты. К примеру, когда терминал распознает, что пользователь выполнил жест блокирования, соответствующим способом отклика может быть приостановка воспроизведения видео или музыки; или когда терминал распознает, что пользователь выполнил жест блокирования, соответствующим способом отклика может быть вызов некоторой прикладной программы.

[0129] Опционально, в терминале может быть дополнительно задано первое заранее заданное время, и когда временная длительность, в течение которой все значения дистанции поддерживались неравными заранее заданному числовому значению, больше или равна первому заранее заданному времени, распознают, что управляющий жест пользователя является жестом блокирования первого типа. Опционально, в терминале может быть задано второе заранее заданное время, и когда временная длительность, в течение которой все значения дистанции поддерживались неравными заранее заданному числовому значению, меньше или равна второму заранее заданному времени, распознают, что управляющий жест пользователя является жестом блокирования второго типа. В терминале могут быть заданы различные способы отклика на жесты блокировки различных типов.

[0130] Опционально, в одном из вариантов осуществления настоящего изобретения предложен также способ распознавания жеста щелчка, выполненного пользователем. Фиг. 2I представляет собой блок-схему алгоритма для способа распознавания жеста щелчка, при этом способ включает шаги, описанные ниже.

[0131] На шаге 212 от одного или более датчиков близости, получают значение дистанции, измеренное каждым из одного или более датчиков близости, при этом значение дистанции является заранее заданным численным значением, когда приемник не принимает отраженных сигналов.

[0132] На шаге 213 обнаруживают, изменилось ли значение дистанции от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению, или нет.

[0133] Если выполненный управляющий жест является жестом щелчка, для каждого датчика близости, к которому было выполнено приложении в ходе выполнения жеста щелчка, измеренное значение дистанции постепенно уменьшается от заранее заданного численного значения и затем постепенно увеличивается до заранее заданного численного значения, то есть, распознавание, выполнил ли пользователь жест щелчка или нет, может быть выполнено при помощи обнаружения, соответствуют ли значения дистанции упомянутых одного или более датчиков близости такой закономерности изменения.

[0134] На шаге 214, когда значение дистанции изменилось от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению, распознают, что пользователем выполнен жест щелчка.

[0135] Для каждого из датчиков близости, когда терминал обнаруживает, что значение дистанции датчика близости меняется от заранее заданного числового значения ко второму числовому значению, это означает, что объект приближается; если значение дистанции продолжает изменяться и уменьшается от второго числового значения до третьего числового значения, это означается, что расстояние между объектом и датчиком близости сократилось; и если значение дистанции продолжает изменяться и повышается от третьего числового значения до второго числового значения и затем повышается до заранее заданного числового значения, это означает, что объект постепенно удаляется от датчика близости; таким образом, удовлетворено правило изменения значения дистанции, соответствующее жесту щелчка, причем третье числовое значение может быть переменным, и различным третьим численным значениям могут соответствовать различные жесты щелчка.

[0136] Исходя из описанного выше, согласно способу распознавания жестов, предложенному в данном варианте осуществления настоящего изобретения, когда приемник одного или более датчиков близости принимает отраженный сигнал, но операция касания воздействующим объектом на сенсорном экране не обнаружена, и если при этом обнаружено, что приемник переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, управляющий жест пользователя распознают в соответствии с местоположением упомянутых одного или более датчиков близости, благодаря чему терминал может распознавать управляющие жесты пользователя даже тогда, когда пользователь не выполняет операцию касания на сенсорном экране, и соответственно, может быть решена проблема, связанная с неспособностью терминала распознавать управляющие жесты пользователя, если пользователю неудобно выполнять операции касания на сенсорном экране. Соответственно, может быть получен технический результат, заключающийся в добавлении новых способов распознавания жестов и повышении универсальности распознавания жестов.

[0137] При этом количество распознаваемых управляющих жестов может быть еще более расширено за счет определения скорости управляющего жеста, жеста блокирования и жеста щелчка, благодаря чему может быть решена проблема, связанная с малым количеством способов отклика сенсорного экрана на управляющие жесты, возникающая, поскольку пользователь может выполнять лишь ограниченное количество жестов, не касаясь экрана, и может быть получен технический результат, заключающийся в увеличении количества способов отклика сенсорного экрана на управляющие жесты.

[0138] Фиг. 3 представляет собой блок-схему устройства для распознавания жестов в соответствии с одним из примеров осуществления настоящего изобретения. Данное устройство применяют в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, и при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом. В соответствии с иллюстрацией фиг. 3, устройство для распознавания жестов включает: первый модуль 310 обнаружения, первый модуль 320 определения и первый модуль 330 распознавания.

[0139] Первый модуль 310 обнаружения сконфигурирован, когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, для обнаружения, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала, и затем переключился от приема отраженного сигнала на неприем отраженного сигнала;

[0140] первый модуль 320 определения сконфигурирован, когда результат обнаружения первым модулем 310 обнаружения указывает на то, что упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, для определения местоположения упомянутых одного или более датчиков близости; и

[0141] первый модуль 330 распознавания сконфигурирован для распознавания управляющего жеста пользователя согласно местоположению, определенному первым модулем 320 определения для упомянутых одного или более датчиков близости.

[0142] Исходя из описанного выше, согласно устройству для распознавания жестов, предложенному в данном варианте осуществления настоящего изобретения, когда приемник одного или более датчиков близости принимает отраженный сигнал, но операция касания воздействующим объектом на сенсорном экране не обнаружена, и если при этом обнаружено, что приемник переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, управляющий жест пользователя распознают в соответствии с местоположением упомянутых одного или более датчиков близости, благодаря чему терминал может распознавать управляющие жесты пользователя даже тогда, когда пользователь не выполняет операцию касания на сенсорном экране, и соответственно, может быть решена проблема, связанная с неспособностью терминала распознавать управляющие жесты пользователя, если пользователю неудобно выполнять операции касания на сенсорном экране. Соответственно, может быть получен технический результат, заключающийся в добавлении новых способов распознавания жестов и повышении универсальности распознавания жестов.

[0143] Фиг. 4 представляет собой блок-схему устройства для распознавания жестов в соответствии с одним из примеров осуществления настоящего изобретения. Данное устройство применяют в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом. В соответствии с иллюстрацией фиг. 4, устройство для распознавания жестов включает: первый модуль 410 обнаружения, первый модуль 420 определения и первый модуль 430 распознавания.

[0144] Первый модуль 410 обнаружения сконфигурирован, когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, для обнаружения, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала, и затем переключился от приема отраженного сигнала на неприем отраженного сигнала.

[0145] Первый модуль 420 определения сконфигурирован, когда результат обнаружения первым модулем 410 обнаружения указывает на то, что упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, для определения местоположения упомянутых одного или более датчиков близости.

[0146] Первый модуль 430 распознавания сконфигурирован для распознавания управляющего жеста пользователя согласно местоположению, определенному первым модулем 420 определения для упомянутых одного или более датчиков близости.

[0147] Опционально, первый модуль 410 обнаружения включает: первый подмодуль 411 получения, подмодуль 412 обнаружения и подмодуль 413 определения.

[0148] Первый подмодуль 411 получения сконфигурирован, для каждого из одного или более датчиков близости, для получения значения дистанции, измеренного датчиком близости, при этом значение дистанции сконфигурировано таким образом, что указывает на расстояние между воздействующим объектом и датчиком близости, и при этом значение дистанции представляет собой заранее заданное численное значение, когда приемник не принимает отраженных сигналов.

[0149] Подмодуль 412 обнаружения сконфигурирован для обнаружения, изменилось ли значение дистанции, полученное первым подмодулем 411 получения, от заранее заданного числового значения к первому числовому значению и затем - от первого числового значения к заранее заданному числовому значению, или нет.

[0150] Подмодуль 413 определения сконфигурирован когда результат обнаружения подмодулем 412 обнаружения указывает на то, что значение дистанции изменилось от заранее заданного числового значения к первому числовому значению и затем изменилось от первого числового значения к заранее заданному числовому значению, для определения того, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, и того, что удовлетворено заранее заданное правило изменения.

[0151] Опционально, первый модуль 430 распознавания включает: второй подмодуль 431 получения и подмодуль 432 распознавания.

[0152] Второй подмодуль 431 получения сконфигурирован для получения последовательности, в которой приемники одного или более датчиков близости последовательно принимают отраженный сигнал.

[0153] Подмодуль 432 распознавания сконфигурирован для распознавания местоположения упомянутых одного или более датчиков близости как управляющего жеста согласно последовательности, полученной вторым подмодулем 431 получения.

[0154] Опционально, устройство дополнительно включает: первый модуль 440 получения, вычислительный модуль 450, второй модуль 460 определения и третий модуль 470 определения.

[0155] Первый модуль 440 получения сконфигурирован для получения, от одного или более датчиков близости, временной длительности изменения значения дистанции в каждом из одного или более датчиков близости.

[0156] Вычислительный модуль 450 сконфигурирован для вычисления среднего значения по всем временным длительностям изменения, полученным первым модулем 450 получения.

[0157] Второй модуль 460 определения сконфигурирован для определения скорости выполнения жеста согласно среднему значению, вычисленному вычислительным модулем 450.

[0158] Третий модуль 470 определения сконфигурирован для определения способа отклика на жест согласно скорости выполнения, определенной вторым модулем 460 определения.

[0159] Опционально, устройство дополнительно включает: второй модуль 480 получения, второй модуль 490 определения и второй модуль 491 распознавания.

[0160] Второй модуль 480 получения сконфигурирован для получения, от одного или более датчиков близости, значения дистанции, измененного каждым из упомянутых одного или более датчиков близости.

[0161] Второй модуль 490 обнаружения сконфигурирован для обнаружения, равно ли каждое из значений дистанции, полученных вторым модулем 480 получения, заранее заданному численному значению в течение одного периода времени или нет, где заранее заданное численное значение - это значение дистанции, когда соответствующий приемник не принимает отраженных сигналов.

[0162] Второй модуль 491 распознавания, сконфигурированный, когда результат обнаружения вторым модулем 490 обнаружения указывает на то, что все значения дистанции не равны заранее заданному численному значению в течение одного периода времени, для распознавания того, что пользователем выполнен жест блокирования.

[0163] Опционально, устройство дополнительно включает: третий модуль 492 получения, третий модуль 493 обнаружения и третий модуль 494 распознавания.

[0164] Третий модуль 492 получения сконфигурирован для получения значения дистанции, измеренного каждым из одного или более датчиков близости, при этом значение дистанции является заранее заданным численным значением, когда приемник не принимает отраженных сигналов.

[0165] Третий модуль 493 обнаружения сконфигурирован для обнаружения, изменилось ли значение дистанции, полученное третьим модулем 492 получения, от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению, или нет.

[0166] Третий модуль 494 распознавания сконфигурирован, когда результат обнаружения третьим модулем 493 обнаружения, указывает на то, что значение дистанции изменилось от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению, для распознавания того, что пользователем выполнен жест щелчка.

[0167] Исходя из описанного выше, согласно устройству для распознавания жестов, предложенному в данном варианте осуществления настоящего изобретения, когда приемник одного или более датчиков близости принимает отраженный сигнал, но операция касания воздействующим объектом на сенсорном экране не обнаружена, и если при этом обнаружено, что приемник переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, управляющий жест пользователя распознают в соответствии с местоположением упомянутых одного или более датчиков близости, благодаря чему терминал может распознавать управляющие жесты пользователя даже тогда, когда пользователь не выполняет операцию касания на сенсорном экране, и соответственно, может быть решена проблема, связанная с неспособностью терминала распознавать управляющие жесты пользователя, если пользователю неудобно выполнять операции касания на сенсорном экране. Соответственно, может быть получен технический результат, заключающийся в добавлении новых способов распознавания жестов и повышении универсальности распознавания жестов.

[0168] При этом количество распознаваемых управляющих жестов может быть еще более расширено за счет определения скорости управляющего жеста, жеста блокирования и жеста щелчка, благодаря чему может быть решена проблема, связанная с малым количеством способов отклика сенсорного экрана на управляющие жесты, возникающая, поскольку пользователь может выполнять лишь ограниченное количество жестов, не касаясь экрана, и может быть получен технический результат, заключающийся в увеличении количества способов отклика сенсорного экрана на управляющие жесты.

[0169] В отношении устройств, предложенных в рассмотренных выше вариантах осуществления настоящего изобретения, конкретные способы выполнения операций для индивидуальных модулей из их состава были подробно описаны в вариантах осуществления настоящего изобретения, относящихся к способам, и не будут приведены повторно.

[0170] В одном из примеров осуществления настоящего изобретения предложено устройство для распознавания жестов, которое может реализовывать способ распознавания жестов, предложенный в настоящем изобретении, при этом устройство применяют в сенсорном экране, где распределены датчики близости, при этом каждый датчик близости включает передатчик и приемник, и при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом. Устройство распознавания жестов включает: процессор; и память, сконфигурированную для хранения инструкций, исполняемых процессором;

[0171] при этом процессор сконфигурирован:

[0172] когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, для обнаружения, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала, и затем переключился от приема отраженного сигнала на неприем отраженного сигнала;

[0173] когда упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, для определения местоположения упомянутых одного или более датчиков близости; и

[0174] для распознавания управляющего жеста пользователя согласно местоположению упомянутых одного или более датчиков близости.

[0175] Фиг. 5 представляет собой блок-схему устройства 500 для распознавания жестов в соответствии с одним из примеров осуществления настоящего изобретения. Например, устройство 500 может представлять собой мобильный телефон, компьютер, терминал цифрового вещания, устройство обмена сообщениями, игровую приставку, планшетный компьютер, медицинское устройство, тренажерное оборудование, карманный персональный компьютер и т.п.

[0176] В соответствии с иллюстрацией фиг. 5, устройство 500 может включать один или более следующих компонентов: процессорный компонент 502, память 504, компонент 506 электропитания, мультимедийный компонент 508, аудиокомпонент 510, интерфейс 512 ввода-вывода (input/output, I/O), измерительный компонент 514 и компонент 516 связи.

[0177] Процессорный компонент 502, как правило, осуществляет общее управление функционированием устройства 500, например, операциями, связанными с отображением, телефонными вызовами, обменом данными, работой с камерой и операциями записи. Процессорный компонент 502 может включать один или более процессоров 518, исполняющих инструкции с целью выполнения всех шагов описанных выше способов или части этих шагов. Также, процессорный компонент 502 может включать один или более модулей, обеспечивающих взаимодействие между процессорным компонентом 502 и другими компонентами. Например, процессорный компонент 502 может включать мультимедийный модуль, обеспечивающий взаимодействие между мультимедийным компонентом 508 и процессорным компонентом 502.

[0178] Память 504 сконфигурирована для хранения различных типов данных с целью поддержки функционирования устройства 500. Примерами подобных данных могут служить инструкции любых прикладных программ или способов, исполняемых на устройстве 500, контактные данные, данные телефонной книги, сообщения, изображения, видеоданные и т.п. Память 504 может быть реализована с использованием энергозависимых или энергонезависимых устройств любого типа, а также их комбинаций, например, статической памятью с произвольным доступом (static random access memory, SRAM), электрически перепрограммируемой памяти в режиме «только для чтения» (erasable programmable read-only memory, EPROM), программируемой памяти в режиме «только для чтения» (programmable read-only memory, PROM), памяти в режиме «только для чтения», магнитной памяти, флэш-памяти, магнитного или оптического диска.

[0179] Компонент 506 электропитания обеспечивает электропитание различных компонентов устройства 500. Компонент 506 электропитания может включать систему управления электропитанием, один или более источников питания, а также любые другие компоненты, связанные с производством, управлением и распределением электрической энергии в устройстве 500.

[0180] Мультимедийный компонент 508 включает экран, который обеспечивает интерфейс вывода между устройством 500 и пользователем. В некоторых из вариантов осуществления настоящего изобретения экран может включать дисплей на жидких кристаллах (liquid crystal display, LCD) и сенсорную панель (touch panel, TP). Если экран включает сенсорную панель, то в этом случае экран может быть реализован как сенсорный экран, принимающий сигналы ввода от пользователя. Сенсорная панель включает один или более датчиков касания, предназначенных для регистрации касаний, скольжений и других жестов на сенсорной панели. Датчики касания могут не только регистрировать границы операций касания или скольжения, но также измерять длительность и величину давления, связанные с этими операциями. В некоторых вариантах осуществления настоящего изобретения мультимедийный компонент 508 включает фронтальную камеру и/или тыловую камеру. Фронтальная камера и/или тыловая камера могут принимать внешние мультимедийные данные, когда устройство 500 находится в определенном режиме работы, например, в режиме фотографирования или в режиме видеосъемки. Как фронтальная камера, так и тыловая камера могут представлять собой фиксированные системы оптических линз или иметь функциональность фокусировки и оптического зуммирования.

[0181] Аудиокомпонент 510 сконфигурирован для вывода и/или ввода аудиосигналов. Например, аудиокомпонент 510 включает в себя микрофон (“MIC”), сконфигурированный для приема внешнего аудиосигнала, когда устройство 500 находится в определенном режиме работы, например, в режиме вызова, в режиме записи или в режиме распознавания голоса. Принятый аудиосигнал может затем быть сохранен в памяти 504 или передан при помощи компонента 516 связи. В некоторых из вариантов осуществления настоящего изобретения аудиокомпонент 510 включает также громкоговоритель, сконфигурированный для вывода аудиосигналов.

[0182] Интерфейс 512 ввода/вывода обеспечивает интерфейс между процессорным компонентом 502 и модулями периферийных интерфейсов. Модуль периферийного интерфейса может представлять собой клавиатуру, поворотно-нажимной переключателя («колесо»), кнопку и т.п. Кнопки могут включать, без ограничения перечисленным: кнопку «домой», кнопку регулировки громкости, кнопку «пуск» и кнопку блокировки.

[0183] Измерительный компонент 514 включает в себя один или более датчиков, сконфигурированных для оценки состояния различных элементов мобильного терминала 500. Например, измерительный компонент 514 может определять состояние устройства 1100: «включено» или «отключено», и относительное расположение компонентов, например, дисплея и миниатюрной клавиатуры устройства 500. Также, измерительный компонент 514 может регистрировать изменение позиции устройства 500 или одного из компонентов устройства 500, присутствие или отсутствие контакта пользователя с устройством 500, ориентацию или ускорение/замедление устройства 500 и изменение температуры устройства 500. Измерительный компонент 514 может включать датчик близости, сконфигурированный для обнаружения присутствия объектов вблизи приспособления 700 без физического контакта с ними. Измерительный компонент 514 может дополнительно включать светочувствительный датчик, например, например, комплементарный метал-окисел-полупроводниковый (Complementary Metal Oxide Semiconductor, CMOS) датчик изображений или датчик изображений на устройстве с зарядовой связью (Charge Coupled Device, CCD), сконфигурированный для использования в приложениях формирования изображений. В некоторых из вариантов осуществления настоящего изобретения измерительный компонент 514 может также включать акселерометрический датчик ускорения, гироскопический датчик, магнитный датчик, датчик давления или датчик температуры.

[0184] Компонент 516 связи сконфигурирован для обеспечения связи, проводной или беспроводной, между устройством 500 и другими устройствами. Устройство 500 может осуществлять доступ к беспроводной сети, основанной на таких стандартах связи, как «беспроводная точность» (Wireless Fidelity, WiFi), к сетям второго поколения (2G), третьего поколения (3G), или их комбинации. В одном из примеров осуществления настоящего изобретения компонент 516 связи принимает широковещательный сигнал или соответствующую широковещательную информацию от внешней широковещательной системы управления по широковещательному каналу. В одном из примеров осуществления настоящего изобретения компонент 516 связи включает также модуль ближней бесконтактной связи (near field communication, NFC) для обеспечения связи в ближней зоне. Например, NFC-модуль может быть реализован на базе технологии радиочастотной идентификации (radio frequency identification, RFID), технологии ассоциации передачи данных в инфракрасном диапазоне (infrared data association, IrDA), технологии сверхширокой полосы пропускания (ultra-wideband, UWB), технологии Bluetooth (BT) или других технологий.

[0185] В данном примере осуществления настоящего изобретения устройство 500 может быть реализовано с использованием одной или более заказных интегральных схем (ASIC), цифровых сигнальных процессоров (DSP), цифровых устройств обработки сигналов (digital signal processing devices, DSPD), программируемых логических устройств (programmable logic devices, PLD), электрически программируемых вентильных матриц (field programmable gate arrays, FPGA), процессоров, контроллеров, микроконтроллеров, микропроцессорах или других электронных компонентов, и сконфигурирован для исполнения описанных выше способов.

[0186] В данном примере осуществления настоящего изобретения предложен также машиночитаемый носитель, включающий инструкции, например, память 504, включающая инструкции, при этом упомянутые инструкции могут исполняться процессорами 518 из состава устройства 500 с целью реализации описанных выше способов. К примеру, постоянный машиночитаемый носитель для хранения данных может представлять собой память ROM, память с произвольным доступом (Random Access Memory, RAM), память в режиме «только для чтения на компакт-диске (Compact Disc Read-Only Memory, CD-ROM), магнитную ленту, гибкий диск, оптическое запоминающее устройство для хранения данных и т.п.

[0187] Специалистами в настоящей области техники, по прочтении описания или после практического применения изобретения, описанного в настоящем документе, могут быть найдены другие варианты его осуществления. Настоящая заявка призвана охватить все изменения, применения или модификации вариантов осуществления настоящего изобретения, не отступающие от его основного замысла, включая все отступления от вариантов осуществления настоящего изобретения, которые известны на существующем уровне техники или традиционно применяются в настоящей области техники. Приведенное описание и примеры следует считать исключительно иллюстративными, при этом истинный объем и сущность вариантов осуществления настоящего изобретения заданы приведенной ниже формулой изобретения.

[0188] Нужно понимать, что варианты осуществления настоящего изобретения не ограничены конкретной структурой, описанной выше и проиллюстрированной на приложенных чертежах, а также, что в пределах объема настоящего изобретения могут быть выполнены множество различных модификаций и изменений. Предполагается, что объем вариантов осуществления настоящего изобретения может быть ограничен только приложенной формулой изобретения.

[0189] Промышленная применимость

[0190] Технические решения, предложенные в вариантах осуществления настоящего изобретения, позволяют получить следующие полезные результаты: когда приемник одного или более датчиков близости принимает отраженный сигнал, но операция касания воздействующим объектом на сенсорном экране не обнаружена, и если при этом обнаружено, что приемник переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, управляющий жест пользователя распознают в соответствии с местоположением упомянутых одного или более датчиков близости, благодаря чему терминал может распознавать управляющие жесты пользователя даже тогда, когда пользователь не выполняет операцию касания на сенсорном экране. Может быть решена проблема, связанная с неспособностью терминала распознавать управляющие жесты пользователя, если пользователю неудобно выполнять операции касания на сенсорном экране, и может быть получен технический результат, заключающийся в добавлении новых способов распознавания жестов и повышении универсальности распознавания жестов.

Изобретение относится к устройствам распознавания жестов. Технический результат заключается в увеличении количества способов отклика сенсорного экрана на управляющие жесты. Устройство включает сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом. Когда приемник одного или более датчиков близости принимает отраженный сигнал, но операция касания воздействующим объектом на сенсорном экране не обнаружена, и если при этом обнаружено, что приемник переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, управляющий жест пользователя распознают в соответствии с местоположением упомянутых одного или более датчиков близости. 3 н. и 10 з.п. ф-лы, 13 ил.

1. Способ распознавания жестов, который применяют в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом, и при этом способ включает:

когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, обнаружение, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала;

когда упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, определение местоположения упомянутых одного или более датчиков близости; и

распознавание управляющего жеста пользователя согласно местоположению упомянутых одного или более датчиков близости.

2. Способ по п. 1, в котором обнаружение, удовлетворяют ли один или более датчиков близости заранее заданному правилу изменения или нет, включает:

для каждого из упомянутых одного или более датчиков близости получение значения дистанции, измеренного датчиком близости, при этом значение дистанции сконфигурировано таким образом, что указывает на расстояние между воздействующим объектом и датчиком близости, и при этом значение дистанции представляет собой заранее заданное численное значение, когда приемник не принимает отраженных сигналов;

обнаружение, изменилось ли значение дистанции от заранее заданного числового значения к первому числовому значению и затем от первого числового значения к заранее заданному числовому значению или нет; и

когда значение дистанции изменилось от заранее заданного числового значения к первому числовому значению и затем изменилось от первого числового значения к заранее заданному числовому значению, определение того, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, и того, что удовлетворено заранее заданное правило изменения.

3. Способ по п. 1, в котором распознавание управляющего жеста пользователя согласно местоположению упомянутых одного или более датчиков близости включает:

получение последовательности, в которой приемники одного или более датчиков близости последовательно принимают отраженный сигнал; и

распознавание местоположений упомянутых одного или более датчиков близости как управляющего жеста согласно упомянутой последовательности.

4. Способ по любому из пп. 1−3, также включающий:

получение, от одного или более датчиков близости, временной длительности изменения значения дистанции в каждом из одного или более датчиков близости;

вычисление среднего значения по всем временным длительностям изменения;

определение скорости выполнения жеста согласно упомянутому среднему значению; и

определение способа отклика на жест согласно скорости его выполнения.

5. Способ по п. 1, также включающий:

получение, от одного или более датчиков близости, значения дистанции, измеренного каждым из одного или более датчиков близости;

обнаружение, равно ли каждое из значений дистанции заранее заданному численному значению в течение одного периода времени или нет, где заранее заданное численное значение - это значение дистанции, когда приемник не принимает отраженных сигналов;

когда все значения дистанции не равны заранее заданному численному значению в течение одного периода времени, определение того, что пользователем выполнен жест блокирования.

6. Способ по п. 1, также включающий:

получение, от одного или более датчиков близости, значения дистанции, измеренного каждым из одного или более датчиков близости, при этом значение дистанции является заранее заданным численным значением, когда приемник не принимает отраженных сигналов;

обнаружение, изменилось ли значение дистанции от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению или нет; и

распознавание того, что пользователем выполнен жест щелчка, когда значение дистанции изменилось от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению.

7. Устройство для распознавания жестов, которое применяют в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом, и при этом устройство включает:

первый модуль обнаружения, сконфигурированный, когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, для обнаружения, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала, и затем переключился от приема отраженного сигнала на неприем отраженного сигнала;

первый модуль определения, сконфигурированный, когда результат обнаружения первым модулем обнаружения указывает на то, что упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения, для определения местоположения упомянутых одного или более датчиков близости; и

первый модуль распознавания, сконфигурированный для распознавания управляющего жеста пользователя согласно местоположению, определенному первым модулем определения для упомянутых одного или более датчиков близости.

8. Устройство по п. 7, отличающееся тем, что первый модуль обнаружения включает:

первый подмодуль получения, сконфигурированный, для каждого из одного или более датчиков близости, для получения значения дистанции, измеренного датчиком близости, при этом значение дистанции сконфигурировано таким образом, что указывает на расстояние между воздействующим объектом и датчиком близости, и при этом значение дистанции представляет собой заранее заданное численное значение, когда приемник не принимает отраженных сигналов;

подмодуль обнаружения, сконфигурированный для обнаружения, изменилось ли значение дистанции, полученное первым подмодулем получения, от заранее заданного числового значения к первому числовому значению и затем от первого числового значения к заранее заданному числовому значению или нет; и

подмодуль определения, сконфигурированный, когда результат обнаружения подмодулем обнаружения указывает на то, что значение дистанции изменилось от заранее заданного числового значения к первому числовому значению и затем изменилось от первого числового значения к заранее заданному числовому значению, для определения того, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала, и того, что удовлетворено заранее заданное правило изменения.

9. Устройство по п. 7, отличающееся тем, что первый модуль распознавания включает:

второй подмодуль получения, сконфигурированный для получения последовательности, в которой приемники одного или более датчиков близости последовательно принимают отраженный сигнал; и

подмодуль распознавания, сконфигурированный для распознавания местоположения упомянутых одного или более датчиков близости как управляющего жеста согласно последовательности, полученной вторым подмодулем получения.

10. Устройство по любому из пп. 7−9, также включающее:

первый модуль получения, сконфигурированный для получения, от одного или более датчиков близости, временной длительности изменения значения дистанции в каждом из одного или более датчиков близости;

вычислительный модуль, сконфигурированный для вычисления среднего значения по всем временным длительностям изменения, полученным первым модулем получения;

второй модуль определения, сконфигурированный для определения скорости выполнения жеста согласно среднему значению, вычисленному вычислительным модулем; и

третий модуль определения, сконфигурированный для определения способа отклика на жест согласно скорости выполнения, определенной вторым модулем определения.

11. Устройство по п. 7, также включающее:

второй модуль получения, сконфигурированный для получения, от одного или более датчиков близости, значения дистанции, измененного каждым из упомянутых одного или более датчиков близости;

второй модуль обнаружения, сконфигурированный для обнаружения, равно ли каждое из значений дистанции, полученных вторым модулем получения, заранее заданному численному значению в течение одного периода времени или нет, где заранее заданное численное значение - это значение дистанции, когда приемник не принимает отраженных сигналов; и

второй модуль распознавания, сконфигурированный, когда результат обнаружения вторым модулем обнаружения указывает на то, что все значения дистанции не равны заранее заданному численному значению в течение одного периода времени, для распознавания того, что пользователем выполнен жест блокирования.

12. Устройство по п. 7, также включающее:

третий модуль получения, сконфигурированный для получения, от одного или более датчиков близости, значения дистанции, измеренного каждым из одного или более датчиков близости, при этом значение дистанции является заранее заданным численным значением, когда приемник не принимает отраженных сигналов;

третий модуль обнаружения, сконфигурированный для обнаружения, изменилось ли значение дистанции, полученное третьим модулем получения, от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению или нет; и

третий модуль распознавания, сконфигурированный для распознавания того, что пользователем выполнен жест щелчка, когда значение дистанции изменилось от заранее заданного числового значения ко второму числовому значению, затем уменьшилось от второго числового значения до третьего числового значения, затем увеличилось от третьего числового значения до второго числового значения и затем изменилось от второго числового значения к заранее заданному числовому значению.

13. Устройство для распознавания жестов, которое применяют в терминале, включающем сенсорный экран и датчики близости, распределенные в сенсорном экране, при этом каждый из датчиков близости включает передатчик и приемник, при этом передатчик сконфигурирован для передачи сигнала, а приемник сконфигурирован для приема отраженного сигнала, который отражается в результате блокирования сигнала воздействующим объектом, и при этом устройство включает:

процессор; и

память для хранения инструкций, исполняемых упомянутым процессором;

при этом процессор сконфигурирован:

когда приемник в одном или более датчиках близости принимает отраженный сигнал, а операция касания воздействующим объектом на сенсорном экране не обнаружена, для обнаружения, удовлетворяют ли упомянутые один или более датчиков близости заранее заданному правилу изменения, при этом заранее заданное правило изменения заключается в том, что приемник в датчике близости переключился от неприема отраженного сигнала на прием отраженного сигнала и затем переключился от приема отраженного сигнала на неприем отраженного сигнала;

когда упомянутые один или более датчиков близости удовлетворяют заранее заданному правилу изменения для определения местоположения упомянутых одного или более датчиков близости; и

для распознавания управляющего жеста пользователя согласно местоположению упомянутых одного или более датчиков близости.