СИСТЕМА И СПОСОБ УПРАВЛЕНИЯ СЕНСОРНЫМ ЭКРАНОМ С ПОМОЩЬЮ ДВУХ КОСТЯШЕК ПАЛЬЦЕВ Российский патент 2019 года по МПК G06F3/488 

Область техники, к которой относится изобретение

Настоящее изобретение касается системы и способа управления сенсорным экраном и, в конкретных вариантах осуществления изобретения, системы и способа управления сенсорным экраном с помощью двух костяшек пальцев.

Уровень техники

Электронное устройство может содержать сенсорный экран, который функционирует как визуальный дисплей и также служит как механизм ввода. Чувствительная к касаниям поверхность сенсорного экрана может использовать емкостные, оптические, резистивные технологии, электрическое поле, акустические или другие технологии для обнаружения контакта с экраном. Любой такой контакт или с частью тела пользователя или с механическим инструментом, удерживаемым пользователем, можно называть касанием, прикосновением или нажатием. Независимо от лежащего в основе принципа работы, касание чувствительной к касанию поверхности генерирует информационные сигналы. То есть, когда объект ударяется о сенсорный экран, вибрационные волны могут распространяться по материалу сенсорного экрана или вдоль поверхности этого материала. Обычно, для чувствительной к касанию поверхности сенсорного экрана используют жесткий материал, такой как пластик или стекло, который быстро распределяет и точно сохраняет такие волны. Таким образом, когда пользователь или механический инструмент касается поверхности сенсорного экрана, в сенсорном экране генерируются вибрационные эффекты. Тем не менее, эти необработанные сигналы невозможно использовать напрямую в цифровой вычислительной среде. Например, сигналы могут быть по природе аналоговыми. Устройство с сенсорным экраном может содержать цепь обнаружения, которая представляет собой промежуточный этап для обработки и/или изменения этих сигналов, чтобы эти сигналы подходили для использования в цифровой вычислительной среде.

Раскрытие сущности изобретения

Один вариант осуществления способа работы устройства включает в себя этапы, на которых: обнаруживают, в течении некоторого заданного периода времени, два множества касаний сенсорного экрана устройства, при этом каждое множество касаний содержит одновременные касания двумя точками контакта, определяют, что виброакустические эффекты по меньшей мере одного из одновременных касаний соответствуют некоторому профилю виброакустических эффектов из множества профилей виброакустических эффектов, которые хранятся в устройстве, и запускают в устройстве заданное действие в ответ на обнаружение двух множеств касаний в рамках заданного периода времени.

В одном варианте осуществления изобретения соответствующий профиль связан с касанием, выполненным костяшкой пальца. В одном варианте осуществления изобретения заданное действие представляет собой по меньшей мере одно действие из следующих: запускают в устройстве заданное приложение, исполняют в приложении в устройстве заданную функцию, выбирают в устройстве некоторый вариант, запускают в устройстве некоторый элемент, отображают меню или другой механизм выбора варианта, или выводят устройство из состояния бездействия или сна. В одном варианте осуществления изобретения этап определения включает в себя: механизм распознавания для пальцев из устройства сопоставляет виброакустические эффекты по меньшей мере одного из одновременных касаний с профилем. В одном варианте осуществления изобретения соответствующий профиль сгенерирован алгоритмом интеллектуального анализа данных на основе классификации касаний, выполненных несколькими частями пальцев, в том числе костяшками пальцев. В одном варианте осуществления изобретения соответствующий профиль сгенерирован с помощью обучающей выборки виброакустических эффектов, ранее порожденных на сенсорном экране. В одном варианте осуществления изобретения касания в каждом множестве касаний определяют как одновременные, когда касания в каждом множестве касаний происходят в рамках заданного временного окна. Любой из указанных выше вариантов осуществления изобретения может быть реализован в любой комбинации с любым другим вариантом осуществления изобретения и любая комбинация вариантов осуществления изобретения может быть реализована в одном устройстве.

Вариант осуществления устройства с сенсорным экраном содержит сенсорный экран, энергонезависимое запоминающее устройство, содержащее команды, и один или более процессоров, взаимодействующих с сенсорным экраном и памятью. Один или более процессоров исполняют команды для: обнаружения, в течении заданного периода времени, двух множеств касаний сенсорного экрана устройства, при этом каждое множество касаний содержит одновременные касания двумя точками контакта, определения того, что виброакустические эффекты по меньшей мере одного из одновременных касаний соответствуют некоторому профилю виброакустических эффектов из множества профилей виброакустических эффектов, которые хранятся в устройстве, и запуска в устройстве заданного действия в ответ на обнаружение двух множеств касаний в рамках заданного периода времени.

Некоторый вариант осуществления способа запуска в устройстве действия включает в себя этапы, на которых: определяют, что виброакустические эффекты первого касания сенсорного экрана устройства соответствуют профилю виброакустических эффектов из множества профилей виброакустических эффектов, хранящихся в устройстве, определяют, что первое касание содержит два первых одновременных прикосновения к сенсорному экрану устройства, определяют, что виброакустические эффекты второго касания сенсорного экрана устройства соответствуют профилю, определяют, что второе касание содержит два вторых одновременных прикосновения к сенсорному экрану устройства, определяют, что второе касание имело место в рамках заданного периода времени после первого касания, и запускают в устройстве заданное действие в ответ на определение того, что второе касание имело место в рамках заданного периода времени после первого касания.

Предоставление пользователю возможности использовать две костяшки пальцев для двукратного нажатия на сенсорный экран устройства пользователя позволяют пользователю запускать любой выбранный или уникальный элемент. Двукратное нажатие двумя костяшками пальцев является кратчайшим путем для запуска такого выбранного или уникального элемента в таком устройстве пользователя с сенсорным экраном, как мобильный телефон, планшет, переносной компьютер или настольный компьютер. Такой вариант осуществления изобретения не влияет на потребление электроэнергии устройством, так как отсутствует сильное изменение драйверов устройства или кода платформы. Такой вариант осуществления изобретения также не обладает каким-либо влиянием на время ожидания.

Краткое описание чертежей

Для более полного понимания настоящего изобретения и его преимуществ, далее приведено подробное описание со ссылками на приложенные чертежи, на которых:

фиг. 1 - вид, показывающий общий вид обработки с помощью механизма распознавания для пальцев;

фиг. 2 - вид, показывающий архитектуру программного обеспечения механизма распознавания для пальцев;

фиг. 3 - вид, показывающий виброакустические спектрограммы, сгенерированные различными частями пальца;

фиг. 4 - вид, показывающий последовательность операций для двукратного нажатия двумя костяшками пальцев;

фиг. 5 - вид, показывающий последовательность операций для нажатия одной костяшкой пальца и нажатия двумя костяшками пальцев по устройству с сенсорным экраном;

фиг. 6 - вид, показывающий блок-схему некоторого варианта осуществления способа работы устройства;

фиг. 7 - вид, показывающий блок-схему некоторого варианта осуществления способа запуска в устройстве некоторого действия;

фиг. 8 - вид, показывающий структурную схему некоторого варианта осуществления системы обработки для выполнения описанных в настоящем документе способов; и

фиг. 9 - вид, показывающий структурную схему устройства приемо-передачи, которое выполнено с возможностью передачи и приема сигнализации по телекоммуникационной сети.

Осуществление изобретения

Далее подробно описана структура, изготовление и использование предпочтительных в настоящее время вариантов осуществления изобретения. Тем не менее, ясно, что в настоящем изобретении предложено много применимых идей изобретения, которые могут быть реализованы в широком наборе конкретных ситуаций. Обсуждаемые конкретные варианты осуществления изобретения приведены просто для иллюстрации конкретных путей осуществления и использования изобретения и не ограничивают объем изобретения.

Касание пальцем или механическим инструментом сенсорного экрана электронного устройства может вызвать в устройстве одно из некоторого количества возможных действий. Например, касание на экране графического представления услуги или приложения может привести к запуску соответствующей услуги или приложения. В качестве другого примера, некоторое определенное перемещение пальца по экрану может привести к запуску определенной услуги или приложения. В качестве еще одного примера, прикосновение к любому месту экрана, в отличие от прикосновения к иконке или другому графическому представлению, может привести к запуску некоторой услуги или приложения. Описанные в настоящем документе варианты осуществления изобретения направлены на последний случай. То есть, варианты осуществления изобретения направлены на запуск некоторой функции путем прикосновения к любому месту экрана, а не путем прикосновения к иконке или определенной области экрана.

Устройство может отреагировать разным образом, что зависит от времени между двумя последовательными касаниями сенсорного экрана устройства. Если два последовательных касания происходят в рамках заранее заданного временного окна, касания можно рассматривать как двукратные касания, двукратные прикосновения или двукратные нажатия. Если второе касание не происходит в рамках заранее заданного временного окна после первого касания, то два касания можно рассматривать как два отдельных однократных касания, однократных прикосновения или однократных нажатия. В зависимости от того, является ли касание однократным касанием или двукратным касанием могут быть запущены разные приложения или услуги.

Дополнительно или в качестве альтернативы, устройство может ответить разным образом в зависимости от типа касания, то есть количества одновременных касаний, выполненных на сенсорном экране устройства. Типы касаний пальцев могут быть классифицированы как одиночное касание и как множественное касание. Одиночное касание представляет собой касание одним пальцем или одним механическим инструментом, или моментальное или продолжающееся с течением времени. Примерами одиночного касания являются однократное прикосновение одним пальцем, операция касание-и-перетаскивание, выполняемая одним пальцем, и двукратное касание, то есть два быстрых последовательных прикосновения одним пальцем. При множественном касании два или более пальца одновременно касаются экрана. Например, пользователь может прикоснуться к сенсорному экрану одновременно двумя пальцами или одновременно перетащить два пальца по экрану. Устройство может содержать компонент определения типа касания, который может различить касание сенсорного экрана устройства одним пальцем и одновременное касание сенсорного экрана устройства несколькими пальцами. В зависимости от того, является ли касание одиночным касанием или множественным касанием, могут быть запущены разные приложения или услуги.

Дополнительно или в качестве альтернативы, приложение или услуга, которая была запущена, когда палец касается сенсорного экрана, может зависеть от части пальца, которая касается сенсорного экрана. Например, первое приложение или услуга могут быть запущены тогда, когда подушечка пальца касается сенсорного экрана, второе приложение или услуга могут быть запущены тогда, когда кончик пальца касается сенсорного экрана, третье приложение или услуга могут быть запущены тогда, когда костяшка пальца касается сенсорного экрана, и четвертое приложение или услуга могут быть запущены тогда, когда ноготь пальца касается сенсорного экрана.

Подушечка пальца может быть определена как ладонная сторона дальней фаланги между дальним межфаланговым суставом и наиболее дальним участком пальца. Кончик пальца может быть определен как наиболее дальний участок пальца, то есть участок пальца между подушечкой и ногтем пальца. Термин «костяшка пальца» может касаться тыльной стороны области, окружающей любой из суставов пальца. В контексте описанных в настоящем документе вариантов осуществления изобретения, когда заявлено, что некоторое действие осуществляется костяшкой пальца, это действие может быть обычно выполнено тыльной стороной области, окружающей один из ближних межфаланговых суставов, обычно называемых средней костяшкой пальца, но следует понимать, что это действие может быть осуществлено любой костяшкой пальца. Термин «палец» также может подразумевать большой палец. Любая часть пальца или другого объекта, который используют для контакта с сенсорным экраном, может называться в настоящем документе точкой контакта.

Разные части пальца, такие как подушечка, кончик, костяшка и ноготь, могут порождать разные вибрационные и/или акустические эффекты при прикосновении к сенсорному экрану. Здесь и далее любой такой эффект будет называться виброакустическим эффектом или виброакустическим сигналом. Как более подробно описано ниже, разные виброакустические эффекты, порождаемые разными частями пальцев, можно отличить друг от друга с помощью датчиков, что позволяет отличить друг от друга прикосновения разными частями пальцев благодаря разным виброакустическим эффектам, которые они порождают на сенсорном экране.

Устройство с сенсорным экраном может анализировать прикосновение с целью определения части пальца, которая выполнила прикосновение, и может осуществить надлежащее действие в соответствии с указанным анализом. Таким образом, прикосновение может приводить к разным действиям, осуществляемым устройством, в зависимости от части пальца, которая выполнила прикосновение. Например, прикосновение, выполненное подушечкой, прикосновение, выполненное ногтем, и прикосновение, выполненное костяшкой пальца, могут запустить три разных действия. Если части пальца не различимы, то однократное прикосновение может быть использовано только для одной цели, так как однократное прикосновение, выполненное подушечкой, однократное прикосновение, выполненное ногтем, и однократное прикосновение, выполненное костяшкой пальца, порождают один и тот же результат.

Этот подход также может уменьшить количество вводов данных пользователем, которые нужны для выработки желаемого результата с помощью устройства. То есть, прикосновение, выполненное конкретной частью пальца, когда устройство исполняет конкретное приложение, может быть определено для того, чтобы это приложение выполнило некоторую функцию, что в другом случае может потребовать выполнения нескольких этапов. Например, однократное прикосновение костяшкой пальца может привести к выбору конкретного элемента из конкретного меню в приложении, которое исполняется в текущий момент. Если части пальца не различаются, то может потребоваться более сложные действия или более глубокое дерево решений для интерфейса. Например, когда части пальца не различаются, пользователю может понадобиться сначала выполнить однократное прикосновение для вызова меню с несколькими вариантами выбора и далее выполнить второе прикосновение для осуществления выбора в меню.

В качестве дополнительных примеров, пользователь может дважды прикоснуться к экрану с помощью одной костяшки пальца для получения моментального снимка полного экрана в любое время, когда устройство включено, или пользователь может нарисовать закрытую область на экране с помощью костяшки пальца, чтобы получить снимок части экрана.

Устройство обнаружения касания в устройстве может обнаружить виброакустический сигнал, порожденный некоторым прикосновением. Устройство обнаружения касания может быть расположено, например, на задней стороне сенсорного экрана, так что виброакустический сигнал, порожденный событием касания, может быть получен удобным образом. В качестве альтернативы, устройство обнаружения может быть установлено в любом из нескольких других мест внутри устройства, в том числе, помимо прочего, на раме, основной плате, печатной плате, панели отображения и корпусе. Для определения прикосновения и соответствующего виброакустического сигнала, устройство обнаружения касания может содержать один или несколько датчиков соударений, датчиков вибраций, акселерометров, датчиков деформаций, акустических датчиков, датчиков перемещений, датчиков скорости, датчиков приближения, гироскопов, микрофонов и подобного. Многие вычислительные устройства с сенсорным экраном содержат встроенные микрофоны и акселерометры (например, для распознавания голоса и ввода). Эти компоненты могут быть использованы без необходимости в дополнительных датчиках или могут работать во взаимодействии с специализированными датчиками.

Когда устройство обнаружения касания определило виброакустический сигнал, устройство классификации виброакустического сигнала может обработать виброакустический сигнал с целью определения, какая часть пальца была использована для выполнения прикосновения. То есть, так как подушечка, кончик, костяшка пальца и ноготь порождают разные виброакустические спектрограммы на сенсорном экране при прикосновении к сенсорному экрану, то блок классификации может быть способен определить часть пальца, которая выполнила прикосновение, путем сопоставления принятого виброакустического сигнала с уникальной спектрограммой, которую порождает прикосновение конкретной частью пальца и которая известна. Далее блок классификации может использовать связь принятого виброакустического сигнала и спектрограммы, для которой известно, что она порождается подушечкой, кончиком, костяшкой пальца или ногтем, для определения, было ли прикосновение выполнено подушечкой, кончиком, костяшкой пальца или ногтем. Далее устройство может по выбору запустить заранее заданную первичную или дополнительную функцию, в зависимости от классификации виброакустического сигнала. Чтобы помочь классификации, пользователь может предоставить на устройство классификации виброакустического сигнала дополнительную обучающую выборку виброакустических эффектов.

В одном варианте осуществления изобретения устройство с сенсорным экраном, которое реагирует на обнаружение двукратного нажатия двумя костяшками пальцев на сенсорный экран, запускает в устройстве заранее заданное действие. То есть, запускают заранее заданное действие тогда, когда устройство обнаруживает два нажатия с помощью двух костяшек пальцев на сенсорный экран в рамках заданного периода времени. Заранее заданное действие, запускаемое в ответ на двукратное нажатие двумя костяшками пальцев, может представлять собой, например, запуск в устройстве заранее заданного приложения, такого как календарь, калькулятор, будильник, приложение обмена сообщениями, или диктофон; выполнение в устройстве заранее заданной функции в рамках приложения, такой как выбор копирования, вырезания или вставки текста; выбор в устройстве некоторого варианта; запуск в устройстве некоторого элемента; показ меню или другого механизма выбора вариантов; или выход устройства из состояния бездействия или сна.

В некоторых случаях двукратное нажатие двумя костяшками пальцев может запустить разные функции в разных приложениях. То есть, первая функция или услуга может быть определена для запуска, когда исполняется первое приложение, а вторая функция или услуга может быть определена для запуска, когда исполняется второе приложение. В других случаях двукратное нажатие двумя костяшками пальцев может запустить одну и ту же функцию или услугу, независимо от исполняемых в текущее время приложений. Например, двукратное нажатие двумя костяшками пальцев может быть определено для запуска элемента записи экрана в любом приложении, которое в текущее время отображает информации на сенсорном экране устройства.

Некоторый компонент, такой как описан выше, и который способен определить часть пальца, которая коснулась сенсорного экрана, может называться механизмом распознавания для пальцев. На фиг. 1 показан общий вид 100 обработки для варианта осуществления механизма 110 распознавания для пальцев, реализованного в мобильном устройстве 120. Когда в мобильном устройстве 120 происходит событие 130 касания, виброакустические данные 140 направляют на механизм 110 распознавания для пальцев. Механизм 110 распознавания для пальцев может содержать механизм 150 классификации распознавания для пальцев, который способен классифицировать виброакустические данные 140 в соответствии с частью пальца, которая коснулась сенсорного экрана мобильного устройства 120. Таким образом, мобильное устройство 120 может понять, какая часть пальца коснулась сенсорного экрана. Мобильное устройство 120 также может содержать компонент, который способен определить тип касания, то есть было ли касание одиночным или множественным. Мобильное устройство 120 может дополнительно содержать компонент, который способен определить, являлось ли событие касания однократным прикосновением или двукратным прикосновением. Такие компоненты могут являться модулями в механизме 110 распознавания для пальцев или могут быть отделены от механизма 110 распознавания для пальцев. Мобильное устройство 120 может дополнительно содержать компонент обработки, который способен определить действие, которое нужно предпринять в ответ на определение части пальца, которая выполнила касание, тип касания и является ли событие касания однократным прикосновением или двукратным прикосновением. После определения действия, которое нужно предпринять, мобильное устройство 120 направляет информацию 160, что приводит к тому, что определенное действие осуществляют в одном или нескольких приложениях 170. В одном варианте осуществления изобретения, в ответ на определение того, что событие 130 касания было двукратным прикосновением двумя костяшками пальцев, мобильное устройство побуждает запустить заранее заданное одно из приложений 170, побуждает выполнить заранее заданную функцию в одном из приложений 170 или побуждает отобразить или выбрать заранее заданный вариант в одном из приложений 170.

На фиг. 2 показана архитектура 200 программного обеспечения для варианта осуществления механизма распознавания для пальцев, реализованного в мобильном устройстве. Механизм распознавания для пальцев, по существу, может быть аналогичен механизму 110 распознавания для пальцев с фиг. 1, и мобильное устройство, по существу, может быть аналогично мобильному устройству 120 с фиг. 1. Уровень 210 приложений архитектуры 200 программного обеспечения может содержать одно или несколько приложений 220, которые, по существу, аналогичны приложениям 170 с фиг. 1. Уровень 210 приложений также может содержать программный интерфейс 230 (API) приложения распознавания для пальцев, который может обладать доступом к библиотеке Java или аналогичной библиотеке. Уровень 240 системы архитектуры 200 программного обеспечения может содержать услугу 250 механизма распознавания для пальцев и операционную систему 260, такую как операционная система Android.

Механизм распознавания для пальцев может использовать виброакустический датчик в качестве входа для механизма. Для измерения виброакустических сигналов могут быть использованы акселерометр, контактный микрофон, пьезоэлектрический датчик или датчик некоторого другого типа. Механизм распознавания для пальцев может быть совместим как с аналоговыми, так и с цифровыми датчиками. Механизм распознавания для пальцев может быть способен различать касания, выполненные разными механизмами ввода, такими как подушечка пальца (обычный ввод), ноготь пальца, костяшка пальца, пассивный кончик стилуса и пассивный ластик стилуса и может, соответственно, приписывать действия.

Некоторый вариант осуществления изобретения позволяет для улучшения опыта пользователя осуществлять двукратное нажатие двумя костяшками пальцев на сенсорный экран устройства пользователя. Некоторый вариант осуществления обработки двукратного нажатия двумя костяшками пальцев использует механизм распознавания для пальцев, встроенный в устройство пользователя, для запуска уникального элемента, такого как приложение записи экрана, которое заранее определено выстроенным или установленным программным обеспечением устройства или заранее выбрано пользователем, например, в ходе установки.

Предоставление пользователю возможности использовать две костяшки пальцев для двукратного нажатия на сенсорный экран устройства пользователя позволяют пользователю запускать любой выбранный или уникальный элемент. Двукратное нажатие двумя костяшками пальцев является кратчайшим путем для запуска такого выбранного или уникального элемента в таком устройстве пользователя с сенсорным экраном, как мобильный телефон, планшет, переносной компьютер или настольный компьютер. Такой вариант осуществления изобретения не влияет на потребление электроэнергии устройством, так как отсутствует сильное изменение драйверов устройства или кода платформы. Такой вариант осуществления изобретения также не обладает каким-либо влиянием на время ожидания.

Механизм распознавания для пальцев может использовать функцию счетчика указателей, такую как функция из стандартного API Android, для обработки количества контактов пользователя, которые контактируют с экраном одновременно или в рамках порогового окна. Объединение функции счетчика указателей с классификацией части пальца с помощью механизма распознавания для пальцев, две костяшки пальца можно рассматривать как одновременно касающиеся экрана, когда они обе контактируют с экраном, например, в рамках окна длительностью 50 миллисекунд (мс), длительностью 75 мс, длительностью 100 мс или подобной.

Приложение, такое как приложение записи экрана, может быть запущено, когда две костяшки пальцев вместе дважды нажимают на экран, например, в рамках окна длительностью 250 мс, длительностью 300 мс, длительностью 350 мс или подобной, образуя двукратное нажатие двумя костяшками пальцев. Любое заранее загруженное на мобильный телефон приложение, такое как календарь, калькулятор, телефонная книга и так далее, может быть заранее определено для запуска в ответ на то, что две костяшки пальцев вместе дважды нажимают на экран в рамках временного окна двукратного нажатия.

Как упомянуто выше, контакт разных частей пальцев с сенсорным экраном порождает разные виброакустические эффекты на сенсорном экране. На фиг. 3 показаны схематичные изображения виброакустических спектрограмм, порожденных различными частями пальца. Разные плотности затемнения на фиг. предназначены для изображения разных амплитуд вибрационной и/или акустической энергии. Первая виброакустическая спектрограмма 310 порождена на сенсорном экране подушечкой пальца, вторая виброакустическая спектрограмма 320 порождена на сенсорном экране кончиком пальца, третья виброакустическая спектрограмма 330 порождена на сенсорном экране костяшкой пальца и четвертая виброакустическая спектрограмма 340 порождена на сенсорном экране ногтем пальца. Ясно, что каждый тип касания порождает виброакустические эффекты с разной амплитудой на разных частотах. Одна или несколько таких спектрограмм могут быть использованы для генерирования профиля, однозначно определяющего виброакустические эффекты, порожденные конкретной частью пальца. То есть, профиль содержит характеристики, которые позволяют отличать друг от друга виброакустические эффекты, порожденные разными частями пальца.

В одном варианте осуществления изобретения несколько таких профилей может быть сохранено в электронном устройстве. Когда устройство обнаруживает прикосновение к сенсорному экрану, это устройство сравнивает виброакустические эффекты, созданные этим прикосновением, с сохраненными профилями. Когда устройство определяет, что виброакустические эффекты прикосновения соответствуют одному из профилей виброакустических эффектов, которые хранятся в устройстве, это устройство определяет, что прикосновение было порождено частью пальца, которая связана с указанным профилем. Далее устройство выполняет заранее заданное действие, как описано в настоящем документе. В частности, когда устройство обнаруживает, что событие касания было порождено костяшками пальцев и дополнительно определяет, что событие касания представляло собой двукратное прикосновение двумя костяшками пальцев, устройство выполняет заранее заданное действие.

В некоторых случаях профили могут быть выработаны автоматически с помощью алгоритма интеллектуального анализа данных или аналогичного компонента. То есть, может быть сгенерировано большое множество данных, которое содержит частоты, амплитуды и другие данные, связанные с виброакустическими эффектами, порожденными на разных сенсорных экранах большим количеством людей с использованием разных частей пальцев. Далее указанное множество данных может быть загружено в алгоритм интеллектуального анализа данных с целью анализа. Алгоритм интеллектуального анализа данных может определить характеристики, которые однозначно определяют виброакустические эффекты, порожденные каждой из разных частей пальцев, и далее классифицируют виброакустические эффекты в соответствии с частями пальца, порождающими эти эффекты. Таким образом, может быть сгенерирован профиль, однозначно определяющий каждую часть пальца. Несколько таких профилей может хранится в электронном устройстве для сравнения с прикосновениями, выполненными на сенсорном экране устройства.

В других случаях профили могут быть выработаны с помощью обучающих выборок, введенных в электронное устройство. То есть, пользователь устройства может прикасаться к сенсорному экрану устройства разными частями пальцев и информировать устройство, какие части пальцев порождают какие прикосновения. Устройство может получать данные, связанные с виброакустическими эффектами, порожденными разными частями пальцев, и связывать данные с введенной пользователем информацией о части пальца. Таким образом, устройство может понять однозначно определяемые виброакустические эффекты, порожденные разными частями пальцев этого конкретного пользователя. Далее данные, связанные с этими однозначно определяемыми эффектами, могут быть сохранены в устройстве в виде профилей для разных частей пальцев.

В дополнительных случаях может быть использована комбинация упомянутых выше технологий. То есть, множество профилей, сгенерированных алгоритмом интеллектуального анализа данных, может быть сохранено в устройстве и профили могут быть доработаны с помощью обучающих выборок, введенных в устройство пользователем этого устройства.

На фиг. 4 показан вариант осуществления последовательности 400 операций для ввода с помощью двукратного нажатия двумя костяшками пальцев на сенсорный экран электронного устройства. В блоке 410 сенсорный экран мобильного телефона или аналогичного устройства включен и находится в любом состоянии. В блоке 420 любые две костяшки пальцев дважды нажимают на экран. Механизм распознавания для пальцев устройства может определить, что нажатия были выполнены костяшками пальцев, а не некоторой другой частью пальца или механическим инструментом. Можно считать, что, в этой точке, устройство еще не определило, являются ли нажатия двумя однократными нажатиями или одним двукратным нажатием или нажатия были одиночным касанием или множественным касанием. Как упомянуто выше, нажатия могут быть выполнены в любом месте сенсорного экрана и не ограничиваются только нажатиями по иконке или определенной области сенсорного экрана. То есть, этапы принятия решения в последовательности 400 операций обработки игнорируют положения нажатий на сенсорный экран и зависят только от обнаружения нажатий на сенсорный экран.

В блоке 430 выполняют определение, являются ли нажатия одиночными касаниями или множественными касаниями. Это определение может быть выполнено путем определения, меньше ли время между нажатиями первого порогового значения, которое обозначается в блоке 430 как DT или время дельта. В этом варианте осуществления изобретения первое пороговое значение равно 50 - 100 мс, но в других вариантах осуществления изобретения могут быть использованы другие пороговые значения. То есть, одиночное касание и множественное касание различают с помощью измерения времени между двумя касаниями сенсорного экрана. Если время меньше первого порогового значения, то есть если время находится в рамках заранее заданного временного окна, такого как 50 мс, 75 мс или 100 мс, то два касания могут считаться произошедшими, по существу, одновременно и, следовательно, касания считаются множественным касанием. Если время больше или равно первому пороговому значению, то два касания считаются двумя одиночными касаниями. Такое различие может быть выполнено, так как для всех практических ситуаций можно считать, что невозможно, чтобы два нажатия точно в один момент коснулись сенсорного экрана. То есть, можно считать, что, когда пользователь осуществляет нажатие двумя костяшками пальцев, всегда будет некоторая задержка любой произвольно малой длительности между времени, когда первая костяшка пальца касается экрана, и временем, когда вторая костяшка пальца касается экрана. Некоторый компонент в электронном устройстве может быть способен измерять время между касаниями с точностью, которая необходима для обнаружения любой задержки между двумя касаниями, независимо от того, насколько мала задержка. Таким образом, в одном варианте осуществления изобретения одиночное касание и множественное касание различают в соответствии с пороговым значением для времени между касаниями сенсорного экрана, а не с помощью определения того, что расстояние между касаниями сенсорного экрана больше некоторого порогового значения для расстояния. Любые два или большее количество касаний, которые происходят в рамках такого порогового значения для времени, могут рассматривать как совместные или одновременные.

В блоке 440 определено, что время между нажатиями костяшками пальцев больше или равно первого порогового значения, и, следовательно, нажатия костяшками пальца считаются несколькими одиночными нажатиями. Следовательно, в блоке 440 не предпринимается никаких действий. Если в блоке 430 определяют, что время между нажатиями меньше первого порогового значения, эти нажатия считаются множественным касанием и последовательность 400 операций обработки переходит к блоку 450.

В блоке 450 осуществляют определение того, меньше ли время между первым множественным нажатием и вторым множественным нажатием второго порогового значения. Это второе пороговое значение в блоке 450 обозначается как DT, но следует понимать, что DT в блоке 450 отличается от DT в блоке 430. В этом варианте осуществления изобретения второе пороговое значение равно 250 - 350 мс, но в других вариантах осуществления изобретения могут быть использованы другие пороговые значения. Если время между двумя последовательными множественными нажатиями меньше второго порогового значения, то множественные нажатия можно рассматривать как двукратное множественное нажатие. Если время между двумя последовательными множественными нажатиями больше или равно второму пороговому значению, то множественные нажатия можно рассматривать как два отдельных однократных множественных нажатия. То есть, если между нажатиями прошло слишком много времени, то нажатия считаются отдельными однократными нажатиями, а не двукратным нажатием. В блоке 460 определено, что время между двумя множественными нажатиями больше или равно второму пороговому значению, и, следовательно, нажатия считаются двумя отдельными однократными множественными нажатиями. Следовательно, в блоке 460 не предпринимается никаких действий. Если в блоке 450 определяют, что время между двумя множественными нажатиями меньше второго порогового значения, эти нажатия считаются двукратным множественным нажатием и последовательность 400 операций обработки переходит к блоку 470. В блоке 470 запускают любой однозначно определяемый элемент, такой как запись экрана. То есть, так как в ходе предыдущих этапов было установлено, что имеет место ввод с помощью двукратного множественного нажатия костяшками пальцев, то выполняют заранее заданное действие, связанное с двукратным множественным нажатием костяшками пальцев костяшками пальцев.

На фиг. 5 показана альтернативная последовательность 500 операций для нажатия одной костяшкой пальца и нажатия двумя костяшками пальцев на устройство с сенсорным экраном. В блоке 510 сенсорный экран мобильного телефона или аналогичного устройства включен и находится в любом состоянии. В блоке 520 определяют, что для нажатия на сенсорный экран устройства была использована одна костяшка пальца или две костяшки пальцев. Если для нажатия на сенсорный экран была использована одна костяшка пальца, то последовательность 500 операций обработки переходит к блоку 530. В блоке 530 выполняют определение, на экран нажали один раз или два раза. Если на экран нажали один раз, то последовательность 500 операций обработки переходит к блоку 540 и не предпринимают никаких действий. Если в блоке 530 на экран нажали дважды, то последовательность 500 операций обработки переходит к блоку 550. В блоке 550 получают моментальный снимок полного экрана. В других вариантах осуществления изобретения в блоке 550 могут быть предприняты другие действия, когда определили, что дважды имело место нажатие одной костяшкой пальца. Если в блоке 520 определили, что для нажатия на сенсорный экран были использованы две костяшки пальцев, то последовательность 500 операций обработки переходит к блоку 560. В блоке 560 выполняют определение, на экран нажали один раз или два раза. Если на экран нажали один раз, то последовательность 500 операций обработки переходит к блоку 540 и не предпринимают никаких действий. Если в блоке 560 на экран нажали дважды, то последовательность 500 операций обработки переходит к блоку 570. То есть, последовательность 500 операций обработки переходит к блоку 570, когда определяют, что имело место двукратное нажатие двумя костяшками пальцев. Как описано выше, далее любой элемент в устройстве может быть запущен в ответ на определение двукратного нажатия двумя костяшками пальцев. Снова, нажатия могут быть выполнены в любом месте сенсорного экрана и этапы принятия решения в последовательности 500 операций обработки игнорируют положения нажатий на сенсорном экране.

На фиг. 6 показана блок-схема некоторого варианта осуществления способа 600 работы устройства. В блоке 610 устройство обнаруживает, в течение некоторого заданного периода времени, два множества касаний сенсорного экрана устройства, при этом каждое множество касаний содержит одновременные касания двумя точками контакта. Заданный период времени может составлять 250 мс, 300 мс, 350 мс или некоторый другой надлежащий период времени. В блоке 620 устройство определяет, что виброакустические эффекты по меньшей мере одного из одновременных касаний соответствуют некоторому профилю виброакустических эффектов из нескольких профилей виброакустических эффектов, которые хранятся в устройстве. В блоке 630 устройство запускает в устройстве заранее заданное действие в ответ на обнаружение двух множества касаний в рамках заданного периода времени.

Этап обнаружения из способа 600 может быть выполнен блоком или модулем обнаружения, этап определения может быть выполнен блоком или модулем определения и этап запуска может быть выполнен блоком или модулем запуска. Эти блоки или модули могут быть отдельными блоками или модулями в устройстве, или функции двух или более таких блоков или модулей могут быть объединены в один блок или модуль в устройстве. Например, один или несколько блоков или модулей могут представлять собой интегральную схему, такую как вентильная матрица (FPGA), программируемая пользователем, или специализированная интегральная схема (ASIC).

На фиг. 7 показана блок-схема некоторого варианта осуществления способа 700 запуска некоторого действия на устройстве. В блоке 710 устройство определяет, что виброакустические эффекты первого касания сенсорного экрана устройства соответствуют некоторому профилю виброакустических эффектов из нескольких профилей виброакустических эффектов, которые хранятся в устройстве. В блоке 720 устройство определяет, что первое касание содержит два первых одновременных прикосновения к сенсорному экрану устройства. В блоке 730 устройство определяет, что виброакустические эффекты второго касания сенсорного экрана устройства соответствуют профилю. В блоке 740 устройство определяет, что второе касание содержит два вторых одновременных прикосновения к сенсорному экрану устройства. В блоке 750 устройство определяет, что второе касание имело место в рамках заданного периода времени после первого касания. В блоке 760 устройство запускает заранее заданное действие в устройстве в ответ на определение того, что второе касание имело место в рамках заданного периода времени после первого касания.

Этапы определения из способа 700 могут быть выполнены одним или несколькими блоками или модулями определения, а этап запуска может быть выполнен блоком или модулем запуска. Эти блоки или модули могут быть отдельными блоками или модулями в устройстве, или функции двух или более таких блоков или модулей могут быть объединены в один блок или модуль в устройстве. Например, один или несколько блоков или модулей могут представлять собой интегральную схему, такую как FPGA или ASIC.

На фиг. 8 показана структурная схема некоторого варианта осуществления системы 800 обработки для выполнения описанных в настоящем документе способов, при этом указанная система 800 может быть установлена в ведущем устройстве. Как показано, система 800 обработки содержит процессор 804, память 806 и интерфейсы 810 - 814, которые могут быть расположены (или могут не быть расположены) так, как показано на фиг. Процессор 804 может быть любым компонентом или набором компонентов, выполненных с возможностью вычислений и/или других задач, связанных с обработкой, а память 806 может быть любым компонентом или набором компонентов, приспособленных для хранения программ и/или команд для исполнения процессором 804. В одном варианте осуществления изобретения память 806 содержит долговременный считываемый компьютером носитель. Интерфейсы 810, 812, 814 могут быть любым компонентом или набором компонентов, которые позволяют системе 800 обработки взаимодействовать с другими устройствами/компонентами и/или пользователем. Например, один или несколько интерфейсов 810, 812, 814 могут быть выполнены с возможностью передачи данных, управляющих сообщений или сообщений контроля из процессора 804 в приложения, которые установлены на ведущем устройстве и/или на удаленном устройстве. В качестве другого примера один или несколько интерфейсов 810, 812, 814 могут быть выполнены с возможностью предоставления пользователю или пользовательскому устройству (например, персональному компьютеру (PC) и так далее) возможность взаимодействовать/связываться с системой 800 обработки. Система 800 обработки может содержать дополнительные компоненты, не показанные на фиг., такие как долговременный носитель (например, энергонезависимая память и так далее).

В некоторых вариантах осуществления изобретения система 800 обработки содержится в сетевом устройстве, которое получает доступ к телекоммуникационной сети или которое иначе является частью телекоммуникационной сети. В одном примере система 800 обработки является устройством стороны сети в беспроводной или проводной телекоммуникационной сети, таким как базовая станция, ретрансляционная станция, устройство планирования, контроллер, шлюз, маршрутизатор, сервер приложений или любое другое устройство в телекоммуникационной сети. В других вариантах осуществления изобретения система 800 обработки является устройством стороны пользователя, которое получает доступ к беспроводной или проводной телекоммуникационной сети и которое является, например, мобильной станцией, пользовательским устройством (UE), персональным компьютером (РС), планшетом, носимым устройством связи (например, умными часами и так далее) или любым другим устройством, выполненным с возможностью получения доступа к телекоммуникационной сети.

В некоторых вариантах осуществления изобретения один или несколько интерфейсов 810, 812, 814 соединяет систему 800 обработки с устройством приемо-передачи с целью передачи и приема сигнализации по телекоммуникационной сети. На фиг. 9 показана структурная схема устройства 900 приемо-передачи, которое выполнено с возможностью передачи и приема сигнализации по телекоммуникационной сети. Устройство 900 приемо-передачи может быть установлено в ведущем устройстве. Как показано, устройство 900 приемо-передачи содержит интерфейс 902 стороны сети, устройство 904 сопряжения, устройство 906 передачи, устройство 908 приема, сигнальный процессор 910 и интерфейс 912 стороны устройства. Интерфейс 902 стороны сети может содержать любой компонент или набор компонентов, которые выполнены с возможностью передачи или приема сигнализации по беспроводной или проводной телекоммуникационной сети. Устройство 904 сопряжения может содержать любой компонент или набор компонентов, которые выполнены с возможностью облегчения двусторонней связи с помощью интерфейса 902 стороны сети. Устройство 906 передачи может содержать любой компонент или набор компонентов (например, преобразователь частоты с повышением, усилитель мощности и так далее), которые выполнены с возможностью преобразования сигнала основной полосы частот в модулированный несущий сигнал, подходящий для передачи с помощью интерфейса 902 стороны сети. Устройство 908 приема может содержать любой компонент или набор компонентов (например, преобразователь частоты с понижением, усилитель с низким уровнем шума и так далее), которые выполнены с возможностью преобразования несущего сигнала, принятого с помощью интерфейса 902 стороны сети, в сигнал основной полосы частот. Сигнальный процессор 910 может содержать любой компонент или набор компонентов, которые выполнены с возможностью преобразования сигнала основной полосы частот в сигнал данных, подходящий для передачи с помощью интерфейса (интерфейсов) 912 стороны сети или наоборот. Интерфейс (интерфейсы) 912 стороны сети могут содержать любой компонент или набор компонентов, которые выполнены с возможностью передачи сигналов данных между сигнальным процессором 910 и компонентами в рамках ведущего устройства (например, системы 800 обработки, портов локальной вычислительной сети (LAN) и так далее).

Устройство 900 приемо-передачи может передать и принять сигнализацию с помощью среды связи любого типа. В некоторых вариантах осуществления изобретения устройство 900 приемо-передачи передает и принимает сигнализацию с помощью беспроводной среды. Например, устройство 900 приемо-передачи может быть беспроводным устройством приемо-передачи, которое выполнено с возможностью связи в соответствии с некоторым протоколом беспроводной связи, таким как протокол сотовой связи (например, технология «Долгосрочное развитие» (LTE) и так далее), протокол беспроводной локальной вычислительной сети (WLAN) (например, Wi-Fi и так далее) или протокол беспроводной связи любого другого типа (например, Bluetooth, беспроводная связь (NFC) ближнего радиуса действия и так далее). В таких вариантах осуществления изобретения интерфейс 902 стороны сети содержит один или несколько антенных/излучающих элементов. Например, интерфейс 902 стороны сети может содержать одну антенну, несколько отдельных антенн или массив из нескольких антенны, выполненный с возможностью многоуровневой связи, например, одноканальный вход - многоканальный выход (SIMO), многоканальный вход - одноканальный выход (MISO), многоканальный вход - многоканальный выход (МIMO) и так далее. В других вариантах осуществления изобретения устройство 900 приемо-передачи передает и принимает сигнализацию с помощью проводной среды, например, кабеля «витая пара», коаксиального кабеля, волоконно-оптического кабеля и так далее. Конкретные системы обработки и/или устройства приемо-передачи могут использовать все показанные компоненты или только подмножество компонентов и уровни интеграции могут отличаться от устройства к устройству.

Следует понимать, что один или несколько этапов вариантов осуществления способов, которые описаны в настоящем документе, могут быть выполнены с помощью соответствующих блоков или модулей. Например, сигнал может быть передан с помощью блока передачи или модуля передачи. Сигнал может быть принят с помощью блока приема или модуля приема. Сигнал может быть обработан с помощью блока обработки или модуля обработки. Другие этапы могут быть выполнены с помощью блока/модуля обнаружения, блока/модуля запуска и/или блока/модуля определения. Соответствующие блоки/модули могут быть реализованы с помощью аппаратного обеспечения, программного обеспечения или с помощью любой их комбинации. Например, один или несколько блоков/модулей могут представлять собой интегральную схему, такую как FPGA или ASIC.

Хотя изобретение описано со ссылками на примеры вариантов осуществления изобретения, это описание не предназначено для ограничения изобретения. Различные модификации и объединения примеров вариантов осуществления изобретения, а также другие варианты осуществления изобретения, ясны специалистам в рассматриваемой области после ознакомления с настоящим описанием. Следовательно, считается, что приложенная формула изобретения охватывает любую такую модификацию или вариант осуществления изобретения.

Изобретение относится к управлению сенсорным экраном. Технический результат заключается в сокращении количества вводов для выборки желаемого результата. Такой результат достигается за счет того, что обнаруживают (610), в течение некоторого заданного периода времени, два множеств касаний сенсорного экрана устройства, при этом каждое множества касаний содержит одновременные касания двумя точками контакта, определяют (620), что виброакустические эффекты по меньшей мере одного из одновременных касаний соответствуют некоторому профилю виброакустических эффектов из нескольких профилей виброакустических эффектов, которые хранятся в устройстве, и запускают (630) в устройстве заранее заданное действие в ответ на обнаружение двух множеств касаний в рамках заданного периода времени. 7 н. и 17 з.п. ф-лы, 9 ил.

1. Способ функционирования устройства, включающий в себя этапы, на которых:

обнаруживают, в течение заданного периода времени, два множества касаний сенсорного экрана устройства, при этом каждое множество касаний содержит одновременные касания двумя точками контакта двух пальцев;

определяют, что виброакустические эффекты по меньшей мере одного из одновременных касаний соответствуют профилю виброакустических эффектов из множества профилей виброакустических эффектов, хранящихся в устройстве; и

запускают в устройстве заданное действие в ответ на обнаружение двух множеств касаний в заданный период времени.

2. Способ по п. 1, в котором соответствующий профиль ассоциирован с касанием, выполненным костяшкой пальца.

3. Способ по п. 1 или 2, в котором заданное действие представляет собой по меньшей мере одно действие из:

запуска в устройстве заданного приложения;

исполнения в приложении в устройстве заданной функции;

выбора в устройстве опции;

запуска в устройстве элемента;

отображения меню или другого механизма выбора опции; или

вывода устройства из состояния бездействия или сна.

4. Способ по п. 1 или 2, в котором этап определения включает в себя подэтап, на котором сопоставляют с помощью механизма распознавания пальцев, устройства, виброакустические эффекты по меньшей мере одного из одновременных касаний с профилем.

5. Способ по п. 1 или 2, в котором соответствующий профиль сгенерирован алгоритмом интеллектуального анализа данных на основе классификации касаний, выполненных несколькими частями пальцев, в том числе костяшками пальцев.

6. Способ по п. 1 или 2, в котором соответствующий профиль сгенерирован с помощью обучающей выборки виброакустических эффектов, ранее осуществленных на сенсорном экране.

7. Способ по п. 1 или 2, в котором касания в каждом множестве касаний определяют в качестве одновременных, когда касания в каждом множестве касаний происходят в заданное временное окно.

8. Устройство с сенсорным экраном, содержащее:

сенсорный экран;

постоянное запоминающее устройство, содержащее команды; и

один или более процессоров, взаимодействующих с сенсорным экраном и памятью, при этом один или более процессоров выполнены с возможностью исполнения указанных команд для:

обнаружения, в течение заданного периода времени, двух множеств касаний сенсорного экрана устройства, при этом каждое множество касаний содержит одновременные касания двумя точками контакта от двух пальцев;

определения того, что виброакустические эффекты по меньшей мере одного из одновременных касаний соответствуют профилю виброакустических эффектов из множества профилей виброакустических эффектов, хранящихся в устройстве; и

запуска в устройстве заданного действия в ответ на обнаружение двух множеств касаний в заданный период времени.

9. Устройство с сенсорным экраном по п. 8, в котором соответствующий профиль ассоциирован с касанием, выполненным костяшкой пальца.

10. Устройство с сенсорным экраном по п. 8 или 9, в котором заданное действие представляет собой по меньшей мере одно действие из:

запуска в устройстве заданного приложения;

исполнения в приложении в устройстве заданной функции;

выбора в устройстве опции;

запуска в устройстве элемента;

отображения меню или другого механизма выбора опции; или

вывода устройства из состояния бездействия или сна.

11. Устройство с сенсорным экраном по п. 8 или 9, дополнительно содержащее один или более процессоров, выполненных с возможностью исполнения команд для исполнения механизма распознавания пальцев, выполненного с возможностью сопоставления виброакустических эффектов по меньшей мере одного из одновременных касаний с профилем.

12. Устройство с сенсорным экраном по п. 8 или 9, в котором соответствующий профиль сгенерирован алгоритмом интеллектуального анализа данных на основе классификации касаний, выполненных множеством частей пальцев, в том числе костяшками пальцев.

13. Устройство с сенсорным экраном по п. 8 или 9, в котором соответствующий профиль сгенерирован с помощью обучающей выборки виброакустических эффектов, ранее осуществленных на сенсорном экране.

14. Устройство с сенсорным экраном по п. 8 или 9, дополнительно содержащее один или более процессоров, выполненных с возможностью исполнения команд для определения того, что касания в каждом множестве касаний являются одновременными, когда касания в каждом множестве касаний происходят в заданном временном окне.

15. Способ запуска, в устройстве, действия, включающий в себя этапы, на которых:

определяют, что виброакустические эффекты первого касания сенсорного экрана устройства соответствуют профилю виброакустических эффектов из множества профилей виброакустических эффектов, хранящихся в устройстве;

определяют, что первое касание содержит два первых одновременных прикосновения к сенсорному экрану устройства;

определяют, что виброакустические эффекты второго касания сенсорного экрана устройства соответствуют профилю;

определяют, что второе касание содержит два вторых одновременных прикосновения, двумя пальцами, к сенсорному экрану устройства;

определяют, что второе касание произошло в заданный период времени после первого касания; и

запускают устройством заданного действия в ответ на определение того, что второе касание имело место в рамках заданного периода времени после первого касания.

16. Способ по п. 15, в котором соответствующий профиль ассоциирован с касанием, выполненным костяшкой пальца.

17. Способ по п. 15 или 16, в котором заданное действие представляет собой по меньшей мере одно действие из:

запуска, в устройстве, заранее заданного приложения;

исполнения в приложении, в устройстве, заданной функции;

выбора, в устройстве, опции;

запуска, в устройстве, элемента;

отображения меню или другого механизма выбора опции; или

вывода устройства из состояния бездействия или сна.

18. Способ по п. 15 или 16, в котором соответствующий профиль сгенерирован алгоритмом интеллектуального анализа данных на основе классификации касаний, выполненных множеством частей пальцев, в том числе костяшками пальцев.

19. Способ по п. 15 или 16, в котором соответствующий профиль сгенерирован с помощью обучающей выборки виброакустических эффектов, ранее осуществленных на сенсорном экране.

20. Способ по п. 15 или 16, дополнительно включающий в себя этапы, на которых:

определяют первые одновременные прикосновения к сенсорному экрану в качестве одновременных посредством определения того, что первые одновременные прикосновения происходят в заданное временное окно; и

определяют вторые одновременные прикосновения к сенсорному экрану в качестве одновременных посредством определения того, что вторые одновременные прикосновения происходят в заданное временное окно.

21. Cчитываемый компьютером носитель, хранящий программу, при этом исполнение программы вызывает выполнение компьютером способа по любому из пп. 1, 2 или 15, 16.

22. Устройство пользователя, содержащее:

блок обнаружения, выполненный с возможностью обнаружения, в течение заданного периода времени, двух множеств касаний сенсорного экрана устройства, при этом каждое множество касаний содержит одновременные касания двумя точками контакта двух пальцев;

блок определения, выполненный с возможностью определения того, что виброакустические эффекты по меньшей мере одного из одновременных касаний соответствуют профилю виброакустических эффектов из множества профилей виброакустических эффектов, хранящихся в устройстве; и

блок запуска, выполненный с возможностью запуска, в устройстве, заданного действия в ответ на обнаружение двух множеств касаний в течение заданного периода времени.

23. Устройство пользователя, содержащее:

блок определения, выполненный с возможностью определения того, что виброакустические эффекты первого касания сенсорного экрана устройства соответствуют профилю виброакустических эффектов из множества профилей виброакустических эффектов, хранящихся в устройстве; определения того, что первое касание содержит два первых одновременных прикосновения, двумя пальцами, к сенсорному экрану устройства; определения того, что виброакустические эффекты второго касания сенсорного экрана устройства соответствуют профилю; определения того, что второе касание содержит два вторых одновременных прикосновения, двумя пальцами, к сенсорному экрану устройства; определения того, что второе касание произошло в течение заданного периода времени после первого касания; и

блок запуска, выполненный с возможностью запуска, в устройстве, заданного действия в ответ на определение того, что второе касание произошло в течение заданного периода времени после первого касания.

24. Устройство с сенсорным экраном, содержащее:

сенсорный экран;

постоянное запоминающее устройство, содержащее команды; и

один или более процессоров, взаимодействующих с сенсорным экраном и памятью, при этом указанные один или более процессоров выполнены с возможностью исполнения указанных команд для:

определения того, что виброакустические эффекты первого касания сенсорного экрана устройства соответствуют профилю виброакустических эффектов из множества профилей виброакустических эффектов, хранящихся в устройстве;

определения того, что первое касание содержит два первых одновременных прикосновения, двумя пальцами, к сенсорному экрану устройства;

определения того, что виброакустические эффекты второго касания сенсорного экрана устройства соответствуют профилю;

определения того, что второе касание содержит два вторых одновременных прикосновения, двумя пальцами, к сенсорному экрану устройства;

определения того, что второе касание произошло в течение заданного периода времени после первого касания; и

запуска, в устройстве, заданного действия в ответ на определение того, что второе касание произошло в течение заданного периода времени после первого касания.