ЖЕСТ СКОЛЬЖЕНИЯ ПО ДИАГОНАЛИ ДЛЯ ВЫБОРА И ПЕРЕСТАНОВКИ Российский патент 2017 года по МПК G06F3/48 G06F3/03 

Уровень техники

Одна из трудностей, с которой продолжают сталкиваться разработчики устройств с дисплеями, предусматривающими взаимодействие с пользователями, такими как сенсорные дисплеи, касается предоставления улучшенных функциональных возможностей пользователям посредством жестов, которые можно использовать применительно к таким устройствам. Это справедливо не только для устройств с большими или многочисленными экранами, но и также в отношении устройств с малой площадью корпуса, таким как планшетные компьютеры, переносные устройства, малогабаритные устройства с многочисленными экранами и т.п.

Одна сложность с вводом данных на основе жестов состоит в обеспечении второстепенных действий. Например, на сегодняшний день в сенсорных интерфейсах принято касаться элемента для того, чтобы запустить этот элемент. Это делает сложным обеспечение второстепенных функциональных возможностей, таких как способность выбирать элементы. Кроме того, определенные трудности связаны с так называемыми панорамируемыми поверхностями, т.е. поверхностями, к которым может применяться панорамирование и которые обладают перемещаемым контентом. Например, панорамируемая поверхность, как правило, реагирует на перетаскивание пальцем и перемещает контент в направлении пальца пользователя. Если поверхность содержит объекты, которые пользователь желает переставить, то трудно различить, желает ли пользователь применить панорамирование поверхности или осуществить перестановку контента.

Раскрытие изобретения

Данное «Раскрытие изобретения» предоставлено для ознакомления с подборкой концепций в упрощенной форме, которые дополнительно описываются ниже в «Осуществлении изобретения». Данное «Раскрытие изобретения» не предназначено для идентификации ключевых признаков или существенных признаков предложенного изобретения, а также не предназначено для содействия в определении объема охраны предложенного изобретения.

Описаны жесты скольжения по диагонали для сенсорных устройств отображения. В по меньшей мере некоторых вариантах осуществления жесты скольжения по диагонали можно использовать применительно к контенту, который панорамируется или прокручивается в одном направлении, для обеспечения дополнительных действий, таких как выбор контента, операции «перетащить и отпустить» и т.п.

В одном или более вариантах осуществления жест скольжения по диагонали может выполняться перетаскиванием элемента или объекта в направлении, которое отличается от направления панорамирования или прокрутки. Перетаскивание в упомянутом отличающемся направлении может ставиться в соответствие дополнительным действиям или функциональным возможностям. В одном или более вариантах осуществления можно использовать один или более порогов, таких как порог расстояния, совместно с перетаскиванием в упомянутом отличающемся направлении, для задания соответствия дополнительным действиям или функциональным возможностям.

В по меньшей мере некоторых вариантах осуществления так называемые ограничители скорости или другие воспринимаемые средства индикации, такие как визуальные средства индикации, могут быть использованы для информирования или предоставления сведений пользователю об упомянутых порогах.

Краткое описание чертежей

Подробное описание приводится со ссылкой на сопроводительные фигуры. На фигурах самая левая значащая цифра (цифры) ссылочной позиции идентифицирует фигуру, на которой эта ссылочная позиция появляется в первый раз. Использование одних и тех же ссылочных позиций в различных примерах в описании и на фигурах может указывать на подобные или идентичные элементы.

Фиг.1 представляет собой иллюстрацию среды в примерной реализации в соответствии с одним или более вариантами осуществления.

Фиг.2 представляет собой иллюстрацию системы в примерной реализации, показывающую Фиг.1 более подробно.

Фиг.3 иллюстрирует примерное вычислительное устройство в соответствии с одним или более вариантами осуществления.

Фиг.4 иллюстрирует примерное вычислительное устройство в соответствии с одним или более вариантами осуществления.

Фиг.5 представляет собой блок-схему, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления.

Фиг.6 иллюстрирует примерное вычислительное устройство в соответствии с одним или более вариантами осуществления.

Фиг.7 иллюстрирует примерное вычислительное устройство в соответствии с одним или более вариантами осуществления.

Фиг.8 представляет собой блок-схему, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления.

Фиг.9 иллюстрирует пример обнаружения скольжения по диагонали в соответствии с одним или более вариантами осуществления.

Фиг.10 представляет собой блок-схему, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления.

Фиг.11 иллюстрирует пороги расстояния в соответствии с одним или более вариантами осуществления.

Фиг.12 представляет собой блок-схему, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления.

Фиг.13 иллюстрирует пороги расстояния в соответствии с одним или более вариантами осуществления.

Фиг.14 представляет собой блок-схему, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления.

Фиг.15 иллюстрирует жест скольжения по диагонали в соответствии с одним или более вариантами осуществления.

Фиг.16 представляет собой блок-схему, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления.

Фиг.17 иллюстрирует примерное вычислительное устройство, которое может быть использовано для реализации различных вариантов осуществления, описанных в данном документе.

Осуществление изобретения

Общие сведения

Описаны жесты скольжения по диагонали для сенсорных устройств отображения. В по меньшей мере некоторых вариантах осуществления жесты скольжения по диагонали могут быть использованы в отношении контента, который панорамируется или прокручивается в одном направлении, чтобы обеспечить выполнение дополнительных действий, таких как выбор контента, операции «перетащить и отпустить» и т.п.

В одном или более вариантах осуществления жест скольжения по диагонали можно выполнить перетаскиванием элемента или объекта в направлении, которое отличается, например, ортогонально, от направления панорамирования или прокрутки. Перетаскивание можно выполнять через перетаскивание касанием, например, посредством пальца, стилуса, пера и т.п., через перетаскивание посредством мыши/сенсорной панели и т.п. В примерах, описанных в данном документе, используется перетаскивание касанием. Перетаскивание в упомянутом отличающемся направлении может отображаться в дополнительные действия или функциональные возможности. В одном или более вариантах осуществления может использоваться один или более порогов, таких как порог расстояния, в сочетании с перетаскиванием в упомянутом отличающемся направлении для соотнесения с дополнительными действиями или функциональными возможностями. Например, применительно к горизонтально прокручиваемому списку перетаскивание объекта вертикально на короткое расстояние и его отпускание может обозначать выбор объекта, в том время как перетаскивание объекта на большее расстояние вертикально может убирать объект из соответствующего списка, так что он может быть перенесен куда-нибудь еще.

В по меньшей мере некоторых вариантах осуществления так называемые ограничители скорости или другие воспринимаемые средства индикации, такие как визуальные средства индикации, могут быть использованы для информирования или предоставления сведений пользователю о порогах.

Различные варианты осуществления, описанные в данном документе, позволяют перетаскивать элемент без обязательного входа в режим. Под режимом может пониматься действие, которое инициируется пользователем и которое необязательно связано с непосредственным манипулированием элементом. Например, вход в режим можно осуществлять нажатием на определенную кнопку пользовательского интерфейса, чтобы затем появилась функциональная возможность, которую можно использовать в отношении элемента или объекта. В описанных вариантах осуществления режимы можно избежать исключением, в по меньшей мере некоторых примерах, элементов пользовательского интерфейса для доступа к функциональной возможности перетаскивания.

В последующем описании сначала описана примерная среда, выполненная с возможностью применения раскрытых в данном документе техник жестов. Затем описаны примерные иллюстрации жестов и процедур, которые можно применять в примерной среде, а также в других средах. Соответственно, примерная среда не ограничена выполнением примерных жестов, и жесты не ограничены реализацией в примерной среде.

Примерная среда

Фиг.1 представляет собой иллюстрацию среды 100 в примерной реализации, которая выполнена с возможностью применения описанных в данном документе жестов скольжения по диагонали. Проиллюстрированная среда 100 включает в себя пример вычислительного устройства 102, которое может быть выполнено всевозможными способами. Например, вычислительное устройство 102 может быть выполнено в виде обычного компьютера (например, настольного персонального компьютера, переносного компьютера и т.д.), мобильной станции, развлекательного бытового устройства, телевизионной приставки, связанной с возможностью передачи данных с телевизором, беспроводного телефона, нетбука, игровой консоли, переносного устройства и т.д., как описано в дальнейшем в отношении Фиг.2. Таким образом, вычислительное устройство 102 может изменяться от полноресурсных устройств со значительной памятью и ресурсами для обработки (например, персональные компьютеры, игровые консоли) до низкоресурсных устройств с ограниченной памятью и/или ресурсами для обработки (например, обычные телевизионные приставки, переносные игровые консоли). Вычислительное устройство 102 также включает в себя программное обеспечение, которое вызывает выполнение вычислительным устройством 102 одной или более операций, описанных ниже.

Вычислительное устройство 102 включает в себя модуль 104 жестов, который выполнен с возможностью предоставления функциональных возможностей жестов, как описано в данном документе. Модуль жестов может быть реализован с использованием любого подходящего типа аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения (firmware) или их комбинации. В по меньшей мере некоторых вариантах осуществления модуль жестов реализован в программном обеспечении, которое содержится на некотором типе реального машиночитаемого носителя для хранения данных, примеры которого предоставлены ниже.

Модуль 104 жестов обладает функциональной возможностью распознавания жестов, в том числе жестов скольжения по диагонали, которые можно выполнять одним или более пальцами, и вызывает выполнение операций, которые соответствуют жестам. Жесты могут быть распознаны модулем 104 всевозможными способами. Например, модуль 104 жестов может быть выполнен с возможностью распознавания ввода касанием, например, пальцем руки 106а пользователя, вблизи устройства 108 отображения вычислительного устройства 102, используя функциональную возможность сенсорного экрана. В частности, модуль 104 жестов может распознавать жесты скольжения по диагонали, которые можно использовать применительно к контенту, который панорамируется или прокручивается в одном направлении, чтобы обеспечить выполнение дополнительных действий, таких как выбор контента, операции «перетащить и отпустить» и т.п.

Например, в проиллюстрированном примере направление панорамирования или прокрутки показано как совпадающее с вертикальным направлением, как указано стрелками. В одном или более вариантах осуществления жест скольжения по диагонали может выполняться перетаскиванием элемента или объекта в направлении, которое отлично, например, ортогонально, от направления панорамирования или прокрутки. Перетаскивание в упомянутом отличном направлении может отображаться в дополнительные действия или функциональные возможности. Принимая во внимание то, является ли направление вертикальным или горизонтальным, вертикальное направление можно считать, в по меньшей мере некоторых примерах, направлением, которое в целом параллельно одной стороне устройства отображения, а горизонтальное направление можно считать направлением, которое в целом ортогонально вертикальному направлению. Следовательно, несмотря на то, что ориентация вычислительного устройства может изменяться, вертикальное или горизонтальное направление определенного жеста скольжения по диагонали может оставаться стандартным, как определено относительно или вдоль устройства отображения.

Например, палец руки 106а пользователя проиллюстрирован как выбирающий 110 изображение 112, отображенное устройством 108 отображения. Выбор 110 изображения 112 и последующее перемещение пальца руки 106а пользователя в направлении, которое отлично от направления панорамирования или прокрутки, например, обычно ортогонально относительно направления панорамирования или прокрутки, может быть распознано модулем 104 жестов. Модуль 104 жестов может затем идентифицировать это распознанное перемещение, по природе и характеру перемещения, как указывающее операцию «перетащить и отпустить» для изменения положения изображения 112 в точку на устройстве отображения, в которой палец руки 106а пользователя будет убран от устройства 108 отображения. Таким образом, распознавание ввода касанием, который описывает выбор изображения, перемещение выбранной точки в другое положение и затем поднятие пальца руки 106а пользователя, может использоваться для идентификации жеста (например, жеста перетаскивания), т.е. инициирования операции перетаскивания.

Хотя в данном документе преимущественно обсуждаются жесты скольжения по диагонали, должно быть очевидным и понятным, что модулем 104 жестов могут быть распознаны всевозможные типы жестов, в том числе, в качестве примера, но не ограничения, жесты, которые распознаются в результате одного типа ввода (например, жесты касания, например, описанный ранее жест перетаскивания), а также жесты, предусматривающие множество типов вводов. Например, модуль 104 может быть использован для распознавания жестов одним пальцем и жестов, выполняемых на рамке экрана (bezel gestures), жестов одной рукой/несколькими пальцами и жестов, выполняемых на рамке экрана, и/или жестов разными руками/несколькими пальцами и жестов, выполняемых на рамке экрана.

Например, вычислительное устройство 102 может быть выполнено с возможностью обнаружения и установления различия между вводом касанием (например, выполняемым одним или более пальцами руки 106а пользователя) и ввода стилусом (например, выполняемым стилусом 116). Установление различия может выполняться различными способами, например, обнаружением площади устройства 108 отображения, с которым контактирует палец руки 106 пользователя, в сравнении с площадью устройства 108 отображения, с которым контактирует стилус 106.

Таким образом, модуль 104 жестов может поддерживать всевозможные техники жестов через распознавание и использование различия между вводом стилусом и вводом касанием, а также различными типами вводов касанием.

Фиг.2 иллюстрирует примерную систему, показывающую модуль 104 жестов реализованным в среде, в которой множество устройств соединено между собой посредством центрального вычислительного устройства. Центральное вычислительное устройство может быть локальным по отношению к множеству устройств или может быть расположено удаленно от множества устройств. В одном варианте осуществления центральное вычислительное устройство является группой облачных серверов, которая содержит один или более серверных компьютеров, которые соединены с множеством устройств через некоторую сеть или сеть Интернет или другие средства.

В одном варианте осуществления архитектура межсоединений обеспечивает передачу функциональных возможностей вдоль множества устройств для обеспечения общего и цельного взаимодействия с пользователем множества устройств. Каждое из множества устройств может иметь разные физические требования и возможности, и центральное вычислительное устройство использует платформу для обеспечения передачи взаимодействия устройству, которое «привязано» как к устройству, так и еще является общим для всех устройств. В одном варианте осуществления создается «класс» целевого устройства, и взаимодействия «связаны» с общим классом устройств. Класс устройства может определяться физическими признаками или применимостью, или другими общими характеристиками устройств. Например, описанное ранее вычислительное устройство 102 может быть выполнено всевозможными способами, например, для мобильных 202, вычислительных 204 и телевизионных 206 применений. Каждая из этих конфигураций имеет, как правило, соответствующий размер экрана, и, таким образом, вычислительное устройство 102 может быть выполнено в виде одного из этих классов устройств в данной примерной системе 200. Например, вычислительное устройство 102 может предполагать мобильный 202 класс устройства, который включает в себя мобильные телефоны, музыкальные проигрыватели, игровые устройства и т.д. Вычислительное устройство 102 может также предполагать вычислительный 204 класс устройства, который включает в себя персональные компьютеры, переносные компьютеры, нетбуки и т.д. Телевизионная 206 конфигурация включает в себя конфигурации устройства, которые предусматривают отображение в повседневной среде, например, телевизоры, телевизионные приставки, игровые консоли и т.д. Таким образом, приемы, описанные в данном документе, могут поддерживаться различными конфигурациями вычислительного устройства 102 и не ограничены конкретными примерами, описанными в последующих разделах.

Облако 208 изображено как включающее в себя платформу 210 для веб-серверов 212. Платформа 210 является абстрактным представлением основных функциональных возможностей аппаратного обеспечения (например, серверов) и программных ресурсов облака 208 и, тем самым, может выполнять роль «облачной операционной системы». Например, платформа 210 может являться абстрактным представлением ресурсов для соединения вычислительного устройства 102 с другими вычислительными устройствами. Платформа 210 может также использоваться для абстрактного представления масштабирования ресурсов, чтобы обеспечить соответствующий уровень масштаба в ответ на встречающееся требование для веб-серверов 212, которые реализованы через платформу 210. Разнообразие других примеров также подразумевается, например, балансировка нагрузки серверов в группе серверов, защита против вредоносных средств (например, спамов, вирусов и других вредоносных программ) и т.д.

Таким образом, облако 208 включено как часть стратегии, которая относится к ресурсам программного и аппаратного обеспечения, которые сделаны доступными для вычислительного устройства 102 через сеть Интернет или другие сети. Например, модуль 104 жестов может быть реализован частично на вычислительном устройстве 102, а также через платформу 210, которая поддерживает веб-серверы 212.

Например, техники жестов, поддерживаемые модулем жестов, могут быть обнаружены с использованием функциональной возможности сенсорного экрана в мобильной конфигурации 202, функциональной возможности сенсорной панели в вычислительной 204 конфигурации, обнаружены камерой как части поддержки естественного пользовательского интерфейса (NUI), который не предусматривает контакт с конкретным устройством ввода, и т.д. Кроме того, выполнение операций обнаружения и распознавания вводов для идентификации определенного жеста может распределяться по всей системе 200, например, посредством вычислительного устройства 102 и/или веб-серверов 212, поддерживаемых платформой 210 облака 208.

Как правило, любые функции, описанные в данном документе, можно реализовать с использованием программного обеспечения, аппаратно-программного обеспечения, аппаратного обеспечения (например, установленной логической схемы), ручной обработки или некоторой комбинации этих реализаций. Термины «модуль», «функциональная возможность» и «логика», используемые в данном документе, в целом подразумевают программное обеспечение, аппаратно-программное обеспечение, аппаратное обеспечение или некоторую их комбинацию. В случае программной реализации модуль, функциональная возможность или логика представляют собой программный код, который выполняет определенные задачи при исполнении на процессоре или посредством него (например, одним или множеством CPU). Программный код может храниться в одном или более машиночитаемых устройствах памяти. Признаки техник жестов, описанных ниже, являются независимыми от платформы, что означает, что техники могут быть реализованы на самых разнообразных коммерческих вычислительных платформах, имеющих самые разнообразные процессоры.

В дальнейшем обсуждении различные разделы описывают примерные жесты скольжения по диагонали, включающие в себя жесты перестановки. Раздел, озаглавленный как «Способ/Жест скольжения по диагонали относительно направления панорамирования», описывает жест скольжения по диагонали, который может быть исполнен относительно направления панорамирования в соответствии с одним или более вариантами осуществления. Далее раздел, озаглавленный как «Способ/жест для перестановки элементов в панорамируемом списке», описывает то, как элементы могут быть расположены и переставлены, используя жест скольжения по диагонали в соответствии с одним или более вариантами осуществления. Вслед за этим, раздел, озаглавленный как «Обнаружение жестов скольжения по диагонали», описывает то, как жесты скольжения по диагонали могут быть обнаружены в соответствии с одним или более вариантами осуществления. Далее раздел, озаглавленный как «Объединение многочисленных взаимодействий», описывает то, как можно объединить многочисленные взаимодействия с использованием жестов скольжения по диагонали в соответствии с одним или более вариантами осуществления. Вслед за этим, раздел, озаглавленный как «Непосредственная манипуляция для обеспечения пороговой различимости», описывает то, как можно обеспечить обратную связь непосредственной манипуляцией, чтобы позволить пользователю получать сведения о различных порогах, в соответствии с одним или более вариантами осуществления. Далее раздел, озаглавленный как «Обратная связь при взаимодействии», описывает варианты осуществления, в которых обратная связь может предоставляться пользователю в соответствии с одним или более вариантам осуществления. И наконец, раздел, озаглавленный как «Примерное устройство», описывает аспекты примерного устройства, которое может быть использовано для реализации одного или более вариантов осуществления.

Способ/жест скольжения по диагонали относительно направления панорамирования

В одном или более вариантах осуществления жест скольжения по диагонали может выполняться для инициирования выполнения действия, относящегося к объекту, посредством перетаскивания элемента или объекта в направлении, которое отлично, например, ортогонально, от направления панорамирования или прокрутки.

В качестве примера рассмотрим Фиг.3, которая иллюстрирует среду 300 в соответствии с одним или более вариантами осуществления. Здесь вычислительное устройство 302 включает в себя устройство 308 отображения, чей контент можно прокручивать или панорамировать в горизонтальном направлении, как указано двусторонней стрелкой 304 и как предполагается полосой 305 прокрутки. На устройстве 308 отображения отображено множество разных объектов или элементов 310, 312, 314, 316, 318, 320, 322, 324, которые показаны во всей своей полноте, и частичные объекты или элементы 326, 328. В этом примере пользователь может оказывать воздействие прокручиванием или панорамированием в горизонтальном направлении, используя свайп-жест (swipe gesture - жест скольжения без отрыва пальца от экрана) на устройстве 308 отображения в горизонтальном направлении. В качестве альтернативы пользователь может вызывать выполнение действия, относящегося к объекту, посредством выполнения жеста скольжения по диагонали относительно одного из объектов или элементов в направлении, которое отлично от направления прокрутки или панорамирования.

В качестве примера рассмотрим самую нижнюю иллюстрацию вычислительного устройства 302. В данном случае рука 306а пользователя коснулась элемента 312 и переместила его в направлении, которое отлично от направления прокрутки или панорамирования. В этом конкретном примере упомянутое отличное направление является в целом ортогональным направлению прокрутки или панорамирования и совпадает с направлением вниз. Должно быть понятным и очевидным, что в по меньшей мере некоторых вариантах осуществления объект можно перемещать вниз и наверх или, в более общем смысле, в двух направлениях, чтобы получать доступ к одним и тем же или другим действиям, относящимся к объекту. Может выполняться любой подходящий тип действия, относящегося к объекту. Например, один тип действия, относящегося к объекту, может включать в себя, в качестве примера, но не ограничения, выбор объекта. Заметим, что в этом примере осуществляется непосредственная манипуляция выбранным элементом, и пользователю предоставляется визуальная обратная связь посредством обеспечения возможности наблюдения перемещения объекта в ответ на прикосновение пользователя. Также заметим, что в этом варианте осуществления и других вариантах осуществления, описанных ниже, действие, относящееся к объекту, осуществляется без демонстрации дополнительных элементов пользовательского интерфейса, таких как кнопка для возможности выбора команды. Можно выполнять другие действия, относящиеся к объекту, такие как действия удаления объекта и другие действия манипуляции объектом.

В качестве другого примера рассмотрим Фиг.4, которая иллюстрирует среду 400 в соответствии с одним или более вариантами осуществления. Здесь вычислительное устройство 402 включает в себя устройство 408 отображения, чей контент можно прокручивать или панорамировать в вертикальном направлении, как указано двойной стрелкой 404 и как подразумевается полосой 405 прокрутки. На устройстве 408 отображения отображено множество разных объектов или элементов 410, 412, 414, 416, 418, 420, 422, 424, которые показаны во всей их полноте. В этом примере пользователь может воздействовать прокруткой или панорамированием в вертикальном направлении посредством использования свайп-жеста на устройстве 408 отображения в вертикальном направлении. В качестве альтернативы пользователь может вызывать выполнение действия, относящегося к объекту, посредством выполнения жеста скольжения по диагонали в отношении одного из объектов или элементов в направлении, которое отлично от направления прокрутки или панорамирования.

В качестве примера рассмотрим самую нижнюю иллюстрацию вычислительного устройства 402. В данном случае рука 406а пользователя коснулась элемента 412 и переместила его в направлении, которое отлично от направления прокрутки или панорамирования. В этом конкретном примере упомянутое отличное направление в целом ортогонально направлению прокрутки или панорамирования. Может выполняться любой подходящий тип действия, относящегося к объекту, примеры которого предоставлены ниже. Например, один тип действия, относящегося к объекту, может включать в себя, в качестве, но не ограничения, выбор объекта. Должно быть понятным и очевидным, что функциональная возможность, которая доступна через жесты скольжения по диагонали, может быть доступна с использованием перемещения объекта или элемента на любое подходящее пороговое расстояние для инициирования действия, относящегося к объекту. В по меньшей мере некоторых вариантах осуществления инициирование действия, относящегося к объекту, может выполняться без порогового расстояния. В этих примерах перемещение в направлении, отличном от направления панорамирования или прокрутки, может использоваться для инициирования действия, относящегося к объекту.

Фиг.5 представляет собой блок-схему, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления. Способ может выполняться с использованием любого подходящего аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения или их комбинации. В по меньшей мере некоторых вариантах осуществления способ может осуществляться выполненным надлежащим образом модулем жестов, таким как описанный выше.

На этапе 500 обнаруживают жестикуляционный ввод скольжением в отношении устройства отображения, связанного с вычислительным устройством. На этапе 502 устанавливают, отлично ли направление жестикуляционного ввода скольжением от направления панорамирования. Если направление не отлично от направления панорамирования, на этапе 504 панорамируют контент в направлении жестикуляционного ввода скольжением. Если, с другой стороны, направление жестикуляционного ввода скольжением отлично от направления панорамирования, на этапе 506 выполняют действие, относящееся к объекту. Может выполняться любой подходящий тип действия, относящегося к объекту, примеры которого представлены ниже.

Способ/жест для перестановки элементов в панорамируемом списке

В одном или более вариантах осуществления жест скольжения по диагонали может выполняться эффективно для осуществления действия, относящегося к объекту, как действия перестановки объекта посредством перетаскивания элемента или объекта в направлении, которое отлично, например, ортогонально, или в целом не в направлении, связанном с направлением прокрутки или панорамирования.

В качестве примера рассмотрим Фиг.6, которая иллюстрирует среду 600 в соответствии с одним или более вариантами осуществления. В данном случае вычислительное устройство 602 включает в себя устройство 608 отображения, чей контент можно прокручивать или панорамировать в горизонтальном направлении, как указано двойной стрелкой 604 и как подразумевается полосой 605 прокрутки. На устройстве 608 отображения отображено множество разных объектов или элементов 610, 612, 614, 616, 618, 620, 622, 624, которые показаны во всей их полноте, и частичные объекты или элементы 626, 628. В этом примере пользователь может воздействовать прокруткой или панорамированием в горизонтальном направлении посредством использования свайп-жеста на устройстве 608 отображения в горизонтальном направлении. В качестве альтернативы пользователь может вызывать выполнение действия, относящегося к объекту, как действия перестановки посредством выполнения жеста скольжения по диагонали в отношении одного из объектов или элементов в направлении, которое отлично от направления прокрутки или панорамирования. Например, на самой верхней иллюстрации рука 606а пользователя коснулась устройства 608 отображения в месте объекта 612 и перетащила объект в первом направлении, которое в целом ортогонально направлению прокрутки или панорамирования, а затем во втором направлении к левому нижнему углу устройства 608 отображения. В данном случае первое направление является в целом вертикальным направлением. Перетаскивание объекта в первом направлении указывает модулю жестов, что объект должен быть переставлен.

Рассмотрим теперь самую нижнюю иллюстрацию вычислительного устройства 602. В данном случае рука 606а пользователя перетащила объект 612 в его проиллюстрированное положение и отпустила его в этом месте. В дальнейшем рука пользователя коснулась устройства 608 отображения в месте объекта 618 и перетащила объект в первом направлении, которое в целом ортогонально направлению прокрутки и панорамирования, а затем во втором направлении к средней части устройства отображения. Здесь первое направление является в целом вертикальным направлением. Как только пользователь уберет руку от сенсорного устройства 608 отображения, объект 618 будет оставлен в его проиллюстрированном месте.

В качестве другого примера рассмотрим Фиг.7, которая иллюстрирует среду 700 в соответствии с одним или более вариантами осуществления. Здесь вычислительное устройство 702 включает в себя устройство 708 отображения, чей контент можно прокручивать или панорамировать в вертикальном направлении, как указано двойной стрелкой 704 и как подразумевается полосой 705 прокрутки. На устройстве 708 отображения отображено множество разных объектов или элементов 710, 712, 714, 716, 718, 720, 722, 724. В этом примере пользователь может воздействовать прокруткой или панорамированием в вертикальном направлении посредством использования свайп-жеста на устройстве 708 отображения в вертикальном направлении. В качестве альтернативы пользователь может вызывать выполнение действия, относящегося к объекту, как действия перестановки посредством выполнения жеста скольжения по диагонали в отношении одного из объектов или элементов в направлении, которое отлично от направления прокрутки или панорамирования. Например, на самой верхней иллюстрации рука 706а пользователя коснулась устройства 708 отображения в месте объекта 712 и перетащила объект в направлении, которое в целом ортогонально направлению прокрутки или панорамирования. Здесь такое направление является в целом горизонтальным направлением. Перетаскивание объекта в этом направлении указывает модулю жестов, что объект должен быть переставлен.

Рассмотрим теперь самую нижнюю иллюстрацию вычислительного устройства 702. В данном случае рука 706а пользователя перетащила объект 712 в его проиллюстрированное положение и отпустила в этом месте. В дальнейшем рука пользователя коснулась устройства 708 отображения в месте объекта 710 и перетащила объект в направлении, которое в целом ортогонально направлению прокрутки или панорамирования. Здесь направление является в целом горизонтальным направлением. Как только пользователь уберет руку от сенсорного устройства 708 отображения, объект 710 будет оставлен в его проиллюстрированном месте.

Фиг.8 является блок-схемой, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления. Способ может выполняться с использованием любого подходящего аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения или их комбинации. В по меньшей мере некоторых вариантах осуществления способ может осуществляться выполненным надлежащим образом модулем жестов, таким как описанный выше.

На этапе 800 обнаруживают направление перетаскивания, связанное с операцией перетаскивания в отношении устройства отображения, связанного с вычислительным устройством. На этапе 802 устанавливают, отлично ли направление перетаскивания от направления панорамирования. Если направление перетаскивания не отлично от направления панорамирования, на этапе 804 панорамируют контент в направлении перетаскивания. Если, с другой стороны, направление перетаскивания отлично от направления панорамирования, на этапе 806 выполняют действие перестановки объекта. Примеры того, как это можно сделать, представлены выше. В одном или более вариантах осуществления перестановка может осуществляться в любом подходящем направлении.

Обнаружение жестов скольжения по диагонали

Жесты скольжения могут быть обнаружены любым подходящим образом. В качестве предпоследнего примера того, как можно обнаружить жесты скольжения по диагонали, рассмотрим нижеследующее с использованием Фиг.9. В одном или более вариантах осуществления для обнаружения того, использует ли пользователь панорамирование или скольжение по диагонали, может применяться логика обнаружения области, как графически показано на Фиг.9.

В этом примере предположим, что пользователь отобразил горизонтально панорамируемый список элементов. Когда пользователь кладет ее палец на объект внутри проиллюстрированного круга 900 и начинает перетаскивать ее палец за границу круга, может применяться обнаружение области для установления результата перетаскивания. Например, в ситуации, в которой происходит перетаскивание в одну из областей 902, контент будет панорамироваться в соответствующем направлении. Однако перетаскивание в одну из областей 904 будет распознаваться как жест скольжения по диагонали, и, соответственно, может реализовываться функциональная возможность, связанная с жестом скольжения по диагонали.

В проиллюстрированном примере подобраны области 902 и 904 в целом одинакового размера. Однако, исходя из сценария, определенным действиям могут быть назначены приоритеты посредством изменения угла входа или диапазона углов, например, углов a и b, различных областей. Например, делая углы a больше, тем самым увеличивая их диапазон (и углы b меньше, тем самым уменьшая их диапазон), легче начать панорамирование без случайного выполнения жеста скольжения по диагонали, и наоборот.

Фиг.10 является блок-схемой, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления. Способ может выполняться с использованием любого подходящего аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения или их комбинации. В по меньшей мере некоторых вариантах осуществления способ может осуществляться выполненным надлежащим образом модулем жестов, таким как описанный выше.

На этапе 1000 определяют одну или более областей, связанных с жестом панорамирования. Может использоваться любая подходящая геометрия области, примеры которой представлены выше. На этапе 1002 определяют одну или более областей, связанных с жестом скольжения по диагонали. И вновь может использоваться любая подходящая геометрия области, примеры которой представлены выше. В примере на Фиг.9 геометрии областей являются в целом треугольными по форме и сходятся в точке, связанной с вводом касанием. Другие геометрии могут использоваться без отступления от сущности и объема охраны предложенного объекта изобретения.

На этапе 1004 обнаруживают операцию перетаскивания. Этот этап можно выполнять посредством обнаружения жестикуляционного ввода в виде жеста касания, такого как свайп-жест. На этапе 1006 устанавливают соответствующую область, в пределах которой происходит операция перетаскивания. Если на этапе 1008 область связана с жестом панорамирования, на этапе 1010 панорамируют контент в соответствующем направлении. Если, с другой стороны, область не связана с жестом панорамирования, на этапе 1012 выполняют операцию, связанную с жестом скольжения по диагонали. Может выполняться любое подходящее действие, относящееся к объекту, в том числе, в качестве примера, но не ограничения, выбор объекта, удаление объекта, перестановка объекта и т.п.

Рассмотрев то, как можно обнаруживать и отличать действия перетаскивания в соответствии с одним или более вариантами осуществления, обсудим теперь, как можно объединить многочисленные взаимодействия.

Объединение многочисленных взаимодействий

В некоторых случаях может потребоваться иметь порог, который может использоваться для блокировки действия, относящегося к объекту, такой как порог перетаскивания, позволяющий блокировать направление перетаскивания. Может использоваться любой подходящий тип порога, в том числе, в качестве примере, но не ограничения, пороги расстояния, пороги скорости, пороги направленности, любая комбинация вышеупомянутых порогов, а также другие пороги. Например, объединение порогов расстояния и скорости можно использовать для устранения того, что иначе могло бы представлять собой случайное или непреднамеренное действие. Например, когда определенный порог достигнут, могла бы быть установлена скорость перемещения пальца. Если скорость ниже определенного порога, то могло бы инициироваться действие перетаскивания. Если она выше определенного порога, то, возможно, выполняется действие выбора объекта.

Это дает пользователям возможность быть менее точными в начале их жестов. Например, ссылаясь на пример на Фиг.9, заметим, что определен прямоугольник 906. Пока палец пользователя находится в пределах прямоугольника 906 или, в качестве альтернативы, в пределах границ круга 900, соответствующий жест может быть в «неустановленном» состоянии. Как только палец пересечет границу прямоугольника (или круга), может быть принято решение в отношении жеста. На практике это может обрабатываться парой разных способов. Согласно первому, ни операция панорамирования, ни функциональная возможность скольжения по диагонали не могут быть реализованы до тех пор, пока палец не пересечет границу прямоугольника 906. В качестве альтернативы обе операции панорамирования и скольжения по диагонали могут быть реализованы одновременно, пока палец находится в пределах границы прямоугольника 906. Как только палец пересечет границу прямоугольника, может поддерживаться операция, связанная с этой определенной областью, в то время как другая операция может быть отменена.

Как только жест скольжения по диагонали был обнаружен, могут использоваться разные пороги для реализации действий, относящихся к объекту. В качестве примера рассмотрим Фиг.11. На ней показан объект или элемент 1100. Различные расстояния показаны и указаны как 1102 и 1104. Расстояния показывают длину перемещения объекта 1100. В одном или более вариантах осуществления первое расстояние 1102 представляет собой порог, переход через который приводит к потенциальному совершению действия. В этом конкретном примере переход через этот порог расстояния при выполнении действия перетаскивания вызывает выбор объекта 1100. Для совершения этого действия пользователь может убрать ее палец, и перетащенный объект может переместиться назад в его исходное положение и изменить его состояние, подлежащее выбору. Область внизу, соответствующая расстоянию 1102 до достижения порога расстояния 1104, может рассматриваться как буфер. Таким образом, отпускание объекта в пределах этой области будет все еще приводить к выбору объекта.

Как только перетаскиваемый объект (перетаскиваемый вдоль сплошной линии или в любом подходящем направлении, таком как вдоль пунктирной линии) достигает расстояния 1104 и пересекает его порог, может совершаться следующее действие, относящееся к объекту, применительно к жесту скольжения по диагонали. В этом конкретном примере действие, относящееся к объекту, может убирать объект из соответствующего списка или положения на устройстве отображения, и, таким образом, позволяет пользователю применять операцию «перетащить и отпустить» в отношении объекта в любом направлении. В одном или более вариантах осуществления, если объект достигает линии 1106, это может инициировать еще дополнительные действия, относящиеся к объекту. Например, пересечение этой линии объектом могло бы инициировать дополнительную визуальную обратную связь для пояснения пользователю, что порог операции «перетащить и отпустить» был достигнут.

Должно быть очевидным и понятным, что любое подходящее число порогов расстояния может быть применено и связано с действиями, относящимися к объекту. Например, первый порог мог бы быть задан границей проиллюстрированного круга в пределах объекта 1100, второй порог - расстоянием 1102, и третий порог - расстоянием 1104. В одном или более вариантах осуществления перемещение за пределы первого порога может блокировать соответствующий объект в соответствующем направлении перемещения.

Фиг.12 является блок-схемой, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления. Способ может выполняться с использованием любого подходящего аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения или их комбинации. В по меньшей мере некоторых вариантах осуществления способ можно осуществлять выполненным надлежащим образом модулем жестов, таким как описанный выше.

На этапе 1200 определяют один или более порогов. Этот этап может выполняться любым подходящим образом, используя любой подходящий тип порога. Например, в описанном выше варианте осуществления были применены пороги расстояния. Тем не менее, должно быть очевидным и понятным, что другие типы порогов и/или их комбинации могут быть использованы без отступления от сущности и объема охраны предложенного объекта изобретения.

В проиллюстрированном и описанном варианте осуществления определенные пороги могут быть применены с использованием жеста скольжения по диагонали, как описано выше. На этапе 1202 обнаруживают жест скольжения по диагонали. Примеры того, как это может быть выполнено, предоставлены выше. На этапе 1204 обнаруживают один или более пороговых инициирующих событий. Например, как только пользователь коснулся объекта, он может перемещать объект в определенном направлении. На этом этапе обнаруживают, когда объект был перемещен достаточно для инициирования одного или более порогов. В вариантах осуществления, в которых пороги определены на основе расстояний, этот этап может выполняться посредством обнаружения, когда объект был перемещен на определенное расстояние.

На этапе 1206 обнаруживают, указывает ли действие пользователя на то, что должно быть совершенно действие, относящееся к объекту. Этот этап может выполняться любым подходящим образом. Например, действие пользователя могло бы включать в себя убирание ее пальца от определенного объекта. Если действие пользователя не указывает на то, что должно быть совершенно действие, относящееся к объекту, на этапе 1208 не совершают действие, относящееся к объекту. Например, пользователь мог бы совершить жест скольжения по диагонали таким определенным образом, что никакое действие не должно выполняться. Например, жест скольжения по диагонали может быть двусторонним, т.е. если пользовать начинает перетаскивание объекта вниз, то она может в любой момент, все еще держа объект, переместить его назад в исходное положение. Делая так, никакие действия скольжения по диагонали не будут выполнены. В качестве альтернативы один или более порогов могли бы быть пересечены без необходимости указания пользователя, что должно быть совершенно действие, относящееся к объекту. В этом случае, если происходит жест скольжения по диагонали, способ может продолжить осуществлять контроль над пороговыми инициирующими событиями, возвращаясь к этапу 1204. Если, с другой стороны, действие пользователя указывает на то, что должно быть совершенно действие, относящееся к объекту, на этапе 1210 совершают действие, относящееся к объекту и связанное с последним инициированным порогом. Этот этап может выполняться любым подходящим образом и может включать в себя любое подходящее действие, относящееся к объекту, примеры которого представлены выше.

В одном или более вариантах осуществления множество разных направлений, используемых для функциональной возможности скольжения по диагонали, могут или приводить к выполнению одних и тех же действий, относящихся к объекту, или к выполнению разных действий, относящихся к объекту. Например, выбор объекта мог бы происходить, когда объект перетаскивается в направлении вниз, в то время как действие «перетащить и отпустить» могло бы выполняться, когда объект перетаскивается в направлении вверх.

Рассмотрев использование различных порогов перетаскивания и связав с ними действия, относящиеся к объекту, рассмотрим теперь дополнительный пример, в котором применяются пороги вместе со средствами индикации для обеспечения обратной связи при непосредственной манипуляции объектом.

Непосредственная манипуляция для обеспечения пороговой различимости

В по меньшей мере некоторых вариантах осуществления непосредственная манипуляция может обеспечивать визуальную обратную связь, так что пользователь может визуально наблюдать перемещение объекта, и, в соответствии с перемещением объекта, пользователю могут предоставляться визуальные ассоциации для обеспечения пороговой различимости. Может применяться любой подходящий тип визуальной ассоциации, в том числе, в качестве примера, но не ограничения, всплывающие подсказки, пиктограммы, глифы и т.п. В примере, как раз описанном ниже, так называемые ограничители скорости используются для обеспечения пользователя пониманием или представлению пользователю сведений о различных порогах, которые могут присутствовать. В качестве примера рассмотрим Фиг.13.

Здесь показан объект или элемент 1300. Различные расстояния показаны и указаны как 1302, 1304 и 1306. Расстояния показывают длину перемещения объекта 1300 или расстояния, на которые может перемещаться объект. В одном или более вариантах осуществления первое расстояние 1302 является порогом, переход через который приводит к потенциальному совершению действия. В этом конкретном примере переход этого порога расстояния при выполнении операции перетаскивания вызывает выбор объекта 1300. Для совершения этого действия пользователь может убрать ее палец, и перетаскиваемый объект может переместиться назад в его исходное положение и изменить его состояние, подлежащее выбору. Область внизу, которая соответствует расстоянию 1302 до достижения области, соответствующей расстоянию 1306, может рассматриваться как буфер. Таким образом, отпускание объекта в пределах этой области будет все еще приводить к выбору объекта.

Расстояние 1306 соответствует области ограничителя скорости. Перемещение объекта 1300 в пределах области ограничителя скорости ниже, чем перемещение пальца. Это является визуальной подсказкой или указанием того, что новый порог скоро будет достигнут, тем самым упрощая для пользователя совершение определенного действия без случайного перемещения в следующий порог расстояния и за него. Например, в пределах области ограничителя скорости пользователь может перетаскивать ее палец на 50 пикселей в длину, в то время как соответствующий объект может перемещаться на пять пикселей в длину. Отпускание объекта в пределах этой области ограничителя скорости будет приводить к выполнению соответствующего действия. В этом примере соответствующее действие представляет собой выбор объекта.

Как только перетаскиваемый объект перейдет через область ограничителя скорости, соответствующей расстоянию 1306, и достигнет расстояния 1304 и пересечет этот порог, может быть совершенно следующее действие, относящееся к объекту, в отношении жеста скольжения по диагонали. В этом конкретном примере действие, относящееся к объекту, может убирать объект из его соответствующего списка или положения на устройстве отображения и, таким образом, позволять пользователю применять операцию «перетащить и отпустить» в отношении объекта в любом направлении. В одном или более вариантах осуществления, если объект достигает линию 1308, это может еще инициировать дополнительные действия, относящиеся к объекту. Например, пересечение этой линии объектом могло бы инициировать дополнительную визуальную обратную связь, чтобы пояснить пользователю, что порог операции «перетащить и отпустить» был достигнут. Помимо этого, множество ограничителей скорости может использоваться в сочетании с порогами расстояния.

Должно быть очевидным и понятным, что любое подходящее число порогов расстояния и ограничителей скорости может быть применено и связано с действиями, относящимися к объекту. В качестве альтернативы или дополнения другие визуальные средства индикации могут использоваться для указания порогов или изменений порогов. Например, при перетаскивании объекта одна или более линий могут применяться для указания порогов и, таким образом, расстояния, на которое следует перетащить объект для совершения разных действий. Визуальные символы могут также отображаться на самом объекте при его приближении к порогу или пересечении им порога.

Фиг.14 является блок-схемой, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления. Способ может выполняться с использованием любого подходящего аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения или их комбинации. В по меньшей мере некоторых вариантах осуществления способ может осуществляться выполненным надлежащим образом модулем жестов, таким как описанный выше.

На этапе 1400 определяют один или более порогов расстояния, включающих в себя один или более ограничителей скорости. Этот этап может выполняться любым подходящим образом. В проиллюстрированном и описанном варианте осуществления определенные пороги и ограничители скорости можно применять с использованием жеста скольжения по диагонали, как описано выше. На этапе 1402 обнаруживают жест скольжения по диагонали. Примеры того, как это может быть выполнено, представлены выше. На этапе 1404 обнаруживают пересечение ограничителя скорости. Например, как только пользователь коснулся объекта, пользователь может перемещать объект в определенном направлении. На этом этапе обнаруживают, когда объект был перемещен достаточно для пересечения границы, связанной с ограничителем скорости.

На этапе 1406 модифицируют взаимодействие с пользователем в пределах области ограничителя скорости. Может обеспечиваться любая подходящая модификация взаимодействия с пользователем. Например, в по меньшей мере некоторых вариантах осуществления модификация взаимодействия с пользователем может включать в себя модификацию визуального взаимодействия с пользователем. Например, как отмечено выше, палец пользователя может перемещаться быстрее, чем соответствующий объект. В качестве альтернативы или дополнения могут совершаться другие модификации взаимодействия, в том числе, в качестве примера, но не ограничения, обеспечение звуковой или тактильной обратной связи для указания присутствия в пределах определенной области ограничителя скорости.

На этапе 1408 обнаруживают, указывает ли действие пользователя на то, что должно быть совершено действие, относящееся к объекту. Этот этап может выполняться любым подходящим образом. Например, действие пользователя могло бы включать в себя убирание пальца от определенного объекта. Если действие пользователя не указывает на то, что должно быть совершено действие, относящееся к объекту, на этапе 1410 не совершают действие, относящееся к объекту. Например, пользователь мог бы завершить жест скольжения по диагонали таким определенным образом, чтобы никакое действие не должно было выполняться. Например, жест скольжения по диагонали может быть двусторонним, т.е. если пользователь начинает перетаскивание объекта вниз, то она может в любой момент, все еще держа объект, переместить его назад в его исходное положение. Делая так, никакие действия скольжения по диагонали не будет выполнены. В качестве альтернативы один или более порогов и одна или более областей ограничителя скорости могли бы пересекаться без необходимости пользователю еще указывать, что должно быть совершено действие, относящееся к объекту. В этом случае, если происходит жест скольжения по диагонали, способ может продолжаться для осуществления контроля над пересечениями порогов и дополнительными ограничителями скорости, в зависимости от ситуации. Если, с другой стороны, действие пользователя указывает на то, что должно быть совершено действие, относящееся к объекту, на этапе 1412 совершают действие, относящееся к объекту и связанное с последним пересеченным порогом. Этот этап может выполняться любым подходящим образом и может включать в себя любое подходящее действие, относящееся к объекту, примеры которого представлены выше.

В одном или более вариантах осуществления множество разных направлений, используемых для функциональной возможности скольжения по диагонали, могут или приводить к выполнению одних и тех же действий, относящихся к объекту, или к выполнению разных действий, относящихся к объекту. Например, выбор объекта мог бы происходить, когда объект перетаскивается в направлении вниз, в то время как действие «перетащить и отпустить» могло бы выполняться, когда объект перетаскивается в направлении вверх.

Обратная связь при взаимодействии

В одном или более вариантах осуществления визуальная обратная связь может предоставляться пользователю для информирования пользователя об определенном действии, относящемся к объекту, которое будет совершено, в ответ на обнаруженный жест скольжения по диагонали. Например, поскольку определенный объект переходит разные пороги расстояния, могут обеспечиваться визуальные средства индикации для информирования пользователя об определенном действии, которое будет совершено при отпускании объекта. В качестве альтернативы или дополнения визуальные средства индикации могут дополнительно обеспечиваться в отношении определенного действия, относящегося к объекту, которое могло бы быть следующим, если перетаскивание объекта продолжается.

В качестве примера рассмотрим Фиг.15. Здесь объект в виде изображения обозначен в общем как 1500. В самой верхней части фигуры пользователь коснулся объекта для инициирования операции перетаскивания. Поскольку пользователь перетаскивает объект в направлении вниз, как показано в 1502, визуальные средства 1504 индикации могут отображаться, начиная появляться под изображением. В этом конкретном примере визуальные средства индикации выполнены в виде кнопки-флажка, которая постепенно появляется под объектом. Любой подходящий тип визуальных средств индикации может применяться без отступления от сущности и объема охраны предложенного объекта изобретения. Например, визуальные средства индикации могли бы отображаться в виде линии под изображением, к которой необходимо перетащить изображение для совершения определенного действия. Как только объект был перетащен на определенное расстояние, как показано в 1506, визуальные средства индикации - в данном случае кнопка-флажок - могут полностью появляться, тем самым информируя пользователя о том, что она может отпустить объект для совершения действия, относящегося к объекту. В этом конкретном примере действие, относящееся к объекту, представляет собой выбор объекта. Таким образом, полностью появившаяся кнопка-флажок может указывать на то, что действие совершено.

Фиг.16 является блок-схемой, которая описывает этапы в способе в соответствии с одним или более вариантами осуществления. Способ может выполняться с использованием любого подходящего аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения или их комбинации. В по меньшей мере некоторых вариантах осуществления способ может осуществляться выполненным надлежащим образом модулем жестов, таким как описанный выше.

На этапе 1600 обнаруживают операцию перетаскивания, связанную с объектом. Примеры того, как это может быть выполнено, предоставлены выше. Например, операция перетаскивания может обнаруживаться с использованием жеста скольжения по диагонали. На этапе 1602 отображают неполную часть визуального средства индикации, связанного с совершением действия, относящегося к объекту. Примеры того, как это может быть выполнено, предоставлены выше. На этапе 1604 устанавливают, продолжается ли операция перетаскивания. Если операция перетаскивания не была продолжена, способ может, в случае если пользователь не завершил операцию перетаскивания, вернуться к этапу 1602. В случае если пользователь завершил операцию перетаскивания, что соответствует возвращению объекта в его исходное положение, способ может завершаться. С другой стороны, если операция перетаскивания продолжается, на этапе 1606 устанавливают, был ли достигнут порог расстояния, связанный с действием, относящимся к объекту. Если нет, то способ может вернуться к этапу 1602. Делая так, все больше визуального средства индикации может появляться в соответствии с расстоянием, на которое был перетащен объект. Если, с другой стороны, порог расстояния, связанный с действием, относящимся к объекту, был достигнут, на этапе 1608 полностью отображают визуальное средство индикации, связанное с совершением действия, относящегося к объекту. Делая так, визуальное средство индикации может визуально информировать пользователя о том, что действие, относящееся к объекту, может быть совершено, если пользователь уберет ее палец от объекта.

Описав примерное визуальное средство индикации, связанное с совершением действия, относящегося к объекту и связанного с жестом скольжения по диагонали, рассмотрим теперь примерное устройство, которое может применяться для реализации одного или более вариантов осуществления, описанных выше.

Примерное устройство

Фиг.17 иллюстрирует различные компоненты примерного устройства 1700, которое может быть реализовано в виде любого типа переносного и/или вычислительного устройства, как описано со ссылкой на Фиг.1 и 2, для реализации техник жестов, описанных в данном документе. Устройство 1700 включает в себя устройства 1702 связи, которые обеспечивают проводную и/или беспроводную передачу данных 1704 устройства (например, принятых данных, данных, которые принимаются, данных, запланированных для широковещания, пакетов этих данных и т.д.). Данные 1704 устройства или другой контент устройства может включать в себя настройки конфигурации устройства, медиа-контент, хранимый на устройстве, и/или информацию, связанную с пользователем устройства. Медиа-контент, хранимый на устройстве 1700, может включать в себя любой тип аудиоданных, видеоданных и/или данных изображения. Устройство 1700 включает в себя один или более устройств 1706 ввода данных, посредством которых может быть принят любой тип данных, медиа-контента и/или вводов, таких как выбираемые пользователем вводы, сообщения, музыка, телевизионный медиа-контент, записанный видео-контент и любой тип аудиоданных, видеоданных и/или данных изображения, принятых от любого источника контента и/или данных.

Устройство 1700 также включает в себя интерфейсы 1708 связи, которые могут быть реализованы в виде любого одного или более из последовательного и/или параллельного интерфейса, беспроводного интерфейса, любого типа сетевого интерфейса, модема и в виде любого другого типа интерфейса связи. Интерфейсы 1708 связи обеспечивают соединение и/или линии связи между устройством 1700 и сетью связи, посредством которой электронные устройства, вычислительные устройства и устройства связи обмениваются данными с устройством 1700.

Устройство 1700 включает в себя один или более процессоров 1710 (например, любой из микропроцессоров, контроллеров и т.п.), которые обрабатывают различные машиноисполняемые или машиночитаемые инструкции для управления работой устройства 1700 и реализации описанных выше вариантов осуществления жестов. В качестве альтернативы или дополнения устройство 1700 может быть реализовано с помощью любого одного или комбинации аппаратного обеспечения, аппаратно-программного обеспечения или схемы с фиксированными логическими функциями, реализованной с использованием схем управления и обработки, которые в целом обозначены как 1712. Хотя не показано, устройство 1700 может включать в себя системную шину или систему передачи данных, которая связывает различные компоненты внутри устройства. Системная шина может включать в себя любую одну или комбинацию разных структур шин, таких как шина памяти или контроллер памяти, периферийная шина, универсальная последовательная шина и/или шина процессора или локальная шина, которая использует любую из всевозможных архитектур шины.

Устройство 1700 также включает в себя машиночитаемый носитель 1714, например, один или более компонентов памяти, примеры которых включают в себя оперативное запоминающее устройство (RAM), энергонезависимую память (например, любое одно или более из постоянного запоминающего устройства (ROM), флэш-памяти, EPROM, EEPROM и т.д.) и дисковое запоминающее устройство. Дисковое запоминающее устройство может быть реализовано в виде любого типа магнитного или оптического запоминающего устройства, такого как жесткий диск, записываемый компакт-диск (CD) или компакт-диск многократной записи, любой тип универсального цифрового диска (DVD) и т.п. Устройство 1700 может также включать в себя запоминающее устройство 1716 большой емкости.

Машиночитаемый носитель 1714 обеспечивает механизмы хранения данных для хранения данных 1704 устройства, а также различных приложений 1718 устройства и любых других типов информации и/или данных, относящихся к функциональным аспектам устройства 1700. Например, операционная система 1720 может храниться в виде компьютерного приложения на машиночитаемом носителе 1714 и выполняться на процессорах 1710. Приложения 1718 устройства могут включать в себя диспетчер устройств (например, управляющее приложение, программное приложение, модуль сигнальной обработки и управления сигналами, код, который присущ определенному устройству, уровень аппаратных абстракций для определенного устройства и т.д.), а также другие приложения, которые могут включать в себя веб-браузеры, приложения для обработки изображений, приложения для связи, такие как приложения для мгновенной передачи сообщений, приложения для обработки слов и всевозможные другие разные приложения. Приложения 1718 устройства также включают в себя любые системные компоненты или модули для реализации вариантов осуществления техник жестов, описанных в данном документе. В этом примере приложения 1718 устройства включают в себя интерфейсное приложение 1722 и драйвер 1724 для сбора информации о жестах, которые показаны в виде программных модулей и/или компьютерных приложений. Драйвер 1724 для сбора информации о жестах представляет собой программное обеспечение, которое используется для обеспечения взаимодействия с устройством, выполненным с возможностью сбора данных о жесте, таким как сенсорный экран, сенсорная панель, камера и т.д. В качестве альтернативы или дополнения интерфейсное приложение 1722 и драйвер 1724 для сбора данных о жестах могут быть реализованы в виде аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения или любой их комбинации.

Устройство 1700 также включает в себя систему 1726 ввода-вывода аудио и/или видео, которая предоставляет аудиоданные аудиосистеме 1728 и/или предоставляет видеоданные системе 1730 отображения. Аудиосистема 1728 и/или система 1730 отображения могут включать в себя любые устройства, которые обрабатывают, отображают и/или иным образом воспроизводят аудиоданные, видеоданные и данные изображения. Видеосигналы и аудиосигналы могут передаваться от устройства 1700 аудиоустройству и/или устройству отображения через линию радиочастотной (РЧ) связи, линию связи для передачи раздельного видео, линию связи для передачи композитного видео, линию связи для передачи компонентного видео, DVI (цифровой видеоинтерфейс), аналоговое аудиосоединение или другую подобную линию связи. В одном варианте осуществления аудиосистема 1728 и/или система 1730 отображения реализованы в виде внешних компонентов к устройству 1700. В качестве альтернативы, аудиосистема 1728 и/или система 1730 отображения реализованы в виде интегральных компонентов примерного устройства 1700.

Заключение

Описаны жесты скольжения по диагонали для сенсорных устройств отображения. В по меньшей мере некоторых вариантах осуществления жесты скольжения по диагонали могут использоваться в отношении контента, который панорамируется или прокручивается в одном направлении, чтобы обеспечить дополнительные действия, такие как выбор контента, операции «перетащить и отпустить» и т.п.

В одном или более вариантах осуществления жест скольжения по диагонали может выполняться посредством перетаскивания элемента или объекта в направлении, которое отлично от направления прокрутки. Перетаскивание в упомянутом отличном направлении может ставиться в соответствие дополнительным действиям или функциональным возможностям. В одном или более вариантах осуществления может использоваться один или более порогов, таких как порог расстояния, в сочетании с перетаскиванием в упомянутом отличном направлении для соотнесения с дополнительными действиями или функциональными возможностями.

В по меньшей мере некоторых вариантах осуществления так называемые ограничители скорости могут использоваться для информирования или предоставления сведений пользователю о порогах.

Хотя варианты осуществления были описаны на языке, характерном для структурных элементов и/или методических этапов, должно быть понятным, что варианты осуществления, определенные в приложенной формуле изобретения, необязательно ограничены описанными конкретными признаками или этапами. Напротив, конкретные признаки и этапы раскрыты в качестве примерных форм реализации предложенных вариантов осуществления.

Группа изобретений относится к интерфейсам, обеспечивающим ввод информации. Технический результат – повышение точности ввода информации. Для этого предложены средства, в которых используются жесты скольжения по диагонали сенсорных устройств отображения. При этом, жесты скольжения по диагонали могут использоваться в отношении контента, который панорамируется или прокручивается в одном направлении, чтобы обеспечить дополнительные действия, такие как выбор контента, операции «перетащить и отпустить» и т.п. Жест скольжения по диагонали может выполняться посредством перетаскивания элемента или объекта в направлении, которое отлично от направления прокрутки. Перетаскивание в упомянутом отличном направлении может соотноситься с дополнительными действиями или функциональными возможностями. При этом используются один или более порогов, таких как порог расстояния, в сочетании с перетаскиванием в упомянутом отличном направлении для соотнесения с дополнительными действиями или функциональными возможностями. 3 н. и 17 з.п. ф-лы, 17 ил.

1. Компьютерно-реализуемый способ обработки ввода жестом скольжения, содержащий этапы, на которых:

обнаруживают ввод жестом скольжения в отношении устройства отображения из состава вычислительного устройства;

определяют, что направление ввода жестом скольжения отличается от направления панорамирования или прокрутки; и

в ответ на ввод жестом скольжения, происходящий в направлении, которое отличается от направления панорамирования или прокрутки, обеспечивают пользователю, в качестве обратной связи от ввода жестом, эффект ограничения скорости, который заключается в замедлении по отношению к вводу жестом скольжения, при этом эффект ограничения скорости связан с ограничителем скорости, являющимся воспринимаемым средством индикации, которым задается порог расстояния;

определяют, что ввод жестом скольжения выходит за порог расстояния;

в качестве реакции на то, что ввод жестом скольжения выходит за порог расстояния, удаляют эффект ограничения скорости, соответствующий обратной связи от ввода жестом; и

выполняют первое действие, относящееся к объекту.

2. Способ по п. 1, в котором при упомянутом определении того, что направление ввода жестом скольжения отличается от направления панорамирования или прокрутки, определяют, что ввод жестом скольжения имеет место в отношении объекта, отображаемого на устройстве отображения; при этом упомянутое обеспечение, в качестве обратной связи от ввода жестом, эффекта ограничения скорости содержит то, что перемещение данного объекта является более медленным, чем ввод жестом скольжения, и осуществляется в том же направлении, что и ввод жестом скольжения.

3. Способ по п. 1, дополнительно содержащий этапы, на которых:

обнаруживают второй ввод жестом скольжения в отношении устройства отображения из состава вычислительного устройства;

определяют, что направление второго ввода жестом скольжения отличается от направления панорамирования или прокрутки; и

в ответ на второй ввод жестом скольжения, происходящий в направлении, которое отличается от направления панорамирования или прокрутки, обеспечивают пользователю, в качестве обратной связи от ввода жестом, упомянутый эффект ограничения скорости, который заключается в замедлении по отношению ко второму вводу жестом скольжения; и

определяют, что второй ввод жестом скольжения не выходит за упомянутый порог расстояния; и

в качестве реакции на то, что второй ввод жестом скольжения не выходит за порог расстояния, выполняют второе действие, относящееся к объекту.

4. Способ по п. 3, в котором второе действие, относящееся к объекту, представляет собой выбор объекта.

5. Способ по п. 4, в котором первое действие, относящееся к объекту, представляет собой действие перестановки.

6. Способ по п. 1, в котором при выполнении первого действия, относящегося к объекту, выполняют одно из множества действий, относящихся к объекту, которые доступны через ввод жестом скольжением, происходящий в направлении, которое отличается от направления панорамирования или прокрутки.

7. Способ по п. 1, в котором упомянутое направление, которое отличается от направления панорамирования или прокрутки, представляет собой направление, которое, в целом, ортогонально направлению панорамирования или прокрутки.

8. Способ по п. 1, в котором первое действие, относящееся к объекту, представляет собой действие перестановки.

9. Машиночитаемый носитель данных, на котором воплощены машиночитаемые инструкции, которыми при их исполнении реализуется способ, содержащий этапы, на которых:

обнаруживают направление перетаскивания, связанное с операцией перетаскивания, каковое обнаружение выполняется посредством обнаружения ввода перетаскиванием в направлении перетаскивания и в пределах области ограничения скорости, в которой пользователю обеспечивается обратная связь от ввода перетаскиванием, при этом обратная связь от ввода перетаскиванием включает более медленное перемещение, чем ввод перетаскиванием в направлении перетаскивания; и

в ответ на то, что направление перетаскивания отличается от направления панорамирования и что ввод перетаскиванием пересекает область ограничения скорости, удаляют обратную связь от ввода перетаскиванием и выполняют действие перестановки объекта.

10. Машиночитаемый носитель данных по п. 9, при этом обнаружение направления перетаскивания выполняется посредством обнаружения направления перетаскивания, связанного с жестом касания.

11. Машиночитаемый носитель данных по п. 9, при этом направление панорамирования является одним из, в целом, вертикального направления и, в целом, горизонтального направления по отношению к устройству отображения, при этом направление перетаскивания является, в целом, ортогональным направлению панорамирования.

12. Машиночитаемый носитель данных по п. 9, при этом упомянутое обнаружение направления перетаскивания содержит обнаружение направления перетаскивания, которое имеет место в пределах диапазона углов.

13. Машиночитаемый носитель данных по п. 9, при этом упомянутое выполнение действия перестановки объекта осуществляется в ответ на обнаружение порогового инициирующего события, связанного с областью ограничения скорости.

14. Машиночитаемый носитель данных по п. 9, при этом упомянутое выполнение действия перестановки объекта осуществляется в ответ на обнаружение порогового инициирующего события, связанного с расстоянием операции перетаскивания.

15. Машиночитаемый носитель данных по п. 9, при этом упомянутое выполнение действия перестановки объекта осуществляется в ответ на обнаружение порогового инициирующего события, связанного с расстоянием, при этом по меньшей мере одно другое действие, отличающееся от действия перестановки объекта, приспособлено выполняться в ответ на по меньшей мере одно другое соответственное инициирующее событие в направлении перетаскивания, причем данное по меньшей мере одно другое соответственное инициирующее событие отличается от вышеупомянутого инициирующего события.

16. Компьютерная система, сконфигурированная для обработки жестов скольжения по диагонали, при этом система содержит:

один или более процессоров;

одно или более машиночитаемых запоминающих устройств; и

приложение, воплощенное на одном или более машиночитаемых запоминающих устройствах, каковое приложение, при его исполнении одним или более процессорами, выполнено с возможностью осуществлять способ, содержащий операции, чтобы:

обнаруживать жест скольжения по диагонали в направлении, которое отличается от направления панорамирования;

в ответ на данное обнаружение, обнаруживать одно из множественных пороговых инициирующих событий, связанных с жестом скольжения по диагонали, при этом отдельные пороговые инициирующие события соответствуют разным действиям, относящимся к объекту;

обнаруживать, указывает ли пользовательское действие, что должно быть выполнено соответствующее действие, относящееся к объекту;

в ответ на указание пользовательским действием того, что соответствующее действие, относящееся к объекту, должно быть выполнено, выполнять первое относящееся к объекту действие, соответствующее порогу, инициированному последним, причем первое относящееся к объекту действие является по меньшей мере одним из упомянутых разных действий, относящихся к объекту.

17. Система по п. 16, в которой упомянутые множественные пороговые инициирующие события содержат инициирующие события, связанные с порогом расстояния.

18. Система по п. 16, в которой операции дополнительно содержат предоставление визуальной обратной связи в качестве реакции на обнаружение жеста скольжения по диагонали, чтобы обеспечить различимость порогов.

19. Система по п. 16, в которой операции дополнительно содержат предоставление визуальной обратной связи в качестве реакции на обнаружение жеста скольжения по диагонали, чтобы обеспечить различимость порогов, при этом визуальная обратная связь предоставляется в пределах области, в которой объект, являющийся целевым объектом жеста скольжения по диагонали, перемещается медленнее, чем телодвижение, которым выполняется жест скольжения по диагонали.

20. Система по п. 16, в которой операции дополнительно содержат, в ответ на обнаружение упомянутого одного из множественных пороговых инициирующих событий, изменение взаимодействия с пользователем, связанного с областью, внутри которой осуществляется жест скольжения по диагонали.