КРАЕВОЙ ЖЕСТ Российский патент 2016 года по МПК G06F3/488 G06F3/14 

УРОВЕНЬ ТЕХНИКИ

Обычные методы выбора пользовательского интерфейса, который в настоящий момент не является видимым на дисплее, часто смущают, занимают ценное пространство дисплея, не могут везде применяться на разных устройствах или обеспечивают плохой опыт взаимодействия пользователя.

Некоторые обычные методы, например, позволяют выполнять выбор пользовательского интерфейса посредством экранных элементов управления на панели задач, в пределах плавающего окна или на кадре окна. Эти экранные элементы управления, однако, занимают ценное доступное на дисплее пространство и могут раздражать пользователей тем, что требуют, чтобы пользователи находили и выбирали правильный элемент управления.

Некоторые другие обычные методы позволяют выполнять выбор пользовательского интерфейса посредством аппаратных средств, таких как быстрые клавиши и кнопки. В лучшем случае, эти методы требуют, чтобы пользователи помнили, какую клавишу, комбинацию клавиш или аппаратную кнопку выбрать. Даже в этом наилучшем случае пользователи часто случайно выбирают клавиши или кнопки. Кроме того, во многих случаях не могут везде применяться методы выбора аппаратных средств, так как аппаратные средства на вычислительных устройствах могут изменяться в соответствии с моделью, поколением, поставщиком или производителем устройства. В таких случаях, любые методы не будут работать или будут работать по-разному на разных вычислительных устройствах. Осложняет проблему то, что пользователям необходимо помнить правильные аппаратные средства, так как многие пользователи имеют многочисленные устройства, и, поэтому, им может быть необходимо помнить разные выборы аппаратных средств для разных устройств. Кроме того, для многих вычислительных устройств выбор аппаратных средств заставляет пользователей заниматься вычислительным устройством вне нормального хода взаимодействия пользователя, например, когда устройство с сенсорным экраном требует, чтобы пользователь сменил его или ее ментальную и физическую ориентацию с взаимодействий на основе дисплея на взаимодействия на основе аппаратных средств.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Данный документ описывает методики и устройства, позволяющие выполнять краевой жест. В некоторых вариантах осуществления эти методики и устройства позволяют выполнять выбор пользовательского интерфейса, не видимого в настоящий момент на дисплее, посредством краевого жеста, который легко использовать и запомнить.

Это краткое изложение сущности изобретения обеспечивается для введения упрощенных принципов, делающих возможным краевой жест, который дополнительно описывается ниже в разделе «Подробное описание». Это краткое изложение сущности изобретения не предназначено ни для определения существенных признаков заявленного изобретения, ни для использования при определении объема заявленного изобретения. Методики и/или устройства, позволяющие выполнять краевой жест, также упоминаются в данном документе отдельно или вместе в качестве «методик», разрешенных контекстом.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления, позволяющие выполнять краевой жест, описываются с ссылкой на нижеследующие чертежи. Одинаковые позиции используются на чертежах для ссылки на подобные признаки и компоненты:

Фиг.1 иллюстрирует примерную систему, в которой могут быть реализованы методики, позволяющие выполнять краевой жест.

Фиг.2 иллюстрирует примерный способ, позволяющий выполнять краевые жесты, основанный на том, что краевой жест приблизительно перпендикулярен краю, у которого жест начинается.

Фиг.3 иллюстрирует примерное планшетное вычислительное устройство, имеющее сенсорный дисплей, представляющий иммерсивный интерфейс.

Фиг.4 иллюстрирует примерный иммерсивный интерфейс по фиг.3 вместе с примерными краями.

Фиг.5 иллюстрирует примерный иммерсивный интерфейс по фиг.3 и 4 вместе с линиями углового отклонения от перпендикулярной линии и линии от начальной точки до более поздней точки жеста.

Фиг.6 иллюстрирует края иммерсивного интерфейса, показанного на фиг.4, вместе с двумя зонами на правом краю.

Фиг.7 иллюстрирует интерфейс выбора приложения, представленный модулем системного интерфейса в ответ на краевой жест и над иммерсивным интерфейсом и веб-страницей по фиг.3.

Фиг.8 иллюстрирует примерный способ, позволяющий выполнять краевые жесты, включающий в себя определение интерфейса для представления, основываясь на некотором факторе жеста.

Фиг.9 иллюстрирует примерный способ, позволяющий выполнять расширение представления или прекращение представления пользовательского интерфейса, представленного в ответ на краевой жест, или представление другого пользовательского интерфейса.

Фиг.10 иллюстрирует портативный компьютер, имеющий сенсорный дисплей, имеющий оконный интерфейс электронной почты и два иммерсивных интерфейса.

Фиг.11 иллюстрирует интерфейсы по фиг.10 вместе с двумя жестами, имеющими начальную точку, более поздние точки и одну или несколько последующих точек.

Фиг.12 иллюстрирует оконный интерфейс электронной почты по фиг.10 и 11 вместе с интерфейсом обработки электронной почты в ответ на краевой жест.

Фиг.13 иллюстрирует интерфейсы по фиг.12 вместе с интерфейсом дополнительных вариантов выбора электронной почты, представленным в ответ на жест, определенный, что он имеет последующую точку на заданном расстоянии от края.

Фиг.14 иллюстрирует примерное устройство, в котором могут быть реализованы методики, позволяющие выполнять краевые жесты.

ПОДРОБНОЕ ОПИСАНИЕ

Обзор

Данный документ описывает методики и устройства, позволяющие выполнять краевой жест. Эти методики позволяют пользователю быстро и легко выбрать интерфейс, не видимый в настоящий момент на устройстве пользователя, а также другие операции.

Рассмотрим случай, когда пользователь просматривает фильм на планшетном вычислительном устройстве. Предположим, что фильм воспроизводится на иммерсивном интерфейсе, занимающем весь дисплей, и что пользователь хотел бы проверить свою веб-страницу социальной сети без остановки фильма. Описанные методики и устройства позволяют ей выбрать другие интерфейсы посредством простого жеста проведения пальцем, начинаемого на краю ее дисплея. Она может провести пальцем с одного края ее дисплея и вытащить пользовательский интерфейс, позволяющий ей выбрать свой веб-сайт социальной сети. Или, вместо этого, предположим, что она хотела бы взаимодействовать с мультимедийным приложением, воспроизводящим фильм таким образом, который не разрешается иммерсивным интерфейсом, например, отобразить меню, делающее возможным субтитры или комментарии режиссера. Она может провести пальцем с другого края дисплея ее планшета и извлечь меню управления для иммерсивного интерфейса и быстро и легко выбрать элементы и/или команды из этого меню.

В обоих этих случаях, ценное доступное пространство, используемое для воспроизведения фильма, не занималось экранными элементами управления, и пользователю не требовалось запоминать и находить аппаратную кнопку. Кроме того, ни один жест, кроме одного, начинающегося от края, не используется предлагаемыми методиками в данном примере, тем самым позволяя иммерсивному интерфейсу использовать почти все обычно доступные жесты. Кроме того, рассматривая краевые жесты или части их, предлагаемые методики не оказывают влияние на рабочие характеристики жеста или систему сенсорного ввода, так как краевые жесты могут быть обработаны перед тем, как весь жест будет завершен, избегая задержки, связанной с обработкой всех жестов, начатых где-то в другом месте.

Это только два примера из многочисленных путей, в которых предложенные здесь методики делают возможными и используют краевые жесты, прочие из которых описываются ниже.

Примерная система

Фиг.1 иллюстрирует примерную систему 100, в которой могут быть воплощены методики, позволяющие выполнять краевой жест. Система 100 включает в себя вычислительное устройство 102, которое изображено с шестью примерами: портативный компьютер 104, планшетный компьютер 106, смартфон 108, телевизионная абонентская приставка 110, настольный компьютер 112 и игровое устройство 114, хотя также могут использоваться другие вычислительные устройства и системы, такие как серверы и нетбуки.

Вычислительное устройство 102 включает в себя процессор(-ы) 116 компьютера и считываемые компьютером носители 118 данных (носители 118). Носители 118 включают в себя операционную систему 120, модуль 122 оконного режима, модуль 124 иммерсивного режима, модуль 126 системного интерфейса, обработчик 128 жестов и одно или несколько приложений 130, причем каждое имеет одно или несколько пользовательских интерфейсов 132 приложения.

Вычислительное устройство 102 также включает в себя или имеет доступ к одному или нескольким дисплеям 134 и механизмам 136 ввода. Четыре примерных дисплея показаны на фиг.1. Механизмы 136 ввода могут включать в себя, например, чувствительные к жестам датчики и устройства, такие как сенсорные датчики и датчики отслеживания движения (например, на основе камеры), а также мыши (автономные или интегральные с клавиатурой), сенсорные площадки и микрофоны с сопровождающим программным обеспечением распознавания голоса. Механизмы 136 ввода могут быть отдельными или интегральными с дисплеями 134; интегральные примеры включают в себя чувствительные к жестам дисплеи с интегрированными чувствительными к касанию или чувствительными к движению датчиками.

Модуль 122 оконного режима представляет пользовательские интерфейсы 132 приложения посредством окон, имеющих фреймы. Эти фреймы могут обеспечивать элементы управления, посредством которых можно взаимодействовать с приложением, и/или элементы управления, позволяющие пользователю перемещать и изменять размер окна.

Модуль 124 иммерсивного режима обеспечивает окружение, посредством которого пользователь может просматривать и взаимодействовать с одним или несколькими приложениями 130 при помощи пользовательских интерфейсов 132 приложения. В некоторых вариантах осуществления это окружение представляет содержимое приложений и делает возможным взаимодействие с приложениями с малым фреймом окна или без фрейма окна и/или без необходимости для пользователя уметь обращаться с компоновкой фрейма окна или первичностью относительно других окон (например, какое окно является активным или находится впереди) или вручную изменять размер или располагать пользовательские интерфейсы 132 приложения.

Это окружение, но это не требуется, может размещаться и/или возникать без использования оконного окружения, реализующей концепцию рабочего стола. Таким образом, в некоторых случаях модуль 124 иммерсивного режима представляет иммерсивную среду, которая не является окном (даже без реального фрейма) и предотвращает использование дисплеев, подобных рабочему столу (например, панель задач). Кроме того, в некоторых вариантах осуществления эта иммерсивная среда подобна операционной системе в том, что она не является закрываемой или способной деинсталлироваться. Когда она не требуется, в некоторых случаях эта иммерсивная среда дает возможность использовать все или почти все пиксели дисплея приложениями. Примеры иммерсивных сред приводятся ниже как часть описания предлагаемых методик, хотя они не являются исчерпывающими или они не предназначены для ограничения методик, описанных в данном документе.

Модуль 126 системного интерфейса обеспечивает один или несколько интерфейсов, посредством которых делается возможным взаимодействие с операционной системой 120, такие как, например, запускающий приложение интерфейс, меню запуска или системные инструментальные средства или меню вариантов выбора.

Операционная система 120, модули 122, 124 и 126, а также обработчик 128 жестов могут быть отдельными друг от друга или объединенными или интегрированными в любую подходящую форму.

Примерные способы

Фиг.2 описывает способ 200, позволяющий выполнять краевые жесты, основываясь на том, что краевой жест приблизительно перпендикулярен краю, на котором начинается жест. В частях последующего описания ссылка может делаться на систему 100 по фиг.1, ссылка на которую делается только для примера.

На этапе 202 принимают жест. Этот жест может приниматься в различных частях дисплея, таких как над оконным интерфейсом, иммерсивным интерфейсом или без интерфейса. Кроме того, этот жест может выполняться и приниматься различным образом, таким как указатель, отслеживающий перемещение, принимаемое посредством сенсорной панели, мыши или перекатываемого шарика, или физическое движение, выполненное рукой(-ами), пальцем(-ами) или стилусом, принятое посредством чувствительного к движению или чувствительного к касанию механизма. В некоторых случаях, жест принимается вне или близко к физическому краю дисплея (например, когда палец или стилус встречается с краем дисплея) посредством, например, сенсорного цифрового преобразователя, емкостного сенсорного экрана или емкостного датчика.

В качестве примера рассмотрим фиг.3, которая иллюстрирует планшетное вычислительное устройство 106. Планшет 106 включает в себя сенсорный дисплей 302, показанный отображающим иммерсивный интерфейс 304, который включает в себя веб-страницу 306. В качестве части текущего примера, на этапе 202 обработчик 128 жестов принимает жест 308, как показано на фиг.3.

На этапе 204 определяют, находится ли начальная точка жеста на краю. Как отмечено выше, рассматриваемым краем может быть край пользовательского интерфейса, или иммерсивного, или оконного, и/или дисплея. В некоторых случаях, конечно, краем пользовательского интерфейса также является край дисплея. Размер края может изменяться, основываясь на различных факторах касаемо дисплея или интерфейса. Малый дисплей или интерфейс может иметь меньший размер в абсолютных или пиксельных выражениях, чем большой дисплей или интерфейс. Высокочувствительный механизм ввода также допускает меньший край. В некоторых случаях, край может простираться за край дисплея или экрана, когда механизм ввода способен принимать часть жеста за пределами дисплея или экрана. Примерные края являются прямоугольником и изменяются от одного до двадцати пикселей по одной размерности и границей интерфейса в интерфейсе или дисплее по другой размерности, хотя вместо этого могут использоваться другие размеры и формы, включая выпуклые и вогнутые края.

Продолжая текущий пример, рассмотрим фиг.4, которая иллюстрирует иммерсивный интерфейс 304 и жест 308 по фиг.3, а также левый край 402, верхний край 404, правый край 406 и нижний край 408. Для визуальной ясности веб-страница 306 не показана. В данном примере размерности интерфейса и дисплея имеют умеренные размеры, между размерами смартфонов и размерами многочисленных портативных и настольных дисплеев. Края 402, 404, 406 и 408 имеют малую размерность в двадцать пикселей или около 10-15 мм в абсолютных выражениях, причем область каждого показана ограниченной пунктирными линиями на двадцати пикселях от границы дисплея на границах 410, 412, 414 и 416 края соответственно.

Обработчик 128 жестов определяет, что жест 308 имеет начальную точку 418 и что эта начальная точка 418 находится в пределах левого края 402. Обработчик 128 жестов определяет начальную точку в данном случае посредством приема данных, указывающих координаты [X, Y] в пикселях, на которых жест 308 начинается, и сравнения первой из этих координат с теми пикселями, которые содержатся в пределах каждого края 402-408. Обработчик 128 жестов часто может определять начальную точку и то, находится ли она на краю, быстрее частоты дискретизации, таким образом вызывая малое или отсутствие снижения рабочих характеристик, по сравнению с методами, которые просто передают жесты непосредственно на видимый интерфейс, над которым выполняется жест.

Возвращаясь, в целом, к способу 200, если на этапе 204 определено, что начальная точка жеста не находится на краю, способ 200 переходит по пути «Нет» на этап 206. На этапе 206 передают жесты на видимый пользовательский интерфейс, такой как расположенный снизу интерфейс, над которым принимается жест. Изменяя текущий пример, предположим, что было определено, что жест 308 не имеет начальной точки в пределах края. В таком случае обработчик 128 жестов передает буферизованные данные для жеста 308 на иммерсивный пользовательский интерфейс 304. После передачи жеста способ 200 завершается.

Если на этапе 204 определено, что начальная точка жеста находится на краю, способ 200 переходит по пути «Да» на этап 208. В необязательном порядке, на этапе 204 может быть определена длина части жеста перед переходом способа на этап 208. В некоторых случаях определение длины части жеста позволяет выполнять определение начальной точки перед завершением жеста. Этап 208 реагирует на положительное определение по этапу 204 определением того, является ли линия от начальной точки до более поздней точки жеста приблизительно перпендикулярной краю.

На этапе 208 в некоторых вариантах осуществления определяют используемую более позднюю точку. Обработчик 128 жестов, например, может определить более позднюю точку жеста, основываясь на том, что более поздняя точка принимается на заранее заданном расстоянии от края или начальной точки, такой как вне границы 410 края для края 402, или через двадцать пикселей от начальной точки 418, все на фиг.4. В некоторых других вариантах осуществления обработчик 128 жестов определяет более позднюю точку, основываясь на том, что она принимается через заранее заданное время после приема начальной точки, такая величина времени несколько больше, чем используемая, как правило, вычислительным устройством 102 для определения того, что жестом является жест касания и удержания или парящий жест.

Для текущего варианта осуществления обработчик 128 жестов использует принятую позже точку жеста 308, принятую вне края 402, если только принятая позже точка принимается в течение заранее заданного времени. Если не принимается никакая точка вне края в течение заранее заданного времени, обработчик 128 жестов переходит на этап 206 и передает жест 308 иммерсивному интерфейсу 304.

Используя начальную точку, на этапе 208 определяют, является ли линия от начальной точки до более поздней точки жеста приблизительно перпендикулярной краю. Различные углы отклонения могут использоваться при данном определении по этапу 208, такие как пять, десять, двадцать или тридцать градусов.

В качестве примера, рассмотрим угол отклонения в тридцать градусов от перпендикуляра. Фиг.5 иллюстрирует это примерное отклонение, изображая иммерсивный интерфейс 304, жест 308, левый край 402, левую границу 410 края и начальную точку 418 по фиг.3 и 4 вместе с линиями 502 отклонения в тридцать градусов от линии 504 перпендикуляра. Таким образом, обработчик 128 жестов определяет, что линия 506 от начальной точки 418 до более поздней точки 508 (которая находится на примерно двадцати градусах от перпендикуляра) является приблизительно перпендикулярной, основываясь на нахождении в пределах линии 502 примерного отклонения в тридцать градусов.

Как правило, если на этапе 208 определено, что линия не является приблизительно перпендикулярной краю, способ 200 переходит по пути «Нет» на этап 206 (например, траектория пальца изогнута). Как отмечено частично выше, на этапе 208 также может быть определено, что более поздняя точка или другой аспект жеста дисквалифицирует жест. Примеры включают в себя то, что, когда более поздняя точка находится в пределах края, например, из-за жеста парения, касания, нажатия и удержания или вверх и вниз (например, для прокрутки содержимого в пользовательском интерфейсе), когда, как установлено, жестом является жест единственного ввода и принимается второй ввод (например, первый палец начинает на краю, но второй палец затем соприкасается где-нибудь еще), или если событие касания происходит во время или перед жестом (например, палец уже выполняет соприкосновение где-то в другом месте, или соприкосновение принимается где-то в другом месте во время жеста).

Если на этапе 208 определено, что линия является приблизительно перпендикулярной, на основе более поздней точки вне края, способ 200 переходит по пути «Да» на этап 210.

Этап 210 реагирует на положительное определение по этапу 208 посредством передачи жеста на объект, отличающийся от видимого пользовательского интерфейса. Этим объектом не является пользовательский интерфейс, над которым был принят жест, предполагая, что он вообще был принят над пользовательским интерфейсом. На этапе 210 может быть определено, какому объекту также передать жест, например, основываясь на крае или зоне края, в которой принимается начальная точка жеста. Рассмотрим фиг.6, например, которая иллюстрирует иммерсивный интерфейс 304 и края 402, 404, 406 и 408 на фиг.4, но добавляет верхнюю зону 602 и нижнюю зону 604 к правому краю 406. Начальная точка в верхней зоне 602 может приводить к другому объекту (или даже этому же объекту, но другому пользовательскому интерфейсу, обеспечиваемому в ответ), чем начальная точка, принятая нижней зоной 604. Аналогично, начальная точка на верхнем краю 404 может приводить к другому объекту или интерфейсу, чем левый край 402 или нижний край 408.

В некоторых случаях, этим объектом является приложение, ассоциированное с пользовательским интерфейсом. В таком случае, передача жеста объекту может быть действующей для того, чтобы вызвать представление приложением второго пользовательского интерфейса, позволяющего выполнять взаимодействие с приложением. В вышеприведенном примере с фильмом объектом может быть медиаплеер, воспроизводящий фильм, но не иммерсивный интерфейс, отображающий фильм. Медиаплеер может затем представить второй пользовательский интерфейс, позволяющий выполнять выбор субтитров или комментарий режиссера, а не выбор, предоставляемый интерфейсом, отображающим фильм, такой как «пауза», «воспроизведение» и «останов». Эта возможность разрешается на фиг.1, где одно из приложений 130 может включать в себя или быть способным выполнять представление более одного пользовательского интерфейса 132 приложения. Таким образом, на этапе 210 может передаваться жест модулю 126 системного интерфейса, одному из приложений 130, представляющему в настоящий момент пользовательский интерфейс, или другому из приложений 130, не ограничиваясь перечисленными тремя возможностями.

Завершая текущий вариант осуществления, на этапе 210 обработчик 128 жестов передает жест 308 модулю 126 системного интерфейса. Модуль 126 системного интерфейса принимает буферизованную часть жеста 308 и продолжает принимать остальную часть жеста 308, когда он выполняется пользователем. Фиг.7 иллюстрирует возможную реакцию на прием жеста 308, изображая интерфейс 702 выбора приложения, представленный модулем 126 системного интерфейса, и над иммерсивным интерфейсом 304 и веб-страницей 306 с фиг.3. Интерфейс 702 выбора приложения позволяет выполнять выбор различных других приложений и их соответствующих интерфейсов в выбираемых плитках (tile) 704, 706, 708 и 710 приложения.

Примерный интерфейс 702 выбора приложения представляет собой иммерсивный пользовательский интерфейс, представляемый с использованием модуля 124 иммерсивного режима, хотя это не является жестким требованием. Представленными интерфейсами, или списком их, могут быть, вместо этого, оконные и представленные с использованием модуля 122 на основе окон. Оба этих модуля показаны на фиг.1.

На этапе 210 может, также или вместо этого, быть определено передать жест другим объектам и/или интерфейсам, основываясь на других факторах касаемо принятого жеста. Примерные факторы более подробно описаны в способе 800 ниже.

Отметьте, что способ 200 и другие способы, описанные в данном документе ниже, могут выполняться в реальном времени, например, когда выполняется и принимается жест. Это позволяет, среди прочего, пользовательскому интерфейсу, представляемому в ответ на жест, представляться до завершения жеста. Кроме того, пользовательский интерфейс может представляться постепенно, по мере приема жеста. Это позволяет осуществлять взаимодействие пользователя по вытягиванию пользовательского интерфейса из края в виде жеста с пользовательским интерфейсом, имеющим вид «прилипнувшего» к жесту (например, к точке мыши или пальцу человека, выполняющему жест).

Фиг.8 изображает способ 800, позволяющий выполнять краевые жесты, включая определение интерфейса для представления, основываясь на некоторых факторах жеста. В частях последующего описания ссылка может делаться на систему 100 по фиг.1, ссылка на которую сделана только для примера. Способ 800 может действовать полностью или частично отдельно от других способов, описанных в данном документе, или совместно с ними.

На этапе 802 определяют, что жест, выполненный над пользовательским интерфейсом, имеет начальную точку на краю пользовательского интерфейса и более позднюю точку не в пределах края. Этап 802 может функционировать аналогично способу 200 или использовать его аспекты, такие как определение более поздней точки, на которой основать определение по этапу 802. Этап 802 может осуществляться также по-другому.

В одном случае, например, на этапе 802 определяют, что жестом является жест проведения одним пальцем, начинающийся на краю видимого иммерсивного пользовательского интерфейса и имеющий более позднюю точку не на краю, но не основанную на угле жеста. Основываясь на этом определении, этап 802 переходит к этапу 804, а не передает жест видимому иммерсивному пользовательскому интерфейсу.

На этапе 804 определяют, какой интерфейс представлять, основываясь на одном или нескольких факторах жеста. Этап 804 может делать это, основываясь на окончательной или промежуточной длине жеста, того, является ли жест с единственной точкой или с многими точками (например, одним пальцем или многими пальцами), или скорости жеста. В некоторых случаях, два или более факторов жеста определяют, какой интерфейс представить, такого как жест перетаскивания и удержания, имеющий длину перетаскивания и время удержания, или жест перетаскивания и размещения, имеющий длину перетаскивания и позицию размещения. Таким образом, на этапе 804 может быть определено представить меню запуска в ответ на жест многими пальцами, интерфейс выбора приложения в ответ на относительно короткий жест одним пальцем или, например, интерфейс управления системой, позволяющий выполнять выбор для отключения вычислительного устройства 102 в ответ на относительно длинный жест одним пальцем. Чтобы это сделать, обработчик 128 жестов может определять длину жеста, скорость или число вводов (например, пальцев).

В ответ, на этапе 806 представляют определенный пользовательский интерфейс. Определенным пользовательским интерфейсом может быть любой из этих упомянутых в данном документе, а также полностью новый визуальный объект, такой как новая страница электронной книги, дополнительный визуальный объект (например, панель инструментов или навигационная панель) или модифицированный вид текущего пользовательского интерфейса (представляющего текст текущего пользовательского интерфейса с другим шрифтом, цветом или подсвечиванием). В некоторых случаях, могут представляться визуальные или невизуальные эффекты, такие как действия, относящиеся к видеоигре, или звуковые эффекты, ассоциированные с текущим или представленным пользовательским интерфейсом.

Предположим, в качестве примера, что обработчик 128 жестов определяет, основываясь на факторе жеста, представить пользовательский интерфейс, позволяющий выполнять взаимодействие с операционной системой 120. В ответ модуль 126 системного интерфейса представляет данный пользовательский интерфейс. Представление пользовательского интерфейса может осуществляться подобным образом, описанным в других способах, например, с постепенным отображением пользовательского интерфейса 702 выбора приложения на фиг.7.

После способа 200 и/или способа 800 в целом или частично, предложенные методики могут переходить на выполнение способа 900 по фиг.9. Способ 900 позволяет выполнять расширение пользовательского интерфейса, представление другого интерфейса или прекращение представления пользовательского интерфейса, представленного в ответ на краевой жест.

На этапе 902 принимают последующую точку жеста и после представления по меньшей мере некоторой части второго пользовательского интерфейса. Как отмечено частично выше, способы 200 и/или 800 могут представлять или вызывать представление второго пользовательского интерфейса, такого как второй пользовательский интерфейс для этого же приложения, ассоциированного с текущим пользовательским интерфейсом, другого приложения или системного пользовательского интерфейса.

В качестве примера, рассмотрим фиг.10, которая иллюстрирует портативный компьютер 104, имеющий сенсорный дисплей 1002, отображающий оконный интерфейс 1004 электронной почты и два иммерсивных интерфейса 1006 и 1008. Оконный интерфейс 1004 электронной почты ассоциирован с приложением, которое управляет электронной почтой, которое может быть удаленным или локальным для портативного компьютера 104. Фиг.10 также иллюстрирует два жеста 1010 и 1012. Жест 1010 выполняется прямой линией, тогда как жест 1012 изменяет направление на обратное (показан двумя стрелками, чтобы показать два направления).

Фиг.11 иллюстрирует жест 1010, имеющий начальную точку 1102, более позднюю точку 1104 и последующую точку 1106, и жест 1012, имеющий эту же начальную точку 1102, более позднюю точку 1108 и первую последующую точку 1110 и вторую последующую точку 1112. Фиг.11 также изображает нижний край 1114, область 1116 более поздней точки и область 1118 добавления интерфейса.

На этапе 904 определяют, основываясь на последующей точке, включает ли в себя жест изменение направления на обратное, удлинение или ничего. На этапе 904 может быть определено изменение направления на обратное в направлении жеста посредством определения того, что последующая точка находится на краю или ближе к краю, чем предшествующая точка жеста. На этапе 904 может быть определено, что жест удлиняется, основываясь на том, что последующая точка находится на заранее заданном расстоянии от края или более поздней точки. Если ни одно из перечисленного не определено как истинное, способ 900 может повторять этапы 902 и 904 для приема и анализа дополнительных последующих точек до тех пор, пока не завершится жест. Если на этапе 904 определено, что имеется изменение направления на обратное, способ 900 переходит по пути «Изменение направления на обратное» на этап 906. Если на этапе 904 определено, что жест удлиняется, способ 900 переходит по пути «Удлинение» на этап 908.

В контексте настоящего примера, предположим, что обработчик 128 жестов принимает первую последующую точку 1110 жеста 1012. Обработчик 128 жестов затем определяет, что первая последующая точка 1110 не находится на краю 1114, не находится ближе, чем предшествующая точка жеста к краю 1114 (например, не находится ближе, чем более поздняя точка 1108), и не находится на заранее заданном расстоянии от края или более поздней точки посредством того, что не находится в пределах зоны 1118 добавления интерфейса. В таком случае, способ 900 возвращается на этап 902.

При второй итерации этапа 902 предположим, что обработчик 128 жестов принимает вторую последующую точку 1112. В таком случае, обработчик 128 жестов определяет, что вторая последующая точка 112 находится ближе к краю 1114, чем первая последующая точка 1110 и, таким образом, жест 1012 включает в себя изменение направления на обратное. Обработчик 128 жестов затем переходит на этап 906 для прекращения представления второго пользовательского интерфейса, ранее представленного в ответ на жест. В качестве примера, рассмотрим фиг.12, которая иллюстрирует интерфейс 1202 обработки электронной почты. В данном примерном случае этапа 906 обработчик 128 жестов вызывает прекращение представления приложением электронной почты интерфейса 1202 в ответ на изменение направления на обратное жеста 1012 (не показан удаленным).

На этапе 908, однако, представляют или вызывают представление третьего пользовательского интерфейса или расширение второго пользовательского интерфейса. В некоторых случаях, представление третьего пользовательского интерфейса вызывает прекращение представления второго пользовательского интерфейса посредством либо аннулирования представления, либо скрытия второго пользовательского интерфейса (например, представление третьего пользовательского интерфейса поверх второго пользовательского интерфейса). Продолжая текущий пример, рассмотрим фиг.13, которая иллюстрирует интерфейс 1302 дополнительных опций электронной почты в ответ на определение того, что жест 1010 имеет последующую точку 1106 на заранее заданном расстоянии от края 1104, в данном случае в пределах зоны 1118 добавления интерфейса по фиг.11. Эти зона и заранее заданное расстояние могут устанавливаться на основе размера пользовательского интерфейса, ранее представленного в ответ на жест. Таким образом, пользователь, желающий добавить дополнительные элементы управления, может просто продлить жест за пользовательский интерфейс, представленный в ответ на более раннюю часть жеста.

Способ 900 может повторяться для добавления дополнительных пользовательских интерфейсов или расширения представленного пользовательского интерфейса. Возвращаясь к примерному интерфейсу 702 по фиг.7, например, обработчик 128 жестов может продолжать добавлять интерфейсы или элементы управления к интерфейсу 702, по мере того жест 308 проходит за пределы интерфейса 702, например, посредством представления дополнительного набора выбираемых плиток приложения. Если жест 308 проходит за эти дополнительные плитки, обработчик 128 жестов может вызвать представление модулем 124 системного интерфейса другого интерфейса, рядом с плитками, чтобы дать возможность пользователю выбрать элементы управления, такие как приостановить, ожидать, переключить режимы (иммерсивный на оконный и наоборот) или отключить вычислительное устройство 102.

Хотя вышеприведенные примерные пользовательские интерфейсы, представленные в качестве реакции на краевой жест, являются непрозрачными, они также могут быть частично прозрачными. Это может быть полезным тем, что не загораживает содержимое. В примере с фильмом, описанном выше, представляемый пользовательский интерфейс может быть частично прозрачным, тем самым позволяя то, что фильм только частично загораживается во время использования пользовательского интерфейса. Аналогично, в примере по фиг.12 и 13, интерфейсы 1202 и 1302 могут быть частично прозрачными, тем самым позволяя пользователю видеть текст электронной почты, в тоже время также выбирать элемент управления в одном из интерфейсов.

Предшествующее описание описывает способы, в которых предложенным подходом делаются возможными и используются краевые жесты. Эти способы показаны в виде наборов этапов, которые задают операции, выполняемые, но необязательно ограниченные порядком, показанным для выполнения операций соответствующими блоками.

Аспекты этих способов могут быть реализованы аппаратными средствами (например, неизменяемыми логическими схемами), программно-аппаратными средствами, системой на кристалле (SoC), программными средствами (firmware), ручной обработкой или любой их комбинацией. Программная реализация представляет программный код, который выполняет заданные задачи при его исполнении процессором компьютера, такой как программное обеспечение, приложения, подпрограммы, программы, объекты, компоненты, структуры данных, процедуры, модули, функции и т.п. Программный код может сохраняться на одном или нескольких считываемых компьютером устройствах памяти, как локальных, так и/или удаленных от процессора компьютера. Способы также могут практически использоваться в распределенной вычислительной среде посредством многочисленных вычислительных устройств.

Примерное устройство

Фиг.14 иллюстрирует различные компоненты примерного устройства 1400, которое может быть реализовано в виде любого типа клиента, сервера и/или вычислительного устройства, как описано с ссылкой на предыдущие фиг.1-13, для реализации методик, позволяющих выполнять краевые жесты. В вариантах осуществления устройство 1400 может быть реализовано в виде одного или комбинации проводных и/или беспроводных устройств, в виде телевизионного клиентского устройства (например, телевизионной приставки, цифрового видеозаписывающего устройства (DVR) и т.д.), бытового прибора, вычислительного устройства, серверного устройства, портативного вычислительного устройства, пользовательского устройства, устройства связи, устройства видеообработки и/или рендеринга, бытового устройства, игрового устройства, электронного устройства и/или в виде другого типа устройства. Устройство 1400 также может ассоциироваться с пользователем (например, человеком) и/или объектом, который приводит в действие устройство, так что устройство описывает логические устройства, которые включают в себя пользователей, программное обеспечение, программно-аппаратное обеспечение и/или комбинацию устройств.

Устройство 1400 включает в себя устройства 1402 связи, которые позволяют выполнять проводную и/или беспроводную передачу данных 1404 устройства (например, принятые данные, данные, которые принимаются, данные, запланированные для широковещательной передачи, пакеты данных для данных и т.д.). Данные 1404 устройства или другой контент устройства может включать в себя конфигурационные установки устройства, медиаконтент, хранимый на устройстве, и/или информацию, ассоциированную с пользователем устройства. Медиаконтент, хранимый на устройстве 1400, может включать в себя любой вид данных аудио, видео и/или изображения. Устройство 1400 включает в себя одно или несколько устройств 1406 ввода данных, посредством которых может быть принят любой вид данных, медиаконтента и/или вводов, такой как выбираемые пользователем вводы, сообщения, музыка, телевизионный медиаконтент, записанный видеоконтент и любой другой вид данных аудио, видео и/или изображения, принятых из любого источника контента и/или данных.

Устройство 1400 также включает в себя интерфейсы 1408 связи, которые могут быть реализованы в виде любого одного или нескольких из последовательного и/или параллельного интерфейса, беспроводного интерфейса, любого типа сетевого интерфейса, модема и в виде любого другого вида интерфейса связи. Интерфейсы 1408 связи обеспечивают соединение и/или линии связи между устройством 1400 и сетью связи, посредством которых другие электронные, вычислительные устройства и устройства связи выполняют обмен данными с устройством 1400.

Устройство 1400 включает в себя один или несколько процессоров 1410 (например, любой из микропроцессоров, контроллеров и т.п.), которые обрабатывают различные исполняемые компьютером инструкции, чтобы управлять работой устройства 1400 и делать возможными методики, позволяющие выполнять и/или использовать краевые жесты. Альтернативно или в дополнение, устройство 1400 может быть реализовано с любым одним или комбинацией из аппаратных, программно-аппаратных средств или неизменяемых логических схем, которые реализуются в связи со схемами обработки и управления, которые в целом определены позицией 1412. Хотя не показаны, устройство 1400 может включать в себя системную шину или систему переноса данных, которая соединяет различные компоненты в устройстве. Системная шина может включать в себя любую одну или комбинацию из разных шинных структур, таких как шина памяти или контроллер памяти, периферийная шина, универсальная последовательная шина и/или процессор или локальная шина, которая использует любую из многочисленных шинных архитектур.

Устройство 1400 также включает в себя считываемые компьютером носители 1414 данных, такие как одно или несколько устройств памяти, которые позволяют выполнять долговременное и/или некратковременное хранение данных (т.е. в противоположность простой передаче сигнала), примеры которых включают в себя оперативное запоминающее устройство (RAM), энергонезависимое запоминающее устройство (например, любое одно или несколько из постоянного запоминающего устройства (ROM), флэш-памяти, стираемого программируемого ROM (EPROM), электрически стираемого программируемого ROM (EEPROM) и т.д.) и дисковое запоминающее устройство. Дисковое запоминающее устройство может быть реализовано в виде любого вида магнитного или оптического запоминающего устройства, такого как накопитель на жестких дисках, записываемый и/или перезаписываемый компакт-диск (CD), любой вид цифрового многофункционального диска (DVD) и т.п. Устройство 1400 также может включать в себя устройство 1416 на носителях большой емкости.

Считываемые компьютером носители 1414 данных обеспечивают механизмы хранения данных для хранения данных 1404 устройства, а также различных приложений 1418 устройства и любые другие виды информации и/или данных, относящихся к операционным аспектам устройства 1400. Например, операционная система 1420 может поддерживаться как компьютерное приложение со считываемым компьютером носителями 1414 данных и может исполняться на процессорах 1410. Приложения 1418 устройства могут включать в себя диспетчер устройств, такой как любой вид приложения управления, приложения программного обеспечения, модуль обработки сигнала и управления, код, который является «родным» для конкретного устройства, уровень абстракции аппаратных средств для конкретного устройства и т.п.

Приложения 1418 устройства также включают в себя любые системные компоненты или модули для реализации методик, использующих или делающих возможными краевые жесты. В данном примере, приложения 1418 устройства могут включать в себя модуль 122 системного интерфейса, обработчик 128 жестов и приложение(-я) 130.

Заключение

Хотя варианты осуществления методик и устройств, делающих возможными краевой жест, были описаны на языке, характерном для признаков и/или способов, необходимо понять, что объем, определяемый прилагаемой формулой изобретения, необязательно ограничивается описанными конкретными признаками или способами. Скорее, конкретные признаки и способы описываются в качестве примерных реализаций, делающих возможными и/или использующих краевой жест.

Изобретение относится к пользовательским интерфейсам. Технический результат заключается в обеспечении возможности выполнять выбор пользовательского интерфейса, не видимого в настоящий момент на дисплее посредством краевого жеста. Такой результат достигается тем, что принимают жест, выполняемый посредством чувствительного к жестам дисплея, определяют, что жест имеет начальную точку на краю чувствительного к жестам дисплея и более позднюю точку не на краю, определяют, находится ли линия от начальной точки до более поздней точки в пределах заранее определенного угла отклонения от перпендикуляра, идущего от края, и, в качестве реакции передают жест в операционную систему, связанную с чувствительным к жестам дисплеем. 2. н. и 18 з.п. ф-лы, 14 ил.

1. Компьютерно-реализуемый способ обработки жестов, содержащий этапы, на которых:
принимают жест, выполняемый посредством чувствительного к жестам дисплея, представляющего один или более пользовательских интерфейсов приложений;
определяют, что жест имеет начальную точку на краю чувствительного к жестам дисплея и более позднюю точку не на краю;
в ответ на определение того, что начальная точка находится на краю чувствительного к жестам дисплея и более поздняя точка находится не на краю, определяют, находится ли линия от начальной точки до более поздней точки в пределах заранее определенного угла отклонения от перпендикуляра, идущего от края, и, в качестве реакции на определение того, что данная линия находится в пределах заранее определенного угла отклонения от перпендикуляра, идущего от края, передают жест в операционную систему, связанную с чувствительным к жестам дисплеем; и
представляют интерфейс выбора приложений, содержащий выбираемые плитки приложений, ассоциированные с различными приложениями, при этом интерфейс выбора приложений замещает, по меньшей мере, часть упомянутых одного или более пользовательских интерфейсов приложений, представляемых на чувствительном к жестам дисплее.

2. Компьютерно-реализуемый способ по п. 1, в котором интерфейс выбора приложений является иммерсивным.

3. Компьютерно-реализуемый способ по п. 1, дополнительно
содержащий этап, на котором определяют зону из множества зон края, при этом передача жеста в операционную систему основывается, по меньшей мере, частично на этой зоне.

4. Компьютерно-реализуемый способ по п. 1, дополнительно содержащий этап, на котором определяют, что жест имеет первую длину или вторую длину, при этом передачей жеста жест передается в операционную систему в качестве реакции как на определение того, что упомянутая линия находится в пределах заранее определенного угла отклонения, так и на определение того, что жест имеет первую длину.

5. Компьютерно-реализуемый способ по п. 1, дополнительно содержащий этап, на котором определяют, является ли жест жестом одним пальцем или жестом многими пальцами, при этом при передаче жеста жест передается в операционную систему в качестве реакции как на определение того, что упомянутая линия находится в пределах заранее определенного угла отклонения, так и на определение того, что жест является жестом одним пальцем или жестом многими пальцами.

6. Компьютерно-реализуемый способ по п. 1, в котором интерфейс выбора приложений является, по меньшей мере, частично прозрачным.

7. Компьютерно-реализуемый способ по п. 1, в котором передача жеста в операционную систему выполняется в качестве реакции как на определение того, что упомянутая линия находится в пределах заранее определенного угла отклонения, так и на определение того, что упомянутый край является боковым краем чувствительного к жестам дисплея.

8. Компьютерно-реализуемый способ по п. 1, в котором при определении того, что упомянутая линия находится в пределах заранее определенного угла отклонения, определяют, что данная линия находится в пределах двадцати градусов от перпендикуляра, идущего от края.

9. Компьютерно-реализуемый способ по п. 8, дополнительно содержащий этап, перед определением того, что упомянутая линия находится в пределах двадцати градусов от перпендикуляра, идущего от края, на котором определяют более позднюю точку жеста на основе того, что более поздняя точка принимается на заранее заданном расстоянии от края или начальной точки.

10. Компьютерно-реализуемый способ по п. 8, дополнительно содержащий этап, перед определением того, что упомянутая линия находится в пределах двадцати градусов от перпендикуляра, идущего от края, на котором определяют более позднюю точку жеста на основе того, что более поздняя точка принимается на заранее заданном расстоянии от края или начальной точки.

11. Компьютерно-реализуемый способ по п. 1, в котором определение того, что жест имеет начальную точку на краю чувствительного к жестам дисплея и более позднюю точку не на краю, включает в себя определение того, что жест является жестом проведения, ориентированным приблизительно перпендикулярно к краю.

12. Компьютерно-реализуемый способ по п. 1, в котором передача жеста вызывает представление интерфейса выбора приложений, при этом способ дополнительно содержит этапы, на которых:
принимают второй жест, выполняемый при помощи чувствительного к жестам дисплея;
определяют, что второй жест имеет начальную точку в интерфейсе выбора приложений и более позднюю точку на краю; и
в качестве реакции на определение того, что второй жест имеет начальную точку в интерфейсе выбора приложений и более позднюю точку на краю, вызывают прекращение отображения интерфейса выбора приложений.

13. Компьютерно-реализуемый способ по п. 1, в котором передача жеста в операционную систему дополнительно основывается на одной или более характеристиках жеста.

14. Компьютерно-реализуемый способ по п. 1, дополнительно содержащий этап, на котором определяют, на основе последующей точки жеста, что жест включает в себя изменение направления на обратное, при этом передача жеста в операционную систему дополнительно основывается как на определении того, что упомянутая линия находится в пределах заранее определенного угла отклонения, так и на определении того, что жест включает в себя изменение направления на обратное.

15. Компьютерно-реализуемый способ по п. 1, в котором передача жеста вызывает представление интерфейса выбора приложений, при этом способ дополнительно содержит этапы, на которых:
определяют, на основе последующей точки жеста, что жест включает в себя изменение направления на обратное; и
в качестве реакции на определение того, что жест включает в себя изменение направления на обратное, вызывают прекращение отображения интерфейса выбора приложений.

16. Компьютерно-реализуемый способ по п. 1, дополнительно содержащий этап, на котором определяют, на основе последующей точки жеста, что жест продолжается на заранее заданное расстояние от края или упомянутой более поздней точки, при этом передача жеста в операционную систему дополнительно основывается как на определении того, что упомянутая линия находится в пределах заранее определенного угла отклонения, так и на определении того, что жест продолжается на заранее заданное расстояние от края или упомянутой более поздней точки.

17. Компьютерно-реализуемый способ по п. 1, в котором упомянутое определение дополнительно содержит определение того, что жест имеет две или более разных характеристик жеста, причем эти две или более разных характеристик жеста не включают в себя начальную точку жеста на краю чувствительного к жестам дисплея и более позднюю точку не на краю.

18. Компьютерно-реализуемый способ по п. 17, в котором упомянутые две или более разных характеристик жеста представляют собой два или более из окончательной длины жеста, промежуточной длины жеста, скорости жеста, количества точек ввода жеста, удлинения жеста и изменения направления жеста на обратное.

19. Компьютерно-реализуемый способ обработки жестов, содержащий этапы, на которых:
принимают жест, выполняемый при помощи чувствительного к жестам дисплея, представляющего один или более пользовательских иммерсивных интерфейсов;
определяют, принимается ли начальная точка жеста на краю
чувствительного к жестам дисплея;
в качестве реакции на определение того, что начальная точка не находится на краю чувствительного к жестам дисплея, передают жест одному из упомянутых одного или более иммерсивных пользовательских интерфейсов;
в качестве реакции на определение того, что начальная точка находится на краю чувствительного к жестам дисплея, определяют, находится ли линия от начальной точки до более поздней точки жеста в пределах заранее заданного угла отклонения от перпендикуляра, идущего от края, и, в качестве реакции на определение того, что данная линия не находится в пределах этого заранее заданного угла отклонения от перпендикуляра, идущего от края, передают жест этому одному из упомянутых одного или более иммерсивных пользовательских интерфейсов;
в качестве реакции на определение того, что упомянутая линия находится в пределах упомянутого заранее заданного угла отклонения, передают жест в модуль системного интерфейса, приспособленный для обеспечения представления интерфейса выбора приложений, отображаемого одновременно с упомянутыми одним или более иммерсивными пользовательскими интерфейсами, при этом интерфейс выбора приложений содержит выбираемые плитки приложений, ассоциированные с различными приложениями, причем каждая из выбираемых плиток приложений содержит контент, отличающийся от контента каждой из других выбираемых плиток приложений, и обеспечивает возможность выбора выбираемых плиток приложений, с продолжением при этом отображения контента в упомянутых одном или более иммерсивных пользовательских интерфейсах.

20. Компьютерно-реализуемый способ по п. 19, в котором интерфейс выбора приложений является частично прозрачным и представляется поверх упомянутых одном или более иммерсивных пользовательских интерфейсов.