ВЫБОР ЭЛЕМЕНТОВ ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА ПОСРЕДСТВОМ ПОЗИЦИОННОГО СИГНАЛА Российский патент 2018 года по МПК G06F3/01 

Уровень техники

[0001] Различные типы устройств пользовательского ввода могут предоставлять позиционные сигналы вычислительному устройству. Например, системы отслеживания движения глаз могут быть использованы, чтобы отслеживать местоположение, в котором взгляд пользователя пересекает отображенный пользовательский интерфейс. Различные механизмы могут быть использованы, чтобы отслеживать движения глаз. Например, некоторые системы отслеживания движения глаз могут включать в себя один или более источников света, сконфигурированных, чтобы направлять свет (такой как инфракрасный свет) на глаз пользователя, и один или более датчиков изображения, сконфигурированных, чтобы захватывать изображения глаза пользователя. Изображения глаза, полученные, в то время как источники света излучают свет, могут быть использованы, чтобы обнаруживать местоположение зрачка пользователя и роговичные (или другие) отражения, возникающие от источников света. Эта информация может затем быть использована, чтобы обнаруживать позицию глаза пользователя. Информация, касающаяся позиции глаз пользователя, затем может быть использована в комбинации с информацией, касающейся относительного местоположения глаза пользователя по сравнению с пользовательским интерфейсом, чтобы определять местоположение, в котором взгляд пользователя пересекает пользовательский интерфейс, и, таким образом, определять позиционный сигнал.

Сущность изобретения

[0002] В данном документе раскрываются варианты осуществления, которые относятся к выбору элементов пользовательского интерфейса через периодически обновляемый позиционный сигнал. Например, один раскрытый вариант осуществления предоставляет способ, содержащий отображение в графическом пользовательском интерфейсе представления элемента пользовательского интерфейса и представления интерактивной цели. Способ дополнительно содержит прием ввода координат периодически обновляемого позиционного сигнала и определение выбора элемента пользовательского интерфейса, если взаимодействие движения периодически обновляемого позиционного сигнала с интерактивной целью удовлетворяет предварительно определенному условию движения.

[0003] Данная сущность предусмотрена для того, чтобы в упрощенной форме представить набор идей, которые дополнительно описываются ниже в подробном описании. Эта сущность не имеет намерением ни идентифицировать ключевые признаки или важнейшие признаки заявляемого предмета изобретения, ни использоваться так, чтобы ограничивать объем заявляемого предмета изобретения. Кроме того, заявленный предмет изобретения не ограничен реализациями, которые разрешают какие-либо или все недостатки, отмеченные в любой части данного раскрытия сущности.

Краткое описание чертежей

[0004] Фиг.1A-1C изображают примерное взаимодействие пользователя с графическим пользовательским интерфейсом через периодически обновляемый позиционный сигнал.

[0005] Фиг.2 показывает блок-схему примерного варианта осуществления вычислительной системы, сконфигурированной, чтобы принимать выбор элемента графического пользовательского интерфейса через периодически обновляемый позиционный сигнал.

[0006] Фиг.3 показывает блок-схему последовательности операций, изображающую примерный вариант осуществления способа выбора элемента пользовательского интерфейса через периодически обновляемый позиционный сигнал.

[0007] Фиг.4A-4C изображают другое примерное взаимодействие пользователя с графическим пользовательским интерфейсом через периодически обновляемый позиционный сигнал.

[0008] Фиг.5A-5D изображают другое примерное взаимодействие пользователя с графическим пользовательским интерфейсом через периодически обновляемый позиционный сигнал.

[0009] Фиг.6 показывает другое примерное взаимодействие пользователя с графическим пользовательским интерфейсом через периодически обновляемый позиционный сигнал.

[0010] Фиг.7 показывает примерный вариант осуществления вычислительной системы.

Подробное описание изобретения

[0011] Как упомянуто выше, отслеживание глаз может быть использовано, чтобы обеспечивать ввод в вычислительное устройство. Однако, определение намерения пользователя выбрать элемент графического пользовательского интерфейса через систему отслеживания движения глаз может создавать трудности. Например, в случае устройства пользовательского ввода, такого как компьютерная мышь, сенсорная панель или трэкбол, пользователь может проявлять намерение выбрать объект пользовательского интерфейса, перемещая курсор поверх элемента пользовательского устройства и затем нажимая кнопку или т.п. на устройстве пользовательского ввода, чтобы выбирать элемент. Аналогично, в случае чувствительного к касанию дисплея, пользователь может выбирать элемент пользовательского интерфейса, выборочно касаясь дисплея в области, которая представляет элемент пользовательского интерфейса.

[0012] В каждом из этих примеров, намерение пользователя может быть ясно предположено посредством пользовательского ввода (например, нажатия кнопки мыши или касания экрана), выполненного посредством активации механизма (например, кнопки мыши или сенсорного экрана), который предоставляет возможность делать вывод о намерении с некоторой определенностью. Однако, в случае системы отслеживания движений глаз, сконфигурированной, чтобы предоставлять позиционный сигнал вычислительному устройству, может быть затруднительным делать вывод о намерении пользователя выбирать элемент пользовательского интерфейса с какой-либо определенностью в отсутствие другого типа ввода (например, голосовой команды, жеста тела/головы и т.д.), чтобы инициировать выбор объекта пользовательского интерфейса, на который пользователь в настоящее время смотрит.

[0013] Одним потенциальным способом логического вывода о намерении пользователя выбирать элемент пользовательского интерфейса может быть логический вывод о таком намерении, если взгляд пользователя определяется как задерживающийся на элементе пользовательского интерфейса в течение пороговой продолжительности времени. Однако, механизмы выбора на основе задержки могут восприниматься медленными или иначе неудобными для пользователей.

[0014] Соответственно, в данном документе раскрываются варианты осуществления, которые относятся к выбору элемента пользовательского интерфейса через взаимодействие между периодически обновляемым позиционным сигналом и интерактивной целью, ассоциированной с элементом пользовательского интерфейса. Выражение "периодически обновляемый позиционный сигнал" ссылается на механизм пользовательского ввода, в котором позиционный сигнал относительного отображенного пользовательского интерфейса предоставляется и регулярно обновляется без какого-либо пользовательского ввода, используемого, чтобы инициировать регулярное обновление. Выбор элемента пользовательского интерфейса через периодически обновляемый позиционный сигнал отличается от обычного выбора элемента посредством компьютерной мыши или сенсорной панели, которые могут предоставлять позиционный сигнал с регулярной частотой, но которые используют нажатие кнопки или другой сигнал, чтобы выбирать элемент пользовательского интерфейса. В то время как описывается в данном документе в контексте системы отслеживания движений глаз для системы окологлазного дисплея, будет понятно, что раскрытые варианты осуществления могут быть использованы с любым другим подходящим периодически обновляемым позиционным сигналом, включающим в себя, но не только, сигналы жестов тела, полученные из данных изображения и/или данных датчика движения.

[0015] Фиг.1A-1C изображают примерный вариант осуществления взаимодействия пользователя с графическим пользовательским интерфейсом через периодически обновляемый позиционный сигнал. Более конкретно, Фиг.1A-1C изображают пользователя 100 устройства окологлазного дисплея в форме установленного на голову дисплея 102, который сконфигурирован, чтобы отображать изображения дополненной реальности. Эти чертежи также показывают пользователя 100, взаимодействующего с элементом графического пользовательского интерфейса в форме объекта 104 виртуального телевизора через систему отслеживания движений глаз, объединенную с устройством окологлазного дисплея, при этом система отслеживания движений глаз предоставляет периодически обновляемый позиционный сигнал. Будет понятно, что этот вариант осуществления представляется для примера и не предназначен быть ограничивающим, и что любое подходящее вычислительное устройство может принимать входные данные от любого подходящего устройства ввода, сконфигурированного, чтобы предоставлять периодически обновляемый позиционный сигнал.

[0016] Когда пользователь 100 смотрит на объект 104 виртуального телевизора, может быть трудно определять, хочет ли пользователь выбрать воспроизведение контента через объект 104 виртуального телевизора, или пользователь просто изучает объект 104 виртуального телевизора более близко. Таким образом, Фиг.1A также изображает элемент пользовательского интерфейса в форме интерактивной цели 106, которая ассоциируется с объектом 104 виртуального телевизора. Как показано на Фиг.1B, пользователь 100 может выражать намерение активировать объект 104 виртуального телевизора, перемещая местоположение взгляда 108 с объекта 104 интерактивного телевизора на интерактивную цель 106. При обнаружении, что взаимодействие движения периодически обновляемого позиционного сигнала с интерактивной целью удовлетворяет предварительно определенному условию движения (например, перемещение с объекта виртуального телевизора на интерактивную цель, с или без продолжительности задержки в любом местоположении), объект 104 виртуального телевизора может быть инициирован, чтобы воспроизводить видеоконтент 110 пользователю 100, как показано на Фиг.1C.

[0017] Использование интерактивной цели, которая отображается отдельно от соответствующего выбираемого элемента пользовательского интерфейса, может предоставлять возможность более быстрого определения намерения пользователя взаимодействовать с элементом пользовательского интерфейса, а также может обеспечивать более естественное восприятие пользователем, чем использование вводов позиционного сигнала на основе задержки, чтобы выбирать элементы пользовательского интерфейса. Например, задержка взгляда соответствующей продолжительности, чтобы выражать намерение пользователя выбрать элемент графического пользовательского интерфейса, может восприниматься неестественно долгой и медленной для пользователя. В отличие от этого, интерактивные цели, которые раскрыты в данном документе, могут предоставлять возможность использования более естественных движений глаз, которые должны использоваться, чтобы выражать это намерение. Различные примеры интерактивных целей описываются более подробно ниже.

[0018] Фиг.2 показывает блок-схему варианта осуществления вычислительной системы 200, сконфигурированной, чтобы предоставлять возможность выбора элементов пользовательского интерфейса через периодически обновляемый позиционный сигнал. Вычислительная система 200 может представлять установленный на голове дисплей 102 на Фиг.1 и/или любую другую подходящую вычислительную систему, сконфигурированную, чтобы использовать периодически обновляемый позиционный сигнал в качестве ввода. Вычислительная система 200 включает в себя дисплей 202, на котором графический пользовательский интерфейс может быть отображен. Дисплей 202 может принимать любую подходящую форму. Например, в некоторых вариантах осуществления, вычислительная система может включать в себя окологлазный дисплей 204. Примеры систем окологлазного дисплея могут включать в себя, но не только, установленные на голове дисплеи и карманные устройства (например, смартфоны, имеющие режим окологлазного дисплея). В таких устройствах окологлазный дисплей может содержать видимый насквозь дисплей 206 или непрозрачный дисплей. В других вариантах осуществления дисплей может быть внешним 208 по отношению к вычислительному устройству, как, например, в случае традиционного монитора, телевизора или т.п.

[0019] Вычислительная система 200 дополнительно содержит подсистему 210 ввода, сконфигурированную, чтобы принимать ввод периодически обновляемого позиционного сигнала от подходящего устройства ввода. Например, в некоторых вариантах осуществления подсистема 210 ввода может содержать систему 212 отслеживания движений глаз, сконфигурированную, чтобы создавать периодически обновляемый позиционный сигнал на основе определенного местоположения взгляда пользователя на графический пользовательский интерфейс. В некоторых вариантах осуществления система 212 отслеживания движений глаз может быть установленной на голове 214 (например, встроенной в установленную на голове систему окологлазного дисплея) или иначе встроена в вычислительное устройство. В других вариантах осуществления система отслеживания движений глаз может быть внешней 216 по отношению к вычислительному устройству, как, например, в случае системы отслеживания движений глаз, использующей одну или более камер, внешних по отношению к традиционному монитору или телевизору, используемым для отображения графического пользовательского интерфейса. Система отслеживания движений глаз может использовать любые подходящие компоненты. Например, в некоторых вариантах осуществления, система отслеживания движения глаз может использовать один или более источников света, сконфигурированных, чтобы создавать отражения отблесков от роговицы глаза, и один или более датчиков изображения, сконфигурированных, чтобы получать изображение глаза.

[0020] Дополнительно, подсистема 210 ввода может включать в себя другие источники периодически обновляемых позиционных сигналов. Например, подсистема 210 ввода может включать в себя один или более датчиков 218 движения (например, встроенных в установленный на голове дисплей или другое переносное устройство) и/или один или более датчиков 220 изображения (например, один или более обращенных наружу датчиков изображения, сконфигурированных, чтобы захватывать видеоизображения жестов, выполняемых пользователем, а также обращенных внутрь датчиков изображения для отслеживания движений глаз). Будет понятно, что эти варианты осуществления устройств пользовательского ввода, которые предоставляют периодически обновляемые позиционные сигналы, представлены с целью примера и не предназначены быть ограничивающими каким-либо образом.

[0021] Вычислительная система 200 также включает в себя логическую подсистему 222 и подсистему 224 хранения данных. Подсистема 224 хранения данных может включать в себя сохраненные инструкции, исполняемые посредством логической подсистемы 222, чтобы выполнять различные задачи, связанные с представлением графического пользовательского интерфейса и приемом и обработкой периодически обновляемых позиционных сигналов, соответственно. Примерные вычислительные устройства описываются более подробно ниже.

[0022] Фиг.3 показывает блок-схему последовательности операций, изображающую примерный вариант осуществления способа 300 выбора элемента графического пользовательского интерфейса через периодически обновляемый позиционный сигнал. Способ 300 содержит, на этапе 302, отображение в графическом пользовательском интерфейсе элемента пользовательского интерфейса. Элемент пользовательского интерфейса может принимать любую подходящую форму и представлять любой подходящий выбираемый элемент.

[0023] Способ 300 дополнительно содержит, на этапе 304, отображение в графическом пользовательском интерфейсе интерактивной цели, ассоциированной с элементом пользовательского интерфейса. Как упомянуто выше, интерактивная цель может быть использована, чтобы определять намерение пользователя выбрать элемент пользовательского интерфейса через перемещение траектории взгляда (или другой пользовательский ввод, подразумевающий управление периодически обновляемым позиционным сигналом), которое удовлетворяет предварительно определенному условию движения относительно интерактивной цели. Например, в некоторых вариантах осуществления интерактивная цель может представлять местоположение, в которое взгляд пользователя должен быть перемещен после первоначального взгляда на элементы пользовательского интерфейса. Дополнительно, в некоторых вариантах осуществления, интерактивная цель может представлять местоположение, в которое пользователь может перемещать элемент пользовательского интерфейса посредством жеста взгляда глазом или другого подходящего типа жеста. Дополнительно, в некоторых вариантах осуществления, множество интерактивных целей могут быть отображены для соответствующего элемента пользовательского интерфейса, так что пользователь взаимодействует с множеством интерактивных целей, чтобы выбирать элемент пользовательского интерфейса.

[0024] Интерактивная цель может отображаться постоянно вместе с ассоциированным элементом пользовательского интерфейса или может быть скрыта до тех пор, пока пользователь не будет взаимодействовать с элементом пользовательского интерфейса. Дополнительно, когда множество интерактивных целей используются для элемента пользовательского интерфейса, в некоторых примерах каждая интерактивная цель может оставаться скрытой до тех пор, пока пользователь не будет взаимодействовать с непосредственно предшествующей интерактивной целью в последовательности. Будет понятно, что эти варианты осуществления интерактивных целей описываются с целью примера и не предназначены быть ограничивающими каким-либо образом. Другие неограничивающие примеры интерактивных целей описываются более подробно ниже.

[0025] Продолжая, способ 300 содержит, на этапе 306, прием ввода координат периодически обновляемого позиционного сигнала. Координаты могут представлять, например, местоположение, в котором пользователь смотрит на графический пользовательский интерфейс, которое определено посредством системы отслеживания движений глаз, местоположение, на которое пользователь указывает, которое определено из системы отслеживания жестов, местоположение, в которое пользователь переместил курсор или другое представление позиционного сигнала посредством жеста, и/или любую другую подходящую информацию.

[0026] Дополнительно, изменения в позиции, представленной посредством координат как функции времени, могут представлять жесты ввода. Как описано выше, перемещения периодически обновляемого позиционного сигнала, который взаимодействует с элементом пользовательского интерфейса и ассоциированной интерактивной целью, могут быть использованы, чтобы определять намерение пользователя выбрать элемент пользовательского интерфейса. По существу, способ 300 содержит, на этапе 308, определение того, удовлетворяет ли перемещение периодически обновляемого позиционного сигнала относительно интерактивной цели предварительно определенному условию перемещения. Предварительно определенное условие перемещения может представлять любое подходящее условие между перемещением периодически обновляемого позиционного сигнала и интерактивной целью. Например, в некоторых вариантах осуществления предварительно определенное условие перемещения может соответствовать одному или более последовательным жестам глазами (показаны по ссылке 310), которые перемещаются между элементом пользовательского интерфейса и/или одной или более интерактивными целями. Фиг.1A-1C, обсужденные выше, показывают один пример последовательного жеста глазами. Выражение "последовательный жест глазами", когда используется в данном документе, означает, что местоположение взгляда перемещается из начального местоположение в конечное местоположение на пользовательском интерфейсе в одном или более последовательных сегментах перемещения. Такие жесты могут предоставлять возможность естественных движений глаз, таких как быстрые скачкообразные движения, которые должны быть использованы, чтобы выполнять жест.

[0027] Последовательный жест глазами может быть сравнен с любым подходящим предварительно определенным условием движения. Например, в некоторых вариантах осуществления, условие движения может соответствовать ожидаемой последовательности, в которой периодически обновляемый позиционный сигнал пересекает элемент пользовательского интерфейса и каждую интерактивную цель. В других вариантах осуществления условие движения может соответствовать тому, насколько близко путь, которому следует сигнал движения, удовлетворяет предварительно определенному пути. Будет понятно, что эти примеры предварительно определенных условий движения представляются с целью иллюстрации и не предназначены быть ограничивающими каким-либо образом.

[0028] В примере на Фиг.1A-1C последовательный жест глазами выполняется между элементом пользовательского интерфейса и одной отображенной интерактивной целью. Однако, как упомянуто выше, в некоторых вариантах осуществления более одной интерактивной цели может быть использовано. Фиг.4A-4C показывают примерный вариант осуществления, в котором последовательные жесты глазами между множеством интерактивных элементов используются, чтобы определять намерение пользователя выбрать ассоциированный элемент пользовательского интерфейса.

[0029] Сначала, Фиг.4A показывает местоположение взгляда 108 на виртуальном телевизоре, а также показывает первую интерактивную цель 400, отображенную справа от объекта 104 виртуального телевизора. Далее, Фиг.4B показывает местоположение взгляда после выполнения первого последовательного жеста 402 глазами, в котором взгляд движется от виртуального телевизора к первой интерактивной цели 400. Как изображено, взаимодействие между периодически обновляемым позиционным сигналом, управляемым взглядом пользователя, и первой интерактивной целью ведет к отображению второй интерактивной цели 404. Далее, обращаясь к Фиг.4C, после перемещения местоположения взгляда на вторую интерактивную цель воспроизведение видеоконтента 406 через объект 104 виртуального телевизора выбирается вследствие перемещений взгляда пользователя, удовлетворяющих предварительно определенному условию движения (например, взгляду на интерактивные цели в предварительно определенном порядке).

[0030] В то время как изображенный вариант осуществления использует две интерактивные цели, будет понятно, что любое подходящее число целей может быть использовано. Использование большего числа целей может уменьшать вероятность ложных положительных взаимодействий между пользователем и интерактивной целью. Дополнительно, в то время как выбор первой интерактивной цели ведет к отображению второй интерактивной цели в изображенном варианте осуществления, в других вариантах осуществления множество интерактивных целей для элемента пользовательского интерфейса могут отображаться постоянно. Дополнительно, в некоторых вариантах осуществления, множество интерактивных целей могут быть отображены, так что они захватывают в вилку ассоциированный элемент пользовательского интерфейса, так что позиция взгляда пользователя усредняется приблизительно над центром ассоциированного элемента пользовательского интерфейса. Такая конфигурация может помогать удерживать пользователя от непреднамеренной активации соседних элементов пользовательского интерфейса. Пример такой конфигурации показан на Фиг.6, где пользователь показан смотрящим на вторую интерактивную цель 602 после предыдущего взгляда на первую интерактивную цель 600, расположенную на противоположной стороне виртуального телевизора 604. Направление движения взгляда глаза между первой интерактивной целью 600 и второй интерактивной целью 602 показано пунктирной линией 605. Дополнительно, дополнительный элемент пользовательского интерфейса показан как значок 606, представляющий игру в крестики-нолики. Помещая интерактивные цели для виртуального телевизора 604 на противоположных сторонах виртуального телевизора 604, местоположения взгляда глаза, которые составляют жест глазами, показанный пунктирной линией 605, могут усредняться в местоположение над виртуальным телевизором 604, и, следовательно, предоставляют информацию, касающуюся предназначенного элемента пользовательского интерфейса. Дополнительно, изображенное размещение интерактивных целей 600, 602 для виртуального телевизора 604 может помогать избегать случайного взгляда пользователя на интерактивную цель 608, ассоциированную со значком 606.

[0031] В некоторых вариантах осуществления предварительно определенное условие движения может включать в себя короткие задержки взгляда на одной или более интерактивных целях. Следовательно, конкретная последовательность взаимодействий движения может включать в себя одну или более задержек взгляда между перемещениями взгляда. Такие задержки могут быть незаметны для пользователя (т.е., пользователь не ощущает, что он фиксируется на конкретном объекте в течение какой-либо неестественной продолжительности времени), но может быть довольно длительным, чтобы указывать, что пользователь достаточно взаимодействует с интерактивной целью. В качестве одного неограничивающего примера, задержки могут быть между 100-150 мс по продолжительности. Однако, любая подходящая продолжительность задержки может быть использована для предварительно определенного условия движения.

[0032] В вариантах осуществления, в которых множество целей отображаются постоянно, цели могут применять любую подходящую систему, чтобы указывать правильную последовательность, которая приведет в результате к активации элемента контента. Например, интерактивные цели могут иметь номера (такие как 1, 2, 3), слова или анимации (такие как стрелки, последовательное выделение каждой цели в соответствующем порядке, последовательное обнаружение каждой цели и т.д.), которые указывают последовательность, в которой пользователь должен взаимодействовать с интерактивными целями, чтобы вызывать активацию элемента контента. Примеры, перечисленные выше, существуют с целью иллюстрации и не предназначены быть ограничивающими каким-либо образом.

[0033] Дополнительно, когда множество интерактивных целей используются, чтобы выбирать элемент пользовательского интерфейса, взаимодействие пользователя с более поздней интерактивной целью в последовательности взаимодействий с интерактивными целями может инструктировать более ранней интерактивной цели в последовательности исчезать или изменять внешний вид, как иллюстрировано на Фиг.4C. Такие изменения во внешнем виде могут включать в себя, но не только, изменения цвета, формы, размера, прозрачности и/или местоположения. Будет понятно, что, если пользователь не хочет активировать элемент контента, ассоциированный с интерактивной целью, пользователь может прекращать скачкообразный жест, прежде чем скачкообразный жест завершится (т.е., прежде чем предварительно определенное условие движения удовлетворится).

[0034] Обращаясь опять к Фиг.3, в других вариантах осуществления, предварительно определенное условие движения может соответствовать перемещению одного элемента пользовательского интерфейса в точку пересечения (или другое пространственное расположение) с другим элементом пользовательского интерфейса посредством периодически обновляемого позиционного сигнала. Это может называться жестом "преследования", как указано по ссылке 312, когда взгляд пользователя следует или движется за элементом пользовательского интерфейса, когда он перемещается в точку пересечения с другим элементом пользовательского интерфейса. Будет понятно, что выражение "жест преследования", когда используется в данном документе, ссылается на жесты, в которых взгляд пользователя либо следует, либо движется за перемещением перемещаемой интерактивной цели по направлению к назначенному элементу пользовательского интерфейса.

[0035] Фиг. 5A-5D показывают вариант осуществления взаимодействия с помощью преследующего движения, в котором жест взглядом глаз выбирается, чтобы перемещать элемент пользовательского интерфейса в назначенную позицию относительно ассоциированной интерактивной цели. Сначала, Фиг.5A показывает пользователя 100 с линиями 108 взгляда, направленными на объект 104 виртуального телевизора, а также показывает интерактивную цель 500 и назначенную позицию 504 в форме приемника 504 для интерактивной цели 500, при этом приемник 504 может оставаться в фиксированном местоположении во время перемещения интерактивной цели. На Фиг.5A интерактивная цель 500 показана в первоначальной позиции 502. Если пользователь предпочитает выбрать элемент пользовательского интерфейса, пользователь может сначала направлять местоположение взгляда на интерактивную цель 500, как показано на Фиг.5B. Пересечение местоположения взгляда с интерактивной целью (потенциально в течение пороговой продолжительности времени) может начинать движение интерактивной цели плавно от местоположения взгляда и по направлению к назначенной позиции 504. Пользователь может следовать за движением интерактивной цели из первоначальной позиции в назначенную позицию, чтобы выбирать элемент пользовательского интерфейса, как указано на Фиг. 5C и 5D. Будет понятно, что индикатор назначенной позиции может отображаться постоянно или может быть обнаружен при пересечении взгляда с соответствующим элементом пользовательского интерфейса.

[0036] Как ранее обсуждалось, пользователь может предпочесть не активировать элемент контента, прекращая жест. В случае жеста на основе преследования пользователь может отводить взгляд от интерактивной цели, прежде чем она достигнет назначенной позиции, чтобы предотвращать активацию элемента контента, или может прекращать любым подходящим образом (например, голосовой командой, командой в виде жеста тела и т.д.). Следует отметить, что пересечение взгляда с элементом пользовательского интерфейса, будь то преследование, последовательное или другое, может допускать некоторую величину погрешности в местоположении взгляда. Например, местоположения взгляда в пороговом расстоянии за пределами отображенной области интерактивной цели могут все еще считаться пересечением взгляда с целью в некоторых вариантах осуществления, тем самым, предоставляя возможность взгляду пользователя блуждать до некоторой степени без прерывания выполняемого жеста. Этот допуск может иметь характеристики гистерезиса, в котором допуск может быть применен во время выполнения жеста, но не во время инициирования взаимодействия с интерактивной целью.

[0037] Обращаясь кратко снова к Фиг.3, если движение периодически обновляемого позиционного сигнала относительно интерактивной цели удовлетворяет предварительно определенному условию (или одному или более предварительно определенным условиям из набора условий), тогда способ 300 содержит, на этапе 314, определение, что пользователь выбрал элемент UI. Термин "выбор" и т.п. может ссылаться на любое взаимодействие с элементом UI и/или программой, представленной посредством него. Примеры выбора включают в себя, но не только, запуск программы, представленной посредством элемента, направление фокуса операционной системы на программу или данные, представленные посредством элемента, показ информации, касающейся программы или данных, представленных посредством элемента, изменение состояния программы или данных, представленных посредством элемента (например, управление воспроизведением видео, регулировка уровня громкости звука, выбор элемента из меню пользовательского интерфейса и т.д.), показ информации, касающейся самого элемента пользовательского интерфейса (как противоположность информации, касающейся программы или данных, представленных посредством элемента), и/или любое другое подходящее взаимодействие с элементом пользовательского интерфейса и/или программой или данными, представленными посредством него. С другой стороны, если движение периодически обновляемого позиционного сигнала относительно интерактивной цели не удовлетворяет предварительно определенному условию или условиям, тогда способ 300 содержит, на этапе 316, отсутствие определения, что пользователь выбрал элемент пользовательского интерфейса.

[0038] В некоторых вариантах осуществления множество типов взаимодействий движением могут быть используемыми с одной и той же интерактивной целью, чтобы выбирать ассоциированный элемент пользовательского интерфейса. Например, в то время как неопытный пользователь может предпочитать более медленный темп жеста преследования, более продвинутый пользователь может желать более быстрого последовательного взаимодействия, например, с помощью скачкообразных жестов. Поэтому, в некоторых вариантах осуществления интерактивная цель может предоставлять возможность взаимодействия посредством двух или более различных предварительно определенных условий движения, которые могут быть использованы, чтобы выбирать соответствующий элемент пользовательского интерфейса. Это может предоставлять возможность для пользователей изменяющегося навыка и/или предпочтений, чтобы взаимодействовать с графическим пользовательским интерфейсом различными способами. Например, интерактивная цель, которая является прямоугольной по форме, может быть связана с жестом преследования и скачкообразным жестом. Жест преследования может активировать ассоциированный элемент контента, когда пользователь следит взглядом от одной стороны цели до другой (с или без следования за движением интерактивного элемента), в то время как скачкообразный жест может следовать пути взгляда между предварительно выбранными местоположениями на цели.

[0039] Таким образом, варианты осуществления, раскрытые в данном документе, могут предоставлять возможность выбора элементов пользовательского интерфейса посредством периодически обновляемого позиционного сигнала без использования дополнительных механизмов ввода (например, кнопок, голоса и т.д.), чтобы ясно показывать намерение выбирать элемент, и без использования жестов задержки, хотя задержки могут быть использованы в комбинации с раскрытыми жестами взглядом глаз в некоторых вариантах осуществления.

[0040] В некоторых вариантах осуществления способы и процессы, описанные в данном документе, могут быть привязаны к вычислительной системе одного или более вычислительных устройств. В частности, такие способы и процессы могут быть реализованы как компьютерная прикладная программа или служба, прикладной программный интерфейс (API), библиотека и/или другой компьютерный программный продукт.

[0041] Фиг.7 схематично показывает неограничивающий вариант осуществления вычислительной системы 700, которая может представлять один или более способов и процессов, описанных выше. Вычислительная система 700 показана в упрощенной форме. Вычислительная система 700 может принимать форму одного или более персональных компьютеров, серверных компьютеров, планшетных компьютеров, компьютеров для домашних развлечений, сетевых вычислительных устройств, игровых устройств, мобильных вычислительных устройств, устройств мобильной связи (например, смартфонов), носимых устройств (например, устанавливаемых на голову дисплеев, таких как описанные выше) и/или других вычислительных устройств.

[0042] Вычислительная система 700 включает в себя логическую подсистему 702 и подсистему 704 хранения данных. Вычислительная система 700 дополнительно включает в себя подсистему 706 отображения, подсистему 708 ввода, подсистему 710 связи и/или другие компоненты, непоказанные на Фиг.7.

[0043] Логическая подсистема 702 включает в себя одно или более физических устройств, сконфигурированных, чтобы выполнять инструкции. Например, логическая подсистема может быть сконфигурирована, чтобы выполнять инструкции, которые являются частью одного или более приложений, служб, программ, алгоритмов, библиотек, объектов, компонентов, структур данных или других логических конструкций. Такие инструкции могут быть реализованы, чтобы выполнять, задачу, реализовывать тип данных, изменять состояние одного или более компонентов, добиваться технического эффекта или иначе приходить к желаемому результату.

[0044] Логическая подсистема может включать в себя один или более процессоров, сконфигурированных, чтобы выполнять инструкции программного обеспечения. Дополнительно или альтернативно, логическая подсистема может включать в себя одну или более аппаратных или программно-аппаратных логических подсистем, сконфигурированных, чтобы выполнять аппаратные или программно-аппаратные инструкции. Процессоры логической подсистемы могут быть одноядерными или многоядерными, и инструкции, выполняемые в них, могут быть сконфигурированы для последовательной, параллельной и/или распределенной обработки. Отдельные компоненты логической подсистемы необязательно могут быть распределены между двумя или более отдельными устройствами, которые могут быть удаленно расположены и/или сконфигурированы для скоординированной обработки. Аспекты логической подсистемы могут быть виртуализированы и выполнены посредством удаленно доступных, сетевых вычислительных устройств, сконфигурированных в конфигурацию облачного вычисления.

[0045] Подсистема 704 хранения данных включает в себя одно или более физических устройств, сконфигурированных, чтобы удерживать инструкции, исполняемые логической машиной, чтобы реализовывать способы и процессы, описанные в данном документе. Когда такие способы и процессы реализуются, состояние подсистемы 704 хранения данных может быть преобразовано – например, чтобы хранить различные данные.

[0046] Подсистема 704 хранения данных может включать в себя съемные и/или встроенные компьютерно-читаемые носители хранения данных. Подсистема 704 хранения данных может включать в себя оптическое запоминающее устройство (например, CD, DVD, HD-DVD, диск Blu-Ray и т.д.), полупроводниковое запоминающее устройство (например, RAM, EPROM, EEPROM и т.д.) и/или магнитное запоминающее устройство (например, накопитель на жестком диске, накопитель на гибком диске, ленточный накопитель, MRAM и т.д.), среди прочих. Подсистема 704 хранения данных может включать в себя энергозависимые, энергонезависимые, динамические, статические, для чтения/записи, только для чтения, со случайным доступом, с последовательным доступом, адресуемые по местоположению, адресуемые по файлу и/или адресуемые по контенту устройства.

[0047] Будет понятно, что подсистема 704 хранения данных включает в себя одно или более физических устройств и исключает сигналы сами по себе. Однако, аспекты инструкций, описанные в данном документе, альтернативно могут распространяться посредством среды связи (например, электромагнитного сигнала, оптического сигнала и т.д.) в противоположность хранению посредством физического устройства хранения.

[0048] Аспекты логической подсистемы 702 и подсистемы 704 хранения данных могут быть объединены вместе в один или более аппаратных логических компонентов. Такие аппаратные логические компоненты могут включать в себя программируемые пользователем вентильные матрицы (FPGA), программные и прикладные специализированные интегральные схемы (PASIC/ASIC), программные и прикладные специализированные стандартные продукты (PSSP/ASSP), систему на кристалле (SOC) и сложные программируемые логические устройства (CPLD), например.

[0049] Термины "модуль", "программа" и "механизм" могут быть использованы, чтобы описывать аспект вычислительной системы 700, реализованный, чтобы выполнять конкретную функцию. В некоторых случаях, модуль, программа или механизм может быть проиллюстрирован посредством логической подсистемы 702, выполняющей инструкции, хранимые посредством подсистемы 704 хранения данных. Будет понятно, что различные модули, программы и/или механизмы могут быть реализованы из одного и того же приложения, службы, блока кода, объекта, библиотеки, алгоритма, API-функции т.д. Аналогично, один и тот же модуль, программа и/или механизм могут быть реализованы посредством различных приложений, служб, блоков кода, объектов, алгоритмов, API, функций и т.д. Термины "модуль", "программа" и "механизм" могут представлять отдельные или группы исполняемых файлов, файлов данных, библиотек, драйверов, скриптов, записей базы данных и т.д. Дополнительно будет понятно, что варианты осуществления могут быть реализованы в качестве программного обеспечения как услуги (SaaS), в которой одна или более программ и/или данных хранятся удаленно от конечных пользователей, и к которым конечные пользователи осуществляют доступ через сеть.

[0050] Когда включена в состав, подсистема 706 отображения может использоваться, чтобы представлять визуальное представление данных, хранимых посредством подсистемы 704 хранения данных. Это визуальное представление может принимать форму графического пользовательского интерфейса (GUI). Когда описанные в данном документе способы и процессы изменяют данные, хранимые посредством подсистемы хранения данных, и, таким образом, преобразуют состояние подсистемы хранения данных, состояние подсистемы 706 отображения может аналогично преобразовываться, чтобы визуально представлять изменения в лежащих в основе данных. Подсистема 706 отображения может включать в себя одно или более устройств отображения, использующих фактически любой тип технологии. Такие устройства отображения могут быть объединены с логической подсистемой 702 и/или подсистемой 704 хранения данных в совместно используемой оболочке, или такие устройства отображения могут быть периферийными устройствами отображения.

[0051] Когда включена в состав, подсистема 708 ввода может содержать или взаимодействовать с одним или более устройствами пользовательского ввода, такими как клавиатура, мышь, сенсорный экран или игровой контроллер. В некоторых вариантах осуществления подсистема ввода может содержать или взаимодействовать с выбранными компонентами естественного пользовательского ввода (NUI). Такие компоненты могут быть интегрированными или периферийными, и преобразование и/или обработка действий ввода может управляться встроенным или внешним образом. Например, NUI-компоненты могут включать в себя микрофон для распознавания речи и/или голоса; инфракрасную, цветную, стереоскопическую и/или глубинную камеру для машинного зрения и/или распознавания жестов; устройство отслеживания головы, устройство отслеживания глаз, акселерометр и/или гироскоп для обнаружения движения и/или распознавания намерения; также как и компоненты, чувствительные к электрическому полю, для оценки активности мозга.

[0052] Когда включена, подсистема 710 связи может быть сконфигурирована, чтобы соединять с возможностью связи вычислительную систему 700 с одним или более другими вычислительными устройствами. Подсистема 710 связи может включать в себя проводные и/или беспроводные устройства связи, совместимые с одним или более различными протоколами связи. В качестве неограничивающих примеров, подсистема связи может быть сконфигурирована для связи через беспроводную телефонную сеть или проводную или беспроводную локальную или глобальную вычислительную сеть. В некоторых вариантах осуществления подсистема связи может предоставлять возможность вычислительной системе 700 отправлять и/или принимать сообщения к и/или от других устройств по сети, такой как Интернет.

[0053] Следует понимать, что конфигурации и/или подходы, описанные в данном документе, являются примерными по своей природе, и что эти конкретные варианты осуществления или примеры не должны рассматриваться в ограничивающем смысле, поскольку многочисленные вариации возможны. Конкретные процедуры или способы, описанные в данном документе, могут представлять одну или более из любого числа стратегий обработки. По существу, различные иллюстрированные и/или описанные действия могут быть выполнены в иллюстрированной и/или описанной последовательности, в других последовательностях, параллельно или исключены. Также, порядок вышеописанных процессов может быть изменен.

[0054] Следует понимать, что конфигурации и/или подходы, описанные в данном документе, являются примерными по своей природе, и что эти конкретные варианты осуществления или примеры не должны рассматриваться в ограничивающем смысле, поскольку многочисленные вариации возможны. Конкретные процедуры или способы, описанные в данном документе, могут представлять одну или более из любого числа стратегий обработки. По существу, различные иллюстрированные и/или описанные действия могут быть выполнены в иллюстрированной и/или описанной последовательности, в других последовательностях, параллельно или исключены. Также, порядок вышеописанных процессов может быть изменен.

[0055] Предмет изучения настоящего открытия включает в себя все новые и неявные комбинации и вспомогательные комбинации различных процессов, систем и конфигураций, и другие признаки, функции, действия и/или свойства, раскрытые в данном документе, а также любые или все их эквиваленты.

Изобретение относится к устройствам ввода. Технический результат заключается в обеспечении возможности определения местоположения, в котором взгляд пользователя пересекает пользовательский интерфейс для определения позиционного сигнала для выбора элементов пользовательского интерфейса. Способ включает отображение в графическом пользовательском интерфейсе представления элемента пользовательского интерфейса и представления интерактивной цели, прием ввода координат периодически обновляемого позиционного сигнала и определение выбора элемента пользовательского интерфейса, если взаимодействие движения периодически обновляемого позиционного сигнала с интерактивной целью удовлетворяет предварительно определенному условию движения. 3 н. и 11 з.п. ф-лы, 14 ил.

1. Реализуемый в вычислительном устройстве способ приема выбора первого выбираемого элемента пользовательского интерфейса, отображаемого на графическом пользовательском интерфейсе, через механизм пользовательского ввода, предоставляющий периодически обновляемый позиционный сигнал, при этом способ содержит этапы, на которых:

отображают в первом местоположении на графическом пользовательском интерфейсе первый выбираемый элемент пользовательского интерфейса и также отображают по меньшей мере частично за пределами и смежно с первым выбираемым элементом пользовательского интерфейса первый перемещаемый интерактивный целевой объект, ассоциированный с первым выбираемым элементом пользовательского интерфейса, причем первый выбираемый элемент пользовательского интерфейса является выбираемым посредством взаимодействия взглядом с первым перемещаемым интерактивным целевым объектом;

отображают во втором местоположении на графическом пользовательском интерфейсе второй выбираемый элемент пользовательского интерфейса и также отображают по меньшей мере частично за пределами и смежно со вторым выбираемым элементом пользовательского интерфейса второй перемещаемый интерактивный целевой объект, ассоциированный со вторым выбираемым элементом пользовательского интерфейса, причем второй выбираемый элемент пользовательского интерфейса является выбираемым посредством взаимодействия взглядом со вторым перемещаемым интерактивным целевым объектом;

принимают ввод координат периодически обновляемого позиционного сигнала из системы отслеживания движения глаз; и

определяют выбор первого выбираемого элемента пользовательского интерфейса в качестве реакции на перемещающее взаимодействие периодически обновляемого пользовательского сигнала с изначальным взаимодействием с первым выбираемым элементом пользовательского интерфейса и последующим взаимодействием с первым перемещаемым интерактивным целевым объектом посредством жеста преследования взглядом, обеспечивающего движение первого перемещаемого интерактивного целевого объекта в направлении отображаемой назначенной позиции, чтобы удовлетворить предварительно определенному условию перемещения для выбора первого выбираемого элемента пользовательского интерфейса.

2. Способ по п. 1, в котором жест преследования взглядом включает в себя жест движения глаз, перемещающий первый перемещаемый интерактивный целевой объект из исходной позиции в назначенную позицию.

3. Способ по п. 1, в котором упомянутое предварительно определенное условие перемещения является одним из двух или более разных условий перемещения, используемых, чтобы выбирать первый выбираемый элемент пользовательского интерфейса.

4. Способ по п. 1, в котором первый перемещаемый интерактивный целевой объект отображается постоянно на графическом пользовательском интерфейсе.

5. Способ по п. 1, в котором один или более перемещаемых интерактивных целевых объектов отображаются в качестве реакции на взаимодействие пользователя с одним или более выбираемыми элементами пользовательского интерфейса.

6. Способ по п. 1, в котором отображаемая целевая позиция содержит приемник, отображаемый в назначенной позиции первого перемещаемого интерактивного целевого объекта, при этом жест преследования взглядом перемещает первый перемещаемый интерактивный целевой объект в этот приемник.

7. Реализуемый в вычислительном устройстве способ приема выбора первого выбираемого элемента пользовательского интерфейса посредством жестов взглядом в отношении контента, отображаемого на графическом пользовательском интерфейсе, при этом способ содержит этапы, на которых:

отображают в первом местоположении на графическом пользовательском интерфейсе представление первого выбираемого элемента пользовательского интерфейса и также отображают по меньшей мере частично за пределами и смежно с первым выбираемым элементом пользовательского интерфейса первый интерактивный целевой объект, ассоциированный с первым выбираемым элементом пользовательского интерфейса, причем первый выбираемый элемент пользовательского интерфейса является выбираемым посредством взаимодействия взглядом с первым интерактивным целевым объектом;

отображают во втором местоположении на графическом пользовательском интерфейсе представление второго выбираемого элемента пользовательского интерфейса и также отображают по меньшей мере частично за пределами и смежно со вторым выбираемым элементом пользовательского интерфейса второй интерактивный целевой объект, ассоциированный со вторым выбираемым элементом пользовательского интерфейса, причем второй выбираемый элемент пользовательского интерфейса является выбираемым посредством взаимодействия взглядом пользователя со вторым интерактивным целевым объектом;

отображают на графическом пользовательском интерфейсе представление другого интерактивного целевого объекта, ассоциированного с первым выбираемым элементом пользовательского интерфейса;

принимают из системы отслеживания движения глаз ввод координат, соответствующий жесту взглядом; и

определяют выбор первого выбираемого элемента пользовательского интерфейса, если жест взглядом включает в себя перемещающее взаимодействие сначала с первым выбираемым элементом пользовательского интерфейса, затем двигаясь от первого выбираемого элемента пользовательского интерфейса к первому интерактивному целевому объекту, а затем двигаясь от первого интерактивного целевого объекта к упомянутому другому интерактивному целевому объекту, чтобы подтвердить намерение выбрать первый выбираемый элемент пользовательского интерфейса.

8. Способ по п. 7, в котором упомянутое определение выбора первого выбираемого элемента пользовательского интерфейса содержит этап, на котором определяют, что перемещающее взаимодействие удовлетворяет предварительно определенному условию перемещения, каковое предварительно определенное условие включает в себя последовательный скачкообразный жест.

9. Способ по п. 8, в котором последовательный скачкообразный жест включает в себя конкретную последовательность перемещающих взаимодействий, включая перемещающее взаимодействие с первым выбираемым элементом пользовательского интерфейса и затем с первым интерактивным целевым объектом, за чем следует перемещающее взаимодействие с упомянутым другим интерактивным целевым объектом.

10. Способ по п. 7, в котором первый интерактивный целевой объект отображается постоянно на графическом пользовательском интерфейсе.

11. Способ по п. 7, в котором первый интерактивный целевой объект отображается в качестве реакции на взаимодействие с первым выбираемым элементом пользовательского интерфейса.

12. Способ по п. 7, в котором выбор первого выбираемого элемента пользовательского интерфейса определяется, если жест взглядом включает в себя перемещающее взаимодействие с первым выбираемым элементом пользовательского интерфейса, затем с первым интерактивным целевым объектом и затем с упомянутым другим интерактивным целевым объектом.

13. Способ по п. 12, в котором упомянутый другой интерактивный целевой объект отображается в качестве реакции на перемещающее взаимодействие с первым интерактивным целевым объектом.

14. Система устанавливаемого на голову дисплея, выполненная с возможностью приема выбора отображаемого контента посредством жестов взглядом, при этом система устанавливаемого на голову дисплея содержит:

окологлазное устройство отображения;

систему ввода на основе отслеживания движения глаз;

логическую подсистему; и

подсистему хранения данных, в которой хранятся инструкции, исполняемые логической подсистемой, чтобы:

отображать в первом местоположении через окологлазное устройство отображения представление первого выбираемого элемента пользовательского интерфейса, причем первый выбираемый элемент пользовательского интерфейса является выбираемым посредством взаимодействия с первым интерактивным целевым объектом,

отображать во втором местоположении через окологлазное устройство отображения представление второго выбираемого элемента пользовательского интерфейса, причем второй выбираемый элемент пользовательского интерфейса является выбираемым посредством взаимодействия со вторым интерактивным целевым объектом,

принимать ввод координат из системы ввода на основе отслеживания движения глаз,

из ввода координат обнаруживать взаимодействие посредством жеста взглядом с первым выбираемым элементом пользовательского интерфейса,

в качестве реакции на обнаружение взаимодействия посредством жеста взглядом с первым выбираемым элементом пользовательского интерфейса отображать через окологлазное устройство отображения представление первого интерактивного целевого объекта по меньшей мере частично за пределами и смежно с первым выбираемым элементом пользовательского интерфейса, причем первый интерактивный целевой объект ассоциирован с первым выбираемым элементом пользовательского интерфейса,

обнаруживать из ввода координат из системы ввода на основе отслеживания движения глаз перемещение взгляда с первого выбираемого элемента пользовательского интерфейса на первый интерактивный целевой объект,

в качестве реакции на обнаружение взаимодействия посредством жеста взглядом с первым интерактивным целевым объектом отображать через окологлазное устройство отображения представление другого интерактивного целевого объекта, ассоциированного с первым выбираемым элементом пользовательского интерфейса, и

когда из ввода координат обнаружено взаимодействие с этим другим интерактивным целевым объектом, подтверждать намерение выбрать первый выбираемый элемент пользовательского интерфейса, а когда взаимодействие с упомянутым другим интерактивным целевым объектом из ввода координат не обнаружено, не выбирать первый выбираемый элемент пользовательского интерфейса.