НАВИГАЦИЯ ПО ПОЛЬЗОВАТЕЛЬСКОМУ ИНТЕРФЕЙСУ Российский патент 2018 года по МПК G06F3/485 G06F3/482 

Уровень техники

[0001] Навигация по электронному контенту для того, чтобы выполнять поиск и выбирать релевантные части контента, представляет собой стандартную задачу. Во многих примерах, контент отображается пользователю через дисплей, ассоциированный с вычислительным устройством. Для крупных совокупностей контента, полный диапазон и охват контента не может быть просмотрен одновременно в ограниченном пространстве дисплея пользователя. В этих примерах, пользователь типично осуществляет навигацию по контенту посредством прокрутки или панорамирования, чтобы раскрывать новый контент. В некоторых примерах, технологии слежения за движениями глаз могут быть использованы для того, чтобы отслеживать местоположение взгляда пользователя относительно дисплея и использовать такое местоположение взгляда для того, чтобы двигать или прокручивать контент.

[0002] Тем не менее, типичные интерфейсы слежения за движениями глаз могут не предоставлять интуитивное и приятное взаимодействие с пользователем при навигации по контенту через дисплей. В частности, когда контент включает в себя обширную иерархию информации, такие интерфейсы слежения за движениями глаз типично неспособны к предоставлению приемлемого взаимодействия с пользователем для навигации по полному диапазону и охвату иерархии информации. Этот недостаток может быть особенно очевидным, если дисплей имеет ограниченный размер, к примеру, в смартфоне.

Сущность изобретения

[0003] В данном документе раскрыты различные варианты осуществления, которые связаны с системами и способами для навигации по иерархии визуальных элементов. Например, один раскрытый вариант осуществления предоставляет способ для навигации по иерархии визуальных элементов, причем иерархия содержит двумерную плоскость, включающую в себя первую ось и вторую ось, ортогональную к первой оси. Способ включает в себя представление одного или более визуальных элементов через систему отображения устройства отображения, которое включает в себя систему слежения за взглядом, причем устройство отображения функционально соединено с вычислительным устройством.

[0004] Исходное местоположение устанавливается внутри просматриваемой области устройства отображения. Также устанавливается пропорциональное соотношение размеров между каждым из визуальных элементов и каждым из других визуальных элементов в плоскости. Способ включает в себя прием данных слежения за взглядом из системы слежения за взглядом и, с использованием данных слежения за взглядом, определение местоположения взгляда, на которое пользователь смотрит внутри просматриваемой области. Способ дополнительно включает в себя сопоставление местоположения взгляда с целевым местоположением в двумерной плоскости, причем целевое местоположение отстоит от исходного местоположения вдоль первой оси.

[0005] Способ включает в себя инициирование движения целевого местоположения к исходному местоположению, причем движение содержит первый компонент вдоль первой оси. По мере того, как целевое местоположение приближается к исходному местоположению вдоль первой оси, способ включает в себя постепенное увеличение каждого из визуальных элементов, которые являются просматриваемыми внутри просматриваемой области, при одновременном поддержании пропорционального соотношения размеров между каждым из визуальных элементов и каждым из других визуальных элементов.

[0006] Данная сущность изобретения предоставлена для того, чтобы представлять в упрощенной форме выбор концепций, которые дополнительно описаны ниже в подробном описании. Эта сущность изобретения не имеет намерением ни то, чтобы идентифицировать ключевые признаки или существенные признаки заявленного объекта изобретения, ни то, чтобы использоваться таким образом, что она ограничивает объем заявленного объекта изобретения. Кроме того, заявленный объект изобретения не ограничен реализациями, которые устраняют какие-либо или все недостатки, отмеченные в любой части данного раскрытия сущности.

Краткое описание чертежей

[0007] Фиг. 1 является схематичным видом системы пользовательского интерфейса для навигации по иерархии визуальных элементов согласно варианту осуществления настоящего раскрытия сущности.

[0008] Фиг. 2 показывает пример устройства со шлемом-дисплеем согласно варианту осуществления настоящего раскрытия сущности.

[0009] Фиг. 3 является схематичным видом в перспективе комнаты, включающей в себя пользователя, носящего устройство со шлемом-дисплеем по фиг. 2, настенный дисплей и другого пользователя, держащего планшетный компьютер.

[0010] Фиг. 4 является схематичным видом просматриваемой области устройства отображения, который отображает часть визуальных элементов из двумерной плоскости, и соответствующим схематичным видом иерархии визуальных элементов, расположенных в двумерной плоскости.

[0011] Фиг. 5 является схематичным видом просматриваемой области устройства отображения по фиг. 4, отображающим часть иерархии визуальных элементов и показывающим исходное местоположение и местоположение взгляда.

[0012] Фиг. 6 является схематичным видом просматриваемой области устройства отображения по фиг. 5, показывающим плоскость визуальных элементов, перемещающихся в пространстве относительно просматриваемой области, и визуальных элементов, увеличенных соответствующим образом.

[0013] Фиг. 7 является схематичным видом просматриваемой области устройства отображения по фиг. 6 показывающим плоскость визуальных элементов, дополнительно перемещающихся в пространстве относительно просматриваемой области, и визуальных элементов, дополнительно увеличенных соответствующим образом.

[0014] Фиг. 8 является схематичным видом просматриваемой области устройства отображения, показывающим местоположение взгляда выше исходного местоположения в просматриваемой области.

[0015] Фиг. 9 является схематичным видом просматриваемой области устройства отображения по фиг. 8, показывающим плоскость визуальных элементов, перемещающихся в пространстве вниз относительно просматриваемой области, и визуальных элементов, соответственно, с немодифицированным размером.

[0016] Фиг. 10A и 10B являются блок-схемами последовательности операций способа для навигации по иерархии визуальных элементов согласно варианту осуществления настоящего раскрытия сущности.

[0017] Фиг. 11 является упрощенной схематичной иллюстрацией варианта осуществления вычислительного устройства.

Подробное описание изобретения

[0018] Фиг. 1 показывает схематичный вид одного варианта осуществления системы 10 пользовательского интерфейса для навигации по иерархии визуальных элементов. Система 10 пользовательского интерфейса включает в себя навигационный модуль 14, который может сохраняться в устройстве 18 хранения данных большой емкости вычислительного устройства 22. Навигационный модуль 14 может загружаться в запоминающее устройство 26 и выполняться посредством процессора 30 вычислительного устройства 22 для того, чтобы осуществлять один или более способов и процессов, подробнее описанных ниже.

[0019] Система 10 пользовательского интерфейса может включать в себя устройство отображения, которое функционально соединено с вычислительным устройством 22. В одном примере, устройство отображения может содержать отдельный дисплей 34, такой как, автономный монитор, например, который функционально соединен с вычислительным устройством 22 через проводное или беспроводное соединение. Как подробнее описано ниже, дисплей 34 может включать в себя систему 36 отображения для представления одного или более визуальных элементов пользователю и систему 60 слежения за взглядом.

[0020] В других примерах вычислительное устройство 22 может быть интегрировано в дисплей 34, так что формируется одно устройство. Такие устройства могут включать в себя, например, карманные смартфоны, электронные устройства чтения, переносные компьютеры, ноутбуки и планшетные компьютеры и т.д. Следует принимать во внимание, что множество других типов и конфигураций устройств отображения, имеющих различные форм-факторы, независимо от того, отдельных или интегрированных с вычислительным устройством 22, также могут использоваться и находятся в пределах объема настоящего раскрытия сущности.

[0021] Вычислительное устройство 22 может принимать форму настольного вычислительного устройства, мобильного вычислительного устройства, такого как смартфон, переносного компьютера, ноутбука или планшетного компьютера, сетевого компьютера, домашнего мультимедийного компьютера, интерактивного телевизионного приемника, игровой системы или другого подходящего типа вычислительного устройства. Ниже подробнее описаны дополнительные подробности относительно компонентов и вычислительных аспектов вычислительного устройства 22 со ссылкой на фиг. 11.

[0022] В других примерах устройство отображения может принимать форму устройства с поддержкой виртуальной или смешанной реальности, такого как устройство 38 со шлемом-дисплеем (HMD), которое может создавать окружение 58 смешанной реальности. В этих примерах, система 10 пользовательского интерфейса может включать в себя программу 40 отображения смешанной реальности, которая может генерировать виртуальное окружение 42 для отображения через HMD-устройство 38. Виртуальное окружение 42 может включать в себя одно или более виртуальных изображений, таких как трехмерные (3D) голографические объекты и двумерные (2D) виртуальные изображения, которые генерируются и отображаются через HMD-устройство 38.

[0023] Вычислительное устройство 22 может функционально соединяться с HMD-устройством 38 с использованием проводного соединения или может использовать беспроводное соединение через Wi-Fi, Bluetooth или любой другой подходящий протокол беспроводной связи. Например, вычислительное устройство 22 может коммуникативно подсоединяться к сети 44. Сеть 44 может принимать форму локальной вычислительной сети (LAN), глобальной вычислительной сети (WAN), проводной сети, беспроводной сети, персональной вычислительной сети или комбинации вышеперечисленного и может включать в себя Интернет. Дополнительно, пример, проиллюстрированный на фиг. 1, показывает вычислительное устройство 22 в качестве отдельного компонента от HMD-устройства 38. Следует принимать во внимание, что в других примерах вычислительное устройство 22 может быть интегрировано в HMD-устройство 38.

[0024] Со ссылкой теперь также на фиг. 2 предоставляется один пример HMD-устройства 200 в форме пары носимых очков с прозрачным дисплеем 52. Следует принимать во внимание, что в других примерах, HMD-устройство 200 может принимать другие подходящие формы, в которых прозрачный, полупрозрачный или непрозрачный дисплей поддерживается перед глазом или глазами смотрящего. Также следует принимать во внимание, что HMD-устройство 38, показанное на фиг. 1, может принимать форму HMD-устройства 200, как подробнее описано ниже, или любого другого подходящего HMD-устройства.

[0025] Со ссылкой на фиг. 1 и 2, HMD-устройство 38 включает в себя систему 48 с HMD-дисплеем и прозрачный дисплей 52, который предоставляет возможность доставки таких изображений, как голографические объекты, к глазам пользователя 46. Прозрачный дисплей 52 может быть выполнен с возможностью визуально дополнять внешний вид физического окружения 56 для пользователя 46, просматривающего физическое окружение через прозрачный дисплей. Например, внешний вид физического окружения 56 может дополняться посредством графического контента (например, одного или более пикселов, имеющих соответствующий цвет и яркость), который представляется через прозрачный дисплей 52, чтобы создавать окружение 58 смешанной реальности.

[0026] Прозрачный дисплей 52 также может быть выполнен с возможностью позволять пользователю просматривать физический объект реального мира в физическом окружении 56 через один или более частично прозрачных пикселов, которые отображают представление виртуального объекта. Как показано на фиг. 2, в одном примере, прозрачный дисплей 52 может включать в себя элементы формирования изображений, расположенные внутри линз 204 (такой как, например, просвечивающий дисплей на органических светодиодах (OLED)). В качестве другого примера, прозрачный дисплей 52 может включать в себя светомодулятор на крае линз 204. В этом примере линзы 204 могут служить в качестве световода для доставки света из светомодулятора к глазам пользователя. Такой световод может позволять пользователю воспринимать 3D голографическое изображение, расположенное в физическом окружении 56, которое просматривает пользователь, при одновременном предоставлении возможности пользователю просматривать физические объекты в физическом окружении, таким образом создавая окружение смешанной реальности.

[0027] HMD-устройство 38 также может включать в себя различные датчики и связанные системы. Например, HMD-устройство 38 может включать в себя систему 60 слежения за взглядом, которая использует, по меньшей мере, один обращенный внутрь датчик 212. Обращенный внутрь датчик 212 может представлять собой датчик изображений, который выполнен с возможностью получать данные изображений в форме данных 64 слежения за взглядом от глаз пользователя. Если пользователь соглашается на получение и использование этой информации, система 60 слежения за взглядом может использовать эту информацию, чтобы отслеживать позицию и/или движение глаз пользователя.

[0028] В одном примере система 60 слежения за взглядом включает в себя подсистему обнаружения взгляда, выполненную с возможностью обнаруживать направление взгляда каждого глаза пользователя. Подсистема обнаружения взгляда может быть выполнена с возможностью определять направления взгляда каждого из глаз пользователя любым подходящим способом. Например, подсистема обнаружения взгляда может содержать один или более источников света, таких как источники инфракрасного света, выполненных с возможностью заставлять отблеск света отражаться от роговой оболочки каждого глаза пользователя. Один или более датчиков изображений в таком случае могут быть выполнены с возможностью захватывать изображение глаз пользователя.

[0029] Изображения отблесков и зрачков, как определено из данных изображений, собранных из датчиков изображений, могут использоваться для того, чтобы определять оптическую ось каждого глаза. С использованием этой информации система 60 слежения за взглядом затем может определять направление и/или то, на какой физический объект или виртуальный объект смотрит пользователь. Система 60 слежения за взглядом дополнительно может определять то, на какую точку на физическом или виртуальном объекте смотрит пользователь. Такие данные 64 слежения за взглядом затем могут предоставляться в вычислительное устройство 22. Следует понимать, что подсистема обнаружения взгляда может иметь любое подходящее число и компоновку источников света и датчиков изображений.

[0030] HMD-устройство 38 также может включать в себя системы датчиков, которые принимают данные 66 физического окружения из физического окружения 56. Например, HMD-устройство 38 может включать в себя систему 68 оптических датчиков, которая использует, по меньшей мере, один обращенный наружу датчик 216, к примеру, оптический датчик, чтобы захватывать данные изображений. Обращенный наружу датчик 216 может обнаруживать движения в своем поле зрения, к примеру, вводы на основе жестов или другие движения, выполняемые пользователем 46 либо человеком или физическим объектом в поле зрения. Обращенный наружу датчик 216 также может захватывать информацию двумерных изображений и информацию глубины из физического окружения 56 и физических объектов в окружении. Например, обращенный наружу датчик 216 может включать в себя камеру глубины, камеру для съемки в видимом диапазоне, камеру для съемки в инфракрасном диапазоне и/или камеру для слежения за позицией.

[0031] HMD-устройство 38 может включать в себя считывание глубины через одну или более камер глубины. В одном примере, каждая камера глубины может включать в себя левую и правую камеры системы стереоскопического зрения. Изображения с разрешением по времени из одной или более этих камер глубины могут быть совмещены между собой и/или с изображениями из другого оптического датчика, такого как камера для съемки в видимом спектре, и могут быть комбинированы для того, чтобы давать в результате видео с разрешением по глубине.

[0032] В других примерах камера глубины структурированного света может быть выполнена с возможностью проецировать структурированное инфракрасное освещение и изображать освещение, отражаемое от сцены, на которую проецируется освещение. Карта глубины сцены может быть составлена на основе интервалов между смежными признаками в различных областях изображаемой сцены. В еще одних других примерах камера глубины может принимать форму времяпролетной камеры глубины, выполненной с возможностью проецировать импульсное инфракрасное освещение на сцену и обнаруживать освещение, отражаемое от сцены. Следует принимать во внимание, что любая другая подходящая камера глубины может использоваться в пределах объема настоящего раскрытия сущности.

[0033] Обращенный наружу датчик 216 может захватывать изображения физического окружения 56, в котором расположен пользователь 46. В одном примере, программа 40 отображения смешанной реальности может включать в себя 3D систему моделирования, которая использует такой ввод, чтобы генерировать виртуальное окружение 42, которое моделирует физическое окружение 56, окружающее пользователя 46.

[0034] HMD-устройство 38 также может включать в себя систему 72 датчиков положения, которая использует один или более датчиков 220 движения для того, чтобы захватывать позиционные данные 76 и за счет этого обеспечивать обнаружение движения, слежение за позицией и/или считывание ориентации HMD-устройства. Например, система 72 датчиков положения может быть использована для того, чтобы определять направление, скорость и ускорение головы пользователя. Система 72 датчиков положения также может быть использована для того, чтобы определять ориентацию позы головы для головы пользователя. В одном примере, система 72 датчиков положения может содержать блок инерциальных измерений, сконфигурированный в качестве системы датчиков положения с шестью степенями свободы или с шестью осями. Эта примерная система датчиков положения, например, может включать в себя три акселерометра и три гироскопа, чтобы указывать или измерять изменение местоположения HMD-устройства 38 в трехмерном пространстве вдоль трех ортогональных осей (например, X, Y, Z) и изменение ориентации HMD-устройства относительно трех ортогональных осей (например, наклон в поперечном направлении, наклон в продольном направлении, наклон относительно вертикальной оси).

[0035] Система 72 датчиков положения также может поддерживать другие подходящие технологии позиционирования, такие как GPS или другие глобальные навигационные системы. Дополнительно, хотя описаны конкретные примеры систем датчиков положения, следует принимать во внимание, что могут использоваться другие подходящие системы датчиков положения. В некоторых примерах, датчики 220 движения также могут использоваться в качестве устройств пользовательского ввода, так что пользователь может взаимодействовать с HMD-устройством 38 через жесты шеи и головы или даже тела. HMD-устройство 38 также может включать в себя микрофонную систему 80, которая включает в себя один или более микрофонов 224, которые захватывают аудиоданные. В других примерах, аудио может быть представлено пользователю через один или более динамиков 228 на HMD-устройстве 38.

[0036] HMD-устройство 38 также может включать в себя процессор 230, имеющий логическую подсистему и подсистему хранения данных, как подробнее описано ниже относительно фиг. 11, которые поддерживают связь с различными датчиками и системами HMD-устройства. В одном примере, подсистема хранения данных может включать в себя инструкции, которые выполняются посредством логической подсистемы, чтобы принимать входные сигналы из датчиков и направлять такие входные данные в вычислительное устройство 22 (в необработанной или обработанной форме) и представлять изображения пользователю через прозрачный дисплей 52.

[0037] Следует принимать во внимание, что HMD-устройство 38 и связанные датчики и другие компоненты, описанные выше и проиллюстрированные на фиг. 1 и 2, предоставляются в качестве примера. Эти примеры не имеют намерение быть ограниченными любым способом, поскольку могут быть использованы любые другие подходящие датчики, компоненты и/или комбинации датчиков и компонентов. Поэтому следует понимать, что HMD-устройство 38 может включать в себя дополнительные и/или альтернативные датчики, камеры, микрофоны, устройства ввода, устройства вывода и т.д. без отступления от объема данного раскрытия сущности. Дополнительно, физическая конфигурация HMD-устройства 38 и его различных датчиков и субкомпонентов может принимать множество различных форм без отступления от объема данного раскрытия сущности.

[0038] Со ссылкой теперь на фиг. 3-9, ниже предоставляются описания примерных случаев использования и вариантов осуществления системы 10 пользовательского интерфейса. Фиг. 3 предоставляет схематичную иллюстрацию пользователя 304, расположенного в физическом окружении, которое содержит гостиную 308, причем пользователь взаимодействует с окружением 58 смешанной реальности через HMD-устройство 38 в форме HMD-устройства 200. Как подробнее описано ниже, навигационный модуль 14 может быть выполнен с возможностью отображать иерархию визуальных элементов через HMD-устройство 200 и позволять пользователю 304 осуществлять навигацию по иерархии посредством слежения за взглядом.

[0039] Другой пользователь 312 может держать планшетный компьютер 316, который включает в себя систему 10 пользовательского интерфейса и включает в себя систему слежения за взглядом, как описано выше. Гостиная 308 также может включать в себя настенный дисплей 320, который может функционально соединяться с игровой системой 324. Игровая система 324 и/или дисплей 320 также может включать в себя систему 10 пользовательского интерфейса и систему слежения за взглядом, как описано выше. Для целей нижеприведенного описания варианты использования системы 10 пользовательского интерфейса поясняются в связи с планшетным компьютером 316. Также следует принимать во внимание, что также может использоваться любое подходящее устройство отображения.

[0040] Как показано на фиг. 1, навигационный модуль 14 может принимать или может генерировать иерархию визуальных элементов 70, в которых элементы располагаются по всей 2D плоскости 74. Со ссылкой теперь на фиг. 4 предоставляется схематичный вид одного примера иерархии визуальных элементов 70, расположенных в 2D плоскости 74. Фиг. 4 также иллюстрирует соответствующий схематичный вид просматриваемой области 404 устройства 408 отображения, такого как планшетный компьютер 316, который отображает часть визуальных элементов 70 в 2D плоскости 74. Как подробнее описано ниже, навигационный модуль 14 позволяет пользователю естественно и интуитивно осуществлять навигацию между визуальными элементами 70 в 2D плоскости 74 посредством вытаскивания одного или более желаемых элементов в просматриваемую область 404 посредством взгляда.

[0041] В этом примере, визуальные элементы 70 связаны с программой-будильником 78 и содержат обозначения AM, PM и MIL (для армии), вместе со столбцом чисел, представляющих настройку часов, и столбцом чисел, представляющих настройку минут для будильника. Местоположения и направления движения в 2D плоскости 74 могут ссылаться на горизонтальную ось X и вертикальную ось Y. Следует принимать во внимание, что в других примерах, по любой подходящей иерархии данных, представленных посредством визуальных элементов, может осуществляться навигация с использованием системы 10 пользовательского интерфейса, как описано в данном документе.

[0042] Как показано на фиг. 4, визуальные элементы 70 в 2D плоскости 74 скомпонованы в иерархическим виде, так что каждый из элементов непосредственно подчинен не более чем еще одному элементу. В этом примере, иерархия визуальных элементов 70 включает в себя три уровня или столбца A, B и C. Визуальные элементы PM, AM и MIL могут описываться как элементы-вершины, которым подчиняются все другие визуальные элементы, прямо или косвенно. Например, число 5 непосредственно подчинено элементу-вершине AM и косвенно подчинено элементам-вершинам PM и MIL. Дополнительно, в этом примере, некоторые визуальные элементы 70, к примеру, число 12, не подчинены непосредственно родительскому визуальному элементу.

[0043] Дополнительно, в этом примере, иерархия не более трех дочерних визуальных элементов предоставляется для каждого родительского визуального элемента. Например, числа 1, 2 и 3 являются дочерними визуальными элементами относительно родительского визуального элемента PM. Следует принимать во внимание, что множество других вариаций и различных компоновок иерархий визуальных элементов могут использоваться в связи с системой 10 пользовательского интерфейса, описанной в данном документе. Такие другие иерархии могут включать в себя меньшее или большее число уровней визуальных элементов 70.

[0044] Как отмечено выше, фиг. 4 показывает схематичный вид просматриваемой области 404 устройства 408 отображения, который отображает часть визуальных элементов 70 в 2D плоскости 74, проиллюстрированной ниже устройства отображения. Чтобы упростить описание, предоставляются индикация 404' просматриваемой области 404 и индикация 408' устройства 408 отображения с перекрытием 2D плоскости 74, чтобы указывать соответствующую часть 2D плоскости, которая отображается внутри просматриваемой области.

[0045] Чтобы упростить навигацию, навигационный модуль 14 может устанавливать пропорциональное соотношение размеров между каждым визуальным элементом 70 в 2D плоскости 74 и каждым из других визуальных элементов в плоскости. Для целей этого раскрытия сущности, "пропорциональное соотношение размеров" между двумя визуальными элементами 70 задается как первый визуальный элемент, имеющий первый размер, который является пропорциональным второму размеру второго визуального элемента при просмотре в просматриваемой области 404.

[0046] Например, и в примерах, показанных на фиг. 4-7, число 7 в столбце B имеет пропорциональное соотношение размеров относительно других чисел в столбце B. В этом пропорциональном соотношении размеров, число 7 и другие числа в столбце B имеют идентичный размер. Дополнительно, это пропорциональное соотношение размеров между визуальными элементами 70 в столбце B поддерживается независимо от их положения или фактического отображаемого размера внутри просматриваемой области 404 дисплея 408. Другими словами, визуальные элементы 70 в столбце B поддерживают идентичный размер относительно друг друга независимо от их положения внутри просматриваемой области 404. В настоящем примере, это пропорциональное соотношение размеров также справедливо для визуальных элементов 70 в столбцах A и C.

[0047] Визуальные элементы 70 в столбце B также имеют пропорциональное соотношение размеров относительно визуальных элементов 70 в столбцах A и C. В другом примере, и как показано на фиг. 4-7, каждый из визуальных элементов PM, AM и MIL в столбце A может быть на 150% больше каждого из визуальных элементов в столбце B. Это пропорциональное соотношение размеров также поддерживается независимо от положения или фактического размера этих визуальных элементов 70 внутри просматриваемой области 404.

[0048] Например, визуальный элемент AM может отображаться с размером, на 150% превышающим размер числа 7, независимо от положения или фактического размера этих визуальных элементов внутри просматриваемой области 404. Аналогичным образом, каждый из визуальных элементов 70 в столбце B может быть на 120% крупнее каждого из визуальных элементов в столбце C, независимо от положения или отображаемого размера этих визуальных элементов внутри просматриваемой области 404.

[0049] Следует принимать во внимание, что также могут использоваться различные другие пропорциональные соотношения размеров, имеющие другие разности размеров между визуальными элементами 70 различных столбцов. Также следует принимать во внимание, что в раскрытых примерах, показанных на фиг. 4-7, пропорциональные соотношения размеров варьируются относительно горизонтального направления или направления по оси X. В других примерах, пропорциональные соотношения размеров могут варьироваться относительно вертикального направления или направления по оси Y. Также следует принимать во внимание, что фиг. 4-7 являются схематичными иллюстрациями и могут визуализироваться не в масштабе.

[0050] В других примерах навигационный модуль 14 может иметь такую конфигурацию, в которой все визуальные элементы 70, отображаемые в центре просматриваемой области 404, могут отображаться с идентичным размером. В этих примерах пропорциональные соотношения размеров между визуальными элементами могут масштабироваться соответствующим образом. В одном примере сумма геометрических рядов может использоваться для того, чтобы обеспечивать, что постепенное увеличение визуальных элементов 70, подробнее описанных ниже, равномерно приводит к согласованному размеру визуального элемента в центре просматриваемой области 404.

[0051] Как схематично проиллюстрировано на фиг. 4-7 и при просмотре справа налево вдоль оси X, размер визуальных элементов 70 увеличивается от одного столбца к другому. Дополнительно, как отмечено выше и подробнее пояснено ниже, пропорциональные соотношения размеров поддерживаются по мере того, как пользователь осуществляет навигацию через иерархию визуальных элементов 70, и по мере того, как различные элементы изменяют размер, когда они двигаются через просматриваемую область 404 дисплея 408. Преимущественно, поддержание пропорционального соотношения размеров между визуальными элементами 70 в силу этого предоставляет пользователю согласованное и естественное визуальное взаимодействие навигации через несколько уровней иерархии визуальных элементов.

[0052] Ниже предоставляются примеры упрощения навигации в двумерной плоскости 74 визуальных элементов 70 посредством слежения за взглядом. Со ссылкой теперь на фиг. 5, предоставляется схематичный вид просматриваемой области 404 устройства 408 отображения. Просматриваемая область 404 отображает часть иерархии визуальных элементов 70 в 2D плоскости 74, показанной на фиг 4. Фиг. 5 также показывает исходное местоположение H, которое устанавливается посредством навигационного модуля 14 и расположено, в этом примере, в центре просматриваемой области 404. В других примерах исходное местоположение H может быть расположено в другом месте в просматриваемой области 404. Как показано на фиг. 4, исходное местоположение H также сопоставляется с соответствующим местоположением в 2D плоскости 74.

[0053] Как подробнее пояснено ниже и проиллюстрировано на фиг. 6 и 7, исходное местоположение H остается фиксированным в местоположении, показанном относительно просматриваемой области 404, в то время как иерархия визуальных элементов 70 может прокручивать или панорамировать просматриваемую область 404 по мере того, как пользователь осуществляет навигацию по иерархии. В некоторых примерах, исходное местоположение H может отображаться для пользователя, смотрящего на устройство 408 отображения, и может указываться посредством H в окружности, как показано, или любым другим подходящим способом. В других примерах, исходное местоположение может не отображаться пользователю.

[0054] Система слежения за взглядом устройства 408 отображения может предоставлять данные 64 слежения за взглядом в навигационный модуль 14. С использованием этих данных слежения за взглядом, навигационный модуль 14 может определять местоположение взгляда, на которое пользователь 312 смотрит внутри просматриваемой области 408 устройства 408 отображения. На фиг. 5-7, местоположение 504 взгляда указывается посредством звезды, которая может отображаться или не отображаться пользователю 312. Как показано на фиг. 4, местоположение 504 взгляда также сопоставляется с соответствующим целевым местоположением 504' в двумерной плоскости 74.

[0055] В этом примере, местоположение 504 взгляда и соответствующее целевое местоположение 504' отстоят от исходного местоположения H вдоль горизонтальной оси X и вертикальной оси Y. Следует принимать во внимание, что в других примерах, местоположение 504 взгляда и соответствующее целевое местоположение 504' могут отстоять от исходного местоположения H исключительно вдоль горизонтальной оси X (т.е. вертикально совмещаться с исходным местоположением H). В других примерах, местоположение 504 взгляда и соответствующее целевое местоположение 504' могут отстоять от исходного местоположения H исключительно вдоль вертикальной оси Y (т.е. горизонтально совмещаться с исходным местоположением H).

[0056] На основе определения местоположения 504 взгляда и соответствующего целевого местоположения 504' в 2D плоскости 74, навигационный модуль 14 выполнен с возможностью инициировать движение целевого местоположения 504' к исходному местоположению H, причем такое движение, в общем, указывается посредством стрелки M действия. Дополнительно, целевое местоположение 504' в 2D плоскости 74 является «фиксированным» для 2D плоскости, так что движение целевого местоположения вызывает соответствующее движение 2D плоскости. Альтернативно выражаясь, и со ссылкой на фиг. 4, по мере того, как целевое местоположение 504' двигается к исходному местоположению H, все визуальные элементы 70 в двумерной плоскости 74, соответственно, двигаются вместе с двумерной плоскостью.

[0057] Навигационный модуль 14 выполнен с возможностью определять местоположение взгляда пользователя с периодическими интервалами, соответствующими конкретной частоте дискретизации, к примеру, 30 Гц, 60 Гц, 120 Гц или любой другой подходящей частоте. Для каждой выборки, если местоположение взгляда пользователя изменено относительно предыдущей выборки, навигационный модуль 14 обновляет местоположение 504 взгляда и соответствующее целевое местоположение 504'. Навигационный модуль 14 затем инициирует движение целевого местоположения 504' к исходному местоположению. Таким образом, следует принимать во внимание, что система 10 пользовательского интерфейса создает взаимодействие на основе навигации, в котором 2D плоскость 74 и визуальные элементы 70 в или около местоположения 504 взгляда пользователя воспринимаются как движущиеся к исходному местоположению H.

[0058] В одном примере и со ссылкой на фиг. 4 и 5 пользователь может быть заинтересован в выборе числа 7 из 2D плоскости 74. Пользователь может первоначально смотреть на местоположение 504 взгляда, соответствующее целевому местоположению 504'. По мере того, как целевое местоположение 504' и соответствующее положение на 2D плоскости 74 затем двигаются к исходному местоположению H, взгляд пользователя может следовать за этим положением на 2D плоскости до тех пор, пока местоположение 504 взгляда пользователя не встретится с исходным местоположением H, как проиллюстрировано на фиг. 7. Таким образом, система 10 пользовательского интерфейса позволяет пользователю направлять или вести число 7 в исходное местоположение H в центре просматриваемой области. Также следует принимать во внимание, что фиг. 6 иллюстрирует положение 2D плоскости 74 и местоположения 504 взгляда между начальным положением, показанным на фиг. 5, и положением в исходном местоположении H, показанным на фиг. 7.

[0059] Дополнительно, как проиллюстрировано на фиг. 5-7, по мере того, как целевое местоположение 504' двигается к исходному местоположению H, каждый из визуальных элементов 70, которые являются просматриваемыми внутри просматриваемой области 404, постепенно увеличивается, при этом также поддерживается пропорциональное соотношение размеров между каждым элементом и каждым другим элементом. Например, следует принимать во внимание, что размер числа 7 увеличивается по мере того, как оно двигается из положения, показанного на фиг. 5, в положение, показанное на фиг. 7. В качестве другого примера, размер буквы M в визуальном элементе AM увеличивается от фиг. 5 к фиг. 6. Следует принимать во внимание, что на фиг. 7 буква M сдвинута за пределы просматриваемой области 404 дисплея 408 и в силу этого более не находится в поле зрения.

[0060] В некоторых примерах размер визуальных элементов 70 в данном столбце может быть вертикально равномерным и пропорциональным только горизонтальному местоположению элемента вдоль оси X. Альтернативно выражаясь, и со ссылкой на фиг. 4, визуальные элементы PM, AM и MIL в столбце A могут иметь идентичный размер, к примеру, 72-точечный тип. Аналогично, визуальные элементы 1-23 в столбце B могут иметь идентичный размер, к примеру, 28-точечный тип. Визуальные элементы 0-59 в столбце C также могут иметь идентичный размер, к примеру, 8-точечныцй тип. Соответственно, по мере того, как визуальные элементы 70 двигаются через конкретное местоположение в 2D плоскости 74, каждый элемент должен иметь идентичный размер в этом местоположении. Дополнительно, в некоторых примерах, каждый визуальный элемент 70, который поступает в исходное местоположение H, должен отображаться с идентичным размером.

[0061] В одном примере визуальные элементы 70 постепенно увеличиваются только относительно движения целевого местоположения 504' и 2D плоскости 74 в отрицательном направлении по оси X (другими словами, справа налево на фиг. 4-7). Соответственно, визуальные элементы 70 постепенно уменьшаются только относительно движения целевого местоположения 504' и 2D плоскости 74 в положительном направлении по оси X (другими словами, слева направо на фиг. 4-7). Таким образом, в этом примере, размер визуального элемента 70, отображаемого в просматриваемой области 404, непосредственно связан с его положением вдоль оси X внутри области.

[0062] Дополнительно, в этом примере размер визуальных элементов 70 не изменяется или не модифицируется иным образом относительно движения целевого местоположения 504' и 2D плоскости 74 в направлении по оси Y, будь то положительное или отрицательное (другими словами, вверх и вниз на фиг. 4-7). Например, и со ссылкой на фиг. 8 и 9, по мере того, как местоположение 504 взгляда пользователя и соответствующее целевое местоположение 504' двигаются вертикально вниз к исходному местоположению H, размер визуальных элементов PM, AM, MIL и чисел 1-8 остается фиксированным при одновременном поддержании их пропорционального соотношения размеров между собой.

[0063] Навигационный модуль 14 также может быть выполнен с возможностью управлять скоростью движения целевого местоположения 504' и 2D плоскости 74 на основе расстояния целевого местоположения 504' от исходного местоположения H. В одном примере, навигационный модуль 14 может пропорционально снижать скорость движения целевого местоположения 504' к исходному местоположению H по мере того, как уменьшается расстояние целевого местоположения от исходного местоположения H.

[0064] Например, и со ссылкой на фиг. 5, после инициирования движения целевого местоположения 504', соответствующего местоположению 504 взгляда, к исходному местоположению H, визуальным элементам 70 в просматриваемой области 404 может предоставляться скорость в 4 см/сек. Когда целевое местоположение 504' и соответствующее местоположение 504 взгляда достигают местоположения ближе к исходному местоположению H, показанному на фиг. 6, визуальным элементам 70 в просматриваемой области 404 может предоставляться более низкая скорость, которая является пропорциональной уменьшенному расстоянию до исходного местоположения H, к примеру, в 2 см/сек. Скорость визуальных элементов 70 также может линейно уменьшаться между целевыми местоположениями 504' по фиг. 5 и 6.

[0065] Со ссылкой на фиг. 7 скорость визуальных элементов 70 дополнительно может снижаться между местоположениями 504 взгляда и соответствующими целевыми местоположениями 504' по фиг. 6 и 7. Когда целевое местоположение 504' и соответствующее местоположение 504 взгляда достигают исходного местоположения H, движение визуальных элементов 70 и 2D плоскости 74 может прекращаться. В этот момент, и как подробнее описано ниже, пользователь может выбирать визуальный элемент 70, который ассоциирован с целевым местоположением 504'. В одном примере, визуальный элемент 70, который является ближайшим к целевому местоположению 504', может быть ассоциирован с целевым местоположением. В примере, показанном на фиг. 7, число 7 может быть ассоциировано с целевым местоположением 504'.

[0066] Устройство 408 отображения затем может принимать пользовательский ввод, указывающий пользовательский выбор числа 7. На основе этого пользовательского ввода, навигационный модуль 14 затем может выбирать число 7. Пользовательский ввод может содержать, например, словесные инструкции от пользователя, жесты, выполняемые посредством рук, головы, тела пользователя и т.д., ввод, принимаемый посредством системы слежения за взглядом, такой как последовательные мигания глазом, задерживание взгляда в конкретном местоположении в течение предварительно определенного времени, ввод через отдельное устройство ввода, такое как клавиатура или мышь, либо любой другой подходящий пользовательский ввод.

[0067] В одном примере, навигационный модуль 14 может быть выполнен с возможностью выбирать визуальный элемент 70, ассоциированный с целевым местоположением 504' на основе пользовательского ввода, только тогда, когда целевое местоположение находится внутри области приостановки, окружающей исходное местоположение. Со ссылкой на фиг. 7, в одном примере, область 704 приостановки может содержать круговую область, имеющую предварительно определенный диаметр и окружающую исходное местоположение H. Когда целевое местоположение 504' и соответствующее местоположение 504 взгляда находятся внутри области 704 приостановки, навигационный модуль 14 может обеспечивать возможность выбора визуального элемента через пользовательский ввод. Следует принимать во внимание, что область 704 приостановки и исходное местоположение H могут быть расположены в любом подходящем местоположении внутри просматриваемой области 404. Дополнительно, область 704 приостановки может иметь любой подходящий размер и форму.

[0068] В другом примере, навигационный модуль 14 может быть выполнен с возможностью сдерживать инициирование движения целевого местоположения 504' к исходному местоположению H, когда, по меньшей мере, часть целевого местоположения находится внутри области 704 приостановки. Альтернативно выражаясь, движение целевого местоположения 504' к исходному местоположению H может прекращаться, когда, по меньшей мере, часть целевого местоположения находится внутри области 704 приостановки. Например, как только целевое местоположение 504' и соответствующее местоположение 504 взгляда пересекают границу области 704 приостановки, движение визуальных элементов 70 и двумерной плоскости 74 может прекращаться.

[0069] Преимущественно, это может позволять и помогать пользователю фокусироваться на конкретном визуальном элементе 70, к примеру, на числе 7, когда ассоциированное целевое местоположение 504' достигает области 704 приостановки просматриваемой области 404. Дополнительно, использование области 704 приостановки таким способом может помогать исключать непреднамеренное движение конкретного визуального элемента 70 по мере того, как пользователь 312 передвигает свой взгляд, чтобы читать или рассматривать элемент, либо глаза пользователя испытывают быстрые скачкообразные движения или другие непреднамеренные движения. Соответственно, область 704 приостановки может предоставлять состояние покоя, которое предоставляет стационарный визуальный элемент 70 для простоты чтения.

[0070] В другом примере, навигационный модуль 14 может быть выполнен с возможностью значительно замедлять движение целевого местоположения 504' и соответствующего местоположения 504 взгляда к исходному местоположению H, когда целевое местоположение находится внутри области 704 приостановки. Например, недалеко от области 704 приостановки скорость целевого местоположения 504' к исходному местоположению H может составлять 1,0 см/сек. Как только, по меньшей мере, часть целевого местоположения 504' находится внутри области 704 приостановки, скорость целевого местоположения может уменьшаться до 0,1 см/сек. Следует принимать во внимание, что могут использоваться любые подходящие скорости и разности скоростей.

[0071] Также следует принимать во внимание, что пользователь может горизонтально прокручивать иерархию визуальных элементов 70. В одном примере, пользователь может фиксировать свой взгляд в местоположении в просматриваемой области 404 справа от исходного местоположения H, к примеру, на числе 5 на фиг. 4. По мере того, как пользователь продолжает смотреть на это местоположение на дисплее, двумерная плоскость 74 должна продвигаться справа налево по дисплею 408 таким образом, что числа на столбце C входят в просматриваемую область 404. Аналогично, пользователь может фиксировать своей взгляд в местоположении в просматриваемой области 404 слева от исходного местоположения H, к примеру, слева от числа 7 на фиг. 7. По мере того, как пользователь продолжает смотреть на это местоположение на дисплее, 2D плоскость 74 должна продвигаться слева направо по дисплею 408, и размер визуальных элементов 70, соответственно, уменьшается.

[0072] Со ссылкой снова на фиг. 6, и в другом примере, когда местоположение 504 взгляда достигает показанного местоположения, пользователь может отводить своей взгляд в другое местоположение 512 взгляда внутри числа 6. В этот момент местоположение 512 взгляда и соответствующее новое целевое местоположение 512' (не показаны) могут быть использованы посредством навигационного модуля 14, чтобы инициировать движение нового целевого местоположения 512' к исходному местоположению H. Соответственно, соответствующее целевое местоположение 512', 2D плоскость 74 и визуальные элементы 70 также двигаются надлежащим образом.

[0073] Следует принимать во внимание, что система 10 пользовательского интерфейса и различные варианты осуществления, описанные выше, могут позволять пользователю естественно и плавно осуществлять навигацию по иерархии визуальных элементов. Посредством сопоставления движения вдоль одной оси с функцией масштабирования или увеличения, применяемой к визуальным элементам 70, система 10 пользовательского интерфейса может работать с возможностью предоставлять согласованный размер элементов на всех уровнях иерархии. Также следует принимать во внимание, что система 10 пользовательского интерфейса может быть использована с любой иерархией визуальных элементов, которые могут быть представлены в 2D плоскости.

[0074] В одном примере варианта использования пользователь может создавать экземпляр программы-будильника 78, чтобы задавать время срабатывания будильника, например, через планшетный компьютер 316. В этом примере, пользователь может хотеть задавать время срабатывания будильника как 7:30. Со ссылкой на фиг. 4, навигационный модуль 14 может первоначально отображать внутри просматриваемой области 404 столбец A визуальных элементов 70 в 2D плоскости 74. Поскольку визуальный элемент AM отображается поверх исходного местоположения H, пользователь может выбирать AM любым подходящим способом, как описано выше.

[0075] Пользователь затем может смотреть на число 7, например, в местоположении 504 взгляда и соответствующем целевом местоположении 504'. Как описано выше, целевое местоположение 504' затем может двигаться к исходному местоположению H. Пользователь может удерживать свой взгляд на местоположении рядом с числом 7 и следовать за этим местоположением в исходное местоположение H, в котором движение целевого местоположения и визуальных элементов в 2D плоскости 74 прекращается. После этого пользователь может выбирать число 7.

[0076] Со ссылкой на фиг. 7 пользователь затем может направлять своей взгляд на верхнюю правую область просматриваемой области 404 и за счет этого заставлять визуальные элементы 70 прокручиваться вниз и влево до тех пор, пока число 30 не станет видимым в просматриваемой области. Далее пользователь может смотреть на или около числа 30 и следовать за этим местоположением в исходное местоположение H. Пользователь затем может выбирать число 30 и за счет этого вводить время срабатывания будильника как 7:30.

[0077] Фиг. 10A и 10B иллюстрируют блок-схему последовательности операций способа 1000 для навигации по иерархии визуальных элементов согласно варианту осуществления настоящего раскрытия сущности. Нижеприведенное описание способа 1000 предоставляется со ссылкой на программные и аппаратные компоненты системы 10 пользовательского интерфейса, описанной выше и показанной на фиг. 1-9. Следует принимать во внимание, что способ 1000 также может выполняться в других контекстах с использованием других подходящих аппаратных и программных компонентов.

[0078] Со ссылкой на фиг. 10A, на этапе 1002 способ 1000 включает в себя предоставление иерархии визуальных элементов, содержащих 2D плоскость, включающую в себя первую ось и вторую ось, ортогональную к первой оси. На этапе 1006 способ 1000 может включать в себя представление одного или более визуальных элементов через систему отображения устройства отображения, включающую в себя систему слежения за взглядом. На этапе 1008 визуальные элементы могут включать в себя один или более элементов-вершин и множество подчиненных элементов, которые подчиняются одному или более элементов-вершин, причем каждый подчиненный элемент подчиняется не более чем еще одному элементу из визуальных элементов. На этапе 1010 способ 1000 может включать в себя установление исходного местоположения внутри просматриваемой области устройства отображения.

[0079] На этапе 1012 способ 1000 может включать в себя установление пропорционального соотношения размеров между каждым из визуальных элементов и каждым из других визуальных элементов в плоскости. На этапе 1014 способ 1000 может включать в себя прием данных слежения за взглядом из системы слежения за взглядом. На этапе 1018 способ 1000 может включать в себя, с использованием данных слежения за взглядом, определение местоположения взгляда, на которое пользователь смотрит внутри просматриваемой области. На этапе 1022 способ 1000 может включать в себя сопоставление местоположения взгляда с целевым местоположением в двумерной плоскости, причем целевое местоположение отстоит от исходного местоположения вдоль первой оси.

[0080] На этапе 1026 способ 1000 может включать в себя инициирование движения целевого местоположения к исходному местоположению, причем движение содержит первый компонент вдоль первой оси. Со ссылкой теперь на фиг. 10B, на 1030, способ 1000 может включать в себя, по мере того, как целевое местоположение приближается к исходному местоположению, постепенное увеличение каждого из визуальных элементов, которые являются просматриваемыми внутри просматриваемой области, при одновременном поддержании пропорционального соотношения размеров между каждым из визуальных элементов и каждым из других визуальных элементов.

[0081] На этапе 1034 способ 1000 может включать в себя постепенное увеличение каждого из визуальных элементов по мере того, как целевое местоположение приближается к исходному местоположению в первом направлении вдоль первой оси. На этапе 1038 способ 1000 может включать в себя постепенное уменьшение каждого из визуальных элементов по мере того, как целевое местоположение приближается к исходному местоположению во втором направлении, противоположном первому направлению, вдоль первой оси.

[0082] На этапе 1042 способ 1000 может включать в себя сдерживание инициирования движения целевого местоположения к исходному местоположению, когда целевое местоположение находится внутри области приостановки, окружающей исходное местоположение. На этапе 1046 способ 1000 может включать в себя пропорциональное снижение скорости движения целевого местоположения к исходному местоположению по мере того, как уменьшается расстояние целевого местоположения от исходного местоположения. На этапе 1050 способ 1000 может включать в себя, если целевое местоположение также отстоит от исходного местоположения вдоль второй оси, и движение дополнительно содержит второй компонент вдоль вертикальной оси, сдерживание модификации визуальных элементов, просматриваемых через дисплей относительно второго компонента движения целевого местоположения.

[0083] На этапе 1058 способ 1000 может включать в себя прием пользовательского ввода. На этапе 1062 способ 1000 может включать в себя, на основе пользовательского ввода, выбор одного из визуальных элементов, который ассоциирован с целевым местоположением. На этапе 1066 способ 1000 может включать в себя выбор визуального элемента, который ассоциирован с целевым местоположением, на основе пользовательского ввода только тогда, когда целевое местоположение находится внутри области приостановки, окружающей исходное местоположение.

[0084] Следует принимать во внимание, что способ 1000 предоставляется в качестве примера и не имеет намерение быть ограничивающим. Следовательно, необходимо понимать, что способ 1000 может включать в себя дополнительные и/или альтернативные этапы по сравнению с этапами, проиллюстрированными на фиг. 10A и 10B. Дополнительно, следует понимать, что способ 1000 может выполняться в любом подходящем порядке. Также дополнительно, следует понимать, что один или более этапов могут опускаться из способа 1000 без отступления от объема данного раскрытия сущности.

[0085] Фиг. 11 схематично показывает неограничивающий вариант осуществления вычислительной системы 1100, которая может выполнять один или более вышеописанных способов и процессов. Вычислительное устройство 22 может принимать форму вычислительной системы 1100. Вычислительная система 1100 показана в упрощенной форме. Следует понимать, что фактически любая компьютерная архитектура может использоваться без отступления от объема данного раскрытия сущности. В различных вариантах осуществления, вычислительная система 1100 может принимать форму мэйнфрейма, серверного компьютера, настольного компьютера, переносного компьютера, планшетного компьютера, домашнего мультимедийного компьютера, сетевого вычислительного устройства, мобильного вычислительного устройства, устройства мобильной связи, игрового устройства и т.д. Как отмечено выше, в некоторых примерах вычислительная система 1100 может быть интегрирована в устройство отображения.

[0086] Как показано на фиг. 11, вычислительная система 1100 включает в себя логическую подсистему 1104 и подсистему 1108 хранения данных. Вычислительная система 1100 необязательно может включать в себя подсистему 1112 отображения, подсистему 1116 связи, подсистему 1120 датчиков, подсистему 1122 ввода и/или другие подсистемы и компоненты, не показанные на фиг. 11. Вычислительная система 1100 также может включать в себя машиночитаемые носители, причем машиночитаемые носители включают в себя машиночитаемые носители хранения данных и машиночитаемые среды связи. Вычислительная система 1100 также необязательно может включать в себя другие устройства пользовательского ввода, такие как, например, клавиатуры, мыши, игровые контроллеры и/или сенсорные экраны. Дополнительно, в некоторых вариантах осуществления способы и процессы, описанные в данном документе, могут реализовываться как компьютерное приложение, компьютерная служба, компьютерный API, компьютерная библиотека и/или другой компьютерный программный продукт в вычислительной системе, которая включает в себя один или более компьютеров.

[0087] Логическая подсистема 1104 может включать в себя одно или более физических устройств, выполненных с возможностью осуществлять одну или более инструкций. Например, логическая подсистема 1104 может быть выполнена с возможностью осуществлять одну или более инструкций, которые являются частью одного или более приложений, служб, программ, процедур, библиотек, объектов, компонентов, структур данных или других логических структур. Такие инструкции могут реализовываться для того, чтобы выполнять задачу, реализовывать тип данных, преобразовывать состояние одного или более устройств или иным образом добиваться требуемого результата.

[0088] Логическая подсистема 1104 может включать в себя один или более процессоров, которые выполнены с возможностью осуществлять программные инструкции. Дополнительно или альтернативно, логическая подсистема может включать в себя одну или более аппаратных или микропрограммных логических машин, выполненных с возможностью осуществлять аппаратные или микропрограммные инструкции. Процессоры логической подсистемы могут быть одноядерными или многоядерными, и программы, выполняемые на них, могут быть выполнены с возможностью параллельной или распределенной обработки. Логическая подсистема необязательно может включать в себя отдельные компоненты, которые распределены по двум или более устройствам, которые могут находиться удаленно и/или конфигурироваться для координированной обработки. Один или более аспектов логической подсистемы могут быть виртуализированы и выполнены посредством сетевых вычислительных устройств с удаленным доступом, сконфигурированных в облачной вычислительной конфигурации.

[0089] Подсистема 1108 хранения данных может включать в себя одно или более физических устройств долгосрочного хранения данных, выполненных с возможностью хранить данные и/или инструкции, выполняемые посредством логической подсистемы 1104 для того, чтобы реализовывать описанные в данном документе способы и процессы. Когда реализуются такие способы и процессы, состояние подсистемы 1108 хранения данных может быть преобразовано (например, чтобы хранить другие данные).

[0090] Подсистема 1108 хранения данных может включать в себя съемные носители и/или встроенные устройства. Подсистема 1108 хранения данных может включать в себя оптические запоминающие устройства (например, CD, DVD, HD-DVD, Blu-Ray-диск и т.д.), полупроводниковые запоминающие устройства (например, RAM, EPROM, EEPROM и т.д.) и/или магнитные запоминающие устройства (например, жесткий диск, накопитель на гибких дисках, накопитель на ленте, MRAM и т.д.), в числе других. Подсистема 1108 хранения данных может включать в себя устройства с одной или более следующих характеристик: энергозависимое, энергонезависимое, динамическое, статическое, считываемое/записываемое, неперезаписываемое, с произвольным доступом (оперативное), с последовательным доступом, с адресацией по ячейкам, с файловой адресацией и ассоциативное.

[0091] В некоторых вариантах осуществления, аспекты логической подсистемы 1104 и подсистемы 1108 хранения данных могут быть интегрированы в одно или более стандартных устройств, через которые функциональность, описанная в данном документе, может фактически осуществляться, по меньшей мере, частично. Такие аппаратные логические компоненты могут включать в себя, например, программируемые пользователем вентильные матрицы (FPGA), программные и прикладные специализированные интегральные схемы (PASIC/ASIC), программные и прикладные специализированные микросхемы для массового производства (PSSP/ASSP), внутрикристальные системы (SOC) и комплексные программируемые логические устройства (CPLD).

[0092] Фиг. 11 также показывает аспект подсистемы 1108 хранения данных в форме съемных машиночитаемых носителей 1124 хранения данных, которые могут использоваться для того, чтобы сохранять данные и/или инструкции, выполняемые с возможностью реализовывать способы и процессы, описанные в данном документе. Съемные машиночитаемые носители 1124 хранения данных могут принимать форму CD, DVD, HD DVD, Blu-Ray-дисков, EEPROM и/или гибких дисков, в числе других.

[0093] Следует принимать во внимание, что подсистема 1108 хранения данных включает в себя одно или более физических устройств долгосрочного хранения данных. Напротив, в некоторых вариантах осуществления, аспекты инструкций, описанных в данном документе, могут распространяться переходным способом посредством чистого сигнала (например, электромагнитного сигнала, оптического сигнала и т.д.), который не хранится посредством физического устройства, по меньшей мере, в течение конечной длительности. Кроме того, данные и/или другие формы информации, связанной с настоящим раскрытием сущности, могут распространяться посредством чистого сигнала через машиночитаемые среды связи.

[0094] Если включена, подсистема 1112 отображения может использоваться для того, чтобы представлять визуальное представление данных, хранимых посредством подсистемы 1108 хранения данных. По мере того, как вышеописанные способы и процессы изменяют данные, хранимые посредством подсистемы 1108 хранения данных, и в силу этого преобразуют состояние подсистемы хранения данных, состояние подсистемы 1112 отображения аналогично может быть преобразовано таким образом, чтобы визуально представлять изменения в базовых данных. Подсистема 1112 отображения может включать в себя одно или более устройств отображения, использующих фактически любой тип технологии. Такие устройства отображения могут быть комбинированы с логической подсистемой 1104 и/или подсистемой 1108 хранения данных в одном корпусе, либо такие устройства отображения могут представлять собой периферийные устройства отображения. Подсистема 1112 отображения может включать в себя, например, систему 48 отображения и прозрачный дисплей 52 HMD-устройства 38.

[0095] Если включена, подсистема 1116 связи может быть выполнена с возможностью функционально соединять вычислительную систему 1100 с одной или более сетей и/или одним или более других вычислительных устройств. Подсистема 1116 связи может включать в себя устройства проводной и/или беспроводной связи, совместимые с одним или более различных протоколов связи. В качестве неограничивающих примеров, подсистема 1116 связи может быть выполнена с возможностью связи через беспроводную телефонную сеть, беспроводную локальную вычислительную сеть, проводную локальную вычислительную сеть, беспроводную глобальную вычислительную сеть, проводную глобальную вычислительную сеть и т.д. В некоторых вариантах осуществления, подсистема связи может обеспечивать возможность вычислительной системе 1100 отправлять и/или принимать сообщения в и/или из других устройств через сеть, к примеру, по Интернету.

[0096] Подсистема 1120 датчиков может включать в себя один или более датчиков, выполненных с возможностью опознавать различное физическое явление (например, свет в видимом диапазоне спектра, инфракрасный свет, звук, ускорение, ориентацию, позицию и т.д.), как описано выше. Подсистема 1120 датчиков, например, может быть выполнена с возможностью предоставлять данные датчиков в логическую подсистему 1104. Как описано выше, такие данные могут включать в себя информацию слежения за движениями глаз, информацию изображений, аудиоинформацию, информацию окружающего освещения, информацию глубины, информацию положения, информацию движения, информацию местоположения пользователей и/или любые другие подходящие данные датчиков, которые могут использоваться для того, чтобы осуществлять способы и процессы, описанные выше.

[0097] Если включена, подсистема 1122 ввода может содержать или взаимодействовать с одним или более датчиков или устройств пользовательского ввода, к примеру, с игровым контроллером, устройством обнаружения вводов с помощью жестов, блоком распознавания голоса, блоком инерциальных измерений, клавиатурой, мышью или сенсорным экраном. В некоторых вариантах осуществления, подсистема 1122 ввода может содержать или взаимодействовать с выбранными компонентами естественного пользовательского ввода (NUI). Такие компоненты могут быть интегрированными или периферийными, и преобразование и/или обработка действий ввода может проводиться внутри или вне платы. Примерные NUI-компоненты могут включать в себя микрофон для распознавания речи и/или голоса; камеру для съемки в инфракрасном диапазоне, камеру для цветной съемки, стереоскопическую камеру и/или камеру глубины для машинного зрения и/или распознавания жестов; устройство слежения за положением головы, устройство слежения за движениями глаз, акселерометр и/или гироскоп для обнаружения движения и/или распознавания намерений; а также компоненты считывания электрического поля для оценки мозговой активности.

[0098] Термин "модуль" может использоваться для того, чтобы описывать аспект системы 10 пользовательского интерфейса, который реализуется для того, чтобы выполнять одну или более конкретных функций. В некоторых случаях такой модуль может создаваться через логическую подсистему 1104, выполняющую инструкции, хранимые посредством подсистемы 1108 хранения данных. Следует понимать, что различные модули могут создаваться из идентичного приложения, службы, кодового блока, объекта, библиотеки, процедуры, API, функции и т.д. Аналогично, идентичный модуль может создаваться посредством различных приложений, служб, кодовых блоков, объектов, процедур, API, функций и т.д. Термин "модуль" предназначен для того, чтобы охватывать отдельные или группы исполняемых файлов, файлов данных, библиотек, драйверов, сценариев, записи в базе данных и т.д.

[0099] Следует понимать, что конфигурации и/или подходы, описанные в данном документе, являются примерными по своему характеру, и что эти конкретные варианты осуществления или примеры не должны рассматриваться в ограничивающем смысле, поскольку множество изменений возможно. Конкретные процедуры или способы, описанные в данном документе, могут представлять одну или более из любого числа стратегий обработки. Также, различные проиллюстрированные действия могут выполняться в проиллюстрированной последовательности, в других последовательностях, параллельно или в некоторых случаях опускаться. Аналогично, порядок вышеописанных процессов может быть изменен.

[00100] Объект изобретения настоящего раскрытия сущности включает в себя все новые и неочевидные комбинации и субкомбинации различных процессов, систем и конфигураций, а также других признаков, функций, действий и/или свойств, раскрытых в данном документе, как и все без исключения эквиваленты означенного.

Изобретение относится к навигации по иерархии визуальных элементов. Технический результат заключается в обеспечении навигации по иерархии визуальных элементов. Результат достигается за счет того, что осуществляется представление одного или более визуальных элементов из двумерной плоскости через устройство отображения. Устанавливается исходное местоположение внутри просматриваемой области дисплея. Устанавливается пропорциональное соотношение размеров между каждым элементом и каждым из других элементов. С использованием данных слежения за взглядом, определяется местоположение взгляда, на которое пользователь смотрит внутри просматриваемой области. Местоположение взгляда сопоставляется с целевым местоположением и инициируется движение целевого местоположения к исходному местоположению. По мере того, как целевое местоположение приближается к исходному местоположению, каждый из визуальных элементов постепенно увеличивается, притом что также поддерживается пропорциональное соотношение размеров между каждым из визуальных элементов и каждым из других визуальных элементов. 2 н. и 6 з.п. ф-лы. 12 ил.

1. Система пользовательского интерфейса для навигации по иерархии визуальных элементов, причем иерархия содержит двумерную плоскость, содержащую визуальные элементы и включающую в себя первую ось и вторую ось, ортогональную к первой оси, причем система пользовательского интерфейса содержит:

- устройство отображения, функционально соединенное с вычислительным устройством, причем устройство отображения включает в себя систему слежения за взглядом и систему отображения для представления одного или более визуальных элементов; и

- навигационный модуль, выполняемый посредством процессора вычислительного устройства, причем навигационный модуль выполнен с возможностью:

- устанавливать исходное местоположение внутри просматриваемой области устройства отображения;

- устанавливать пропорциональное соотношение размеров между каждым из визуальных элементов и каждым из других визуальных элементов в плоскости;

- принимать данные слежения за взглядом из системы слежения за взглядом;

- с использованием данных слежения за взглядом определять местоположение взгляда, на которое пользователь смотрит внутри просматриваемой области устройства отображения;

- сопоставлять местоположение взгляда с целевым местоположением в плоскости, при этом целевое местоположение отстоит от исходного местоположения вдоль первой оси;

- инициировать движение целевого местоположения к исходному местоположению, при этом движение содержит первый компонент вдоль первой оси;

- по мере того как целевое местоположение приближается к исходному местоположению в первом направлении вдоль первой оси, постепенно увеличивать каждый из визуальных элементов, которые являются просматриваемыми внутри просматриваемой области, при одновременном поддержании пропорционального соотношения размеров между каждым из визуальных элементов и каждым из других визуальных элементов; и

- по мере того как целевое местоположение приближается к исходному местоположению во втором направлении, противоположном первому направлению вдоль первой оси, постепенно уменьшать каждый из визуальных элементов, которые являются просматриваемыми внутри просматриваемой области, при одновременном поддержании пропорционального соотношения размеров между каждым из визуальных элементов.

2. Система пользовательского интерфейса по п. 1, в которой навигационный модуль дополнительно выполнен с возможностью сдерживать инициирование движения целевого местоположения к исходному местоположению, когда целевое местоположение находится внутри области приостановки, окружающей исходное местоположение.

3. Система пользовательского интерфейса по п. 1, в которой навигационный модуль дополнительно выполнен с возможностью пропорционально снижать скорость движения целевого местоположения к исходному местоположению по мере того, как уменьшается расстояние целевого местоположения от исходного местоположения.

4. Способ для навигации по иерархии визуальных элементов, причем иерархия содержит двумерную плоскость, включающую в себя первую ось и вторую ось, ортогональную к первой оси, при этом способ содержит этапы, на которых:

- представляют один или более визуальных элементов через систему отображения устройства отображения, которое функционально соединено с вычислительным устройством, причем устройство отображения включает в себя систему слежения за взглядом;

- устанавливают исходное местоположение внутри просматриваемой области устройства отображения;

- устанавливают пропорциональное соотношение размеров между каждым из визуальных элементов и каждым из других визуальных элементов в плоскости;

- принимают данные слежения за взглядом из системы слежения за взглядом;

- с использованием данных слежения за взглядом определяют местоположение взгляда, на которое пользователь смотрит внутри просматриваемой области;

- сопоставляют местоположение взгляда с целевым местоположением в плоскости, при этом целевое местоположение отстоит от исходного местоположения вдоль первой оси;

- инициируют движение целевого местоположения к исходному местоположению, при этом движение содержит первый компонент вдоль первой оси;

- по мере того как целевое местоположение приближается к исходному местоположению вдоль первой оси в первом направлении вдоль первой оси, постепенно увеличивают каждый из визуальных элементов, которые являются просматриваемыми внутри просматриваемой области, при одновременном поддержании пропорционального соотношения размеров между каждым из визуальных элементов и каждым из других визуальных элементов; и

- по мере того, как целевое местоположение приближается к исходному местоположению во втором направлении, противоположном первому направлению вдоль первой оси, постепенно уменьшают каждый из визуальных элементов, которые являются просматриваемыми внутри просматриваемой области, при одновременном поддержании пропорционального соотношения размеров между каждым из визуальных элементов.

5. Способ по п. 4, в котором целевое местоположение также отстоит от исходного местоположения вдоль второй оси, движение дополнительно содержит второй компонент вдоль второй оси, и способ дополнительно содержит этап, на котором сдерживают модификацию визуальных элементов, которые являются просматриваемыми через дисплей относительно второго компонента движения целевого местоположения.

6. Способ по п. 4, в котором визуальные элементы включают в себя один или более элементов-вершин и множество подчиненных элементов, которые подчиняются одному или более элементам-вершинам, и при этом каждый из подчиненных элементов непосредственно подчинен не более чем еще одному элементу из визуальных элементов.

7. Способ по п. 4, дополнительно содержащий этапы, на которых:

- принимают пользовательский ввод; и

- на основе пользовательского ввода выбирают один из визуальных элементов, который ассоциирован с целевым местоположением.

8. Способ по п. 4, дополнительно содержащий этап, на котором выбирают один из визуальных элементов, который ассоциирован с целевым местоположением, на основе пользовательского ввода, когда целевое местоположение находится внутри области приостановки, окружающей исходное местоположение.