ОБЛЕГЧЕНИЕ ВЗАИМОДЕЙСТВИЯ МЕЖДУ ПОЛЬЗОВАТЕЛЯМИ И ИХ ОКРУЖАЮЩИМИ СРЕДАМИ С ПОМОЩЬЮ ГАРНИТУРЫ, ИМЕЮЩЕЙ МЕХАНИЗМЫ ВВОДА Российский патент 2019 года по МПК G06F3/488 

УРОВЕНЬ ТЕХНИКИ

[0001] Пользователь может полагаться на различные традиционные механизмы в генерировании и выполнении планов путешествий и/или в изучении его или ее окружающей среды более спонтанным и непринужденным способом. Например, пользователь может использовать приложение выбора маршрута, чтобы сгенерировать маршрут для использования в путешествии между двумя местоположениями. Это же приложение может затем направлять пользователя по мере того как пользователь перемещается по маршруту через ряд подсказок. Подсказки могут соответствовать устным и/или отображаемым сообщениям, таким как сообщение, которое устно дает указание пользователю сделать поворот в пределах установленного расстояния. Тем не менее, существуют значительные возможности для совершенствования этих традиционных механизмов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0002] Различные инструменты описаны в материалах настоящей заявки для содействия пользователю во взаимодействии с физическими и/или виртуальными пространствами. Такое содействие, например, может облегчать навигацию пользователя внутри физических и/или виртуальных пространств. Как используется в материалах настоящей заявки, навигация относится к целенаправленному движению пользователя через пространство в соответствии с предопределенным планом, и/или движению, которое может отражать спонтанные решения, которые не обязательно соответствуют какому-либо предопределенному плану. Инструменты могут также содействовать исследованию пользователя в пространстве в любой заданный момент времени, например, соответствующий процессу, посредством которого пользователь ориентируется в пространстве.

[0003] В качестве общего принципа, инструменты призваны обеспечить весьма информативное и своевременное содействие пользователю в удобной для пользователя форме, тем самым обогащая пользовательское впечатление от физических и виртуальных пространств, через которые пользователь перемещается, но без чрезмерного отвлечения пользователя от фактической задачи взаимодействия с пространствами. Учитывая эти характеристики, инструменты могут успешно использоваться даже пользователями с нарушениями зрения и/или другими недостатками. Однако, инструменты являются универсальными по своей природе, и, таким образом, могут предоставлять удобное и ненавязчивое руководство любому пользователя в выполнении любой задачи, в которой пользователь взаимодействует с его или ее окружающей средой.

[0004] Инструменты имеют различные аспекты, которые способствуют подытоженной выше производительности. В соответствии с одним из аспектов, в материалах настоящей заявки описана гарнитура для представления аудиоинформации пользователю по мере того, как пользователь взаимодействует с пространством. Гарнитура может также включать в себя набор механизмов ввода для приема команд от пользователя. Команды, в свою очередь, вызывают соответствующие связанные со взаимодействием с пространством функции, которые должны быть выполнены модулем взаимодействия с пространством (SI).

[0005] Например, команды могут давать указание модулю SI: прекратить доставку аудиоинформации; повторить последний доставленный элемент аудиоинформации; повторить набор последних доставленных элементов аудиоинформации (например, путем «перемотки»); запустить режим исследования; запустить режим ориентации; выполнить функцию больше-информации (чтобы запросить дополнительную информацию); запустить или остановить режим прослушивания (в котором включается и выключается распознавание голоса, соответственно), и так далее. В режиме исследования, модуль взаимодействия с пространством предоставляет информацию, касающуюся набора элементов интереса, которые связаны с подпространством, к которому направлено внимание пользователя в настоящее время. В режиме ориентации, модуль взаимодействия с пространством предоставляет информацию, касающуюся набора элементов интереса, которые связаны со всем пространством вокруг пользователя, в настоящее время.

[0006] В одной из реализаций, гарнитура может включать в себя свой собственный механизм(ы) ориентации, движения и/или определения местоположения (например, компас). В другой реализации, гарнитура опирается на отдельный механизм(ы) ориентации, движения и/или определения местоположения, предоставленные отдельным пользовательским устройством (например, смартфоном).

[0007] В одной из реализаций, система реализует модуль SI, используя ресурсы обработки, связанные только с гарнитурой. В другой реализации, система реализует модуль SI, используя ресурсы обработки, связанные только с отдельным пользовательским вычислительным устройством. В других реализациях, функции, выполняемые модулем SI, могут быть совместно использованы любым из гарнитуры, и/или пользовательского вычислительного устройства, и/или одного или более удаленных ресурсов обработки (например, «реализованных в облаке» услуг).

[0008] Указанные выше отличительные признаки способствуют приведенной выше цели, заключающейся в том, чтобы позволить пользователю безопасно и эффективно перемещаться через его или ее окружающую среду. Например, отличительные признаки предоставляют удобный способ, посредством которого пользователь может активировать различные режимы работы (например, путем взаимодействуя с пользовательскими механизмами ввода гарнитуры) без чрезмерного отвлечения пользователя по мере того, как пользователь перемещается через окружающую среду, например, не требуя от пользователя, чтобы он получил доступ и взаимодействовал с отдельным пользовательским устройством.

[0009] Приведенный выше подход может проявляться в различных типах систем, устройств, компонентов, способов, машинно-читаемых запоминающей носителей, структур данных, представлений графического пользовательского интерфейса, изделий, и так далее.

[0010] Настоящая Сущность Изобретения приведена для представления в упрощенном виде подборки идей; эти идеи дополнительно описаны ниже в Подробном Описании. Настоящая Сущность Изобретения не предназначена для идентификации ключевых отличительных признаков или существенных отличительных признаков заявленного предмета изобретения, а также не предназначена для использования в целях ограничения объема заявленного предмета изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0011] Фиг. 1 показывает общий вид системы для оказания содействия пользователю во взаимодействии с физическим и/или виртуальным пространством.

[0012] Фиг. 2 показывает пример, в котором пользователь использует систему на Фиг. 1, чтобы осуществить путешествие, которое определено множеством точек маршрута. В других случаях, пользователь может использовать систему для взаимодействия с окружающей средой более свободным и спонтанным образом.

[0013] Фиг. 3 показывает общий вид вычислительных функциональных возможностей, которые могут использоваться для реализации системы на Фиг. 1.

[0014] Фиг. 4 показывает одну из реализаций модуля взаимодействия с пространством, который представляет собой компонент вычислительной функциональности на Фиг. 3.

[0015] Фиг. 5 показывает одну из реализаций модуля интерфейса приложения, который представляет собой компонент модуля взаимодействия с пространством на Фиг. 4.

[0016] Фиг. 6 показывает пример гарнитуры, портативного пользовательского вычислительного устройства («пользовательское устройство» для краткости), и другого пользовательского вычислительного устройства; эти устройства могут реализовывать один или более аспектов системы на Фиг. 1.

[0017] Фиг. 7 показывает один из способов реализации гарнитуры и пользовательского устройства на Фиг. 6.

[0018] Фиг. 8 показывает другой способ реализации гарнитуры и (необязательного) пользовательского устройства на Фиг. 6.

[0019] Фиг. 9 показывает сценарий, в котором пользователь взаимодействует с пользовательским устройством на Фиг. 6 в транспортном средстве.

[0020] Фиг. 10 представляет собой блок-схему, которая иллюстрирует один из способов работы оборудования, показанного на Фиг. 6.

[0021] Фиг. 11 показывает различные рабочие области, которые могут быть представлены модулем интерфейса приложения на Фиг. 4 и 5, например, в пользовательском представлении интерфейса, предоставленного механизмом вывода отображения пользовательского устройства.

[0022] Фиг. 12 показывает жест, который может быть использован для перехода от первой рабочей области ко второй рабочей области.

[0023] Фиг. 13 показывает центральное меню по умолчанию, которое может быть представлено в домашней рабочей области, в соответствии с одной из реализаций.

[0024] Фиг. 14-16 показывают соответствующие контекстные меню, которые могут быть представлены в домашней рабочей области.

[0025] Фиг. 17 показывает меню, которое идентифицирует множество функций, которые могут быть вызваны; это меню может быть представлено в главной рабочей области.

[0026] Фиг. 18 показывает меню, которое пользователь может использовать для настройки различных параметров; это меню может быть представлено в рабочей области настроек.

[0027] Фиг. 19 показывает меню, которое пользователь может использовать для доступа к информации, которая имеет отношение к пользователю по мере того, как он или она проводит путешествие или иным образом взаимодействует с окружающей средой; это меню может быть представлено в рабочей области информации.

[0028] Фиг. 20 показывает меню, которое пользователь может использовать для доступа к информации, имеющей отношение в близлежащим элементам интереса (IOI); это меню может быть представлено в рабочей области «рядом со мной».

[0029] Фиг. 21 показывает пример переходного меню, которое может быть представлено в домашней рабочей области.

[0030] Фиг. 22 показывает пример меню наложения, которое, в данном конкретном случае, представлено в рабочей области настроек.

[0031] Фиг. 23 демонстрирует жесты, которые пользователь может использовать для получения аудиоинформации относительно его или ее текущего контекста.

[0032] Фиг. 24 показывает жест, который пользователь может использовать для активации любого меню в любой рабочей области.

[0033] Фиг. 25 показывает жест, который пользователь может использовать для навигации через набор элементов меню в любом меню.

[0034] Фиг. 26 показывает обратный жест, который пользователь может использовать для навигации из текущего меню в какое-либо другое предшествующее меню.

[0035] Фиг. 27 показывает альтернативную организацию рабочих областей, по сравнению с реализацией на Фиг. 11.

[0036] Фиг. 28 показывает информацию о вкладках в домашней рабочей области на Фиг. 27, соответствующую состоянию, в котором пользователь еще не создал никаких вкладок.

[0037] Фиг. 29 показывает меню вкладок в домашней рабочей области на Фиг. 27, соответствующее состоянию, в котором пользователь в настоящее время создал набор вкладок.

[0038] Фиг. 30 показывает альтернативный способ организации элементов меню в меню, по сравнению с реализацией на Фиг. 25.

[0039] Фиг. 31 и 32 показывают альтернативный способ перемещения по элементам меню в меню, и затем выбор элемента меню, по сравнению с реализацией на Фиг. 25.

[0040] Фиг. 33 показывает обратный жест, выполненный на периферии меню, и действие, которое выполняется в ответ на этот жест.

[0041] Фиг. 34 показывает жест, который выполнен путем рисования формы круга на меню, и обратное действие, которое выполняется в ответ на жест.

[0042] Фиг. 35 показывает жест, который выполнен путем рисования полукруга на меню, и обратное действие, которое выполняется в ответ на жест.

[0043] Фиг. 36 и 37 показывают различные жесты, которые могут быть использованы для увеличения и уменьшения, соответственно, уровня детализации, предоставленной системой на Фиг. 1, и уровня контекстной информации, предоставленной системой.

[0044] Фиг. 38 представляет собой блок-схему, которая обобщает один способ работы модуля интерфейса приложения на Фиг. 4 и 5.

[0045] Фиг. 39 демонстрирует использование трехмерной аудиоинформации для создания восприятия звука, который исходит от конкретного местоположения в пространстве.

[0046] Фиг. 40 демонстрирует использование трехмерной аудиоинформации для создания восприятия звука, который перемещается через ряд местоположений в пространстве.

[0047] Фиг. 41 демонстрирует способ, в котором модуль направления по пути может использовать трехмерные звуки (например, периодический звук удара), чтобы направить пользователя в нужном направлении.

[0048] Фиг. 42 демонстрирует способ, в котором модуль исследования может использовать трехмерные звуки для идентификации местоположений IOI, которые связаны с текущим кругом интересов пользователя.

[0049] Фиг. 43 демонстрирует способ, в котором модуль ориентации может использовать трехмерные звуки для идентификации IOI, которые связаны со всем пространством вокруг пользователя.

[0050] Фиг. 44 представляет собой блок-схему, которая описывает использование трехмерных звуков для оказания содействия пользователю во взаимодействии с пространством.

[0051] Фиг. 45 представляет собой блок-схему, которая описывает один из способов, в котором модуль направления по пути (на Фиг. 4 и 41) может использовать трехмерные звуки для направления пользователя по желаемому маршруту.

[0052] Фиг. 46 представляет собой блок-схему, которая описывает один из способов, в котором модуль взаимодействия с пространством может использовать трехмерные звуки для идентификации IOI, например, в автоматическом режиме (например, в то время как пользователь проходит маршрут или иным образом перемещается в пространстве), в режиме исследования или в режиме ориентации.

[0053] Фиг. 47 показывает окружающую среду, имеющую множество маяков. В одной из иллюстративных реализаций, маяки создают непересекающиеся диапазоны, в которых их соответствующие сигналы могут быть обнаружены пользователем, который перемещается через окружающую среду или иным образом взаимодействует с окружающей средой.

[0054] Фиг. 48-50 показывают другие среды, каждая из которых имеет большее количество маяков, по сравнению с примером на Фиг. 47.

[0055] Фиг. 51 представляет собой блок-схему, которая показывает один из способов работы основанного на маяках модуля направления, в контексте типов окружающих сред на Фиг. 47-50.

[0056] Фиг. 52 представляет собой блок-схему, которая предоставляет дополнительные подробности относительно одного из способов, в котором основанный на маяках модуль направления может определить текущее местоположение пользователя в окружающей среде.

[0057] Фиг. 53 показывает иллюстративную вычислительную функциональность, которая может использоваться для реализации любого аспекта отличительных признаков, показанных на предшествующих чертежах.

[0058] Одинаковые номера используются по всему раскрытию и фигурам для указания ссылкой на подобные элементы и отличительные признаки. Номера серии 100 относятся к отличительным признакам, первоначально обнаруженным на Фиг. 1, номера серии 200 относятся к отличительным признакам, первоначально обнаруженным на Фиг. 2, номера серии 300 относятся к отличительным признакам, первоначально обнаруженным на Фиг. 3, и так далее.

ПОДРОБНОЕ ОПИСАНИЕ

[0059] Настоящее раскрытие организовано следующим образом. Раздел A предоставляет общий вид системы для оказания содействия пользователю во взаимодействии с реальным и/или виртуальным пространством. Раздел B описывает различные типы гарнитуры и портативных пользовательских вычислительных устройств, которые могут использоваться в системе в Разделе A. Раздел C описывает опыт иллюстративного пользовательского интерфейса, который может быть предоставлен системой в Разделе A. Раздел D описывает функциональность для генерирования и использования трехмерных звуков, и других (не трехмерных) типов звуков. Раздел E описывает основанную на маяках функциональность направления для оказания содействия пользователю в навигации через окружающую среду, которая заполняется маяками, имеющими, в одной из иллюстративных реализаций, непересекающиеся диапазоны. И Раздел F описывает иллюстративную вычислительную функциональность, которая может использоваться для реализации любого аспекта отличительных признаков, описанных в предыдущих разделах.

[0060] В качестве предварительного вопроса, некоторые из фигур описывают идеи в контексте одного или более структурных компонентов, называемых по-разному функциональностью, модулями, отличительными признаками, элементами, и т. д. Различные компоненты, показанные на фигурах, могут быть реализованы любым способом посредством физических и материальных механизмов, например, посредством программных средств, работающих на компьютерном оборудовании, аппаратных средств (например, реализованной на чипе логической функциональности), и т. д., и/или любой их комбинации. В одном случае, проиллюстрированное разделение различных компонентов на фигурах на отдельные блоки может отражать использование соответствующих физических и материальных компонентов в фактической реализации. Альтернативно, или в качестве дополнения, любой один компонент, проиллюстрированный на фигурах, может быть реализован посредством множества фактических физических компонентов. Альтернативно, или в качестве дополнения, изображение двух или более отдельных компонентов на фигурах может отражать различные функции, выполняемые одним фактическим физическим компонентом. Фиг. 53, которая в свою очередь должна быть описана, предоставляет дополнительные подробности относительно одной иллюстративной физической реализации функций, показанных на фигурах.

[0061] Другие фигуры описывают идеи в форме блок-схем. В этой форме, некоторые операции описаны как составляющие отдельные блоки, выполняемые в определенном порядке. Такие реализации являются иллюстративными и неограничивающими. Определенные блоки, описанные в материалах настоящей заявки, могут быть сгруппированы вместе и выполнены в одной операции, определенные блоки могут быть разбиты на множество составляющих блоков, и определенные блоки могут быть выполнены в порядке, который отличается от того, который проиллюстрирован в материалах настоящей заявки (включая параллельный способ выполнения блоков). Блоки, показанные на блок-схемах, могут быть реализованы любым способом посредством любых физических и материальных механизмов, например, посредством программных средств, работающих на компьютерном оборудовании, аппаратных средств (например, реализованной на чипе логической функциональности), и т. д., и/или любой их комбинации.

[0062] Что касается терминологии, фраза «выполнен с возможностью» включает в себя любой способ, с помощью которого любой вид физической и материальной функциональности может быть сконструирован для выполнения определенной операции. Функциональность может быть выполнена с возможностью выполнения операции с использованием, например, программных средств, работающих на компьютерном оборудовании, аппаратных средств (например, реализованной на чипе логической функциональности), и т. д., и/или любой их комбинации.

[0063] Термин «логический» включает в себя любую физическую и материальную функциональность для выполнения задачи. Например, каждая операция, проиллюстрированная в блок-схемах, соответствует логическому компоненту для выполнения этой операции. Операция может быть выполнена с использованием, например, программных средств, работающих на компьютерном оборудовании, аппаратных средств (например, реализованной на чипе логической функциональности), и т. д., и/или любой их комбинации. При реализации посредством вычислительного оборудования, логический компонент представляет электрический компонент, который представляет собой физическую часть вычислительной системы, тем не менее реализованной.

[0064] Следующее объяснение может определять один или более отличительных признаков как «необязательные». Этот тип утверждения не должен интерпретироваться как исчерпывающее указание отличительных признаков, которые могут считаться необязательными; то есть, другие отличительные признаки могут считаться необязательными, хотя явно не определены в тексте. Кроме того, любое описание одной сущности не предназначено для исключения использования нескольких таких сущностей; подобным образом, описание нескольких сущностей не предназначено для исключения использования одной сущности. Кроме того, в то время как описание может объяснять определенные отличительные признаки как альтернативные способы выполнения определенных функций или реализации определенных механизмов, отличительные признаки также могут быть объединены вместе в любой комбинации. Наконец, термины «примерный» или «иллюстративный» относятся к одной реализации среди потенциально многих реализаций.

A. Обзор Системы

[0065] Фиг. 1 показывает общий вид системы 102 для оказания содействия пользователю 104 во взаимодействии с физическим и/или виртуальным пространством. Физическое пространство может соответствовать, например, внутреннему пространству, определенному интерьером одного или нескольких зданий, или наружному пространству, которое существует вне интерьера зданий, или некоторой комбинации внутреннего и наружного пространств. Виртуальное пространство может соответствовать, например, области, которая заполняется виртуальными объектами любого типа или типов. В некоторых сценариях, виртуальное пространство может накладываться на физическое пространство, через которое пользователь может физически перемещаться. В этих случаях, некоторым виртуальным объектам в виртуальном пространстве могут быть назначены соответствующие реальные местоположения в физическом пространстве (будет уточнено ниже).

[0066] Фиг. 1 широко представляет иллюстративные компоненты, которые могут быть использованы в системе 102. Компоненты являются необязательными в том смысле, что конкретная реализация системы 102 может не включать в себя один или более из проиллюстрированных компонентов. В дополнение, или альтернативно, конкретная реализация системы 102 может включать в себя дополнительные компоненты, которые не показаны на Фиг. 1.

[0067] Во время его или ее исследования пространств(а), пользователь 104 может взаимодействовать с системой 102 через пользовательское вычислительное устройство 106 любого типа (называемое просто «пользовательское устройство» для краткости ниже) и гарнитуру 108, или только одну гарнитуру 108. Пользовательское устройство 108 может соответствовать любому типу портативного вычислительного устройства, имеющего любой форм-фактор. Например, пользовательское устройство 106 может соответствовать смартфону, вычислительному устройству планшетного типа, переносному вычислительному устройству, вычислительному устройству типа нетбук, устройству потребления медиа (такому как вычислительное устройство типа устройства для чтения книг или вычислительное устройство воспроизведения музыки), портативному игровому устройству, носимому вычислительному устройству (такому как защитные очки, очки, и т. д.), и так далее. В других случаях (не показаны), пользователь 104 может носить и использовать два и более пользовательских вычислительных устройств, таких как смартфон в сочетании с вычислительным устройством планшетного типа.

[0068] Гарнитура 108 также может соответствовать любому типу устройства для доставки аудиоинформации пользователю 104. В одном случае, например, гарнитура 108 может доставить аудиоинформацию с использованием традиционных динамиков, расположенных над или в непосредственной близости к одному или более ушей пользователя 104. В другом случае, гарнитура 108 может доставить аудиоинформацию с использованием метода костной проводимости. В методе костной проводимости, гарнитура 108 передает информацию в барабанные перепонки пользователя через вибрации, сообщаемые костям головы пользователя. Гарнитура, которая использует костную проводимость, может не блокировать ушные каналы пользователя 104 и, таким образом, позволяет пользователю 104 слышать другие (внешние) звуки, создаваемые пространствами, через которые он или она передвигается; этот результат может быть желательным, в некоторых случаях, для повышения безопасности, с которой пользователи взаимодействуют с их окружающими средами, в частности, для случая слабовидящих пользователей и случая пользователей, которые не знакомы с их окружением.

[0069] В соответствии с одним общим способом использования, пользователь 104 может взаимодействовать с пользовательским устройством 106 для приема информации относительно его или ее взаимодействия с пространством главным образом в визуальной форме. В дополнение, или альтернативно, пользовательское устройство 106 может доставлять информацию в невизуальных формах, например, путем создания сигналов тактильной обратной связи (например, основанных на вибрациях сигналов). Пользователь 104 может главным образом взаимодействовать с гарнитурой 108 для приема аудиоинформации относительной его или ее взаимодействия с пространством. Эта аудиоинформация может включать в себя речевую информацию, другие звуки, и т. д. Система 102 может также принимать инструкции либо от пользовательского устройства 106, либо от гарнитуры 108, либо от обоих.

[0070] Пользователь 104 может также в некоторых случаях взаимодействовать с системой 102 через одно или более традиционно стационарных вычислительных устройств 110, таких как настольное вычислительное устройство, игровое консольное устройство, устройство телевизионной приставки, и так далее. Например, пользователь 104 может взаимодействовать с системой 102 с использованием другого пользовательского вычислительного устройства 110 перед путешествием, чтобы создать информацию о путешествии, которая определяет конкретный маршрут через пространство. Пользователь 104 может затем загрузить эту информацию о путешествии на пользовательское устройство 106 и/или гарнитуру 108. После путешествия, пользователь 104 может снова взаимодействовать с системой 102 через другое пользовательское вычислительное устройство 110. Например, система 102 может скачать информацию относительно завершенного путешествия на другое пользовательское вычислительное устройство 110, позволяя пользователю 104 просмотреть информацию относительно этого путешествия в любое время, для любых целей.

[0071] В одном случае, все функции, связанные с системой 102, выполняются посредством обрабатывающей функциональности, предоставленной определенными выше компонентами, а именно, пользовательским устройством 106, гарнитурой 108, и другим пользовательским вычислительным устройством 110. В другом случае, один или более удаленных обрабатывающих ресурсов 112 могут реализовывать по меньшей мере некоторые аспекты обработки, выполняемой системой 102, такие как те аспекты, которые являются особенно интенсивны с точки зрения вычислений по природе. Например, удаленные обрабатывающие ресурсы 112 могут включать в себя функциональные возможности для создания новых путешествий, изменения существующих путешествий, интерпретации речевых инструкций, и так далее. В одном случае, удаленные обрабатывающие ресурсы 112 могут соответствовать одному или более серверным вычислительным устройствам, одному или более хранилищам данных, и так далее.

[0072] Система 102 может использовать любую комбинацию каналов 114 связи для соединения описанных выше компонентов вместе. Например, пользовательское устройство 106 может взаимодействовать с гарнитурой 108 через любой механизм беспроводной связи (например, используя связь BLUETOOTH), и/или любой механизм проводной связи (например, через соединение USB, и т. д.). Пользовательское устройство 106 и гарнитура 108 могут обмениваться данными с удаленными компонентами системы 102 через сотовую связь, соединение Wi-Fi, проводное соединение, или любую их комбинацию.

[0073] Кроме того, хотя не показано, пользовательское устройство 106 может взаимодействовать с любыми удаленными системами определения местоположения с целью определения местоположения пользовательского устройства 106. Гарнитура 108 может выполнять ту же функцию. Удаленные механизмы определения местоположения могут соответствовать любой основанной на спутнике системе определения местоположения (например, системе GPS), наземным телекоммуникационным башням, и так далее. Более того, пользовательское устройство 106 и/или гарнитура 108 может также взаимодействовать с местными маяками через любой механизм связи (например, через связь BLUETOOTH, связь Wi-Fi, и т. д.).

[0074] Оставшаяся часть этого раздела (раздел A) предоставляет обзор функциональных возможностей, предоставленных системой 102. Последующие разделы предоставляют дополнительные подробности относительно отдельных компонентов системы.

[0075] В целом, пользователь может использовать систему 102 как способ обогащения пользовательского опыта по мере того как пользователь перемещается через любой тип пространства, знакомого или незнакомого. В одном из сценариев, например, пользователь может использовать систему 102 в качестве руководства в проведении запланированного путешествия из исходного местоположения в целевое местоположение, с учетом желаемого расписания. В других случаях, пользователь может использовать систему 102 для оказания содействия в исследовании пространства более свободным и спонтанным образом, например, без спланированного заранее путешествия и/или расписания. Например, пользователь может использовать систему 102 для оказания содействия по мере того, как он или она бродит по незнакомому городу или слоняется мимо экспонатов выставки или музея; пользователь может участвовать в этой деятельности без фиксированного маршрута, и может изменить курс его или ее путешествия и цели в свободной форме и спонтанным образом. В еще одном другом случае, пользователь может использовать систему 102 как способ оживления знакомого маршрута через знакомую окружающую среду, и так далее. В еще одном другом случае, пользователь может использовать систему в гибридном режиме работы, например, в котором некоторые аспекты взаимодействия пользователя соответствуют подготовленному плану, а другие аспекты являются более свободными и спонтанными по природе.

[0076] Переходя к Фиг. 2, эта фигура показывает один из примеров, в котором пользователь использует систему 102 на Фиг. 1, чтобы совершить заранее запланированное путешествие. Иллюстративный опыт пользователя в проведении этого путешествия будет описан ниже, в качестве способа познакомить читателя с типами функций, которые система 102 может выполнять. Следует отметить, что этот примерный опыт представлен в духе иллюстрации, не ограничения; как было отмечено выше, система 102 может быть применена в широком спектре других контекстов, в которых пользователь взаимодействует с его или ее окружающей средой, для любых целей.

[0077] В неограничивающем случае на Фиг. 2, предположим, что пользователь (человек по имени Джон) создал путешествие до начала путешествия (хотя, опять же, это не обязательно должно быть так). Например, предположим, что пользователь создал маршрут, чтобы взять его из его из своей резиденции в Лондоне на встречу с доктором в другой части города. Пользователь мог создать путешествие для этой задачи, потому что он не знаком с той частью города, в которую он должен поехать. Или пользователь может иметь один или более недостатков, которые представляют различные связанные с мобильностью проблемы. Например, пользователь может иметь любую форму (или степень) нарушения зрения. В этом контексте, пользователь мог создать путешествие, чтобы содействовать ему в передвижении по маршруту, даже несмотря на то, что он может быть знаком с маршрутом. В другом случае, некоторая сущность, отличная от пользователя, могла создать путешествие от имени пользователя. В этих случаях, запланированное путешествие определяется информацией о путешествии, которая описывает все аспекты путешествия.

[0078] Фиг. 2, в частности, представляет запланированный маршрут 202 путешествия в виде сплошной линии. В некоторых случаях, пользователь может использовать систему 102, чтобы в целом придерживаться запланированного маршрута 202. В других случаях, пользователь может отклоняться от запланированного маршрута 202 по какой-либо причине, например, потому что он сталкивается с препятствием на запланированном маршруте 202, или он делает спонтанное решение изменить курс его путешествия по какой-либо причине. Например, в этом всего лишь иллюстративном случае, пользователь отошел от запланированного маршрута 202 с целью посещения магазина 204 по пути, чтобы приобрести какой-то предмет (например, бутерброд, и т. д.). Фиг. 2 представляет фактический маршрут 206 пользователя в виде пунктирной линии.

[0079] Запланированный маршрут 202 в проиллюстрированном случае на Фиг. 2 определен рядом переходных точек (w1, w2, w3, w4 и w5) или станциями, называемыми точками маршрута в материалах настоящей заявки. Например, точка w1 маршрута может соответствовать начальной точке путешествия пользователя, тогда как точка w5 маршрута может соответствовать пункту назначения путешествия пользователя. Точки w2 и w3 маршрута могут соответствовать двум перекресткам; на каждом таком перекрестке пользователь переходит от первой дороги на вторую дорогу. Точка w4 маршрута может соответствовать любой станции, на которой пользователь может изменить свой режим транспортировки. Например, пользователь может перемещаться к точке w4 маршрута пешком. Точка w4 маршрута может соответствовать станции шаттлов, на которой пользователь ждет прибытия шаттла 208, который прибывает в соответствии с предопределенным графиком. Пользователь может затем перейти к точке w5 маршрута на шаттле 208. В других случаях, режим транспортировки может соответствовать поезду, подземному автобусу, трамваю или любому режиму частной транспортировки (например, частный автомобиль, велосипед, и т. д.).

[0080] Следовательно, запланированный маршрут может быть задуман как имеющий ряд сегментов (s1, s2, s3 и s4). Пример на Фиг. 2 представляет собой упрощенный случай. В других случаях, путешествие может включать в себя гораздо больше точек маршрута и связанных с ними сегментов. И это путешествие может включать в себя любую комбинацию режимов транспортировки. В еще других случаях, путешествие может быть менее сложным, чем путешествие, показанное на Фиг. 2, например, включая только начальную и конечную точку маршрута. И, повторим, в других случаях путешествие может не быть определено заранее.

[0081] Контекст, в качестве термина, используемого в материалах настоящей заявки, относится к обстоятельствам, которые противостоят пользователю в любой момент времени при проведении путешествия или иным образом взаимодействуют с окружающей средой. Обстоятельство, в свою очередь, определяется по меньшей мере отличительными признаками окружающей среды, с которой пользователь может захотеть взаимодействовать, текущим временем суток (и днем недели), и т. д., и целями, которые противостоят пользователю в текущий момент времени, и т. д. Например, в момент времени t1 пользователь проходит сегмент s1 в попытке переместиться от точки w1 маршрута к точке w2 маршрута. Контекст c1 путешествия пользователя, следовательно, определяется, по меньшей мере частично, текущим местоположением пользователя на запланированном маршруте, и попыткой пользователя достичь точки w2 маршрута на запланированном сегменте s2. Контекст пользователя в другие моменты времени будет отличаться в зависимости от окружающей среды, которая противостоит пользователю в эти моменты времени, в сочетании с соответствующими локальными целями пользователя в это время.

[0082] С учетом указанного выше предварительного описания запланированного маршрута 202 и фактического маршрута 206, теперь рассмотрим иллюстративный опыт пользователя по мере того, как пользователь путешествует от точки w1 маршрута к точке w5 маршрута. Предположим, в одном из примеров, что пользователь несет по меньшей мере пользовательское устройство 106 и носит гарнитуру 108 (показанную на Фиг. 1). Пользовательское устройство 106 называется ниже смартфоном, чтобы упростить ссылку на это устройство, хотя пользовательское устройство 106 может включать в себя любой тип устройства, упомянутого выше со ссылкой на Фиг. 1. В еще других случаях, пользователь может перемещаться с использованием только гарнитуры 108 (то есть, путем отказа от использования смартфона).

[0083] В качестве общего принципа, система 102 показывает пользователю важную информацию в соответствующих этапах вдоль пути пользователя, по мере того как пользователь проводит свое путешествие или иным образом взаимодействует с пространством. Примеры информации, которые могут быть автоматически представлены пользователю в звуковой, визуальной и/или тактильной форме, упоминаются в материалах настоящей заявки как элементы интереса (IOI). Чтобы выполнить эту функцию, система 102 определяет текущий контекст пользователя в каждый момент времени. Например, система 102 распознает местоположение и направление (и, возможно, движение) пользователя в каждый конкретный момент времени. Система 102 может использовать любую технологию или комбинацию технологий для выполнения этой задачи, примеры которых предоставлены ниже в контексте описания Фиг. 3. Система 102 затем идентифицирует IOI, которые имеют отношение к текущему контексту. В некоторых случаях, например, система 102 может определить, что IOI имеет отношение к текущему контексту пользователя, потому что пользователь находится в пределах заданного расстояния от физического объекта (или области), который связан с IOI, где это расстояние определяется и сохраняется заранее. Система 102 затем передает информацию относительно этих IOI пользователю. Как будет описано более подробно ниже, пользователь может также вручную исследовать будущие контексты, с которыми он столкнется (или может столкнуться), позже в пути, позволяя пользователю подготовиться к этим ситуациям.

[0084] Система 102 может предоставить IOI на основе информации, извлеченной из различных источников. Например, система 102 может определить местоположения дорог, природных особенностей, и т. д. из общедоступных картографических данных (таких как картографические данные, предоставленные картографическим сервисом BING, предоставленным Корпорацией MICROSOFT, Редмонд, штат Вашингтон). Система 102 может определить местоположения общественных и частных организаций (например, магазинов, правительственных зданий, и т. д.) из любой опубликованной справочной информации. Система 102 может определить возникновение релевантных событий из различных опубликованных источников, таких как информация о расписании общественного транспорта, информация об общественной безопасности. Система 102 может определить относящуюся к пользователю информацию из различных служб, таких как одно или более онлайн приложения социальных сетей, одно или более приложения календаря, и т. д., и так далее.

[0085] Каждый IOI относится к определенной теме или основанному на опыте фокусу. IOI могут быть классифицированы различными способами, в соответствии с различными пояснительными аспектами. Например, IOI первого класса непосредственно отображаются на физические объекты или физические события в пространстве, через которое пользователь перемещается или иным образом взаимодействует. Например, IOI этого типа может соответствовать магазину, который находится в непосредственной близости к пользователю, или открытому канализационному люку, который находится перед пользователем, или следующей точке маршрута, от которой пользователь находится на заданном расстоянии достижения, и т. д. IOI второго класса IOI необязательно имеют непосредственный физический аналог в окружающей среде. Например, IOI этого типа может соответствовать рекламе, которая проигрывается, когда пользователь приближается к автобусной остановке. Реклама может быть связана с пространством вокруг автобусной остановки, но во всем остальном это не описание автобусной остановки как таковой.

[0086] Другой IOI «виртуального типа» может соответствовать новостному заголовку, который доводится до сведения пользователя по мере того, как он приближается к стойке с кофе. Система 102 может представлять информацию относительно этого IOI пользователю на основе допущения о том, что пользователь может захотеть потреблять этот IOI по мере того, как пьет чашку кофе. Другой IOI виртуального типа может соответствовать прогнозу погоды, который отправляется пользователю по мере того, как пользователь покидает станцию метро. Система 102 может представлять информацию относительно этого IOI пользователю на основе допущения о том, что пользователь может пожелать подготовиться к погоде, с которой он столкнется при покидании станции метро. Другой IOI виртуального типа может соответствовать сообщению, извлеченному из приложения социальной сети, по мере того, как пользователь приближается к его или ее личному местожительству. Система 102 может представлять информацию относительно этого IOI пользователю на основе допущения о том, что пользователь может пожелать прочитать любые сообщения, отправленные членами семьи или друзьями, перед тем как войти в свой дом. Предусмотрены многие другие сценарии, в которых пользователь получает некоторый тип информации (и/или возможность взаимодействовать с функциональными возможностями), которая уместна к настоящему обстоятельству пользователя, хотя не может служить для описания фактического объекта или события в непосредственной близости от пользователя.

[0087] Различные IOI (либо первого «реального» класса, либо второго «виртуального», описанные выше) могут также быть классифицированы на основе их ролей, которые они играют в исследовании пространства. Например, IOI могут быть классифицированы по этому аспекту как предупреждающие IOI, IOI путешествия, контекстные IOI и IOI доступной информации, и т. д. (хотя такие категории могут не быть, строго говоря, взаимоисключающими). Система 102 отправляет информацию, касающуюся предупреждающих IOI, для предупреждения пользователя о событиях, которые могут повлиять на безопасность пользователя во время путешествия (например, указание того, что есть открытый канализационный люк перед пользователем). Предупреждающие сообщения являются резкими и по существу. Система 102 отправляет информацию, касающуюся IOI путешествия, для предупреждения пользователя о событиях, которые могут повлиять на ход путешествия пользователя (например, указание того, что приближается следующая точка маршрута, или что автобус опоздает). Система 102 отправляет информацию, касающуюся контекстного IOI, пользователю для предупреждения пользователя об объектах и событиях в непосредственной близости от пользователя (либо реальных, либо виртуальных), которые могут заинтересовать пользователя (например, указание того, что впереди пользователя на его пути находится кафе). Система 102 предупреждает пользователя о наличии IOI доступной информации без автоматической их доставки. Пользователь затем может выбрать, получить эту информацию в порядке по требованию, или проигнорировать ее. Например, пользователь может получить доступ к доступной информации путем нажатия на соответствующую функциональную кнопку на гарнитуре 108 или через меню информации, предоставленное пользовательским устройством 106, или с использованием эквивалентной голосовой команды.

[0088] Система может доставлять информацию относительно каждого IOI любым способом. Например, по меньшей мере для некоторых IOI, система может доставлять IOI путем отправки сигнального звука, вслед за которым идет речевое сообщение. Предварительный звук позволяет пользователю «настроиться» на то, чтобы услышать речевое объявление, то есть, направляя внимание на речевое объявление. Звук также предупреждает пользователя относительно типа информации, которая должна следовать, так что пользователь может лучше решить, будет ли он или она уделять ей внимание. Например, пользователи могут выбрать, чтобы уделить повышенное внимание информации о путешествии, но уделить меньше внимания контекстной информации (например, относительно магазина в непосредственной близости от пользователя, или рекламному предложению, относящемуся к текущему обстоятельству пользователя).

[0089] В любой точке путешествия, пользователь может сделать запрос, чтобы прослушать информацию, касающуюся одного или более IOI путешествия (и/или других типов IOI), которые были в последнее время прочитаны вслух. Этот запрос может быть сделан различными способами, которые будут описаны ниже. Если предупреждение было прочитано вслух в течение последних 30 секунд, то система 102 ответит на действие пользователя также путем повторения предупреждения, вслед за которым будет повторена информация о путешествии. В некоторых случаях, пользователь может запросить систему 102 повторить информацию, но эта информация больше недоступна. Система 102 может воспроизвести соответствующий звук, чтобы предупредить пользователя об этой ситуации, за которым последует речевое сообщение «информация недоступна в данный момент», или тому подобное.

[0090] В качестве другого общего отличительного признака, система 102 может автоматически представлять информацию, касающуюся некоторых IOI, в моменты времени, в которые не ожидается, что пользователь будет перегружен другой чувствительной информацией из окружающей среды. Например, система 102 может воздержаться от отправки пользовательских сообщений, касающихся запланированного маршрута 202, до тех пор, пока пользователь не достигнет заданной «тихой зоны» на запланированном маршруте, в которой пользователь может безопасно и с удовольствием потреблять информацию. Система 102 может сохранять, заранее, местоположения областей, которые считаются «тихими зонами».

[0091] Теперь более подробно рассмотрим конкретный опыт пользователя во время перемещения по пространству, показанному на Фиг. 2. Предположим, что в момент времени t1 пользователь пытается достичь второй точки w2 маршрута. После распознавания местоположения (и направления) пользователя, система 102 может отправить пользовательские направления (в визуальной и/или звуковой форме), которые способствуют пользователю в достижении второй точки w2 маршрута. Кроме того, система 102 может отправить пользовательскую информацию, касающуюся самой второй точки w2 маршрута, когда пользователь находится в пределах заданного расстояния от второй точки w2 маршрута. Это позволит пользователю сделать подходящие приготовления для любого изменения курса, которые вторая точка w2 маршрута может вызвать. Описанная выше информация может быть сформулирована главным образом как IOI путешествия.

[0092] В определенных ситуациях, фактическое путешествие пользователя может отходить от запланированного путешествия, например, по отношению к маршруту, который фактически берется, и/или времени обхода пользователем пространства. Для решения этих ситуаций, система 102 может автоматически (или в порядке по требованию) определять, повлияет ли текущая ситуация пользователя на какие-либо оставшиеся части путешествия пользователя. Например, система 102 может обновить расчетное время прибытия пользователя на автобусную станцию и затем определить, будет ли пользователь продолжать прибывать вовремя, чтобы успеть на ранее идентифицированный автобус или шаттл. Если текущая ситуация пользователя влияет на путешествие пользователя таким образом, система 102 может автоматически повторно сгенерировать информацию, которая используется для содействия пользователю в перемещении по пространству. Эта информация может быть выражена в виде нового набора IOI. Например, система 102 может рекомендовать пользователю поехать на более позднем автобусе или шаттле (и может автоматически сделать соответствующие бронирования, отправить соответствующие уведомления, и/или принять другие меры). Кроме того, как было отмечено выше, пользователь может изучить обновленную информацию любым способом, например, путем явного запроса информации относительно точки маршрута, которая должна встретиться в будущем, и т. д.

[0093] Фиг. 2 также в целом указывает, что в момент времени t1 система 102 автоматически информирует пользователя о существовании различных элементов интереса (IOI) контекстной природы (то есть, в терминологии, описанной выше, «контекстных IOI»). Например, иллюстративный контекстный IOI может соответствовать магазину, ресторану, правительственному учреждению, природной достопримечательности, и т. д. В одном из случаев, система 102 может представить контекстный IOI для рассмотрения пользователем, только если он находится в пределах заданного расстояния от пользователя в настоящее время, и пользователь еще не прошел мимо него.

[0094] Пользователь может настроить поведение системы 102 любым способом (по отношению к контекстным IOI и/или любым другим типам IOI). Например, пользователь может указать типы подсказок, которые он желает получать на маршруте, например, путем указания того, что он хотел бы получать информацию, касающуюся первого типа магазина, но не второго типа магазина. Пользователь может также указать время, в которое он хотел бы получать информацию. Например, пользователь может указать максимальное расстояние (от его текущего местоположения), которое должно учитываться при оповещении его о существовании контекстного IOI. Пользователь может сделать эти настройки перед началом путешествия. Кроме того, пользователь может динамически изменять тип и количество информации, передаваемой системой в течение путешествия, например, путем сокращения количества информации, которая автоматически предоставляется системой. Пользователь может выбрать уменьшение количества информации, потому что он считает ее излишней или отвлекающей на определенном этапе в ходе путешествия.

[0095] Система 102 может представить информацию, касающуюся контекстных IOI, любым характерным для приложения способом. Например, в одном из случаев, система 102 может объявить набор контекстных IOI в порядке, в котором они появляются перед пользователем, слева направо или справа налево (например, по существу, формируя угловую развертку с пользователем, расположенным в начале развертки), или в направлении спереди назад (с точки зрения расстояния от пользователя), или в направлении сзади вперед, и т. д. Как было отмечено выше, в одной из реализаций, система 102 может предварять каждое объявление сигнальным звуком, который оповещает пользователя о том, что последует информация, касающаяся контекстного IOI. Система 102 может затем описать контекстный IOI, например, путем предоставления аудиоинформации, которая объявляет: «Кафе Джейн, 150 футов». Система 102 может альтернативно предоставлять различные предварительные звуки, связанные с различными типами учреждений, например, путем предоставления первого типа предварительного звука для ресторанов, и второго типа звука для автобусных остановок, и т. д.

[0096] В некоторых случаях, может быть большое количество контекстных IOI в непосредственной близости от пользователя в текущий момент времени. Чтобы сократить количество информации, сообщаемой пользователю, система 102 может консолидировать эту информацию в один или несколько сводных сообщений, например, объявляя: «Рестораны, в целом через 100 футов». То же самое справедливо и для любого типа IOI. В целом, система 102 может определять, имеет ли группа отдельных IOI, которые должны быть отправлены пользователю в данный момент времени, по меньшей мере одну общую характеристику. Система 102 может затем предоставить сводное сообщение, которое сообщает о группе IOI как о блоке или наборе, а не по отдельности. В конкретном примере, упомянутом выше, система 102 определяет, что группа контекстных IOI расположены в непосредственной близости от пользователя, и что эти IOI относятся к одному и тому же типу учреждения. В другом примере, система 102 может предоставить сводное предупреждающее IOI: «Большое количество крупных выбоин в ближайшие 100 ярдов».

[0097] Система 102 может использовать другие правила для предоставления объявлений разумным образом. Например, некоторые IOI актуальны, только если пользователь находится в непосредственной близости от этих IOI. Например, пользователь может быть заинтересован в скамейке в парке, только если пользователь находится в нескольких футах от этого объекта. Следовательно, система 102 может объявлять о наличии этих видов объектов только тогда, когда пользователь находится относительно близко к этим объектам. Но здесь опять же, пользователь может настроить поведение системы в этом отношении.

[0098] В соответствии с другим иллюстративным отличительным признаком, система 102 может использовать трехмерные звуки для объявления о присутствии некоторых типов IOI, таких как некоторые типы контекстных IOI. Трехмерный звук относится к звуку, который пользователь воспринимает как исходящий от конкретного местоположения (или местоположений) в физическом пространстве. В действительности, однако, аудиоинформация представляется пользователю через гарнитуру 108 и не имеет физического источника в окружающей среде. Как будет описано ниже в разделе D, система 102 может достигать упомянутого выше результата за счет использования Передаточной Функции Слухового Аппарата Человека (HRTF), в сочетании с различными типами широкополосных аудиозвуков. В других реализациях, система 102 может использовать другие методы и технологии для создания трехмерного аудиоэффекта (вместо HRTF или в дополнение к HRTF), такие как Ambiophonics, Ambisonics, синтез волнового поля, и т. д.

[0099] Например, в контексте c1 (в момент времени t1) система 102 может отправить последовательность направляющих объявлений пользователю, которые идентифицируют по меньшей мере три контекстных IOI (IOI1, IOI2 и IOI3). Система 102, например, может объявить присутствие контекстного IOI1 путем отправки предварительного звука пользователю, который пользователь воспринимает как исходящий от конкретного местоположения в пространстве, в котором сущность, связанная с контекстным IOI, физически расположена. То есть, если контекстный IOI соответствует Кафе Джейн, сообщение направило бы внимание пользователя на фактическое местоположение Кафе Джейн. Система 102 может также предоставлять описание этого учреждения с использованием трехмерного звука, например, путем объявления «Кафе Джейн, 150 футов» направленным способом, то есть, используя трехмерную речевую информацию.

[00100] В дополнение, или альтернативно, система 102 может отправлять пользовательскую информацию, касающуюся одного или более IOI доступной информации. Как было объяснено выше, система 102 может выполнять эту операцию посредством отправки сообщения, которое обычно предупреждает пользователя о наличии информации, которая может относиться к текущему контексту пользователя, но без немедленного объявления конкретного содержания этой информации. Пользователь затем может вручную запросить систему 102 для получения информации, например, путем выполнения инструкции «больше информации». Или пользователь может проигнорировать информацию.

[00101] Все приведенные выше отличительные признаки доставки информации способствуют достижению цели по представлению полезной информации пользователю по мере того, как пользователь пересекает пространство, не перегружая пользователя слишком большим количеством информации.

[00102] В качестве другого отличительного признака, в любой момент на пути пользователя, система 102 может сравнить фактическое направление движения пользователя с желаемым направлением движения. Система 102 может определить фактическое направление движения пользователя, используя любой из механизмов, описанных ниже в связи с Фиг. 3. Система 102 может определить желаемое направление путем определения того, куда пользователь, как ожидается, должен быть направлен в настоящее время. Система 102 может затем определить информацию отклонения, которая определяет степень, в которой фактическое направление пользователя отклоняется от желаемого направления. Система 102 может затем отправить пользовательскую информацию, которая попытается направить пользователя по желаемому пути.

[00103] Например, рассмотрим пользователя в момент времени t2. В этот момент, пользователь пытается достичь точки w3 маршрута. Предположим, что фактическое направление пользователя представлено стрелкой 210, а желаемое направление пользователя представлено стрелкой 212. Система 102 отправит пользовательские инструкции, которые попытаются направить пользователя от его текущего ошибочного направления к желаемому направлению.

[00104] В одной из реализаций, система 102 достигает приведенной выше цели, используя трехмерный звук удара или другой тип периодического звука. Трехмерный звук удара представляет собой любой тип повторяющегося звука (такого как звук щелчка), который воспринимается пользователем как исходящий из конкретного местоположения (или местоположений) в физическом пространстве. В случае на Фиг. 2, в момент времени t2, система 102 будет отправлять трехмерный звук удара, который, как представляется, исходит слева от пользователя по его направлению движения. Это будет сообщать пользователю о том факте, что: (a) он движется в неоптимальном направлении; и (b) он должен слегка повернуть налево, чтобы достичь более желаемой траектории.

[00105] Система 102 может модулировать звук удара, чтобы достичь других эффектов. Например, система 102 может изменить тон и/или периодичность и/или громкость (и/или некоторый другой аспект) звука удара в зависимости от степени, в которой пользователь в настоящее время направлен в неоптимальном направлении. Пользователь будет интерпретировать звук удара как указание на степень, в которой он направлен в неправильном направлении.

[00106] До сих пор, описание в основном подчеркивало возможность системы 102 автоматически доставлять информацию пользователю на соответствующих этапах вдоль пути пользователя. В этом режиме работы, столкновение пользователя с окружающей средой может представлять собой события, которые запускают доставку информации, например, в форме описанных выше различных типов IOI. Кроме того, в любой момент времени пользователь может вручную взаимодействовать либо со смартфоном, либо с гарнитурой 108, чтобы вручную исследовать его окружающую среду и чтобы получить информацию, касающуюся любого из IOI, описанных выше. Например, в первом способе взаимодействия, пользователь может нажать на сенсорную поверхность на смартфоне в любой момент времени во время путешествия. В ответ на однократное нажатие, система 102 объявит информацию верхнего уровня, касающуюся текущего контекста пользователя. Например, в момент времени t1, система может ответить на однократное нажатие путем объявления того, что пользователь движется к точке w2 маршрута, которая может считаться IOI путешествия. В ответ на двойное нажатие, система 102 предоставит более подробную информацию, касающуюся настоящего контекста. В ответ на тройное нажатие, система 102 предоставит инструкции, которые позволяют пользователю взаимодействовать со смартфоном, например, с целью получения дополнительной информации, касающейся контекста, и вызывать различные функции, относящиеся к текущему контексту.

[00107] В качестве другого отличительного признака, в любой момент, пользователь может взаимодействовать со смартфоном, чтобы активировать одно или более меню, которые имеют отношение к пользователю в данный момент времени. Например, в момент времени t1, пользователь может выполнить жест коснуться-и-держать на поверхности смартфона. В ответ, система 102 может активировать меню, связанное с настоящим контекстом пользователя. Пользователь может затем взаимодействовать со смартфоном, чтобы исследовать сразу же представленное меню, или перейти в любое другое меню.

[00108] Более конкретно, как будет объяснено в Разделе C ниже, система 102 может представлять набор меню, которые являются доступными через набор рабочих областей. Каждая рабочая область имеет фиксированную позиционную взаимосвязь по отношению к каждой другой рабочей области. Пользователь может получить доступ к желаемой информации и/или функциональным возможностям путем перехода к соответствующей рабочей области и связанному меню.

[00109] В соответствии с одним из отличительных признаков, пользователь может выполнить все из приведенных выше задач взаимодействия с экраном с помощью одной руки, например, используя большой палец руки, которая держит смартфон. Система 102 может также предоставлять звуковые и/или тактильные сигналы обратной связи по мере того, как пользователь взаимодействует с сенсорной поверхностью смартфона. В совокупности, все из этих отличительных признаков сводятся к степени, до которой пользователю необходимо переключить его внимание от окружающей среды при взаимодействии с системой 102. Например, пользователь может держать свои глаза на дороге, по которой он идет, при взаимодействии со смартфоном. Человек, имеющий нарушения зрения, также может успешно взаимодействовать с системой 102 вследствие подытоженных выше невизуальных характеристик.

[00110] Как будет описано в подразделе C.3, пользователь может также вручную взаимодействовать с системой 102 посредством голосовых команд. В дополнение, или альтернативно, пользователь может вручную взаимодействовать с системой 102 посредством механизмов ввода, предоставленных гарнитурой 108 (как описано в разделе B), Система 102 может предоставлять еще и другие механизмы, посредством которых пользователь может вручную взаимодействовать с системой 102.

[00111] Пользователь может также вызывать специальные режимы для использования в исследовании его непосредственного окружения. Например, в ответ на активацию режима исследования, система 102 может определить текущий фокус внимания пользователя, который может соответствовать направлению, в котором пользователь, как предполагается, смотрит в настоящий момент времени (которое, в свою очередь, может быть определено на основе одного или более механизмов определения ориентации). Система 102 может затем определить контекстные IOI, которые охватываются (или иным образом связаны с) подпространством, сформированным вокруг направления внимания пользователя. Система 102 может затем зачитать эти контекстные IOI путем объявления этих контекстных IOI с использованием трехмерных звуков, и/или путем отправки визуальных сообщений для представления на смартфоне пользователя, и т. д.

[00112] Некоторые из этих контекстных IOI могут относиться к реальным объектам в средах, имеющим реальные местоположения в подпространстве. Эти IOI служат главным образом для идентификации или отметки местоположений этих физических сущностей в физическом пространстве. Другие контекстные IOI могут быть виртуальными по своей природе в том, что они относятся к подпространству (учитывая текущий контекст пользователя), но могут не описывать непосредственно объекты в этом подпространстве. Другими словами, эти другие контекстные IOI передают информацию и/или опыт, который имеет отношение к текущему контексту пользователя, кроме того идентифицируя местоположения физических сущностей.

[00113] Чтобы привести один пример, контекстный IOI «виртуального» вида может соответствовать сообщению «Помни о наших падших войсках» по мере того, как пользователь приближается к военной казарме. Это сообщение относится к казарме, но нельзя точно сказать, что оно используется, чтобы просто отметить расположение казармы. Цель этого сообщения заключается в создании умственной связи, чтобы обогатить опыт пользователя по мере того, как он приближается к казарме. Альтернативно, контекстный IOI в этом обстоятельстве может соответствовать песне или отрывку из воодушевляющей речи или личному сообщению, которое имеет особое значение для пользователя (как было ранее указано и загружено в систему 102 пользователем).

[00114] То же самое справедливо и для других типов IOI (отличных от контекстных IOI). То есть, некоторые IOI служат главным образом в качестве тегов маркировки, тогда как другие IOI предназначены для стимулирования когнитивных ассоциаций, воспоминаний, эмоций, и т. д. Последняя группа IOI называется «виртуальной» в материалах настоящей заявки в том смысле, что они относятся к сфере ассоциаций, впечатлений, значений, и т. д., то есть не транскрипции поверхностного уровня событий и объектов в окружающей среде. Такие IOI могут альтернативно называться выведенными логически, вызывающими мысли, родственными, и т. д. IOI.

[00115] В соответствии с другим отличительным признаком, в ответ на активацию режима ориентации, система 102 может выполнить полное 360 сканирование вокруг пользователя, чтобы идентифицировать все элементы интереса, которые связаны с заданным расстоянием от пользователя. Система 102 также может выполнить это 360 градусное сканирование для последовательных уровней в вертикальном измерении, например, чтобы определить магазины, предоставленные на различных уровнях торгового комплекса или тому подобное. Пользователь может настроить поведение режима исследования и режима ориентации любым способом, описанным выше, например, путем изменения типов IOI, которые идентифицируются, измерений пространства, по которым осуществляется поиск присутствия IOI, и так далее. Кроме того, пользователь может взаимодействовать с системой 102 для управления способом, которым система 102 зачитывает IOI.

[00116] Теперь предположим, что в момент времени t3 пользователь спонтанно решает отклониться от запланированного маршрута 202, чтобы посетить магазин 204, например, чтобы купить бутерброд. При нахождении в магазине, контекст (с3) пользователя в это время относится к окружающей среде магазина. Следовательно, система 102 может выполнять те же функции, что описаны выше, но теперь в контексте среды внутренней окружающей среды магазина. Например, система 102 может автоматически определять контекстные IOI по мере того, как пользователь пересекает островок магазина 204, и объявлять эти контекстные IOI пользователю. Например, при приближении к молочному отделу магазина 204, пользователь может получить сообщение, которое зачитывает: «Молоко, сыр и йогурт, 20 футов впереди». Система 102 может постепенно отправлять более подробную информацию по мере того, как пользователь подходит ближе к продуктам, которые могут его заинтересовать. Опять же, некоторые из контекстных IOI могут иметь менее прямое соответствие с физическими объектами в магазине, например, в сообщении, которое доставляется в отделе супов, которое предупреждает пользователей о наличии высоком содержании натрия во многих супах.

[00117] Пользователь может также вручную взаимодействовать с системой 102 внутри окружающей среды магазина любым способом. Например, пользователь может вручную исследовать различные меню, связанные с различными продуктами. Пользователь может также использовать смартфон для выполнения различных операций в окружающей среде магазина, таких как покупка элемента, изучение элемента, и т. д.

[00118] В некоторых реализациях, система 102 может определять местоположение пользователя внутри магазина 204 путем определения, находится ли пользователь в пределах одного набора маяков, которые были размещены (заранее) в различных местоположениях внутри магазина 204. Как будет описано в разделе E, маяки могут иметь непересекающиеся диапазоны.

[00119] При покидании магазина 204, система 102 может пересчитать путешествие пользователя, чтобы привести пользователя обратно к запланированному маршруту 202. Например, система 102 может предоставить пользователю инструкции, которые позволят пользователю достичь точки w4 маршрута, связанной с остановкой шаттла. При достижении этой точки маршрута, система 102 может затем доставить информацию, которая имеет отношение к пользователю в этот момент, например, путем объявления ожидаемого времени прибытия шаттла 208 пользователя. Эта информация может быть доставлена как один или более IOI путешествия.

[00120] Система 102 может продолжать предоставлять услуги пользователю, в то время как он едет на шаттле 208. Например, система 102 может оповестить пользователя об ожидаемом времени прибытия в конечный пункт назначения, т.е. точку w5 маршрута (кабинет врача пользователя). Система 102 может также предоставлять другие сообщения, которые могут быть полезны для пользователя, в зависимости от характера общественного (или частного) транспорта, на котором путешествует пользователь. Например, при езде на автобусе и приближении к конечному пункту назначения, система 102 может предупредить пользователя о наличии высокого бордюра, с которым он, как ожидается, столкнется при выходе из автобуса. Кроме того, система 102 может, с разрешения пользователя, предупредить водителя автобуса, что человек, которому требуется помощь, будет производить высадку на предстоящей автобусной остановке.

[00121] В целом, на протяжении всего путешествия пользователя, пользователь может получать большое количество информации в звуковой форме, например, в форме речевых сообщений, других звуков (трехмерных звуков и не-трехмерных звуков), и т. д. Система 102 может использовать различные методы для управления представлением этой информации, некоторые из которых уже упоминались выше (например, возможность уменьшить или увеличить количество информации, которая доставляется). Этот отличительный признак позволяет пользователю получать самую актуальную информацию своевременно, не перегружая пользователя слишком большим количеством информации.

[00122] Например, система 102 может воспроизводить звуки во время путешествия с учетом различных правил для урегулирования ситуации, в которой доставки одного звука потенциально пересекается с доставкой другого звука. В соответствии с одним иллюстративным правилом, система 102 будет воспроизводить звук удара в непрерывном цикле, чтобы направить пользователя в нужном направлении, например, во время ходьбы. Система 102, однако, может временно отключить этот звук (или уменьшить громкость этого звука по сравнению с нормальным состоянием этого звука), когда любой другой звук воспроизводится. Это позволяет пользователю услышать другие звуки без вмешательства звука удара, который считается звуком с низким приоритетом.

[00123] В соответствии с другим иллюстративным правилом, система 102 может безусловно воспроизводить звуки, которые представляют собой связанные с интерфейсом события, такие как жесты смахивания, которые изменяют, какое меню или контекст представлен пользователю. Чтобы избежать перегрузки пользователя слишком большим количеством аудиоинформации, эти типы звуков могут быть разработаны так, чтобы быть короткими и отчетливыми. Пользователь может управлять воспроизведением этих типов сигналов, по меньшей мере, до некоторой степени, путем временной приостановки его или ее взаимодействия с системой 102 (потому что не будет создаваться сигналов взаимодействия, если пользователь не взаимодействует активно с системой 102).

[00124] В соответствии с дополнительными иллюстративными правилами, система 102 может назначать приоритеты навигационным звукам путем назначения наивысшего уровня приоритета предупреждающим звукам (например, для предупреждающих IOI), следующего наивысшего уровня приоритета - информации о путешествии (например, для IOI путешествия), и следующего наивысшего уровня - контекстной информации (например, для любого типа контекстных IOI). В некоторых случаях, система 102 задержит доставку информации, например, потому что воспроизводится более важная информация. Кроме того, в некоторых случаях, задержанное сообщение больше не будет важным ко времени, когда система 102 способна его представить (например, потому что пользователь переместился в новый контекст, в котором информация больше не является важной); если это так, система 102 может воздержаться от представления этой информации.

[00125] В заключение, описанный выше сценарий также полезен в подчеркивании некоторых из полезных технических эффектов системы 102. Как правило, система 102 позволяет любому пользователю получать руководство, которое служит различным, но взаимосвязанным целям. Во-первых, система 102 пытается предоставить пользователю наиболее полезную информацию в любое заданное время в ходе его или ее путешествия, таким образом давая возможность пользователю более эффективно перемещаться по его или ее окружающей среде, или достичь других целей. Во-вторых, система 102 обогащает опыт пользователя относительно окружающей среды за пределы предоставления навигационного содействия, позволяя пользователю узнавать новую информацию об окружающей среде, которая может не быть сразу очевидна пользователю без использования системы 102; в этой связи, система 102 позволяет пользователю образно проникнуть под поверхность окружающей среды, чтобы понять ранее скрытые аспекты и связи, которые касаются окружающей среды 102. В-третьих, система 102 пытается предоставить эту полезную информацию пользователю способом, который сводит к минимуму отвлечения внимания пользователя. Третья цель является полезной для того, чтобы предоставить более приятный и полезный опыт пользователю, например, позволяя пользователю сохранять основное внимание на его или ее взаимодействии с «реальным миром», а не на инструментах, которые он или она использует для взаимодействия с реальным миром. Заявленная отрицательно, третья цель пытается уменьшить беспокойство, которое может возникнуть тогда, когда пользователя просят взаимодействовать с громоздким и сложным инструментом, которому пользователь, как ожидается, будет уделять значительное внимание. Третья цель также позволяет пользователю эффективно и быстро получать доступ к желаемой информации безопасным образом, без перегрузки в любой момент времени слишком большим количеством информации.

[00126] Ряд технических отличительных признаков способствует подытоженным выше целям, в частности, что касается третьей цели. Отличительный признак включает в себя, но не ограничен этим: a) использование опыта взаимодействия одной рукой; b) использование дружественной структуры меню, которая обеспечивает жесты, которые могут быть выполнены на сенсорной поверхности независимым от местоположения способом (будет описано ниже); c) использование дружественной и простой в освоении структуры рабочей области, которая предоставляет доступ к «безопасной» домашней рабочей области (будет объяснено ниже); d) использование нескольких механизмов для ввода команд (например, через гарнитуру 108, пользовательское устройство 106, распознавание голоса, и т. д.); e) использование аудиоинформации и/или тактильных сигналов для передачи информации без чрезмерного отвлечения внимания пользователя от путешествия; f) использование трехмерных и не-трехмерных звуков, чтобы помочь направить пользователя в нужном направлении без затопления пользователя сложными инструкциями, или чтобы оповестить пользователя о местоположении IOI, и так далее.

[00127] Приведенные выше преимущества применяются к любому пользователю системы 102. Система 102 может также успешно использоваться людьми с любым типом состояния здоровья, которое снижает их способность совершать путешествия. Эти пользователи могут включать в себя пользователей с частичной или полной потерей зрения, пользователей с когнитивными или другими психологическими расстройствами, пользователей, имеющих недостатки, связанные с мобильностью, и так далее. Для этих пользователей, система 102 выступает в качестве виртуальной собаки-поводыря, помогая пользователю на каждом этапе их путешествия безопасным образом, или оказывая иную помощь пользователю во взаимодействии с окружающей их средой, независимо от цели пользователя, которая случается в данный момент. Для этих пользователей, в дополнение к подытоженным выше общим выгодам, система 102 также позволяет пользователю получать доступ к информации и руководствам, которые в противном случае не были бы доступны им, таким образом потенциально улучшая мобильность, уверенность и общее качество жизни этих пользователей.

[00128] Переходя теперь к Фиг. 3, эта фигура показывает высокоуровневый общий вид вычислительных функциональных возможностей, которые могут использоваться для реализации системы 102 на Фиг. 1. Функциональные возможности на Фиг. 3 показаны независящим от устройства способом. В фактической реализации, функциональные возможности могут быть выделены, например, любому из компонентов, представленных на Фиг. 1, или любой комбинации этих компонентов. Например, Фиг. 3 показывает, что функциональные возможности включают в себя модуль 302 взаимодействия с пространством (SI). Модуль 302 SI выполняет все (или большинство) из функций, описанных в отношении сценария на Фиг. 2. Некоторые части модуля 302 SI могут быть реализованы посредством пользовательского устройства 106, в то время как другие части модуля 302 SI могут быть реализованы посредством обрабатывающих компонентов, расположенных на гарнитуре 108. В дополнение, или альтернативно, некоторые части модуля 302 SI могут быть выполнены посредством удаленных обрабатывающих ресурсов 112.

[00129] Модуль 302 SI может получать входные данные из любой комбинации механизмов 304 ввода, и может предоставлять свои выходные данные для представления на любых механизмах 306 вывода. Например, механизмы 304 ввода могут включать в себя один или более механизмов 308 определения ориентации, и/или один или более механизмов 310 определения движения, и/или один или более механизмов 312 определения местоположения, и так далее.

[00130] Механизм(ы) 308 определения ориентации определяют ориентацию устройства, которое включает в себя этот механизм(ы) 308. Например, при размещении в пользовательском устройстве 106, механизм(ы) 308 определения ориентации определяют трехмерную ориентацию данного пользовательского устройства 106. При размещении в телефонной трубке 108, механизм(ы) определения ориентации определяют трехмерную ориентацию телефонной трубки 108. В более общем плане, механизм(ы) 308 определения ориентации могут определить направление, в котором пользователь направляет свой смартфон или поворачивает его или ее голову (на которой размещается гарнитура 108). Механизм(ы) 310 определения движения определяют природу и степень движения устройства, которое включает в себя этот механизм(ы) 310. Механизм(ы) 312 определения местоположения определяют абсолютное и/или относительное местоположение устройства, которое включает в себя этот механизм(ы) 312.

[00131] Механизм(ы) (308, 310, 312) могут быть реализованы с использованием любой комбинации датчиков, включая, но не ограничиваясь: магнитометры, акселерометры, гироскопические датчики, основанные на гравитации датчики, датчики крутящего момента, тензометры, гибкие датчики, механизмы оптического кодера, и так далее. Кроме того, некоторые из механизмов (308, 310, 312) могут получать сигналы от внешних систем или источников. Например, механизмы (308, 310, 312) могут включать в себя датчик для определения местоположения устройства на основе сигналов, принятых от основанной на спутниках навигационной системы (например, Системы Глобального Позиционирования (GPS)). В дополнение, или альтернативно, механизмы (308, 310, 312) могут включать в себя функциональные возможности для определения положения устройства путем выполнения триангуляции и/или другой обработки на основе сигналов, полученных от множественных внешних источников, таких как сигналы, полученные от множественных радиовышек и/или локализованных направленных антенн, и т. д. В дополнение, или альтернативно, механизмы (308, 310, 312) могут включать в себя функциональные возможности для определения положения устройства с использованием метода счисления пути. В дополнение, или альтернативно, механизмы (308, 310, 312) могут включать в себя функциональные возможности для определения положения устройства путем обработки информации от местных маяков (например, Wi-Fi и/или BLUETOOTH маяков, и т. д.), и так далее.

[00132] Механизмы 304 ввода могут также включать в себя любую комбинацию механизмов 314 ручного ввода. Эти механизмы могут включать в себя любое из: клавишных механизмов ввода, сенсорных механизмов ввода (например, сенсорный экран 314'), джойстиков, микрофонов (например, для получения голосовых инструкций), видеокамер и/или камер с восприятием глубины сцены (например, для получения жестов свободного пространства), и так далее. Например, в случае на Фиг. 1, пользовательское устройство 106 может использовать сенсорный дисплейный экран в качестве основного способа взаимодействия с пользователем. Например, без ограничений, этот сенсорный дисплейный экран может включать в себя механизм емкостного сенсорного экрана, который определяет, когда пользователь касается и/или парит над экраном. Пользовательское устройство 106 может также включать в себя камеру, микрофон, и т. д. Гарнитура 108 может включать в себя микрофон (для получения голосовых инструкций) вместе с одним или более выделенными механизмами ввода, например, реализованными как кнопки на одной стороне гарнитуры (будет более подробно описано в следующем разделе).

[00133] Механизмы 306 вывода могут включать в себя один или более механизмов 316 вывода звука, один или более механизмов 318 вывода изображения, один или более тактильных механизмов 320 вывода, и так далее. Например, механизм(ы) 316 вывода звука могут соответствовать традиционным динамикам любого типа. В дополнение, или альтернативно, механизм(ы) 316 вывода звука могут включать в себя аудиоустройства на основе костной проводимости (например, как предоставлено гарнитурой 108), такие как преобразователи на основе костной проводимости, произведенные AFTERSHOKZ, LLC, Сиракьюс, Нью-Йорк. Механизм(ы) 318 вывода изображения могут соответствовать, например, дисплею ЖК типа (например, как предоставлено пользовательским устройством 106). Тактильные механизм(ы) 320 вывода могут соответствовать, например, создающему вибрацию механизму (например, как предоставлено пользовательским устройством 106 и/или гарнитурой 108, и т. д.). Создающий вибрацию механизм может достигать эффекта вибрации с помощью вращающегося несбалансированного веса и/или посредством некоторого другого механизма(ов).

[00134] Модуль 302 SI может также взаимодействовать с удаленной функциональностью 322, которая может считаться внешней по отношению к модулю 302 SI как таковая. Например, модуль 302 SI может взаимодействовать с поисковой системой 324 для целей проведения поиска. Например, поисковая система 324 может соответствовать поисковой системе BING, предоставленной Корпорацией MICROSOFT в Редмонде, штат Вашингтон. В дополнение, или альтернативно, модуль 302 SI может взаимодействовать с механизмом 326 вычисления путешествия для целей генерации нового путешествия и/или модификации существующего путешествия. В дополнение, или альтернативно, модуль 302 SI может взаимодействовать с механизмом 328 обработки речи, чтобы интерпретировать голосовые инструкции, сделанные пользователем. Например, механизм 328 обработки речи может соответствовать системе CORTANA, предоставленной Корпорацией MICROSOFT в Редмонде, штат Вашингтон. В других случаях, один или более аспектов удаленной функциональности 322 могут быть включены в модуль 302 SI в качестве собственных ресурсов.

[00135] В дополнение, модуль 302 SI может взаимодействовать с любой внешней информацией, предоставленной в одном или более хранилищах 330 данных. Например, внешняя информация может предоставлять публично доступные картографические данные, информацию расписания транспорта, информацию оповещения, бизнес и личную справочную информацию, информацию социальных сетей, информацию календаря, и т. д., и так далее. В некоторых случаях, модуль 302 SI может взаимодействовать с внешними источниками (например, внешними веб-сайтами) с помощью прикладных программных интерфейсов (API), предоставленных этими внешними источниками.

[00136] Теперь ссылаясь на Фиг. 4, эта фигура показывает одну из реализаций модуля 302 SI, который был представлен выше. С точки зрения высокого уровня, модуль 302 SI может включать в себя (или может быть задуман как включающий в себя) множество подкомпонентов, которые выполняют различные соответствующие функции. Кроме того, некоторые подкомпоненты могут полагаться на результаты, сгенерированные другими подкомпонентами. Модуль 402 прикладного интерфейса (AIM) позволяет пользователю взаимодействовать с любым из подкомпонентов. Например, модуль 402 прикладного интерфейса может предоставлять функциональные возможности, которые предоставляют различные функции, предоставленные подкомпонентами.

[00137] В целом ссылаясь на подкомпоненты сверху вниз, модуль 302 SI может включать в себя различные хранилища данных для хранения информации, которая может использоваться модулем 302 SI при выполнении его функций. Например, хранилище 404 данных может хранить информацию, которая определяет одно или более путешествий. Например, информация о путешествии может описывать точки маршрута в путешествии, и/или любую другую информацию, касающуюся путешествия. Хранилище 406 данных может хранить результаты, предоставленные поисковой системой; эти результаты могут быть сгенерированы, при направлении пользователя, в ходе путешествия или более общего взаимодействия пользователя с пространством. Хранилище 408 данных может хранить историю вкладок, созданных пользователем в ходе взаимодействия пользователя с модулем 302 SI. Вкладка, как правило, соответствует закладке меню или другого элемента информации и/или функциональности и/или опции. Пользователь может создать вкладку, когда он или она посещает это меню или другой элемент или информацию и/или функциональность и/или опцию; в одной из реализаций, хранилище 408 данных изначально не содержит вкладок, когда пользователь отправляется в путешествие и еще на начал взаимодействовать с системой 102. Система 102 может использовать любой способ представления набора вкладок, например, как список вкладок, радиальное меню вкладок, и т. д.

[00138] Модуль 302 SI может также предоставлять различные модули 410 поддержки, которые выполняют любой тип услуг поддержки. Например, модуль настроек может позволить пользователю присвоить значение любому параметру, который оказывает влияние на работу системы 102. Хранилище 412 данных может хранить все такие настройки. Модули 410 поддержки могут также включать в себя портал для взаимодействия с внешней поисковой системой, чтобы предоставить результаты поиска. Или модули 410 поддержки могут включать в себя исходно-предоставленную поисковую систему.

[00139] Модуль 414 генерирования звуков выполняет различные операции, относящиеся к генерированию звуков. Например, модуль 414 генерирования звуков может воспроизводить конкретные звуки при возникновении различных запускающих обстоятельств. Некоторые запускающие обстоятельства соответствуют действиям, сделанным пользователем при взаимодействии с модулем 402 прикладного интерфейса. Другие запускающие обстоятельства соответствуют изменениям в состоянии системы 102, которые не вызваны непосредственно взаимодействием пользователя с системой 102. Другие запускающие обстоятельства соответствуют событиям, которые происходят в ходе путешествия (или в более общем плане, в ходе взаимодействия пользователя с пространством), и так далее. Хранилище 416 данных может хранить файлы, которые при воспроизведении производят желаемые звуки. Подраздел C.2 (ниже) предоставляет дополнительную информацию, касающуюся различных типов звуков, которые могут быть сгенерированы, и обстоятельств, при которых эти звуки воспроизводятся.

[00140] Некоторые звуки являются не-трехмерными или не-пространственными по своей природе. Кроме того, модуль 414 генерирования звуков может производить трехмерную аудиоинформацию. Как было описано выше, аудиоинформации является трехмерной в том смысле, что пользователь будет воспринимать эту информацию как исходящую из одного или более местоположений внутри трехмерной физической или виртуальной окружающей среды. Модуль 414 генерирования звуков может создавать эти звуки посредством преобразования исходной звуковой информации с помощью одной или более Передаточных Функций Слухового Аппарата Человека (HRTF).

[00141] Подобным образом, модуль 418 генерирования тактильных сигналов может создавать различные типы событий тактильной обратной связи в различных запускающих обстоятельствах. В одном случае, модуль 418 генерирования тактильных сигналов создает сигналы, которые производят сигналы вибрации, например, при доставке в пользовательское устройство 106, гарнитуру 108 и/или некоторое другое устройство.

[00142] Модуль 420 направления по пути использует модуль 414 генерирования звуков, чтобы сгенерировать описанный выше трехмерный периодический звук (например, удара). Цель этого периодического звука состоит в том, чтобы направлять пользователя в определенном направлении. Модуль 420 направления по пути производит этот эффект путем определения текущего фактического направления пользователя, желаемого направления и разницы между фактическим и желаемым направлениями (соответствующей информации отклонения). Затем модуль 420 направления по пути использует модуль 414 генерирования звуков для создания соответствующего зацикленного звука, который воспринимается пользователем как исходящий от определенного направления. То есть, модуль 414 генерирования звуков создает зацикленный звук на основе информации отклонения, поданной ему модулем 420 направления по пути. Пользователь может ответить на этот звук перемещением в желаемом направлении. В другом случае, звук удара может быть воспринят как перемещающийся через последовательность местоположений в физическом пространстве. Пользователь может интерпретировать этот опыт как инструкцию двигаться в направлении перемещающегося звука.

[00143] Основанный на маяках модуль 422 направления предоставляет помощь пользователю в навигации во внутреннем и/или внешнем пространстве посредством обнаружения сигналов, испускаемых от набора маяков, имеющих, в одной из иллюстративных реализаций, соответствующие непересекающиеся диапазоны. Раздел E предоставляет дополнительную информацию, касающуюся работы основанного на маяках модуля 422 направления. Основанный на маяках модуль 422 направления может принимать во внимание информацию маяков, предоставленную в хранилище 424 данных. Информация маяков может описывать коды, связанные с маяками, которые были помещены в окружающую среду, и их соответствующие местоположения в окружающей среде.

[00144] Модуль 426 определения релевантной информации (RID) выполняет общую функцию определения релевантной информации, чтобы представить пользователю в любой заданный момент времени. В контексте описания Фиг. 2, модуль 426 RID определяет различные типы элементов информации (IOI), которые оказывают влияние на текущий контекст пользователя. Чтобы выполнить эту задачу, модуль 426 RID получает различные контекстные входные данные, которые определяют контекст пользователя в настоящее время. Эти контекстные входные данные могут описывать текущее местоположение пользователя, текущее направление пользователя, текущие цели пользователя, и так далее. Контекстные входные данные могут также описывать саму окружающую среду, например, объекты и события, связанные с окружающей средой, как физические, так и виртуальные. Любые такие входные данные могут добываться из картографических данных, справочной информации, информации социальных сетей, информации календаря, и т. д. Контекстные входные данные могут также описывать относящиеся к окружающей среде факторы, которые оказывают влияние на взаимодействие пользователя с пространством, такие как информация о транспорте, информация о погоде, и т. д., полученные из любого источника(ов).

[00145] Модуль 426 RID работает путем определения, уместно ли оповестить пользователя о какой-либо информации в заданный момент времени на основе контекстных входных данных в настоящее время, и на основе различных правил (предоставленных в хранилище 428 данных). Поведение модуля 426 RID может также быть определено одним или более параметрами, заданными пользователем и сохраненными в хранилище 412 данных. Например, модуль 426 RID может определить, есть ли какие либо контекстные IOI в непосредственной близости от пользователя в настоящее время на основе диапазона глубины, определенного пользователем. Если такие контекстные IOI существуют, модуль 426 RID может взаимодействовать с модулем 414 генерирования звуков и/или функциональностью меню, предоставленной модулем 402 прикладного интерфейса, чтобы оповестить пользователя об этих контекстных IOI.

[00146] Модуль 430 исследования и модуль 432 ориентации выполняют соответствующие услуги, которые могут быть вызваны в порядке по требованию пользователем. Как описано со ссылкой на сценарий на Фиг. 2, модуль 430 исследования определяет любые контекстные IOI, которые связаны с подпространством, которое лежит перед пользователем (которое, в свою очередь, может быть определено посредством положения головы пользователя вместе с настроечным параметром, который определяет глубину исследования, и настроечным параметром, который описывает объем пространства поиска). Чтобы выполнить эту задачу, модуль 430 исследования использует услуги модуля 426 RID. Модуль 430 исследования затем оповещает пользователя о контекстных IOI с использованием трехмерных звуков, отображаемых сообщений, и т. д. Модуль 432 ориентации выполняет подобную задачу для модуля 430 исследования. Но вместо исследования IOI, связанных с подпространством, которое выступает перед пользователем, модуль 432 ориентации может сканировать все трехмерное пространство, которое существует вокруг пользователя в настоящее время.

[00147] Фиг. 5 показывает одну из реализаций модуля 402 прикладного интерфейса (AIM). Как было отмечено выше, модуль 402 прикладного интерфейса обычно предоставляет интерфейс, который позволяет пользователю взаимодействовать с различными подкомпонентами, описанными выше, со ссылкой на Фиг. 4.

[00148] Модуль 402 прикладного интерфейса может включать в себя различные компоненты, которые интерпретируют входные данные пользователя, например, чтобы определить природу инструкции, которую делает пользователь. Например, модуль 502 интерпретации жестов может определить жест, который пользователь сделал, взаимодействуя с сенсорным экраном пользовательского устройства 106, или жест свободного пространства, и т. д. Модуль 502 интерпретации жестов может выполнять эту задачу путем сравнения знаков или прикосновений или наведений (или другого поведения), сделанных пользователем, с помощью хранилища данных, которое идентифицирует шаблоны, связанные с известными жестами. Если поведение пользователя соответствует шаблону, связанному с определенным жестом, с определенной степенью соответствия, то модуль 502 интерпретации жестов может заключить, что пользователь сделал этот жест.

[00149] Модуль 504 интерпретации голоса может интерпретировать речевые инструкции пользователя, например, которые могут быть получены через микрофон пользовательского устройства 106 и/или гарнитуру 108. В одном случае, модуль 504 интерпретации голоса может соответствовать порталу в механизм 328 обработки речи (например, систему CORTANA). В другом случае, модуль 504 интерпретации голоса может соответствовать любому типу встроенной функциональности для интерпретации речевых выражений. В любом случае, агент, который выполняет распознавание голоса, может использовать любую технологию для выполнения этой задачи, такую как основанную на скрытой Марковской модели технологию, основанную на нейронной сети технологию, и т. д.

[00150] Модуль 506 интерпретации кнопок гарнитуры интерпретирует способ, с помощью которого пользователь взаимодействует с механизмами ввода гарнитуры 108 (будет описано ниже). Например, в некоторых случаях, набор кнопок может выполнять различные функции в зависимости от способа, с помощью которого пользователь взаимодействует с ними, например, в зависимости от того, касается ли пользователь кнопки, но не нажимает ее, или на основе того, касается и отпускает ли пользователь кнопку один или несколько раз, или на основе того, наживает ли и держит пользователь кнопку, и т. д. Модуль 506 интерпретации кнопок гарнитуры отображает поведение пользователя в конкретную инструкцию.

[00151] Модуль 508 выполнения действий может вызывать действие на основе интерпретаций, предоставленных описанными выше модулями (502, 504, 506) интерпретации. Например, в ответ на интерпретацию, модуль 508 выполнения действий может: вызвать меню, закрыть меню; осуществить переход между рабочими областями (будет описано ниже); выполнить функцию; сохранить настройку; представить элемент информации, и так далее.

B. Параметры Гарнитуры и Пользовательского Устройства для Облегчения Взаимодействия между Пользователями и их Окружающими Средами

[00152] Фиг. 6 показывает дополнительные подробности, касающиеся гарнитуры 108, пользовательского устройства 106 и другого пользовательского вычислительного устройства 110, представленного выше, в контексте Фиг. 1. Отличительные признаки этих устройств представлены в материалах настоящей заявки в духе иллюстрации, не ограничения.

[00153] Обращаясь сначала к гарнитуре 108, это устройство может предоставить раму 602, сделанную из пластика и/или металла и/или другого материала. Рама 602 может быть гибкой, и может быть закреплена на голове пользователя через напряженность в раме, которая толкает со стороны внутрь к голове пользователя, и/или через какой-либо другой крепежный механизм. Гарнитура 108 включает в себя преобразователи (604, 606), которые передают вибрации к костям головы пользователя; кости головы пользователя затем передают эти вибрации к барабанным перепонкам пользователя, где они воспринимаются как аудиоинформация. Использование гарнитуры типа костной проводимости предотвращает гарнитуру 108 от закупоривания ушных каналов пользователя, и тем самым позволяет пользователю безопасно отвечать на другие звуки в окружающей среде. Однако, альтернативно, гарнитура 108 может включать в себя традиционные динамики, которые размещены на или возле ушей пользователя.

[00154] Гарнитура 108 может также опционально включать в себя набор механизмов 608 ввода где-либо на ее раме. Пользователь может взаимодействовать с механизмами 608 ввода с помощью одного или более пальцев его или ее руки 610 (или рук). Альтернативно, отдельное устройство (не показано) может предоставлять механизмы 608 ввода, и это отдельное устройство может обмениваться данными с гарнитурой 108 через беспроводную связь (например, связь BLUETOOTH) и/или проводную связь. Фиг. 6 показывает, что механизмы 608 ввода включают в себя три кнопки, но, в более общем смысле, механизмы 608 ввода могут включать в себя любое количество механизмов, и эти механизмы ввода могут быть размещены на раме любым способом. Кроме того, механизмы 608 ввода могут включать в себя другие типы механизмов ввода, помимо кнопок, такие как механизмы колесика или ручки управления, механизмы ползунков, и т. д. Альтернативно, или в дополнение, гарнитура 108 может включать в себя одну или более сенсорные поверхности. Например, различные области гарнитуры 108 могут включать в себя различные сенсорные механизмы, и эти области могут быть связаны с различными соответствующими функциями.

[00155] Гарнитура 108 может включать в себя механизмы обработки, которые выполняют различные задачи (будет описано ниже). Гарнитура 108 может включать в себя отсек 612, который содержит эти механизмы обработки. Например, в одном случае, отсек 612 находится в задней части гарнитуры 108. Однако, механизмы обработки могут быть физически расположены в любом местоположении (или местоположениях) на гарнитуре 108. Сами механизмы обработки могут включать в себя одно или более устройств обработки любого типа, память, и т. д., и/или специальные логические компоненты, например, одну или более специализированных интегральных схем (ASIC), и т. д.

[00156] Механизмы 608 ввода могут инициировать любые операции при активации. Например, без ограничения, пользователь может использовать механизм 608 ввода для того, чтобы дать указание модулю 302 SI вызвать режим исследования или режим ориентации (описанные выше). В дополнение, или альтернативно, заслушав сводную информацию по определенной теме (например, имя контекстного IOI), пользователь может использовать механизмы 608 ввода, чтобы дать указание модулю 302 SI предоставить дополнительную информацию, касающуюся идентифицированной темы; эта инструкция может называться инструкцией «больше информации».

[00157] В дополнение, или альтернативно, пользователь может использовать механизмы 608 ввода, чтобы дать указание модулю 302 SI активировать режим прослушивания, или остановить режим прослушивания. В режиме прослушивания, модуль 504 интерпретации голоса обрабатывает речь пользователя, чтобы определить, произнес ли пользователь инструкцию.

[00158] В дополнение, или альтернативно, пользователь может использовать механизмы 608 ввода, чтобы дать указание модулю 302 SI повторить самое последнее аудиосообщение, которое он предоставил. В дополнение, или альтернативно, пользователь может использовать механизмы 608 ввода, чтобы запросить модуль 302 SI повторить набор ранее доставленных аудиосообщений, например, начиная с самого последнего сообщения продвигаясь назад во времени, сообщение за сообщением, на предопределенное количество предыдущих сообщений. Такая инструкция может называться инструкцией «обратная перемотка».

[00159] Альтернативно, или в дополнение, пользователь может использовать механизмы 608 ввода, чтобы включить или выключить трехмерный звук удара, и так далее. Другие реализации могут использовать механизмы 608 ввода, чтобы выдавать другие инструкции, и/или пропускать одну или более из инструкций, изложенных выше.

[00160] Приведенные выше функции, или некоторое их подмножество, могут быть сопоставлены с любым количеством соответствующих кнопок и/или других механизмов ввода любым способом. Кроме того, в некоторых реализациях, система 102 может включать в себя модуль настройки, который позволяет пользователю определять соответствие между механизмами ввода и операциями, которые механизмы вызывают. Кроме того, как описано выше, одна и та же самая кнопка может также выполнять две или более функций, в зависимости от способа, которым пользователь взаимодействует с ней. В одной из реализаций модуль 302 SI может объявлять функцию, выполняемую кнопкой, когда пользователь касается ее, но не нажимает ее.

[00161] В соответствии с другим отличительным признаком, пользователь может отключить функцию, которая в настоящее время находится в активном состоянии, путем нажатия той же кнопки, которая использовалась для ее активации. Например, пользователь может остановить объявление информации модулем 302 SI путем нажатия на ту же кнопку, которая использовалась для того, чтобы попросить модуль 302 SI доставлять эту информацию, и т. д. Альтернативно, или в дополнение, гарнитура 108 может включать в себя специальную кнопку, которая останавливает любую функцию, которая в настоящее время выполняется.

[00162] Пользовательское устройство может соответствовать любому из типов портативных устройств, описанных выше, например, смартфону или вычислительному устройству планшетного типа. Как было описано выше, пользователь может взаимодействовать с пользовательским устройством 106 с помощью одной руки 614 (и/или опционально с помощью двух рук). Другое пользовательское вычислительное устройство 110 может соответствовать любому типу традиционного стационарного вычислительного устройства, например, вычислительному устройству рабочей станции, игровой консоли, устройству телевизионной приставки, и т. д.

[00163] Один или более путей 616 связи могут связывать пользовательское устройство 106 с гарнитурой 108. Такой путь связи, например, может соответствовать пути связи BLUETOOTH, проводному пути связи (например, пути связи USB), и т. д. Один или более путей 618 связи может связывать другое пользовательское вычислительное устройство 110 с пользовательским устройством 106 и/или гарнитурой 108. Как было описано выше, одна из причин, по которой пользователь может пожелать установить связь между другим пользовательским вычислительным устройством 106 и/или гарнитурой 108, заключается в том, чтобы загрузить информацию на эти устройства. Пути 618 связи могут быть реализованы любым способом, например, через любой тип беспроводного и/или проводного пути связи, описанного выше.

[00164] Другие реализации системы 102 могут использовать различные типы гарнитур, например, по сравнению с определенным типом гарнитуры 108, показанной на Фиг. 6. Например, в другой реализации, гарнитура может включать в себя любой из идентифицированных выше отличительных признаков (включая механизмы 608 ввода) вместе с установленным на голове устройством отображения (HMD) любого типа, например, физически реализованного как защитные очки (например, очки), шлем, и т. д. Система 102 может отображать любой тип информации с использованием установленного на голове устройства отображения. Например, система 102 может отображать любое из меню и другую информацию, описанную в следующем разделе (раздел C) через установленное на голове устройство отображения, или некоторое их подмножество. В другом случае, система 102 может отображать сгенерированную компьютером информацию, которая смешана с информацией, связанной с реальным миром, с которым взаимодействует пользователь, чтобы тем самым предоставить опыт дополненной реальности. Например, система 102 может отображать описательные теги в позиционной близости от связанных объектов и событий в поле зрения пользователя. В другом случае, система 102 может отображать подсказки направления, которые помогают пользователю в перемещении в рекомендованном направлении, и так далее. Кроме того, система 102 может модифицировать тип информации, которая отображается, чтобы приспособить любые нарушения зрения, которые могут оказать влияние на конкретного пользователя, например, путем отображения упрощенной и увеличенной информации для пользователей с нарушениями зрения.

[00165] Система 102 может достигать опыта дополненной реальности, используя любую технологию, например, посредством использования оптического смесителя, который отображает сгенерированную компьютером информацию «над» прямым визуальным восприятием пользователя фактической окружающей среды (например, используя частично отражающие зеркала или тому подобное). В другой реализации, система 102 может использовать видеокамеру для захвата фактической окружающей среды, вместе с оптическим смесителем, который смешивает видеоинформацию из видеокамеры со сгенерированной компьютером информацией. В любом случае, система 102 может определять предполагаемое поле зрения пользователя с помощью одного или более устройств, которые обнаруживают местоположение пользователя внутри окружающей среды, одного или более устройств, которые обнаруживают положение и ориентацию головы пользователя, и/или одного или более устройств, которые обнаруживают направление взгляда пользователя, и т. д.

[00166] В другом случае, другой тип носимого устройства, помимо гарнитуры, или в дополнение к гарнитуре, может выполнять любую из функций, изложенных выше. Например, носимое устройство может соответствовать установленному на запястье устройству, элементу одежды, и т. д.

[00167] Чтобы упростить объяснение, следующее описание будет предполагать, что пользователь взаимодействует с гарнитурой 108 базового типа, показанной на Фиг. 6, хотя, чтобы повторить, гарнитура 108 может включать в себя любое число дополнительных отличительных признаков, упомянутых выше (например, установленный на голове дисплей). Кроме того, другой тип носимого устройства может быть использован вместо гарнитуры, или в дополнение к гарнитуре.

[00168] Фиг. 7 показывает один из способов реализации системы 102 на Фиг. 1. В этой реализации, система 102 использует как пользовательское устройство 702 («пользовательское устройство» для краткости), так и гарнитуру 704. Более конкретно, в соответствии с одним из распределений функций, пользовательское устройство 702 реализует большую часть функциональности системы 102. То есть, пользовательское устройство 702 включает в себя модуль 302 SI и набор механизмов 706 ввода/вывода, включающих в себя любые механизмы 708 определения ориентации, движения и/или положения, любые сенсорные механизмы 710 ввода, любые тактильные механизмы 712 ввода, любые механизмы 714 вывода изображения, и так далее. Примеры этих механизмов были предоставлены выше в связи с описанием Фиг. 3. Пользовательское устройство 702 также включает в себя источник 716 питания (например, батарею) и один или более механизмов 718 связи для связи с гарнитурой 704.

[00169] С другой стороны, гарнитура 704 включает в себя только один или более механизмов 720 вывода звука (например, аудиомеханизм костной проводимости), источник 722 питания (например, батарею), и один или более механизмов 724 связи для связи с пользовательским устройством 702. Кроме того, гарнитура 704 может включать в себя любой тип механизмов 726 ввода, описанных выше со ссылкой на Фиг. 6 (например, соответствующих механизмам 608 ввода на Фиг. 6). Механизмы 724 связи могут передавать инструкции, вызванные механизмами 726 ввода, в пользовательское устройство 702. Пользовательское устройство 702, в свою очередь, может отправлять аудиоинформацию в гарнитуру 704 для представления посредством механизма(ов) 720 вывода звука.

[00170] Фиг. 8 показывает другой способ реализации системы 102. Здесь, система 102 включает в себя гарнитуру 802, имеющую больше возможностей обработки по сравнению с гарнитурой 704 на Фиг. 7. Действительно, в одной из реализаций, гарнитура 802 может выполнять все связанные с взаимодействием с пространством аспекты системы 102, без использования какого-либо отдельного пользовательского устройства 106. В другой реализации, гарнитура 802 может все еще взаимодействовать с отдельным пользовательским устройством 106 (не показано на Фиг. 8). Это отдельное пользовательское устройство 106 может включать в себя все из компонентов пользовательского устройства 702 на Фиг. 7 или любого его подмножества.

[00171] Более конкретно, гарнитура 802 в случае Фиг. 8, может включать в себя модуль 804 SI на стороне головы, который выполняет любое подмножество функций, описанных выше со ссылкой на Фиг. 4. Кроме того, гарнитура 802 может включать в себя любые механизмы 806 определения ориентации, движения и/или положения. Эти механизмы, как правило, называются ниже механизмами обнаружения головы, потому что они определяют физические позы или движения головы пользователя, которые могут, в свою очередь, отражать направление центра внимания пользователя. Кроме того, гарнитура 802 может включать в себя любой тип механизмов 808 ввода, описанных выше со ссылкой на Фиг. 6. Кроме того, гарнитура 802 может включать в себя источник 810 питания и один или более механизмов 812 связи для взаимодействия с пользовательским устройством 106 (если система 102 использует такое пользовательское устройство 106 в этой реализации, в котором она не нуждается). Кроме того, гарнитура 802 включает в себя любой тип(ы) механизма(ов) 814 вывода звука, описанные выше.

[00172] В одном из режимов работы, система 102 на Фиг. 8 может воспользоваться механизмами обнаружения головы, предоставленными на гарнитуре 802, когда они предоставлены и работают должным образом. Механизмы обнаружения головы, предоставленные гарнитурой 802, могут быть предпочтительными аналогичным механизмам обнаружения, предоставленным пользовательским устройством 106, потому что механизмы обнаружения головы могут более точно отражать ориентацию, движение и/или положение пользователя. Кроме того, использование механизмов обнаружения головы устраняет необходимость для пользователя взаимодействовать с пользовательским устройством 106 для регистрации его или ее ориентации, движения и/или положения.

[00173] В некоторых случаях, гарнитура 108 может опционально пересылать информацию, сгенерированную механизмами обнаружения головы, в пользовательское устройство 106. Пользовательское устройство 106 может использовать эту информацию для выполнения обработки и затем пересылать результаты этой обработки обратно в гарнитуру 802. Гарнитура 802 может затем передавать звуки в уши пользователя через механизм костной проводимости, который передает результаты. В другом случае, модуль 804 SI на стороне головы может выполнять эту обработку без необходимости пересылки информации, представленной механизмами обнаружения головы, в пользовательское устройство 106. В еще одном случае, модуль 804 SI на стороне головы может изначально выполнять некоторые операции, и полагаться на пользовательское устройство 106 для выполнения других операций. Например, модуль 804 SI на стороне головы может полагаться на пользовательское устройство 106 для выполнения интенсивных вычислительных операций (таких как вычисление трехмерных звуков, и т. д.), потому что эти операции могут быть более эффективно выполнены на пользовательском устройстве 106 по сравнению с гарнитурой 108.

[00174] В другом случае, система 102 может использовать механизм(ы) определения ориентации, механизм(ы) определения движения, и/или механизм(ы) определения положения, предоставленные пользовательским устройством 106, когда аналогичные компоненты не работают должным образом на гарнитуре 802.

[00175] В еще одном случае, система 102 может использовать показания датчиков, предоставленные как гарнитурой 802, так и пользовательским устройством 106, например, путем использования показаний датчиков одного из устройств для идентификации очевидных ошибок в показаниях датчиков другого устройства, и/или для формирования среднего из двух различных версий показаний датчиков, и так далее.

[00176] В любой из реализаций на Фиг. 7 и 8, по меньшей мере некоторые из функций, выполняемые гарнитурами (например, 704, 802) и/или пользовательскими устройствами (например, 702, 106), могут быть альтернативно, или в дополнение, выполнены посредством удаленных обрабатывающих ресурсов 112 на Фиг. 1 (например, соответствующих облачных вычислительных ресурсов).

[00177] Фиг. 9 показывает сценарий, в котором пользователь 902 взаимодействует с пользовательским устройством 904 в транспортном средстве. Хотя конкретно не проиллюстрировано на Фиг. 9, пользователь 902 взаимодействует с пользовательским устройством 904 в транспортном средстве. В более общем смысле, Фиг. 9 представляет собой пример более общей точки, состоящей в том, что функциональность, описанная выше, может быть применена к дополнительным сценариям использования, чем случаи, описанные выше.

[00178] В случае на Фиг. 9, пользователь 902 установил пользовательское устройство 90, используя крепление 906, в область приборной панели транспортного средства. Пользователь 902 может быть водителем транспортного средства (как показано на Фиг. 9) или пассажиром. Шнур 908 питания может доставлять питание в пользовательское устройство 904 из электрической розетки, предоставленной транспортным средством.

[00179] Фиг. 10 показывает процесс 1004, который описывает один из способов работы оборудования, показанного на Фиг. 6. В блоке 1004, система 102 получает инструкцию как результат активации по меньшей мере одного механизма ввода гарнитуры (например, на основе активации пользователем одного из механизмов 608 ввода, показанных на Фиг. 6). В блоке 1006, система 102 выполняет функцию, основанную на инструкции, предоставленной в блоке 1004, чтобы предоставить выходной результат. Блок 1006 может быть выполнен гарнитурой 108 и/или пользовательским устройством 106. В блоке 1008, гарнитура 108 применяет выходной результат, чтобы доставить аудиоинформацию, которая помогает пользователю в навигации по маршруту, в пространстве или, в более общем смысле, взаимодействии с пространством.

[00180] Подводя итог вышесказанному, указанные выше отличительные признаки способствуют приведенной выше цели, заключающейся в том, чтобы позволить пользователю безопасно и эффективно перемещаться через его или ее окружающую среду. Например, отличительные признаки предоставляют удобный способ, посредством которого пользователь может активировать различные режимы работы (например, путем взаимодействуя с пользовательскими механизмами 608 ввода гарнитуры 108) без чрезмерного отвлечения пользователя по мере того, как пользователь перемещается через окружающую среду, например, не требуя от пользователя, чтобы он получил доступ и взаимодействовал с отдельным пользовательским устройством.

C. Иллюстративная Функциональность Пользовательского Интерфейса для Облегчения Взаимодействия между Пользователями и их Окружающими Средами

[00181] Этот раздел предоставляет иллюстративные подробности, касающиеся одного из способов работы модуля 402 прикладного интерфейса на Фиг. 4 и 5. Чтобы повторить, модуль 402 прикладного интерфейса позволяет пользователю взаимодействовать с различными компонентами модуля 302 SI. Для облегчения многократного обращения к модулю 402 прикладного интерфейса, этот раздел будет делать ссылку на этот компонент в сокращенной форме как AIM 402. AIM 402 может означать отдельный компонент, или совокупность функций, выполняемых двумя или более компонентами в фактической реализации системы 102.

[00182] Опыт пользовательского интерфейса, в свою очередь, имеет различные компоненты или аспекты. Подраздел C.I, ниже, предоставляет подробную информацию, касающуюся одного иллюстративного способа, с помощью которого AIM 402 позволяет пользователю взаимодействовать с модулем 302 SI через визуальное представление пользовательского интерфейса, например, как предоставлено пользовательским устройством 106. Подраздел C.2 предоставляет подробную информацию, касающуюся одного иллюстративного способа, с помощью которого AIM 402 может предоставлять различные звуки и сигналы тактильной обратной связи пользователю. Подраздел C.3 предоставляет подробную информацию, касающуюся одного иллюстративного способа, с помощью которого AIM 402 позволяет пользователю взаимодействовать с модулем 302 SI через голосовые инструкции.

[00183] В целом, следует отметить, что следующее объяснение описывает AIM 402 в контексте путешествия, проводимого пользователем через пространство, например, как в примере на Фиг. 2. Но AIM 402 предоставляет аналогичные услуги в других сценариях, в которых пользователь взаимодействует с пространством, включая случай, в котором пользователь бродит через пространство без подготовленного маршрута в целях исследования пространства и спонтанным образом. В качестве дополнительного замечания, отличительные признаки пользовательского интерфейса ниже также являются общим назначением по своей природе, и, таким образом, могут быть применены в других контекстах, которые не обязательно связаны со взаимодействием пользователя с пространством.

[00184] В качестве другого предварительного замечания, описание описывает множество жестов, интерпретируемых AIM 402, путем описания связанных с жестами действий, выполняемых пользователем, вместе с соответствующими операциями, осуществляемыми AIM 402 в ответ на связанные с жестами действия. Как более полно описано выше со ссылкой на Фиг. 5, AIM 402 выполняет эту задачу в каждом конкретном случае путем: (a) обнаружения входной информации, которая описывает жест, выполняемый пользователем, например, когда пользователь делает контрольный жест смахивания, и т. д.; (b) сравнения входной информации с сохраненными шаблонами, связанными с известными жестами, чтобы определить конкретный жест, который пользователь осуществил; и (c) выполнения операций, связанных с обнаруженным жестом. Точное перечисление этих отдельных операций опускается во многих случаях ниже в интересах краткости.

C.I. Визуальный Опыт: Взаимодействие с Рабочими Областями и Меню

[00185] В одном из подходов, AIM 402 организует главную рабочую область в набор меньших рабочих областей. Рабочие области имеют позиционные взаимосвязи по отношению друг к другу. Эта структура является выгодной, потому что она позволяет пользователю создавать мысленную картину организации приложения, во многом подобно тому, как он или она знакомились бы с зонами физического пространства через повторяющиеся встречи с его зонами. Этот отличительный признак, в свою очередь, позволяет пользователю эффективно получать доступ к информации и/или функциональности, которая ищется.

[00186] Например, Фиг. 11 показывает пример, в котором AIM 402 организует главную рабочую область в пять меньших рабочих областей. Домашняя рабочая область 1102 служит центральным фокусом во взаимодействии с пользователем во время проведения путешествия. Например, как будет описано ниже, домашняя рабочая область 1102 представляет информацию относительно текущего контекста пользователя, в каждой конкретной точке в путешествии или любом другом взаимодействии с пространством. Если пользователь еще не начал путешествие, домашняя рабочая область 1002 может представлять центральную страницу по умолчанию.

[00187] Основная рабочая область 1104 расположена слева от домашней рабочей области 1102, а рабочая область 1106 «рядом со мной» расположена справа от домашней рабочей области 1102. Информационная рабочая область 1108 расположена сверху от домашней рабочей области 1102, тогда как рабочая область 1110 настроек расположена снизу от домашней рабочей области 1102. Соответствующие роли этих рабочих областей будут описаны более подробно ниже.

[00188] Положение каждой рабочей области, описанной выше, изложено в духе иллюстрации, не ограничения. Другие реализации могут предоставлять другие расположения рабочих областей. Кроме того, другие реализации могут менять количество рабочих областей, которые предоставлены посредством AIM 402. Например, другие реализации могут предоставлять другие четыре рабочие области путем предоставления рабочих областей, которые расположены по диагонали относительно домашней рабочей области 1102.

[00189] Фиг. 12 показывает один из способов, в котором пользователь может перемещаться от домашней рабочей области 1102 к основной рабочей области 1104. В этом неограничивающем случае, пользователь выполняет жест смахивания вправо на домашней рабочей области 1102, чтобы переместиться в основную рабочую область 1104. Хотя не показано, пользователь может выполнить жест смахивания влево (или другой жест смахивания вправо), чтобы переместиться от основной рабочей области 1104 назад в домашней рабочей области 1102.

[00190] Подобным образом, пользователь может выполнить жест смахивания влево на домашней рабочей области 1102, чтобы переместиться в рабочую область 1106 «рядом со мной». Пользователь может выполнить жест смахивания вниз на домашней рабочей области 1102, чтобы переместиться к информационной рабочей области 1108, и жест смахивания вверх на домашней рабочей 1102, чтобы переместиться к рабочей области 1110 настроек. Пользователь может выполнить любой из этих жестов, например, используя большой палец руки, которая держит пользовательское устройство, например, поместив большой палец на сенсорную поверхность пользовательского устройства 106 и смахивая его в желаемом направлении. В движении смахивания, пользователь осуществляет контакт с сенсорной поверхностью с помощью одного или более пальцев, перемещает палец(цы) на расстояние по поверхности, и затем удаляет палец(цы) с поверхности, в в относительно быстрой последовательности (как бы смахивая физический объект через плоскую поверхность).

[00191] В одной из реализаций, чтобы переместиться к любой периферийной зоне, ожидается, что пользователь сначала переместится к домашней рабочей области 1102. Однако, в другой реализации, AIM 402 может позволить пользователю переместиться от одной периферийной области к другой без того, чтобы сначала перемещаться к домашней рабочей области 1102.

[00192] В более общем смысле, во всех примерах в данном разделе, пунктирный круг на поверхности дисплея представляет точку, в которой пользователь контактирует с поверхностью с помощью пальца. В некоторых случаях, поверхность дисплея будет показывать два пунктирных круга различных размеров. Больший из двух кругов представляет местоположение, в котором пользователь приложил его или ее палец, тогда как меньший из двух кругов представляет местоположение, в котором пользователь удалил его или ее палец. В других случаях (не показаны), пользователь может выполнить по меньшей мере один жест, который включает в себя одновременное касание сенсорной поверхности в двух или более местах (например, чтобы выполнить жест типа щипка). В других случаях (не показаны), пользователь может выполнить по меньшей мере один жест путем наведения над поверхностью устройства без фактического касания ее. В других случаях (не показаны), пользователь может выполнить жест свободного пространства, который может быть обнаружен посредством видеокамеры и/или камеры с восприятием глубины сцены, и т. д.

[00193] В качестве финального вводного замечания, этот раздел описывает конкретные жесты, структуры меню и пункты меню, все в духе иллюстрации, не ограничения. Другие реализации могут менять различные аспекты этих отличительных признаков пользовательского интерфейса. Например, в другой реализации (не показана), AIM 402 может позволить пользователю переходить среди рабочих областей с помощью жеста типа касания, или с помощью рисования конкретной формы на поверхности дисплея, и т. д.

[00194] Фиг. 13-16 иллюстрируют типы информации, которые могут быть представлены в домашней рабочей области 1102. Как было упомянуто выше, домашняя рабочая область 1102 служит в качестве основного фокуса внимания пользователя по мере того как они перемещаются по маршруту или иным образом взаимодействуют с пространством. В состоянии по умолчанию, как показано на Фиг. 13, домашняя рабочая область 1102 может представлять центральную страницу. Конкретная природа структуры меню, и элементы меню в этой структуре, будут описаны ниже.

[00195] В ходе путешествия пользователя, домашняя рабочая область 1102 может представлять информацию, касающуюся текущего контекста пользователя (хотя другая информация может также быть представлена в домашней рабочей области 1102 во время путешествия, по запросу пользователя). Например, в случае на Фиг. 14, предположим, что пользователь в настоящее время едет на поезде. Домашняя рабочая область 1102 может представить меню, которое фокусируется на опыте пользователей в поезде. В случае на Фиг. 15, предположим, что пользователь теперь идет по определенной улице. По умолчанию, домашняя рабочая область 1102 будет теперь представлять информацию, касающуюся опыта пользователя на улице. Например, домашняя рабочая область 1102 может представлять карту, которая показывает текущее местоположение пользователя 1502 на улице. Альтернативно, пользователь может взаимодействовать с AIM 402, чтобы создать тип меню, показанный на Фиг. 14, но где это меню будет теперь содержать пункты меню, которые касаются опыта пользователя во время прогулки на улице. На основании приведенного выше поведения, AIM 402 показывает информацию, которая является наиболее актуальной для пользователя в его или ее текущем контексте в окружающей среде, и представляет эту информацию в пределах домашней рабочей области 1102; пользователь может, таким образом, легко найти и потребить наиболее релевантную информацию без необходимости «охотиться» за ней, например, без необходимости перемещаться по структуре громоздкого меню. Такой отличительный признак также уменьшает отвлекающие факторы, размещенные на пользователе, и, таким образом, способствует безопасности системы 102.

[00196] Пользователь может, тем не менее, взаимодействовать с AIM 402 для активации информации, для представления в домашней рабочей области 1102, которая не относится к непосредственному окружению пользователя. Например, пользователь может активировать меню вкладок, например, путем активации опции меню вкладок, которая будет описана ниже. В ответ, AIM 402 представит меню вкладок, показанное на Фиг. 16. Меню вкладок показывает набор открытых вкладок, соответствующих ранее открытым меню. Некоторые из этих меню с вкладками могут соответствовать информации, касающейся предшествующих сегментов путешествия, которые пользователь уже завершил. Пользователь может активировать любые такие относящиеся к вкладкам пункты меню. В ответ, AIM 402 может представить информацию, касающуюся предшествующего шага путешествия, в домашней рабочей области 1102, например, в форме меню или некоторого другого формата. Структура меню также может позволить пользователю изучить будущие шаги путешествия, по запросу пользователя, которые еще не встретились на пути.

[00197] Кроме того, даже после начала путешествия, пользователь может дать указание AIM 402 вернуться в центральное меню, показанное на Фиг. 13, например, так, что пользователь может получить доступ к информации и/или функциональности, определенной в этом центральном меню по умолчанию.

[00198] В качестве дополнительного разъяснения, в примере выше, текущий контекст относится к физическому местоположению или сегменту во всем путешествии пользователя. В других случаях, домашняя рабочая область 1102 может представлять контекстную информацию, касающуюся исследования пользователем виртуального пространства. Например, пользователь может перемещаться в пределах иерархии продуктов, предлагаемых в магазине. В этом сценарии, домашняя рабочая область 1102 может представлять меню, которое относится к группе продуктов, отдельному продукту, и т. д.

[00199] Вообще говоря, описанные выше типы меню, показанные на Фиг. 13-16, соответствуют основным меню. AIM 402 отображает эти типы меню в домашней рабочей области 1102. Напротив, AIM 402 представляет вторичные меню в других рабочих областях, которые расположены на периферии домашней рабочей области 1102. Фиг. 17-20 показывают иллюстративные вторичные меню, которые могут быть представлены в периферийных рабочих областях.

[00200] Например, Фиг. 17 показывает основное меню для представления в основной рабочей области 1104. Основное меню идентифицирует действия, которые обычно используются при взаимодействии с различными аспектами модуля 302 SI. Фиг. 18 показывает меню настроек для представления в рабочей области 1110 настроек. Меню настроек позволяет пользователю изменять различные параметры, которые оказывают влияние на работу модуля 302 SI. Фиг. 19 показывает информационное меню для представления в информационной рабочей области 1108. Информационное меню представляет удобный доступ к системной информации, такой как оставшееся время работы батареи, уровень сигнала. Информационное меню также предоставляет удобный портал к уведомлениям и другой полезной предупреждающей информации и информации о путешествии, такой как обновления в реальном времени от служб общественного транспорта.

[00201] Фиг. 20 предоставляет меню «рядом со мной» для представления в рабочей области 1106 «рядом со мной». Меню «рядом со мной» представляет информацию, касающуюся контекстных элементов интереса (IOI), которые расположены в пределах близкого расстояния к пользователю в настоящее время (или иным образом связаны с текущим контекстом пользователя), как идентифицировано модулем 426 RID на Фиг. 4. Пользователь может использовать меню настроек для указания максимального расстояния, которое определяет, что представляет собой «близлежащий» контекстный IOI. Каждый контекстный IOI идентифицируется в меню «рядом со мной» по своему имени, своей категории (такой как категория «Еда и Напитки»), и своим расстоянием от пользователя. Пользователь может активировать элемент в этом меню, приводя к тому, что модуль 302 SI предоставит аудиоинформацию, касающуюся этого контекстного IOI. Эта аудиоинформация может быть представлена как трехмерная звуковая информация, так что, при доставке, кажется, что она происходит в том же направлении, в котором сущность, связанная с контекстным IOI, может быть найдена в физическом пространстве.

[00202] Фиг. 21 показывает пример переходного меню, которое может быть представлено в домашней рабочей области 1102. Например, пользователь может активировать это переходное меню, сначала перейдя к информационному меню, которое показано на Фиг. 19, и которое представлено в информационной рабочей области 1108. Пользователь может затем активировать пункт меню «уведомления» в меню. В ответ, AIM 402 может представить переходное меню, показанное на Фиг. 21.

[00203] Фиг. 22, в отличие от этого, показывает пример меню наложения. В этом конкретном примере, пользователь может активировать меню наложения, сначала перейдя к меню настроек, показанному на Фиг. 18, как представлено в рабочей области 1110 настроек. Пользователь может затем активировать пункт меню «контекстная осведомленность» в этом меню. AIM 402 отвечает на действия пользователя представлением меню наложения, показанного на Фиг. 22. В отличие от переходного меню, показанного на Фиг. 21, меню наложения, показанное на Фиг. 22, представлено «над» меню параметров, показанным на Фиг. 18 в рабочей области 1110 настроек, а не в домашней рабочей области 1102. Меню наложения и переходные меню могут также проявлять различные поведения в ответ на выполнение команды «назад», как будет описано ниже.

[00204] В конкретном случае на Фиг. 22, меню наложения позволяет пользователю изменять уровень контекстной осведомленности, предоставленной модулем 302 SI. Например, через это меню, пользователь может установить значение параметра, которое определяет количество информации, которое передается пользователю. В одном случае, пользователь может предпочесть получать всю информацию, которая потенциально имеет отношение к его или ее текущему контексту. В другом случае, пользователь может предпочесть получать только предупреждения и другие элементы информации, которые, как считается, имеют высокую важность.

[00205] Фиг. 23 демонстрирует один из способов, с помощью которого пользователь может дать указание модулю 302 SI представить информацию, касающуюся его или ее текущего контекста, в любой момент путешествия пользователя. В соответствии с неограничивающим случаем, пользователь может использовать палец (например, большой палец), чтобы сделать жест одного касания на сенсорной поверхности пользовательского устройства 106, в любом местоположении на поверхности. В ответ на обнаружение этого жеста, модуль 302 SI может представить, в качестве голосового сообщения, информацию высокого уровня, касающуюся текущего контекста пользователя. Например, модуль 302 SI может объявить название контекстного меню, которое было бы подходящим для этого контекста. Например, в примере на Фиг. 14, модуль 302 SI мог бы объявить: «Вагон E: Лондон Паддингтон».

[00206] Альтернативно, пользователь может сделать жест двойного касания. В ответ на обнаружение этого жеста, модуль 302 SI может представить более подробную информацию, касающуюся текущего контекста пользователя, снова как голосовое сообщение. Например, при двойном касании, модуль 302 SI может объявить пункты меню в меню, показанном на Фиг. 14.

[00207] Далее предположим, что пользователь выполняет жест тройного касания. В ответ на обнаружение этого жеста, модуль 302 SI может объявить инструкции, которые информируют пользователя о том, как взаимодействовать с типом меню, показанным на Фиг. 14, если это меню, фактически, относится к текущему контексту пользователя. Например, инструкции могут информировать пользователя о том, как активировать меню, как перемещаться в меню, как выбирать пункты в меню, и так далее.

[00208] Переходя к Фиг. 24, эта фигура показывает, как пользователь может активировать меню, и затем как пользователь может впоследствии взаимодействовать с меню. В одном неограничивающем случае, пользователь может активировать меню, показанное на Фиг. 24, путем выполнения жеста коснуться-и-держать где-либо на поверхности сенсорного экрана дисплея пользовательского устройства 106. Например, как показано на Фиг. 24, пунктирный круг 2402 указывает местоположение, в котором пользователь коснулся и держал его или ее большой палец на поверхности сенсорного экрана.

[00209] В ответ на обнаружение этого жеста, AIM 402 представляет меню 2404. Меню центрируется в точке (соответствующей местоположению отображения) на поверхности, в которой пользователь коснулся поверхности (соответствующей местоположению касания). Пользователь может найти этот отличительный признак полезным, потому что он избавляет от необходимости охотиться за конкретным элементом в представлении пользовательского интерфейса с целью активации меню 2404. Скорее, пользователь может выполнить жесть коснуться-и-держать в любом месте на поверхности. Этот отличительный признак, в свою очередь, уменьшает отвлекающие факторы, размещенные на пользователе при использовании системы 102. Но не все местоположения приведут к успешной активации меню 2404. Например, если пользователь коснется слишком близко к верхней или нижней части поверхности, AIM 402 может опционально представить сообщение об ошибке пользователю (например, в качестве голосового сообщения), прося пользователя повторить его или ее жест коснуться-и-держать ближе к середине поверхности.

[00210] Меню, проиллюстрированные до сих пор, имеют конкретную единообразную структуру меню. Меню 2404, показанное на Фиг. 24, имеет такую же структуру, которая будет теперь описана ниже, с той оговоркой, что эта структура изложена в духе иллюстрации, не ограничения. Другие реализации могут заимствовать другие структуры меню и поведения. Например, этот подраздел будет закрыт с помощью примера реализации, которая заимствует другую структуру меню по сравнению с меню 2404 на Фиг. 24, и которая демонстрирует другое поведение меню. Кроме того, меню, описанные в материалах настоящей заявки, представляют свои пункты меню в форме линейных списков; но могут быть использованы другие меню (например, радиальные или круговые меню, и т. д.), которые представляют свои пункты меню другими способами.

[00211] Структура меню, показанная на Фиг. 24, имеет две группировки пунктов меню, разделенных маркерным элементом 2406. Более конкретно, первая группировка 2408 пунктов меню представляет пункты меню, которые особенно уместны для текущего контекста пользователя или выполняемой задачи. Вторая группировка 2410 пунктов меню представляет пункты меню, которые имеют отношение к нескольким типам меню, которые могут быть представлены в различных рабочих областях, и, следовательно, могут быть отнесены к глобальным или общим пунктам меню. Например, команда «перестать слушать», которая является пунктом меню во второй группировке 2410, является релевантной в различных меню и рабочих областях, тогда как пункт меню «элемент A», который представляет собой пункт меню в первой группировке 2408, может быть выбран потому, что он является особенно релевантным для любой задачи, которую пользователь пытается выполнить путем взаимодействия с меню 2404.

[00212] Вторая группировка 2410, однако, может опустить некоторые глобальные варианты выбора, которые не имеют отношения к конкретному меню. Например, если пользователь уже просматривает меню «вкладки», вторая группировка, связанная с этим меню, может пропустить опцию меню, которая позволяет пользователю получить доступ к меню вкладок (потому что пользователь уже просматривает это меню).

[00213] Различные пункты меню (либо в первой группировке 2408, либо во второй группировке 2410) вызывают различные операции при выборе. Например, первый тип пункта меню может вызвать действие при выборе. Например, пункт меню «начать слушать» при вызове дает указание модулю 302 SI начать слушать голосовые команды пользователя. Второй тип пункта меню может представлять информацию при вызове, например, информацию о состоянии батареи и т. д. Третий тип пункта меню может представлять возможность для пользователя изменить значение свойства, когда этот пункт меню вызывается. Например, в некоторых случаях, активация пользователем этого типа пункта меню может активировать меню наложения. Пользователь может затем взаимодействовать с меню наложения, чтобы изменить значение рассматриваемого свойства. В другом случае, активация пользователем этого типа пункта меню может непосредственно изменить значение свойства, например, переключая настройку из статуса «включено» в статус «выключено» или наоборот. Возможны другие типы пунктов меню и связанных вариантов поведения при вызове.

[00214] Маркерный элемент 2406 отображает сообщение «отпустите, чтобы отклонить». Это сообщение информирует пользователя о том, что он или она может отпустить свой палец с поверхности сенсорного экрана без выбора какого-либо пункта меню, предполагая, то есть, что пользователь отпускает его или ее палец, пока он был спозиционирован на маркерном элементе 2406, а не на каком-либо другом пункте меню. В ответ на такой жест, AIM 402 может отобразить меню 2412 в его первоначальном деактивированном состоянии. Маркерный элемент 2414 в меню 2412 несет на себе сообщение «коснитесь и удерживайте», которое приглашает пользователя выполнить жест коснуться-и-держать, чтобы заново активировать меню 2404 в его активное состояние.

[00215] Переходя к Фиг. 25, предположим, что вместо деактивации меню 2404, пользователь решает прокрутить вверх через элементы в первой группировке 2408. Пользователь может выполнить это действие путем перемещения его или ее пальца в направлении вверх, при этом удерживая его или ее палец на сенсорной поверхности. В ответ, AIM 402 может сгенерировать состояние 2502 меню, показанное на Фиг. 25. В частности, AIM 402 в ответ на жест пользователя может перемещать пункт меню в направлении вниз, что приводит к тому, что первый пункт 2504 меню становится выделенными, вместо маркерного элемента 2406. Чтобы выбрать этот пункт 2504 меню, пользователь может отпустить его или ее палец с пункта 2504 меню. Альтернативно, пользователь может деактивировать меню путем перемещения назад к маркерному элементу 2406 и затем отпустив его или ее палец, будучи расположенным на этом пункте. Или пользователь может прокрутить вниз в противоположном направлении ко второй группировке 2410 пунктов меню. Пользователь может отпустить его или ее палец, когда он расположен на одном из пунктов меню во второй группировке 2410, чтобы выбрать этот пункт меню. Пользователь может найти приведенное выше поведение пользовательского интерфейса полезным, потому что он или она может взаимодействовать с пользовательским устройством 106 с помощью одной руки непрерывным и плавным образом, с минимальными отвлекающими факторами, размещенными на пользователе, по мере того как он или она перемещается через окружающую среду. Например, в этой реализации, не требуется, чтобы пользователь охотился и выбирал последовательность командных кнопок или пунктов меню; выполнение этого потребовало бы от пользователя обращать особое внимание на пользовательское устройство 106.

[00216] В конкретном примере на Фиг. 25 предположим, что пользователь прокручивает вверх до верхней части первой группировки 2408 пунктов, чтобы выбрать пункт 2506 меню «больше пунктов», и затем отпускает его или ее палец на этом пункте 2506 меню. В ответ, AIM 402 представляет меню 2602, показанное на Фиг. 26. Меню предоставляет другую первую группировку 2604 из пунктов меню, которые представляют продолжение первой группировки 2408, показанной в предыдущем меню; то есть, тогда как первая группировка 2408 на Фиг. 25 представляет пункты 1, 2 и 3 меню, первая группировка 26 04 на Фиг. 26 представляет пункты 4, 5 и 6 меню. В более общем смысле, структура меню может представлять полный список пунктов меню в виде последовательности связанных меньших списков. Два связанных списка показаны в примере на Фиг. 25 и 26, но полный список может быть сформирован с помощью любого количества связанных списков.

[00217] Пользователь может вернуться в состояние 2502 меню, показанное на Фиг. 25, путем прокручивания вверх к пункту 2606 меню «предыдущая страница» и затем отпустив его или ее палец с этого пункта. Альтернативно, чтобы выполнить эту обратную инструкцию, как показано на Фиг. 26, пользователь может переместить его или ее палец к периферии сенсорной поверхности (например, как указано пунктирным кругом 2608), и затем смахнуть внутрь по направлению к центру поверхности. Пользователь может выполнить ту же самую операцию путем смахивания внутрь от противоположного края поверхности.

[00218] Хотя это не показано на Фиг. 26, меню 2606 может также дать пользователю возможность (с помощью соответствующего пункта меню) вернуться к первой странице в последовательности каскадных списков меню, например, вместо того, чтобы последовательно перемещаться обратно через связанные списки путем того, чтобы выдавать последовательность обратных инструкций. Кроме того, хотя не показано на чертежах, каждая группировка может включать в себя маркерный элемент конца списка, который обозначает конец группировки. Пользователь может деактивировать меню путем перемещения к этому пункту и удаления его или ее пальца, пока он размещен на этом пункте.

[00219] В более общем смысле, пользователь может выполнить тип обратного жеста, показанного на Фиг. 26, на различных типах меню, которые могут производить различные типы действий. Например, обратное действие на корневом (основном) меню, представленном в домашней рабочей области 1102, может привести к тому, что пользователь выйдет из приложения, связанного с модулем SI 302, при подтверждении пользователем, что это то, что он или она намеревается сделать. Обратное действие на переходном меню, которое представлено в домашней рабочей области 1102, может привести к тому, что AIM 402 представит все, что контекстное меню последний раз представляло в домашней рабочей области 1102. Обратное действие на меню наложения может иногда приводить к представлению «нижележащего» вторичного меню во вторичной рабочей области. Например, обратное действие на конкретном связанном с настройками меню наложения (например, как показано на Фиг. 22), может привести к отображению нижележащего меню настроек (например, как показано на Фиг. 18) в рабочей области 1110 настроек.

[00220] Фиг. 27 показывает альтернативную организацию рабочих областей, по сравнению с реализацией на Фиг. 11, соответствующую второй реализации функциональных возможностей меню, предоставленных AIM 402. В качестве обзора, структура рабочей области на Фиг. 27 включает в себя пять рабочих областей (2702, 2704, 2706, 2708, 2710), которые предоставляют те же самые основные функции, как и показанные на Фиг. 11. Например, домашняя рабочая область 2702 продолжает служить в качестве центрального фокуса внимания пользователя на протяжении всего путешествия. Домашняя рабочая область 2702 также продолжает отображать меню и другую информацию, связанную с текущим контекстом, встретившимся на пути пользователя (или в другом типе взаимодействия с пространством). Но домашняя рабочая область 2702 больше не представляет центральное меню по умолчанию. Наоборот, домашняя рабочая область посвящена тому, чтобы показывать связанную с вкладками информацию по умолчанию.

[00221] Более конкретно, домашняя рабочая область 2702 показывает информацию о вкладках по умолчанию, показанную на Фиг. 28, когда нет никаких активных вкладок. Информация о вкладках по умолчанию может предоставлять указание относительно того, как пользователь может начать создавать вкладки. Напротив, домашняя рабочая область 2702 может отображать меню вкладок, показанное на Фиг. 29, когда нет никаких активных вкладок. По умолчанию, меню вкладок, имеющее первую позицию в списке (например, вкладка № 1) соответствует текущему контексту.

[00222] Фиг. 29 также показывает, что вторая реализация предлагает другую структуру меню по сравнению со структурой меню, описанной до сих пор. Например, вторая реализация больше не организует меню в две группы пунктов меню, разделенных маркером меню. Напротив, вторая реализация представляет единый список пунктов меню, которые определяются как имеющие отношение к текущему фокусу интереса пользователя. Если пользователь желает получить доступ к типу глобальных пунктов меню, которые были ранее представлены во второй группировке, пользователь может переместиться к основной рабочей области 2704, чтобы получить доступ к этим пунктам.

[00223] Фиг. 30 представляет дополнительную информацию, касающуюся одной возможной организации пунктов меню в списке пунктов меню. Здесь, пункты меню представляют элементы результата поиска, которые генерируются в ответ на проведение поиска магазинов, которые находятся рядом с пользователем. Пользователь может активировать любой пункт меню, например, меню, показанное на Фиг. 30, путем выполнения жеста коснуться-и-удерживать, описанного выше, по отношению к первой реализации (и как проиллюстрировано на Фиг. 23 и 24).

[00224] При активации меню, во второй реализации, AIM 402 представляет первую запись в списке рядом с серединой поверхности дисплея пользовательского устройства. Пользователь может затем переместиться вверх по списку, выполняя один или более жестов панорамирования в направлении вверх, или переместиться вниз по списку, выполняя один или более жестов панорамирования в направлении вниз. Когда пользователь достигает конца списка в любом направлении, список повторяется. То есть, когда пользователь переходит мимо последнего пункта в списке, пользователь столкнется, в качестве следующей записи, с первым пунктом. То есть, когда пользователь продвинется мимо последнего пункта в списке, пользователь столкнется, в качестве следующей записи, с первым пунктом. Благодаря этой стратегии презентации меню, вторая реализация может обойтись без использования многостраничных списков, как используется в первой реализации. То есть, пользователь перемещается через один главный список, используя один или более жестов панорамирования. Пользователь делает жест панорамирования путем помещения одного или более пальцев в контакт с сенсорной поверхностью, и перетаскивая этот палец(цы) в желаемом направлении панорамирования; движение здесь медленнее по сравнению с жестом смахивания.

[00225] Фиг. 31 предоставляет дополнительную информацию, касающуюся описанного выше поведения. Пользователь здесь делает жест панорамирования путем перетаскивания отображенного меню в направлении вниз. Но в отличие от случая первой реализации, пользователю не нужно держать его или ее палец на поверхности при перемещении по списку. Например, пользователь может сделать несколько жестов панорамирования; между каждым жестом панорамирования, пользователь может удалить его или ее палец с поверхности. Вторая реализация не будет интерпретировать удаление пальца пользователя с поверхности как указание выбрать любой пункт меню, который оказался выделенным в это время. Вторая реализация может деактивировать меню после заданного количества времени бездействия пользователя, или когда пользователь делает обратный жест.

[00226] Как показано на Фиг. 32, пользователь может выбрать выделенный пункт в списке путем выполнения короткого жеста коснуться-и-перетащить по направлению к периферии поверхности. AIM 402 предоставит звуковую и/или тактильную обратную связь, когда он интерпретировал жесть пользователя как запрос на выбор выделенного пункта. Затем, AIM 402 выберет пункт, когда пользователь удаляет его или ее палец с поверхности пользовательского устройства 106. Альтернативно, вместо удаления его или ее пальца, пользователь может перетащить его или ее палец обратно в противоположном направлении, чтобы отменить операцию выбора, которую AIM 402 снова подтвердит (например, путем предоставления соответствующего сигнала или сигналов).

[00227] Фиг. 33 показывает обратный жест, выполненный на периферии меню, и ответ на этот жест. Более конкретно, пользователь теперь может выполнить обратный жест, потянув влево или вправо от соответствующего края на короткое расстояние до тех пор, пока AIM 402 не укажет, что он понял жест пользователя (например, путем предоставления соответствующего сигнала или сигналов). В это время, пользователь может отпустить его или ее палец, чтобы выполнить обратное действие. Или пользователь может переместить его или ее палец в обратном направлении до тех пор, пока AIM 402 не интерпретирует действие пользователя как запрос на отзыв или обратное действие. В примере на Фиг. 33, обратное действие приводит к тому, что AIM 402 переходит из меню результатов поиска в меню вкладок.

[00228] Фиг. 34 показывает жест, который пользователь может выполнить путем рисования круглой формы 3402 на меню, например, путем вычерчивания круга на меню результатов поиска (например), которое представлено в домашней рабочей области 2702. В ответ на этот жест, AIM 402 вернется в меню вкладок. Хотя это и не показано, пользователь может впоследствии выполнить такой же круговой жест в меню вкладок. В ответ, AIM 402 вернется в меню результатов поиска (или любую страницу, с которой пользователь начал – то есть, любую страницу, на которой пользователь начертил первоначальный круг).

[00229] Фиг. 35 показывает жест, который пользователь может выполнить путем рисования полукруга 3502 на меню, например, путем вычерчивания полукруга на меню результатов поиска (например), которое представлено в домашней рабочей области 2702. В ответ, AIM 402 вернет фокус на то, что представлялось в текущем контексте. В примере на Фиг. 35, AIM 402 возвращается к информации, связанной с текущим шагом в путешествии (как показано на правой стороне Фиг. 35). Если пользователь в настоящее время не совершает путешествие, текущий контекст может соответствовать любому меню, которое было открыто последним. Пользователь может изменить на противоположный этот переход, рисуя полукруг на странице, показанной на правой стороне Фиг. 35.

[00230] Фиг. 36 и 37 показывают различные жесты, которые могут быть использованы для увеличения и уменьшения, соответственно, уровня детализации, предоставленной системой на Фиг. 1, и уровня контекстной информации, предоставленной системой. Например, как указано на Фиг. 36, пользователь может нарисовать форму 3602 с правой стрелкой на любом меню (здесь, на меню вкладок), чтобы увеличить уровень детализации модуля 302 SI. Как указано на Фиг. 37, пользователь может нарисовать форму 3702 с левой стрелкой на любом меню, чтобы уменьшить уровень детализации модуля 302 SI. Уровень детализации относится к краткости, с которой модуль 302 SI доставляет свою аудиоинформацию, например, в пределах от краткой до подробной.

[00231] Как также показано на Фиг. 37, пользователь может нарисовать форму 3704 со стрелкой вверх или форму 3706 со стрелкой вниз на любом меню, чтобы увеличить или уменьшить, соответственно, уровень информации, который предоставляется пользователю. Например, пользователь может уменьшить количество контекстной информации путем отказа от отправки пользовательской информации, касающейся одной или более из наименее критических категорий информационных элементов (например, пропуская контекстную информацию, но отправляя предупреждающую информацию и информацию о путешествии).

[00232] Вторая реализация может также выполнять другие новые жесты (по сравнению с первой реализацией), хотя это специально не проиллюстрировано на фигурах. Например, пользователь может выполнить жест коснуться-и-держать на первом меню для перехода из этого меню к меню действий (где действия относятся к действиям, которые имеют отношение к контексту, связанному с первым меню). Пользователь может выполнить тот же самый жест на меню действий, чтобы вернуться к исходному (первому) меню. Жест коснуться-и-держать в этом случае вызывает более длительное действие удержания, чем жест коснуться-и-держать, который используется для того, чтобы в целом активировать какое-либо меню.

[00233] В качестве другого нового жеста, пользователь может выполнить жест вертикального смахивания, будучи расположенным на пунктах меню в меню. AIM 402 будет интерпретировать это действие как запрос на быстрое продвижение по пунктам меню, в направлении либо вверх, либо вниз, в зависимости от направления смахивания. В качестве другого нового жеста, пользователь может выполнить жест горизонтального смахивания на пункте меню в меню, чтобы перейти к следующему пункту меню в списке. Пользователь может делать несколько таких горизонтальных особенностей, чтобы последовательно продвигаться по списку, по одному пункту меню за раз.

[00234] В любой из первой или второй реализаций (соответствующих Фиг. 11 и 27), пользователь может выполнить жест, чтобы поместить пользовательское устройство 106 в карманный режим. Когда пользовательское устройство 106 обнаруживает этот жест, оно будет игнорировать любые последующие жесты, которые может сделать пользователь, за исключением жеста, который имеет эффект отмены карманного режима. В качестве указания на название, карманный режим полезен в тех случаях, когда пользователь желает положить пользовательское устройство 106 в карман или в какой-либо другой отсек (такой как кошелек, сумка, и т. д.). При активации, карманный режим предотвращает некорректную интерпретацию случайного касания, контакта и/или движения пользователем в качестве значимых жестов. Жесты, используемые для вызова и отмены режима, могут соответствовать, например, контрольным жестам прокрутки, и т. д.

C.2. Звуковые и Тактильные Сигналы

[00235] AIM 402 может представлять различные звуки, используя модуль 414 генерирования звуков. AIM 402 также может представлять различные опыты тактильной обратной связи (например, сигналы вибрации), используя модуль 418 генерирования тактильных сигналов. AIM 402 может производить такие звуки и вибрационные сигналы в ответ на различные типы запускающих событий. Например, AIM 402 может представлять эти звуки и тактильные сигналы в ответ на определенные изменения в состоянии, в ответ на определенные действия интерфейса, осуществляемые пользователем (например, навигация среди пунктов меню), в ответ на определенные события в путешествии, и так далее.

[00236] Следующий список описывает типичные (и связанные с ними тактильные сигналы), и иллюстративные обстоятельства, в которых они вызываются.

[00237] Загрузка/Занят. AIM 402 может многократно воспроизводить звук Загрузка/Занят, в то время как модуль 302 SI находится в состоянии, в котором пользователь не может взаимодействовать с ним. Звук убеждает пользователя, что модуль 302 SI работает, но в настоящее время занят выполнением действия. Например, этот звук может походить на мяч для пинг-понга, подпрыгивающий вверх и вниз; частота подпрыгиваний может увеличиваться по мере того, как обработка близится к завершению, и может заканчиваться звуком типа фанфар.

[00238] Переход-к-Зоне-Меню Этот звук указывает, что вторичное меню, представленное в одном из выделенных вторичных зон рабочей области, перешло в фокус и теперь представлено вместо текущего контекстного меню в домашней рабочей области. Этот звук может также передать направление, в котором пользователь выполнил соответствующий жест. Например, звук может напоминать свист, как порыв ветра в соответствующем направлении. Кроме того, в одном случае, AIM 402 может выражать этот звук как трехмерный звук.

[00239] Переход-из-Зоны-Меню Этот звук указывает, что текущее контекстное меню переместилось обратно в фокус и теперь представлено вместо вторичного меню в одной из выделенных зон рабочей области. Этот звук может также передать направление, в котором пользователь выполнил соответствующий жест. Например, звук может напоминать свист, который является аналогом свиста Перехода-к-Зоне-Меню, но перемещающийся в противоположном направлении, чем звук Переход-к-Зоне-Меню. Опять же, AIM 402 может опционально выражать этот звук как трехмерный звук.

[00240] Активация-Меню Этот звук указывает. что меню теперь активно, и им можно управлять. Этот звук может быть описан как постепенно нарастающий звук, который завершается звуком типа защелкивания. Кроме того, AIM 402 может представлять короткий сигнал вибрации, который подтверждает намерение пользователя выполнить изменение в состоянии. Кроме того еще, AIM 402 может вызвать словесный сигнал, который объявляет, например, «меню отпустите, чтобы отклонить». Этот сигнал информирует пользователя о том, что меню активно, и что пользователь может деактивировать меню путем отпускания его или ее пальца с маркерного элемента.

[00241] Деактивация-Меню Этот звук указывает, что меню было деактивировано, и, таким образом, им больше нельзя управлять без повторной его активации. Звук может быть описан как звук постепенно исчезающего типа.

[00242] Неподдерживаемый-Жест AIM 402 может воспроизвести этот короткий звук, который указывает, что жест была распознан, но что он иначе недопустим (например, потому что он в настоящее время не поддерживается). Этот звук может напоминать стук, за которым следует мягкое двухтоновое уведомление в стиле доступа-нет. AIM 402 может воспроизвести более конкретный звук Нельзя-Перейти-Обратно, чтобы указать, что обратный жест был выполнен, но не может быть выполнен, например, потому что невозможно перейти дальше назад.

[00243] Изменение-в-Выборе-Пункта-Меню Этот звук указывает, что пользователь перешел к пункту меню в меню. Тон этого звука зависит от положения пункта меню в меню, например, где тон может увеличиться по мере того, как пользователь перемещается вверх по списку, и уменьшаться по мере того, как пользователь перемещается вниз по списку. Кроме того, в одной из реализаций, AIM 402 может представлять различные масштабы при прохождении первой группировки пунктов меню (связанных с характерными для контекста пунктами), по сравнению со второй группировкой пунктов меню (связанных с глобальными пунктами). В обоих случаях, пользователь может воспринимать звуки, которые производятся, как подобные пробеганию руки по клавишам пианино; но каждый звук в этом случае может быть короче, чем тон пианино, и похож на хлопок пузыря.

[00244] Кроме того, AIM 402 может представлять сигнал вибрации при прохождении каждого пункта меню. Пользователь может испытать сигналы вибрации как подобные пробеганию руки по неровной поверхности, при этом каждая неровность представляет другой пункт меню. Пользователь может сознательно или подсознательно считать неровности, чтобы быстро получить общее представление о его или ее положении в списке. Кроме того, AIM 402 может представить аудиосообщение при продвижении к пункту меню, которое информирует пользователя, что пункт меню находится в фокусе и будет выбран при отпускании пальца пользователя. Например, AIM 402 может объявить пункт меню, предоставляя его номер в списке, и затем объявляя описание пункта.

[00245] Выбор-Меню-Подтверждения Этот короткий звук указывает, когда действие привело к изменению в состояние. Он может быть реализован как короткий и точный звук с фанфарами в конце. Например, звук может напоминать короткий высокочастотный звуковой сигнал, за которым следует блуждающий скрежещущий звук, который постепенно исчезает к его концу. AIM 402 может также выполнить короткий вибрационный сигнал, который подтверждает действие выбора. Кроме того, AIM 402 может воспроизвести словесный сигнал, который подтверждает, что пункт был выбран.

[00246] Меню-Показать-Диалог Этот короткий звук указывает, что меню наложения теперь представлено поверх другого содержимого. Этот звук может напоминать постепенно нарастающий звук возрастающего типа. AIM 402 может также предоставить сопровождающий короткий вибрационный сигнал, который дополнительно подтверждает, что изменение в состоянии имеют место. Кроме того, AIM 402 может воспроизвести словесный сигнал, который утверждает, что меню наложения теперь отображается.

[00247] Меню-Закрыть-Диалог Этот короткий звук указывает, что диалог (например, меню наложения) был закрыт, и что фокус вернулся к предыдущему контексту. Звук может напоминать постепенно затухающий звук убывающего типа.

[00248] Переключение-Контекста Этот короткий и отчетливый звук указывает, что состояние текущего контекстного меню изменилось, чтобы представить новое содержимое, например, потому что пользователь продвинулся к новому шагу путешествия, и т. д. Звук может напоминать короткий высокочастотный звуковой сигнал, за которым следует едва различимый звук турникета.

[00249] Описанные выше звуки являются характерными, но не представляют полный набор звуков, которые может предоставить AIM 402. Следующие дополнительные звуки, например, могут быть инициированы при определенных действиях, выполняемых пользователем, при взаимодействии с AIM 402: a) звук К-Действиям, чтобы указать, что меню действий представлено, на основе выбора пункта меню, сделанного в предыдущем меню; b) звук От-Действий, чтобы указать, что активное меню представлено в ответ на возвращение из меню действий; c) звук Действия-Недоступны, чтобы указать, что инструкция представить действия для конкретного меню была распознана, но нет действий, связанных с конкретным меню; d) звук Пункт-Выбираемый, который указывает, что пункт меню был успешно помечен для выбора при отпускании пальца пользователя; e) звук Пункт-не-Выбираемый, чтобы указать, что с пункта, который ранее был помечен для выбора-при-отпускании, теперь был успешно снят выбор, и, таким образом, он не будет больше выбран при отпускании пальца пользователя; f) звук Пункт-не-Выбираемый, чтобы указать, что жест для того, чтобы пометить пункт для выбора, был распознан, но жест неприменим к рассматриваемому пункту; g) звук Выбрать-но-не-Изменять, чтобы указать, что выбор был сделан, но никакое изменение в фокусе не является подходящим; h) звук Обратно-Успешно, чтобы указать, что обратный жест был распознан, и обратное действие было вызвано; i) звук Переключение-на-Вкладки, чтобы указать, что жест переключение-на-вкладки был успешно распознан, и что меню вкладок теперь представлено; j) звук Переключение-от-Вкладок, чтобы указать, что жест переключение-от-вкладок был распознано и что предшествующее меню, которое было представлено перед переключением на меню вкладок, было восстановлено; k) звук Начать-Слушать, чтобы указать, что модуль 302 SI теперь слушает голосовые команды пользователя; l) звук Прекратить-Слушать, чтобы указать, что режим распознавания голоса теперь был отменен; m) звук Окончание-Обработки, чтобы указать, что приложение прекратило принимать и обрабатывать голосовой ввод; n) звук Предпринято-Действие, чтобы указать, что действие было предпринято в качестве результата основанного на голосе ввода, и так далее. Кроме того, AIM 402 может также представлять любой тип тактильных сигналов, которые будут сопровождать любые из звуков, описанных выше.

[00250] Следующие иллюстративные звуки могут быть инициированы при определенных событиях, которые могут возникнуть в хоте взаимодействия пользователя с гарнитурой 108: a) звук Касание-Кнопки (проигрываемый перед выполнением действия), чтобы указать, что жест касания был распознан на кнопке гарнитуры; b) звук Нажатие-на-Кнопку (проигрываемый перед выполнением какого-либо действия), чтобы указать, что жест нажатия был распознан на кнопке гарнитуры; c) звук Кнопки-Удерживаются (проигрываемый перед выполнением действия), который указывает, что жест удерживания был распознан на кнопке гарнитуры; d) звук Отмена-Действия, который указывает, что любое предыдущее действие, вызванное с кнопки гарнитуры, было отменено, например, для запроса о прекращении объявления контекстных IOI как часть действия ориентации, и так далее. Кроме того, AIM 402 может также представлять любой тип тактильных сигналов, которые будут сопровождать любые из звуков, описанных выше.

[00251] Следующие иллюстративные звуки могут быть инициированы при определенных событиях, которые могут произойти в ходе путешествия; a) звук Путешествие-Началось, чтобы указать, что путешествие началось, и что навигация в настоящее время выполняется; b) звук Переключение-Режима, который указывает, что пользователь переключил его или ее режим транспорта (например, с пешеходного движения на поезд, и т. д.); c) звук Удара, чтобы направленно указать следующую точку в ходе путешествия, в которую пользователь пытается попасть в рамках навигации; d) звук Предупреждение, чтобы указать, что предупреждающая информация должна быть зачитана вслух, воспроизводимая, чтобы повысить осведомленность пользователя и дать пользователю время настроиться на эту информацию; e) звук Точка-Маршрута-Достигнута, чтобы указать, что пользователь достиг точки маршрута путешествия, и что навигационная информация должна быть прочитана вслух, воспроизводимая, чтобы повысить осведомленность пользователя и дать пользователю время настроиться на эту информацию; f) звук Точка-Маршрута-Приближается, чтобы указать, что пользователь приближается к точке маршрута, и что навигационная информация должна быть прочитана вслух, воспроизводимая, чтобы повысить осведомленность пользователя и дать пользователю время настроиться на эту информацию; g) звук Обновление-Путешествия, который воспроизводится, чтобы указать, что информация, касающаяся изменения текущего путешествия должна быть прочитана вслух, воспроизводимая, чтобы повысить осведомленность пользователя и дать пользователю время настроиться на эту информацию; h) звук Контекстная-Информация, который указывает, что контекстная информация должна быть прочитана вслух; i) звук Дополнительная-Информация, который указывает, что дополнительная информация должна быть прочитана вслух, и так далее. Кроме того, AIM 402 может также представлять любой тип тактильных сигналов, которые будут сопровождать любые из звуков, описанных выше.

[00252] Как правило, приведенные выше звук и тактильные сигналы дополнительно содействуют цели предоставления полезной информации пользователю по мере того, как пользователь взаимодействует в его или ее окружающей средой, без чрезмерного отвлечения пользователя. Например, звуки и тактильные сигналы, которые пользователь слышит во время навигации по меню, позволяют пользователю взаимодействовать с меню без отвлечения его или ее внимания от окружающей среды.

C.3. Режим Распознавания Голоса

[00253] Система 102 поддерживает режим распознавания голоса, в котором пользователь может выдавать команды системе 102 через голосовые инструкции, например, в дополнение к ручному взаимодействию с гарнитурой 108 и/или пользовательским устройством 106. Или система 102 может использовать режим распознавания голоса в качестве единственного режима, в котором пользователь взаимодействует с системой 102. Чтобы выполнить распознавание голосовых команд пользователя, система 102 может полагаться на существующую технологию распознавания голоса (например, систему CORTANA, предоставленную Корпорацией MICROSOFT), и/или собственную технологию распознавания голоса. Фиг. 3 иллюстрирует технологию распознавания голоса в качестве механизма 328 обработки речи.

[00254] Как было упомянуто выше, пользователь может вызвать режим распознавания голоса через соответствующую команду, выданную через гарнитуру 108 и/или меню пользовательского устройства 106. В других случаях, пользовательское устройство 106 может уже взаимодействовать с системой распознавания голоса (например, CORTANA) как часть его способа работы по умолчанию, но не в контексте выполнения навигации. Здесь пользователь может взаимодействовать с модулем 302 SI в режиме распознавания голоса, выдавая речевую команду, которой предшествует имя навигационного приложения, например, произнося команду: «Soundscape, начать режим исследования». Если пользователь уже активировал режим распознавания голоса в контексте навигационного приложения, пользователь может просто сказать: «Начать режим исследования», или тому подобное.

[00255] Следующий список идентифицирует иллюстративные операции, которые могут быть инициированы в голосовом режиме: a) пользователь может открыть существующее (сохраненное) путешествие; b) пользователь может активировать или повторно активировать режим ориентации; c) пользователь может активировать или деактивировать режим исследования; d) пользователь может попросить выдать больше информации о конкретной теме; e) пользователь может запросить прекращение всех (или некоторых) речевых сообщений; f) пользователь может выполнить настройки различных параметров; g) пользователь может сохранить информацию о путешествии, и так далее.

[00256] Иллюстративные команды могут соответствовать следующим: a) «Создай маршрут к месту назначения [x], отъезд во время [y], используя только общественный транспорт [z]»; «Найди ближайшее кафе»; c) «Доставь меня на вокзал»; d) «Сколько сейчас времени?»; e) «Увеличь громкость»; f) «Удали рестораны из элементов интереса», и т. д.

[00257] Механизм 328 обработки речи может иногда встречаться с ситуацией, в которой он понимает команду пользователя, но он определяет, что команда пропускает один или более элементов необходимой информации. В ответ, механизм 328 обработки речи может попросить пользователя доставить недостающие элементы информации.

[00258] В других случаях, механизм 328 обработки речи может встретиться с ситуацией, в которой он не понимает команды пользователя. В таких случаях, механизм 328 обработки речи может попросить пользователя перефразировать команду. Если это не успешно, механизм 328 обработки речи может представить предлагаемые интерпретации высказывания пользователя пользователю (например, на основе обнаружения ключевых слов в команде пользователя), и затем спросить пользователя, является ли какая-либо из интерпретаций корректной. Если это не успешно, механизм 328 обработки речи может пригласить пользователя ввести эквивалентную команду через гарнитуру 108 и/или пользовательское устройство 106.

[00259] Фиг. 38 показывает процесс 3802, который обобщает один из способов работы AIM 402 на Фиг. 4 и 5. В блоке 3804, AIM 402 обнаруживает первый жест, выполняемый пользователем, соответствующий указанию активировать меню в связанной рабочей области. Связанная рабочая область соответствует одной из множества рабочих областей, и связанная рабочая область имеет определенную пространственную взаимосвязь по отношению к другим рабочим областям во множестве рабочих областей. Первый жест, например, может соответствовать описанному выше жесту коснуться-и-держать, описанному со ссылкой на Фиг. 24. В блоке 3206, AIM 402 активирует меню в ответ на первый жест.

[00260] В блоке 3808, AIM 402 обнаруживает второй жест, выполняемый пользователем, соответствующий указанию продвинуться к определенному пункту меню из набора пунктов меню в меню. Второй жест, например, может соответствовать любому из типов жестов прокрутки или панорамирования, описанному выше (например, со ссылкой на Фиг. 25 и 31). В блоке 3810, AIM 402 продвигается к определенному пункту меню в ответ на второй жест.

[00261] В блоке 3812, AIM 402 обнаруживает третий жест, выполняемый пользователем, соответствующий указанию выбрать определенный пункт меню. Третий жест, например, может соответствовать типу жеста отпускания, показанному на Фиг. 25, или типу жеста тянуть-в-сторону, показанному на Фиг. 32. В блоке 3814, AIM 402 выполняет операцию в ответ на третий жест. Операция может соответствовать вызову действия, установке параметра, представлению информации, и т. д.

[00262] Подводя итог вышесказанному, указанные выше отличительные признаки позволяют пользователю безопасно и эффективно перемещаться через его или ее окружающую среду. Например, рабочие области предоставляют удобный способ представления наиболее релевантной информации пользователю по мере того, как пользователь перемещается через окружающую среду. Кроме того, некоторые из отличительных признаков позволяют пользователю взаимодействовать с представлением пользовательского интерфейса без обращения визуального внимания на это представление, и/или без необходимости выполнения громоздких и сложных жестов, которые отвлекают внимание пользователя от физической задачи взаимодействия с окружающей средой. Например, пользователь может выполнять некоторые из жестов одной рукой, не глядя на представление пользовательского интерфейса.

D. Облегчение Взаимодействия между Пользователями и их Окружающими Средами с Использованием Звуков.

[00263] Как описано во вступительном разделе A, модуль 414 генерирования звуков (на Фиг. 4) может генерировать не-трехмерные (не-пространственные) звуки и трехмерные (пространственные) звуки. Трехмерный звук представляет собой звук, который пользователь воспринимает как исходящий из по меньшей мере одного местоположения в физическом пространстве, даже если он не имеет фактического источника в физическом пространстве. В частности, Фиг. 39 демонстрирует использование трехмерной аудиоинформации для создания восприятия звука, который исходит от конкретного местоположения в пространстве. Фиг. 40 демонстрирует использование трехмерной аудиоинформации для создания восприятия звука, который перемещается через ряд местоположений в пространстве.

[00264] В одной из реализаций, модуль 414 генерирования звуков может производить трехмерный звук, используя библиотеку Передаточных Функций Слухового Аппарата Человека (HRTF), например, как предоставлено в хранилище 416 данных. HRTF моделирует анатомические особенности лица человека, которые имеют характерное для человека воздействие на способ, с помощью которого этот человек воспринимает происхождение звука в его или ее окружающей среде. Чтобы создать трехмерный звук, модуль 414 генерирования звуков может выбрать HRTF, которая подходит для конкретного человека и для конкретного местоположения звука в пространстве (по отношению к местонахождению человека). Модуль 414 генерирования звуков может затем применить HRTF, чтобы изменить не-трехмерный звук (например, плоский или не-пространственный звук), чтобы создать трехмерный звук, например, свертывая не-пространственный звук с помощью выбранной HRTF.

[00265] Более конкретно, в одном случае, модуль 414 генерирования звуков может принимать входную информацию, которая описывает: (a) не-трехмерный звук, который должен быть воспроизведен; (b) местоположение в пространстве, в котором звук должен быть воспринят как исходящий; и (c) (опционально) личность пользователя. Входная информация может описывать не-трехмерный звук путем предоставления справочной информации, которая идентифицирует аудиоинформацию в хранилище 416 данных, и/или может предоставлять саму аудиоинформацию. Например, не-трехмерный звук может соответствовать контрольному тону и/или голосовому сообщению. Затем, для каждого уха пользователя, модуль 414 генерирования звуков может: (a) идентифицировать HRTF, связанную с местоположением, для конкретного рассматриваемого пользователя; (b) применить HRTF к не-трехмерному звуку, чтобы создать трехмерный звук. Входная информация, которая предоставляется в модуль 414 генерирования звуков, может исходить из одного или более других модулей модуля 302 SI, описанного ниже, например, соответствующих модулю 420 направления по пути, модулю 426 определения релевантной информации (RID), модулю 430 исследования, модулю 432 ориентации, и т. д.

[00266] Модуль 414 генерирования звуков выполняет приведенные выше функции по отношению к библиотеке HRTF, предоставленной в хранилище 416 данных. В одной из реализаций, модуль 302 SI может хранить HRTF в хранилище 416 данных, которые были подготовлены для конкретных лиц (и которые, таким образом, учитывают конкретные анатомические особенности этих людей). Например, HRTF для каждого человека может быть получена путем измерения физических характеристик лица каждого пользователя. Эта задача, в свою очередь, может быть выполнена вручную (например, путем использования физических инструментов измерения расстояния), путем использования камеры с восприятием глубины сцены (например, путем использования системы KINECT, предоставленной Корпорацией MICROSOFT в Редмонде, штат Вашингтон), и так далее. Более конкретно, набор HRTF, который сгенерирован для конкретного человека, включает в себя HRTF для каждого местоположения звука в пространстве (по отношению к положению головы пользователя), и для каждого из двух ушей пользователя. Различные реализации могут поручать различным людям создавать эти HRTF (например, акустическим инженерам, системным администраторам, конечным пользователям, и т. д.).

[00267] Во второй реализации, модуль 414 генерирования звуков может хранить отдельные группы HRTF, которые хорошо работают для различных соответствующих групп людей. Система 102 может затем пригласить конечного пользователя для выбора набора HRTF, который воспринимается как создающий наиболее реалистичные трехмерные звуки. Например, пользователь может сделать свой выбор на этапе настройки, прося систему 102 производить один и тот же трехмерный звук(и) с использованием различных HRTF; пользователь может затем выбрать звук(и) (и соответствующую HRTF), которые производят наиболее желаемый результат. В третьей реализации, модуль 414 генерирования звуков может хранить один набор HRTF, которые доказали, что они подходят для большого числа пользователей, даже если эти HRTF не настроены для какого-либо конкретного пользователя или группы людей. Еще другие методы могут использоваться для создания и/или выбора подходящих HRTF.

[00268] В одной из реализаций, модуль 414 генерирования звуков генерирует трехмерные звуки, которые передают широкополосную аудиоинформацию. Широкополосная аудиоинформация представляет собой аудиоинформацию, которая включает в себя широкое распространение звуковых частот, например, в одной из реализаций, в диапазоне от 300 Гц до 3.4 кГц. Кроме того, отдельные трехмерные звуки являются выразительными по своей природе, чтобы дополнительно подчеркнуть их направленность. Например, один такой трехмерный звук может напоминать порыв ветра, дующего слева направо или справа налево. Другие свойства аудиоинформации (кроме ее основанной на HRTF направленности) могут способствовать ее выразительности, например, предоставляя вариации в громкости, тоне, реверберации, частоте повторения (для повторяющихся звуков), и т. д. Все из этих факторов способствуют реалистичному восприятию, что звук исходит из конкретного местоположения (или местоположений) в физическом пространстве.

[00269] Как также описано в Разделе A, различные модули могут использовать трехмерные звуки в различных целях и в различных режимах работы. Эти модули включают в себя модуль 420 направления по пути, модуль 426 RID, модуль 420 исследования, модуль 432 ориентации, и т. д. Чтобы упростить описание, каждый такой модуль иногда описывается как создающий трехмерные звуки. В действительности, каждый модуль производит звук путем генерирования описанной выше входной информации, которую он подает в модуль 414 генерирования звуков; модуль 414 генерирования звуков затем использует входную информацию, чтобы произвести фактические трехмерные звуки.

[00270] Как показано на Фиг. 41, сначала рассмотрим работу модуля 420 направления по пути. Как уже описано, модуль 420 направления по пути определяет текущее направление, в котором пользователь следует. Модуль 420 направления по пути может делать эту оценку на основе любой информации, предоставленной механизмом(ами) определения ориентации системы, механизмом(ами) определения движения, механизмом(ами) определения положения, и так далее. В одном случае, например, модуль 420 направления по пути может определить направление, в котором направлена голова пользователя (например, на основе механизма определения ориентации в гарнитуре 108), и затем использовать эту информацию в качестве прокси для направления, в котором пользователь, как предполагается, должен быть направлен. Альтернативно, или в дополнение, модуль 420 направления по пути может определить ряд местоположений, которые пользователь недавно прошел. Модуль 420 направления по пути может использовать эту информацию для прогнозирования направления, в котором, как представляется, пользователь должен быть направлен. Альтернативно, или в дополнение, модуль 420 направления по пути может определить направление, в котором пользователь намеренно направляет его или ее пользовательское устройство 106.

[00271] Модуль 420 направления по пути может также определить желаемое направление пользователя. Модуль 420 направления по пути может определить желаемое направление на основе по меньшей мере текущего местоположения пользователя и местоположения следующей точки маршрута. Модуль 420 направления по пути может также принять во внимание картографическую информацию при определении желаемого направления. Например, картографическая информация может выявить, что путь пользователя ограничивается различными способами, например, направлением шоссе, препятствиями любого типа, и т. д. Модуль 420 направления по пути может использовать всю эту информацию для определения направления, в котором пользователь должен быть направлен, чтобы в конечном счете поместить пользователя на путь по достижению следующей точки маршрута наиболее эффективным образом из возможных.

[00272] На основе фактического направления и желаемого направления, модуль 420 направления по пути может затем определить степень, до которой пользователь может отклоняться от желаемого направления, например, чтобы предоставить информацию об отклонении. Модуль 420 направления по пути может затем использовать информацию об отклонении для создания трехмерного звука, который будет иметь эффект направления пользователя в желаемом направлении, например, путем подачи информации об отклонении в модуль 414 генерирования звуков как части входной информации.

[00273] Чтобы прояснить приведенное выше описание, рассмотрим иллюстрацию на Фиг. 41. Здесь, пользователь расположен в текущем местоположении 4102. Следующая точка (w) маршрута расположена в целевом местоположении 4104. Текущее (фактическое) направления пользователя обозначено как направление 4106. Желаемое направление 4108 пользователя соответствует тому вектору, который соединяет текущее местоположение 4102 пользователя с целевым местоположением 4104, хотя, как отмечено выше, это не обязательно во всех ситуациях (например, вследствие препятствия, которое блокирует прямой маршрут от текущего местоположения 4102 к целевому местоположению 4104). Информация об отклонении может соответствовать угловой разнице между текущим направлением 4106 и желаемым направлением 4108.

[00274] В ответ на приведенные выше определения, модуль 420 направления по пути может создавать трехмерный звук (с помощью модуля 414 генерирования звуков), который представляется как исходящий из местоположения 4110. Другими словами, пользователь в настоящее время направлен влево от желаемого направления 4108. Пользователь услышит направленный сигнал, исходящий справа. Пользователь будет воспринимать этот сигнал как призывающий пользователя поворачивать направо, чтобы скорректировать направление его или ее пути. Если пользователь начинает двигаться в направлении, которое слишком далеко справа от желаемого направления 4108, модуль 420 направления по пути может создать трехмерный звук (с помощью модуля 414 генерирования звуков) слева от пользователя. Пользователь может продолжать, по существу идя или следуя намеченному курсу воспринятого трехмерного звука. Когда пользователь следует в верном направлении, трехмерный звук будет восприниматься как исходящий непосредственно перед пользователем; пользователь тогда следует прямо на этот звук.

[00275] Как было отмечено выше, модуль 420 направления по пути может использовать модуль 414 генерирования звуков для создания трехмерного звука, который является периодическим по своей природе, например, соответствующий звуку удара. Например, звук удара может соответствовать повторяющемуся однотонному или двухтонному или n-тонному звуку цок-цок, и так далее. В дополнение, или альтернативно, трехмерный звук может появиться, чтобы двигаться в направлении, в котором пользователю настоятельно рекомендуется переместиться, например, слева направо, или справа налево, и т. д.

[00276] Кроме того, модуль 420 направления по пути может предоставить входную информацию в модуль 420 генерирования звуков, которая имеет эффект изменения одной или более звуковой характеристики звука удара, в зависимости от степени, в которой фактическое направление 4106 пользователя отклоняется от желаемого направления 4108. Например, модуль 420 направления по пути (в сочетании с модулем генерирования звуков 414) может генерировать звук удара, имеющий первый тон и/или первую частоту повторения, когда текущее отклонение пользователя от идеального пути находится в пределах первого порога. Модуль 420 направления по пути (в сочетании с модулем генерирования звуков 414) может генерировать звук удара, имеющий второй тон и/или вторую частоту повторения, когда текущее отклонение пользователя находится за пределами первого порога, но в пределах второго порога, и так далее. Модуль 420 направления по пути может классифицировать отклонение пользователя на любое количество таких категорий отклонения, каждая из которых связана с определенным звуком удара.

[00277] В конкретном на Фиг. 41, модуль 420 направления по пути определяет первый диапазон 4112 отклонений от желаемого направления 4108 и второй и второй диапазон 4114 отклонений от желаемого направления 4108, при этом второй диапазон 4114 больше, чем первый диапазон 4112. Текущее направление 4106 подпадает под второй диапазон 4114, и, следовательно, модуль 420 направления по пути (в сочетании с модулем 414 генерирования звуков) будет генерировать звук удара, который подходит для этого диапазона 4114.

[00278] В реальной практике, модуль 420 направления по пути полезен во многих случаях, но может быть воспринят как наиболее полезный в двух ситуациях. В первом случае, пользователь может достичь перекрестка, на котором ожидается, что он или она повернет в определенном направлении, среди фиксированного набора доступных вариантов. Или пользователь может достичь развилки на дороге, на которой ожидается, что он выберет один из возможных путей. Модуль 420 направления по пути (в сочетании с модулем 414 генерирования звуков) может предоставить недвусмысленное руководство пользователю путем воспроизведения трехмерного звука удара, который пользователь воспринимает как принимающий решение относительно его или ее навигационных выборов. Например, когда пользователь стоит на перекрестке, пользователь услышит звук удара, ведущий его или ее налево или направо (например). Когда пользователь стоит на развилке на дороге, пользователь будет воспринимать звук удара как ведущий его или ее по правильному ответвлению на дороге.

[00279] Во втором сценарии, пользователь перемещается через более открытое пространство, в котором он или она получает более широкие возможности, чтобы постепенно отклоняться от курса (по сравнению со случаем, в котором пользователь идет по хорошо определенной дороге или пути). Здесь, модуль 420 направления по пути может дать пользователю инкрементные подталкивания способом, проиллюстрированным на Фиг. 41, чтобы сохранить пользователя на нужном маршруте.

[00280] В другом сценарии использования, модуль 426 определения релевантной информации (RID) может определить, в каждой точке вдоль пути пользователя, и для каждого соответствующего текущего контекста, местоположение релевантных элементов интереса (IOI), таких как контекстные IOI. Модуль 426 RID может затем использовать модуль 414 генерирования звуков для генерирования трехмерного звука для каждого IOI. Пользователь будет воспринимать этот звук как исходящий из фактического местоположения соответствующей физической сущности в физическом пространстве, то есть, предполагая, что IOI соответствует физической сущности, имеющей дискретное физическое местоположение в пространстве. Например, модуль 426 RID (в сочетании с модулем 414 генерирования звуков) может генерировать следующую аудиоинформацию для конкретного IOI, который имеет аналогичную физическую сущность поблизости от пользователя: [3D звук]: «Кафе Джейн, ресторан, 30 футов впереди». Другими словами, в этом случае, аудиоинформация включает в себя трехмерный звук, за которым вскоре следует речевое сообщение. Пользователь будет воспринимать трехмерный предварительный звук как исходящий из физического местоположения Кафе Джейн. Голосовое сообщение также может быть представлено как трехмерный звук (хотя не обязательно). Голосовое сообщение может альтернативно включать в себя дополнительные (или меньше) поля информации, или может быть полностью опущено.

[00281] В других случаях, IOI может иметь общее происхождение в пространстве, вместо точечного местоположения. Например, IOI может соответствовать рекламе, которая связана с общей зоной, которая, в свою очередь, соответствует автобусной остановке. Модуль 426 RID (в сочетании с модулем 414 генерирования звуков) может генерировать звук для этого IOI, который воспринимается пользователем как исходящий из общей зоны автобусной остановки, или из центра этой зоны, и т. д. Этот тип IOI может считаться виртуальным, до той степени, пока он не предназначен для описания автобусной остановки, но работает как звуковой атрибут автобусной остановки.

[00282] В другой реализации, аудиоинформация может также включать в себя устный сигнал, который определяет направленное местоположение IOI, по отношению к пользователю. Этот направленный сигнал может быть выражен широко (например, путем указания, что Кафе Джейн находится впереди пользователя и справа), или более узко (например, путем указания, что Кафе Джейн расположено на 10 часов относительно текущего направления пользователя). В дополнение, или альтернативно, модуль 426 RID (в сочетании с модулем 414 генерирования звуков) может предоставлять различные трехмерные звуки для различных соответствующих категорий IOI, например, воспроизводя первый тип звука для ресторанов, а второй тип звука для туалета, и т. д.

[00283] Как модуль 430 исследования, так и модуль 432 ориентации используют описанное выше поведение модуля 426 RID, например, в режиме исследования и режиме ориентации, соответственно. Как описано в разделе A, пользователь может вводить команду, чтобы явно активировать и деактивировать эти режимы, например, через ручное взаимодействие с гарнитурой 108 и/или пользовательским устройством 106, и/или через голосовую инструкцию.

[00284] Более конкретно, Фиг. 42 показывает иллюстративное поведение модуля 430 исследования, работающего в режиме исследования. В этом режиме, как только режим исследования активирован пользователем, модуль 430 исследования определяет текущее местоположение пользователя и текущий фокус интереса пользователя. Например, модуль 430 исследования может использовать любой механизм(ы) определения положения на гарнитуре 108 и/или пользовательском устройстве 106, чтобы определить местоположение пользователя в настоящее время (например, используя датчик GPS, и т. д.). Модуль 430 исследования может использовать любой механизм(ы) ориентации на гарнитуре 108 и/или пользовательском устройстве 106, чтобы определить направление, в котором пользователь, как представляется, ориентирует свое тело. Например, механизм(ы) на гарнитуре 108 могут определять направление, в котором направлена голова пользователя, что может быть использовано как прокси-указание фокуса интереса пользователя. Альтернативно, или в дополнение, система 102 может поручить пользователю направить устройство 106 в направлении, которое соответствует его или ее фокусу интереса; в этом случае, механизм(ы) ориентации пользовательского устройства 106 будут корректно отражать предполагаемый фокус интереса. Все еще другие методы могут использоваться для оценки предполагаемого фокуса интереса пользователя.

[00285] Далее, модуль 430 исследования определяет пространство поиска интереса. В одном случае, модуль 430 исследования может определить пространство поиска как объем любой формы, который центрирован на предполагаемом фокусе интереса пользователя. Например, объем может соответствовать объему в форме клина, который исходит из текущего местоположения пользователя и который делится пополам предполагаемым фокусом интереса пользователя. Определяемые системой и/или определяемые пользователем настройки параметров могут указать глубину объема, угловой диапазон объема, ширину объема, и т. д.

[00286] Далее, модуль 430 исследования может использовать модуль 416 RID, чтобы осуществлять поиск по объему на наличие IOI интереса, например, но не ограничиваясь, контекстные IOI. Модуль 430 RID может выполнять эту задачу путем обращения за информацией к одному или более хранилищам данных, которые предоставляют информацию о IOI, вместе с любыми настройками параметров, которые определяют конкретные интересы пользователя (например, пользователь мог указать, что он или она, по умолчанию, заинтересованы в информации о ресторанах, за исключением информации о кафе). В некоторых случаях, IOI может быть связан с пространством поиска, потому что он имеет аналогичную физическую сущность, которая расположена в пространстве поиска. В других случаях, IOI может быть связан с пространством поиска из-за некоторых других связей, установленных любым другим способом. Например, администратор (или конечный пользователь сам или сама) может вручную указать, заранее, что область рядом с выходом из станции метро должна быть связана с IOI метеосводки, и так далее.

[00287] Наконец, модуль 430 исследования может генерировать трехмерные звуковые сообщения, которые объявляют наличие IOI, которые были идентифицированы. Модуль 430 исследования может генерировать эти сообщения любым способом, описанным выше, путем использования модуля 414 генерирования звуков. Например, как описано выше, аудиоинформация может соответствовать вступительному звуку, за которым следует голосовое сообщение, которое объявляет IOI. Модуль 430 исследования (в сочетании с модулем 414 генерирования звуков) может зачитывать эти IOI по порядку, например, по часовой стрелке через объем, или в порядке против часовой стрелки, и/или по увеличению или уменьшению расстояния относительно местоположения пользователя, и т. д.

[00288] Фиг. 42 проясняет способ работы, описанный выше. Здесь, пользователь в настоящее время расположен в текущем местоположении 4202. Текущее направление внимания пользователя указано пунктирной линией 4204. Объем поиска определяется контуром 4206, который разделен пополам направлением внимания пользователя. Этот объем поиска определяет угловая полоса обзора может также иметь заданную высоту (не показана), например, 30 футов. В целом, объем поиска напоминает клин. Модуль 430 исследования использует модуль 426 RID для поиска трех контекстных IOI в объеме поиска. Модуль 430 исследования (в сочетании с модулем 414 генерирования звуков) объявляет эти контекстные IOI с помощью трехмерных звуков, которые, как представляется, исходят из местоположений физических сущностей, связанных с контекстными IOI.

[00289] В целом, пользователь может взаимодействовать с модулем 430 исследования путем вращения своего направления внимания, вращаясь вокруг своего текущего местоположения, в несколько этапов. На каждом этапе, пользователь может ждать, чтобы услышать IOI, которые находятся в пределах (или иначе связаны с) объема поиска, соответственно определенного его текущим предполагаемым вниманием фокуса, перед тем, как двигаться к новому фокусу внимания. Например, в одном случае, полоса обзора, охваченная направлением интереса пользователя, составляет 45 градусов. Пользователь может провести полную опись IOI вокруг него путем поворота на северо-восток, юго-восток, юго-запад и северо-запад, последовательно. В каждой ориентации, пользователь будет слышать IOI, которые охвачены квадрантом интереса.

[00290] Согласно другому иллюстративному отличительному признаку, пользователь может выбрать IOI любым способом после того, как услышит, что он объявлен. Например, пользователь может выдать голосовую инструкцию «доставь меня туда» или «больше информации» после того, как услышит о кафе Джейн. Или пользователь может выбрать IOI, поворачивая его или ее фокус внимания по направлению к воспринимаемому местоположению IOI (например, на основе воспринимаемого местоположения трехмерного звука, который объявляет этот IOI). Пользователь может выполнить эту задачу, например, путем поворота его головы или тела или пользовательского устройства 106 непосредственно по направлению к воспринимаемому местоположению IOI. Или пользователь может выбрать IOI через соответствующее меню, предоставленное пользовательским устройством 106. Или пользователь может сделать соответствующий выбор через кнопку гарнитуры после того, как услышит объявление IOI, и т. д. В ответ на выбор IOI, сделанный любым способом, модуль 302 SI может представить дополнительную информацию, касающуюся IOI, или предоставить указания, как достичь IOI, и т. д. Модуль 302 SI может также подтвердить выбор пользователя путем увеличения громкости трехмерного звука, который объявляет наличие выбранного IOI, или иным образом делая этот звук более заметным в опыте пользователя.

[00291] Наконец, модуль 432 ориентации работает путем определения текущего местоположения пользователя способом, описанным выше. Он затем определяет трехмерный объем вокруг пользователя. Например, трехмерный объем может соответствовать цилиндру или сфере или коробке или прямоугольнику (например) с пользователем, расположенным в центре объема. Модуль 432 ориентации затем использует модуль 426 RID, чтобы идентифицировать набор IOI, которые существуют в пределах объема, если таковые имеются. Модуль 432 ориентации затем использует модуль 414 генерирования звуков, чтобы зачитать IOI в любом порядке.

[00292] Например, на Фиг. 43 модуль 432 ориентации определяет трехмерный объем, имеющий форму цилиндра, с пользователем, расположенным в его центре в текущем местоположении 4302. Модуль 432 ориентации использует модуль 426 RID для идентификации IOI, которые находятся внутри цилиндра или иным образом связаны с пространством, определенным цилиндром. Затем модуль 432 ориентации зачитывает IOI в любом порядке. Например, рассмотрим пользователя, который посещает торговую галерею, имеющую три этажа. Предположим, что пользователь стоит в атриуме под открытым небом на первом этаже торговой галереи. Модуль 432 ориентации может зачитать IOI, которые он находит на поэтажной основе, например, этаж z1, этаж z2 и затем этаж z3. Модуль 432 ориентации может объявить IOI на каждом этаже в любом порядке, например, в порядке по часовой стрелке, порядке против часовой стрелки, и т. д. Пользователь может затем опционально выбрать любой IOI любым из способов, описанных выше.

[00293] В качестве закрывающего комментария, приведенное выше объяснение изложило использование трехмерных звуков для объявления присутствия контекстных IOI, таких как рестораны, и т. д. Но модуль 302 SI может использовать трехмерных звуки для объявления присутствия любых типов IOI, например, предупреждающих IOI и IOI путешествия. Например, модуль 302 SI может генерировать предупреждение, касающееся выбоины на дороге, которое, как представляется, исходит из местоположения выбоины. В качестве другого разъяснения, модуль 302 SI может также доставлять множество типов IOI плоским или непространственным способом. Например, модуль 302 SI может производить другой предупреждающий IOI, который не имеет направленности, чтобы в целом уведомить пользователя о том, что дорога, по которой он едет в настоящее время, скользкая из-за дождя.

[00294] Кроме того, приведенное выше описание основывается на использовании звука, который пользователь воспринимает как исходящий из местоположений в физическом пространстве. В дополнение, или альтернативно, модуль 418 генерирования тактильных сигналов может генерировать сигналы вибрации, которые передают направленную информацию. Например, гарнитура 108 может включать в себя два или более вибрационных механизма, например, первый вибрационный механизм на левой стороне ее рамы 602 и второй вибрационный механизм на правой стороне ее рамы 602. Модуль 418 генерирования тактильных сигналов может активировать либо первый, либо второй вибрационный механизм, чтобы предоставить указания пользователю повернуть налево или направо, соответственно. Этот тип указания может включать в себя дополнительные градации путем включения в состав дополнительных вибрационных механизмов. Такой же эффект может быть достигнут за счет активации различных вибрационных механизмов на пользовательском устройстве 106, например, путем активации левостороннего вибрационного механизма, чтобы предоставить сигнал повернуть налево, и правостороннего вибрационного механизма в качестве сигнала направо. Вибрационные механизмы могут быть связаны с еще другими устройствами или частями тела пользователя.

[00295] Фиг. 44 показывает процесс 4402, который описывает использование трехмерных звуков, чтобы направить пользователя в навигации вдоль желаемого маршрута. В блоке 4404, модуль 302 SI определяет текущее местоположение пользователя на маршруте, в пространстве. В блоке 4406, модуль 302 SI генерирует трехмерный звук. Трехмерный звук создает восприятие пользователем, что трехмерный звук исходит по меньшей мере из одного конкретного местоположения в пространстве. В блоке 4408, модуль 302 SI доставляет трехмерный звук пользователю. Трехмерный звук помогает пользователю в навигации по маршруту.

[00296] Фиг. 45 показывает процесс 4502, который описывает один из способов, в котором модуль направления по пути может использовать трехмерные звуки для направления пользователя по желаемому маршруту. В блоке 4504, модуль 420 направления по пути определяет текущее направление, в котором пользователь следует. В блоке 4506, модуль 420 направления по пути идентифицирует желаемое направление, в котором пользователь, как ожидается, должен держать курс. В блоке 4508, модуль 420 направления по пути определяет разницу между текущим направлением и желаемым направлением, чтобы предоставить информацию об отклонении. В блоке 4510, модуль 420 направления по пути использует модуль 414 генерирования звуков для генерирования периодического трехмерного звука (например, звука удара), на основе информации об отклонении. Этот трехмерный звук направляет пользователя в желаемом направлении. Трехмерный звук может иметь одно или более свойств (например, тон), которые зависят от степени, в которой пользователь отклонился от желаемого направления.

[00297] Фиг. 46 показывает процесс 4602, который описывает один из способов, в котором модуль 302 SI может использовать трехмерные звуки, чтобы идентифицировать и объявить IOI. В блоке 4604, модуль 302 SI определяет набор элементов интереса (IOI), при этом каждый элемент интереса соответствует сущности или событию или части информации, которая имеет отношение к пользователю в текущем контексте. В блоке 4606, модуль 302 SI генерирует трехмерный звук для каждого элемента интереса. Пользователь будет воспринимать звук как исходящий из того же физического местоположения (или местоположений), которое, в свою очередь, связано с элементом интереса, например, путем восприятия звука, связанного с магазином, как исходящего из местоположения магазина.

[00298] В одном случае, модуль 302 SI может применить процесс 4602 в качестве фоновой службы по мере того, как пользователь проходит маршрут. Например, модуль 426 RID может предупредить пользователя о существовании IOI, когда пользователь приближается достаточно близко к местоположениям, связанным с этими IOI, как регулируется любой настройкой основанного на расстоянии параметра.

[00299] В другом сценарии, как указано в блоке 4608, модуль 430 исследования может применять описанный выше общий процесс 4602 путем использования модуля 426 RID для идентификации набора IOI, которые связаны с подпространством, на которое внимание пользователя направлено в настоящее время, или предполагается, что направлено в настоящее время. В другом сценарии, как указано в блоке 4610, модуль 432 ориентации может применять описанный выше общий процесс 4602 путем использования модуля 416 RID для идентификации набора IOI, которые связаны со всем пространством вокруг пользователя в настоящее время, без ссылки на текущий фокус интереса пользователя (потому что теперь пользователь заинтересован в полном объеме пространства вокруг него или ее на данный момент). Пользователь может вызвать и приостановить вывод данных модуля 430 исследования или модуля 432 ориентации, выдавая соответствующие инструкции, например, через гарнитуру 108 или пользовательское устройство 106.

[00300] В качестве заключительной темы, приведенные выше примеры были основаны на упрощающем предположении, что положение виртуальной производящей звук сущности (например, виртуального источника звука) в пространстве является стабильным относительно расположения слушателя, по меньшей мере в течение доставки трехмерного звука. Это может быть правомерным предположением во многих случаях, но может не распространяться для всех ситуаций.

[00301] Например, рассмотрим следующие сценарии. В первом случае, пользователь может слушать трехмерный звук, который описывает (или, иначе, относится к) сущность с фиксированным положением, по мере того, как пользователь проезжает сущность в транспортном средстве любого типа (например, на поезде). Например, пользователь может слушать сообщение, которое описывает башню Спейс-Нидл в Сиэтле, по мере того, как пользователь едет в качестве пассажира в машине, в любом направлении относительно Спейс-Нидл. Во втором случае, пользователь может слушать трехмерный звук, который описывает (или, иначе, относится к) сущности с фиксированным положением, по мере того, как пользователь стоит на месте, но тем не менее перемещает его или ее голову вокруг, так что положение левого и правого ушей пользователя меняется относительно местоположения объекта сущности с фиксированным положением. В третьем случае, пользователь может слушать трехмерный звук, который описывает (или иначе относится к) сущности в движении, по отношению к фиксированному положению слушателя. Например, пользователь может слушать сообщение, которое объявляет о прибытии самолета, который движется по взлетно-посадочной полосе, при этом пользователь остается в фиксированном положении в терминале аэропорта. В четвертом случае, как местоположение IOI, так и пользователь могут быть в движении во время доставки аудиоинформации.

[00302] Следует дополнительно отметить, что не всегда необходимо, чтобы IOI соответствовал физической сущности, такой как Спейс-Нидл или движущийся самолет. Например, движущийся «виртуальный» IOI может соответствовать виртуальному рекламному щиту, который доставляет пространственное сообщение, которое пользователь воспринимает как движущееся по улице по направлению ко входу в ночной клуб, маня пользователя зайти в это учреждение. Кроме того, все, что изложено в материалах настоящей заявки по отношению к звукам, связанным с IOI, применяется равным образом к другим звукам, таким как периодический звук удара.

[00303] Для решения любой из вышеуказанных ситуаций, модуль 302 SI может динамически обновлять трехмерную аудиоинформацию, которую он производит в течение ее доставки, чтобы отразить, в каждый момент времени, относительное положение между головой пользователя и IOI (например, местоположением Спейс-Нидл или движущимся самолетом, в приведенных выше примерах). Модуль 302 SI может выполнять эту задачу различными способами. В одном из неограничивающих подходов, модуль 302 SI может выполнять следующие операции в итеративном процессе в ходе доставки аудиоинформации: (a) определять положение головы пользователя по отношению к IOI, чтобы предоставить информацию об относительном положении; (b) выбирать HRTF (для каждого уха) на основе информации об относительном положении; (c) свертывать любую аудиоинформацию, которая должна быть доставлена в настоящее время, посредством HRTF, чтобы создать трехмерный звук, который является подходящим в настоящее время, на основе информации об относительном положении.

[00304] Чтобы привести один конкретный пример, рассмотрим сообщение, которому требуется пять секунд для доставки пользователю. Модуль 302 SI может определить, для каждой секунды этой доставки, относительное положение между головой пользователя и IOI. Модуль 302 SI может использовать эту информацию для создания трехмерного звука для каждой секунды доставки сообщения, который основан на относительном положении между головой пользователя и IOI в этот момент времени.

[00305] В более общем смысле, приведенный выше итеративный процесс может выполняться с различными скоростями обновления. Скорость обновления может зависеть от скорости, на которой относительное положение между слушателем и IOI изменяется. То есть, модуль 302 SI может обновлять HRTF на относительной быстрой скорости для больших относительных изменений в информации об относительном положении, и на маленькой скорости для более медленных изменений. Скорость обновления может также принимать во внимание количество обрабатывающих ресурсов, которые доступны в системе 102 для обновления трехмерной звуковой информации.

[00306] Модуль 302 SI может также применять различные методы, которые предназначены для ускорения приведенной выше динамической обработки (которая может представлять большую нагрузку обработки на его ресурсы). Например, в некоторых случаях, система 102 может предварительно вычислить динамический звук для по меньшей мере одной предсказанной траектории; каждая такая траектория определяет некоторый тип ожидаемого относительного перемещения между слушателем и IOI, из-за: (a) перемещения слушателя в пространстве; или (и) перемещения IOI в пространстве; или (c) перемещения как слушателя, так и IOI. Например, предположим, что поезд проходит мимо IOI, как правило, с одинаковой скоростью каждый день. В этом случае, возможно предварительно рассчитать трехмерный звук (для каждого уха), который основывается на динамически изменяющейся HRTF. Этот трехмерный звук учитывает предполагаемое движение головы пользователя по мере того, как пользователь перемещается по путям, и может быть основан на упрощающем предположении, что голова пользователя имеет предопределенную фиксированную ориентацию по мере того, как пользователь перемещается. Модуль 302 SI может запустить этот трехмерный звук, когда он обнаруживает, что положение пользователя достигает предопределенного запускающего местоположения по отношению к IOI, такого как местоположение вдоль путей, которое представляет собой предопределенное расстояние от IOI.

[00307] Приведенный выше пример работы может быть расширен, чтобы учитывать различные сценарии. Например, система 102 может предварительно вычислить различные динамические трехмерные звуки, чтобы учесть различные скорости поезда, различные фиксированные ориентации головы (например, указывающие, смотрит ли пользователь прямо вперед в ходе доставки сообщения, или смотрит в окно, и т. д.), и так далее.

[00308] Приведенная выше ситуация может также быть расширена на более общие настройки, в которых перемещение между пользователем и IOI может быть разбито на ряд возможностей, допуская предварительное вычисление соответствующих динамических трехмерных звуков для этих возможностей. Модуль 302 SI может затем запустить любой предварительно вычисленный звук, когда он определяет, что текущий контекст пользователя соответствует одной из предопределенных возможностей.

[00309] В другом случае, модуль 302 SI может динамически выполнять обработку, чтобы предсказать перемещение пользователя по отношению к местоположению IOI, например, на основе текущего направления пользователя. Модуль 302 SI может динамически предварительно вычислять трехмерный звук на основе предполагаемой траектории пользователя по отношению к IOI.

[00310] Все еще другие методы могут использоваться для ускорения вычисления динамически меняющихся трехмерных звуков. В некоторых реализациях, например, модуль 302 SI может опираться на расширенные возможности обработки удаленных обрабатывающих ресурсов 112, например, путем использования параллельной обработки этими ресурсами 112.

[00311] Подводя итог вышесказанному, указанные выше отличительные признаки способствуют вышеуказанной цели, позволяя пользователю эффективно, безопасно и приятно перемещаться через его или ее окружающую среду. Например, отличительные признаки снабжают пользователя различными категориями информации по мере того, как пользователь проходит через окружающую среду, используя различные режимы представления. Функциональность представляет эту информацию пользователю в удобной для пользователя форме, которая избегает перегрузки пользователя слишком большим количеством информации в любой момент времени. Использование трехмерных звуков дополнительно расширяет способность пользователя понимать связь между информацией, которая предоставлена, и объектами, регионами и событиями в окружающей среде.

E. Использование Маяков для Помощи Пользователям во Взаимодействии с их Окружающими Средами

[00312] Следующий раздел предоставляет дополнительную информацию, касающуюся работы основанного на маяках модуля 422 направления. Чтобы повторить, основанный на маяках модуль 422 направления предоставляет стратегию для направления пользователя через пространство, используя маяки, определяющие соответствующие диапазоны. Пространство может соответствовать внутреннему пространству, определенному интерьером одного или нескольких зданий, или сооружением любого типа. Альтернативно, или в дополнение, пространство может соответствовать наружному пространству.

[00313] Маяки могут испускать электромагнитное излучение любого типа, например, радиоволны, инфракрасные волны, и т. д. В других случаях, маяки испускать звуковые волны (например, ультразвукового диапазона). Кроме того, в некоторых случаях, маяки могут генерировать сигналы в соответствии с любым протоколом или комбинацией протоколов, например, протоколом BLUETOOTH, протоколом Wi-Fi, и т. д. Например, без ограничений, маяки могут соответствовать маякам BLUETOOTH Низкой Энергии (BLE). Кроме того, маяк может иметь диапазон любой желаемой глубины, чтобы наилучшим образом подходить для целевой окружающей среды, в которой он развернут. В некоторых внутренних настройках, например, выбирают маяки, имеющие относительно короткие диапазоны, например, диапазоны одного или нескольких метров. В некоторых случаях, установленный маяком диапазон может быть основан на неявно или явно высказанном предположении, что его сигналы должны быть обнаружены определенным типом пользовательского устройства (например, определенным смартфоном), или определенным классом пользовательских устройств (например, определенным классом смартфонов), которые имеют известные и стабильные характеристики приема сигнала.

[00314] В еще одном другом случае, каждый маяк является пассивным устройством (например, пассивным RFID), которое может быть опрошено пользовательским устройством 106 (или некоторым другим опрашивающим устройством), когда это устройство находится в пределах установленного расстояния до маяка. Это установленное расстояние соответствует диапазону устройства, Однако чтобы облегчить объяснение, оставшееся описание будет предполагать, что каждый маяк активно испускает сигнал.

[00315] В одной из реализаций, каждый маяк имеет код, который определяет его идентичность. Маяк может постоянно или периодически (или способом по требованию) испускать сигналы, которые объявляют его код (и/или любую другую характерную для применения информацию), которые могут быть обнаружены приемными устройствами в диапазоне маяка. Например, рассмотрим маяк BLE, который имеет диапазон около одного метра. Приемное устройство, которое находится в пределах этого диапазона, может обнаружить сигнал маяка и считать его конкретный код.

[00316] В одном из примеров на Фиг. 47, внутренняя (и/или внешняя) окружающая среда характеризуется набором коридоров и препятствий (например, препятствие 1, препятствие 2 и препятствие 3). Этот сценарий включает в себя предварительное заполнение окружающей среды набором маяков (например, маяками b1, b2,... b7), например, путем помещения маяков на каждом пересечении двух или более коридоров. Самая внешняя пунктирная окружность, окружающая каждый маяк, представляет диапазон маяка. Как было отмечено выше, приемное устройство, которое находится в пределах диапазона маяка, может успешно обнаруживать маяк; в противном случае, приемное устройство не будет знать о маяке. Следует отметить, что в одной из иллюстративных реализаций, диапазоны маяков не перекрываются. Эта характеристика является выгодной, потому что она устраняет любую неопределенность относительно местоположения пользователя в любой момент времени. Другими словами, пользовательское устройство не может одновременно обнаружить два или более маяков, потому что диапазоны этих маяков не перекрываются, и пользователь не может существовать одновременно в двух местах в одно и то же время. В некоторых окружающих средах, неперекрывающаяся природа диапазонов маяков может быть обеспечена путем того, что также принимают во внимание природу пользовательского устройства (или класса устройств), которое будет принимать сигналы, испущенные из маяков.

[00317] В качестве первого предварительного шага, местоположения всех маяков в окружающей среде на Фиг. 47 могут быть расположены в хранилище 424 данных. Хранилище 424 данных может также хранить коды, связанные с этими маяками.

[00318] В качестве второго предварительного шага, система 102 может использовать любой инструмент планирования маршрута для генерирования маршрута через окружающую среду на Фиг. 47. Инструмент планирования маршрута может применять любой алгоритм для выполнения этой задачи. Например, инструмент планирования маршрута может выражать пространство поиска, определенное коридорами и препятствиями, в виде графа, имеющего множество вершин и ребер. То есть, ребра представляют коридоры, а вершины представляют пересечения коридоров. Инструмент планирования маршрута может затем использовать любой алгоритм (например, хорошо известный алгоритм Дейкстры), чтобы найти эффективный путь через графа. Как только маршрут определен, основанный на маяках модуль 422 направления может идентифицировать подмножество маяков (называемых в материалах настоящей заявки характерными для маршрута маяками), через которые будет проходить пользователь в путешествии по маршруту, и сохранить идентификаторы этих маяков. В случае на Фиг. 47, ожидается, что пользователь встретит все из маяков, но это, как правило, не так (будет уточнено ниже).

[00319] Теперь предположим, что пользователь отправляется на маршрут, используя описанную выше систему 102 в качестве руководства. Система 102 может предоставить руководство в реальном времени способом, описанным выше, через гарнитуру 108 и/или пользовательское устройство 106. В этом случае, однако, система 102 использует другой метод для определения текущего местоположения пользователя в каждый момент времени, по сравнению с методами, описанными выше.

[00320] Более конкретно, основанный на маяках модуль 422 направления постоянно сканирует окружающую среду, чтобы определить, находится ли пользователь в диапазоне какого-либо маяка. Если это так, основанный на маяках модуль 422 направления идентифицирует текущее местоположение пользователя как текущее местоположение маяка, который был обнаружен. Другими словами, основанный на маяках модуль 422 направления знает, априори, код, связанный с обнаруженным маяком, и его местоположение в окружающей среде. Если гарнитура 108 пользователя или пользовательское устройство 106 обнаруживает присутствие этого маяка (на основе кода, переданного обнаруженным сигналом), то основанный на маяках модуль 422 направления может сделать предположение, что пользователь имеет то же местоположение, что и обнаруженный маяк.

[00321] На данном этапе, основанный на маяках модуль 422 направления может использовать услуги модуля 420 направления по пути, чтобы направить пользователя в желаемом направлении с помощью трехмерного звука и/или на основе другой направляющей информации (например, не-трехмерного звука, отображаемых инструкций, и т. д.). Например, предположим, что пользовательское устройство 106 пользователя обнаруживает, что оно находится в диапазоне маяка b4. Модуль 420 направления по пути определит, на основе предопределенной информации о путешествии, что следующая точка маршрута вдоль пути пользователя соответствует маяку b5. Модуль 420 направления по пути может затем сгенерировать трехмерный звук, который пользователь будет воспринимать как исходящий справа от пользователя, который служит для направления пользователя к следующей точке маршрута (например, маяку b5). Пользователь будет интерпретировать этот сигнал как указание, что он или она должны повернуть направо. Пользователь будет продолжать движение в этом направлении до тех пор, пока он или она не встретит другой маяк (например, маяк b5), и в это время направление пользователя может быть обновлено.

[00322] В некоторых случаях, пользователь может отклониться неожиданным образом от запланированного пути таким образом, что он или она выпадают из диапазона маяка, который, как ожидается, он или она встретят следующим. Фиг. 48 представляет один из способов решения этой ситуации. Стратегия там заключается в том, чтобы увеличить количество маяков вдоль запланированного маршрута пользователя, что имеет эффект увеличения частоты, с которой текущее положение пользователя оценивается, и, следовательно, уменьшения вероятности того, что пользователь может отклониться с маршрута (например, если он или она выпадают из диапазона маяка, который, как ожидается, он или она встретят). Следует отметить, что Фиг. 48 показывает только те маяки, которые пользователь, как ожидается, будет проходить на запланированном маршруте. Но окружающая среда может включать в себя дополнительные маяки (которые не показаны), которые пользователь, как ожидается, не будет проходить.

[00323] Возможность для пользователя сильно заблудиться невелика на Фиг. 47 и 48, например, потому что выборы пользователя значительно ограничены препятствиями. Тем не менее, пользователь может запутаться и выбрать неправильный поворот, что приведет к тому, что он покинет запланированный маршрут. Или пользователь может намеренно решить отклониться от запланированного пути. Например, на пересечении, связанном с маяком b9 на Фиг. 48, пользователь может сделать левый поворот вместо правого поворота. Пользователь, следовательно, может в конечном счете встретить вне-путевой маяк (не показан), который, как ожидается, он не должен встретить.

[00324] Основанный на маяках модуль 422 направления может решить эту ситуацию различными способами. В одном случае, основанный на маяках модуль 422 направления может проинформировать пользователя, что руководство больше не может предоставляться пользователю, потому что пользователь, как представляется, отклонился с маршрута, и больше невозможно определить направление и намерение пользователя. Основанный на маяках модуль 422 направления может также спросить пользователя, намеревается ли он или она следовать исходному определенному пути через окружающую среду.

[00325] В другом случае, если можно получить достаточно информации относительно текущего местоположения, направления и намерения пользователя, основанный на маяках модуль 422 направления может направить пользователя обратно на запланированный маршрут. Например, основанный на маяках модуль 422 направления может определить направление, в котором пользователь, как представляется, в настоящее время держит курс (хотя он, как представляется, ошибочный), путем формирования траектории на основе набора самых последних известных положений пользователя. Основанный на маяках модуль 422 направления может затем использовать эту информацию о направлении, вместе с информацией, касающейся текущего положения пользователя (если оно известно), чтобы направить пользователя обратно на запланированный маршрут. Или основанный на маяках модуль 422 направления может запросить пользователя определить, намеревается ли он или она по-прежнему следовать запланированному маршруту или выбрать другой маршрут.

[00326] В любом сценарии, основанный на маяках модуль 422 направления может также полагаться на другие подтверждения текущего местоположения и направления пользователя (в дополнение к информации, предоставленной маяками BLE), когда эта информация доступна. Например, основанный на маяках модуль 422 направления может собирать эту информацию от источников датчиков GPS, методов навигационного счисления, и т. д. В других случаях, предполагается, что по меньшей мере некоторые из этих дополнительных источников не доступны или не являются надежными.

[00327] Фиг. 49 описывает другую ситуацию, в которой пространство, через которое пользователь проходит, является более открытым по сравнению с примерами на Фиг. 47 и 48. Пространство предварительно заполнено набором маяков с коротким диапазоном. Например, пространство может быть заполнено регулярной матрицей таких маяков, если разрешено физическими характеристиками пространства. Маяки имеют диапазоны, которые не перекрываются друг с другом.

[00328] Опять же, инструмент планирования маршрута может генерировать маршрут 4902 через пространство на основе любой входной цели и используя любой алгоритм планирования маршрута для этой цели. Основанный на маяках модуль 422 направления затем определяет маяки, которые, как ожидается, пользователь проходит по мере того, как он или она путешествует по запланированному маршруту 4092. Эти маяки представлены сплошными черными символами маяков.

[00329] Во время фактического прохождения маршрута 4902, основанный на маяках модуль 422 направления выполняет ту же функцию, что и описано выше. То есть, когда основанный на маяках модуль 422 направления определяет, что пользователь вошел в диапазон маяка вдоль ожидаемого пути (например, маяка b22), он принимает местоположение этого маяка в качестве текущего местоположения пользователя. Затем он пересчитывает направление пользователя и обновляет трехмерный звук удара (и/или другую направляющую информацию), чтобы направить пользователя по направлению к следующему маяку (например, маяку b33).

[00330] Риск того, что пользователь отклонится от курса в случае на Фиг. 49, больше, чем в случае на Фиг. 48, потому что пользователь получает больше степеней свободы, в которых можно заблудиться. Фиг. 50 описывает один из путей решения этой ситуации. Здесь, основанный на маяках модуль 422 направления определяет маяки (представленные как сплошные черные символы маяков), которые пользователь может встретить вдоль запланированного маршрута 5002, в более общем виде, например, также охватывая соседние маяки, которые находятся по обе стороны от наиболее оптимального маршрута 5002. Основанный на маяках модуль 422 направления может продолжить предоставлять руководство для пользователя, если он или она забредает в диапазон этих соседних маяков, в предположении, что пользователь все еще пытается придерживаться запланированного маршрута 5002, но лишь слегка отклонился от курса. Основанный на маяках модуль 422 направления может лишь генерировать состояние ошибки, когда пользователь забредает за границы, связанные с наиболее удаленными соседними маяками.

[00331] В другой реализации, основанный на маяках модуль 422 направления может формировать постулат относительно желаемого места назначения пользователя на основе маяков, которые пользователь уже встретил вдоль его или ее пути настоящего времени. Например, основанный на маяках модуль 422 направления может формировать траекторию на основе местоположений маяков, встретившихся до настоящего времени. Основанный на маяках модуль 422 направления может затем определить вероятное промежуточное или финальное место назначения, на которое указывает траектория, например, путем расширения траектории вдоль ее текущего направления. Основанный на маяках модуль 422 направления может затем спросить пользователя, желает ли он или она следовать пути по направлению к предполагаемому месту назначения. Если это так, основанный на маяках модуль 422 направления может после этого предоставить тот же тип навигационной помощи, что описан выше, чтобы помочь пользователю достичь идентифицированного места назначения.

[00332] В любом из случаев, описанных в материалах настоящей заявки, основанный на маяках модуль 422 направления может также принимать во внимание историческую информацию, касающуюся предыдущих привычек пользователя в путешествиях, и/или историческую информацию, касающуюся привычек в путешествиях других (по отношению к указанной окружающей среде). Эта информация, если таковая имеется, может предоставить дополнительные подтверждения намерения пользователя в достижении желаемого места назначения.

[00333] Фиг. 51 показывает процесс 5102, который описывает один из способов работы основанного на маяках модуля 422 направления, например, в контексте типов окружающих сред на Фиг. 47-50. В блоке 5104, основанный на маяках модуль 422 направления принимает сигнал конкретного маяка от датчика (или датчиков) вычислительного устройства, которое работает в текущем местоположении в окружающей среде. Вычислительное устройство может соответствовать пользовательскому устройству 106, или гарнитуре 108, и т. д. Как было описано выше, окружающая среда заполняется множеством маяков, имеющих, в одной из иллюстративных реализаций, соответствующие неперекрывающиеся диапазоны. Кроме того, в качестве предварительного шага, может быть так, что модуль планирования маршрута определил желаемый маршрут, который описан информацией о путешествии. Или желаемый маршрут может быть сгенерирован динамическом образом по мере того, как пользователь проходит через окружающую среду, на основе предположений, которые сделаны в отношении предполагаемого промежуточного или конечного места назначения пользователя. В любом случае, этот желаемый маршрут пересекает диапазоны, связанные с характерным для маршрута набором маяков, из общего набора маяков в окружающей среде.

[00334] В блоке 5106, основанный на маяках модуль 422 направления определяет, на основе сигнала конкретного маяка, находится ли пользователь в пределах диапазона одного из характерных для маршрута маяков; эта операция дает информацию о текущем местоположении, когда пользователь находится в пределах диапазона. В блоке 5108, основанный на маяках модуль 422 направления определяет следующую точку маршрута, которую, как ожидается, достигнет пользователь, на основе предопределенной информации о путешествии, чтобы предоставить информацию о следующей точке маршрута. В некоторых случаях, следующая точка маршрута может соответствовать следующему маяку вдоль предопределенного путешествия пользователя. В блоке 5110, основанный на маяках модуль 422 направления затем определяет информацию о направлении на основе информации о текущем местоположении и информации о следующей точке маршрута. Информация о направлении отражает направление, в котором пользователю рекомендуется путешествовать, чтобы достичь следующей точки маршрута. В блоке 5112, основанный на маяках модуль 422 направления генерирует аудиоинформацию (и/или другую направляющую информацию) на основе информации о направлении. В блоке 5114, основанный на маяках модуль 422 направления доставляет аудиоинформацию пользователю, например, трехмерный звук удара. Аудиоинформация помогает пользователю в достижении следующей точки маршрута. Основанный на маяках модуль 422 направления может выполнять приведенные выше функции с помощью модуля 420 направления по пути и модуля 414 генерирования звуков.

[00335] Фиг. 52 показывает процесс, который предоставляет дополнительные подробности относительно одного из способов, в котором основанный на маяках модуль 422 направления может определить текущее местоположение пользователя в окружающей среде. В блоке 5204, основанный на маяках модуль 422 направления идентифицирует конкретный код маяка, связанный с конкретным сигналом маяка, который был принят. В блоке 5206, основанный на маяках модуль 422 направления идентифицирует, на основе конкретного кода маяка, конкретный маяк, который связан с конкретным кодом маяка. В блоке 5208, основанный на маяках модуль 422 направления идентифицирует местоположение конкретного маяка на основе хранящейся информации (в хранилище 424 данных), которая идентифицирует коды маяков и соответствующие местоположения маяков в окружающей среде.

[00336] Таким образом, приведенные выше отличительные признаки способствуют вышеуказанной цели позволить пользователю безопасно и эффективно передвигаться через его или ее окружающую среду, особенно в тех ситуациях, в которых пользователь не может полагаться на другие режимы определения его или ее местоположения (например, на основе использования основанной на маяке навигационной системы). Кроме того, использование неперекрывающихся диапазонов маяков (в соответствии с одной из иллюстративных реализаций) предоставляет эффективный механизм для разрешения неоднозначности в местоположении пользователя, поскольку пользователь не может одновременно существовать в пределах диапазонов двух или более маяков одновременно.

[00337] В приведенном выше описании первой реализации, было сделано предположение о том, что пользовательское устройство 106 (и/или гарнитура 108) принимает, в любой момент времени, сигнал, переданный либо нулевым количеством маяков, либо единственным маяков, но не множеством маяков. В других реализациях, приведенные выше характеристики могут быть ослаблены различными способами.

[00338] Например, во второй реализации, основанный на маяках модуль 422 направления будет делать вывод о том, что пользовательское устройство 106 и/или гарнитура 108 находится в пределах диапазона конкретного маяка, если он принимает сигнал от этого маяка, имеющий уровень сигнала, который выше заданного порогового значения. Но в отличие от первой реализации, основанный на маяках модуль 422 направления может также может одновременно принимать более слабые сигналы от одного или более других маяков в окружающей среде, где уровень каждого из этих сигналов ниже заданного порогового значения. В этом сценарии, окружающая среда заполняется маяками, имеющими положения, такие, что в любой момент времени, основанный на маяках модуль 422 направления будет получать либо: (1) никакого сигнала, имеющего уровень, который выше порогового значения; или (2) только один сигнал, имеющий уровень сигнала, который превышает пороговое значение. На практике, вторая реализация функционирует таким же образом, как первая, и предлагает те же преимущества, например, путем предоставления двоичного механизма для разрешения неоднозначности в местоположении пользователя в любой момент времени, предполагая, что пользователь находится в пределах диапазона одного из маяков. Маяки во второй реализации могут, следовательно, рассматриваться как функционально или эффективно неперекрывающиеся в связи с приведенным выше поведением. И, соответственно, любая ссылка на «неперекрытие», как используется в материалах настоящей заявки, должна пониматься как охватывающая как случай, в котором маяки имеют диапазоны, которые в буквальном смысле не перекрываются, так и случай, в котором диапазоны могут рассматриваться как неперекрывающиеся, потому что пользовательское устройство 106 и/или гарнитура 108 могут самое большее принимать сигнал от одного маяка, имеющий уровень сигнала выше заданного порогового значения.

[00339] В третьей реализации, основанный на маяках модуль 422 направления может принимать, в любой момент времени, сигналы от любого количества маяков, имеющие любые произвольные уровни сигналов. Набор сигналов (и уровней) в конкретном местоположении, определяет информацию о профиле сигнала для этого местоположения. В ходе предварительной работы, основанный на маяках модуль 422 направления может сохранять информацию о профиле сигнала для каждого допускающего навигацию местоположения в окружающей среде, например, составляя информацию, касающуюся сигналов и их соответствующих уровней в этом местоположении. В совокупности, сохраненная информация составляет карту профилей окружающей среды. Во время навигации, основанный на маяках модуль 422 направления может определить сигналы, которые он принимает в данный момент времени в заданном местоположении, чтобы предоставить текущую информацию о профиле сигнала. Затем, основанный на маяках модуль 422 направления может использовать текущую информацию о профиле сигнала в качестве ключа для поиска местоположения, имеющего наиболее близкую соответствующую информацию о профиле сигнала. Местоположение определяет вероятное местоположение пользователя в данный момент времени. В некоторых окружающих средах, уровни сигналов, испущенных маяками, и/или способность обнаруживать эти сигналы могут изменяться с течением времени по различным характерным для окружающей среды причинам. Основанный на маяках модуль 422 направления может решать эту проблему путем сравнения нормализованных версий информации о профиле сигнала. Следует отметить, что положения маяков в третьей реализации не должны удовлетворять неперекрывающимся ограничениям, связанным с первой или второй описанными выше реализациями.

F. Характерная Вычислительная Функциональность

[00340] Фиг. 53 показывает вычислительную функциональность 5302, которая может быть использована для реализации любого аспекта системы 102, изложенного выше. Например, тип вычислительной функциональности 5302, показанный на Фиг. 53, может быть использован для реализации любого из пользовательского устройства 106, любого из удаленных обрабатывающих ресурсов 112, обрабатывающего оборудования, используемого гарнитурой 108, отдельного пользовательского вычислительного устройства 110, и так далее. Во всех случаях, вычислительная функциональность 5302 представляет один или более физических и материальных обрабатывающих механизмов.

[00341] Вычислительная функциональность 5302 может включать в себя одно или более устройств 5304 обработки, таких как один или более центральных процессоров (CPU), и/или один или более графических процессоров (GPU), и так далее.

[00342] Вычислительная функциональность 5302 также может включать в себя любые запоминающие ресурсы 5306 для хранения любого типа информации, такой как код, настройки, данные, и т. д. Без ограничений, например, запоминающие ресурсы 5306 могут включать в себя любое из ОЗУ любого типа(ов), ПЗУ любого типа(ов), флеш-устройств, жестких дисков, оптических дисков, и так далее. В более общем смысле, запоминающий ресурс может использовать любую технологию для хранения информации. Кроме того, любой запоминающий ресурс может предоставлять энергозависимое или энергонезависимое сохранение информации. Кроме того, любой запоминающий ресурс может представлять собой фиксированный или съемный компонент вычислительной функциональности 5302. Вычислительная функциональность 5302 может выполнять любую из функций, описанных выше, когда устройства 5304 обработки выполняют инструкции, хранящиеся в любом запоминающем ресурсе или комбинации запоминающих ресурсов.

[00343] Что касается терминологии, любой из запоминающих ресурсов 5306 или любая комбинация запоминающих ресурсов 5306 может рассматриваться как машинно-читаемый носитель. Во многих случаях, машинно-читаемый носитель представляет собой некоторую форму физической и материальной сущности. Термин машинно-читаемый носитель также охватывает распространяющиеся сигналы, например, переданные или принятые через физический канал и/или воздух или другую беспроводную среду, и т. д. Однако, конкретные термины «машинно-читаемый запоминающий носитель» и «машинно-читаемое устройство носителя» ясно исключают распространяющиеся сигналы как таковые, при этом включая в себя все другие формы машинно-читаемых носителей.

[00344] Вычислительная функциональность 5302 также включает в себя один или более приводных механизмов 5308 для взаимодействия с любым запоминающим ресурсом, например, приводной механизм жесткого диска, приводной механизм оптического диска, и так далее.

[00345] Вычислительная функциональность 5302 также включает в себя модуль 5310 ввода/вывода для получения различных входных данных (через устройства ввода 5312) и для предоставления различных выходных данных (через устройства 5314 вывода). Иллюстративные устройства ввода включают в себя устройство клавиатуры, устройство ввода мыши, сенсорное устройство ввода, устройство ввода графических данных, одну или более видеокамер, одну или более камер с восприятием глубины сцены, механизм распознавания жеста свободного пространства, один или более микрофонов, механизм распознавания голоса, любые механизмы обнаружения движения (например, акселерометры, гироскопы, и т. д.) и так далее. Один конкретный механизм вывода может включать в себя устройство 5316 презентации и связанный графический пользовательский интерфейс 5318 (GUI). Другие устройства вывода включают в себя принтер, механизм генерирования модели, тактильный механизм вывода, механизм архивирования (для хранения выходной информации), и так далее. Вычислительная функциональность 5302 может также включать в себя один или более сетевых интерфейсов 5320 для обмена данными с другими устройствами через один или более каналов 5322 связи. Одна или более коммуникационных шин 5324 могут соединять с возможностью связи приведенные выше компоненты вместе.

[00346] Канал(ы) связи 5322 могут быть реализованы любым способом, например, посредством локальной сети, глобальной сети (например, Интернет), соединений точка-точка, и т. д., или любой их комбинации. Канал(ы) связи 5322 могут включать в себя любую комбинацию проводных линий связи, беспроводных линий связи, маршрутизаторов, функциональных возможностей шлюза, серверов имен, и т. д., управляемую любым протоколом или комбинацией протоколов.

[00347] Альтернативно, или в качестве дополнения, любые из функций, описанных в предшествующих разделах, могут быть выполнены, по меньшей мере частично, одним или более аппаратными логическими компонентами. Например, без ограничения, вычислительная функциональность 5302 может быть реализована с использованием одного или более из: Программируемых Вентильных Матриц (FPGA), Специализированных Интегральных Схем (ASIC), Стандартных Интегральных Схем (ASSP), Систем-На-Микросхемах (SOC), Сложных Устройств с Программируемой Логикой (CPLD), и т. д.

[00348] В заключение, следующее перечисление суммирует соответствующие аспекты описанной выше системы 102.

[00349] В соответствии с первым аспектом, описана система для помощи пользователю во взаимодействии с пространством. Система включает в себя гарнитуру для представления аудиоинформации пользователю по мере того, как пользователь взаимодействует с пространством. Гарнитура, в свою очередь, имеет по меньшей мере набор механизмов ввода для приема команд от пользователя, при этом команда вызывает соответствующие относящиеся к взаимодействию с пространством функции, которые должны выполняться модулем взаимодействия с пространством.

[00350] В соответствии со вторым аспектом, гарнитура использует механизм костной проводимости для доставки аудиоинформации пользователю.

[00351] В соответствии с третьим аспектом, по меньшей мере одна команда дает указание модулю взаимодействия с пространством запустить режим прослушивания. В режиме прослушивания, модуль взаимодействия с пространством принимает инструкции, которые выражаются словами пользователем.

[00352] В соответствии с четвертым аспектом, по меньшей мере одна команда дает указание модулю взаимодействия с пространством прекратить доставку аудиоинформации.

[00353] В соответствии с пятым аспектом, по меньшей мере одна команда дает указание модулю взаимодействия с пространством повторить одно или более из ранее доставленных элементов аудиоинформации.

[00354] В соответствии с шестым аспектом, по меньшей мере одна команда дает указание модулю взаимодействия с пространством запустить режим исследования. В режиме исследования, модуль взаимодействия с пространством предоставляет информацию, касающуюся набора элементов интереса, которые связаны с подпространством, к которому направлено внимание пользователя в настоящее время.

[00355] В соответствии с седьмым аспектом, по меньшей мере одна команда дает указание модулю взаимодействия с пространством запустить режим ориентации. В режиме ориентации, модуль взаимодействия с пространством предоставляет информацию, касающуюся набора элементов интереса, которые связаны со всем пространством вокруг пользователя, в настоящее время.

[00356] В соответствии с восьмым аспектом, по меньшей мере одна команда дает указание модулю взаимодействия с пространством выполнить функцию больше-информации. Модуль взаимодействия с пространством выполняет функцию больше-информации путем предоставления дополнительной информации, касающейся темы, связанной с ранее доставленным элементом интереса.

[00357] В соответствии с девятым аспектом, по меньшей мере один механизм ввода может вызывать множество функций в зависимости от способа, которым пользователь взаимодействует с механизмом ввода.

[00358] В соответствии с десятым аспектом, модуль взаимодействия с пространством реализован посредством гарнитуры.

[00359] В соответствии с одиннадцатым аспектом, гарнитура дополнительно включает в себя одно ли боле из: механизма определения ориентации гарнитуры для определения ориентации гарнитуры, чтобы предоставить информацию об ориентации гарнитуры; механизма определения движения гарнитуры для определения движения гарнитуры, чтобы предоставить информацию о движении гарнитуры; и/или механизм определения положения гарнитуры для определения положения гарнитуры, чтобы предоставить информацию о положении гарнитуры.

[00360] В соответствии с двенадцатым аспектом, система дополнительно содержит по меньшей мере одно пользовательское вычислительное устройство. Пользовательское вычислительное устройство предоставляет механизм вывода изображения для отображения информации, относящейся к взаимодействию, посредством пользователя, с пространством. Пользовательское вычислительное устройство реализует по меньшей мере часть функциональности, связанной с модулем взаимодействия с пространством. Кроме того, гарнитура включает в себя первый механизм связи для обмена данными с пользовательским вычислительным устройством, и пользовательское вычислительное устройство включает в себя второй механизм связи для обмена данными с гарнитурой.

[00361] В соответствии с тринадцатым аспектом, пользовательское вычислительное устройство выполнено с возможностью выполнения обработки на основе информации об ориентации гарнитуры и/или информации о движении гарнитуры и/или информации о положении гарнитуры, чтобы генерировать результат, и чтобы пересылать результат в гарнитуру.

[00362] В соответствии с четырнадцатым аспектом, пользовательское вычислительное устройство дополнительно включает в себя: механизм определения ориентации устройства для определения ориентации пользовательского вычислительного устройства, чтобы предоставить информацию об ориентации устройства; механизм определения движения устройства для определения движения пользовательского вычислительного устройства, чтобы предоставить информацию о движении устройства; и/или механизм определения положения устройства для определения положения пользовательского вычислительного устройства, чтобы предоставить информацию о положении устройства.

[00363] В соответствии с пятнадцатым аспектом, гарнитура выполнена с возможностью выполнения функций на основе информации об ориентации устройства и/или информации о движении устройства и/или информации о положении устройства, которая передается пользовательским вычислительным устройством, когда аналогичная информация недоступна из гарнитуры.

[00364] В соответствии с шестнадцатым аспектом, по меньшей мере гарнитура и/или пользовательское вычислительное устройство выполнено с возможностью приема информации и/или использования функциональности, предоставленной внешним вычислительным устройством.

[00365] В соответствии с семнадцатым аспектом, описан способ, реализуемый системой, для помощи пользователю во взаимодействии с пространством. Способ состоит в том, что: принимают инструкцию на основе активации пользователем по меньшей мере одного механизма ввода, который соединен с гарнитурой; выполняют функцию на основе инструкции, чтобы предоставить выходной результат; и на основе выходного результата, доставляют аудиоинформацию, через гарнитуру, которая помогает пользователю во взаимодействии с пространством.

[00366] В соответствии с восемнадцатым аспектом, работа по выполнению функции влечет за собой выполнение функции, использующей модуль взаимодействия с пространством, который реализован, по меньшей мере частично, гарнитурой.

[00367] В соответствии с девятнадцатым аспектом, работа по выполнению функции влечет за собой выполнение функции, использующей модуль взаимодействия с пространством, который реализован, по меньшей мере частично, отдельным пользовательским вычислительным устройством, которое соединено с возможностью обмена данными с гарнитурой.

[00368] В соответствии с двадцатым аспектом, описана гарнитура, которая включает в себя: механизм вывода звука для представления аудиоинформации, которая помогает пользователю взаимодействовать с пространством; и набор механизмов ввода для приема команд от пользователя, при этом команды вызывают соответствующие относящиеся к взаимодействию с пространством функции, которые должны выполняться модулем взаимодействия с пространством. По меньшей мере одна команда дает указание модулю взаимодействия с пространством запустить режим исследования, и по меньшей мере одна команда дает указание модулю взаимодействия с пространством запустить режим ориентации. В режиме исследования, модуль взаимодействия с пространством предоставляет информацию, касающуюся набора элементов интереса, которые связаны с подпространством, к которому направлено внимание пользователя в настоящее время. В режиме ориентации, модуль взаимодействия с пространством предоставляет информацию, касающуюся набора элементов интереса, которые связаны со всем пространством вокруг пользователя, в настоящее время.

[00369] Двадцать первый аспект соответствует любой комбинации (например, любой перестановке или подмножеству) приведенных выше аспектов с первого по двадцатый.

[00370] В соответствии с двадцать вторым аспектом, одно или более вычислительных устройств (и/или одна или более гарнитур) предоставлены для реализации любого из аспектов с первого по двадцать первый.

[00371] В соответствии с двадцать третьим аспектом, предоставлена система для реализации любого из аспектов с первого по двадцать первый.

[00372] В соответствии с двадцать четвертым аспектом, один или более машинно-читаемых запоминающих носителей предоставлены для включения в себя логики, которая выполнена с возможностью реализации любого из аспектов с первого по двадцать первый.

[00373] В соответствии с двадцать пятым аспектом, предоставлено одно или более средств для реализации любого из аспектов с первого по двадцать первый.

[00374] Кроме того, в заключение, функциональность, описанная в материалах настоящей заявки, может использовать различные механизмы для обеспечения того, что любые пользовательские данные обрабатываются таким образом, что соответствует действующему законодательству, социальным нормам и ожиданиям и предпочтениям отдельных пользователей. Например, функциональность может позволять пользователю явно принимать участие (и затем явно отказываться) в предоставлении функциональности. Функциональность может также предоставлять подходящие механизмы безопасности для обеспечения конфиденциальности пользовательских данных (такие как механизмы очистки данных, механизмы шифрования, механизмы защиты паролем, и т. д.).

[00375] Кроме того, хотя предмет изобретения был описан на языке, характерном для структурных признаков и/или методологических действий, должно быть понятно, что предмет изобретения, определенный в прилагаемой формуле изобретения, не обязательно ограничен характерными признаками или действиями, описанными выше. Скорее, специфичные признаки и действия, описанные выше, раскрыты в качестве примерных форм реализации формулы изобретения.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении безопасности перемещения в пространстве. Система содержит гарнитуру, выполненную с возможностью представления аудиоинформации пользователю по мере того, как пользователь взаимодействует с пространством, причем гарнитура содержит набор механизмов ввода, выполненных с возможностью приема команд от пользователя, вызывающих выполнение модулем взаимодействия с пространством соответствующих относящихся к взаимодействию с пространством функций, причем гарнитура дополнительно содержит механизм определения ориентации гарнитуры для определения ориентации гарнитуры, чтобы предоставлять информацию об ориентации гарнитуры. Система дополнительно содержит модуль взаимодействия с пространством, выполненный с возможностью запускать режим исследования, находясь в режиме исследования определять направление внимания пользователя, идентифицировать набор представляющих интерес элементов, которые связаны с подпространством, имеющимся вблизи направления внимания пользователя, побуждать гарнитуру генерировать трехмерный звук для каждого представляющего интерес элемента. 2 н. и 12 з.п. ф-лы, 53 ил.

1. Система (102) для помощи пользователю во взаимодействии с физическим и/или виртуальным окружающим пространством, содержащая:

гарнитуру (108), выполненную с возможностью представления аудиоинформации пользователю по мере того, как пользователь взаимодействует с упомянутым пространством, причем гарнитура содержит набор механизмов (304) ввода, выполненных с возможностью приема команд от пользователя, вызывающих выполнение модулем взаимодействия с пространством соответствующих относящихся к взаимодействию с пространством функций, причем гарнитура дополнительно содержит механизм (308) определения ориентации гарнитуры для определения ориентации гарнитуры, чтобы предоставлять информацию об ориентации гарнитуры;

причем система дополнительно содержит модуль (302) взаимодействия с пространством, при этом модуль взаимодействия с пространством выполнен с возможностью:

когда инструктируется по меньшей мере одной упомянутой командой, принимаемой от пользователя:

запускать режим исследования,

находясь в режиме исследования:

определять направление внимания пользователя (4204) на основе механизма определения ориентации гарнитуры;

идентифицировать (4608) набор представляющих интерес элементов, которые связаны с подпространством (4206), имеющимся вблизи направления внимания пользователя;

побуждать гарнитуру генерировать (4606) трехмерный звук для каждого представляющего интерес элемента.

2. Система по п. 1,

в которой по меньшей мере одна команда инструктирует модуль (302) взаимодействия с пространством запустить режим прослушивания,

при этом в режиме прослушивания модуль взаимодействия с пространством принимает инструкции, которые пользователь выражает словами.

3. Система по п. 1, в которой по меньшей мере одна команда инструктирует модуль (302) взаимодействия с пространством прекратить доставку аудиоинформации.

4. Система по п. 1, в которой по меньшей мере одна команда инструктирует модуль (302) взаимодействия с пространством повторить один или более из ранее доставленных элементов аудиоинформации.

5. Система по п. 1,

в которой по меньшей мере одна команда инструктирует модуль (302) взаимодействия с пространством запустить режим ориентации,

при этом в режиме ориентации модуль взаимодействия с пространством предоставляет информацию, касающуюся набора представляющих интерес элементов, которые связаны со всем пространством вокруг пользователя, в настоящее время.

6. Система по п. 1,

в которой по меньшей мере одна команда инструктирует модуль (302) взаимодействия с пространством выполнить функцию больше-информации,

при этом модуль взаимодействия с пространством выполняет функцию больше-информации путем предоставления дополнительной информации, касающейся темы, связанной с ранее доставленными представляющими интерес элементами.

7. Система по п. 1, в которой модуль (302) взаимодействия с пространством реализован посредством гарнитуры (108).

8. Система по п. 1, в которой гарнитура дополнительно содержит механизм (316) вывода звука для представления аудиоинформации.

9. Система по п. 1, в которой гарнитура (108) дополнительно включает в себя одно или более из:

механизма (310) определения движения гарнитуры для определения движения гарнитуры, чтобы предоставить информацию о движении гарнитуры; и/или

механизма (312) определения положения гарнитуры для определения положения гарнитуры, чтобы предоставить информацию о положении гарнитуры.

10. Система по п. 9,

при этом система дополнительно содержит по меньшей мере одно пользовательское вычислительное устройство (106),

при этом пользовательское вычислительное устройство предоставляет механизм вывода изображения для отображения информации, относящейся к взаимодействию пользователя с пространством,

в которой пользовательское вычислительное устройство реализует по меньшей мере часть функциональности, связанной с модулем взаимодействия с пространством, и

в которой гарнитура (108) включает в себя первый механизм связи для обмена данными с пользовательским вычислительным устройством, а пользовательское вычислительное устройство включает в себя второй механизм связи для обмена данными с гарнитурой.

11. Система по п. 10, в которой пользовательское вычислительное устройство (106) выполнено с возможностью выполнения обработки на основе информации об ориентации гарнитуры и/или информации о движении гарнитуры и/или информации о положении гарнитуры, чтобы генерировать результат и чтобы пересылать результат в гарнитуру.

12. Система по п. 10, в которой пользовательское вычислительное устройство (106) дополнительно включает в себя:

механизм определения ориентации устройства для определения ориентации пользовательского вычислительного устройства, чтобы предоставить информацию об ориентации устройства;

механизм определения движения устройства для определения движения пользовательского вычислительного устройства, чтобы предоставить информацию о движении устройства; и/или

механизм определения положения устройства для определения положения пользовательского вычислительного устройства, чтобы предоставить информацию о положении устройства.

13. Система по п. 12, в которой гарнитура (108) выполнена с возможностью выполнения функций на основе информации об ориентации устройства и/или информации о движении устройства и/или информации о положении устройства, которая передается пользовательским вычислительным устройством (106), когда аналогичная информация недоступна из гарнитуры.

14. Способ, реализуемый системой (102) по любому из предшествующих пунктов, для помощи пользователю во взаимодействии с пространством, состоящий в том, что:

принимают посредством набора механизмов (304) ввода команды от пользователя, вызывающие выполнение модулем (302) взаимодействия с пространством соответствующих относящихся к взаимодействию с пространством функций; и

посредством модуля взаимодействия с пространством:

когда инструктируется по меньшей мере одной упомянутой командой, принимаемой от пользователя:

запускают режим исследования,

находясь в режиме исследования:

определяют направление внимания пользователя (4204) на основе механизма (308) определения ориентации гарнитуры;

идентифицируют (4608) набор представляющих интерес элементов, которые связаны с подпространством (4206), имеющимся вокруг направления внимания пользователя; и

побуждают гарнитуру генерировать (4606) трехмерный звук для каждого представляющего интерес элемента.