АДАПТИВНОЕ РАСПОЗНАВАНИЕ СОБЫТИЙ Российский патент 2019 года по МПК G06F3/01 

Предпосылки изобретения

[0001] В системах пользовательского интерфейса, минимизация задержки, ощущаемой пользователем, между пользовательским вводом и реакцией системы на ввод создает более естественные и приятные ощущения пользователя. Например, в системах дополненной реальности, уменьшение такой задержки обеспечивает более высокое качество и более реалистическое восприятие дополненной реальности. В некоторых системах дополненной реальности, один или более датчиков могут принимать пользовательский ввод, который инициирует реакцию системы. Для отслеживания такого пользовательского ввода система может периодически опрашивать датчики на предмет ввода. Задержка дискретизации, соответствующая частоте опроса, может быть значительным источником задержки, воспринимаемой пользователем.

[0002] Дополнительно и в отношении портативных и других устройств с автономным питанием, также можно рассматривать вопросы снижения энергопотребления и, соответственно, увеличение времени работы аккумулятора. Хотя постоянное использование высоких частот дискретизации датчика может снижать задержку дискретизации, это также приводит к нежелательному повышению энергопотребления и сокращению времени работы аккумулятора. С другой стороны, хотя использование низкие частоты дискретизации может снижать энергопотребление и увеличивать время работы аккумулятора, такие низкие частоты дискретизации также увеличивают задержку.

Сущность изобретения

[0003] Здесь раскрыты различные варианты осуществления, которые относятся к системам и способам для распознавания выбранного целевого события. Например, один раскрытый вариант осуществления предусматривает способ, который включает в себя, в устройстве отображения, содержащем множество датчиков, использование выбранного датчика на первой частоте опроса, соответствующей более высокой потенциальной задержке. Принимается начальная информация, связанная с пользователем, от выбранного датчика. Способ включает в себя определение, согласуется ли начальная информация, связанная с пользователем, с одним из множества предваряющих событий, причем каждое из предваряющих событий соответствует одному или более разным шаблонам предваряющих событий, и каждый из шаблонов приводит к отдельному возможному целевому событию.

[0004] Когда начальная информация, связанная с пользователем, согласуется с одним из множества предваряющих событий, способ включает в себя использование выбранного датчика на второй частоте опроса, которая выше первой частоты опроса, и которая соответствует более низкой потенциальной задержке, которая меньше, чем более высокая потенциальная задержка. Принимается последующая информация, связанная с пользователем, от выбранного датчика. Когда последующая информация, связанная с пользователем, согласуется с выбранным целевым событием из разных возможных целевых событий, сигнал обратной связи, связанный с выбранным целевым событием, обеспечивается пользователю посредством устройства отображения.

[0005] Это краткое изложение сущности изобретения призвано представлять в упрощенной форме основные принципы, которые дополнительно описаны в нижеследующем подробном описании. Это краткое изложение сущности изобретения не призвано идентифицировать ключевые признаки или существенные признаки заявленного изобретения, а также не подлежит использованию для ограничения объема заявленного изобретения. Кроме того, заявленное изобретение не ограничивается реализациями, позволяющими устранить некоторые или все недостатки, указанные в любой части этого изобретения.

Краткое описание чертежей

[0006] Фиг. 1 – схематический вид системы адаптивного распознавания событий согласно варианту осуществления настоящего изобретения.

[0007] Фиг. 2 демонстрирует пример наголовного устройства отображения согласно варианту осуществления настоящего изобретения.

[0008] Фиг. 3 – схематическая иллюстрация предваряющих событий в форме перемещений руки, приводящих к выбранному целевому событию.

[0009] Фиг. 4 – схематическая иллюстрация регистрируемых предваряющих событий, показанных на фиг. 3, и частоты опроса датчика, управляемой согласно варианту осуществления настоящего изобретения.

[0010] Фиг. 5 – схематическая иллюстрация множества шаблонов предваряющих событий, приводящих к разным возможным целевым событиям.

[0011] Фиг. 6A и 6B – блок-схема операций способа распознавания выбранного целевого события согласно варианту осуществления настоящего изобретения.

[0012] Фиг. 7 – упрощенная схематическая иллюстрация варианта осуществления вычислительного устройства.

Подробное описание

[0013] На фиг. 1 показан схематический вид одного варианта осуществления системы 10 адаптивного распознавания событий. Система 10 адаптивного распознавания событий включает в себя программу 14 адаптивного распознавания событий, которая может храниться в хранилище 18 данных большой емкости вычислительного устройства 22. Программа 14 адаптивного распознавания событий может загружаться в память 26 и выполняться процессором 30 вычислительного устройства 22 для осуществления одного или более способов и процессов более подробно описанных ниже. Вычислительное устройство 22 может дополнительно включать в себя источник 32 питания, например, батарея, для подачи питания на компоненты вычислительного устройства.

[0014] Система 10 адаптивного распознавания событий включает в себя программу 34 отображения смешанной реальности, которая может генерировать виртуальное окружение 38 для отображения посредством устройства отображения, например устройство 42 наголовного дисплея (HMD), для создания окружения 44 смешанной реальности. Окружение смешанной реальности включает в себя виртуальное окружение 38, отображаемое в физическом окружении 48. Как более подробно описано ниже, информация 52, связанная с пользователем, может приниматься от физического окружения 48 посредством устройства 42 HMD.

[0015] Вычислительное устройство 22 может принимать форму настольного вычислительного устройства, мобильного вычислительного устройства, например, смартфона, портативного компьютера, ноутбука или планшетного компьютера, сетевого компьютера, компьютера для домашнего развлечения, интерактивного телевизора, игровой системы или другого вычислительного устройства подходящего типа. Дополнительные детали, касающиеся компонентов и вычислительных аспектов вычислительного устройства 22, более подробно описаны ниже со ссылкой на фиг. 7.

[0016] Вычислительное устройство 22 может оперативно соединяться с устройством 42 HMD с использованием проводного соединения, или может использовать беспроводное соединение через WiFi, Bluetooth, или любой другой подходящий протокол беспроводной связи. Например, вычислительное устройство 22 может подключаться к сети 16 с возможностью передачи данных. Сеть 16 может принимать форму локальной сети (LAN), глобальной сети (WAN), проводной сети, беспроводной сети, персональной сети или их комбинации, и может включать в себя интернет.

[0017] Вычислительное устройство 22 также может осуществлять связь с одним или более других вычислительных устройств через сеть 16. Дополнительно, пример, представленный на фиг. 1 демонстрирует вычислительное устройство 22 как отдельный компонент устройства 42 HMD. Очевидно, что в других примерах вычислительное устройство 22 может быть встроено в устройство 42 HMD.

[0018] Теперь, со ссылкой также на фиг. 2, обеспечен один пример устройства HMD 200 в форме пары носимых очков с прозрачным дисплеем 54. Очевидно, что в других примерах, устройство HMD 200 может принимать другие подходящие формы, в которых прозрачный, полупрозрачный или непрозрачный дисплей поддерживается перед глазом или глазами наблюдателя. Также очевидно, что устройство 42 HMD, показанное на фиг. 1, может принимать форму устройства HMD 200, как более подробно описано ниже, или любого другого подходящего устройства HMD. Дополнительно, многие другие типы и конфигурации устройств отображения, имеющих различные формфакторы, также можно использовать в объеме настоящего изобретения. Такие устройства отображения могут включать в себя карманные смартфоны, планшетные компьютеры и другие подходящие устройства отображения.

[0019] Со ссылкой на фиг. 1 и 2, устройство 42 HMD включает в себя систему 56 отображения и прозрачный дисплей 54, который позволяет доставлять изображения, например, голографические объекты, в глаза 46 пользователя. Прозрачный дисплей 54 может быть выполнен с возможностью визуально дополнять внешний вид физического окружения 48 пользователю 46, наблюдающему физическое окружение через прозрачный дисплей. Например, внешний вид физического окружения 48 может дополняться графическим контентом (например, одним или более пикселями, каждый из которых имеет соответствующие цвет и яркость), который представляется через прозрачный дисплей 54 для создания окружения смешанной реальности.

[0020] Прозрачный дисплей 54 также может быть выполнен с возможностью позволять пользователю наблюдать физический объект реального мира в физическом окружении 48 через один или более частично прозрачных пикселей, которые отображают представление виртуального объекта. Как показано на фиг. 2, в одном примере прозрачный дисплей 54 может включать в себя элементы формирования изображения, находящиеся в линзах 204 (например, например, прозрачный дисплей на органических светодиодах (OLED)). В порядке другого примера, прозрачный дисплей 54 может включать в себя модулятор света на краю линз 204. В этом примере линзы 204 могут служить световодом для доставки света от модулятора света в глаза пользователя. Такой световод может предоставлять возможность пользователю воспринимать 3D голографическое изображение, находящееся в физическом окружении 48, наблюдаемом пользователем, также позволяя пользователю наблюдать физические объекты в физическом окружении, таким образом, создавая окружение 44 смешанной реальности.

[0021] Устройство 42 HMD также может включать в себя различные датчики и соответствующие системы. Например, устройство 42 HMD может включать в себя систему 60 отслеживания движения глаз, которая использует, по меньшей мере, один датчик 208, обращенный внутрь. Датчик 208, обращенный внутрь, может быть датчиком изображения, который выполнен с возможностью получения данных изображения в форме данных отслеживания движения глаз от глаз пользователя. Если пользователь согласился на получение и использование этой информации, система 60 отслеживания движения глаз может использовать эту информацию для отслеживания положения и/или перемещения глаз пользователя.

[0022] В одном примере, система 60 отслеживания движения глаз включает в себя подсистему обнаружения направления взгляда, выполненную с возможностью обнаружения направления взгляда каждого глаза пользователя. Подсистема обнаружения направления взгляда может быть выполнена с возможностью определять направления взгляда каждого из глаз пользователя любым подходящим образом. Например, подсистема обнаружения направления взгляда может содержать один или более источников света, например, инфракрасных источников света, выполненных с возможностью вызывать вспышку света для отражения от роговицы каждого глаза пользователя. Один или более датчиков изображения может быть выполнен с возможностью захвата изображения глаз пользователя. В некоторых примерах, систему 60 отслеживания движения глаз также можно применять как устройство пользовательского ввода для обеспечения информации 52, связанной с пользователем, что позволяет пользователю взаимодействовать с устройством 42 HMD через перемещения глаз пользователя.

[0023] Устройство 42 HMD также может включать в себя системы датчиков, которые принимают данные физического окружения, например информацию 52, связанную с пользователем, от физического окружения 48. Например, устройство 42 HMD может включать в себя систему 62 оптических датчиков, которая использует, по меньшей мере, один датчик 212, обращенный наружу, например, оптический датчик, для захвата данных изображения от физического окружения 48. Датчик 212, обращенный наружу, может обнаруживать перемещения в его поле зрения, например жестовые вводы или другие перемещения, осуществляемые пользователем 46 или человеком или физическим объектом в поле зрения. Датчик 212, обращенный наружу, также может захватывать информацию двухмерного изображения и информацию глубины от физического окружения 48 и физических объектов в окружении. Например, датчик 212, обращенный наружу, может включать в себя камеру с восприятием глубины сцены, камеру видимого света, камеру инфракрасного света и/или камеру отслеживание положения.

[0024] Устройство 42 HMD может включать в себя восприятие глубины через одну или более камер с восприятием глубины сцены. В одном примере, каждая камера с восприятием глубины сцены может включать в себя левую и правую камеры системы стереоскопического зрения. Разнесенные по времени изображения от одной или более из этих камер с восприятием глубины сцены могут совмещаться друг с другом и/или с изображениями от другого оптического датчика например, камеры видимого спектра, и могут объединяться для получения видео с разнесением по глубине.

[0025] В других примерах камера структурированного света с восприятием глубины сцены может быть выполнена с возможностью проецирования структурированного инфракрасного освещения и формирования изображения с помощью освещения, отраженного от сцены, на которую проецируется освещение. Карту глубин сцены можно построить на основании промежутков между соседними признаками в различных участках изображаемой сцены. В других примерах, камера с восприятием глубины сцены может принимать форму времяпролетной камеры с восприятием глубины сцены, выполненной с возможностью проецирования импульсного инфракрасного освещения на сцену и регистрации освещения, отраженного от сцены. Очевидно, что в объеме настоящего изобретения можно использовать любую другую подходящую камеру с восприятием глубины сцены.

[0026] Датчик 212, обращенный наружу, может захватывать изображения физического окружения 48, в котором располагается пользователь 46. В одном примере, программа 34 отображения смешанной реальности может включать в себя систему 3D моделирования, которая использует такой ввод для генерации виртуального окружения 38, которое моделирует физическое окружение 48, окружающее пользователя 46.

[0027] Устройство 42 HMD также может включать в себя систему 66 датчиков положения который использует один или более датчиков 220 движения для захвата данных положения, и, таким образом, обеспечивать обнаружение движения, отслеживание положения и/или обнаружение ориентации устройства HMD. Например, система 66 датчиков положения может использоваться для определения направления, скорости и/или ускорения головы пользователя. Система 66 датчиков положения также может использоваться для определения ориентации позы головы для головы пользователя. В одном примере, система 66 датчиков положения может содержать блок инерциальных измерений, сконфигурированный как система датчиков положения с шестью осями или шестью степенями свободы. В этом примере система датчиков положения может, например, включать в себя три акселерометра и три гироскопа для указания или измерения изменения местоположения устройства 42 HMD в трехмерном пространстве по трем ортогональным осям (например, x, y, z), и изменения ориентации устройства HMD относительно трех ортогональных осей (например, крена, тангажа, рыскания).

[0028] Система 66 датчиков положения также может поддерживать другие подходящие методы позиционирования, например, GPS или другие глобальные навигационные системы. Дополнительно, хотя были описаны конкретные примеры систем датчиков положения, очевидно, что можно использовать другие подходящие системы датчиков положения. В некоторых примерах, датчики 220 движения также можно применять как устройства пользовательского ввода для обеспечения информации 52, связанной с пользователем, что позволяет пользователю взаимодействовать с устройством 42 HMD посредством жестов шеи и головы, или даже тела.

[0029] Устройство 42 HMD также может включать в себя систему 70 биометрических датчиков, которая использует один или более биометрических датчиков 232 для захвата биометрических данных пользователя. Например, система 70 биометрических датчиков может использоваться для измерения или определения биометрических данных пользователя, включающих в себя, например, частоту сердечных сокращений, зрачковую реакцию, насыщенность гемоглобином, проводимость кожи, дыхание, потение и мозговую активность.

[0030] Устройство 42 HMD также может включать в себя микрофонную систему 72, которая включает в себя один или более микрофонов 224, которые захватывают аудиоданные. В других примерах, аудио может представляться пользователю через один или более громкоговорителей 228 на устройстве 42 HMD. Первое устройство 42 HMD также может включать в себя батарею 74 или другой подходящий портативный источник питания, который обеспечивает питание различных компонентов устройства HMD.

[0031] Устройство 42 HMD также может включать в себя процессор 236, имеющий логическую подсистему и подсистему хранения, как более подробно рассмотрено ниже в отношении фиг. 7, которые осуществляют связь с различными датчиками и системами устройства HMD. В одном примере, подсистема хранения может включать в себя инструкции, исполнимые логической подсистемой, для приема сигнальных вводов от датчиков и пересылки таких вводов на вычислительное устройство 22 (в необработанной или обработанной форме), и для представления изображений пользователю через прозрачный дисплей 54.

[0032] Очевидно, что устройство 42 HMD и соответствующие датчики и другие компоненты, описанные выше и представленные на фиг. 1 и 2, обеспечены в порядке примера. Эти примеры никоим образом не призваны служить ограничением, поскольку можно использовать любые другие подходящие датчики, компоненты и/или комбинацию датчиков и компонентов. Поэтому следует понимать, что устройство 42 HMD может включать в себя дополнительные и/или альтернативные датчики, камеры, микрофоны, устройства ввода, устройства вывода и т.д. без отклонения от объема этого изобретения. Дополнительно, физическая конфигурация устройства 42 HMD и его различные датчики и подкомпоненты могут принимать разнообразные формы без отклонения от объема этого изобретения.

[0033] Также, и как более подробно рассмотрено ниже, очевидно, что различные системы датчиков и соответствующие компоненты могут работать на различных темпах или частотах опроса для отслеживания информации 52, связанной с пользователем, предоставляемой пользователем 46. Как более подробно описано ниже, частоты опроса одного или более датчиков можно регулировать в ответ на определение, согласуется ли информация 52, связанная с пользователем, с предваряющим событием.

[0034] Теперь, со ссылкой на фиг. 3-5, обеспечим описания случаев использования и вариантов осуществления системы 10 адаптивного распознавания событий. В нижеследующих примерах, информация 52, связанная с пользователем, в форме перемещений руки и соответствующих жестов принимаются системой 62 оптических датчиков. Очевидно, что в других примерах многие другие формы информации 52, связанной с пользователем, могут приниматься и использоваться системой 10 адаптивного распознавания событий для управления работой датчиков, как более подробно описано ниже. Такие другие формы информации 52, связанной с пользователем, включают в себя, но без ограничения, другие данные перемещения пользователя, данные отслеживания движения глаз, данные положения, биометрические данные и аудиоданные.

[0035] Фиг. 3 схематически иллюстрирует предваряющего события в форме перемещений руки, приводящие к выбранному целевому событию, содержащему целевой жест. В примере, показанном на фиг. 3, один или более оптических датчиков в системе 62 оптических датчиков устройства 42 HMD может захватывать данные изображения руки 304 пользователя, выполняющей жест руки. В этом примере, указательный палец 308 и большой палец 312 совершают щипковый жест, в котором пользователь начинает с того, что палец и большой палец образуют открытую, в целом, U-образную позу 316. из этой позы 316 пользователь закрывает промежуток между указательным пальцем 308 и большим пальцем 312, пока палец и большой палец не сойдутся, образуя щипковую позу 330.

[0036] В одном примере, и как более подробно описано ниже, обнаружив, что пользователь завершил щипковый жест, сведя указательный палец 308 и большой палец 312 в щипковую позу 330, система 10 адаптивного распознавания событий может подавать сигнал 78 обратной связи пользователю 46 посредством устройства 42 HMD. Сигнал 78 обратной связи может содержать, например, выполнение команды в отношении программы, выполняющейся посредством устройства 42 HMD. Например, щипковый жест, представленный на фиг. 3, может использоваться фотографическим приложением для захвата фотографии физического окружения 48. В этом примере сигнал 78 обратной связи также может включать в себя указание пользователю, что фотография захвачена, например, путем обеспечения звука спуска затвора, мигающей пиктограммы и т.д., посредством устройства 42 HMD.

[0037] В других примерах сигнал 78 обратной связи может содержать любую другую команду, используемую в контексте пользовательского ввода, например, выбор, копирование или вставление элемента, отображаемого пользователю посредством устройства 42 HMD. В других примерах, команда может управлять операционным аспектом устройства 42 HMD или другого электронного устройства. Очевидно, что вышеприведенные примеры являются всего лишь иллюстративными, и что сигнал 78 обратной связи может содержать любую команду, действие, извещение или другое событие, которое связано с выбранным целевым событием, например, целевым жестом, и обеспечиваться пользователю.

[0038] Как упомянуто выше, для обеспечения реалистических и правдоподобных ощущений пользователя, желательно минимизировать любую задержку между пользовательским вводом, например, целевым жестом, и соответствующим сигналом обратной связи. Однако минимизация задержки может включать в себя непрерывное использование датчиков на высоких частотах опроса, что сопряжено с повышением энергопотребления, ростом вычислительной нагрузки и, соответственно, сокращением времени работы аккумулятора. Преимущественно, и как более подробно описано ниже, система 10 адаптивного распознавания событий может снижать задержку, при этом также минимизируя энергопотребление и вычислительную нагрузку, что позволяет продлить время работы аккумулятора.

[0039] Также со ссылкой на фиг. 4 и 5, в одном примере программа 14 адаптивного распознавания событий может быть выполнена с возможностью приема информации 52, связанной с пользователем, содержащей данные изображения, от системы 62 оптических датчиков, показывающей руку 304 пользователя в различных позах, включающих в себя позы, показанные на фиг. 3. Как показано на фиг. 3 и 4, из состояния Start 402, соответствующего моменту времени, программа 14 адаптивного распознавания событий может быть выполнена с возможностью использовать выбранный датчик из системы 62 оптических датчиков с принятой по умолчанию частотой опроса, которая соответствует наивысшей потенциальной задержке. Принятая по умолчанию частота опроса может быть равна, например, 0,5 Гц, 1,0 Гц, 5,0 Гц или любой другой подходящей частоте. Такая принятая по умолчанию частота опроса также может соответствовать состоянию самого низкого энергопотребления выбранного датчика.

[0040] Выбранный датчик, работающий на принятой по умолчанию частоте опроса, может принимать информацию 52, связанную с пользователем, например, данные изображения руки 304 пользователя, и передавать такую информацию программе 14 адаптивного распознавания событий. Затем программа 14 адаптивного распознавания событий может определять, согласуется ли такая информация с одним из множества предваряющих событий (PE). Теперь, со ссылкой на пример, показанный на фиг. 5, из состояния Start 402 программа 14 адаптивного распознавания событий может определять, согласуется ли информация 52, связанная с пользователем, с PE 506, PE 510, PE 514 или PE 518. Как показано на фиг. 5, каждое из предваряющих событий PE 506, PE 510, PE 514 и PE 518 соответствует одному или более разным шаблонам предваряющих событий, и каждый из шаблонов приводит к отдельному возможному целевому событию (TE). Например, PE 510 соответствует 3 разным шаблонам, указанным позициями 522, 526 и 530, которые приводят к 3 разным целевым событиям TE 534, TE 538 и TE 542, соответственно.

[0041] Очевидно, что для каждого последующего обнаруженного предваряющего события, количество возможных целевых событий уменьшается. Дополнительно, вероятность того, что пользователь находится в процессе выполнения конкретного возможного целевого события возрастает. Соответственно, и как более подробно описано ниже, когда каждое предваряющее событие обнаружено, и текущее положение в данном шаблоне приближается к целевому событию, частота опроса выбранного датчика может увеличиваться для снижения задержки. Дополнительно, пока не обнаружено последующее предваряющее событие, частота опроса выбранного датчика может оставаться на относительно более низкой частоте, чтобы, таким образом, экономить энергию и увеличивать время работы аккумулятора.

[0042] В одном примере и также со ссылкой на фиг. 3, программа 14 адаптивного распознавания событий может принимать данные изображения руки 304 пользователя, образующей, в целом, U-образную позу 316. Программа 14 адаптивного распознавания событий может определять, что, в целом, U-образная поза 316 согласуется с PE 510 на фиг. 5. PE 510 является элементом шаблонов 522, 526 и 530.

[0043] Соответственно, программа 14 адаптивного распознавания событий может переходить в состояние Detect1 406 в котором частота опроса выбранного датчика увеличивается для работы на частоте опроса Faster F1 которая выше принятой по умолчанию частоты опроса состояния Start 402. Например, когда принятая по умолчанию частота опроса равна 1,0 Гц, частота опроса Faster F1 может быть равна 10 Гц. Увеличенная частота опроса Faster F1 состояния Detect1 406 также соответствует увеличенному энергопотреблению выбранного датчика, указанному как Higher P1, по сравнению с энергопотреблением состояния Start 402. Частота опроса Faster F1 состояния Detect1 406 также соответствует сниженной потенциальной задержке, указанной как Reduced L1, которая меньше, чем наивысшая потенциальная задержка состояния Start 402.

[0044] В целях этого изобретения, потенциальная задержка датчика, работающего на данной частоте опроса, задается как максимальный потенциальный период времени между наступлением события, например, предваряющего события или целевого события, и обнаружением наступления события датчиком. Например, когда частота опроса датчика равна 1 Гц, потенциальная задержка, связанная с этой частотой опроса, может быть приблизительно равна 0.99 с. Другими словами, приблизительно 0.99 с будет максимальным потенциальным истекшим временем между наступлением события, например, предваряющего события или целевого события, и обнаружением наступления события датчиком. Соответственно, увеличение частоты опроса датчика, соответственно, уменьшает потенциальную задержку этого датчика. Также очевидно, что в некоторых примерах, фактическая задержка между наступлением события и обнаружением наступления события датчиком будет меньше, чем потенциальная задержка работы этого датчика.

[0045] Из состояния Detect1 406, программа 14 адаптивного распознавания событий может принимать данные изображения руки 304 пользователя, образующей измененную U-образную позу 320, в которой указательный палец 308 и большой палец 312 ближе друг к другу, чем в предыдущей позе 316. Программа 14 адаптивного распознавания событий может определять, что измененная U-образная поза 320 согласуется с PE 550 на фиг. 5. PE 550 является элементом шаблонов 522 и 526. Таким образом, возможные целевые события сокращены до TE 534 и TE 538.

[0046] Соответственно, программа 14 адаптивного распознавания событий может переходить в состояние Detect2 410 в котором частота опроса выбранного датчика увеличивается для работы на частоте опроса Faster F2, которая выше частоты опроса Faster F1 состояния Detect1 406. Например, когда частота опроса Faster F1 равна 10 Гц, частота опроса Faster F2 может быть равна 60 Гц. Увеличенная частота опроса Faster F2 состояния Detect2 410 также соответствует увеличенному энергопотреблению выбранного датчика, указанному как Higher P2, по сравнению с энергопотреблением Higher P1 состояния Detect1 406. Частота опроса Faster F2 состояния Detect2 410 также соответствует дополнительно сниженной потенциальной задержке, указанной как Reduced L2, которая меньше, чем потенциальная задержка Reduced L1 состояния Detect1 406.

[0047] Из состояния Detect2 410, программа 14 адаптивного распознавания событий может принимать данные изображения руки 304 пользователя, образующей позу 324, близкую к щипковой, в котором указательный палец 308 и большой палец 312 разделены меньшим расстоянием, например, приблизительно 2 мм, по сравнению с измененной U-образной позой 320. Программа 14 адаптивного распознавания событий может определять, что поза 324, близкая к щипковой, согласуется с PE 554 на фиг. 5. PE 554 является элементом шаблона 522. Таким образом, возможные целевые события сокращены до единичного целевого события, TE 534.

[0048] Соответственно, программа 14 адаптивного распознавания событий может переходить в состояние Detect3 414 в котором частота опроса выбранного датчика увеличивается для работы на частоте опроса Faster F3, которая выше частоты опроса Faster F2 состояния Detect2 410. Например, когда частота опроса Faster F2 равна 60 Гц, частота опроса Faster F3 может быть равна 120 Гц. Увеличенная частота опроса Faster F3 состояния Detect3 414 также соответствует увеличенному энергопотреблению выбранного датчика, указанному как Higher P3, по сравнению с энергопотреблением Higher P2 состояния Detect2 410. Частота опроса Faster F3 состояния Detect3 414 также соответствует дополнительно сниженной потенциальной задержке, указанной как Reduced L3, которая меньше, чем потенциальная задержка Reduced L2 состояния Detect2 410.

[0049] Из состояния Detect3 414, программа 14 адаптивного распознавания событий может принимать данные изображения руки 304 пользователя, образующей щипковую позу 330, в которой указательный палец 308 и большой палец 312 соприкасаются, как указано состоянием наступления 418 целевого события 534. Программа 14 адаптивного распознавания событий может определять, что щипковая поза 330 согласуется с выбранным целевым событием TE 534 на фиг. 5. Затем программа 14 адаптивного распознавания событий может обеспечивать сигнал обратной связи, связанный с выбранным целевым событием TE 534, пользователю посредством устройства 42 HMD.

[0050] Со ссылкой на фиг. 4 и 5, в некоторых примерах программа 14 адаптивного распознавания событий может быть выполнена с возможностью снижения частоты опроса выбранного датчика, когда информация 52, связанная с пользователем, соответствующая предваряющему событию, не принимается в течение заранее определенного временного кадра. Например, при инициировании состояния Detect1 программа 14 адаптивного распознавания событий может запускать таймер. Если информация 52, связанная с пользователем, соответствующая одному из следующих возможных предваряющего события PE 550 и PE 552, не принимается в течение заранее определенного временного кадра, то программа 14 адаптивного распознавания событий может обеспечить условие просрочки и возвратиться в состояние Start 402, соответствующее более низкой, принятой по умолчанию частоте опроса и самому низкому энергопотреблению.

[0051] Аналогичные условия просрочки могут использоваться для состояний Detect2 и/или Detect3. Преимущественно, таким образом, энергопотребление может снижаться, когда вероятность приема следующего возможного предваряющего события падает ниже заранее определенного порога, который соответствует заранее определенному временному кадру. В одном примере, заранее определенные временные кадры для условия просрочки могут составлять 3 с для состояния Detect1, 2 с для состояния Detect2, и 1.0 с для состояния Detect3. Очевидно, что можно использовать любые подходящие заранее определенные временные кадры и заранее определенные пороги вероятности.

[0052] Преимущественно, поддерживая частоты опроса датчика на более низких частотах до обнаружения предваряющего события, система 10 адаптивного распознавания событий минимизирует энергопотребление датчиком, а также потребление полосы сигналов датчика. Например, ожидая работы датчика с наивысшей частотой опроса Faster F3 до обнаружения PE 554, можно избегать состояния наивысшего Higher P3 энергопотребления, пока вероятность наступления выбранного целевого события не превысит заранее определенный порог.

[0053] Дополнительно, система 10 адаптивного распознавания событий последовательно увеличивает частоту опроса выбранного датчика по мере обнаружения дополнительных предваряющих событий. Таким образом, как представлено на фиг. 3, соответствующие потенциальные задержки между наступлением и обнаружением предваряющего события последовательно снижаются. Кроме того, используя датчик на наивысшей частоте опроса Faster F3 после обнаружения PE 554, система 10 адаптивного распознавания событий также минимизирует потенциальную задержку между наступлением выбранного целевого события TE 534 и обнаружением события.

[0054] В другом примере, до обнаружения выбранного целевого события 534, программа 14 адаптивного распознавания событий может предварительно выбирать, по меньшей мере, часть сигнала 78 обратной связи, связанного с одним или более целевыми событиями. Например, в состоянии Detect2 410, которое соответствует PE 550 на фиг. 5, остается два возможных шаблона 522 и 526 и два возможных целевых события TE 534 и TE 538, соответственно. В этом примере, в состоянии Detect2 410 программа 14 адаптивного распознавания событий может предварительно выбирать часть сигнала 78 обратной связи, связанного с обоими TE 534 и TE 538. В одном примере, можно предварительно выбирать 50% сигнала 78 обратной связи, связанного с обоими TE 534 и TE 538. Очевидно, что можно предварительно выбирать любую подходящую часть сигнала обратной связи. В некоторых примерах, можно предварительно выбирать 100% сигнала обратной связи.

[0055] Например, когда TE 534 соответствует команде спуска затвора для приложения камеры, программа 14 адаптивного распознавания событий может предварительно выбирать 50% данных, связанных с командой, и 50% данных изображения, которые будут предоставляться пользователю посредством устройства 42 HMD для указания, что изображение захвачено. Аналогично, когда TE 538 соответствует команде масштабирования для приложения камеры, программа 14 адаптивного распознавания событий может предварительно выбирать 50% данных, связанных с командой масштабирования, и 50% данных изображения, которые будут предоставляться пользователю посредством устройства 42 HMD для указания, что камера осуществляет трансфокацию.

[0056] В других примерах, программа 14 адаптивного распознавания событий может предварительно выбирать, по меньшей мере, часть сигнала 78 обратной связи, связанного с одним или более целевыми событиями в другие моменты времени, которые предшествуют во времени одному или более целевым событиям по временной оси 302. Например, программа 14 адаптивного распознавания событий может предварительно выбирать, по меньшей мере, часть сигнала обратной связи в состоянии Detect3 414, которое соответствует PE 554 на фиг. 5, или в состоянии Detect1 406, которое соответствует PE 510 на фиг. 5.

[0057] В другом примере, когда информация 52, связанная с пользователем, согласуется с прогностическим предваряющим событием, которое не является выбранным целевым событием, программа 14 адаптивного распознавания событий может быть выполнена с возможностью определения оценочное время выполнения, когда произойдет выбранное целевое событие. Например, из состояния Detect2 410 программа 14 адаптивного распознавания событий может принимать информацию 52, связанную с пользователем, которая согласуется с PE 554. PE 554 может быть прогностическим предваряющим событием, которое соответствует заранее определенной вероятности того, что целевое событие TE 534 впоследствии произойдет.

[0058] Со ссылкой на фиг. 3, после согласования информации 52, связанной с пользователем, с прогностическим предваряющим событием PE 554, программа 14 адаптивного распознавания событий может определять оценочное время выполнения целевого события 534, когда произойдет целевое событие 534. В одном примере, оценочное время выполнения целевого события 534 можно определять, обращаясь к заранее определенному оценочному временному интервалу, проиллюстрированному позицией 340 на фиг. 3, между обнаружением PE 554 и наступлением целевого события 534. Как показано на фиг. 3, путем суммирования оценочного временного интервала 340 с фактическим временем обнаружения предваряющего события 554, можно определять оценочное время выполнения целевого события 534.

[0059] Используя оценочное время выполнения целевого события 534, программа 14 адаптивного распознавания событий может обеспечивать сигнал 78 обратной связи, связанный с выбранным целевым событием, пользователю либо в оценочное время выполнения целевого события 534, либо до оценочного времени выполнения целевого события 534. В одном примере, сигнал 78 обратной связи может обеспечиваться в оценочное время выполнения целевого события 534, которое может более точно соответствовать фактическому времени наступления события TE 534. Преимущественно, таким образом, пользователь может испытывать воспринимаемую задержку, которая, по существу, равна нулю или, возможно, пренебрежимо мала.

[0060] В другом примере, сигнал 78 обратной связи может обеспечиваться до оценочного времени выполнения целевого события 534 в течение заранее определенного периода времени. Преимущественно, в этом примере пользователь может испытывать отрицательную воспринимаемую задержку, когда сигнал 78 обратной связи воспринимается пользователем до завершения целевого события TE 534. В некоторых примерах, это может обеспечивать пользователю улучшенное восприятие взаимодействие в реальном времени с устройством 42 HMD и системой 10 адаптивного распознавания событий. В некоторых примерах, обеспечение сигнала 78 обратной связи до оценочного времени выполнения целевого события 534 также может использоваться для смещения задержки обработки и/или других системных задержек и времен ожидания, которые могут быть связаны с обеспечением сигнала обратной связи пользователю посредством устройства 42 HMD. Таким образом, можно минимизировать задержку, связанную с сигналом 78 обратной связи, которая воспринимается пользователем.

[0061] В вышеописанных примерах, очевидно, что можно использовать любые подходящие частоты опроса датчика и временное развитие увеличенных частот опроса. Аналогично, любые подходящие позы, жесты или другие перемещения руки могут быть указаны как предваряющего события и целевые события.

[0062] Как упомянуто выше, также очевидно, что различные другие системы датчиков могут обнаруживать различные другие формы информации 52, связанной с пользователем, и устройство 42 HMD может передавать такую информацию программе 14 адаптивного распознавания событий. Такая информация могут коррелировать другие предваряющего события, шаблоны и соответствующие целевые события, которые относятся к информации.

[0063] Также очевидно, что предваряющего события и шаблоны фиг. 5 можно определять эмпирически посредством лабораторных исследований, пользовательских исследований или любых других подходящих способов. Оценочные временные интервалы между наступлением предваряющих событий и выполнением целевых событий можно аналогично определять посредством лабораторных исследований, пользовательских исследований или любых других подходящих способов. Когда прогнозируется выбранное целевое событие, пороговая вероятность наступления выбранного целевого события после предпоследнего предваряющего события может использоваться для уменьшения возникновения ошибок прогнозирования. В некоторых примерах, предваряющего события, целевые события, шаблоны и оценочные временные интервалы могут храниться в хранилище 18 данных большой емкости вычислительного устройства 22 или на удаленном источнике, доступном через сеть 16.

[0064] Фиг. 6A и 6B демонстрируют блок-схему операций способа 600 распознавания выбранного целевого события согласно варианту осуществления настоящего изобретения. Нижеследующее описание способа 600 обеспечивается со ссылкой на программные и аппаратные компоненты системы 10 адаптивного распознавания событий, описанные выше и показанные на фиг. 1 и 2. Очевидно, что способ 600 также может осуществляться в других контекстах с использованием других подходящих аппаратных и программных компонентов.

[0065] Со ссылкой на фиг. 6A, на этапе 604 способ 600 включает в себя, в устройстве отображения, содержащем множество датчиков, использование выбранного датчика из множества датчиков на первой частоте опроса, соответствующей более высокой потенциальной задержке. На этапе 608 множество датчиков ввода можно выбирать из датчиков изображения, датчиков положения, микрофонов, датчиков отслеживания движения глаз и биометрических датчиков. На этапе 612 устройство отображения является наголовным устройством отображения.

[0066] На этапе 616 способ 600 может включать в себя прием начальной информации, связанной с пользователем, от выбранного датчика. На этапе 620, когда начальная информация, связанная с пользователем, не принимается в течение заранее определенного временного кадра, способ 600 может включать в себя управление выбранным датчиком для работы на просроченной частоте опроса, которая ниже первой частоты опроса. На этапе 624 способ 600 может включать в себя определение, согласуется ли начальная информация, связанная с пользователем, с одним из множества предваряющих событий, причем каждое из предваряющих событий соответствует одному или более разным шаблонам предваряющих событий, и каждый из шаблонов приводит к отдельному возможному целевому событию. На этапе 628, каждый из шаблонов может содержать отдельную последовательность предваряющих событий.

[0067] На этапе 632, когда начальная информация, связанная с пользователем, согласуется с одним из множества предваряющих событий, способ 600 может включать в себя использование выбранного датчика на второй частоте опроса, которая выше первой частоты опроса, и которая соответствует более низкой потенциальной задержке, которая меньше, чем более высокая потенциальная задержка. На этапе 636, после приема начальной информации, связанной с пользователем, способ 600 может включать в себя предварительную выборку, по меньшей мере, части сигнала обратной связи, связанного с выбранным целевым событием.

[0068] Теперь, со ссылкой на фиг. 6B, после приема начальной информации, связанной с пользователем, и до приема последующей информации, связанной с пользователем, на этапе 640 способ 600 может включать в себя прием промежуточной информации, связанной с пользователем, от выбранного датчика. На этапе 644 способ 600 может включать в себя определение, согласуется ли промежуточная информация, связанная с пользователем, с предваряющим событием из поднабора из множества предваряющих событий. На этапе 648, когда промежуточная информация, связанная с пользователем, согласуется с предваряющим событием из поднабора из множества предваряющих событий, способ 600 может включать в себя использование выбранного датчика на третьей частоте опроса, которая выше первой частоты опроса и ниже второй частоты опроса.

[0069] На этапе 652 способ 600 может включать в себя прием последующей информации, связанной с пользователем, от выбранного датчика. На этапе 656, когда последующая информация, связанная с пользователем, согласуется с выбранным целевым событием из разных возможных целевых событий, способ 600 может включать в себя обеспечение сигнала обратной связи, связанного с выбранным целевым событием, пользователю посредством устройства отображения. На этапе 660 выбранное целевое событие может содержать жест руки. На этапе 664, когда последующая информация, связанная с пользователем, согласуется с прогностическим предваряющим событием, которое не является выбранным целевым событием, способ 600 может включать в себя определение оценочного времени выполнения, когда произойдет выбранное целевое событие. На этапе 668, способ может включать в себя обеспечение сигнала обратной связи, связанного с выбранным целевым событием, пользователю либо в оценочное время выполнения, либо до оценочного времени выполнения.

[0070] Очевидно, что способ 600 представлен в порядке примера и не в целях ограничения. Поэтому следует понимать, что способ 600 может включать в себя этапы, дополнительные и/или альтернативные представленным на фиг. 6A и 6B. Дополнительно, следует понимать, что способ 600 может осуществляться в любом пригодном порядке. Кроме того, следует понимать, что один или более этапов можно исключить из способа 600 без отклонения от объема этого изобретения.

[0071] Фиг. 7 схематически демонстрирует неограничительный вариант осуществления вычислительной системы 700, которая может осуществлять один или более из вышеописанных способов и процессов. Вычислительное устройство 22 может принимать форму вычислительной системы 700. Вычислительная система 700 показана в упрощенной форме. Следует понимать, что фактически любую компьютерную архитектуру можно использовать без отклонения от объема этого изобретения. В различных вариантах осуществления, вычислительная система 700 может принимать форму универсального компьютера, компьютера-сервера, настольного компьютера, портативного компьютера, планшетного компьютера, компьютера для домашнего развлечения, сетевого вычислительного устройства, мобильного вычислительного устройства, устройства мобильной связи, игрового устройства и т.д. Как упомянуто выше, в некоторых примерах вычислительная система 700 может быть встроена в устройство HMD.

[0072] Как показано на фиг. 7, вычислительная система 700 включает в себя логическую подсистему 704 и подсистему 708 хранения. Вычислительная система 700 может, в необязательном порядке, включать в себя подсистему 712 отображения, подсистему 716 связи, подсистему 720 датчиков, подсистему 722 ввода и/или другие подсистемы и компоненты, не показанные на фиг. 7. Вычислительная система 700 также может включать в себя компьютерно-считываемые среды, причем компьютерно-считываемые среды включают в себя компьютерно-считываемые среды хранения и компьютерно-считываемые среды связи. Вычислительная система 700 также может, в необязательном порядке, включать в себя, например, другие устройства пользовательского ввода, например, клавиатуры, мыши, игровые контроллеры и/или сенсорные экраны. Дополнительно, в некоторых вариантах осуществления описанные здесь способы и процессы можно реализовать в виде компьютерного приложения, компьютерной службы, компьютерного API, компьютерной библиотеки и/или другого компьютерного программного продукта в вычислительной системе, которая включает в себя один или более компьютеров.

[0073] Логическая подсистема 704 может включать в себя одно или более физических устройств, выполненных с возможностью выполнения одной или более инструкций. Например, логическая подсистема 704 может быть выполнена с возможностью выполнения одной или более инструкций, которые являются частью одного или более приложений, служб, программ, процедур, библиотек, объектов, компонентов, структур данных или других логических конструктов. Такие инструкции можно реализовать для выполнения задания, реализации типа данных, преобразования состояния одного или более устройств, или иного достижения желаемого результата.

[0074] Логическая подсистема 704 может включать в себя один или более процессоров, которые выполнены с возможностью выполнения программных инструкций. Дополнительно или альтернативно, логическая подсистема может включать в себя одну или более аппаратных или программно-аппаратных логических машин, выполненных с возможностью выполнения аппаратных или программно-аппаратных инструкций. Процессоры логической подсистемы могут быть одноядерными или многоядерными, и выполняющиеся на них программы могут быть сконфигурированы для параллельной или распределенной обработки. Логическая подсистема может, в необязательном порядке, включать в себя индивидуальные компоненты, распределенные по двум или более устройствам, которые могут располагаться дистанционно и/или быть сконфигурированы для скоординированной обработки. Один или более аспектов логической подсистемы могут виртуализироваться и выполняться дистанционно доступными сетевыми вычислительными устройствами, сконфигурированными в виде облачной вычислительной конфигурации.

[0075] Подсистема 708 хранения может включать в себя одно или более физических, постоянных устройств, выполненных с возможностью для хранения данных и/или инструкций, исполнимых логической подсистемой 704 для реализации описанных здесь способов и процессов. При реализации таких способов и процессов, состояние подсистемы 708 хранения может преобразовываться (например, для хранения разных данных).

[0076] Подсистема 708 хранения может включать в себя сменные носители и/или встроенные устройства. Подсистема 708 хранения может включать в себя, в том числе, оптические запоминающие устройства (например, CD, DVD, HD-DVD, диск Blu-ray и т.д.), полупроводниковые запоминающие устройства (например, RAM, EPROM, EEPROM и т.д.) и/или магнитные запоминающие устройства (например, жесткий диск, привод флоппи-диска, лентопротяжный механизм, MRAM и т.д.). Подсистема 708 хранения может включать в себя устройства с одной или более из следующих характеристик: энергозависимые, энергонезависимые, динамические, статические, с возможностью чтения/записи, только чтения, произвольного доступа, последовательного доступа, адресуемые по местоположению, адресуемые по файлу и адресуемые по контенту.

[0077] В некоторых вариантах осуществления, аспекты логической подсистемы 704 и подсистемы 708 хранения могут быть встроены в одно или более обычных устройств, через которые функционально описанные здесь могут быть установлены, по меньшей мере, частично. Такие аппаратно-логические компоненты могут включать в себя, например, вентильные матрицы, программируемые пользователем (FPGA), интегральные схемы для конкретных программ и приложений (PASIC/ASIC), стандартные продукты для конкретных программ и приложений (PSSP/ASSP), однокристальные системы (SOC) и сложные программируемые логические устройства (CPLDs).

[0078] На фиг. 7 также показан аспект подсистемы 708 хранения в форме сменных компьютерно-считываемых носителей 724 данных, которые можно использовать для хранения данных и/или инструкций, исполнимых для реализации описанных здесь способов и процессов. Сменные компьютерно-считываемые носители 724 данных могут принимать форму, в том числе, CD, DVD, HD-DVD, диски Blu-Ray, EEPROM, и/или флоппи-диски.

[0079] Очевидно, что подсистема 708 хранения включает в себя одно или более физических, постоянных устройств. Напротив, в некоторых вариантах осуществления аспекты описанных здесь инструкций могут распространяться транзиторным образом посредством чистого сигнала (например, электромагнитного сигнала, оптического сигнала и т.д.), который не хранится физическим устройством в течение, по меньшей мере, конечного промежутка времени. Кроме того, данные и/или другие формы информации, относящейся к настоящему изобретению, могут распространяться посредством чистого сигнала через компьютерно-считываемые среды связи.

[0080] Будучи включенной, подсистема 712 отображения может использоваться для обеспечения визуального представления данных, хранимых подсистемой 708 хранения. Поскольку вышеописанные способы и процессы изменяют данные, хранимые подсистемой 708 хранения, и, таким образом преобразуют состояния подсистемы хранения, состояние подсистемы 712 отображения аналогично могут преобразовываться для визуального представления изменений данных, лежащих в основе. Подсистема 712 отображения может включать в себя одно или более устройств отображения, использующих технологию фактически любого типа. Такие устройства отображения могут объединяться с логической подсистемой 704 и/или подсистемой 708 хранения в общем корпусе, или такие устройства отображения могут быть периферийными устройствами отображения. Подсистема 712 отображения может включать в себя, например, систему 56 отображения и прозрачный дисплей 54 устройства 42 HMD.

[0081] Будучи включенной, подсистема 716 связи может быть выполнена с возможностью соединять с возможностью передачи данных вычислительную систему 700 с одной или более сетями и/или одним или более других вычислительных устройств. Подсистема 716 связи может включать в себя устройства проводной и/или беспроводной связи, совместимые с один или более разные протоколы связи. В порядке неограничительных примеров, подсистема 716 связи может быть сконфигурирована для осуществления связи через беспроводную телефонную сеть, беспроводную локальную сеть, проводную локальную сеть, беспроводную глобальную сеть, проводную глобальную сеть и т.д. В некоторых вариантах осуществления, подсистема связи может позволять вычислительной системе 700 отправлять и/или принимать сообщения на и/или от других устройств через сеть, например, интернет.

[0082] Подсистема 720 датчиков может включать в себя один или более датчиков, выполненных с возможностью регистрации того или иного физического явления (например, видимого света, инфракрасного света, звука, ускорения, ориентации, положения и т.д.) и/или физиологических процессов, функций, измерений и/или состояний, как описано выше. Например, подсистема 720 датчиков может содержать один или более датчиков отслеживания движения глаз, датчиков изображения, микрофонов, датчиков движения, например, акселерометров, компасов, сенсорных панелей, сенсорных экранов, мониторов частоты сердечных сокращений, пульсоксиметров, датчиков кожно-электрической реакции, электроэнцефалографических (EEG) мониторов и/или любых других подходящих датчиков.

[0083] В некоторых вариантах осуществления подсистема 720 датчиков может включать в себя камеру с восприятием глубины сцены. Камера с восприятием глубины сцены может включать в себя, например, левую и правую камеры системы стереоскопического зрения. Разнесенные по времени изображения от обеих камер могут совмещаться друг с другом и объединяться для получения видео с разнесением по глубине. В других вариантах осуществления камера с восприятием глубины сцены может быть камерой структурированного света с восприятием глубины сцены или времяпролетной камерой, как описано выше. В некоторых вариантах осуществления, подсистема 720 датчиков может включать в себя камеру видимого света, например, цифровую камеру. Фактически цифровую камеру, выполненную по технологии любого типа, можно использовать без отклонения от объема этого изобретения. В порядке неограничительного примера, камера видимого света может включать в себя датчик изображения на устройствах с зарядовой связью.

[0084] Подсистема 720 датчиков может быть выполнена с возможностью обеспечения данных датчика, например, логической подсистеме 704. Как описано выше, такие данные могут включать в себя информацию отслеживания движения глаз, информацию изображения, аудиоинформацию, информацию внешнего освещения, информацию глубины, информацию положения, информацию движения, информацию местоположения пользователя, информацию биометрических параметров и/или любые другие подходящие данные датчика, которые можно использовать для осуществления вышеописанных способов и процессов.

[0085] Будучи включенной, подсистема 722 ввода может содержать или сопрягаться с одним или более датчиков или устройств пользовательского ввода, например, игровым контроллером, устройством обнаружения жестового ввода, блоком распознавания голоса, блоком инерциальных измерений, клавиатурой, мышью или сенсорным экраном. В некоторых вариантах осуществления, подсистема 722 ввода может содержать или сопрягаться с выбранными компонентами естественного пользовательского ввода (NUI). Такие компоненты могут быть встроенными или периферийными, и преобразование и/или обработка действий ввода может осуществляться внутренне или внешне. Примеры компонентов NUI могут включать в себя микрофон для распознавания речи и/или голоса; инфракрасную, цветную, стереоскопическую камеру и/или камеру с восприятием глубины сцены для машинного зрения и/или распознавания жестов; блок отслеживания положения головы, блок отслеживания глаз, акселерометр и/или гироскоп для обнаружения движения и/или распознавания намерений; а также компоненты регистрации электрического поля для оценивания мозговой активности.

[0086] Термин “программа” можно использовать для описания аспекта системы 10 адаптивного распознавания событий, реализованной для осуществления одной или более конкретных функций. В ряде случаев, такая программа может быть реализована посредством логической подсистемы 704, выполняющей инструкции, хранимые подсистемой 708 хранения. Следует понимать, что разные программы могут быть реализованы из одного и того же приложения, службы, блока кода, объекта, библиотеки, процедуры, API, функции и т.д. Аналогично, одна и та же программа может быть реализована разными приложениями, службы, блоками кода, объектами, процедурами, API, функциями и т.д. Термин “программа” призван охватывать индивидуальные или группы исполнимых файлов, файлы данных, библиотеки, драйверы, скрипты, записи базы данных и т.д.

[0087] Следует понимать, что описанные здесь конфигурации и/или подходы являются по природе своей иллюстративными, и что эти конкретные варианты осуществления или примеры не следует рассматривать в ограничительном смысле, поскольку возможны многочисленные вариации. Описанные здесь конкретные процедуры или способы могут представлять одну или более из любого количества стратегий обработки. Таким образом, различные проиллюстрированные действия могут осуществляться в проиллюстрированной последовательности, в других последовательностях, параллельно, или в ряде случаев могут быть опущены. Аналогично, порядок вышеописанных процессов может изменяться.

[0088] Объем настоящего изобретения включает в себя все новые и неочевидные комбинации и подкомбинации различных процессов, систем и конфигураций, и другие раскрытые здесь признаки, функции, действия и/или свойства, а также некоторые или все их эквиваленты.

Изобретение относится к области обработки данных. Технический результат заключается в уменьшении задержки обработки ввода жеста. Система и способ адаптивного распознавания событий, в которых выбранный датчик наголовного устройства отображения используется на первой частоте опроса, соответствующей более высокой потенциальной задержке. Принимается начальная информация, связанная с пользователем. Когда начальная информация согласуется с предваряющим событием, выбранный датчик используется на второй частоте опроса, превышающей первую частоту опроса и соответствующей более низкой потенциальной задержке. Принимается последующая информация, связанная с пользователем. Когда последующая информация согласуется с выбранным целевым событием, определяется оценочное время выполнения, когда произойдет выбранное целевое событие, и выдается сигнал обратной связи пользователю, связанный с выбранным целевым событием, через наголовное устройство отображения. 3 н. и 7 з.п. ф-лы, 8 ил.

1. Система адаптивного распознавания событий, содержащая:

вычислительное устройство, содержащее процессор и одно или более запоминающих устройств; и

устройство отображения, функционально подключенное к вычислительному устройству, причем устройство отображения включает в себя систему отображения и множество датчиков ввода,

при этом в одном или более запоминающих устройствах вычислительного устройства содержится программа адаптивного распознавания событий, которая при ее исполнении процессором вычислительного устройства предписывает вычислительному устройству:

эксплуатировать выбранный датчик из множества датчиков ввода на первой частоте опроса, соответствующей более высокой потенциальной задержке;

принимать начальную информацию, связанную с пользователем, от выбранного датчика;

определять, согласуется ли начальная информация, связанная с пользователем, с одним из множества предваряющих событий, причем каждое из предваряющих событий соответствует одному или более разным шаблонам предваряющих событий и каждый из шаблонов приводит к отличающемуся от других возможному целевому событию, при этом начальная информация, связанная с пользователем, соответствует выполняемым пользователем перемещениям руки, приводящим к тому, что выбранное целевое событие содержит целевой жест руки;

когда начальная информация, связанная с пользователем, согласуется с одним из множества предваряющих событий, эксплуатировать выбранный датчик на второй частоте опроса, которая выше первой частоты опроса и которая соответствует более низкой потенциальной задержке, которая меньше, чем упомянутая более высокая потенциальная задержка;

принимать последующую информацию, связанную с пользователем, от выбранного датчика, каковая последующая информация, связанная с пользователем, соответствует последующим перемещениям руки, выполняемым пользователем; и

когда последующая информация, связанная с пользователем, согласуется с прогностическим предваряющим событием, которое соответствует заранее определенной вероятности того, что впоследствии произойдет выбранное целевое событие из упомянутых разных возможных целевых событий:

определять оценочное время выполнения, когда произойдет выбранное целевое событие, которое соответствует завершению целевого жеста руки, выполняемого пользователем, и

выдавать пользователю сигнал обратной связи, связанный с выбранным целевым событием, до оценочного времени выполнения.

2. Система адаптивного распознавания событий по п. 1, при этом оценочное время выполнения используется для смещения по меньшей мере одной из задержки обработки и системной задержки, связанной с выдачей сигнала обратной связи пользователю.

3. Система адаптивного распознавания событий по п. 1, в которой программа адаптивного распознавания событий при ее исполнении процессором вычислительного устройства дополнительно предписывает вычислительному устройству, после приема начальной информации, связанной с пользователем, предварительно выбирать, по меньшей мере, часть сигнала обратной связи, связанного с выбранным целевым событием.

4. Система адаптивного распознавания событий по п. 1, в которой устройство отображения является наголовным устройством отображения.

5. Способ распознавания выбранного целевого события, содержащий этапы, на которых:

в устройстве отображения, содержащем множество датчиков ввода, используют выбранный датчик из множества датчиков ввода на первой частоте опроса, соответствующей более высокой потенциальной задержке;

принимают начальную информацию, связанную с пользователем, от выбранного датчика;

определяют, согласуется ли начальная информация, связанная с пользователем, с одним из множества предваряющих событий, причем каждое из предваряющих событий соответствует одному или более разным шаблонам предваряющих событий и каждый из шаблонов приводит к отличающемуся от других возможному целевому событию, при этом начальная информация, связанная с пользователем, соответствует выполняемым пользователем перемещениям руки, приводящим к тому, что выбранное целевое событие содержит целевой жест руки;

когда начальная информация, связанная с пользователем, согласуется с одним из множества предваряющих событий, используют выбранный датчик на второй частоте опроса, которая выше первой частоты опроса и которая соответствует более низкой потенциальной задержке, которая меньше, чем упомянутая более высокая потенциальная задержка;

принимают последующую информацию, связанную с пользователем, от выбранного датчика, каковая последующая информация, связанная с пользователем, соответствует последующим перемещениям руки, выполняемым пользователем; и

когда последующая информация, связанная с пользователем, согласуется с прогностическим предваряющим событием, которое соответствует заранее определенной вероятности того, что впоследствии произойдет выбранное целевое событие из упомянутых разных возможных целевых событий, способ дополнительно содержит этапы, на которых:

определяют оценочное время выполнения, когда произойдет выбранное целевое событие, которое соответствует завершению целевого жеста руки, выполняемого пользователем, и

выдают пользователю сигнал обратной связи, связанный с выбранным целевым событием, до оценочного времени выполнения.

6. Способ по п. 5, дополнительно содержащий этапы, на которых:

после приема начальной информации, связанной с пользователем, и до приема последующей информации, связанной с пользователем, принимают промежуточную информацию, связанную с пользователем, от выбранного датчика;

определяют, согласуется ли промежуточная информация, связанная с пользователем, с предваряющим событием из поднабора из множества предваряющих событий;

когда промежуточная информация, связанная с пользователем, согласуется с предваряющим событием из поднабора из множества предваряющих событий, используют выбранный датчик на третьей частоте опроса, которая выше первой частоты опроса и ниже второй частоты опроса.

7. Способ по п. 5, дополнительно содержащий этапы, на которых, когда начальная информация, связанная с пользователем, не принимается в течение заранее определенного временного кадра, управляют выбранным датчиком для работы на просроченной частоте опроса, которая ниже первой частоты опроса.

8. Способ по п. 5, в котором каждый из упомянутых шаблонов содержит отличающуюся от других последовательность предваряющих событий.

9. Способ по п. 5, в котором множество датчиков ввода выбираются из группы, состоящей из датчиков изображения, датчиков положения, микрофонов, датчиков отслеживания движения глаз и биометрических датчиков.

10. Машиночитаемый носитель информации, на котором сохранены инструкции, которые при их исполнении процессором предписывают процессору выполнять способ по любому из пп. 5-9.