СИСТЕМА ОТОБРАЖЕНИЯ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ Российский патент 2018 года по МПК G06F19/00 G06T13/00 G09G5/00 

Область техники

Настоящее изобретение относится в основном к отображенной информации и, в частности, к информации, отображаемой на устройстве отображения. Еще более конкретно, настоящее изобретение относится к способу и устройству отображения информации из виртуальной реальности.

Уровень техники

Виртуальная реальность - это моделируемая компьютером реальность. В частности, виртуальная реальность обеспечивает виртуальную реальность для пользователя. Другими словами, в виртуальной реальности может быть выполнено моделирование физического присутствия мест в реальном мире, а также воображаемых миров. Виртуальная реальность может быть отображена с помощью устройства отображения, такого как экран просмотра или шлем виртуальной реальности. На экране просмотра виртуальная реальность может быть отображена в трех измерениях с использованием стереоочков. Со шлемом виртуальной реальности виртуальная реальность может быть отображена в трех измерениях с использованием дисплеев со стереоскопическим изображением. Кроме того, для виртуальной реальности также может быть создана другая сенсорная информация, такая как звук и тактильная обратная связь.

Создание изображений для виртуальной реальности - это представление реальности некоторым образом, который является ненатуральным и дезориентирует пользователя, наблюдающего виртуальную реальность. В частности, изображения представляют собой двухмерные изображения, созданные с использованием одиночной точки наблюдения для передачи и отображения изображений для пользователя. Например, во многих используемых в настоящее время системах виртуальной реальности используется одиночная точка наблюдения для камеры, создающей изображения.

В настоящее время может быть использовано определение положения камеры по положению головы оператора для снижения ощущения, что оператору показано двухмерное изображение. Использование определения положения камеры по положению головы оператора позволяет более точно представлять вид пользователя внутри виртуальной реальности. Некоторые системы виртуальной реальности позволяют обеспечить стереографические изображения при попытке представить трехмерный вид виртуальной реальности.

Даже при определении положения камеры по положению головы оператора и стереографических изображениях устройства отображения, используемые в имеющихся в настоящее время системах виртуальной реальности, все-таки могут давать нежелательные эффекты. Эти нежелательные эффекты могут включать по меньшей мере одно из дезориентации, размытости изображений, усталости, напряжения зрения, головных болей или другие нежелательные эффекты. Кроме того, при длительных периодах просмотра виртуальной реальности эти нежелательные эффекты могут возрастать.

Например, многие системы виртуальной реальности создают двухмерные изображении из трехмерной реальности способом, который может вызывать усталость глаз. Современные системы могут заставлять глаза фокусироваться неестественным образом, как при косоглазии.

При попытке уменьшить нежелательные эффекты были опробованы различные типы механизмов. Например, в некоторых трехмерных системах отображения используются поляризующие линзы. В других системах могут использоваться очки с затвором, которые блокируют один глаз, когда одно изображение показано для другого глаза.

Эти типы систем также могут привести к нежелательным эффектам. Поэтому предпочтительно обладать способом и устройством, в которых учитываются по меньшей мере некоторые из описанных выше проблем, а также другие возможные проблемы.

Сущность изобретения

В одном иллюстративном примере устройство содержит процессор (216) изображений. Процессор (216) изображений предназначен для приема информации (226) о положении первого глаза (234) на голове пользователя и информации о положении второго глаза на голове пользователя. Процессор (216) изображений, кроме того, предназначен для создания первого изображения виртуальной реальности для первого глаза (234) на основе информации (226) о положении первого глаза (234). Процессор (216) изображений также предназначен для создания второго изображения виртуальной реальности для второго глаза на основе информации о положении второго глаза. Процессор (216) изображений также предназначен для передачи первого изображения и второго изображения для отображения этому пользователю.

В другом иллюстративном примере предлагается способ отображения виртуальной реальности. Принимается информация о положении первого глаза для первого глаза на голове пользователя и информация о положении второго глаза для второго глаза на голове пользователя. Первое изображение виртуальной реальности для первого глаза создается на основе информации о положении для первого глаза для первого глаза. Второе изображение виртуальной реальности для второго глаза создается на основе информации о положении второго глаза для второго глаза. Первое изображение и второе изображение для отображения передаются пользователю.

Признаки и функции могут быть достигнуты независимо в различных вариантах осуществления настоящего изобретения или могут быть скомбинированы в других вариантах осуществления, в которых можно видеть дополнительные детали со ссылкой на следующее описание и чертежи.

Краткое описание чертежей

Новые признаки, предполагаемые характерными для иллюстративных вариантов осуществления, изложены в заявленной формуле изобретения. Однако иллюстративные варианты осуществления, а также предпочтительный режим использования, его дополнительные цели и признаки, будут понятны в наибольшей степени со ссылкой на следующее подробное описание иллюстративного варианта осуществления настоящего изобретения при прочтении в сочетании с сопроводительными чертежами, на которых:

на фиг. 1 показана система виртуальной реальности по одному иллюстративному варианту осуществления;

на фиг. 2 показана блок-схема системы виртуальной реальности по одному иллюстративному варианту осуществления;

на фиг. 3 показана блок-схема вариантов осуществления устройства отображения по одному иллюстративному варианту осуществления;

на фиг. 4 показана блок-схема типов сенсоров, которые могут быть использованы в системе датчиков сенсорной системы в системе виртуальной реальности по одному иллюстративному варианту осуществления;

на фиг. 5 показана схема системы виртуальной реальности по одному иллюстративному варианту осуществления;

на фиг. 6 показана блок-схема способа отображения виртуальной реальности по одному иллюстративному варианту осуществления;

на фиг. 7А и 7В показана блок-схема способа просмотра виртуальной реальности по одному иллюстративному варианту осуществления; и

на фиг. 8 показана блок-схема системы обработки данных по одному иллюстративному варианту осуществления.

Подробное описание

В иллюстративных вариантах осуществления учитываются и приняты во внимание одно или более различных соображений. Например, в иллюстративных вариантах осуществления учитывается и принимается во внимание, что наличие двух точек наблюдения для создания изображений может обеспечить более естественное восприятие просмотра для пользователя. В иллюстративных вариантах осуществления учитывается и принимается во внимание, что имеющиеся в настоящее время системы виртуальной реальности не учитывают отдельные различия между разными людьми, которые могут просматривать виртуальную реальность. Вместо этого в данных системах используются заранее выбранные системы показателей или значения для создания точек наблюдения.

Однако в иллюстративных вариантах осуществления учитывается и принимается во внимание, что точки наблюдения, используемые в имеющихся в настоящее время системах виртуальной реальности, могут не снижать нежелательные эффекты в той степени, в которой это необходимо, без учета различия глаз у разных людей. Например, разные люди могут обладать разным расстоянием между глазами, и глаза могут обладать разной высотой. В результате точки наблюдения для глаза одного пользователя относительно другого пользователя могут сильно отличаться.

В иллюстративных вариантах осуществления учитывается и принимается во внимание, что без правильных точек наблюдения результирующие изображения, видимые глазом, не кажутся естественными пользователю, обрабатывающему изображения. В результате пользователь, фокусирующийся на разных участках изображений, созданных для виртуальной реальности, может также замечать несоответствия в виртуальной реальности, в том, как выглядит виртуальная реальность, и как виртуальная реальность фактически представлена, если точки наблюдения для пользователя отличаются от используемых для создания изображений. Точка наблюдения для пользователя может быть идентифицирована на основе ориентации обоих глаз этого пользователя. Луч может продолжаться от одного глаза на основе ориентации. Точка пересечения этих лучей может быть использована в качестве точки наблюдения.

В сущности, пользователь обрабатывает изображения, ожидая, что два мало отличающихся вида будут захвачены каждым глазом. Представив изображение из точки наблюдения каждого глаза, пользователь может иметь возможность реконструировать виртуальную реальность посредством обычной обработки.

Виртуальная реальность может быть использована для различных целей. Например, виртуальная реальность чаще всего используется при моделировании игр. Однако виртуальная реальность может быть использована по-другому. Например, виртуальная реальность может быть использована для выполнения задач по инженерному обеспечению, задач техобслуживания, моделирования, анализа и других соответствующих задач.

Таким образом, в иллюстративных вариантах осуществления предлагается способ и устройство для отображения виртуальной реальности для пользователя. В одном иллюстративном примере процессор изображений предназначен для приема информации о положении первого глаза на голове пользователя и информации о положении второго глаза на голове пользователя. Первое изображение виртуальной реальности создается для первого глаза на основе информации о положении для первого глаза. Второе изображение виртуальной реальности создается для второго глаза на основе информации о положении второго глаза. Первое изображение и второе изображение затем передаются для отображения пользователю.

Как показано на чертежах и, в частности, на фиг. 1, приведена иллюстрация системы виртуальной реальности по одному иллюстративному варианту осуществления. В этом иллюстративном примере система 100 виртуальной реальности включает компьютер 102 и интерфейсную систему 104. Как показано, интерфейсная система 104 включает самого пользователя 106, шлем 108 виртуальной реальности и цифровые перчатки 110. Шлем 108 виртуальной реальности надет на голову 112 пользователя 106. Цифровые перчатки 110 находятся на руках 114 пользователя 106.

Система 100 виртуальной реальности и пользователь 106 находятся в физической среде 116. Система 100 виртуальной реальности позволяет пользователю 106 в физической среде 116 взаимодействовать с виртуальной реальностью, созданной системой 100 виртуальной реальности.

В этих иллюстративных примерах шлем 108 виртуальной реальности и цифровые перчатки 110 дают пользователю 106 возможность взаимодействовать с виртуальной реальностью, созданной компьютером 102. Обмен информации при взаимодействии пользователя 106 с виртуальной реальностью, созданной компьютером 102, в системе виртуальной реальности 100 осуществляется по беспроводной линии 118 связи.

Как показано, цифровые перчатки 110 являются входными устройствами для пользователя 106. В частности, цифровые перчатки 110 могут обладать способностью идентифицировать положение цифровых перчаток 110 на руках 114 пользователя 106. Кроме того, цифровые перчатки 110 также могут обеспечивать осязательную связь, которая моделирует чувство осязания. Осязательная обратная связь может обеспечивать чувство приложения сил, вибрации, движения или некоторой их комбинации для рук 114 пользователя 106.

В этих иллюстративных примерах шлем 108 виртуальной реальности предназначен для отображения виртуальной реальности, созданной компьютером 102 для пользователя 106. Изображения создаются, как часть взаимодействия пользователя 106 с виртуальной реальностью, созданной компьютером 102.

Шлем 108 виртуальной реальности также предназначен для обеспечения отображения виртуальной реальности таким образом, чтобы это приводило к меньшим нежелательным эффектам у пользователя 106, использующего шлем 108 виртуальной реальности, с течением времени. В частности, пользователь 106 может использовать шлем 108 виртуальной реальности в течение более длительных периодов времени, чем в имеющихся в настоящее время устройствах отображения, таким образом, чтобы снижались нежелательные эффекты, такие как дезориентация, размытость изображений и усталость.

В этих иллюстративных примерах шлем 108 виртуальной реальности предназначен для идентификации положения головы 112, а также глаз (не показаны) на голове 112 пользователя 106. При наличии информации о положении и для головы 112, и для глаз пользователя 106, компьютер 102 создает изображения, подготовленные для точки наблюдения каждого глаза пользователя 106.

В частности, компьютер 102 идентифицирует положение головы 112 пользователя 106 в виртуальной реальности. Кроме того, шлем 108 виртуальной реальности также генерирует информацию о положении глаз на голове 112 пользователя 106. Шлем 108 виртуальной реальности передает информацию на компьютер 102 по беспроводной линии 118 связи.

При наличии информации о положении головы 112 и глаз пользователя 106 на голове 112, компьютер 102 создает изображения по перспективе каждого глаза в виртуальной реальности. Эти изображения передаются на шлем 108 виртуальной реальности по беспроводной линии 118 связи. Другими словами, глаза на голове 112 пользователя 106 могут иметь несколько отличающуюся перспективу, поскольку они расположены на некотором расстоянии друг от друга.

В этом иллюстративном примере положение каждого глаза отслеживается независимо от пользователя 106. Таким образом, может быть идентифицирована точная точка фокуса пользователя 106 в физической среде 116. Информация о положении для головы 112 и глаз пользователя 106 используется компьютером 102. Эта информация передается компьютером 102 в соответствующее положение пользователя 106 в виртуальной реальности.

Положение головы 112 пользователя 106 может меняться в зависимости от того, стоит пользователь 106, сидит, находится в согнутом положении, лежит на спине или в некотором другом положении. В этом примере пользователь 106 сидит в кресле 120, при этом взаимодействуя с виртуальной реальностью.

Таким образом, компьютер 102 позиционирует виртуальные камеры в виртуальной реальности аналогично тому, как глаза пользователя 106 в виртуальной реальности используются для создания разных видов виртуальной реальности. Другими словами, положения виртуальных камер соответствуют положениям глаз пользователя 106. Положения виртуальных камер, соответствующие положениям глаз пользователя 106, могут меняться по мере изменения положения пользователя 106.

По одному виду создаются для каждого глаза пользователя 106. Одно изображение каждого вида создается и передается назад на шлем 108 виртуальной реальности для отображения пользователю 106. Таким образом, независимые двухмерные изображения может отобразить для пользователя 106 посредством шлема 108 виртуальной реальности.

В этих иллюстративных примерах глаза пользователя 106 реконструируют принимаемое трехмерное изображение виртуальной реальности по двум двухмерным изображениям, отображенным посредством шлема 108 виртуальной реальности. Таким образом, обработка с помощью природного бинокулярного зрения человека осуществляется у пользователя 106 для создания трехмерного изображения виртуальной реальности с использованием двух двухмерных изображений, созданных компьютером 102.

В этих иллюстративных примерах природное бинокулярное зрение человека подразумевает использование двух глаз. За счет обработки природным бинокулярным зрением человека изображения, видимые обоими глазами, могут быть использованы для создания трехмерного вида. Другими словами, пользователь 106 может воспринимать глубину.

Поскольку и глаза пользователя 106, и голова 112 пользователя 106 или и то, и другое, перемещаются, фокусная точка пользователя 106 может меняться. Информация, создаваемая шлемом 108 виртуальной реальности, передается на компьютер 102 по беспроводной линии 118 связи. Компьютер 102 использует эту информацию для перерасчета фокальной точки пользователя 106 в соответствующем положении для виртуальных камер в виртуальной реальности. Обновленные двухмерные изображения создаются разными виртуальными камерами, представляющими глаза пользователя 106 в виртуальной реальности.

В результате более точное представление виртуальной реальности создается для отображения посредством шлема 108 виртуальной реальности для пользователя 106. При этом типе отображения возникает более точное соответствие природному зрению пользователя 106. Таким образом, могут быть уменьшены нежелательные эффекты наблюдения виртуальной реальности с использованием двухмерных изображений пользователем 106. Сокращение нежелательных эффектов также возникает помимо более реалистичного вида виртуальной реальности для пользователя 106, использующего шлем 108 виртуальной реальности.

На фиг. 2 показана блок-схема системы виртуальной реальности по одному иллюстративному варианту осуществления. Система 100 виртуальной реальности по фиг. 1 является примером одного варианта осуществления для системы 200 виртуальной реальности, показанной на блок-схеме на этом чертеже.

Как показано, система 200 виртуальной реальности находится в физической среде 202. Система 200 виртуальной реальности выполнена с возможностью создания виртуальной реальности 204 для пользователя 206. Пользователь 206 может взаимодействовать с виртуальной реальностью 204 посредством системы 200 виртуальной реальности.

В этих иллюстративных примерах система 200 виртуальной реальности содержит некоторое число разных компонентов. Как показано, система 200 виртуальной реальности содержит устройство 208 создания виртуальной реальности и интерфейсную систему 210. Эти компоненты функционируют для создания виртуальной реальности 204 и обеспечения пользователя 206 возможностью взаимодействовать с виртуальной реальностью 204.

В этих иллюстративных примерах устройство 208 создания виртуальной реальности может быть осуществлено в аппаратном обеспечении, программном обеспечении или в их комбинации. В этих иллюстративных примерах аппаратное обеспечение может быть в виде электронной схемы, интегральной схемы, интегральная схема специального назначения (ASIC), программируемого логического устройства или некоторого другого подходящего типа аппаратного обеспечения, выполненного с возможностью осуществления некоторого числа операций. В случае программируемого логического устройства оно выполнено с возможностью осуществления некоторого числа операций. Устройство может быть изменено позже или может быть постоянного выполнено с возможностью осуществления некоторого числа операций. Примеры программируемых логических устройств включают, например, программируемую логическую матрицу, программируемую матричную логику, логическую матрицу, программируемую пользователем, программируемую пользователем вентильную матрицу и другие подходящие аппаратные средства. Кроме того, рабочие элементы могут быть реализованы в органических компонентах, встроенных с неорганическими компонентами и/или могут состоять полностью из органических компонентов, за исключением человека. Например, рабочие элементы может быть реализованы в виде схем на органических полупроводниках.

В этих иллюстративных примерах устройство 208 создания виртуальной реальности может быть осуществлено в компьютерной системе 212. Компьютерная система 212 может представлять собой один или более компьютеров. Когда в компьютерной системе 212 присутствует более одного компьютера, эти компьютеры могут быть соединены друг с другом средой передачи данных, такой как сеть.

В этом иллюстративном примере устройство 208 создания виртуальной реальности включает контроллер 214 и процессор 216 изображений. Контроллер 214 выполнен с возможностью генерирования виртуальной реальности 204. В этих иллюстративных примерах виртуальная реальность 204 может принимать разную форму.

Например, виртуальной реальностью 204 может быть по меньшей мере одно из среды проектирования, среды технического обслуживания, производственной среды и других подходящих типов сред. Используемая в настоящем документе фраза "по меньшей мере один из", при использовании со списком позиций, означает различные комбинации одной или более из перечисленных позиций, которые могут быть использованы, и только одна из каждых позиций в списке может быть необходима. Например, "по меньшей мере одна из позиций А, В и С" может включать, без ограничения, позицию А или позицию А и позицию В. Этот пример также может включать позицию А, позицию В и позицию С, или позицию В и позицию С.

Когда виртуальной реальностью 204 является среда проектирования, пользователь 206 может взаимодействовать с виртуальной реальностью 204 для проектирования продукта, такого как летательный аппарат, корабль, наземное средство передвижения, космический летательный аппарат, спутник, двигатель, антенна, составная часть, кресло и другие подходящие продукты. Когда виртуальная реальность 204 имеет вид среды технического обслуживания, пользователь 206 может осуществлять выполнение технического обслуживания на платформе, такой как летательный аппарат. Кроме того, пользователь 206 может использовать среду технического обслуживания для идентификации процедур технического обслуживания для летательного аппарата для использования в физической среде 202.

Когда виртуальной реальностью 204 является производственная среда, пользователь 206 может взаимодействовать с производственной средой для выработки информации о производственных процессах. Например, пользователь 206 может менять компоненты в производственной среде, чтобы видеть, как эти изменения влияют на изготовление продукта. Таким образом, пользователь 206 может идентифицировать изменения компонентов или процедур, используемых для изготовления продукта в физической среде 202.

Процессор 216 изображений выполнен с возможностью создания изображений 218, которые будут отображены для пользователя 206 посредством интерфейсной системы 210. Изображениями 218 являются изображения виртуальной реальности 204, наблюдаемые пользователем 206 посредством взаимодействия пользователя 206 с виртуальной реальностью 204. В этих иллюстративных примерах изображениями 218 являются двухмерные изображения. Изображения 218 могут наблюдаться пользователем 206 для реконструкции трехмерного вида виртуальной реальности 204.

Как показано, интерфейсная система 210 представляет собой аппаратное обеспечение и может включать программное обеспечение. В этих иллюстративных примерах интерфейсная система 210 выполнена с возможностью обеспечения для пользователя 206 возможности взаимодействовать с виртуальной реальностью 204. Это взаимодействие включает вход в виртуальную реальность 204, а также прием выходного сигнала от виртуальной реальности 204.

Как показано, интерфейсная система 210 состоит из некоторого числа различных компонентов. В этом иллюстративном примере интерфейсная система 210 включает устройство 220 отображения и сенсорную систему 222.

Устройство 220 отображения выполнено с возможностью отображения изображений 218, созданных процессором 216 изображений в устройстве 208 создания виртуальной реальности. Таким образом, пользователь 206 может видеть виртуальную реальность 204.

В этих иллюстративных примерах сенсорная система 222 выполнена с возможностью создания информации 224 о пользователе 206. В частности, сенсорная система 222 может создавать информацию 226 о положении первого глаза, информацию 228 о положении второго глаза и информацию 230 о положении головы. Кроме того, сенсорная система 222 также может создавать информацию о положении и движении других частей тела пользователя 206. Другие части тела могут включать, например, кисти, пальцы, руки, ноги и другие подходящие части тела.

Информация 226 о положении первого глаза соответствует первому положению 232 первого глаза 234 на голове 236 пользователя 206. Информация 228 о положении второго глаза соответствует второму положению 238 второго глаза 240 на голове 236 пользователя 206. В этих иллюстративных примерах информация 230 о положении головы соответствует положению 242 головы 236 пользователя 206.

Как показано, информация 226 о положении первого глаза, информация 228 о положении второго глаза и информация 230 о положении головы могут включать некоторое число разных типов информации. Информация о положении первого глаза 226, информация о положении второго глаза 228, и информация о положении головы 230 может включать, например, местоположение и ориентацию объекта. Местоположение может быть описано в трех измерениях с помощью трехмерной системы координат. Ориентация может быть описана большим числом разных способов. Например, ориентация может быть описана с использованием системы, такой как относительное пространство с помощью углов Эйлера, вектора направления, матрицы, кватерниона, комбинации угла рыскания, угла тангажа и угла крена или другой системы отсчета.

Информация 226 о положении первого глаза, информация 228 о положении второго глаза и информация 230 о положении головы могут быть переданы, как часть информации 224 от сенсорной системы 222 на устройство 208 создания виртуальной реальности. Контроллер 214 может использовать информацию 224 для внесения изменений в виртуальную реальность 204 на основе вводных данных, созданных пользователем 206 или на основе других событий, которые могут быть созданы контроллером 214 или другими источниками.

Процессор 216 изображений выполнен с возможностью использования информации 226 о положении первого глаза и информации 228 о положении второго глаза для создания изображений 218. В этих иллюстративных примерах информация 230 о положении головы может быть необязательно при создании изображений 218. Как показано, процессор 216 изображений создает первую виртуальную камеру 244 и вторую виртуальную камеру 246 в виртуальной реальности 204. В этом иллюстративном примере первая виртуальная камера 244 и вторая виртуальная камера 246 расположены на аватаре 248. Аватар 248 - это виртуальное представление пользователя 206 в виртуальной реальности 204. В частности, в этих иллюстративных примерах первая виртуальная камера 244 и вторая виртуальная камера 246 могут быть расположены на голове 250 аватара 248.

В одном примере процессор 216 изображений выполнен с возможностью создания первого изображения 252 среди изображений 218 виртуальной реальности 204 для первого глаза 234 на основе информации 226 о положении первого глаза. Кроме того, процессор 216 изображений также выполнен с возможностью создания второго изображения 254 среди изображений 218 виртуальной реальности 204 для второго глаза 240 на основе информации 228 о положении второго глаза. Процессор 216 изображений выполнен с возможностью передачи первого изображения 252 и второго изображения 254 для показа пользователю 206. В этих иллюстративных примерах первое изображение 252 и второе изображение 254 передаются на устройство 220 отображения.

В этих иллюстративных примерах процессор 216 изображений выполнен с возможностью идентификации первого положения 256 для первой виртуальной камеры 244 в виртуальной реальности 204, представляющего первую точку 258 наблюдения для первого глаза 234 в виртуальной реальности 204. Кроме того, процессор 216 изображений выполнен с возможностью идентификации второго положения 260 второй виртуальной камеры 246 в виртуальной реальности 204, представляющего вторую точку 262 наблюдения второго глаза 240 в виртуальной реальности 204.

В этих иллюстративных примерах первым изображением 252 является изображение виртуальной реальности 204, видимое первой виртуальной камерой 244. Вторым изображением 254 является изображение виртуальной реальности 204, видимое второй виртуальной камерой 246.

Когда первое изображение 252 и второе изображение 254 передаются на устройство 220 отображения, устройство 220 отображения воспроизводит первое изображение 252 для первого глаза 234 пользователя 206. В этих иллюстративных примерах устройство 220 отображения воспроизводит второе изображение 254 для второго глаза 240 пользователя 206. Первое изображение 252 и второе изображение 254 являются двухмерными изображениями и обрабатываются пользователем 206 для реконструкции трехмерного изображения виртуальной реальности 204.

При создании первого изображения 252 и второго изображения 254 с первой точки 258 наблюдения и второй точки 262 наблюдения, соответственно, опыт пользователя 206 взаимодействия с виртуальной реальностью 204 может происходить со снижением нежелательных эффектов от просмотра изображений 218 виртуальной реальности 204. В этих иллюстративных примерах первая виртуальная камера 244 и вторая виртуальная камера 246 могут быть позиционированы таким образом, чтобы это соответствовало первому положению 232 первого глаза 234 и второму положению 238 второго глаза 240.

В этих иллюстративных примерах первая виртуальная камера 244 и вторая виртуальная камера 246 выполнены с возможностью позиционирования по вертикали на основе информации 230 о положении головы. В частности, высота головы 236 может быть использована для позиционирования первой виртуальной камеры 244 и второй виртуальной камеры 246.

Информация 230 о положении головы может быть использована для позиционирования головы 250 аватара 248 в соответствии с положением головы 264 в виртуальной реальности 204. Положение 264 головы 250 для аватара 248 в виртуальной реальности 204 соответствует положению 242 головы 236 пользователя 206 в физической среде 202. Другими словами, ориентация 250 головы для аватара 248 соответствует ориентации головы 236 пользователя 206.

Другими словами, позиционирование головы 250 аватара 248 с первой виртуальной камерой 244 и второй виртуальной камерой 246 может быть по отношению к расстоянию, на котором голова 236 пользователя 206 находится относительно пола. Это расстояние может быть различно в зависимости от того, стоит ли пользователь 206, сидит, стоит на полу, стоит на чем-либо или находится в некотором другом подходящем положении.

Кроме того, первая виртуальная камера 244 и вторая виртуальная камера 246 могут быть позиционированы друг относительно друга на основе пупиллярного расстояния от первого глаза 234 до второго глаза 240. Пупиллярное расстояние может быть расстоянием между зрачком первого глаза 234 и зрачком второго глаза 240. Пупиллярное расстояние также может быть упомянуто, как межзрачковое расстояние. В частности, пупиллярное расстояние - это расстояние между центрами зрачков глаз пользователя 206. Это пупиллярное расстояние может быть использовано процессором 216 изображений для создания положений первой виртуальной камеры 244 и второй виртуальной камеры 246 на голове 250 аватара 248.

В этих иллюстративных примерах по мере того, как первый глаз 234 и второй глаз 240 перемещаются в другое положение, первая виртуальная камера 244 и вторая виртуальная камера 246 также перемещаются в соответствующее другое положение. Аналогично этому, когда перемещается голова 236 пользователя 206, голова 250 аватара 248 в виртуальной реальности 204 также может перемещаться. Безусловно, информация 230 о положении головы может быть необязательной. Например, когда информация 226 о положении первого глаза и информация 228 о положении второго глаза включает координаты первого глаза 234 и второго глаза 240 в трех измерениях, местоположение 236 головы в трех измерениях не нужно.

Кроме того, ориентация первого глаза 234 и второго глаза 240 может быть относительно плоскости или другой реперной точки помимо головы 236 пользователя 206. В этом типе осуществления информация 230 о положении головы 236 может быть не нужна.

В других иллюстративных примерах информация 230 о положении головы может включать местоположение головы 236 в трех измерениях, а также ориентацию головы 236. Информация 226 о положении первого глаза и информация 228 о положении второго глаза может включать ориентацию первого глаза 234 и второго глаза 240 на голове 236. Другими словами, информация 226 о положении первого глаза и информация 228 о положении второго глаза может быть относительно головы 236, а не некоторого другого реперного объекта.

При таком типе осуществления информация 239 о положении головы используется в сочетании с информацией 226 о положении первого глаза и информацией 228 о положении второго глаза для создания положения для головы 250 вместе с первой виртуальной камерой 244 и второй виртуальной камерой 246. Например, процессор 216 изображений создает первое изображение 252 на основе информации 226 о положении первого глаза и информации 228 о положении головы 230. Аналогично, процессор 216 изображений создает второе изображение 254 на основе информации 228 о положении второго глаза и информации 230 о положении головы.

На фиг. 3 показана блок-схема вариантов осуществления устройства отображения по одному иллюстративному варианту осуществления. В этом описанном примере типы устройств 300 отображения являются примерами разных типов устройств отображения, которые могут быть использованы для осуществления устройства 220 отображения по фиг. 2.

В этих иллюстративных примерах типы устройств 300 отображения включают несколько примеров разных типов устройств. В этом примере типы устройств 300 отображения включают систему 302 со шлемом виртуальной реальности, систему 304 отображения с затвором, систему 306 отображения с поляризацией, систему 308 отображения на сетчатку и систему 310 отображения с контактными линзами.

Шлем 302 виртуальной реальности может представлять собой устройство отображения, носимое на голове 236 пользователя 206 по фиг. 2. Шлем 302 виртуальной реальности также может включать сенсоры из сенсорной системы 222 для генерирования информации относительно первого глаза 234, второго глаза 240 и головы 236 пользователя 206. Дисплеем в шлеме 302 виртуальной реальности может быть, например, без ограничения, жидкокристаллический дисплей, дисплей на светоизлучающих диодах, плазменный дисплей или некоторый другой подходящий тип дисплея. Дисплей в шлеме 302 может быть сконструирован из одной или более независимых систем отображения.

Система 304 с затвором может представлять собой дисплей, видимый пользователю 206 при использовании очков с активным оптическим затвором, которые снабжены системой затвора, которая позволяет только одному первому глазу 234 и второму глазу 240 видеть дисплей в каждый конкретный момент времени. При таком типе системы отображения, отображение первого изображения 252 и второго изображения 254 на дисплее чередуется в соответствии с порядком, когда первый глаз 234 и второй глаз 240 могут видеть этот дисплей.

Система 306 отображения с поляризацией подразумевает отображение и первого изображения 252, и второго изображения 254 на дисплее одновременно, чтобы первое изображение 252 и второе изображение 254 были показаны с разной поляризацией. Система 306 отображения с поляризацией может быть носимой пользователем 206, чтобы позволить каждому глазу видеть правильное изображение.

Система 308 отображения на сетчатку сконструирована для проектирования растрового отображения на сетчатку глаза. Система 308 отображения на сетчатку может включать проектор, который создает луч, сканирующий сетчатку глаза.

Система 310 отображения с контактными линзами имеет вид контактных линз, расположенных на первом глазу 234 и втором глазу 240. Эти контактные линзы содержат электронные схемы и светоизлучающие диоды. Светоизлучающие диоды в схемах предназначены для создания изображения, которое видит первый глаз 234 и второй глаз 240.

На фиг. 4 показана блок схема типов сенсоров, которые могут быть использованы в сенсорной системе в системе виртуальной реальности по одному иллюстративному варианту осуществления. В этом иллюстративном примере типы сенсоров 400 включают разные типы сенсоров, которые могут быть использованы в сенсорной системе 222 по фиг. 2.

В этом иллюстративном примере типы сенсоров 400 могут включать некоторое число разных типов сенсоров. Например, типы сенсоров 400 могут включать систему 402 слежения за глазами, систему 404 определения положения камеры по положению головы оператора, цифровые перчатки 406 и систему 408 слежения за движениями.

Система 402 слежения за глазами может включать средство 410 слежения за первым глазом и средство 412 слежения за вторым глазом. Средство 410 слежения за первым глазом предназначено для отслеживания первого положения 232 первого глаза 234 и создания информации 226 о положении первого глаза по фиг. 2. Средство 412 слежения за вторым глазом предназначено для отслеживания второго положения 238 второго глаза 240 и создания информации 228 о положении второго глаза.

В этих иллюстративных примерах система 402 слежения за глазами может быть связана со шлемом 302 виртуальной реальности или может быть отдельным устройством.

В этих иллюстративных примерах система 402 слежения за глазами отслеживает первое положение 232 первого глаза 234 и второе положение 238 второго глаза 240 в противоположность наблюдению взгляда первого глаза 234 и второго глаза 240.

Наблюдение за взглядом подразумевает идентификацию области на изображении, видимую первым глазом 234 и вторым глазом 240, в противоположность первому положению 232 первого глаза 234 и второму положению 238 второго глаза 240. В некоторых иллюстративных примерах информация 226 о положении первого глаза и информация 228 о положении второго глаза для первого положения 232 первого глаза 234 и второго положения 238 второго глаза 240 может быть использована для идентификации взгляда пользователя 206.

Кроме того, система 402 слежения за глазами может использовать различные способы, такие как отражение роговицы, для выработки информации об ориентации первого глаза 234 и второго глаза 240. Эти способы основаны на местоположении источника света по отношению к оптической системе. Система 402 слежения за глазами может быть осуществлена с помощью камер с аппаратными средствами, а также других подходящих устройств.

В результате средство 410 слежения за первым глазом и средство 412 слежения за вторым глазом могут представлять собой отдельные камеры или могут быть осуществлены в виде одной камеры со средством 410 слежения за первым глазом и средства 412 слежения за вторым глазом, осуществленными с помощью программных способов.

Кроме того, в некоторых иллюстративных примерах система 402 слежения за глазами может быть осуществлена с использованием контактных линз, содержащих впечатанный рисунок, который отслеживается камерой или другим подходящим устройством. Система 402 слежения за глазами может быть осуществлена с использованием поисковой катушки, имплантированной в контактные линзы или непосредственно имплантированной в первый глаз 234 и второй глаз 240. Система 402 слежения за глазами может быть осуществлена с использованием датчиков мышечной активности, расположенных вокруг первого глаза 234 и второго глаза 240.

В этих иллюстративных примерах система 404 определения положения камеры по положению головы оператора является аппаратным средством, предназначенным для идентификации положения 242 головы 236 пользователя 206 и выработки информации 230 о положении головы. Система 404 определения положения камеры по положению головы оператора может содержать средство 405 слежения за головой. Средство 405 слежения за головой может содержать датчики слежения, которые обнаруживают изменение угла и ориентации головы 236. Этими датчиками могут быть, например, акселерометры или другие подходящие типы датчиков. В других иллюстративных примерах средство 405 слежения за головой может быть осуществлено с использованием системы камер и маркеров на голове 236 пользователя 206 или на шлеме 302 виртуальной реальности. Кроме того, в некоторых иллюстративных примерах система 404 определения положения камеры по положению головы оператора может быть осуществлена, как часть шлема 302 виртуальной реальности.

Цифровые перчатки 406 представляют собой аппаратное средство, надеваемое пользователем 206. Эти устройства могут идентифицировать положение рук пользователя 206, а также различные жесты рук пользователя 206.

Как показано, система 408 слежения за движениями предназначена для идентификации движений и жестов рук пользователя 206. Система 408 слежения за движениями может включать камеры, датчики движения и другие устройства, которые генерируют информацию, используемую для идентификации жестов и положений рук пользователя 206.

Иллюстрация системы 200 виртуальной реальности и компонентов в системе 200 виртуальной реальности по фиг. 2-4 не означает, что подразумеваются физические или структурные ограничения способа, по которому может быть осуществлен иллюстративный вариант осуществления. Могут быть использованы другие компоненты помимо или вместо показанных. Некоторые компоненты могут быть не нужны. Кроме того, представленные блоки иллюстрируют некоторые функциональные компоненты. Один или более из этих блоков могут быть скомбинированы, разделены или скомбинированы и разделены на различные блоки при осуществлении иллюстративного варианта осуществления.

Например, один или более человек помимо пользователя 206 могут взаимодействовать с виртуальной реальностью 204. Эти дополнительные пользователи могут использовать интерфейсную систему 210. В другом иллюстративном примере устройство 220 отображения и сенсорная система 222 могут быть осуществлены в виде одиночного компонента. В качестве другого иллюстративного примера другие типы сенсоров могут быть использованы помимо или вместо перечисленных типов датчиков 400 по фиг. 4. Например, может быть использован джойстик, контрольный зонд, периферия устройства нацеливания, мышь и другие подходящие устройства.

В качестве другого иллюстративного примера устройство 220 отображения предназначено для обеспечения просмотра физической среды 202 вокруг пользователя 206 дополнительно к первому изображению 252 и второму изображению 254 среди изображений 218 для виртуальной реальности 204. Другими словами, отображение первого изображения 252 и второго изображения 254 может быть использовано для обеспечения отображения расширенной реальности для пользователя 206. Это отображение расширенной реальности сочетает просмотр физической среды 202 с просмотром виртуальной реальности 204. Например, пользователь 206 может наблюдать летательный аппарат в физической среде 202. Виртуальная реальность 204 может воссоздать летательный аппарат и обеспечить просмотр внутренней части летательного аппарата. Виды внутренней части летательного аппарата могут быть использованы для создания первого изображения 252 и второго изображения 254, которые выводятся на устройство 220 отображения аналогично наложению физического вида летательного аппарата в физической среде 202.

Таким образом, система 200 виртуальной реальности может быть использована для получения видов для только виртуальной реальности для различных операций, таких как конструирование, техническое обслуживание, тренинг и другие подходящие операции. Кроме того, система 200 виртуальной реальности может быть включена, как часть системы создания расширенной реальности, которая создает виртуальную реальность 204 таким образом, что она может быть наложена на физическую среду 202 для обеспечения пользователя 206 дополнительной информацией о физической среде 202.

На фиг. 5 показана схема системы виртуальной реальности по одному иллюстративному варианту осуществления. В показанном примере система 500 виртуальной реальности представляет собой пример одного варианта осуществления для системы 200 виртуальной реальности, показанной в виде блок-схемы на фиг. 2.

В этом иллюстративном примере система 500 виртуальной реальности включает устройство 502 создания виртуальной реальности и шлем 504 виртуальной реальности.

В этом иллюстративном примере шлем 504 виртуальной реальности включает средство 506 слежения за первым глазом, средство 508 слежения за вторым глазом, средство 510 слежения за головой, первый дисплей 512 и второй дисплей 514. Шлем 504 виртуальной реальности предназначен для надевания на голову 516 пользователя 518.

В этих иллюстративных примерах средство 506 слежения за первым глазом предназначено для отслеживания положения первого глаза 520 на голове 516 пользователя 518. Средство 508 слежения за вторым глазом предназначено для отслеживания положения второго глаза 522 на голове 516 пользователя 518. В частности, средство 506 слежения за первым глазом и средство 508 слежения за вторым глазом могут отслеживать ориентацию первого глаза 520 и второго глаза 522, соответственно.

Первый дисплей 512 предназначен для отображения изображений для первого глаза 520, в то время как второй дисплей 514 предназначен для отображения изображений для второго глаза 522. В частности, первый дисплей 512 и второй дисплей 514 отображают изображения 523, полученные от устройства 502 создания виртуальной реальности.

В этом иллюстративном примере первый дисплей 512 и второй дисплей 514 изолированы друг от друга, так что первый глаз 520 не может видеть второй дисплей 514, а второй глаз 522 не может видеть первый дисплей 512. Как показано, первый дисплей 512 и второй дисплей 514 могут быть осуществлены с использованием различных типов дисплеев. Например, жидкокристаллический дисплей, дисплей на светоиспускающих диодах, плазменный дисплей или некоторый другой подходящий тип дисплея может быть использован для первого дисплея 512, второго дисплея 514 или и первого дисплея 512, и второго дисплея 514.

В этих иллюстративных примерах средство 510 слежения за головой предназначено для отслеживания положения головы 516 пользователя 518. В этих иллюстративных примерах шлем 504 виртуальной реальности передает информацию 524 на устройство 502 создания виртуальной реальности. Как показано, информация 524 представляет собой информацию отслеживания относительно первого глаза 520 и второго глаза 522. Кроме того, информация 524 также может включать информацию о положении головы, полученную посредством средства 510 слежения за головой.

Устройство 502 создания виртуальной реальности принимает информацию 524. В этом иллюстративном примере устройство 502 создания виртуальной реальности может быть осуществлено с использованием компьютера. Устройство 502 создания виртуальной реальности предназначено для создания и управления виртуальной реальностью 528.

Устройство 502 создания виртуальной реальности может осуществлять связь со шлемом 504 виртуальной реальности с помощью линии связи. Эта линия связи может представлять собой, например, без ограничения, проводную линию связи, оптическую линию связи, беспроводную линию связи или некоторую их комбинацию.

Информация 524, принятая от шлема 504 виртуальной реальности используется устройством 502 создания виртуальной реальности для создания аватара 526 и положения аватара 526 в виртуальной реальности 528. Аватар 526 - это представление пользователя 518 в виртуальной реальности 528.

В этих иллюстративных примерах информация 524 также используется для идентификации положения первой виртуальной камеры 530 и второй виртуальной камеры 532 на аватаре 526. В частности, в этих иллюстративных примерах первая виртуальная камера 530 и вторая виртуальная камера 532 могут быть расположены на голове 536 аватара 526.

Первая виртуальная камера 530 и вторая виртуальная камера 532 представляют первый глаз 520 и второй глаз 522, соответственно. Другими словами, между виртуальными камерами и глазами присутствует взаимно-однозначное соответствие. В этих иллюстративных примерах первая виртуальная камера 530 и вторая виртуальная камера 532 находятся на расстоянии 534, которое соответствует пупиллярному расстоянию 537 между первым глазом 520 и вторым глазом 522.

В этих иллюстративных примерах по мере перемещения первого глаза 520 и второго глаза 522 на голове 516, первая виртуальная камера 530 и вторая виртуальная камера 532 меняют положение, чтобы они переместились соответствующим образом, используя информацию 524. Кроме того, когда перемещается голова 516 пользователя 518, голова 536 аватара 526 также перемещается.

Первая виртуальная камера 530 и вторая виртуальная камера 532 могут быть использованы устройством 502 создания виртуальной реальности для создания изображений на основе видов, которые можно видеть в виртуальной реальности 528 первой виртуальной камерой 530 и второй виртуальной камерой 532. В этих иллюстративных примерах информация 524 позволяет обновлять положение первой виртуальной камеры 530 и второй виртуальной камеры 532.

Иллюстрация системы 500 виртуальной реальности в качестве варианта осуществления системы 200 виртуальной реальности, показанная в виде блок-схемы на фиг. 2, не подразумевает ограничений способа, по которому могут быть осуществлены различные системы виртуальной реальности. Например, в некоторых иллюстративных вариантах осуществления может быть использована система отображения с помощью контактных линз вместо шлема 504 виртуальной реальности. В других иллюстративных примерах виртуальные камеры могут быть использованы без аватара 526.

Различные компоненты, показанные на фиг. 2-4, могут быть скомбинированы с компонентами по фиг. 1 и 5, использованы с компонентами по фиг. 1 и 5 или представлять комбинацию и того, и другого. Кроме того, некоторые из компонентов по фиг. 1 могут представлять собой иллюстративные примеры того, как компоненты, показанные в виде блок-схемы по фиг. 2-4 и схемы по фиг. 5, могут быть осуществлены в виде физических структур.

На фиг. 6 показана блок-схема способа отображения виртуальной реальности по одному иллюстративному варианту осуществления. Способ, показанный на фиг. 6, может быть осуществлен с помощью системы 200 виртуальной реальности по фиг. 2.

Способ начинается с приема информации о положении первого глаза на голове пользователя и информации о положении второго глаза на голове пользователя (операция 600). Затем способ позволяет создать первое изображение виртуальной реальности для первого глаза на основе информации о положении для первого глаза и создать второе изображение виртуальной реальности для второго глаза на основе информации о положении второго глаза (операция 602). При операции 602 изображения будут созданы таким образом, чтобы точки наблюдения для создания изображений в виртуальной реальности соответствовали точкам наблюдения глаз пользователя в физической среде. Затем способ позволяет передать первое изображение и второе изображение для отображения пользователю (операция 604), а затем способ возвращается к операции 600.

Эти различные операции могут повторяться сколько, сколько пользователь взаимодействует с виртуальной реальностью. Использование различных операция блок-схемы по фиг. 6 обеспечивает пользователю, наблюдающему виртуальную реальность, более естественное восприятие. В частности, изображения будут созданы с точек наблюдения глаз пользователя с использованием тех же самых точек наблюдения в виртуальной реальности.

На фиг. 7А и 7В показана блок-схема способа наблюдения виртуальной реальности по одному иллюстративному варианту осуществления. Способ, показанный на фиг. 7А и 7В может быть осуществлен с помощью системы 200 виртуальной реальности по фиг. 2 для создания изображений 218 для просмотра пользователем 206 с использованием системы 220 отображения. Различные операции, показанные на фиг. 7А и 7В, поясняют операции, выполняемые и системой 200 виртуальной реальности, и пользователем 206 по фиг. 2 во время взаимодействия пользователя 206 с виртуальной реальностью 204.

Способ начинается путем размещения устройства шлема виртуальной реальности на голове пользователя (операция 700). Шлем виртуальной реальности представляет собой осуществление устройства 220 отображения, а также может включать по меньшей мере часть сенсорной системы 222. Шлем виртуальной реальности позволяет отслеживать движение глаз и необязательно движение головы.

Пользователь затем инициирует создание виртуальной реальности (операция 702). При этой операции пользователь может включить систему виртуальной реальности для начала создания виртуальной реальности. В этих иллюстративных примерах устройство создания виртуальной реальности, такое как устройство 208 создания виртуальной реальности по фиг. 2 может начать создание виртуальной реальности.

Устройство создания виртуальной реальности передает запросы на шлем виртуальной реальности по текущей информации (операция 704). Запросы вызывают создание шлемом виртуальной реальности информации по запросу. Эта текущая информация включает информацию о положении глаз пользователя. Текущая информация также может включать положение головы и другую подходящую информацию. В этих иллюстративных примерах запрос при операции 704 может быть выполнен на периодической основе. Кроме того, положением глаз может быть местоположение глаз в трех измерениях, ориентация или и то, и другое.

Устройство создания виртуальной реальности извлекает информацию об ориентации первого глаза и второго глаза пользователя (операция 706). В этих иллюстративных примерах первый глаз может соответствовать левому глазу, а второй глаз может соответствовать правому глазу пользователя.

Затем выполняется определение того, включает ли шлем виртуальной реальности информацию об ориентации головы пользователя (операция 708). Если шлем виртуальной реальности включает информацию об ориентации головы, устройство создания виртуальной реальности извлекает информацию об ориентации головы (операция 710).

Затем выполняется определение того, включает ли шлем виртуальной реальности информацию о местоположении головы (операция 712). При операции 712 местоположение может быть описано с помощью трехмерной системы координат. Если шлем виртуальной реальности включает эту информацию, шлем виртуальной реальности извлекает информацию о местоположении головы (операция 714). В этих иллюстративных примерах информация об ориентации и местоположении головы формирует информацию о положении головы.

Затем выполняется определение того, подготовлено ли устройство создания виртуальной реальности для использования пользователем (операция 716). Если устройство создания виртуальной реальности не подготовлено для использования пользователем, пупиллярное расстояние между первым глазом и вторым глазом рассчитывается с использованием информации слежения за глазами (операция 718). В этих иллюстративных примерах информация слежения за глазами может включать ориентацию первого глаза и второго глаза, характеристики шлема виртуальной реальности, расстояние между средствами слежения за глазами, углы наблюдения сенсоров и другую подходящую информацию, которая может быть использована для расчета расстояния между зрачками пользователя.

В этих иллюстративных примерах пупиллярное расстояние может быть идентифицировано с помощью некоторого числа различных способов. Один способ идентификации пупиллярного расстояния включает выборку нескольких образцов для каждого глаза при фокусировке на контрольной точке. Эта контрольная точка может быть, например, перекрестьем в центре, крайними точками устройства отображения или их некоторой комбинацией. Затем рассчитывается направление просмотра для каждой контрольной точки для каждого глаза. Положение глаза относительно датчика отслеживания глаза или датчиков отслеживания глаз рассчитывается с использованием нескольких направлений просмотра. Затем рассчитывается расстояние между датчиками отслеживания глаз. Наконец рассчитывается расстояние между глазами на основе смещений глаз-датчик и датчик-датчик.

Эта и другая информация о пользователе может быть сохранена в некотором числе различных мест. Например, информация может быть сохранена по меньшей мере на одном из шлемов виртуальной реальности, устройстве создания виртуальной реальности, удаленной базе данных или некотором другом подходящем месте. В других иллюстративных примерах пользователь может ввести по меньшей мере часть информации.

Затем устройство создания виртуальной реальности создает аватар для представления положения пользователя в виртуальной реальности (операция 720). Первая виртуальная камера и вторая виртуальная камера, представляющие первый глаз и второй глаз пользователя, добавляются к аватару (операция 722). Размещение виртуальных камер выполняется с использованием информации о глазах, извлекаемой с помощью шлема виртуальной реальности. Размещение также может быть выполнено на основе информации о голове пользователя, если такая информация имеется.

Виртуальные камеры могут быть добавлены на основе рассчитанного пупиллярного расстояния между глазами пользователя и текущей информации о глазах пользователя. Также может быть использована информация о голове пользователя, если она есть. Горизонтальный промежуток между виртуальными камерами может быть на основе пупиллярного расстояния. Вертикальное расстояние от камер до пола виртуальной реальности может быть установлено на основе информации о голове пользователя. Кроме того, позиционирование виртуальных камер также может учитывать, что один глаз пользователя может быть расположен выше по вертикали, чем другой глаз пользователя. Позиционирование виртуальных камер также может учитывать, что глаза пользователя необязательно совмещены симметрично.

Устройство создания виртуальной реальности позиционирует виртуальные камеры для создания ориентации, соответствующих ориентациям глаз пользователя (операция 724). Это позиционирование выполняется на основе текущей информации, извлекаемой с помощью шлема виртуальной реальности. Таким образом, виртуальные камеры могу иметь точки наблюдения, которые соответствуют точкам наблюдения глаз пользователя на основе местоположения глаз и ориентации глаз, идентифицированных по информации, извлеченной с помощью шлема виртуальной реальности.

Затем выполняется определение того, включает ли информация, извлеченная с помощью шлема виртуальной реальности информацию об ориентации головы (операция 726). Если извлеченная информация включает информацию об ориентации головы, аватар позиционируется с соответствующей ориентацией на основе текущей ориентации головы пользователя (операция 728).

Это изменение ориентации аватара также меняет ориентацию виртуальных камер, что, в свою очередь, меняет точки наблюдения виртуальных камер. Таким образом, изменения положения головы пользователя и глаз пользователя может быть отражено аватаром и виртуальными камерами аватара.

Выполняется определение того, включает ли информация, извлеченная с помощью шлема виртуальной реальности информацию о положении головы (операция 730). Если извлеченная информация включает информацию о положении головы, аватар перемещается, чтобы соответствовать текущему положению головы пользователя (операция 732).

Устройство создания виртуальной реальности затем воспроизводит виртуальную реальность по перспективе первой виртуальной камеры (операция 736). Другими словами, устройство создания виртуальной реальности создает графическую информацию по конкретной перспективе. Это воспроизведение приводит к созданию первого изображения виртуальной реальности с точки наблюдения первой виртуальной камеры. Другими словами, устройство создания виртуальной реальности создает первое изображение виртуальной реальности, которое видит первая виртуальная камера. Аналогично этому устройство создания виртуальной реальности воспроизводит виртуальную реальность по перспективе второй виртуальной камеры (операция 738). Это воспроизведение приводит к созданию второго изображения виртуальной реальности с точки наблюдения второй виртуальной камеры. Как и для первой виртуальной камеры, устройство создания виртуальной реальности создает второе изображение виртуальной реальности, которое видит вторая виртуальная камера.

Результирующие первое изображение и второе изображение, полученные при операции 736 и операции 738, представляют два вида виртуальной реальности с несколько отличающихся точек наблюдения. Другими словами, эти изображения представляют виды с несколько отличающейся перспективой, которые соответствуют перспективе глаз пользователя.

Когда виртуальные камеры позиционированы с ориентацией, которая соответствует глазам пользователя, изображения, будут подобраны для первого пользователя. Когда шлем виртуальной реальности используется вторым пользователем, позиционирование виртуальных камер отличается с учетом отличия положения глаз второго пользователя по сравнению с глазами первого пользователя.

Первое изображение передается на шлем виртуальной реальности для отображения первому глазу пользователя (операция 740). Второе изображение передается на шлем виртуальной реальности для отображения второму глазу пользователя (операция 742). В этих иллюстративных примерах операция 736 и операция 738 выполняются по существу одновременно. Операция 740 и операция 742 также выполняются по существу одновременно.

Пользователь видит первое изображение и второе изображение (операция 744). Пользователь затем реконструирует трехмерное изображение по первому изображению и второму изображению, используя обработку природного бинокулярного зрения (операция 746). Выполняется определение того, нужно ли продолжать взаимодействовать с виртуальной реальностью (операция 748). Если пользователь выбирает не продолжать взаимодействовать с виртуальной реальностью, выполнение способа завершается. В противном случае способ возвращается к операции 704.

При операции 730, если извлеченная информация не включает положение головы, способ переходит к операции 736 и операции 738. Что касается операции 726, если извлеченная информация не включает ориентацию головы, способ также переходит к операции 736 и операции 738.

При операции 716, если устройство создания виртуальной реальности предназначено для использования пользователем, способ переходит к операции 736 и операции 738, и операции конфигурирования или калибровки устройства создания виртуальной реальности для шлема виртуальной реальности не выполняются. При операции 712, если извлеченная информация не включает положение головы, способ переходит к операции 716. Способ также переходит к операции 716 после операции 708, если извлеченная информация не включает ориентацию головы.

Принципиальные схемы и блок-схемы в различных описанных вариантах осуществления иллюстрируют структуру, функциональные возможности и использование некоторых возможных вариантов осуществления устройств и способов в иллюстративном варианте осуществления. С этой точки зрения, каждый блок на принципиальной схеме или блок-схеме может представлять модуль, сегмент, функцию и/или участок операции или этапа. Например, один или более блоков могут быть осуществлены в виде программного кода, аппаратного обеспечения или комбинации программного кода и аппаратного обеспечения. При осуществлении в виде аппаратного обеспечения оно может, например, быть в виде интегральных схем, изготовленных или выполненных с возможностью выполнения одной или более операций на принципиальных схемах или блок-схемах.

В некоторых альтернативных иллюстративных вариантах осуществления функция или функции, отмеченные в блоках, могут осуществляться не по порядку, указанному на чертежах. Например, в некоторых случаях два блока, показанные последовательно, могут быть выполнены по существу одновременно, или блоки иногда могут быть выполнены в обратном порядке, в зависимости от соответствующей функциональной возможности. Кроме того, другие блоки могут быть добавлены помимо показанных блоков на принципиальной схеме или блок-схеме.

Например, различные операции описывают извлечение информации с помощью шлема виртуальной реальности. В некоторых иллюстративных примерах шлем виртуальной реальности может автоматически передавать информацию без запроса или устройства создания виртуальной реальности, извлекающего информацию. Кроме того, в некоторых иллюстративных примерах операция 736 и операция 738 могут быть выполнены последовательно вместо по существу выполнения одновременно. В других иллюстративных примерах операция 730 и операция 732 могут быть пропущены. Информация о положении глаз может включать и местоположение в трехмерном пространстве, и ориентацию.

На фиг. 8 показана блок-схема системы обработки данных по одному иллюстративному варианту осуществления. Система 800 обработки данных может быть использована для осуществления компьютера 102 по фиг. 1, компьютерной системы 212 по фиг. 2 и устройства 502 создания виртуальной реальности по фиг. 5. В этом иллюстративном примере система 800 обработки данных включает интегрированную систему 802 связи, которая обеспечивает связь между блоком 804 процессора, памятью 806, долгосрочной памятью 808, блоком 810 связи, блоком 812 ввода/вывода (I/O) и графическим процессором 814. В этом примере интегрированная система связи может быть в виде магистральной системы.

Блок 804 процессора служит для исполнения команд программного обеспечения, которое может быть загружено в память 806. Блок 804 процессора может представлять собой некоторое число процессоров, мультипроцессорное ядро или некоторый другой тип процессора, в зависимости от конкретного варианта осуществления.

Память 806 и долгосрочная память 808 являются примерами устройств 816 хранения. Устройство хранения представляет какую-либо часть аппаратного обеспечения, способную сохранять информацию, такую как, например, без ограничения, данные, программный код в функциональной форме и/или другую подходящую информацию либо на временной основе, и/или на долгосрочной основе. В этих иллюстративных примерах устройства 816 хранения также могут быть упомянуты, как считываемые компьютером устройства хранения. Памятью 806, в этих примерах, может быть, например, память с произвольным доступом или любое другое подходящее не сохраняющее информацию при выключении питания или энергонезависимое запоминающее устройство. Долгосрочная память 808 может быть различного типа, в зависимости от конкретного варианта осуществления.

Например, долгосрочная память 808 может содержать любое число компонентов или устройств. Например, долгосрочной памятью 808 может быть накопитель на жестких дисках, флэш-память, перезаписываемый оптический диск, перезаписываемая магнитная лента или некоторая комбинация вышеуказанного. Носитель, используемый долгосрочной памятью 808, также может быть съемным. Например, для долгосрочной памяти 808 может быть использован съемный накопитель на жестких дисках.

В этих иллюстративных примерах блок 810 связи обеспечивает с другими системами или устройствами обработки данных. В этих иллюстративных примерах блоком 810 связи является сетевая интерфейсная карта.

Блок 812 ввода/вывода обеспечивает ввод и вывод данных с других устройств, которые могут быть подключены к системе 800 обработки данных. Например, блок 812 ввода/вывода может обеспечивать соединение для входа пользователя посредством клавиатуры, мыши и/или некоторого другого подходящего устройства ввода. Кроме того, блок 812 ввода/вывода может передавать выходные данные на принтер. Блок 814 графической обработки обеспечивает механизм для создания графической информации, отображаемой для пользователя.

Команды для операционной системы, приложения и/или программы могут находиться на устройствах 816 хранения, которые связаны с блоком 804 процессора посредством интегрированной системы 802 связи. Способы по другим вариантам осуществления могут быть осуществлены блоком 804 процессора с использованием выполняемых компьютером команд, находящихся в памяти, такой как память 806.

Эти команды называются программным кодом, используемым компьютером программным кодом или считываемым компьютером программным кодом, который может быть считан и исполнен процессором в блоке 804 процессора. Программный код в других вариантах осуществления может быть осуществлен на различных физических или считываемых компьютером носителях для хранения, таких как память 806 или долгосрочная память 808.

Программный код 818 находится в функциональной форме на считываемом компьютером носителе 820, который является выборочно съемным и может быть загружен или передан в систему 800 обработки данных для исполнения блоком 804 процессора. В этих иллюстративных примерах программный код 818 и считываемый компьютером носитель 820 составляют компьютерный программный продукт 822. В

одном примере считываемым компьютером носителем 820 может быть считываемый компьютером носитель 824 для хранения или считываемый компьютером носитель 826 сигналов.

В этих иллюстративных примерах считываемым компьютером носителем 824 для хранения может быть физическое или материальное устройство хранения, используемое для хранения программного кода 818, а не среда, которая распространяет или передает программный код 818.

В альтернативном варианте осуществления программный код 818 может быть передан в систему 800 обработки данных с использованием считываемого компьютером носителя 826 сигнала. Считываемым компьютером носителем 826 сигнала может быть, например, распространяемый сигнал данных, содержащий программный код 818. Например, считываемый компьютером носитель 826 сигнала может представлять собой электромагнитный сигнал, оптический сигнал и/или некоторый другой подходящий тип сигнала. Эти сигналы могут быть переданы по линиям связи, таким как беспроводные линии связи, оптоволоконный кабель, коаксиальный кабель, провод и/или любой другой подходящий тип линии связи.

Различные компоненты, показанные для системы 800 обработки данных, не подразумевают структурных ограничений способа, по которому могут быть осуществлены различные варианты осуществления. Другие иллюстративные варианты осуществления могут быть осуществлены в системе обработки данных, содержащей компоненты помимо или вместо показанных для системы 800 обработки данных. Другие компоненты, показанные на фиг. 8, могут отличаться от показанных иллюстративных примеров. Другие варианты осуществления могут быть осуществлены с использованием любого аппаратного устройства или системы, позволяющей запустить программный код 818.

Таким образом, иллюстративные варианты осуществления обеспечивают более естественное восприятие просмотра для пользователя, взаимодействующего с виртуальной реальностью. В одном иллюстративном примере играют роль дополнительные параметры, помимо слежения за головой пользователя. Устройство создания виртуальной реальности учитывает информацию о глазах пользователя.

Например, помимо местоположения и ориентации головы пользователя учитываются пупиллярное расстояние и ориентация глаз. В результате конкретные расстояния для пользователей, которые могут быть определены разным пупиллярным расстоянием или расстоянием по линии наблюдения из-за разности роста пользователей, могут быть учтены при создании изображений для этих пользователей. В результате создается подобранное для каждого пользователя представление виртуальной реальности.

В одном или более иллюстративных примерах положение глаз отслеживается для идентификации местоположения для просмотра и направление в виртуальной реальности. Другими словами, точка наблюдения создается для каждого глаза пользователя. Эти точки наблюдения используются для создания изображений для пользователя в виртуальной реальности. Виртуальные камеры используются в иллюстративных примерах для воссоздания соответствующей точки наблюдения для пользователя в виртуальной реальности.

В результате двухмерные изображения могут быть просмотрены пользователем, который реконструирует трехмерное изображение. Эта реконструкция может быть выполнена с обработкой природного бинокулярного зрения, причем пользователь реконструирует трехмерное изображение по двум двухмерным изображениям, и каждое двухмерное изображение создается специально для конкретного глаза пользователя.

Таким образом, при одном или более иллюстративных вариантах осуществления пользователь может получить более реалистичный вид виртуальной реальности. Кроме того, нежелательные эффекты при взаимодействии с виртуальной реальностью также может быть сокращены.

Описание различных иллюстративных вариантов осуществления представлено для целей иллюстрации и описания, не являются всеобъемлющими или ограниченными вариантами осуществления в описанном виде. Многие модификации и варианты очевидны для специалистов в этой области. Кроме того, разные иллюстративные варианты осуществления могут обеспечивать разные признаки по сравнению с другими иллюстративными вариантами осуществления. Выбранный вариант осуществления или варианты осуществления, выбраны и описаны для наилучшего пояснения принципов этих вариантов осуществления, практического применения, а также, чтобы позволить другим специалистам в этой области понять описание различных вариантов осуществления с разными модификациями, подходящими для конкретного подразумеваемого использования.

Изобретение относится к устройствам отображения виртуальной реальности. Технический результат заключается в уменьшении нежелательных эффектов при использовании системы виртуальной реальности, таких как дезориентация, размытость изображения, усталость, напряжение зрения. Такой результат достигается тем, что осуществляют прием информации о положении первого глаза на голове пользователя и информации о положении второго глаза на голове пользователя. Первое изображение виртуальной реальности для первого глаза создается на основе информации о положении первого глаза. Второе изображение виртуальной реальности для второго глаза создается на основе информации о положении второго глаза. Первое изображение и второе изображение для отображения передаются пользователю. 2 н. и 13 з.п. ф-лы, 9 ил.

1. Устройство для отображения виртуальной реальности, содержащее:

процессор (216) изображений, выполненный с возможностью

приема информации (226) о положении первого глаза (234) на голове (236) пользователя (206) и информации (228) о положении второго глаза (240) на голове (236) пользователя (206);

создания первой виртуальной камеры (244) и второй виртуальной камеры (246) в виртуальной реальности (204);

идентификации первого положения (256) первой виртуальной камеры (244) в виртуальной реальности (204) и второго положения (260) второй виртуальной камеры (246) в виртуальной реальности (204);

создания первого изображения (252) виртуальной реальности (204) для первого глаза (234) на основе информации (226) о положении первого глаза (234) и на основе первого положения (256) первой виртуальной камеры (244);

создания второго изображения (254) виртуальной реальности (204) для второго глаза (240) на основе информации (228) о положении второго глаза (240) и на основе второго положения (260) второй виртуальной камеры (246); и

передачи первого изображения (252) и второго изображения (254) для отображения пользователю (206).

2. Устройство по п. 1, дополнительно содержащее:

контроллер (214), выполненный с возможностью создания виртуальной реальности (204);

средство (405) слежения за головой, выполненное с возможностью отслеживания положения (264) головы (236) и выработки информации (230) о положении головы (236);

причем процессор (216) изображений дополнительно выполнен с возможностью

приема информации (230) о положении (264) головы (236) пользователя (206),

создания первого изображения (252) виртуальной реальности (204) для первого глаза (234) на основе информации (226) о положении первого глаза (234) и информации (230) о положении (264) головы и

создания второго изображения (254) виртуальной реальности (204) для второго глаза (240) на основе информации (228) о положении второго глаза (240) и информации (230) о положении головы.

3. Устройство по п. 1, отличающееся тем, что устройство (220) отображения выполнено с возможностью

обеспечения вида физической среды (202) вокруг пользователя (206) помимо первого изображения (252) и второго изображения (254);

причем, первое положение (256) первой виртуальной камеры (244) в виртуальной реальности (204) представляет первую точку (258) наблюдения первого глаза (234) в виртуальной реальности (204), а второе положение (260) второй виртуальной камеры (246) в виртуальной реальности (204) представляет вторую точку (262) наблюдения второго глаза (240) в виртуальной реальности (204);

создания первого изображения (252) виртуальной реальности (204), видимого первой виртуальной камерой (244); и

создания второго изображения (254) виртуальной реальности (204), видимого второй виртуальной камерой (246).

4. Устройство по п. 1, дополнительно содержащее:

устройство (220) отображения, выполненное с возможностью приема первого изображения (252) и второго изображения (254), отображения первого изображения (252) для первого глаза (234) и отображения второго изображения (254) для второго глаза (240); причем устройство (220) отображения дополнительно содержит:

первый дисплей (512), выполненный с возможностью отображения первого изображения (252) для первого глаза (234); и

второй дисплей (514), выполненный с возможностью отображения второго изображения (254) для второго глаза (240).

5. Устройство по п. 1, дополнительно содержащее:

систему (402) слежения за глазами, выполненную с возможностью

отслеживания первого положения (256) первого глаза (234),

отслеживания второго положения (260) второго глаза (240);

выработки информации (226) о положении первого глаза с использованием первого положения (256) первого глаза (234); и

выработки информации (228) о положении второго глаза с использованием второго положения (260) второго глаза (240).

6. Устройство по п. 2, дополнительно содержащее:

аватар (248) в виртуальной реальности (204), причем аватар (248) представляет пользователя (206) в виртуальной реальности (204); причем первая виртуальная камера (244) связана с головой (250) аватара (248) в виртуальной реальности (204), причем первая виртуальная камера (244) выполнена с возможностью позиционирования с использованием информации (226) о положении первого глаза;

вторая виртуальная камера (246) связана с головой (250) аватара (248) в виртуальной реальности (204), причем вторая виртуальная камера (246) выполнена с возможностью позиционирования с использованием информации (228) о положении второго глаза;

причем первая виртуальная камера (244) и вторая виртуальная камера (246) выполнены с возможностью позиционирования по вертикали с использованием информации (230) о положении головы; и

аватар (248) выполнен с возможностью перемещения в виртуальной реальности (204) для соответствия положению головы (236) с использованием информации (230) о положении головы (250).

7. Устройство по п. 1, отличающееся тем, что первое изображение (252) обеспечивает первую точку (258) наблюдения виртуальной реальности (204), и второе изображение (254) обеспечивает вторую точку (262) наблюдения виртуальной реальности (204), причем первая точка (258) наблюдения отличается от второй точки (262) наблюдения.

8. Устройство по п. 1, в котором информация (226) о положении первого глаза включает местоположение первого глаза (234) и ориентацию первого глаза (234), и информация (228) о положении второго глаза включает местоположение второго глаза (240) и ориентацию второго глаза (240).

9. Способ отображения виртуальной реальности (204), включающий:

прием информации (226) о положении первого глаза (234) на голове (236) пользователя (206) и информации (228) о положении второго глаза (240) на голове (236) пользователя (206);

создание первой виртуальной камеры (244) и второй виртуальной камеры (246) в виртуальной реальности (204);

идентификацию первого положения (256) первой виртуальной камеры (244) в виртуальной реальности (204) и второго положения (260) второй виртуальной камеры (246) в виртуальной реальности (204);

создание первого изображения (252) виртуальной реальности (204) для первого глаза (234) на основе информации (226) о положении первого глаза и на основе первого положения (256) первой виртуальной камеры (244);

создание второго изображения (254) виртуальной реальности (204) для второго глаза (240) на основе информации (228) о положении второго глаза (240) и на основе второго положения (260) второй виртуальной камеры (246); и

передачу первого изображения (252) и второго изображения (254) для отображения пользователю (206).

10. Способ по п. 9, дополнительно включающий:

прием информации (230) о положении (264) головы (236) пользователя (206), причем создание первого изображения (252) включает:

создание первого изображения (252) виртуальной реальности (204) для первого глаза (234) на основе информации (226) о положении первого глаза (234) и информации (230) о положении головы, причем создание второго изображения (254) включает:

создание второго изображения виртуальной реальности (204) для второго глаза (240) на основе информации (228) о положении второго глаза (240) и информации (230) о положении головы.

11. Способ по п. 9, согласно которому:

первая виртуальная камера (244) в виртуальной реальности (204) представляет первую точку (258) наблюдения первого глаза (234) в виртуальной реальности (204), а второе положение (260) второй виртуальной камеры (246) в виртуальной реальности (204) представляет вторую точку (262) наблюдения второго глаза (240) в виртуальной реальности (204),

причем создание первого изображения (252) включает:

создание первого изображения (252) виртуальной реальности (204), видимого первой виртуальной камерой (244), причем создание второго изображения (254) включает:

создание второго изображения (254) виртуальной реальности (204), видимого второй виртуальной камерой (246).

12. Способ по п. 9, дополнительно включающий: отображение первого изображения (252) для первого глаза (234) с помощью устройства (220) отображения; и отображение второго изображения (254) для второго глаза (240) с помощью устройства (220) отображения.

13. Способ по п. 12, согласно которому устройство (220) отображения выбирают из шлема (302) виртуальной реальности, системы (304) отображения с затвором, системы (306) отображения с использованием поляризации, системы (308) отображения на сетчатку и системы (310) отображения с использованием контактных линз.

14. Способ по п. 9, дополнительно включающий: отслеживание первого положения (256) первого глаза (234) и второго положения (260) второго глаза (240) с использованием системы (402) слежения за глазами; и выработку информации (226) о положении первого глаза с использованием первого положения (256) первого глаза (234) и информации (228) о положении второго глаза с использованием второго положения (260) второго глаза (240).

15. Способ по п. 12, согласно которому устройство (220) отображения выполнено с возможностью обеспечения вида физической среды (202) вокруг пользователя (206) помимо первого изображения (252) и второго изображения (254).