СИСТЕМЫ И СПОСОБЫ УМЕНЬШЕНИЯ ТРАНЗИТНЫХ УЧАСТКОВ, СВЯЗАННЫХ С НАШЛЕМНОЙ СИСТЕМОЙ Российский патент 2017 года по МПК G06F3/14 

Область техники

Настоящее изобретение относится к способам и системам для уменьшения транзитных участков, связанных с нашлемной системой.

Уровень техники

В общем случае, для ведения игры используют игровую видеоприставку. Например, для ведения игры пользователь обычно приобретает контроллер и приставку. Приставка может быть связана с сетью Интернет. Приставку подключают к питанию, и пользователь управляет контроллером для ведения игры через приставку и Интернет. Однако число транзитных участков, например число сетевых устройств и т.п., через которые проходят данные игры для облегчения ведения игры, может замедлить ход игры. Например, пользователь может быть вынужден ждать загрузки графики в приставку из Интернета, чтобы играть на определенных этапах игры.

Именно в данном контексте описаны все возникающие в настоящем изобретении варианты осуществления.

Раскрытие изобретения

Описанные в настоящем изобретении варианты осуществления представляют системы и способы уменьшения числа транзитных участков, связанных с описанной нашлемной системой.

Вообще говоря, в различных вариантах осуществления системы и способы обеспечивают ведение игры, в которой данные, хранимые на носителе, передаются потоком к нашлемному дисплею из сети, минуя маршрутизатор между нашлемным дисплеем и сетью. Неиспользование маршрутизатора уменьшает число транзитных участков между нашлемным дисплеем и игровым облаком, которое исполняет игровую программу, чтобы обеспечить пользователю возможность ведения игры.

В некоторых вариантах осуществления описан нашлемный дисплей, используемый для ведения игры через игровую облачную систему. Нашлемный дисплей включает в себя схему связи для приема и передачи данных интерактивной среды, связанных с игровой программой, по сети. Данные интерактивной среды обрабатываются с помощью игровой облачной системы и передаются потоком прямо в схему связи нашлемного дисплея. Нашлемный дисплей, кроме того, включает в себя схему пользовательского ввода для приема действий от пользователя, чтобы создавать входной сигнал, который включает в себя положение и движение, определяемые пользовательской входной схемой. Нашлемный дисплей включает в себя схему обработки данных игры для расшифровки данных интерактивной среды, полученных из сети. Схема обработки данных игры управляет частью интерактивности, связанной с игровой программой. Часть интерактивности создается на основании входного сигнала.

В некоторых вариантах осуществления описан способ ведения игры через игровую облачную систему. Способ включает в себя прямую потоковую передачу данных интерактивной среды, связанных с игровой программой, по сети. Данные интерактивной среды обрабатываются с помощью игровой облачной системы. Управление прямой потоковой передачей выполняется посредством нашлемного дисплея. Способ, кроме того, включает в себя прием входных данных, в том числе, положения и движения, обнаруживаемых нашлемным дисплеем, расшифровку данных интерактивной среды, принятой из сети, и управление частью интерактивности, связанной с игровой программой. Часть интерактивности создается на основании входного сигнала.

В различных вариантах осуществления описан энергонезависимый компьютерочитаемый носитель для сохранения на нем исполняемых компьютером команд для ведения игры через игровую облачную систему. Исполняемые компьютером команды, при выполнении процессором компьютера, прямо передают потоком интерактивную среду, связанную с игровой программой, по сети. Данные интерактивной среды обрабатываются с помощью игровой облачной системы. Кроме того, выполняемые компьютером команды при выполнении процессором принимают входной сигнал от нашлемного дисплея. Входной сигнал включает в себя положение и движение, определяемые нашлемным дисплеем. Выполняемые компьютером команды при выполнении процессором расшифровывают интерактивную среду, принятую из сети, и управляют частью интерактивности, связанной с игровой программой. Часть интерактивности создается на основе входного сигнала.

Другие описанные аспекты будут вполне очевидны из следующего подробного описания, в сочетании с прилагаемыми чертежами, иллюстрирующими, в качестве примера, принципы вариантов осуществления, описанных в настоящем документе.

Краткое описание чертежей

Различные варианты осуществления, описанные в настоящем изобретении, могут быть лучше понятны со ссылкой на следующее описание вместе с прилагаемыми чертежами, на которых:

На фиг. 1А приведена схема системы для уменьшения числа транзитных участков между игровым облаком и нашлемным дисплеем (head mounted display, HMD) или ручным контроллером (hand-held controller, ННС), в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 1В приведена схема системы для передачи данных между HMD или ННС и игровым облаком по сети и маршрутизатору, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 1С приведена схема системы для использования приставки для передачи данных, хранимых на носителе, и для использования или не использования маршрутизатора для передачи входных данных и/или данных, хранимых на носителе, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 2 приведена схема системы для иллюстрирования создания входных данных на основании движений головой и/или движений рукой пользователя, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 3 приведена схема HMD, которая является примером HMD по фиг. 1А, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 4А приведена схема изображения, которое отображается на экране дисплея HMD по фиг. 3 для доступа к беспроводной сети, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 4В приведена схема изображения, которое отображается на экране дисплея компьютера для доступа к беспроводной сети, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 5А приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где периферийная область экрана дисплея HMD имеет низкое разрешение, а центральная область имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 5В приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где верхняя область и нижняя область экрана дисплея HMD имеет низкое разрешение, а область между верхней и нижней областями имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 5С приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где правая область и левая область экрана дисплея HMD имеет низкое разрешение, а область между правой и левой областями имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 6 приведена схема, иллюстрирующая различные типы ННС, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 7А приведена схема варианта осуществления HMD, которая является примером HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 7В приведен вид в изометрии варианта осуществления HMD, который является примером HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг 8 приведена структурная схема приставки, которая совместима для взаимодействия с ННС и HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 9 приведена структурная схема, иллюстрирующая вариант осуществления игровой системы, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

Осуществление изобретения

Описаны системы и способы уменьшения числа транзитных участков, связанных с нашлемной системой. Например, сетевое устройство, например маршрутизатор, повторитель, концентратор, компьютер, приставка и т.п., добавляет транзитный участок для данных, передаваемых через сетевое устройство. Одно или больше сетевых устройств может быть расположено между нашлемным дисплеем (head mounted display, HMD) и сетью и/или между ручным контроллером (hand-held controller, ННС) и сетью. Транзитный участок может быть добавлен в результате приема данных сетевым устройством от другого устройства, буферизации данных сетевым устройством, анализа данных, и пересылки данных к другому устройству сетевым устройством. Системы и способы уменьшают число сетевых устройств между HMD и сетью и/или между ННС и сетью. Уменьшение числа сетевых устройств уменьшает задержку, например, время запаздывания, время буферизации данных, время приема данных, время анализа данных, время пересылки данных и т.п. При уменьшении задержки HMD и/или НМС используют для отображения насыщенных графических данных, которые приняты из игрового облака по сети с минимальной задержкой. Следует заметить, что различные варианты осуществления, описанные в настоящем документе, могут быть осуществлены без некоторых или всех указанных конкретных деталей. В других примерах хорошо известные операции обработки не описаны подробно, чтобы излишне не загромождать различные варианты осуществления, описанные в настоящем документе.

В некоторых вариантах осуществления система включает в себя компьютер, ННС и HMD. В различных вариантах осуществления компьютер может быть компьютером специального назначения, игровой приставкой, мобильным телефоном, планшетом или любым другим устройством, которое выполняет одну или больше частей интерактивной игровой программы, которая воспроизводится на дисплее. В данных вариантах осуществления любые оставшиеся части интерактивной игровой программы выполняются в игровой облачной системе, например на одной или больше виртуальных машин (virtual machines, VM). В некоторых вариантах осуществления игровая облачная система включает в себя ряд серверов, которые выполняют игровую программу, чтобы создавать игровую среду на игровом устройстве, HMD, телевизоре, экране компьютера и т.п. Например, гипервизор выполняется в верхней части физических ресурсов, например, процессоров, устройств памяти, серверов и т.п., для выполнения ряда операционных систем и ряда компьютерных программ для создания данных, которые в дальнейшем используются для создания игровой среды на HMD. Примеры игровых приставок включают те, которые изготавливает Sony Computer Entertainment™, Inc. и другие производители. Интерактивная игровая программа может быть многопользовательской игровой программой, которую использует множество пользователей, или игровой программой для одного пользователя, которую использует пользователь с помощью компьютера.

В нескольких вариантах осуществления все части интерактивной игровой программы выполняются в игровой облачной системе или на компьютере.

В нескольких вариантах осуществления интерактивная игровая программа выполняется для создания среды с погружением в HMD. Например, процессором создается среда с погружением, в которую погружается пользователь. Среда с погружением заставляет пользователя чувствовать, будто он/она является частью виртуального мира, который создано процессором. Среда с погружением мысленно отделяет пользователя от реального мира и переносит пользователя в виртуальный мир, для предоставления пользователю игрового опыта. В некоторых вариантах осуществления процессор создает среду с погружением, которая отображается в HMD для создания у пользователя ощущения, что виртуальный мир среды погружения является реальным. В некоторых вариантах осуществления данные, хранимые на носителе, или дополнительные данные, хранимые на носителе, как описано здесь, включают в себя данные, используемые для создания среды с погружением.

HMD представляет собой устройство, надеваемое на голову пользователя, или часть шлема, который имеет малое оптическое устройство дисплея, например, линзу, стекло и т.п., перед одним или каждым глазом пользователя. В некоторых вариантах осуществления одна сцена, например, виртуальная сцена, комбинированная сцена виртуальной реальности и т.п. отображаются на экране дисплея HMD, даже хотя два оптических устройства используются для двух глаз. Оба глаза наблюдают одну сцену.

В некоторых вариантах осуществления HMD обладает возможностью приема и воспроизведения видеовыхода от компьютера. В различных вариантах осуществления ННС и/или HMD поддерживает беспроводную связь с компьютером, поскольку это обеспечивает большую свободу перемещения ННС и/или HMD, чем проводное соединение.

ННС может включать в себя какие-либо из разнообразных функций, такие как, например, кнопки, джойстик, навигационная клавиша, пусковой механизм, жесты рукой, сенсорная панель, сенсорный экран или другие типы механизмов ввода и т.п., для создания входного сигнала для интерактивных игровых программ. Одним из примеров ННС является контроллер Sony Dualshock 4, изготавливаемый Sony Computer Entertainment, Inc. Другие примеры ННС включают в себя контроллеры, изготавливаемые другими предприятиями и имеющие какое-либо число моделей и любой номер версии.

Кроме того, ННС может быть контроллером движения, который дает возможность пользователю взаимодействия и обеспечивает входной сигнал для интерактивной игровой программы путем перемещения контроллера движения. Одним из примеров контроллера движения является контроллер PlayStation Move™, изготавливаемый Sony Computer Entertainment™, Inc.

Аналогично, HMD может включать в себя схему пользовательского ввода, дающую пользователю возможность взаимодействия и обеспечивающую входной сигнал для интерактивной игровой программы за счет движения HMD. Для обнаружения положения и перемещения контроллера движения и/или HMD могут быть использованы различные методы. Например, контроллер движения и/или схема пользовательского ввода может включать в себя различные типы схем инерционных датчиков, таких как акселерометры, гироскопы и магнитометры. В некоторых вариантах осуществления акселерометр представляет собой 6-осный акселерометр с низкой задержкой. В некоторых вариантах осуществления контроллер движения и/или HMD может включать в себя один или больше неподвижных опорных объектов, например, светоизлучающие диоды (light emitting diodes, LED), окрашенные точки, отражатели света, маркеры, отражающий в обратном направлении материал, заранее заданную форму, заранее заданный цвет, заранее заданный объект, штрих-код, метки, быстродействующий (quick response, QR) код и т.п., и изображения неподвижных опорных объектов захватываются одной или большим количеством цифровых камер. В некоторых вариантах осуществления цифровая камера включает в себя видеокамеру, которая дополнительно содержит один прибор с зарядовой связью (Charge Coupled Device, CCD), светодиодный индикатор, и аппаратное устройство сжатия и шифрования данных в режиме реального времени, так что сжатые видеоданные могут быть переданы в соответствующем формате, таком как основанный на интраобразе стандарт экспертной группы по вопросам движущегося изображения (motion picture expert group, MPEG). Положение и перемещение контроллера движения и/или корпуса затем определяют путем анализа изображений, захваченных одной или большим количеством цифровых камер.

На фиг. 1А приведена схема варианта осуществления системы 100 для уменьшения числа транзитных участков между игровым облаком 102 и HMD 104 или ННС 106. В некоторых вариантах осуществления игровое облако 102 здесь называют игровой облачной системой. В некоторых вариантах осуществления пользователь 108 располагает HMD 104 на своей голове таким образом, чтобы линзы HMD 104 располагались перед глазами таким же образом, как пользователь 108 надевал бы шлем. В некоторых вариантах осуществления HMD 104 надевают, как очки, например, корректирующие очки, защитные очки и т.п. В некоторых вариантах осуществления HMD 104 покрывает оба глаза пользователя 108. ННС 106 пользователь 106 удерживает руками.

В некоторых вариантах осуществления вместо ННС 106, пользователь 106 использует руки для выполнения жестов, например, жестов рукой, жестов пальцем и т.п. для HMD 104. Например, цифровая камера в HMD 104 захватывает изображения жестов, и процессор в HMD 104 анализирует жесты для определения того, зависит ли игра, отображаемая в HMD 104, от жестов.

Используемый здесь процессор может быть микропроцессором, программируемым логическим устройством (programmable logic device, PLD), специализированной интегральной микросхемой (application specific integrated circuit, ASIC), или их сочетанием.

Система 100 включает в себя сеть 110, которая может быть локальной сетью (local area network, LAN), глобальной сетью (wide area network, WAN), или их сочетанием. Примеры сети 110 включают в себя Интернет, Интранет, или их сочетание. В некоторых вариантах осуществления сеть 110 использует протокол управления передачей (transmission control protocol, ТСР)/протокол Internet Protocol (IP) или протокол пользовательских дейтаграмм (user datagram protocol/IP, UDP/IP) для передачи данных, сохраняемых на носителе, по сети 110 между игровым облаком 102 и HMD 104 или ННС 106. В различных вариантах осуществления сеть 110 использует протокол Ethernet, протокол TCP/IP, или оба протокола, для передачи данных, сохраняемых на носителе, по сети 110 между игровым облаком 102 и HMD 104 или ННС 106.

Игровое облако 102 включает в себя кодирующее/декодирующее устройство (кодек) 112 и потоковый буфер 114. Потоковый буфер 114 сохраняет поток данных 116, сохраняемых на носителе, который создается после выполнения игровой программы 117. Данные 116, сохраняемые на носителе, включают в себя данные о виртуальной среде, данные виртуального игрового объекта, их сочетание и т.п. В ряде вариантов осуществления данные о виртуальной среде воспроизводятся для создания виртуальной среды игры, а данные виртуального игрового объекта воспроизводятся для создания одного или больше виртуальных игровых объектов, например, виртуальных игровых персонажей, виртуальных точек, виртуальных призов, игрового интерфейса и т.п. В ряде вариантов осуществления виртуальная среда игры включает в себя виртуальный игровой объект. Примеры виртуальной среды включают в себя виртуальную географическую область, например, виртуальный город, виртуальную дорогу, виртуальное озеро, виртуальный океан и т.п. Игровая программа 117 представляет собой пример интерактивной игровой программы и выполняется на одном или больше серверов игрового облака 102. Пример кодека 112 включает в себя компрессионное/декомпрессионное устройство. Например, кодек 112 шифрует/расшифровывает данные 116, сохраняемые на носителе. Примеры сжатия включают в себя сжатие с потерей данных, сжатие без потери данных и т.п. В некоторых вариантах осуществления кодек 112 выполняет пакетирование и депакетирование, и выполняет шифрование и расшифровку данных. В данных вариантах осуществления кодек 112 включает в себя потоковый буфер 114.

Пользователь 108 использует HMD 104 для доступа к операционной системе (operating system, OS), которая выполняется на процессоре HMD 104. Например, пользователь 108 включает посредством кнопки HMD 104, и процессор HMD 104 выполняет OS.

В некоторых вариантах осуществления OS позволяет HMD 104 получать доступ к сети 110. Например, когда пользователь 108 выбирает приложение сетевого доступа, например, значок сетевого доступа, символ сетевого доступа и т.п., которое выполняется процессором HMD 104 в верхней части OS, приложение сетевого доступа представляет список сетей на микроконтроллере HMD 104 для показа пользователю 108. Пользователь 108 использует схему пользовательского ввода для выбора одной из сетей для доступа к сети 110. Например, пользователь 108 выполняет одно или больше движений головой, например наклон головы, подмигивание, пристальное вглядывание, широко раскрытый взгляд, кивание, встряхивание и т.п., которое обнаруживается схемой пользовательского ввода, для создания входного сигнала, чтобы выбрать одну из сетей. В другом примере пользователь 108 выбирает кнопку на ННС 106 для выбора одной из сетей, и выбор передается от ННС 106 к HMD 104 с помощью схемы связи ННС 106. Примеры схемы связи включают в себя приемопередатчик, схему передачи/приема, контроллер сетевого интерфейса или их сочетание и т.п. Приложение сетевого доступа также требует пароля, например, ключа с секретом, секретного кода и т.п., от пользователя 108 для доступа к сети 110. После подтверждения того, что пароль действителен, приложение сетевого доступа позволяет доступ к сети 110 пользователю 108.

После выполнения доступа к сети 110, OS позволяет HMD 104 доступ к игровой программе 117. Например, когда пользователь 108 выбирает приложение доступа к игре, например, значок доступа к игре, символ доступа к игре и т.п., которое выполняется процессором HMD 104 в верхней части OS, приложение доступа к игре требует доступа к игровой программе 117 по сети 110. Например, пользователь 108 выполняет одно или больше движений головой, которое обнаруживается схемой пользовательского ввода, чтобы создавать входной сигнал для выбора приложения доступа к игре. В другом примере пользователь 108 выбирает кнопку на ННС 106 для выбора приложения доступа к игре, и выбор передается от ННС 106 к HMD 104 с помощью схемы связи ННС 106.

После получения доступа к игровой программе 117 по сети 110, микроконтроллер HMD 104 отображает игру на экране дисплея HMD 104. В некоторых вариантах осуществления экран дисплея HMD 104 представляет собой быстродействующий экран для уменьшения размытости, когда HMD 104 перемещается быстро. Пользователь 108 выполняет одно или больше движений головой, и каждое движение головой запускает схему пользовательского ввода для создания входного сигнала, который может быть использован для ведения игры. В некоторых вариантах осуществления пользователь 108 выполняет выбор одной или больше кнопок ННС 106, используя руку, и каждое действие руки, например нажатие пальцем, движение пальцем, вращение пальцем, сдвигание вверх пальцем, сдвигание вниз пальцем, сдвигание вправо пальцем, сдвигание влево пальцем и т.п., запускает ННС 106, чтобы создавать входной сигнал, который может быть использован для ведения игры.

В некоторых вариантах осуществления приложение доступа к игре требует имени пользователя и/или пароля от пользователя 108 для доступа к игровой программе 117. После получения подтверждения от игрового облака 102, что имя пользователя и/или пароль действительны, приложение доступа к игре позволяет доступ к игровой программе 117 пользователю 108. В некоторых вариантах осуществления пользователь 108 предоставляет имя пользователя и/или пароль, выполняя одно или больше движений рукой и/или выполняя одно или больше движений головой.

В некоторых вариантах осуществления вместо доступа к приложению доступа к игре пользователь 108 запрашивает доступ к веб странице после доступа к сети 110, и веб страница позволяет пользователю 108 доступ к игровой программе 117. Например, пользователь 108 выбирает приложение веб-браузера через схему пользовательского ввода, выполняя одно или больше движений головой, или через ННС 106, выполняя одно или больше движений рукой для доступа к веб странице. После доступа к веб странице пользователь 108 ведет игру, отображаемую на веб странице. Игра отображается, когда игровая программа 117 выполняется в игровом облаке 102.

В некоторых вариантах осуществления имя пользователя и/или пароль пользователя 108 подтверждается перед доступом к веб странице для игры в игру, которая отображается, когда игровая программа 117 выполняется в игровом облаке 102. Имя пользователя и/или пароль подтверждаются в режиме, аналогичном описанному выше, когда пользователь 108 получает доступ к игре с помощью приложения доступа к игре.

Когда получен доступ к игровой программе 117, кодек 112 шифрует, например, сжимает и т.п. поток цифровых данных для данных 116, сохраняемых на носителе, для оправки потока зашифрованных данных, сохраняемых на носителе, к HMD 104 по сети 110. В некоторых вариантах осуществления поток цифровых данных зашифрованных данных, сохраняемых на носителе, находится в виде пакетов для отправки по сети 110.

HMD 104 принимает поток цифровых данных зашифрованных данных, сохраняемых на носителе, по сети 110 от кодека 112, и поток цифровых данных обрабатывается, например, расшифровывается, депакетируется и т.п., и воспроизводится для отображения игры на экране дисплея HMD 104. Когда игра отображается на экране дисплея HMD 104, один или больше входных сигналов принимается от HMD 104 и/или ННС 106. Например, пользователь 108 выполняет одно или больше движений головой после надевания HMD 104. В качестве другого примера, пользователь 108 выполняет одно или больше движений рукой, например, нажимает кнопку, перемещает джойстик, жест рукой, жест пальцем, их сочетание и т.п., и, когда выполнено одно или больше движений рукой, ННС 106 создает входные данные, которые преобразуются во входные сигналы с помощью схемы связи ННС 106 для отправки в схему связи HMD 104. Входные сигналы преобразуются из аналоговой формы в цифровую форму с помощью схемы связи HMD 104 для создания входных данных, и входные данные пакетируются и шифруются с помощью HMD 104 и отправляются по сети 110 к кодеку 112.

В некоторых вариантах осуществления игровая программа 117 отображает входные данные, созданные на основе одного или больше движений головой с помощью входных данных, созданных на основе одного или больше движений рукой для определения того, изменилось ли состояние игры, которое отображается на HMD 104. Например, когда входной сигнал, указывающий наклон головы, принят по сети 110 с входным сигналом, указывающим нажатие кнопки на ННС 106, игровая программа 117 определяет изменение состояния игры. В противном случае игровая программа 117 определяет отсутствие изменения состояния игры.

Входные данные входов, созданные на основе одного или больше движений головой и/или одного или больше движений рукой, пакетируются и шифруются с помощью HMD 104, и отправляются в виде потока шифрованных входных данных по сети 110 к кодеку 112. Например, когда входные данные не отправляют через маршрутизатор, входные данные отправляют прямо из HMD 104 по сети 110 к игровому облаку 102. Маршрутизатор может быть расположен между HMD 104 и сетью 110, чтобы направлять, например, направлять, отправлять и т.п., к адресуемому устройству и т.п., данные между HMD 104 и сетью 110.

Кодек 112 расшифровывает, например, разворачивает и т.п., поток зашифрованных входных данных, полученных по сети 110 от HMD 104, и расшифрованные входные данные буферизируются в потоковом буфере 114 для депакетирования и отправки в игровую программу 117. Одно или больше игровых облаков 102 депакетирует поток расшифрованных входных данных и отправляет входные данные в игровую программу 117. В некоторых вариантах осуществления игровое облако 102 вначале выполняет депакетирование, а затем выполняет расшифровку.

На основании входных данных игровая программа 117 создает дополнительные данные, сохраняемые на носителе, которые пакетируются одним или больше серверов игрового облака 102 для создания потока дополнительных данных, сохраняемых на носителе. Поток дополнительных данных, сохраняемых на носителе, сохраняется в потоковом буфере 114, зашифровывается кодеком 112, и отправляется в виде потока шифрованных дополнительных данных, сохраняемых на носителе, по сети 110 к HMD 104. В некоторых вариантах осуществления дополнительные данные, сохраняемые на носителе, вначале шифруются, а затем пакетируются перед отправкой дополнительных данных, сохраняемых на носителе, по сети 110 к HMD 104. HMD 104 принимает поток шифрованных дополнительных данных, сохраняемых на носителе, депакетирует поток и расшифровывает зашифрованные дополнительные данные, сохраняемые на носителе, чтобы подавать дополнительные данные, сохраняемые на носителе, к микроконтроллеру HMD 104.

В некоторых вариантах осуществления игровая среда включает в себя данные 116, сохраняемые на носителе, дополнительные данные, сохраняемые на носителе, или их сочетание.

Микроконтроллер HMD 104 изменяет отображение игры, которое выполняется игровой программой 117, на основе дополнительных данных, сохраняемых на носителе. Например, когда пользователь 108 кивает, аватар пользователя 108 также кивает в виртуальном мире игры, который создается путем выполнения игровой программы 117. В другом примере, когда пользователь 108 качает головой в знак отрицания, аватар пользователя 108 также качает головой в знак отрицания в виртуальном мире игры, который создается путем выполнения игровой программы 117. В другом примере, когда пользователь 108 смотрит на виртуальный игровой персонаж, отображаемый на экране дисплея HMD 104, виртуальный игровой персонаж оглядывается на пользователя 108. Когда пользователь 108 отводит взгляд от виртуального игрового персонажа, виртуальный игровой персонаж отводит взгляд от пользователя 108. Кроме того, в данном примере, наружная цифровая камера HMD 104 захватывает изображение глаз или расположение головы пользователя 108. На основе взгляда глаз или положения головы игровая программа 117 изменяет положение глаз виртуального игрового персонажа. Следует заметить, что входные данные входных сигналов, создаваемых на основе одного или больше движений головой и/или одного или больше движений рукой, изменяют состояние игры. В некоторых вариантах осуществления отображение игры упоминается в настоящем документе как часть интерактивности, связанная с игровой программой 117.

В различных вариантах осуществления, вместо передачи входных данных, которые созданы на основе одного или больше движений рукой, от ННС 106 к HMD 104, входные данные передаются прямо от ННС 106 по сети 110 к кодеку 112. Например, входные данные передаются прямо от ННС 106 по сети 110 к кодеку 112, когда входные данные не передаются через маршрутизатор (не показано) между ННС 106 и сетью 110. Входные данные, которые создаются на основе одного или больше движений рукой, из HMD 104 передаются с помощью ННС 106 способом, аналогичным тому, которым входные данные передаются с помощью HMD 104. Например, входные данные, которые созданы на основе одного или больше движений рукой, из HMD 104, шифруются и пакетируются с помощью ННС 106 и отправляются в виде потока шифрованных входных данных по сети 110 к кодеку 112.

Следует заметить, что отсутствие маршрутизатора (не показано) между HMD 104 и сетью 110 уменьшает число транзитных участков между сетью 110 и HMD 104. В вариантах осуществления, в которых маршрутизатор отсутствует, интерактивная среда, например, данные 116, сохраняемые на носителе, дополнительные данные, сохраняемые на носителе и т.п., передаются потоком прямо к карте беспроводного доступа (wireless access card, WAC) HMD 104 с помощью кодека 112 игрового облака 102 по сети 110. Кроме того, в данных вариантах осуществления интерактивная среда, например, входные данные и т.п., передается потоком прямо посредством WAC к кодеку 112 игрового облака 102 по сети 110.

Уменьшение числа транзитных участков экономит время, связанное с маршрутизатором. Например, маршрутизатор принимает данные от другого сетевого устройства, буферизирует данные, анализирует данные и пересылает данные к другому сетевому устройству. Время приема данных, буферизации данных, анализа данных и пересылки данных экономится, если данные передаются между HMD 104 и игровым облаком 102 по сети 110, минуя маршрутизатор. Кроме того, время приема данных, буферизации данных, анализа данных и пересылки данных экономится, если данные передаются между ННС 106 и игровым облаком 102 по сети 110, минуя маршрутизатор.

Аналогично, когда между HMD 104 или ННС 104 и сетью 110 не используется компьютер, например, приставка, мобильное устройство и т.п., время, связанное с приемом, сохранением, анализом и пересылкой данных, экономится.

На фиг. 1В приведена схема варианта осуществления системы 150 для передачи данных между HMD 104 или ННС 106 и игровым облаком 102 по сети 110 и маршрутизатору 152. Система 150 похожа на систему 100 (фиг. 1А), за исключением того, что система 150 содержит маршрутизатор 152 между HMD 104 и сетью 110. Маршрутизатор 152 также расположен между ННС 106 и сетью 110.

HMD 104 связан с маршрутизатором 152 посредством беспроводного подключения, например, соединения Bluetooth, соединения Wi-Fi и т.п. Кроме того, ННС 106 связано с маршрутизатором 152 посредством беспроводного соединения, например, соединения Bluetooth, подключения Wi-Fi и т.п. В некоторых вариантах осуществления маршрутизатор 152 связан с сетью 110 посредством проводного соединения.

Система 150 работает аналогично системе 100 (фиг. 1А), за исключением того, что поток шифрованных данных отправляется от HMD 104 или ННС 106 к маршрутизатору 152. Маршрутизатор 152 направляет, например, направляет и т.п., поток шифрованных данных в канал в сети 110 для облегчения отправки потока к кодеку 112. Маршрутизатор 152 использует IP-адрес и/или адрес уровня доступа к среде (media access layer, МАС-адрес) кодека 112, чтобы направлять поток шифрованных данных к кодеку 112. В некоторых вариантах осуществления маршрутизатор 152 определяет сетевой канал сети 110 на основании одного или больше показателей сетевого трафика, например, пакетного трафика в сетевом канале, затора в сетевом канале и т.п.

Маршрутизатор 152 принимает поток шифрованных данных из игрового облака 102 по сети 110 и направляет поток шифрованных данных к HMD 104. Например, маршрутизатор 152 направляет поток шифрованных данных, принятых из игрового облака 102 по сети 110, к HMD 104 на основе IP-адреса и/или МАС-адреса HMD 104.

На фиг. 1С приведена схема варианта осуществления системы 170 для использования компьютера 172 для передачи данных, сохраняемых на носителе, и для использования маршрутизатора 152 для передачи входных данных и/или данных, сохраняемых на носителе.

В некоторых вариантах осуществления вместо HMD 104, на экране дисплея представляется список беспроводных сетей, которые подключены к компьютеру 172 или установлены на компьютере 172. Например, когда компьютер 172 представляет собой мобильный телефон, компьютер 172 включает в себя экран дисплея для отображения списка беспроводных сетей. В другом примере, когда компьютер 172 подключен к экрану телевизионного дисплея, список беспроводных сетей отображается на экране дисплея. В данных вариантах осуществления список беспроводных сетей доступен, когда процессор 176 компьютера 172 выполняет приложение с беспроводным доступом, сохраняемое в запоминающем устройстве компьютера 172. Процессор 176 выполняет приложение с беспроводным доступом, когда пользователь 108 получает доступ к приложению с беспроводным доступом через HMD 104 или ННС 106, путем выполнения одного или больше движений головой и/или одного или больше движений рукой. Входные данные, созданные на основе одного или больше движений головой и/или одного или больше движений рукой, отправляются из схемы связи HMD 104 или ННС 106 к компьютеру 172. Когда процессор 176 компьютера 172 принимает входные данные, приложение с беспроводным доступом выполняется для создания списка беспроводных сетей.

Компьютер 172 включает в себя контроллер 174 сетевого интерфейса (network interface controller, NIC), который запрашивает часть игровой программы 117 у игрового облака 102. Примеры NIC включают в себя сетевую интерфейсную плату и сетевой адаптер. Часть игровой программы 117 шифруется кодеком 112 и передается потоком по сети 110 к NIC 174 компьютера 172. Процессор 176 компьютера 172 выполняет часть игровой программы 117 для создания данных, сохраняемых на носителе, которые отправляются из схемы 178 связи, например, приемопередатчика, схемы приема/передачи, контроллера сетевого интерфейса и т.п., в HMD 104 для отображения на экране дисплея HMD 104. Схема связи HMD 104 принимает данные, сохраняемые на носителе, от компьютера 172 и оправляет данные, сохраняемые на носителе, к микроконтроллеру HMD 104 для отображения на экране дисплея HMD 104.

Кроме того, схема 178 связи компьютера 172 принимает входные данные от HMD 104 и/или ННС 106, которые созданы на основе одного или больше движений головой и/или одного или больше движений рукой, и отправляет входные данные в процессор 176. В ответ на входные данные процессор 176 выполняет часть игровой программы 117, которая хранится на компьютере 172, чтобы создавать данные, сохраняемые на носителе, которые отправляются из схемы 178 связи в схему связи HMD 104. Данные, сохраняемые на носителе, отправляют в схему связи HMD 104 для изменения виртуальных игровых объектов и/или виртуальной среды игры, отображаемой при выполнении игровой программы 117. Когда виртуальные игровые объекты и/или виртуальная среда изменяются, состояние игры, отображаемое при выполнении игровой программы 117, изменяется.

В некоторых вариантах осуществления состояние игры отправляется с помощью NIC 174 компьютера 172 через маршрутизатор 152 и сеть 110 в игровое облако 102, чтобы информировать один или больше серверов игрового облака 102 о состоянии игры.

В различных вариантах осуществления данные, сохраняемые на носителе, например, данные 116, сохраняемые на носителе, дополнительные данные, сохраняемые на носителе и т.п., отправляются из кодека 112 по сети 110 и маршрутизатору 152 к HMD 104, пока часть игровой программы 117 не будет загружена в компьютер 172 из игрового облака 102. Например, вначале пользователь 108 использует приложение доступа к игре для доступа к игровой программе 117. Во время доступа к части игровой программы 117, данные 116, сохраняемые на носителе, отправляются из кодека 112 по сети 110 и маршрутизатору 152 в HMD 104 для отображения на экране дисплея HMD 104. Во время доступа к данным, сохраняемым на носителе, например, данным, 116, сохраняемым на носителе, дополнительным данным, сохраняемым на носителе и т.п., из игрового облака 102 для отображения на HMD 104, NIC 174 компьютера 172 загружает часть игровой программы 117 из игрового облака 102 через сеть 110 и маршрутизатор 152.

В некоторых вариантах осуществления, когда часть игровой программы 117 доступна с помощью приставки 172, данные, сохраняемые на носителе, например, данные 116, сохраняемые на носителе, дополнительные данные, сохраняемые на носителе и т.п., направляются из кодека 112 через сеть 110 к HMD 104 для отображения на экране дисплея HMD 104. В данных вариантах осуществления маршрутизатор 152 обходят для уменьшения числа транзитных участков. Во время доступа к данным, сохраняемым на носителе, например, данным, 116, сохраняемым на носителе, дополнительным данным, сохраняемым на носителе и т.п., из игрового облака 102 для отображения на HMD 104, после обхода маршрутизатора 152, NIC 174 компьютера 172 загружает часть игровой программы 117 из игрового облака 102 через сеть 110 и маршрутизатор 152.

В ряде вариантов осуществления часть входных данных, созданных на основе одного или больше движений головой и/или одного или больше движений рукой, отправляется из HMD 104 через маршрутизатор 152 и сеть 110 к кодеку 112 игрового облака 102, и остальная часть входных данных отправляется из схемы связи HMD 104 в схему 178 связи компьютера 172.

В различных вариантах осуществления часть входных данных, созданных на основе одного или больше движений рукой, отправляется из схемы связи ННС 106 через маршрутизатор 152 и сеть 110 к кодеку 112 игрового облака 102, а остальная часть входных данных отправляется из схемы связи ННС 106 в схему 178 связи компьютера 172.

В ряде вариантов осуществления часть входных данных, созданных на основе одного или больше движений головой и/или одного или больше движений рукой, отправляется из HMD 104 через сеть 110 к кодеку 112 игрового облака 102, и остальная часть входных данных отправляется из схемы связи HMD 104 в схему 178 связи компьютера 172. В данных вариантах осуществления маршрутизатор 152 обходится.

В некоторых вариантах осуществления часть входных данных, созданных на основе одного или больше движений рукой, отправляется из схемы связи ННС 106 через сеть 110 к кодеку 112 игрового облака 102, а остальная часть входных данных отправляется из схемы связи ННС 106 в схему 178 связи компьютера 172. В данных вариантах осуществления маршрутизатор 152 обходится.

В различных вариантах осуществления данные, сохраняемые на носителе, например, данные 116, сохраняемые на носителе, дополнительные данные, сохраняемые на носителе и т.п., которые созданы путем выполнения игровой программы 117, отправляются из кодека 112 игрового облака 102 через сеть 110 и маршрутизатор 152 к HMD 104 для воспроизведения данных, сохраняемых на носителе, чтобы отображать игру на экране дисплея HMD 104, и данные, сохраняемые на носителе, созданные путем выполнения части игровой программы 117 с помощью процессора 176 компьютера 172, отправляются из схемы 178 связи компьютера 172 в HMD 104 для отображения игры на экране дисплея. В данных вариантах осуществления игровое облако 102 и компьютер 172 имеют синхронизированные состояния игры. Например, кодек 112 отправляет состояние игры, созданное путем выполнения игровой программы 117, через сеть 110 и маршрутизатор 152 к NIC 174 компьютера 172, чтобы информировать компьютер 172 о состоянии игры. В другом варианте осуществления NIC 174 компьютера 172 отправляет состояние игры, созданное путем выполнения части игровой программы 117 на компьютере 172, через маршрутизатор 152 и сеть 110 к кодеку 112 игрового облака 102, чтобы информировать один или больше серверов игрового облака о состоянии игры.

В некоторых вариантах осуществления данные, сохраняемые на носителе, например, данные 116, сохраняемые на носителе, дополнительные данные, сохраняемые на носителе и т.п., которые созданы путем выполнения игровой программы 117, отправляются из кодека 112 игрового облака 102 через сеть 110 к HMD 104 для воспроизведения данных, сохраняемых на носителе, чтобы отображать игру на экране дисплея HMD 104, а данные, сохраняемые на носителе, созданные путем выполнения части игровой программы 117 с помощью процессора 176 компьютера 172, отправляются из схемы 178 связи компьютера 172 в HMD 104 для отображения игры на экране дисплея. В данных вариантах осуществления маршрутизатор 152 обходят, когда данные, сохраняемые на носителе, отправляют из кодека 112 к HMD 104. В данных вариантах осуществления игровое облако 102 и компьютер 172 имеют синхронизированные состояния игры, как описано выше.

В некоторых вариантах осуществления данные, сохраняемые на носителе, например, данные 116, сохраняемые на носителе, дополнительные данные, сохраняемые на носителе и т.п., которые созданы путем выполнения игровой программы 117, и которые отправляются из кодека 112 игрового облака 102 через сеть 110 и маршрутизатор 152 к HMD 104 для воспроизведения данных, сохраняемых на носителе, на экране дисплея HMD 104, имеют больший объем графики, чем данные, сохраняемые на носителе, созданные путем выполнения части игровой программы 117 с помощью процессора 176 компьютера 172.

В некоторых вариантах осуществления данные, сохраняемые на носителе, например, данные 116, сохраняемые на носителе, дополнительные данные, сохраняемые на носителе и т.п., которые созданы путем выполнения игровой программы 117, и которые отправляются из кодека 112 игрового облака 102 через сеть 110 к HMD 104 для воспроизведения данных, сохраняемых на носителе, на экране дисплея HMD 104, имеют больший объем графики, чем данные, сохраняемые на носителе, созданные путем выполнения части игровой программы 117 с помощью процессора 176 компьютера 172. В данных вариантах осуществления маршрутизатор 152 обходят, когда данные, сохраняемые на носителе, отправляют из кодека 112 игрового облака 102 через сеть 110 к HMD 104.

В различных вариантах осуществления HMD 104 (фиг. 1А-1С) используют для отображения двумерного или трехмерного изображения.

На фиг. 2 приведена схема варианта осуществления системы 200 для иллюстрации создания входных данных на основе одного или больше движений головой и/или одного или больше движений рукой. Пользователь 108 надевает HMD 202 и удерживает ННС 204. HMD 202 представляет собой пример HMD 104 (фиг. 1А-1С), и ННС 204 представляет собой пример ННС 106 (фиг. 1А-1С).

HMD 202 включает в себя один или больше маркеров, например, маркер M1, маркер М2 и маркер М3, и т.п. Аналогично, ННС 204 включает в себя один или больше маркеров, например, маркер М4, маркер М5, и маркер М6 и т.п. Каждый маркер может быть светоизлучающим диодом, источником света, цветом, отражающим материалом и т.п.

Видеокамера 206 захватывает изображение HMD 202. Когда голова пользователя 108 наклоняется или движется, положение и местонахождение маркеров М1-М3 изменяется в системе координат xyz. Видеокамера 206 захватывает изображение маркеров М1-М3 и отправляет изображение в компьютер 172. Изображение маркеров М1-М3 представляет собой пример входных данных. Положение HMD 202 в трехмерном пространстве (X, Y, Z) может быть определено с помощью процессора 176 (фиг. 1С) компьютера 172 на основе положений маркеров М1-М3 в изображении. Кроме того, движение по инерции, например, отклонение, наклон, качание и т.п., HMD 202 определяется с помощью процессора 176 (фиг. 1С) компьютера 172 на основании перемещения маркеров М1-М3.

В различных вариантах осуществления видеокамера 206 является мобильной. Например, видеокамера 206 прикреплена к роботизированному устройству, например, мультикоптеру, роботизированной руке, роботу, роботизированному транспортному средству, роботизированному автомобилю, квадрокоптеру и т.п. Например, видеокамера 206 прикреплена относительно, например, под, над, сбоку и т.п., роботизированного устройства для захвата изображений HMD 202 и/или ННС 204. HMD 202 движется при движении головы пользователя 108. В некоторых вариантах осуществления вместо видеокамеры 206 используют цифровую камеру.

В некоторых вариантах осуществления видеокамера 206 захватывает изображение ННС 204. Когда рука пользователя 108 движется, положение и местонахождение маркеров М4-М6 изменяется в системе координат. Видеокамера 206 захватывает изображение маркеров М4-М6 и отправляет изображение в компьютер 172. Изображение маркеров М4-М6 представляет собой пример входных данных. Положение ННС 204 в трехмерном пространстве (X, Y, Z) может быть определено с помощью процессора 176 компьютера 172 на основе положений маркеров М4-М6 в изображении. Кроме того, движение по инерции, например, отклонение, наклон, качание и т.п., ННС 204 определяется с помощью процессора 176 компьютера 172 на основании перемещения маркеров М4-М6.

В некоторых вариантах осуществления вместо ННС 204, рука пользователя 108 помечена маркерами М4-М6.

На фиг. 3 приведена схема варианта осуществления HMD 250, который является примером HMD 104 (фиг. 1А-1С). HMD 250 включает в себя видео аудио разделитель 254, видео декодер 255, WAC 258, потоковый буфер 259, один или больше динамиков 260, схему 262 пользовательского ввода, экран 266 дисплея, микроконтроллер 268, аудио буфер 272, наружную цифровую камеру 274, аудио кодек 276, внутреннюю цифровую камеру 278, видео буфер 280, видео аудио синхронизирующее устройство 282, микрофон 284 и схему 287 связи контроллера/компьютера. Наружная цифровая камера 274 обращена к реальной среде пользователя 108, а внутренняя цифровая камера 278 обращена к пользователю 108, например, глазам, голове и т.п. пользователя 108.

В ряде вариантов осуществления динамики 260 представляют собой схему аудиосигнала. В различных вариантах осуществления аудио кодек 276, аудио буфер 272 и/или динамики 260 представляют собой схему аудиосигнала. В некоторых вариантах осуществления комбинация видео декодера 255 и микроконтроллера 268 называется в настоящем документе схемой обработки данных игры. В различных вариантах осуществления микроконтроллер 268 представляет собой схему дисплея. Примеры экрана дисплея включают в себя экран на светодиодах, жидкокристаллический (liquid crystal display, LCD) экран, жидкие кристаллы на экране из кристаллического кремния, органический (organic LED, OLED) экран, плазменный экран и т.п. Пример наружной цифровой камеры 274 включает в себя Playstation Eye®, изготавливаемую Sony Computer Entertainment, Inc.

Микроконтроллер 268 сохраняет программу 286 воспроизведения и операционную систему 288. Программа 286 воспроизведения и операционная система 288 сохраняются в запоминающем устройстве микроконтроллера 286 и выполняются микропроцессором микроконтроллера 268. Пример микроконтроллера 268 включает в себя недорогой микроконтроллер, который содержит драйвер, например, LCD драйвер, который приводит в действие, например, создает сигнал для обеспечения, создает сигнал для активации и т.п., элементов, например, жидкокристаллических, экрана 266 дисплея для отображения игры на экране 266 дисплея. Другой пример микроконтроллера 268 включает в себя графический процессор (graphical processing unit, GPU) и запоминающее устройство.

В некоторых вариантах осуществления запоминающее устройство микроконтроллера 268 является иным, чем флэш-память или оперативное запоминающее устройство (random access memory, RAM). Например, запоминающее устройство микроконтроллера представляет собой буфер. В различных вариантах осуществления запоминающее устройство микроконтроллера 268 представляет собой флэш-память или RAM. Примеры схемы 262 пользовательского ввода включают в себя гироскоп, магнитометр и акселерометр. Пример WAC 258 включает в себя NIC. В некоторых вариантах осуществления WAC 258 называют в настоящем документе схемой связи.

Поток зашифрованных данных, сохраняемых на носителе, принимается в потоковом буфере 259 из сети 110 или маршрутизатора 152 (фиг. 1В-1С, 2). Примеры зашифрованных данных, сохраняемых на носителе, которые приняты потоковым буфером 259, включает в себя данные 116, сохраняемые на носителе, (фиг. 1А-1С, 2), которые зашифрованы, и дополнительные данные, сохраняемые на носителе, которые зашифрованы, и т.п. Следует заметить, что, когда маршрутизатор 152 связан с компьютером 172 (фиг. 2), данные, сохраняемые на носителе, полученные от компьютера 172, сохраняются в буфере (не показано) HMD 250, а не в потоковом буфере 259.

WAC 258 получает доступ к потоку зашифрованных данных, сохраняемых на носителе, из потокового буфера 259 и депакетирует поток. Кроме того, WAC 258 также включает в себя декодер для расшифровки зашифрованных данных, сохраняемых на носителе.

В вариантах осуществления, в которых поток зашифрованных данных, сохраняемых на носителе, принимается компьютером 172 (фиг. 1С) через маршрутизатор 152 (фиг. 1С), NIC 174 (фиг. 1С) компьютера 172 депакетирует и расшифровывает поток зашифрованных данных, сохраняемых на носителе, чтобы создавать расшифрованные данные, которые отправляются маршрутизатором 152 в буфер (не показано) HMD 250 для хранения.

Расшифрованные данные доступны с помощью видео аудио разделителя 254 от WAC 258 или от буфера (не показан) HMD 250. Видео аудио разделитель 254 отделяет аудиоданные в расшифрованных данных от видеоданных.

Видео аудио разделитель 254 отправляет аудиоданные в аудио буфер 272 и видеоданные в видео буфер 280. Видео аудио синхронизирующее устройство 282 синхронизирует видеоданные, сохраненные в видео буфере 280 и аудиоданными, сохраненными в аудио буфере 272. Например, видео аудио синхронизирующее устройство 282 использует время воспроизведения видеоданных и аудиоданных для синхронизации видеоданных с аудиоданными.

Аудио кодек 276 преобразует синхронизированные аудиоданные из цифрового формата в аналоговый формат, чтобы создавать аудиосигналы, и аудиосигналы воспроизводятся динамиками 260 для создания звука. Видео декодер 255 расшифровывает, например, изменяет из цифровой формы в аналоговую форму и т.п., синхронизированные видеоданные для создания аналоговых видеосигналов. Микроконтроллер 268 выполняет программу 286 воспроизведения для отображения игры на экране 266 дисплея на основе аналоговых видеосигналов, которые создаются видео декодером 255. В некоторых вариантах осуществления игра, отображаемая на экране 266 дисплея, отображается синхронно с воспроизведением аудиосигналов.

Кроме того, пользователь 108 (фиг. 1А-1С, 2) говорит в микрофон 284, который преобразует звуковые, например, голосовые и т.п. сигналы в электрические сигналы, например, аудиосигналы. Аудио кодек 276 преобразует аудиосигналы из аналогового формата в цифровой формат для создания аудиоданных, которые сохраняются в аудио буфере 276. Аудиоданные, сохраняемые в аудио буфере 276, представляют собой пример входных данных, созданных на основе звука пользователя 108. Аудиоданные доступны через WAC 258 из аудио буфера 276 для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и шифрует аудиоданные, доступные из аудио буфера 276, для отправки по сети 110 в кодек 112.

В некоторых вариантах осуществления аудиоданные доступны через WAC 258 из аудио буфера 276 для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и шифрует аудиоданные, доступные из аудио буфера 276, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.

Внутренняя цифровая камера 278 захватывает одно или больше изображений одного или больше движений головой пользователя 108 (фиг. 1А-1С, 2), чтобы создавать данные изображения, которые представляют собой пример входных данных, которые созданы на основе одного или больше движений головой. Аналогично, наружная цифровая камера 278 захватывает одно или больше изображений руки пользователя 108, и/или маркеров, расположенных на HMD 250 или на руке пользователя 108, чтобы создавать данные изображения. Данные изображения, созданные на основе маркеров, расположенных на руке пользователя 108, или на основе движения рукой пользователя 108, представляют собой пример входных данных, которые созданы на основе одного или больше движений рукой. Данные изображения, захваченного цифровыми камерами 274 и 278, сохраняются в видео буфере 280.

В некоторых вариантах осуществления данные изображения, захваченного цифровыми камерами 274 и 278, сохраняются в буфере HMD 250, и буфер, является другим, кроме видео буфера 280. В различных вариантах осуществления данные изображения, захваченного цифровыми камерами 274 и 278, расшифровываются видео декодером 255 и отправляются в микроконтроллер 268 для отображения изображений на экране дисплея 266.

Данные изображения, захваченного цифровыми камерами 274 и 278, доступны через WAC 258 из видео буфера 280 для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и шифрует данные изображения, доступные из аудио буфера 280, для отправки по сети 110 в кодек 112.

В некоторых вариантах осуществления видеоданные доступны через WAC 258 из видео буфера 280 для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и шифрует видеоданные, доступные из видео буфера 280, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.

Схема 287 связи контроллера/компьютера принимает данные, сохраняемые на носителе, от компьютера 172 для сохранения в буфере (не показан) HMD 250. Кроме того, схема 287 связи контроллера/компьютера принимает входные сигналы от ННС 106 (фиг. 1А-1С, 2), преобразует входные сигналы из аналоговой формы в цифровую форму для создания входных данных, которые доступны через WAC 258, для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и шифрует входные данные, доступные из схемы 287 связи контроллера/компьютера, для отправки по сети 110 в кодек 112.

В некоторых вариантах осуществления входные данные доступны через WAC 258 из схемы 287 связи контроллера/компьютера для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и шифрует входные данные, доступные из схемы 287 связи контроллера/компьютера, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.

Следует заметить, что вместо схемы 287 связи контроллера/компьютера могут быть использованы две отдельные схемы связи, одна для связи, например, приема, отправки и т.п. данных с помощью компьютера 172 (фиг. 1В), а другая для обмена данными с ННС 106 (фиг. 1А-1С, 2).

В ряде вариантов осуществления декодер WAC 258 расположен за пределами WAC 258. В различных вариантах осуществления потоковый буфер 259 расположен в WAC 258.

В некоторых вариантах осуществления HMD 250 не включает в себя наружную цифровую камеру 274. В некоторых вариантах осуществления HMD 250 включает в себя какое-либо число микроконтроллеров, какое-либо число буферов, и/или какое-либо число запоминающих устройств.

В различных вариантах осуществления HMD 250 включает в себя одну или больше аккумуляторных батарей, обеспечивающих питание компонентов, например, видео аудио разделителя 254, карты 258 беспроводного доступа, потокового буфера 259, одного или больше динамиков 260, схемы 262 пользовательского ввода, экрана дисплея 266 микроконтроллера 268, аудио буфера 272, наружной цифровой камеры 274, аудио кодека 276, внутренней цифровой камеры 278, видео буфера 280, видео аудио синхронизирующего устройства 282, микрофона 284 и схемы 287 связи контроллера/компьютера. Одну или больше аккумуляторных батарей заряжают с помощью зарядного устройства (не показано), которое может быть включено в розетку переменного тока.

В ряде вариантов осуществления входные данные и/или данные, сохраняемые на носителе, в настоящем документе упоминаются как интерактивная среда.

В некоторых вариантах осуществления HMD 250 включает в себя схему связи (не показано) для облегчения пиринговой многоканальной связи между локальными пользователями путем составления пар. Например, HMD 250 включает в себя приемопередатчик, который модулирует звуковые сигналы, полученные от микрофона 284, и отправляет модулированные сигналы по каналу в приемопередатчик другого HMD (не показано). Приемопередатчик другого HMD демодулирует сигналы для доставки к динамикам другого HMD, чтобы способствовать связи между пользователями.

В различных вариантах осуществления приемопередатчиком HMD 250 используются различные каналы для связи с различными другими HMD. Например, канал, по которому отправляются модулированные сигналы к первому другому HMD, является иным, чем канал, по которому отправляются модулированные сигналы ко второму другому HMD.

В некоторых вариантах осуществления WAC 258, схема 262 пользовательского ввода, микроконтроллер 268 и видео декодер 255 интегрированы в одну или больше отдельных интегральных микросхем. Например, WAC 258, видео декодер 255 и микроконтроллер 268 интегрированы в одну интегральную микросхему, а схема 262 пользовательского ввода интегрирована в другую интегральную микросхему. В качестве другого примера, каждый из элементов, WAC 258, схема 262 пользовательского ввода, микроконтроллер 268 и видео декодер 255, интегрирован в отдельную интегральную микросхему.

В некоторых вариантах осуществления вместо цифровой камеры используют видеокамеру. Например, видеокамеру используют вместо наружной цифровой камеры 274 (фиг. 3), а другую видеокамеру используют вместо внутренней цифровой камеры 278 (фиг. 3).

В некоторых вариантах осуществления HMD 250 лишен наружной цифровой камеры 274 и/или лишен внутренней цифровой камеры 278. В данных вариантах осуществления положение и движение HMD 250 определяется одним или больше серверов игрового облака 102 и/или процессором 176 (фиг. 1С) компьютера 172 (фиг. 1С) на основе входных данных, созданных схемой 262 пользовательского ввода и отправленных по сети 110 (фиг. 1А-1С, 2), или отправленных через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110, или отправленных через маршрутизатор 152, компьютер 172, и сеть 110.

В некоторых вариантах осуществления, если внутренняя цифровая камера 278 не имеет возможности «видеть» глаза или голову пользователя 108, и/или если видеокамера 206 (фиг. 2) не имеет возможности «видеть» глаза или голову пользователя 108, схема 262 пользовательского ввода создает входные данные. В данных вариантах осуществления положение и движение HMD 250 определяется одним или больше серверов игрового облака 102 и/или процессором 176 (фиг. 1С) компьютера 172 (фиг. 1С) на основе входных данных, отправленных к игровому облаку 102 по сети 110 (фиг. 1А-1С, 2), или отправленных через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110, или отправленных через маршрутизатор 152, компьютер 172, и сеть 110.

В некоторых вариантах осуществления HMD 250, например, WAC 258 HMD 250 и т.п., переключается между двумя или больше режимами. Первый режим включает в себя использование маршрутизатора 152 (фиг. 1В-1С, 2) и компьютера 172 (фиг. 1С и 2) в обмене данными между HMD 250 и игровым облаком 102 (фиг. 1А-1С, 2) по сети 110 (фиг. 1А-1С, 2). Второй режим включает в себя использование маршрутизатора 152 в обмене данными между HMD 250 и игровым облаком 102 по сети 110. Во втором режиме при обмене данными компьютер 172 обходят. Третий режим включает в себя использование сети 110 в обмене данными между HMD 250 и игровым облаком 102 по сети 110. В третьем режиме при обмене данными маршрутизатор 152 компьютер 172 обходят.

В некоторых вариантах осуществления пользователь 108 использует HMD 104 с ННС 106, и положение и движение HMD 104, и положение и движение ННС 106 представляются в одной виртуальной игровой сцене. Например, ННС 106 представляется как меч в игре, например, игре в среде с погружением и т.п., которая создается путем выполнения игровой программы 117, и которая отображается в HMD 104. В данном примере игра имеет виртуальную игровую сцену. Когда пользователь 108 поворачивает голову влево, пользователю 108 показывается левая часть игровой сцены, а когда пользователь 108 поворачивает голову вправо, пользователю 108 показывается правая часть игровой сцены. Отображение части игровой сцены основано на положении и движении HMD 104. Кроме того, когда пользователь 108 перемещает ННС 106 влево, и перемещает HMD 104 влево, пользователю показывается меч, направленный влево в левой части игровой сцены. Когда пользователь 108 перемещает ННС 106 влево, и перемещает HMD 104 вправо, пользователю показывается правая часть игровой сцены, и меч не отображается в правой части. Кроме того, когда пользователь 108 перемещает ННС 106 вправо, и перемещает HMD 104 вправо, пользователю показывается меч, направленный вправо в правой части игровой сцены. Когда пользователь 108 перемещает ННС 106 вправо, и перемещает HMD 104 влево, пользователю показывается правая часть игровой сцены, и меч не отображается в правой части игровой сцены. Отображение или отсутствие отображения меча в части игровой сцены основано на положении и движении ННС 106.

На фиг. 4А приведена схема варианта осуществления изображения 300, которое отображается на экране дисплея 266 HMD 250 (фиг. 3) для доступа к беспроводной сети. Изображение 300 создается с помощью микроконтроллера 268 (фиг. 3), когда приложение сетевого доступа выполняется микроконтроллером 268 (фиг. 3). Изображение 300 включает в себя список сетей, например, беспроводной сети А, беспроводной сети В, беспроводной сети С и т.п., с которыми HMD 250 может связываться для доступа к игровой программе 117 из игрового облака 102. Пользователь 108 выбирает, путем выполнения одного или больше движений головой и/или одного или больше движений рукой, одну из беспроводных сетей А, В и С для связи HMD 250 с беспроводной сетью.

В ряде вариантов осуществления изображение 300 включает в себя какое-либо число беспроводных сетей в списке.

На фиг. 4В приведена схема варианта осуществления изображения 310, которое отображается на экране дисплея 312 HMD компьютера 172 (фиг. 2) для доступа к беспроводной сети. Изображение 310 создается с помощью GPU компьютера 172, когда приложение сетевого доступа выполняется процессором 176 (фиг. 2) компьютера 172. Изображение 310 включает в себя список сетей, например, беспроводной сети А, беспроводной сети В, беспроводной сети С и т.п., с которыми HMD 250 может связываться через маршрутизатор 152 и компьютер 172, для доступа к игровой программе 117 из игрового облака 102. Пользователь 108 выбирает, путем выполнения одного или больше движений головой и/или одного или больше движений рукой, одну из беспроводных сетей А, В и С для связи HMD 250 с беспроводной сетью через маршрутизатор 152 и компьютер 172.

В ряде вариантов осуществления изображение 310 включает в себя какое-либо число беспроводных сетей в списке.

На фиг. 5А приведена схема варианта осуществления изображения 320 игры, отображаемого на экране дисплея 321, который является примером экрана дисплея 266 (фиг. 3). Периферийная область 322 изображения 320 отображается при низком разрешении с помощью микроконтроллера 268 (фиг. 3), а центральная область 324 отображается при высоком разрешении с помощью микроконтроллера 268. Высокое разрешение больше, чем низкое разрешение. Периферийная область 322 находится рядом с краями Е1-Е4 экрана дисплея 321.

В некоторых вариантах осуществления край Е1 является перпендикулярным к краю Е2 и к краю Е4. Край Е3 является перпендикулярным к краям Е2 и Е4 и параллельным к краю Е1. В различных вариантах осуществления края Е1 по существу перпендикулярны, например, находятся под углом от 87 градусов до 93 градусов и т.п., к краю Е2 и к краю Е4. Край Е3 является по существу перпендикулярным к краям Е2 и Е4 и по существу параллельным к краю Е1.

Следует заметить, что в некоторых вариантах осуществления экран дисплея 321 имеет любую форму, например, прямоугольную, квадратную, круглую, овальную, многоугольную, криволинейную и т.п.

На основании изображения взгляда, захваченного внутренней цифровой камерой 278 (фиг. 3), микроконтроллер 268 (фиг. 3) разделяет экран дисплея 321 на области 322 и 324. Например, после определения того, что пользователь 108 (фиг. 1А-1С, 2) смотрит на центральную область 324, микроконтроллер 268 определяет, что центральная область 324 имеет высокое разрешение, определяет, что периферийная область 322 имеет низкое разрешение, и выполняет программу 286 воспроизведения для отображения центральной области 324 с высоким разрешением и для отображения периферийной области 322 с низким разрешением.

На фиг. 5В приведена схема варианта осуществления изображения 330, которое отображается на экране дисплея 321. Изображение 330 имеет верхнюю периферийную область 332 и нижнюю периферийную область 334. Верхняя периферийная область 332 находится рядом с краем Е1, а нижняя периферийная область 334 находится рядом с краем Е3. Периферийные области 332 и 334 имеют низкое разрешение, а промежуточная зона 336 имеет высокое разрешение. Промежуточная зона 336 расположена рядом с краями Е2 и Е4 и расположена между областями 332 и 334.

На основании изображения взгляда, захваченного внутренней цифровой камерой 278 (фиг. 3), микроконтроллер 268 (фиг. 3) разделяет экран дисплея 321 на области 332, 334 и 336. Например, после определения того, что пользователь 108 (фиг. 1А-1С, 2) смотрит на промежуточную область 336, микроконтроллер 268 определяет, что промежуточная область 336 имеет высокое разрешение, определяет, что периферийные области 332 и 334 имеют низкое разрешение, и выполняет программу 286 воспроизведения для отображения промежуточной области 336 с высоким разрешением и для отображения периферийных областей 332 и 334 с низким разрешением.

В некоторых вариантах осуществления периферийная область 332 имеет разрешение, отличающееся от разрешения периферийной области 334. Например, периферийная область 332 имеет среднее разрешение, которое находится между низким и высоким разрешениями, а периферийная область 334 имеет низкое разрешение. В другом примере периферийная область 334 имеет среднее разрешение, а периферийная область 332 имеет низкое разрешение.

На фиг. 5С приведена схема варианта осуществления изображения 340, которое отображается на экране дисплея 321. Изображение 340 имеет правую периферийную область 342 и левую периферийную область 344. Правая периферийная область 342 находится рядом с краем Е2, а левая периферийная область 344 находится рядом с краем Е4. Периферийные области 342 и 344 имеют низкое разрешение, а промежуточная зона 346 имеет высокое разрешение. Промежуточная зона 346 расположена рядом с краями Е1 и Е3, и расположена между областями 342 и 344.

На основании изображения взгляда, захваченного внутренней цифровой камерой 278 (фиг. 3), микроконтроллер 268 (фиг. 3) разделяет экран дисплея 321 на области 342, 344 и 346. Например, после определения того, что пользователь 108 (фиг. 1А-1С, 2) смотрит на промежуточную область 346, микроконтроллер 268 определяет, что промежуточная область 346 имеет высокое разрешение, определяет, что периферийные области 342 и 344 имеют низкое разрешение, и выполняет программу 286 воспроизведения для отображения промежуточной области 346 с высоким разрешением и для отображения периферийных областей 342 и 344 с низким разрешением.

В некоторых вариантах осуществления периферийная область 342 имеет разрешение, отличающееся от разрешения периферийной области 344. Например, периферийная область 342 имеет среднее разрешение, которое находится между низким и высоким разрешениями, а периферийная область 344 имеет низкое разрешение. В другом примере периферийная область 344 имеет среднее разрешение, а периферийная область 342 имеет низкое разрешение.

В различных вариантах осуществления для определения одной или больше областей экрана дисплея 321, имеющих высокое разрешение и для определения одной или больше областей экрана дисплея 321, имеющих низкое разрешение и среднее разрешение, вместо взгляда используется какое-либо движение головой.

В некоторых вариантах осуществления периферийная область экрана дисплея имеет любую форму, например, криволинейную, полукруглую, многоугольную и т.п., и центральная или промежуточная область экрана дисплея имеет любую форму, например, прямоугольную, круглую, многоугольную, эллиптическую, криволинейную и т.п.

На фиг. 6 приведена схема, иллюстрирующая различные типы ННС 350, 352, 354, 356, 358 и 360. Каждый ННС 350, 352, 354, 356, 358 и 360 является примером ННС 106 (фиг. 1А-1С, 2). Как показано, ННС 350 имеет форму бумеранга, ННС 352 имеет форму микрофона, а ННС 354 имеет форму штурвала. Кроме того, ННС 356 представляет собой перчатку, надеваемую пользователем 108 на руки, ННС 358 представляет собой куртку, костюм для верхней части тела или рубашку и т.п., надеваемую пользователем 108 на верхнюю часть тела, а ННС 360 представляет собой штаны, надеваемые пользователем 108 на нижнюю часть тела.

Каждый из элементов, ННС 350, 352, 354, 356, 358 и 360 содержит один или больше механизмов обратной связи, например, датчиков, механических компрессоров, механических усилителей массы, механических преобразователей массы, механических декомпрессоров, вибрационных механизмов, механизмов тактильной обратной связи, нагревателей, охладителей, электрошокеров и т.п., для обеспечения обратной связи пользователю 108 во время ведения игры, отображаемой при выполнении игровой программы 117 (фиг. 1А-1С, 2).

В различных вариантах осуществления пользователь 108 надевает ННС 356 в дополнение к надеванию HMD 104 на руки и гладит виртуальную собаку по время ведения игры, отображаемой при выполнении игровой программы 117. Механизмы тактильной обратной связи обеспечивают тактильную обратную связь пользователю 108 для обеспечения пользователю 108 возможности чувствовать, будто бы пользователь 108 гладит реальную собаку. Когда пользователь 108 поднимает виртуальную собаку, функция усиления массы дает пользователю 108 возможность чувствовать, будто бы пользователь 108 поднимает реальную собаку.

В некоторых вариантах осуществления пользователь 108 надевает ННС 358 в дополнение к надеванию HMD 104 и приступает к виртуальному плаванию с аквалангом в виртуальном океане. Механические усилители массы увеличивают массу, действующую на пользователя 108, чтобы дать пользователю 108 возможность чувствовать, будто бы пользователь 108 плавает с аквалангом в реальном океане, и чувствовать массу воды над пользователем 108. Аналогично, если пользователь 108 приближается к поверхности океана, механические преобразователи массы уменьшают массу, действующую на пользователя 108.

В некоторых вариантах осуществления каждый из ННС 350, 352, 354, 356, 358 и 360 включает в себя один или больше неподвижных опорных объектов, примеры которых приведены выше, для определения положения и движения ННС.

В различных вариантах осуществления ННС 106 имеет любую форму, например, прямоугольную, круглую, овальную, многоугольную криволинейную, спиральную и т.п.

На фиг. 7А приведена схема варианта осуществления HMD 370. HMD 370 является примером HMD 250 (фиг. 3). HMD 370 включает в себя бандажи 372 и 374, которые проходят позади головы пользователя 108 (фиг. 1А-1С, 2), когда надеты пользователем 108. Кроме того, HMD 370 содержит головные телефоны 376А и 376В, например, динамики и т.п., которые излучают звук, связанный с игрой, которую проводят при выполнении игровой программы 117 (фиг. 1А-1С). HMD 370 содержит линзы 378А и 378В, которые позволяют пользователю 108 видеть игру, которую проводят при выполнении игровой программы 117 (фиг. 1А-1С), и которая отображается на экране дисплея 266 (фиг. 3). Вырез 380 расположен на носе пользователя 108, чтобы поддерживать HMD 370 на носе.

В некоторых вариантах осуществления HMD 370 надевается пользователем 108 таким же образом, как пользователь 108 надевает солнцезащитные очки, очки, или очки для чтения.

На фиг. 7В приведен вид в изометрии варианта осуществления HMD 400, который является примером HMD 250 (фиг. 3). В некоторых вариантах осуществления HMD 400 представляет собой продукт исследований и разработок Sony Computer Entertainment America LLC. HMD 400 содержит подголовник 402. HMD 400, кроме того, содержит маркеры, например, светодиоды 404А и 404В, излучатели 406А, 406В, 406С, 406D, 406Е, 406F, 406G и 406Н инфракрасного света. Примеры излучателей инфракрасного света включают светодиод. HMD 400 включает в себя включатель/выключатель 408, который обеспечивает включение или выключение HMD 400.

Маркеры используют для определения положения и движения HMD 400. Например, при движении головы пользователя 108 (фиг. 1А-1С, 2), размер изображения светодиодов 404А и 404В, захваченного наружной цифровой камерой 274 (фиг. 3), изменяется. На основе размера процессор компьютера 172 (фиг. 3) или один или больше серверов игрового облака 102 (фиг. 1А-1С, 2) определяет положение и движение HMD 400 в системе координат.

На фиг. 8 приведена структурная схема варианта осуществления приставки 500, которая совместима для взаимодействия с ННС 106 и HMD 104 (фиг. 1А-1С, 2). Приставка 500 может быть использована для выполнения и воспроизведения части игровой программы 117. Приставка 500 является совместимой для взаимодействия ННС 106 и HMD 104 (фиг. 1А-1С, 2) с игровой программой 117. Приставка 500 поставляется с различными периферийными устройствами, выполненными с возможностью соединения с приставкой 500. Приставка 500 имеет cell-процессор 528, блок 526 динамического запоминающего устройства с произвольной выборкой Rambus® (dynamic random access memory, XDRAM), блок 530 графического процессора синтезатора реальности с блоком 532 выделенной видеопамяти с произвольной выборкой (video random access memory, VRAM), и мостом 534 ввода/вывода (input/output, I/O). Приставка 500 также имеет считывающее устройство 540 компактного оптического диска Blu Ray® (Disk read-only memory, BD-ROM) для считывания данных с диска 540а и съемный вставляемый накопитель на жестком диске (hard disk drive, HDD) 536, с доступом через мост 534 ввода/вывода. Дополнительно приставка 500 также включает в себя устройство 538 считывания карты памяти для считывания компактных карт флэш-памяти, карты памяти Memory Stick® и другие, которые также доступны через мост 534 ввода/вывода.

Мост 534 ввода/вывода также соединен с портами 524 универсальной последовательной шины (Universal Serial Bus, USB) 2.0, портом 522 gigabit Ethernet, портом 520 беспроводной сети (Wi-Fi) IEEE 802.11b/g и портом 518 линии радиосвязи Bluetooth®, способным поддерживать соединения Bluetooth.

Во время действия мост 534 ввода/вывода обрабатывает все данные беспроводной связи, универсальной последовательной шины (USB) и сети Ethernet, в том числе, данные от одного или больше игровых контроллеров 502 и 503 и от HMD 505, который является примером HMD 250 (фиг. 3). Например, когда пользователь 108 (фиг. 1А-1С, 2) ведет игру, создаваемую при выполнении части игровой программы 117 (фиг. 1А), мост 534 ввода/вывода получает входные данные от игрового контроллера 502 или 503, или от HMD 505 через соединение Bluetooth, и направляет входные данные к cell-процессору 528, который обновляет текущее состояние игры, соответственно. Каждый игровой контроллер 502 и 503 представляет собой пример ННС 106 (фиг. 1А-1С, 2).

Беспроводные, USB и Ethernet порты также предоставляют возможность соединения для других периферийных устройств в дополнение к игровым контроллерам 502 и 503, и HMD 505, как, например, дистанционное управление 504, клавиатура 506, мышь 508, переносное развлекательное устройство 510, такое как развлекательное устройство Sony Playstation Portable®, видео камера, такая как видеокамера 512 EyeToy®, микрофон с головным телефоном 514, и микрофон 515. Данные периферийные устройства, таким образом, могут быть в принципе соединены с приставкой 500 посредством беспроводной связи, например, переносное развлекательное устройство 510 может быть связано через специальное соединение Wi-Fi, тогда как микрофон с головным телефоном 514 может быть связан через соединение Bluetooth.

Предоставление этих интерфейсов означает, что приставка 500 также потенциально совместима с другими периферийными устройствами, такими как цифровые видеомагнитофоны (digital video recorders, DVR), цифровые телевизионные приставки, цифровые камеры, портативные медиаплееры, телефоны с передачей голоса по IP-протоколу, мобильные телефоны, принтеры и сканеры.

Кроме того, устройство 516 считывания стандартных карт памяти может быть соединено с приставкой 500 через USB-порт 524, обеспечивая возможность считывания карт памяти 548 типа, используемого приставкой 500.

Игровые контроллеры 502 и 503 и HMD 505 выполнены с возможностью поддержания беспроводной связи с приставкой 500 посредством связи, или подключения к USB-порту, тем самым обеспечивая питание, с помощью которого заряжают батареи игрового контроллера 502 и 503, и HMD 505. В некоторых вариантах осуществления каждый из игровых контроллеров 502 и 503, и HMD 505 может также включать в себя память, процессор, устройство считывания карт памяти, постоянную память, такую как флэш-память, излучатели света, такие как освещенные сферические секции, светодиоды, или инфракрасный свет, микрофон и динамик для ультразвуковой связи, сурдокамеру, цифровую камеру, внутренний генератор тактовых импульсов, распознаваемую форму, такую как сферическая секция, обращенная к игровой приставке и беспроводную связь, использующую протоколы, такие как, например, Bluetooth, Wi-Fi и т.п.

Игровой контроллер 502 представляет собой контроллер, предназначенный для использования двумя руками пользователя 108, а игровой контроллер 503 представляет собой контроллер для одной руки с дополнительным приспособлением. HMD 505 предназначен для установки поверх головы и/или перед глазами пользователя 108. В дополнение к одному или больше аналоговым джойстикам и обычным кнопкам управления, каждый игровой контроллер 502 и 503 восприимчив к определению трехмерного положения. Аналогично, HMD 505 восприимчив к определению трехмерного положения. Соответственно, жесты и движения, сделанные пользователем 108 игрового контроллера 502 и 503, и HMD 505 могут быть преобразованы как входные сигналы для игры в дополнение или вместо обычных команд кнопки или джойстика. При необходимости в качестве контроллера могут быть использованы другие периферийные устройства, выполненные с возможностью беспроводной связи, такие как переносное устройство Playstation™. В случае переносного устройства Playstation™ дополнительная игровая или управляющая информация (например, управляющие команды или число жизней) может выводиться на экран дисплея устройства. Могут также использоваться другие альтернативные или дополнительные устройства управления, такие как танцевальный коврик (не показан), световой пистолет (не показан), и штурвал и педали (не показаны) или специальные контроллеры, такие как одна или несколько больших кнопок для тестовых игр на быстроту реакции (также не показаны).

Дистанционное управление 504 также выполнено с возможностью работы с беспроводной связью с приставкой 500 посредством связи Bluetooth. Дистанционное управление 504 содержит устройства управления, подходящие для работы считывающего устройства 540 Blu Ray™ Disk BD-ROM и для навигации по содержимому диска.

Считывающее устройство 540 Blu Ray™ Disk BD-ROM выполнено с возможность работы для считывания компакт-дисков, совместимых с приставкой 500, в дополнение к обычным предварительно записанным и перезаписываемым компакт-дискам, и так называемым супер аудиодискам. Считывающее устройство 540 выполнено с возможностью считывания цифровых видеодисков ПЗУ (digital video disk-ROM, DVD-ROM) совместимых с приставкой 500, в дополнение к обычным предварительно записанным и перезаписываемым компакт-дискам. Считывающее устройство 540, кроме того, выполнено с возможностью считывания дисков BD-ROM, совместимых с приставкой 500, и также обычных предварительно записанных и перезаписываемых дисков Blu-Ray.

Приставка 500 выполнена с возможностью подачи аудио и видеосигналов, либо созданных, либо расшифрованных с помощью блока 530 графического процессора синтезатора реальности, через аудио соединительные устройства 550 и видео соединительные устройства 552, к устройству 542 вывода отображения и звука, такому как монитор или телевизор, имеющий экран 544 дисплея и один или больше громкоговорителей 546. Аудио соединительные устройства 550 могут включать в себя обычные аналоговые и цифровые выходы, тогда как видео соединительные устройства 552 могут по-разному включать в себя компонент видеосигнала, стерео видеосигнала, полного видеосигнала и один или больше выходов универсального интерфейса высокой четкости (High Definition Multimedia Interface, HDMI). Соответственно, видео выход может быть в таких форматах, как PAL или NTSC, или в 520р, 1080i или 1080р высокой четкости.

Обработка аудиосигнала (создание, расшифровка и т.п.) выполняется cell-процессором 528. Операционная система приставки 500 поддерживает пространственное звучание Dolby® 5.1, театральное звучание Dolby® (DTS), и расшифровку пространственного звучания 7.1 с дисков Blu-Ray®.

В некоторых вариантах осуществления видеокамера, например, видеокамера 512 включает в себя один прибор с зарядовой связью (charge coupled device, CCD), светодиодный индикатор, и аппаратное устройство сжатия и шифрования данных в режиме реального времени, так что сжатые видеоданные могут быть переданы в соответствующем формате, таком как основанный на интраобразе стандарт экспертной группы по вопросам движущегося изображения (motion picture expert group, MPEG) для расшифровки с помощью приставки 500. Светодиодный индикатор видеокамеры 512 выполнен с возможностью освещения в зависимости от соответствующих управляющих данных от приставки 500, например, для обозначения неблагоприятных условий освещения. Варианты осуществления видеокамеры 512 могут быть по-разному связаны с приставкой 500 через порт связи USB, Bluetooth или Wi-Fi. Варианты осуществления видеокамеры могут включать в себя один или больше связанных микрофонов, а также могут обладать возможностью передачи аудиоданных. В вариантах осуществления видеокамеры CCD может иметь разрешение, подходящее для захвата видео с высокой четкостью. При использовании изображения, захваченные видеокамерой, могут, например, быть включены в игру или интерпретированы, как игровые управляющие входные сигналы. В другом варианте осуществления видеокамера представляет собой инфракрасную камеру, подходящую для обнаружения инфракрасного света.

В различных вариантах осуществления, для успешной передачи данных, происходящих в периферийном устройстве, таком как, например, видеокамера или дистанционное управление, через один из портов связи приставки 500, предоставлена соответствующая часть программы, такая как драйвер устройства.

В некоторых вариантах осуществления вышеупомянутые устройства системы, включая устройство приставки, переносной ННС, и переносной HMD дают возможность ННС и переносному HMD отображать и захватывать видео интерактивной сессии игровой программы 117 (фиг. 1А-1С). Устройство приставки инициирует интерактивный сеанс игровой программы 117, причем интерактивный сеанс определяет интерактивность между пользователем 108 и игровой программой 117. Устройства системы определяют начальное положение и ориентацию ННС и/или HMD, управляемых пользователем 108 (фиг. 1А-1С, 2). Устройство приставки определяет текущее состояние игровой программы 117, на основе интерактивности между пользователем 108 и игровой программой 117. Устройства системы отслеживают положение и ориентацию ННС и/или HMD во время интерактивного сеанса пользователя 108 в игровой программе 117. Устройства системы создают видеопоток наблюдателя интерактивного сеанса на основе текущего состояния игровой программы 117 и отслеженного положения и ориентации ННС и/или HMD. В некоторых вариантах осуществления ННС выводит видеопоток наблюдателя на экран дисплея ННС. В некоторых вариантах осуществления HMD выводит видеопоток наблюдателя на экран дисплея HMD.

На фиг. 9 приведена структурная схема игровой системы 600, в соответствии с различными вариантами осуществления, описанными в настоящем документе. В некоторых вариантах осуществления игровая система 600 представляет собой облачную игровую систему, в которой виртуальные машины (VM), например, операционные системы, программные приложения и т.п., выполняются, используя один или больше ресурсов, например, серверы, запоминающие устройства и т.п., после установления связи между ресурсами и виртуальными машинами с помощью гипервизора. Игровая система 600 используется для создания видеопотока к одному или больше клиентов 610 через сеть 615, которая является примером сети 110 (фиг. 1А-1С, 2). Игровая система 600 включает в себя видеосерверную систему 620 и дополнительный игровой сервер 625. Видеосерверная система 620 используется для создания видеопотока к одному или больше клиентов 610 с качеством обслуживания. Например, видеосерверная система 620 может получать игровую команду, которая изменяет состояние или точку зрения в видеоигре, например, игре, проводимой при выполнении игровой программы 116 (фиг. 1А-1С) и т.п., и представляет клиенту 610 обновленный видеопоток, отображающий данные изменения в состоянии при минимальном времени задержки. Видеосерверная система 620 может быть использована для создания видеопотока в широком диапазоне альтернативных форматов видео, включая еще определяемые форматы. Кроме того, видеопоток может включать в себя видеокадры, используемые для представления пользователю 108 (фиг. 1А-1С, 2) в широком диапазоне частоты кадров. Типичная частота кадров составляет 30 кадров в секунду, 60 кадров в секунду и 620 кадров в секунду. Хотя более высокие или более низкие частоты кадров входят в различные варианты осуществления, описанные в настоящем документе.

Клиенты 610, упоминаемые в настоящем документе отдельно как 610A, 610В и т.п., могут включать в себя HMD 104 (фиг. 1А-1С, 2), ННС 104 (фиг. 1А-1С, 2), оконечные устройства, персональные компьютеры, игровые приставки, планшетные компьютеры, телефоны, телевизионные приставки, киоски, беспроводные устройства, цифровые панели, автономные устройства и/или другие. Клиенты 610 используются для приема шифрованных видеопотоков, расшифровки видеопотоков и представления полученного видео пользователю 108, например, ведущему игру. Процессы получения шифрованных видеопотоков и/или расшифровки видеопотоков включают в себя сохранение отдельных видеокадров в приемном буфере клиента. Видеопотоки могут быть представлены пользователю 108 на дисплее, объединенным с клиентом 610, или на отдельном устройстве, таком как монитор или телевизор.

Клиенты 610 при необходимости используются для поддержки более чем одного игрока. Например, игровая приставка может быть использована для поддержки двух, трех, четырех или больше одновременно играющих. Каждый из этих игроков может принимать отдельный видеопоток, или один видеопоток может включать в себя области кадров, созданных специально для каждого игрока, например, созданных на основе точки зрения каждого игрока.

Клиенты 610 при необходимости территориально рассредоточены. Число клиентов, включенных в игровую систему 600, может колебаться в широких пределах, от одного или двух до тысяч, десятков тысяч или больше. Используемый здесь термин «игрок» используется для обозначения человека, который ведет игру, а термин «устройство ведения игры» используется для обозначения устройства, используемого для ведения игры, например, ведения игры при выполнении игровой программы 116 (фиг. 1А-1С) и т.п. В некоторых вариантах осуществления устройство ведения игры может упоминаться для нескольких вычислительных устройств, которые действуют совместно для получения игрового опыта пользователем 108. Например, игровая приставка и HMD 104 (фиг. 1А-1С, 2) могут действовать совместно с видеосерверной системой 620 для доставки игры, наблюдаемой посредством HMD 104. В одном варианте осуществления игровая приставка получает видеопоток от видеосерверной системы 620, и игровая приставка направляет видеопоток или обновляет видеопоток к HMD 104 для воспроизведения.

Клиент 610 используется для приема видеопотоков по сети 615. Сеть 615 может быть сетью связи любого типа, включая телефонную сеть, Интернет, беспроводные сети, сети линий электропередачи, локальные сети, глобальные сети, частные сети и/или другие. В некоторых вариантах осуществления видеопотоки связаны посредством стандартных протоколов, таких как TCP/IP или UDP/IP. В ряде вариантов осуществления видеопотоки связаны посредством частных стандартов.

Типичным примером одного из клиентов 610 служит персональный компьютер, включающий в себя процессор, энергонезависимую память, дисплей, логическую схему дешифрования, средства сетевой связи и одно или больше устройств ввода данных. Логическая схема дешифрования может включать в себя аппаратные средства, программно-аппаратные средства и/или программное обеспечение, сохраняемое на энергонезависимом компьютерочитаемом носителе данных.

Клиенты 610 могут, но не обязательно, дополнительно включать в себя системы, используемые для модификации принятой видеоинформации. Например, клиент может быть использован для выполнения дальнейшего воспроизведения, чтобы накладывать одно видеоизображение на другое видеоизображение, чтобы обрезать видеоизображение и/или др. В качестве другого примера клиенты 610 могут быть использованы для приема видеокадров, таких как изображение с внутренним кодированием (intra-coded picture, I-кадры), кадры, сжатые с использованием ссылки на одно изображение (predicted frames, Р-кадры) и видеокадры, формируемые способом предсказания вперед/назад (bi-predictive picture frames, В-кадры), и для обработки этих кадров в изображения для отображения игры, например, игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С) и т.п., для пользователя 108. В некоторых вариантах осуществления компонент клиента 610 используется для выполнения дальнейшего воспроизведения, затенения, преобразования в 3-D, или подобных операций над видеопотоком. Компонент клиентов 610 при необходимости используют для приема больше, чем одного аудио или видеопотока данных.

Устройства ввода клиентов 610 могут включать в себя, например, игровой контроллер для одной руки, игровой контроллер для двух рук, систему распознавания жестов, систему распознавания взгляда, систему распознавания голоса, клавиатуру, джойстик, указывающее устройство, устройство обратной связи по усилию, чувствительный элемент движения и/или местоположения, мышь, сенсорный экран, нейронный интерфейс, камеру, устройства ввода, еще подлежащие разработке и/или другие.

Видеопоток и, при необходимости, аудиопоток, принятый клиентами 610, создается и передается видеосерверной системой 620. Данный видеопоток включает в себя видеокадры, а аудиопоток включает в себя аудиокадры. Видеокадры, которые включают в себя пиксельную информацию в соответствующей структуре данных, способствуют выразительности изображений, отображаемых для пользователя 108. Используемый здесь термин «видеокадры» используется для обозначения кадров, содержащих, преимущественно, информацию, которая используется, чтобы способствовать, например, получению эффектов и т.п. изображений игры, например, игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С), и т.п., проводимой пользователем 108. Большинство принципов, приведенных здесь в отношении «видеокадров» также могут применяться в отношении «аудио кадров».

В различных вариантах осуществления клиенты 610 используются для приема входных данных от пользователя 108. Эти входные данные могут включать в себя игровые команды, используемые для изменения состояния видео игры, например, игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С) и т.п., или иначе зависящие от проводимой игры. Игровые команды могут быть приняты с использованием устройств ввода, например схемы 262 пользовательского ввода (фиг. 4) и т.п., и/или могут быть автоматически созданы с помощью вычислительных инструкций на клиентах 610. Принятые игровые команды передаются от клиентов 610 по сети 615 к видеосерверной системе 620 и/или к игровому серверу 625. Например, игровые команды передаются к игровому серверу 625 через видеосерверную систему 620.

В некоторых вариантах осуществления отдельные копии игровых команд передаются от клиентов 610 к игровому серверу 625 и видеосерверной системе 620.

Передача игровых команд при необходимости зависит от идентичности команды. Игровые команды при необходимости передаются от клиента 610А через другой маршрутизатор или канал связи, чем тот, который используют для передачи аудио или видеопотоков к клиенту 610А.

Игровым сервером 625 при необходимости управляют с помощью других объектов, чем видеосерверная система 620. Например, видеосервером 625 можно управлять с помощью сервера публикаций игры. В данном примере видеосерверная система 620 при необходимости рассматривается игровым сервером 625 в качестве клиента, и при необходимости используется, чтобы фигурировать с точки зрения игрового сервера 625, как клиент, выполняющий игровой движок. Связь между видеосерверной системой 620 и игровым сервером 625 при необходимости происходит по сети 615. Таким образом, игровой сервер 625 может быть многопользовательским игровым сервером, который отправляет информацию о состоянии игры многим клиентам, одним из которых является игровая серверная система 620.

Видеосерверная система 620 может быть использована для связи с многими экземплярами игрового сервера 625 одновременно. Например, видеосерверная система 620 может быть использована для доставки множества различных видеоигр различным пользователям. Каждая из этих различных видео игр может поддерживаться с помощью различных игровых серверов 625 и/или публиковаться с помощью различных объектов.

В некоторых вариантах осуществления несколько территориально рассредоточенных экземпляров видеосерверной системы 620 используют для доставки игровых видеоданных множеству различных пользователей. Каждый из этих экземпляров видеосерверной системы 620 может поддерживать связь с одним экземпляром игрового сервера 625.

Связь между видеосерверной системой 620 и одним или больше игровых серверов 625 при необходимости осуществляется по выделенному каналу связи. Например, видеосерверная система 620 может быть связана с игровым сервером 625 посредством канала с высокой пропускной способностью, который выделен для связи между данными двумя системами.

Видеосерверная система 620 включает в себя по меньшей мере источник 630 видеосигнала, устройство 645 ввода/вывода, процессор 650, и запоминающее устройство 655. Видеосерверная система 620 может включать в себя одно вычислительное устройство или может быть распределена среди множества вычислительных устройств. Данные вычислительные устройства при необходимости связаны посредством системы связи, такой как локальная сеть.

Источник 630 видеосигнала используют для доставки видеопотока, например, потокового видео или ряда видеокадров, которые формируют движущееся изображение. В некоторых вариантах осуществления источник 630 видеосигнала включает в себя движок видеоигры и логическую схему воспроизведения.

Движок видеоигры используют для приема игровых команд от игрока и для поддержания копии состояния видеоигры, например, игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С) и т.п., на основе принятых команд. Данное состояние игры включает в себя положение объекта в игровой среде, а также точку зрения. Состояние игры может также включать в себя свойства, изображения, цвета и/или текстуры объектов. Состояние игры поддерживается на основании правил игры, а также игровых команд, таких как движение, поворот, атака, фокусировка, взаимодействие, использование и/или другие. Часть игрового движка при необходимости расположена в игровом сервере 625. Игровой сервер 625 может поддерживать копию состояния игры на основе игровых команд, принятых от множества игроков, использующих территориально рассредоточенные клиенты. В данных случаях состояние игры доставляется с помощью игрового сервера 625 к источнику 630 видеосигнала, где выполняется сохранение и воспроизведение копии состояния игры. Игровой сервер 625 может принимать игровые команды прямо от клиентов 610 по сети 615, и/или может принимать игровые команды по видеосерверной системе 620.

Источник 630 видеосигнала включает в себя логическую схему воспроизведения, например, аппаратные средства, программно-аппаратные средства и/или программное обеспечение, сохраняемое на энергонезависимом компьютерочитаемом носителе данных, таком как запоминающее устройство 655. Логическую схему воспроизведения используют для создания видеокадров видеопотока на основе состояния игры. Вся логическая схема воспроизведения или ее часть при необходимости расположена в GPU. Логическая схема воспроизведения включает в себя этапы обработки, используемые для определения трехмерных пространственных связей между объектами и/или применения соответствующих текстур и т.п. на основе состояния игры и точки зрения. Логическая схема воспроизведения производит необработанный видеосигнал, который обычно шифруется перед передачей к клиентам 610. Например, необработанный видеосигнал может быть зашифрован в соответствии со стандартом Adobe Flash®,.wav, Н.264, Н.263, On2, VP6, VC-1, WMA, Huffyuv, Lagarith, MPG-x. Xvid. FFmpeg, x264, VP6-8, realvideo, mp3, или др. Процесс шифрования обеспечивает видеопоток, который при необходимости пакетируется для доставки к декодеру на удаленном устройстве.

Видеопоток характеризуется размером кадра и частотой кадров. Типичные размеры кадров включают в себя 800×600, 1280×720 (например, 720 р), 1024×768, хотя могут быть использованы любые другие размеры кадра. Частота кадров представляет собой число видеокадров в секунду. Видеопоток может включать в себя разные типы видеокадров. Например, стандарт Н.264 включает в себя Р-кадр и I-кадр. I-кадры содержат информацию для обновления всех макро блоков/пикселей на устройстве отображения, тогда как Р-кадры содержат информацию для обновления их подмножества. Р-кадры меньше по размеру данных, чем I-кадры. Используемый здесь термин «размер кадра» означает число пикселей в кадре. Термин «размер данных кадра» используется здесь для обозначения числа байтов, необходимого для сохранения кадра.

В некоторых вариантах осуществления источник 630 видеоданных содержит устройство видеозаписи, такое как камера. Данная камера может быть использована для создания запаздывающего видео или видео в реальном времени, которое может быть включено в видеопоток компьютерной игры. Полученный видеопоток при необходимости включает в себя как воспроизведенные изображения, так и изображения, записанные с использованием фото или видеокамеры. Источник 630 видеосигнала может также содержать запоминающие устройства, используемые для сохранения ранее записанного видео, подлежащего включению в видеопоток. Источник 630 видеосигнала может также включать в себя чувствительные элементы движения или позиционирования для обнаружения движения или положения HMD 104, ННС 106, или пользователя 108 (фиг. 1А-1С, 2), и логическую схему, используемую для определения состояния игры или создания видео на основе обнаруженного движения и/или положения.

Источник 630 видеосигнала при необходимости используют для создания наложений, используемых для помещения на другое видео. Например, данные наложения могут включать в себя командный интерфейс, команды входа, сообщения игроку, изображения других игроков, источники видеосигнала других игроков (например, видео веб-камеры). В некоторых вариантах осуществления клиента 610A, включающего в себя интерфейс сенсорного экрана или интерфейс обнаружения взгляда, наложение может включать в себя виртуальную клавиатуру, джойстик, сенсорную панель и/или др. В одном примере наложения голос игрока накладывается на аудиопоток. Источник 630 видеосигнала при необходимости дополнительно содержит один или больше источников аудиосигнала.

В вариантах осуществления, где видеосерверная система 620 используется для поддержания состояния игры на основе входного сигнала от более чем одного игрока, каждый игрок может иметь другую точку зрения, включающую положение и направление обзора. Источник 630 видеосигнала при необходимости используется для создания отдельного видеопотока для каждого игрока на основании его точки зрения. Кроме того, источник 630 видеосигнала может быть использован для создания разных размеров кадра, размера данных кадра и/или шифрования для каждого из клиентов 610. Источник 630 видеосигнала при необходимости используется для создания объемного видео.

Устройство 645 ввода/вывода используют для видеосерверной системы 620 для отправки и/или приема информации, такой как видео, команды, запросы информации, состояние игры, информация о взгляде, движение устройства, местоположение устройства, движение пользователя, идентичность клиента, идентичность игрока, игровые команды, информация о безопасности, аудиосигнал и/или др. Устройство 645 ввода/вывода включает в себя аппаратные средства связи, такие как сетевая интерфейсная плата или модем. Устройство 645 ввода/вывода используют для связи с игровым сервером 625, сетью 615 и/или клиентами 610.

Процессор 650 используют для выполнения логической схемы, например, программы, включенной в различные компоненты видеосерверной системы 620, описной в настоящем документе. Например, процессор 650 может быть запрограммирован с помощью инструкций программы для выполнения функций источника 630 видеосигнала, игрового сервера 625 и/или классификатора 660 клиента. Видеосерверная система 620 при необходимости включает в себя больше, чем один экземпляр процессора 650. Процессор 650 также может быть запрограммирован с помощью инструкций программы для выполнения команд, принятых видеосерверной системой 620, или для координации действий различных элементов игровой системы 600, описанной в настоящем документе. Процессор 650 может включать в себя одно или больше аппаратных устройств. Процессор 650 представляет собой электронный процессор.

Запоминающее устройство 655 содержит энергонезависимые аналоговые и/или цифровые запоминающие устройства. Например, запоминающее устройство 655 может включать в себя аналоговое запоминающее устройство, используемое для сохранения видеокадров. Запоминающее устройство 655 может включать в себя энергонезависимое компьютерочитаемое цифровое запоминающее устройство, например, жесткий диск, оптический диск, или твердотельное запоминающее устройство. Запоминающее устройство 615 используют (например, с помощью соответствующей структуры данных или файловой системы) для хранения видеокадров, искусственных кадров, видеопотока, включающего как видеокадры, так и искусственные кадры, аудиокадры, аудиопоток и/или др. Запоминающее устройство 655 при необходимости распределено среди множества устройств. В некоторых вариантах осуществления запоминающее устройство 655 используют для сохранения компонентов программного обеспечения источника 630 видеосигнала, описываемого в настоящем документе. Данные компоненты могут быть сохранены в формате, готовом к доставке, при необходимости.

Видеосерверная система 620 при необходимости дополнительно включает в себя классификатор 660 клиента. Классификатор 660 клиента используют для удаленного определения возможностей клиента, такого как клиенты 610А или 610В. Данные возможности могут включать в себя как возможности самого клиента 610А, так и возможности одного или больше каналов связи между клиентом 610А и видеосерверной системой 620. Например, классификатор 660 клиента может быть использован для испытаний канала связи через сеть 615.

Классификатор 660 клиента может определять (например, обнаруживать) возможности клиента 610А в ручном или автоматическом режиме. Определение вручную включает в себя связь с пользователем 108 клиента 610А и запрос пользователя 108 для предоставления возможностей. Например, в некоторых вариантах осуществления классификатор 660 клиента используется для отображения изображений, текста и/или др. в веб-браузере клиента 610А. В одном варианте осуществления клиент 610А представляет собой HMD, например, HMD 104, и т.п., который включает в себя веб-браузер. В другом варианте осуществления клиент 610А представляет собой игровую приставку, имеющую веб-браузер, который может быть отображен на HMD. Отображаемые объекты запрашивают, чтобы пользователь 108 ввел информацию, такую как операционная система, процессор, тип видео декодера, тип сетевого соединения, разрешение дисплея и т.п. клиента 610A. Информация, введенная пользователем 108, передается обратно в классификатор 660 клиента.

Автоматическое определение может происходить, например, при выполнении агента на клиенте 610A и/или при отправке испытательного видеосигнала к клиенту 610A. Агент может включать в себя команды для вычисления, такие как java script, встроенные в веб-страницу или установленные в качестве дополнения. Агент при необходимости снабжен классификатором 660 клиента. В различных вариантах осуществления агент может выяснять вычислительную мощность клиента 610A, возможности расшифровки и отображения клиента 610A, достоверность времени запаздывания и полосу пропускания каналов связи между клиентом 610A и видеосерверной системой 620, тип дисплея клиента 610A, наличие брандмауэра на клиенте 610A, аппаратные средства клиента 610A, программное обеспечение, выполняемое на клиенте 610A, записи реестра в клиенте 610A и/или др.

Классификатор 660 клиента включает в себя аппаратные средства, программно-аппаратные средства и/или программное обеспечение, сохраняемое на энергонезависимом компьютерочитаемом носителе данных. Классификатор 660 клиента при необходимости расположен на вычислительном устройстве, отдельно от одного или больше других элементов видеосерверной системы 620. Например, в некоторых вариантах осуществления классификатор 660 клиента используют для определения характеристик каналов связи между клиентами 610 и более чем одним экземпляром видеосерверной системы 620. В некоторых вариантах осуществления информация, обнаруженная классификатором клиента, может быть использована для определения того, какой экземпляр видеосерверной системы 620 лучше подходит для доставки потокового видео к одному из клиентов 610.

В некоторых вариантах осуществления данные, сохраняемые на носителе, включают в себя данные реальной среды, данные о виртуальной среде или их сочетание. Данные о реальной среде включают в себя данные, созданные по одному или больше изображений реальной среды, например, реальные автомобили, реальные люди, реальные географические местоположения, реальные структуры, реальные здания, реальные деревья, реальные объекты, реальные живые существа, неживые существа и т.п. Данные реальной среды создаются с помощью камеры, например, видеокамеры, аудиокамеры и т.п., когда камера захватывает изображения реальной среды. Данные виртуальной среды представляют собой данные, созданные с помощью компьютера, например, процессора, который выполняет игровую программу 117, и т.п.

В ряде вариантов осуществления один или больше пользователей, например, пользователь 108, другой пользователь и т.п. могут взаимодействовать с виртуальным миром. Используемый здесь термин «виртуальный мир» означает представление вымышленной, например, виртуальной, созданной на компьютере и т.п. среды, имеющей правила взаимодействия, имитируемые с помощью одного или больше процессоров, которую реальный пользователь может воспринимать с помощью одного или больше экранов дисплея и/или с которой может взаимодействовать с помощью одного или больше устройств пользовательского интерфейса. Используемый здесь термин «устройство пользовательского интерфейса» относится к реальному устройству, например, HMD 104, ННС 106 (фиг. 1А-1С, 2) и т.п., с помощью которых пользователь 108 может отправлять входные сигналы в виртуальный мир или принимать от него выходные сигналы. Виртуальный мир может быть имитирован с помощью одного или больше процессорных модулей, например, одного или больше серверов игрового облака 102 (фиг. 1А-1С, 2), микроконтроллера 268 (фиг. 3), процессора 176 (фиг. 1С) и т.п. Один или больше процессорных модулей могут быть связаны вместе посредством сети 110 (фиг. 1А-1С, 2). Пользователь 108 может взаимодействовать с виртуальным миром через устройство пользовательского интерфейса, которое может быть связано с процессорными модулями и другими устройствами пользовательского интерфейса через сеть 110. Некоторые аспекты виртуального мира могут быть представлены пользователю 108 в графической форме на экране графического дисплея, таком как, например, монитор компьютера, телевизионный монитор, экран дисплея 266, экран дисплея ННС 106 или аналогичный дисплей. Некоторые другие аспекты виртуального мира могут быть представлены пользователю в звуковой форме на динамике, например, динамиках 260 (фиг. 3) и т.п., которые могут быть связаны с графическим дисплеем.

В виртуальном мире пользователи могут быть представлены аватарами. Каждый аватар в виртуальном мире может быть однозначно связан с другим пользователем. Имя или псевдоним пользователя 108 может отображаться рядом с аватаром, так что пользователь 108 с легкостью идентифицируется другим пользователем. Взаимодействие пользователя 108 с виртуальным миром может быть представлено с помощью одного или больше соответствующих действий аватара. Например, когда пользователь 108 выполняет движения головой, аватар выполняет такое же движение головой. В качестве другого примера, когда пользователь 108 выполняет движение рукой, аватар выполняет такое же движение рукой в виртуальном мире. Разные пользователи могут взаимодействовать друг с другом в виртуальном общественном пространстве, например, виртуальном географическом регионе и т.п., с помощью своих аватаров. Аватар, представляющий пользователя 108, может иметь внешний вид, похожий на человека, животное или объект. Аватар в виде человека, может иметь тот же пол, что пользователь 108, или другой пол. Аватар может быть отображен на экране дисплея, например, экране дисплея 266 (фиг. 3), экране 544 дисплея (фиг. 8), экране дисплея ННС 106 (фиг. 1А-1С), экране дисплея компьютера 172 (фиг. 1С) и т.п., так что пользователь 108 может видеть аватар вместе с другими объектами в виртуальном мире.

В различных вариантах осуществления экран дисплея, например, экран дисплея 266 (фиг. 3), экран 544 дисплея (фиг. 8), экран дисплея ННС 106 (фиг. 1А-1С), экран дисплея компьютера 172 (фиг. 1С) и т.п., может отображать виртуальный мир с точки зрения аватара, без отображения аватара. Перспективу аватара в виртуальном мире может рассматриваться как вид виртуальной камеры. Используемый здесь термин «виртуальная камера» относится к точке зрения в виртуальном мире, которая может быть использована для воспроизведения двумерных изображений трехмерной сцены в виртуальном мире. Пользователи могут взаимодействовать друг с другом с помощью своих аватаров посредством каналов чата, связанных с каждым «залом ожидания». Пользователи могут вводить текст для беседы с другими пользователями через пользовательский интерфейс. Текст может появляться поверх или рядом с аватаром пользователя, например, в форме диалоговых кружков в стиле комиксов, иногда называемых кружками чата. Такой чат может быть облегчен путем использования стандартной системы фраз чата, иногда называемой «быстрый чат». При «быстром чате» пользователь 108 может выбрать одну или больше фраз чата из меню.

В некоторых вариантах осуществления общественное пространство представляет собой публику в сцене, в которой общественное пространство не однозначно связано с каким-либо конкретным пользователем или группой пользователей, и никакой пользователь или группа пользователей не может исключать другого пользователя из общественного пространства. Частное пространство, напротив, связано с конкретным пользователем среди множества пользователей. Частное пространство является частным в сцене, в которой конкретный пользователь, связанный с частным пространством, может ограничивать доступ в частное пространство других пользователей. Частное пространство может принимать вид привычного частного недвижимого имущества. В других вариантах осуществления пользователям не нужно контролировать аватары, видимые на экране дисплея, например, экране дисплея 266 (фиг. 3), экране 544 дисплея (фиг. 8), экране дисплея ННС 106 (фиг. 1А-1С), экране дисплея компьютера 172 (фиг. 1С) и т.п. Аватары, отображаемые в виртуально пространстве, могут быть ботами, контролируемыми машиной, например, процессором и т.п. Боты аватаров, таким образом, могут двигаться по виртуальному пространству таким же образом, как это делают аватары, контролируемые пользователем 108, однако никакие реальные пользователи фактически не контролируют боты аватаров. Во многих случаях боты аватаров бродят по пространству, принимают меры, отправляют сообщения, назначают права для определенных сообщений, взаимодействуют с другими ботами аватаров или аватарами, контролируемыми реальными пользователями, и т.п. Кроме того, ботам может быть назначено взаимодействие определенным образом, изменение среды, отправка рекламы, отправка сообщений, построение виртуальных пространств, виртуальных задний или создание виртуальных объектов, графическое представление объектов, обмен реальными или виртуальными деньгами и т.п.

Описанные в настоящем документе варианты осуществления могут быть осуществлены с помощью различных конфигураций компьютерной системы, включая ручные устройства, микропроцессорные системы, микропроцессорные или программируемые бытовые электронные устройства, миникомпьютеры, универсальные вычислительные машины и т.п. Некоторые описанные в настоящем документе варианты осуществления также могут быть осуществлены в распределенной вычислительной среде, где задачи выполняются с помощью удаленных процессоров, которые связаны с помощью проводной или беспроводной сети.

Имея в виду вышеописанные варианты осуществления, должно быть понятно, что многие варианты осуществления, описанные в настоящем документе, могут использовать различные реализуемые на компьютере операции, включающие данные, сохраняемые в компьютерных системах. Эти операции являются такими, которые требуют физических манипуляций физическими величинами. Какие-либо операции, описанные в настоящем документе, составляющие часть различных вариантов осуществления, описанных в настоящем документе, представляют собой полезные машинные операции. Некоторые варианты осуществления, описанные в настоящем документе, также относятся к устройствам или аппаратам для выполнения данных операций. Устройство может быть специально сконструировано для требуемой цели, или устройство может быть компьютером, избирательно активированным или настроенным с помощью компьютерной программы, сохраняемой в компьютере. В частности, различные компьютеры могут быть использованы с компьютерными программами, написанными в соответствии с изложенными здесь принципами, или может быть более удобно создать более специализированное устройство для выполнения требуемых операций.

Различные варианты осуществления, описанные в настоящем документе, также могут быть встроены в качестве компьютерочитаемого кода на энергонезависимом компьютерочитаемом носителе данных. Энергонезависимый компьютерочитаемый носитель данных представляет собой какое-либо устройство для хранения данных, которое может сохранять данные, например, RAM, ROM, флэш-память, диск и т.п., которые впоследствии могут быть считаны с помощью компьютерной системы. Примеры компьютерочитаемых носителей включают в себя жесткие диски, устройство хранения данных, подключаемое к сети (network attached storage, NAS), ROM, RAM, компакт диски ROM (CD-ROM), записываемые компакт-диски (CD-recordable, CD-R), перезаписываемые компакт-диски (CD-rewritable, RW), магнитные ленты и другие оптические и не оптические запоминающие устройства. Энергонезависимый компьютерочитаемый носитель данных может включать в себя компьютерочитаемый материальный носитель, распределенный в компьютерной системе, соединенной сетью, так что компьютерочитаемый код сохраняется и выполняется в распределенном виде.

Хотя операции способа были описаны в определенном порядке, должно быть понятно, что другие вспомогательные операции могут быть выполнены между операциями, или операции могут быть скорректированы таким образом, чтобы они происходили в немного разное время, или могли быть распределены в системе, что обеспечивает события операций обработки с различными интервалами, связанными с обработкой, или операции могут быть выполнены в другом порядке, при условии, что обработка операций наложения выполняется желаемым способом.

Хотя вышеуказанные варианты осуществления были описаны довольно подробно с целью ясности понимания, должно быть очевидно, что могут быть осуществлены определенные изменения и модификации в пределах объема прилагаемых пунктов формулы. Соответственно, настоящие варианты осуществления следует рассматривать как иллюстративные, а не ограничивающие, и различные варианты осуществления, описанные настоящем документе, не должны быть ограничены параметрами, указанными у настоящем документе, но могут быть модифицированы в пределах объема и эквивалентов прилагаемых пунктов формулы.

Изобретение относится к компьютерной обработке медиаданных. Нашлемный дисплей для ведения игры через игровую облачную систему содержит схему связи для приема и передачи интерактивных медиаданных, связанных с игровой программой, по сети, при этом интерактивные медиаданные обрабатываются с помощью игровой облачной системы и передаются потоком непосредственно в схему связи нашлемного дисплея; схему пользовательского ввода для приема действия от пользователя для формирования входного сигнала, включающего в себя положение и движение, обнаруживаемые схемой пользовательского ввода; и схему обработки данных игры для декодирования интерактивных медиаданных, принимаемых из сети, при этом схема обработки данных игры выполнена с возможностью управления участком интерактивности, связанным с игровой программой, причем участок интерактивности формируется на основе входного сигнала. Технический результат заключается в уменьшении числа транзитных участков передачи данных. 3 н. и 18 з.п. ф-лы, 9 ил.

1. Нашлемный дисплей для ведения игры через игровую облачную систему, содержащий:

схему связи для приема и передачи интерактивных медиаданных, связанных с игровой программой, по сети, при этом интерактивные медиаданные обрабатываются с помощью игровой облачной системы и передаются потоком непосредственно в схему связи нашлемного дисплея;

схему пользовательского ввода для приема действия от пользователя для формирования входного сигнала, включающего в себя положение и движение, обнаруживаемые схемой пользовательского ввода; и

схему обработки данных игры для декодирования интерактивных медиаданных, принимаемых из сети, при этом схема обработки данных игры выполнена с возможностью управления участком интерактивности, связанным с игровой программой, причем участок интерактивности формируется на основе входного сигнала.

2. Нашлемный дисплей по п. 1, в котором схема обработки данных игры используется для воспроизведения изображений на основе декодированных интерактивных медиаданных.

3. Нашлемный дисплей по п. 1, дополнительно содержащий схему аудиосигнала для формирования звуков на основе декодированных интерактивных медиаданных или на основе входного сигнала.

4. Нашлемный дисплей по п. 1, в котором схема пользовательского ввода включает в себя схему инерционного датчика для определения положения и движения.

5. Нашлемный дисплей по п. 4, в котором схема инерционного датчика включает в себя гироскоп, магнитометр, акселерометр или их сочетание.

6. Нашлемный дисплей по п. 1, дополнительно содержащий схему связи для облегчения одноранговой многоканальной связи между локальными пользователями путем составления пар.

7. Нашлемный дисплей по п. 1, в котором схема связи используется для удаленного интерактивного многопользовательского ведения игры между пользователями через сеть.

8. Нашлемный дисплей по п. 1, в котором схема связи, схема пользовательского ввода и схема обработки данных игры интегрированы в одну или более отдельных интегральных микросхем.

9. Нашлемный дисплей по п. 1, в котором схема обработки данных игры включает в себя микропроцессор для воспроизведения декодированных интерактивных медиаданных, при этом нашлемный дисплей дополнительно содержит буфер для буферизации потока данных.

10. Нашлемный дисплей по п. 1, дополнительно содержащий схему связи для связи с ручным контроллером.

11. Нашлемный дисплей по п. 1, в котором входной сигнал представляет собой голос пользователя, взгляд пользователя или входной сигнал, принимаемый от ручного контроллера.

12. Нашлемный дисплей по п. 1, в котором входной сигнал отображается на входной сигнал ручного контроллера.

13. Нашлемный дисплей по п. 1, характеризующийся тем, что используется с ручным контроллером, осуществляющим связь непосредственно с игровой облачной системой.

14. Нашлемный дисплей по п. 1, характеризующийся тем, что используется с ручным контроллером, причем положение и движение нашлемного дисплея и положение и движение ручного контроллера представлены в одной виртуальной сцене.

15. Нашлемный дисплей по п. 1, характеризующийся тем, что используется с ручным контроллером, осуществляющим связь с игровой приставкой.

16. Нашлемный дисплей по п. 1, характеризующийся тем, что выполнен с возможностью осуществления связи с ручным контроллером и игровой приставкой.

17. Нашлемный дисплей по п. 16, в котором ручной контроллер выполнен с возможностью осуществлять связь с игровой приставкой.

18. Нашлемный дисплей по п. 1, в котором схема связи выполнена с возможностью передачи ввода непосредственно в игровую облачную систему.

19. Нашлемный дисплей по п. 1, в котором интерактивные медиаданные принимаются непосредственно из игровой облачной системы по сети.

20. Способ ведения игры через игровую облачную систему, содержащий этапы, на которых:

выполняют непосредственную потоковую передачу интерактивных медиаданных, связанных с игровой программой, по сети, при этом интерактивные медиаданные обрабатывают игровой облачной системой, а непосредственную потоковую передачу выполняют с помощью нашлемного дисплея;

принимают входной сигнал, включающий в себя положение и движение, обнаруженные нашлемным дисплеем;

декодируют интерактивные медиаданные, принятые из сети, и

управляют участком интерактивности, связанным с игровой программой, причем участок интерактивности формируют на основе входного сигнала.

21. Энергонезависимый компьютерочитаемый носитель данных для хранения на нем выполняемых на компьютере команд для ведения игры через игровую облачную систему, причем выполняемые на компьютере команды при выполнении процессором компьютера выполняют этапы, на которых:

выполняют непосредственную потоковую передачу интерактивных медиаданных, связанных с игровой программой, по сети, при этом интерактивные медиаданные обрабатывают игровой облачной системой;

принимают от нашлемного дисплея входной сигнал, включающий в себя положение и движение, обнаруживаемые нашлемным дисплеем;

декодируют интерактивные медиаданные, принятые из сети, и

управляют участком интерактивности, связанным с игровой программой, причем участок интерактивности формируют на основе входного сигнала.