ПОДДЕРЖКА ПРОГРАММНОГО ПРИЛОЖЕНИЯ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ Российский патент 2020 года по МПК G06F3/01 G06T19/00 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к вычислительному устройству для поддержки программного приложения дополненной реальности (AR), способу поддержки программного приложения AR, соответствующей компьютерной программы и соответствующему компьютерному программному продукту.

уровень техники

AR является живым прямым или непрямым видом физической среды реального мира, элементы которой дополняются (или подкрепляются) генерируемым компьютером сенсорным вводом, таким как звук, видео или графика. Она относится к более общей концепции, называемой опосредованной реальностью, в которой вид реальности модифицируется (возможно, даже ослабляется, а не дополняется) компьютером. Дополнение традиционно выполняется в реальном времени и в семантическом контексте при помощи объектов среды. Кроме того, путем применения распознавания объектов, физическими объектами реального мира можно манипулировать или они могут приниматься во внимание при дополнении среды реального мира.

Обычно, программные приложения AR применяют дисплеи, носимые пользователем, для отображения дополненной сцены окружения пользователя, которая зачастую захватывается камерой, носимой пользователем. В последние годы, нашлемные дисплеи (HMD) или головные гарнитуры виртуальной реальности (VR) стали значительно более популярными для использования с AR. Эти устройства содержат один или несколько дисплеев и зачастую также камеру и спроектированы для сопряжения со лбом пользователя, подобно головной повязке или шлему. HMD помещают изображения как физического мира, так и виртуальных объектов, дополняющих физический мир, в поле зрения пользователя. Они зачастую используют сенсоры для контроля по шести степеням свободы, которые позволяют программному приложению AR корректно выравнивать виртуальные объекты в физическом мире в ответ на перемещения пользователя. HMD являются коммерчески доступными, например, Microsoft HoloLens и Oculus Rift. Также доступными являются комплектующие продукты для использования смартфона как HMD, облегчения сопряжения смартфона со лбом пользователя (например, Google Cardboard и Samsung Gear VR).

Число программных приложений AR значительно увеличилось с появлением коммерчески доступных HMD. AR используется, например, в архитектуре для визуализации строительных проектов, в коммерции для визуализации продукта потребителям и в играх. В качестве примера, мобильное игровое приложение Pokémon Go, которое было выпущено Nintendo в июле 2016, быстро достигло глобального успеха с сотнями миллионов загрузок. Pokémon Go является основанной на местоположении игрой AR, которая развертывает виртуальные объекты в форме карманных монстров в физических местоположениях, и игроки должны перемещаться в физические местоположения, чтобы захватить монстров.

Вслед за успехом Pokémon Go, ожидается, что число основанных на местоположении игр и приложений AR заметно возрастет. Общей характеристикой основанных на местоположении игр и приложений AR является то, что игрокам, или пользователям, требуется посетить конкретные физические, т.е. реальные, местоположения для взаимодействия с виртуальными объектами, которые были помещены там. Так как программные приложения AR обычно осуществляют связь с серверами приложения, хостирующими программное приложение AR посредством сетей радиодоступа (RAN), они налагают высокие требования на RAN путем генерации существенной нагрузки сети. В частности, это справедливо, если значительное число пользователей AR перемещаются поблизости друг от друга. Основанные на местоположении игры и приложения AR могут также страдать от плохой связности, если пользователь перемещается в область плохого покрытия, вызванного, например, затенением, помехами или тому подобным. Обе эти проблемы негативно влияют на пользовательский опыт программного приложения AR.

Краткое описание сущности изобретения

Задача изобретения состоит в том, чтобы обеспечить улучшенную альтернативу вышеупомянутым методам и предшествующему уровню техники.

Более конкретно, задача изобретения состоит в том, чтобы обеспечить улучшенные решения для выбора физических местоположений для помещения виртуальных объектов программными приложениями AR.

Эти и другие задачи изобретения решаются посредством разных аспектов изобретения, как определено независимыми пунктами формулы изобретения. Варианты осуществления изобретения характеризуются зависимыми пунктами формулы изобретения.

В соответствии с первым аспектом изобретения, обеспечено вычислительное устройство для поддержки программного приложения AR. Вычислительное устройство содержит средство обработки, приводимое в действие для выбора физического местоположения для помещения текущего виртуального объекта на основе ожидаемого физического местоположения, которое предполагает пользователь программного приложения AR, и атрибута, который является пространственно-зависимым в окружении пользователя. Пространственно-зависимый атрибут влияет на опыт пользователя программного приложения AR. Ожидаемое физическое местоположение является физическим местоположением, которое пользователь предполагает в ответ на отображение видео последовательности, захватывающей физическую сцену в окружении пользователя и наложенный текущий виртуальный объект, пользователю. Выбранное физическое местоположение является физическим местоположением, где текущий виртуальный объект должен быть помещен при наложении на видео последовательность, захватывающую физическую сцену в окружении пользователя.

В соответствии со вторым аспектом изобретения, обеспечен способ поддержки программного приложения AR. Способ выполняется вычислительным устройством и содержит выбор физического местоположения для помещения текущего виртуального объекта на основе ожидаемого физического местоположения, которое предполагает пользователь программного приложения AR, и атрибута, который является пространственно-зависимым в окружении пользователя. Пространственно-зависимый атрибут влияет на опыт пользователя программного приложения AR. Ожидаемое физическое местоположение является физическим местоположением, которое пользователь предполагает в ответ на отображение видео последовательности, захватывающей физическую сцену в окружении пользователя и наложенный текущий виртуальный объект, пользователю. Выбранное физическое местоположение является физическим местоположением, где текущий виртуальный объект должен быть помещен при наложении на видео последовательность, захватывающую физическую сцену в окружении пользователя.

В соответствии с третьим аспектом изобретения, обеспечена компьютерная программа. Компьютерная программа содержит исполняемые компьютером инструкции для побуждения устройства выполнять способ в соответствии с вариантом осуществления второго аспекта изобретения, когда исполняемые компьютером инструкции исполняются на блоке обработки, содержащемся в устройстве.

В соответствии с четвертым аспектом изобретения, обеспечен компьютерный программный продукт. Компьютерный программный продукт содержит считываемый компьютером носитель хранения, который имеет компьютерную программу в соответствии с третьим аспектом изобретения, воплощенную в нем.

В настоящем контексте, вычислительное устройство для поддержки программного приложения AR может, например, быть воплощено сервером приложения, хостирующим программное приложение AR, HMD или головной гарнитурой VR, мобильным телефоном, смартфоном, мобильным терминалом, персональным компьютером, ноутбуком, планшетом или игровой консолью. Программное приложение AR может, например, быть игрой AR, такой как Pokémon Go, или приложением AR для дополнения физических объектов реального мира информацией, такой как путеводитель AR. На всем протяжении настоящего раскрытия, термины ʺфизическийʺ и ʺреального мираʺ используются взаимозаменяемо и должны пониматься как относящиеся к объекту или местоположению в реальном мире. Окружение пользователя и захваченная сцена, которая дополняется наложенными виртуальными объектами, могут быть любым местоположением реального мира внутри помещения или снаружи, например, комнатой или общедоступным пространством.

Изобретение использует понимание того, что улучшенный выбор физических местоположений для помещения или развертывания, виртуальных объектов программными приложениями AR может достигаться, принимая во внимание пространственно-зависимый атрибут, который влияет на опыт пользователя программного приложения AR. Пространственно-зависимый атрибут изменяется как функция физического местоположения в реальном мире, по меньшей мере в окружении пользователя. Пространственно-зависимый атрибут может, например, относиться к рабочей характеристике беспроводного соединения, которое используется программным приложением AR, такой как уровень сигнала, скорость передачи данных, ширина полосы, частота ошибок, частота повторной передачи и задержка беспроводного соединения. Будет понятно, что опыт пользователя программного приложения AR обычно получает выгоду от высокого уровня сигнала, высокой скорости передачи данных или ширины полосы, низкой частоты ошибок, низкой частоты повторной передачи и низкой задержки. Беспроводное соединение может быть соединением, используемым программным приложением AR для передачи информации касательно помещения виртуальных объектов на пользовательское устройство, которое воспроизводит дополненную сцену для отображения пользователю на основе принятой информации. Альтернативно, беспроводное соединение может применяться для передачи воспроизводимой дополненной сцены, как видеопотока, на пользовательское устройство для отображения дополненной сцены пользователю. Беспроводное соединение может, например, задействоваться посредством сотовой RAN, беспроводной локальной сети (WLAN)/сети Wi-Fi, Bluetooth или тому подобного.

Альтернативно, пространственно-зависимый атрибут может относиться к восприятию пользователем звука, который воспроизводится программным приложением AR. В частности, это может быть звуком, который воспроизводится динамиками, которые помещены в окружении пользователя. Например, восприятие пользователя может относиться к тому, может ли стерео-аудио или 3D-аудио доставляться в определенное местоположение с достаточным качеством, что в свою очередь влияет на опыт пользователя программного приложения AR.

Физическое местоположение для помещения текущего виртуального объекта, т.е., виртуального объекта, который программное приложение AR собирается развернуть, выбирается путем оценивания пространственно-зависимого атрибута в ожидаемом физическом местоположении, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю. Это является вероятным будущим местоположением пользователя, т.е., местоположением пользователя после того, как наложенный виртуальный объект был отображен пользователю и просмотрен им. Примечательно, что виртуальные объекты могут иметь эффект, при отображении пользователям, чтобы либо удержать пользователя в его/ее текущем физическом местоположении, либо инициировать изменение местоположения. Например, пользователь может пожелать взаимодействовать с виртуальным объектом, например, чтобы забрать предмет от ʺдружественногоʺ персонажа в игре AR. В этом случае, ожидается, что пользователь переместится в физическое местоположение, близкое к физическому местоположению, где текущий виртуальный объект оказывается помещенным в реальном мире. С другой стороны, виртуальный объект, представляющий ʺвраждебногоʺ персонажа в игре AR, т.е., персонажа, который представляет угрозу для игрового персонажа пользователя, вероятно, будет удерживать пользователя в его/ее текущем физическом местоположении или даже инициировать изменение в физическом местоположении пользователя, чтобы увеличивать расстояние до физического местоположения, где виртуальный объект оказывается помещенным.

Принятие во внимание пространственно-зависимого атрибута в ожидаемом физическом местоположении пользователя при выборе физических местоположений для помещения виртуальных объектов имеет преимущество, состоящее в том, что виртуальные объекты могут развертываться в физических местоположениях, чтобы обеспечивать пользователям улучшенный, или по меньшей мере удовлетворительный, пользовательский опыт. С этой точки зрения, программное приложение AR может избегать развертывания виртуальных объектов, о которых известно, что они инициируют изменение физического местоположения пользователя в направлении местоположения в реальном мире, в котором оказывается помещенным виртуальный объект, на физические местоположения, которые испытывают плохие радио условия или плохую беспроводную связность, или в которых звук, который воспроизводится программным приложением AR, не может восприниматься с достаточным качеством.

В соответствии с вариантом осуществления изобретения, физическое местоположение для помещения текущего виртуального объекта выбирается с учетом по меньшей мере одного физического местоположения-кандидата для помещения текущего виртуального объекта. Эти местоположения-кандидаты могут, например, быть получены из программного приложения AR. Альтернативно, программное приложение AR может запрашивать физическое местоположение для помещения виртуального объекта на основе географических границ и/или другой информации, например, расстояния от пользователя и/или расстояний от других виртуальных объектов или объектов реального мира. Более конкретно, для каждого из по меньшей мере одного физического местоположения-кандидата, определяется ожидаемое физическое местоположение, которое предполагает пользователь, и значение пространственно-зависимого атрибута в этом ожидаемом физическом местоположении оценивается. Ожидаемое физическое местоположение, которое предполагает пользователь, является местоположением, в которое пользователь перемещается или где пользователь остается, в ответ на отображение пользователю физической сцены и текущего виртуального объекта, наложенного так, что он оказывается помещенным в физическое местоположение-кандидат. После того, как пространственно-зависимый атрибут был оценен для по меньшей мере одного физического местоположения-кандидата, физическое местоположение для помещения текущего виртуального объекта выбирается на основе множества значений пространственно-зависимого атрибута, оцененного в по меньшей мере одном физическом местоположении-кандидате.

В соответствии с вариантом осуществления изобретения, ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, находится в пределах предопределенного диапазона физического местоположения-кандидата. В частности, ожидаемое физическое местоположение может быть близким к физическому местоположению-кандидату или равным ему. Это является предпочтительным в случае, если ожидается, что пользователь переместится ближе к физическому местоположению, где оказывается помещенным текущий виртуальный объект.

В соответствии с вариантом осуществления изобретения, ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, может определяться на основе типа текущего виртуального объекта. Например, ожидаемое физическое местоположение может определяться на основе информации касательно ожидаемого поведения пользователей программного приложения AR в ответ на отображение виртуального объекта того же самого типа, что и текущий виртуальный объект, пользователям. В качестве примера, в игре AR, виртуальные объекты могут разделяться на категории типов, такие как ʺдружественныйʺ, ʺнейтральныйʺ и ʺвраждебныйʺ, в соответствии с ожиданием того, что пользователи, вероятно, переместятся ближе к виртуальному объекту, останутся в их физическом местоположении или переместятся дальше от виртуального объекта, соответственно. Альтернативно, ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, может определяться на основе изученного поведения пользователя в ответ на ранее отображенные виртуальные объекты того же самого типа, что и текущий виртуальный объект. В качестве примера, может ожидаться, что пользователь путеводителя AR переместится ближе к объекту реального мира, такому как статуя или здание, при дополнении информацией об объекте (например, исторической информацией или часами работы), если известно, что пользователь посещал такие объекты ранее.

В соответствии с вариантом осуществления изобретения, одно или несколько значений пространственно-зависимого атрибута может извлекаться из базы данных как функция физического местоположения в окружении пользователя. Извлеченные значения могут быть измеренными значениями, например, значениями, измеренными вычислительным устройством, носимым пользователем, или значениями, измеренными другими аналогичными вычислительными устройствами (т.е., путем краудсорсинга). Альтернативно, извлеченные значения могут быть смоделированными значениями, например, вычисленными на основе модели для радио покрытия в окружении пользователя.

Даже хотя преимущества изобретения в некоторых случаях были описаны со ссылкой на варианты осуществления первого аспекта изобретения, соответствующее рассуждение применяется к вариантам осуществления других аспектов изобретения.

Дополнительные задачи, признаки и преимущества изобретения станут очевидны при изучении следующего подробного раскрытия, чертежей и прилагаемой формулы изобретения. Специалистам в данной области техники должно быть понятно, что разные признаки изобретения могут комбинироваться для создания вариантов осуществления, отличных от вариантов, описанных в последующем описании.

Краткое описание чертежей

Вышеизложенное, наряду с дополнительными задачами, признаками и преимуществами изобретения, станет более понятным с помощью следующего иллюстративного и неограничивающего подробного описания вариантов осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 иллюстрирует первый сценарий для выбора физического местоположения для помещения виртуального объекта от имени программного приложения AR, в соответствии с вариантами осуществления изобретения.

Фиг. 2 иллюстрирует второй сценарий для выбора физического местоположения для помещения виртуального объекта от имени программного приложения AR, в соответствии с вариантами осуществления изобретения.

Фиг. 3 иллюстрирует взаимодействие между разными ролями вариантов осуществления изобретения при выборе физического местоположения для помещения виртуального объекта от имени программного приложения AR.

Фиг. 4 показывает вычислительное устройство для поддержки программного приложения AR, в соответствии с вариантом осуществления изобретения.

Фиг. 5 показывает вычислительное устройство для поддержки программного приложения AR, в соответствии с другим вариантом осуществления изобретения.

Фиг. 6 показывает вычислительное устройство для поддержки программного приложения AR, в соответствии с дополнительным вариантом осуществления изобретения.

Фиг. 7 показывает вариант осуществления средства обработки, содержащегося в вычислительном устройстве для поддержки программного приложения AR.

Фиг. 8 показывает другой вариант осуществления средства обработки, содержащегося в вычислительном устройстве для поддержки программного приложения AR.

Фиг. 9 показывает способ поддержки программного приложения AR, в соответствии с вариантами осуществления изобретения.

Все чертежи представлены схематично, не обязательно в масштабе и в общем показывают только части, необходимые для пояснения изобретения, причем другие части могут опускаться или просто предполагаться.

Подробное описание

Изобретение будет описано ниже более подробно со ссылкой на прилагаемые чертежи, в которых показаны некоторые варианты осуществления изобретения. Однако настоящее изобретение может быть воплощено во множестве различных форм и не должно пониматься как ограниченное изложенными здесь вариантами осуществления. Напротив, эти варианты осуществления приведены в качестве примера, чтобы настоящее раскрытие было детальным и полным и полностью передавало объем изобретения для специалистов в данной области техники.

На фиг. 1 иллюстрируется выбор физического местоположения для помещения виртуального объекта от имени программного приложения AR с использованием варианта осуществления 120 вычислительного устройства для поддержки программного приложения AR в качестве примера. Программное приложение AR может, например, быть игровым приложением AR или любым другим типом приложения AR, таким как путеводитель AR. Вычислительное устройство для поддержки программного приложения AR может, например, быть воплощено сервером приложения, хостирующим программное приложение AR, сервером приложения для выбора физических местоположений для помещения виртуальных объектов по запросу программным приложением AR, HMD или головной гарнитурой VR, мобильным телефоном, смартфоном, мобильным терминалом, персональным компьютером, ноутбуком, планшетом или игровой консолью.

Далее варианты осуществления изобретения описаны со ссылкой на фиг. 1, на которой вариант 120 осуществления вычислительного устройства для поддержки программного приложения AR проиллюстрирован как HMD или головная гарнитура VR, показанные в дополнительных подробностях на фиг. 4. Вычислительное устройство 120 содержит камеру 121, имеющую поле зрения 122, по меньшей мере один дисплей 124, средство 125 обработки и модуль 126 связи.

В настоящем контексте, помещение виртуального объекта или развертывание виртуального объекта должно пониматься так, что графическое представление виртуального объекта, например, персонажа в игре AR или информации об объекте реального мира, обеспеченной путеводителем AR, накладывается на видео последовательность, захватывающую физическую сцену реального мира, так что виртуальный объект оказывается помещенным в соответствующее физическое местоположение в физической сцене. Это проиллюстрировано на фиг. 1, которая показывает физическую сцену 100 в помещении с наложенным виртуальным объектом 104, помещенным в физическое местоположение 131. Кроме того, также иллюстрируется сцена 123, которая визуализируется программным приложением AR и представляется пользователю 110 программного приложения AR с использованием дисплея 121, который встроен в вычислительное устройство 120.

По всему настоящему раскрытию, предполагается, что пользователь 110 может перемещаться в своем окружении, включающем в себя физическую сцену 100. В зависимости от типа виртуального объекта 104, который накладывается на физическую сцену 100 и представляется пользователю 110, пользователь 110 может перемещаться ближе к физическому местоположению 131, где помещен виртуальный объект 104, оставаться в своем текущем местоположении или перемещаться дальше от виртуального объекта 104. Например, если виртуальный объект 104 представляет ʺдружественногоʺ персонажа в игре AR, можно ожидать, что пользователь 110 переместится ближе к физическому местоположению 131, где помещен виртуальный объект 104, чтобы взаимодействовать с виртуальным объектом 104, например, чтобы получить ценный предмет, например сокровище. Напротив, если виртуальный объект 104 представляет ʺвраждебногоʺ персонажа, пользователь 110 вероятно переместится дальше от физического местоположения 131, где помещен виртуальный объект 104 или будет сохранять свое текущее местоположение.

С этой целью, средство 125 обработки применяется для выбора физического местоположения для помещения текущего виртуального объекта, такого как виртуальный объект 104, помещенный в физическое местоположение 131, проиллюстрированное на фиг. 1. Выбранное физическое местоположение 131 является физическим местоположением, где текущий виртуальный объект 104 оказывается помещенным при наложении на видео последовательность, захватывающую физическую сцену 100. Средство 125 обработки приводится в действие для выбора физического местоположения 131 на основе ожидаемого физического местоположения, которое предполагает пользователь 110 в ответ на отображение физической сцены 100 и наложенного текущего виртуального объекта 104 пользователю 110, и атрибута, который является пространственно-зависимым, в окружении пользователя 110. Пространственно-зависимый атрибут влияет на опыт пользователя программного приложения AR. В настоящем документе, ожидаемое физическое местоположение, которое предполагает пользователь 110, является оцененным, вероятно будущим местоположением пользователя 110 после того, как наложенный текущий виртуальный объект 104 был отображен пользователю 110. Это ожидаемое физическое местоположение пользователя 110 учитывается при выборе физического местоположения для помещения текущего виртуального объекта 104, чтобы обеспечить улучшенный или по меньшей мере удовлетворительный пользовательский опыт для пользователя программного приложения AR.

Пространственно-зависимый атрибут является физическим свойством, на которое полагается программное приложение AR и которое влияет на пользовательский опыт программного приложения AR. Например, пространственно-зависимый атрибут может относиться к рабочей характеристике беспроводного соединения, используемого программным приложением AR. Со ссылкой на фиг. 1, беспроводное соединение может, например, быть установлено между точкой 103 доступа (AP) беспроводной локальной сети (WLAN)/Wi-Fi сети и модулем 126 связи, содержащимся в вычислительном устройстве 120. Пространственно-зависимый атрибут может быть любым одним из уровня сигнала, скорости передачи данных, ширины полосы, частоты ошибок, частоты повторной передачи и задержки беспроводного соединения. В частности, пользовательский опыт программного приложения AR обычно получает выгоду от высокого уровня сигнала, высокой скорости передачи данных или ширины полосы, низкой частоты ошибок, низкой частоты повторной передачи и низкой задержки. В качестве альтернативы, пространственно-зависимый атрибут может относиться к восприятию пользователем 110 звука, который воспроизводится программным приложением AR, например, посредством динамиков, которые обеспечены вблизи физической сцены 100 (не проиллюстрированы на фиг. 1). В этом случае, восприятие пользователем 110 может относиться к тому, может ли стерео-аудио или 3D-аудио доставляться в определенное физическое местоположение с достаточным качеством, громкостью или тому подобным.

Дополнительно со ссылкой на фиг. 1, показано альтернативное физическое местоположение 132 для помещения текущего виртуального объекта 104. Будет понятно, что варианты осуществления изобретения не ограничены рассмотрением двух физических местоположений-кандидатов для помещения текущего виртуального объекта. Напротив, пример, представленный здесь, был упрощен для обеспечения простоты изложения. Аналогично физическому местоположению 131, альтернативное физическое местоположение 132 близко к шкафу 101, и физические местоположения 131 и 132 могут, например, выбираться на основе требования игры AR, чтобы найти физическое местоположение для помещения текущего виртуального объекта 104, проиллюстрированного здесь в качестве персонажа игры AR, так что персонаж может прятаться, например, в углу комнаты или близко к предмету мебели, такому как шкаф 101. Однако, в противоположность физическому местоположению 131, альтернативное физическое местоположение 132 находится ближе к микроволновой печи 102, которая может вызвать помеху в беспроводной сети, созданной AP 103. Соответственно, ожидается, что рабочая характеристика беспроводного соединения, используемого программным приложением AR, посредством модуля 126 связи, будет хуже в альтернативном физическом местоположении 132 по сравнению с физическим местоположением 131. Ухудшенная рабочая характеристика отображается и может выводиться из пространственно-зависимого атрибута, такого как уровень сигнала, скорость передачи данных, ширина полосы, частота ошибок, частота повторной передачи или задержка беспроводного соединения. С этой целью, физическое местоположение 131 для помещения текущего виртуального объекта 104 выбирается из двух физических местоположений-кандидатов 131 и 132 на основе лучшей рабочей характеристики беспроводного соединения в физическом местоположении 131.

На фиг. 2 варианты осуществления изобретения проиллюстрированы в другом сценарии. Здесь иллюстрируется наружная физическая сцена 200, которая захватывается камерой 121, содержащейся в вычислительном устройстве 120, снова проиллюстрированном как HMD или головная гарнитура VR, носимая пользователем 110. Аналогично фиг. 1, средство 125 обработки приводится в действие для выбора физического местоположения 231 для помещения текущего виртуального объекта 204 на основе ожидаемого физического местоположения, которое предполагает пользователь 110 в ответ на отображение визуализированной дополненной сцены 223, содержащей физическую сцену 200 и наложенный текущий виртуальный объект 104, пользователю 110, и на основе пространственно-зависимого атрибута. Физическое местоположение 231 является физическим местоположением, где текущий виртуальный объект 104 оказывается помещенным при наложении на видео последовательность, захватывающую физическую сцену 200. Аналогично фиг. 1, пространственно-зависимый атрибут в этом примере связан с рабочей характеристикой беспроводного соединения, используемого программным приложением AR, и которое влияет на опыт пользователя программного приложения AR. В противоположность фиг. 1, беспроводное соединение на фиг. 2 устанавливается между радио базовой станцией 203 (RBS) сети сотовой связи и модулем 126 связи, содержащимся в вычислительном устройстве 120. Сеть сотовой связи может, например, быть любым одним из сети Глобальной системы мобильной связи (GSM), сети Универсальной мобильной телекоммуникационной системы (UMTS), сети Долгосрочного развития (LTE) или сети 5G.

В сценарии, проиллюстрированном на фиг. 2, выбирается физическое местоположение 231 для помещения виртуального объекта 104, а не альтернативное физическое местоположение 232, на основе лучшей рабочей характеристики беспроводного соединения в физическом местоположении 231. Это объясняется тем, что альтернативное физическое местоположение 232 находится за зданием 202, что отрицательно влияет на беспроводное соединение между RBS 202 и модулем 126 связи. Будет понятно, что варианты осуществления изобретения не ограничены рассмотрением двух физических местоположений-кандидатов 231 и 232 для помещения текущего виртуального объекта 204.

В последующем описании, выбор физического местоположения для помещения текущего виртуального объекта 104/204 описан более подробно, в соответствии с вариантами осуществления изобретения. С этой целью, средство 125 обработки может действовать, чтобы выбирать физическое местоположение для помещения текущего виртуального объекта 104/204 из набора физических местоположений-кандидатов, причем набор содержит по меньшей мере одно физическое местоположение-кандидат, такое как физические местоположения 131 и 132, проиллюстрированные на фиг. 1, или физические местоположения 231 и 232, проиллюстрированные на фиг. 2. Физические местоположения-кандидаты могут, например, обеспечиваться программным приложением AR. Например, список физических местоположений-кандидатов может обеспечиваться программным приложением AR совместно с запросом для выбора физического местоположения для помещения текущего виртуального объекта 104/204. Альтернативно, программное приложение AR может запрашивать физическое местоположение для помещения текущего виртуального объекта 104/204 из вычислительного устройства 120 на основе географических границ или другой информации, обеспеченной программным приложением AR. В качестве примера, программное приложение AR может обеспечивать расстояние или расстояния от пользователя 110, объектов реального мира и/или других виртуальных объектов, или географическую область, в пределах которой может выбираться физическое местоположение для помещения текущего виртуального объекта 104.

Для каждого из физических местоположений-кандидатов, определяется ожидаемое физическое местоположение, которое предполагает пользователь 110 в ответ на отображение физической сцены 100/200 и текущего виртуального объекта 104/204 пользователю 110, так что текущий виртуальный объект 104/204 оказывается помещенным в текущее физическое местоположение-кандидат. Затем, значение пространственно-зависимого атрибута оценивается в определенном ожидаемом физическом местоположении пользователя 110. Предпочтительно, опыт пользователя программного приложения AR принимается во внимание, когда выбирается физическое местоположение для помещения текущего виртуального объекта 104/204. Это может, например, достигаться извлечением одного или нескольких значений пространственно-зависимого атрибута как функции физического местоположения в окружении пользователя 110 из базы данных, как описано дополнительно ниже. Значения могут, например, извлекаться для одного физического местоположения-кандидата в данный момент времени. Альтернативно, список или массив значений, или карта, представляющая пространственно-зависимый атрибут, охватывающие окружение пользователя 110, могут извлекаться из базы данных. Извлеченные значения могут выбираться на основе физического местоположения устройства 120, ранее помещенных виртуальных объектов, поля зрения 122 камеры 121, носимой пользователем 110, или тому подобного. Наконец, физическое местоположение для помещения текущего виртуального объекта 104/204 выбирается из набора физических местоположений-кандидатов на основе значений пространственно-зависимого атрибута, оцененного в по меньшей мере одном физическом местоположении-кандидате.

Например, одно из физических местоположений-кандидатов, для которых пространственно-зависимый атрибут, оцененный в соответствующем ожидаемом физическом местоположении, удовлетворяет предопределенному критерию, может выбираться как физическое местоположение для помещения текущего виртуального объекта 104/204. В качестве примера, выбранное физическое местоположение может быть первым физическим местоположением-кандидатом, для которого пространственно-зависимый атрибут, оцененный в физическом местоположении-кандидате, удовлетворяет предопределенному критерию. Предпочтительно, предопределенный критерий относится к, или отображает, опыт пользователя программного приложения AR, на который оказывает влияние пространственно-зависимый атрибут. Предопределенный критерий может, например, быть пороговым критерием, таким как превышение определенной скорости передачи данных или ширины полосы или не-превышение определенной задержки или частоты ошибок, соответственно.

В качестве альтернативы, физическое местоположение для помещения текущего виртуального объекта 104/204 может выбираться как физическое местоположение-кандидат, для которого оцененный пространственно-зависимый атрибут предполагает максимальное (например, скорость передачи данных или ширина полосы) или минимальное значение (например, частота ошибок или задержка).

В качестве дополнительной альтернативы, физическое местоположение для помещения текущего виртуального объекта 104/204 может выбираться путем интерполирования множества значений пространственно-зависимого атрибута, оцененного во множестве физических местоположений-кандидатов, и выбора физического местоположения, где интерполированное значение пространственно-зависимого атрибута предполагает экстремальное значение, например, максимум в скорости передачи данных или ширине полосы, или минимум в задержке или частоте ошибок, соответственно.

Физические местоположения-кандидаты, для которых оценивается пространственно-зависимый атрибут, могут опционально определяться адаптивным способом. Например, следующее физическое местоположение-кандидат может выбираться на основе тренда, который идентифицируется в значениях пространственно-зависимого атрибута, оцененного для предыдущих физических местоположений-кандидатов. В качестве примера, следующее физическое местоположение-кандидат может выбираться на основе направления в окружении пользователя 110, в котором, как ожидается, пространственно-зависимый атрибут будет повышаться, на основе идентифицированного тренда, если пространственно-зависимый атрибут относится к скорости передачи данных или ширине полосы беспроводного соединения, или снижаться, если пространственно-зависимый атрибут относится к частоте ошибок или задержке беспроводного соединения, соответственно. Также будет понятно, что число физических местоположений-кандидатов, которые оцениваются, может зависеть от частоты изменения пространственно-зависимого атрибута как функции физического местоположения в окружении пользователя 110. То есть, если пространственно-зависимый атрибут относительно постоянный в окружении пользователя 110, достаточно оценить меньше физических местоположений-кандидатов по сравнению со сценарием, в котором пространственно-зависимый атрибут изменяется быстро с физическим местоположением.

Средство 125 обработки может действовать, чтобы определять ожидаемое физическое местоположение, которое предполагает пользователь 110 в ответ на отображение физической сцены 100/200 и наложенного текущего виртуального объекта 104/204 пользователю 110, путем выбора ожидаемого физического местоположения, которое должно находиться в пределах предопределенного диапазона текущего физического местоположения-кандидата, т.е., физического местоположения-кандидата, которое оценивается. В частности, в целях оценки пространственно-зависимого атрибута, ожидаемое физическое местоположение пользователя 110 может выбираться близким к, или равным, физическому местоположению-кандидату. В частности, это справедливо, если текущий виртуальный объект 104/204 принадлежит типу, который, вероятно, инициирует изменение физического местоположения пользователя 110 в направлении текущего виртуального объекта 104/204 при наложении на физическую сцену 100/200.

Опционально, ожидаемое физическое местоположение, которое предполагает пользователь 110 в ответ на отображение физической сцены 100/200 и наложенного текущего виртуального объекта 104/204 пользователю 110, определяется на основе типа текущего виртуального объекта 104/204. Например, в игре AR, возможные типы виртуальных объектов для персонажей игры AR могут быть ʺдружественныйʺ, ʺвраждебныйʺ, ʺдругʺ, ʺврагʺ или тому подобное. Предпочтительно, виртуальные объекты разделяются на категории разных типов, которые отражают поведение пользователя, чтобы либо перемещаться от виртуального объекта, перемещаться ближе к виртуальному объекту, либо поддерживать свое текущее физическое местоположение. Например, ожидаемое физическое местоположение, которое предполагает пользователь 110 в ответ на отображение физической сцены 100/200 и наложенного текущего виртуального объекта 104/204 пользователю 110, может определяться на основе информации касательно ожидаемого поведения группы пользователей программного приложения AR в ответ на отображение пользователям виртуального объекта того же самого типа, что и текущий виртуальный объект 104. Эта информация может, например, обеспечиваться программным приложением AR. Альтернативно, ожидаемое физическое местоположение, которое предполагает пользователь 110 в ответ на отображение физической сцены 100/200 и наложенного текущего виртуального объекта 104/204 пользователю 110, определяется на основе изученного поведения пользователя 110 в ответ на ранее отображенные виртуальные объекты того же самого типа, что и текущий виртуальный объект 104. То есть, вариант осуществления вычислительного устройства 120 может изучать, как пользователь 110 реагирует на наложенный виртуальный объект определенного типа, т.е., увеличивает ли пользователь 110, уменьшает или сохраняет свое расстояние до виртуального объекта.

Как описано выше, при оценке значений пространственно-зависимого атрибута в ожидаемом физическом местоположении, которое предполагает пользователь 110 в ответ на отображение текущего виртуального объекта 104/204, помещенного в одно из физических местоположений-кандидатов, одно или несколько значений пространственно-зависимого атрибута могут извлекаться из базы данных либо на основе по каждому местоположению, либо путем извлечения списка или массива значений, или карты, представляющей пространственно-зависимый атрибут в пределах определенной географической области. В частности, это может быть область в пределах окружения пользователя 110. Эти значения могут быть значениями, измеренными вычислительным устройством 120 или другими, аналогичными вычислительными устройствами, т.е., путем краудсорсинга. Альтернативно, эти значения могут быть смоделированными значениями, полученными с использованием модели для радио покрытия в окружении пользователя 110.

Опционально, средство 125 обработки может дополнительно действовать, чтобы сохранять измеренные значения пространственно-зависимого атрибута как функцию физического местоположения в базе данных. С этой целью, эти значения измеряются вычислительным устройством 120, носимым пользователем 110. Измерения могут выполняться непрерывно, с регулярными интервалами, или когда измеренное значение изменилось в предопределенной степени. Измеренные значения сохраняются вместе с физическим местоположением, где они были измерены, например, физическим местоположением вычислительного устройства 120 во время измерения. Значения могут храниться для собственного использования или для целей краудсорсинга, т.е., для использования другими пользователями программных приложений AR.

Далее, со ссылкой на фиг. 3, варианты осуществления изобретения описаны в терминах разных ролей и их взаимодействия.

Роль пользовательского устройства 301 обычно воплощается устройством, которое приводится в действие пользователем программного приложения AR, таким как HMD 120 или головная гарнитура VR 120, носимая пользователем 110, планшет, мобильный телефон, мобильный терминал, смартфон или игровая консоль. Пользовательское устройство 301 обычно содержит камеру 121 для захвата 311 физической сцены 100/200 в окружении пользователя 110 и дисплей 124 для отображения визуализированного вида 123/223, т.е., видео последовательности, захватывающей физическую сцену 100/200 и наложенного текущего виртуального объекта 104/204, пользователю 110.

Роль приложения 302 AR обычно воплощается вычислительным устройством или узлом сети, хостирующим, т.е., исполняющим, программное приложение AR. В частности, это может объединять в себе оценку и решение о развертывании виртуальных объектов, таких как персонажи 104/204 в игре AR или информация, обеспеченная путеводителем AR, на основе данных касательно физической сцены 100/200. Данные касательно физической сцены 100/200 принимаются 312 от пользовательского устройства 301 либо как видеоданные, например, видео последовательность, захватывающая физическую сцену 100/200, либо как данные, описывающие соответственное физическое местоположение и тип физических объектов реального мира в физической сцене 100/200. Данные, описывающие объекты реального мира, могут определяться пользовательским устройством 301 на основе обработки изображения/видео для видео последовательности, захватывающей физическую сцену 100/200, путем применения методов распознавания объектов.

Когда приложение 302 AR принимает решение развернуть 313 виртуальный объект 104/204, запрос 314 на физическое местоположение для помещения виртуального объекта 104/2043 отправляется на модуль 303 выбора местоположения. Роль модуля 303 выбора местоположения реализуется вариантами осуществления изобретения, в частности, вычислительным устройством для поддержки программного приложения AR, и поддерживает приложение 302 AR, хостирующее программное приложение AR, путем выбора физического местоположения 131/231 для помещения виртуального объекта 104/204 на основе ожидаемого физического местоположения, которое предполагает пользователь 110 в ответ на отображение 123/223 физической сцены 100/200 и наложенного текущего виртуального объекта 104/204 пользователю 110, и пространственно-зависимого атрибута, который влияет на опыт пользователя программного приложения AR, хостируемого приложением 302 AR.

При выборе физического местоположения для помещения виртуального объекта 104/204, модуль 303 выбора местоположения отправляет запрос 315 значений пространственно-зависимого атрибута в ожидаемом физическом местоположении пользователя 110 на базу 304 данных атрибута, которая отвечает отправкой 316 запрошенных значений на модуль 303 выбора местоположения. Роль базы 304 данных атрибута обычно реализуется вычислительным устройством или сетевым узлом, поддерживающим значения пространственно-зависимого атрибута как функцию местоположения. База данных, хранящая значения пространственно-зависимого атрибута, может поддерживаться вычислительным устройством 120, например, в памяти или хранилище данных, содержащихся в вычислительном устройстве 120, или отдельным устройством. Например, база данных может поддерживаться сервером приложения, хостирующим программное приложение AR, или другим сетевым узлом, ассоциированным с ним. В качестве другого примера, база данных может поддерживаться узлом RAN или узлом системы поддержки операций (OSS). Например, узел RAN может поддерживать информацию с пространственным разрешением о рабочих характеристиках RAN, таких как скорость передачи данных, частота ошибок, уровень сигнала и тому подобное. Эта информация может либо собираться от мобильных терминалов с использованием RAN, либо моделироваться.

На основе принятых 316 значений для пространственно-зависимого атрибута, модуль 303 выбора местоположения выбирает физическое местоположение 131/231 для помещения виртуального объекта 104/204, как описано в настоящем документе. Выбранное физическое местоположение отправляется 318 на приложение 302 AR, которое развертывает 319 виртуальный объект 104/204 путем помещения виртуального объекта 104/204 в выбранное физическое местоположение. Данные, описывающие развернутый виртуальный объект, обеспечиваются 320 на пользовательское устройство 301, которое затем визуализирует вид 123/223, отображаемый пользователю 110, путем наложения 321 виртуального объекта 104/204 в выбранном физическом местоположении на физической сцене 100/200. Альтернативно, вид 123/223, отображаемый пользователю 110, может визуализироваться приложением 302 AR, а не пользовательским устройством 301. В этом случае, данные 320, описывающие развернутый виртуальный объект, являются данными изображения/видео визуализированной дополненной сцены, которые затем отображаются пользовательским устройством 301.

Будет понятно, что варианты осуществления изобретения могут реализовывать разные роли, описанные выше, отдельно или в комбинации. Например, HMD 120 может, в дополнение к реализации роли пользовательского устройства 301, дополнительно реализовывать любую одну или несколько ролей приложения 302 AR, модуля 303 выбора местоположения и базы 304 данных атрибута. Альтернативно, если HMD 120 реализует только роль пользовательского устройства 301, HMD 120 может взаимодействовать, посредством сети связи и, в частности, беспроводного соединения, с сервером приложения, реализующим роль приложения 302 AR и опционально реализующим роли модуля 303 выбора местоположения и базы 304 данных атрибута. Сервер приложения, реализующий исключительно роль приложения 302 AR, может, в свою очередь, взаимодействовать с сервером местоположения, реализующим роль модуля 303 выбора местоположения и опционально реализующим роль базы 304 данных атрибута. Сервер местоположения, реализующий исключительно роль модуля 303 выбора местоположения, может, в свою очередь, взаимодействовать с сетевым узлом, реализующим роль базы 304 данных атрибута.

Хотя варианты осуществления изобретения в основном были описаны со ссылкой на вычислительное устройство 120, которое проиллюстрировано как HMD или головная гарнитура VR на фиг. 1, 2 и 4, вычислительное устройство для поддержки программного приложения AR может альтернативно быть воплощено другими типами устройств. Например, вычислительное устройство может быть воплощено планшетом, мобильным телефоном, мобильным терминалом, игровой консолью или смартфоном 500, как проиллюстрировано на фиг. 5. Аналогично HMD 120, смартфон 500 содержит камеру 121, дисплей 124, средство 125 обработки и модуль 126 связи. Смартфон 500 может удерживаться пользователем 110 или сопрягаться со лбом пользователя 110 с использованием адаптера 510, аналогичного Google Cardboard или Samsung Gear VR.

В качестве дополнительной альтернативы, со ссылкой на фиг. 6, вычислительное устройство может быть воплощено как сервер 600 приложения, чтобы хостировать программное приложение AR, или как сервер 600 местоположения для поддержки программного приложения AR в соответствии с вариантами осуществления изобретения, реализуя роль приложения 302 AR или роль модуля 303 выбора местоположения, соответственно. Более того, варианты осуществления приложения/сервера 600 местоположения могут дополнительно реализовывать роль(и) пользовательского устройства 301 и/или роль базы 304 данных атрибута. Аналогично HMD 120 и смартфону 500, приложение/сервер 600 местоположения содержит средство 125 обработки и модуль 126 связи. Как проиллюстрировано на фиг. 6, приложение/сервер 600 местоположения не содержит камеру для захвата физической сцены в окружении пользователя 110 или дисплей для представления захваченной сцены и наложенных виртуальных объектов пользователю 110. Напротив, это может выполняться внешней камерой и внешним дисплеем, соответственно. Например, сервер 600 приложения, хостирующий программное приложение AR, может осуществлять связь, предпочтительно посредством беспроводного соединения, с устройством, носимым пользователем 110, реализующим роль пользовательского устройства 301 и содержащим камеру для захвата физической сцены в окружении пользователя 110, а также дисплей для представления захваченной сцены и наложенных виртуальных объектов пользователю 110. Носимое пользователем устройство может, например, быть HMD или VR аналогично тому, что показано на фиг. 4. В качестве другого примера, сервер 600 местоположения может осуществлять связь, предпочтительно посредством беспроводного соединения, с носимым пользователем устройством, которое, в дополнение к реализации роли пользовательского устройства 301 и включению в себя камеры для захвата физической сцены в окружении пользователя 110 и дисплея для представления захваченной сцены и наложенных виртуальных объектов пользователю 110, также реализует роль приложения 302 AR путем хостирования программного приложения AR.

С этой целью, в дополнение к выбору физического местоположения для помещения текущего виртуального объекта, т.е., реализации роли модуля 303 выбора местоположения, вариант осуществления вычислительного устройства для поддержки программного приложения AR может дополнительно применяться для хостирования, т.е., исполнения, программного приложения AR, т.е., для реализации роли приложения 302 AR. Альтернативно, программное приложение AR может исполняться отдельным устройством, таким как сервер 600 приложения, реализующий роль приложения 302 AR, который осуществляет связь с вычислительным устройством для поддержки программного приложения AR, реализующим роль модуль 303 выбора местоположения.

Вариант осуществления вычислительного устройства для поддержки программного приложения AR может дополнительно реализовывать роль пользовательского устройства 301 путем наложения виртуального объекта на видео последовательность, захватывающую физическую сцену в окружении пользователя программного приложения AR, так что наложенный виртуальный объект оказывается помещенным в выбранное физическое местоположение. Предпочтительно, видео последовательность захватывается камерой, носимой пользователем, так что поле зрения камеры является коррелированным с физическим местоположением и ориентацией пользователя, т.е., оно перемещается с пользователем. Камера может опционально содержаться в вычислительном устройстве, например, в смартфоне, HMD или головной гарнитуре VR. Альтернативно, внешняя камера может быть соединена с вычислительным устройством с использованием проводного или беспроводного соединения, в частности, камеры, носимой пользователем, такой как камера типа GoPro.

Более того, вариант осуществления вычислительного устройства для поддержки программного приложения AR может дополнительно действовать для отображения видео последовательности, захватывающей физическую сцену и наложенного виртуального объекта пользователю, предпочтительно с использованием дисплея, носимого пользователем. Дисплей может, например, быть встроен в вычислительное устройство, например, в смартфон, HMD или головную гарнитуру VR. Альтернативно, дисплей может быть сопряжен со лбом пользователя, чтобы помещать изображения физического мира и виртуальные объекты в поле зрения пользователя.

Далее описаны варианты осуществления средства 125 обработки, содержащегося в вычислительном устройстве для поддержки программного приложения AR, таком как вычислительные устройства 120, 500 и 600, со ссылкой на фиг. 7 и 8.

На фиг. 7 показан первый вариант 700 осуществления средства 125 обработки. Средство 700 обработки содержит блок 702 обработки, такой как универсальный процессор, и считываемый компьютером носитель 703 хранения, такой как память с произвольной выборкой (RAM), флэш-память или тому подобное. Кроме того, средство 700 обработки содержит один или несколько интерфейсов 701 (ʺI/Oʺ на фиг. 7) для управления и/или приема информации от других компонентов, содержащихся в вычислительном устройстве 120/500/600, таких как камера 121, дисплей 124 и модуль 126 связи. Память 703 содержит исполняемые компьютером инструкции 704, т.е., компьютерную программу, для побуждения вычислительного устройства 120/500/600 работать в соответствии с вариантами осуществления изобретения, как описано в настоящем документе, когда исполняемые компьютером инструкции 704 исполняются на блоке 702 обработки. В частности, вычислительное устройство 120/500/600 может применяться для выбора физического местоположения для помещения текущего виртуального объекта на основе ожидаемого физического местоположения, которое пользователь программного приложения AR предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, и атрибута, который является пространственно-зависимым в окружении пользователя и который влияет на опыт пользователя программного приложения AR. Например, физическое местоположение для помещения текущего виртуального объекта может выбираться путем определения, по для меньшей мере одного физического местоположения-кандидата для помещения текущего виртуального объекта, ожидаемого физического местоположения, которое пользователь предполагает в ответ на отображение физической сцены и текущего виртуального объекта пользователю и оценку значения пространственно-зависимого атрибута в ожидаемом физическом местоположении. Физическое местоположение для помещения текущего виртуального объекта затем выбирается на основе множества значений пространственно-зависимого атрибута, оцененного по меньшей мере в одном физическом местоположении-кандидате. Ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, может, например, быть в пределах предопределенного диапазона физического местоположения-кандидата или быть равным ему.

Опционально, ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, может определяться на основе типа текущего виртуального объекта. Например, ожидаемое физическое местоположение может определяться на основе информации касательно ожидаемого поведения пользователей программного приложения AR в ответ на отображение пользователям виртуального объекта того же самого типа, что и текущий виртуальный объект. Альтернативно, ожидаемое физическое местоположение может определяться на основе изученного поведения пользователя в ответ на ранее отображенные виртуальные объекты того же самого типа, что и текущий виртуальный объект.

Пространственно-зависимый атрибут может относиться к выполнению беспроводного соединения, применяемому программным приложением AR. Например, пространственно-зависимый атрибут может быть любым одним из уровня сигнала, скорости передачи данных, ширины полосы, частоты ошибок, частоты повторной передачи и задержки беспроводного соединения. Альтернативно, пространственно-зависимый атрибут может относиться к восприятию пользователем звука, который воспроизводится программным приложением AR.

На фиг. 8 проиллюстрирован альтернативный вариант 800 осуществления средства 125 обработки. Аналогично средству 700 обработки, средство 800 обработки содержит один или несколько интерфейсов 801 (ʺI/Oʺ на фиг. 8) для управления и/или приема информации от других компонентов, содержащихся в вычислительном устройстве 120/500/600, таких как камера 121, дисплей 124 и модуль 126 связи. Средство 800 обработки дополнительно содержит модуль 803 выбора местоположения, который сконфигурирован для побуждения вычислительного устройства 120/500/600 работать в соответствии с вариантами осуществления изобретения, как описано в настоящем документе. В частности, модуль 803 выбора местоположения сконфигурирован для выбора физического местоположения для помещения текущего виртуального объекта на основе ожидаемого физического местоположения, которое пользователь программного приложения AR предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, и атрибута, который является пространственно-зависимым в окружении пользователя и который влияет на опыт пользователя программного приложения AR. Например, физическое местоположение для помещения текущего виртуального объекта может выбираться путем определения, по меньшей мере для одного физического местоположения-кандидата для помещения текущего виртуального объекта, ожидаемого физического местоположения, которое пользователь предполагает в ответ на отображение физической сцены и текущего виртуального объекта пользователю, и оценки значения пространственно-зависимого атрибута в ожидаемом физическом местоположении. Физическое местоположение для помещения текущего виртуального объекта затем выбирается на основе множества значений пространственно-зависимого атрибута, оцененного по меньшей мере в одном физическом местоположении-кандидате. Ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, может, например, быть в пределах предопределенного диапазона физического местоположения-кандидата или быть равным ему.

Средство 800 обработки может опционально содержать модуль 802 AR, который сконфигурирован для хостирования, т.е., исполнения, программного приложения AR.

Опционально, ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, может определяться на основе типа текущего виртуального объекта. Например, ожидаемое физическое местоположение может определяться на основе информации касательно ожидаемого поведения пользователей программного приложения AR в ответ на отображение виртуального объекта того же самого типа, что и текущий виртуальный объект, пользователям. Эта информация может, например, обеспечиваться модулем 802 AR или извлекаться из сервера приложения, хостирующего программное приложение AR. Альтернативно, ожидаемое физическое местоположение может определяться опциональным модулем 805 изучения, содержащимся в средстве 800 обработки, на основе изученного поведения пользователя в ответ на ранее отображенные виртуальные объекты того же самого типа, что и текущий виртуальный объект.

Пространственно-зависимый атрибут может относиться к выполнению беспроводного соединения, применяемому программным приложением AR. Например, пространственно-зависимый атрибут может быть любым одним из уровня сигнала, скорости передачи данных, ширины полосы, частоты ошибок, частоты повторной передачи и задержки беспроводного соединения. Альтернативно, пространственно-зависимый атрибут может относиться к восприятию пользователем звука, который воспроизводится программным приложением AR. Средство 800 обработки может опционально содержать модуль 804 базы данных, который сконфигурирован для поддержания базы данных, из которой одно или несколько значений пространственно-зависимого атрибута могут извлекаться как функция физического местоположения в окружении пользователя. Дополнительно опционально, значения пространственно-зависимого атрибута, измеренные вычислительным устройством 120/500/600, могут сохраняться модулем 804 базы данных в базе данных как функция физического местоположения.

Интерфейс(ы) 701 и 801 и модули 802-805, наряду с любыми дополнительными модулями, содержащимися в средстве 800 обработки, могут быть реализованы любым видом электронной схемы, например, любой одной или комбинацией аналоговой электронной схемы, цифровой электронной схемы и средства обработки, исполняющего подходящую компьютерную программу.

Модуль 126 связи, содержащийся в вычислительном устройстве 120/500/600, может, например, быть модулем Bluetooth, модулем WLAN/Wi-Fi или модулем поддержки сотовой связи любого одного или комбинации стандартов GMS, UMTS, LTE и 5G. Альтернативно, модуль 126 связи может быть сконфигурирован для осуществления связи с помощью инфракрасного (IR) света, видимого кодированного света (VCL), ZigBee и так далее.

В последующем описании, варианты 900 осуществления способа поддержки программного приложения AR описаны со ссылкой на Фиг. 9. Способ 900 может выполняться вычислительным устройством, таким как игровой сервер, хостирующий программное приложение AR, сервер местоположения для поддержки программного приложения AR, головная гарнитура VR или HMD, мобильный телефон, смартфон, мобильный терминал, персональный компьютер, ноутбук, планшет и игровая консоль. Способ 900 содержит выбор 906 физического местоположения для помещения текущего виртуального объекта на основе ожидаемого физического местоположения, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, и атрибута, который является пространственно-зависимым в окружении пользователя и который влияет на опыт пользователя программного приложения AR. Выбранное физическое местоположение является физическим местоположением, куда текущий виртуальный объект оказывается помещенным при наложении на видео последовательность, захватывающую физическую сцену в окружении пользователя программного приложения AR.

Физическое местоположение для помещения текущего виртуального объекта может выбираться 906 путем определения 903, по меньшей мере для одного физического местоположения-кандидата для помещения текущего виртуального объекта (путем выбора или создания 902 нового физического местоположения-кандидата в ответ на определение 905 того, что требуется оценить больше физических местоположений-кандидатов), ожидаемого физического местоположения, которое пользователь предполагает в ответ на отображение физической сцены и текущего виртуального объекта пользователю, наложенного так, что он оказывается помещенным в физическое местоположение-кандидат, и оценки 904 значения пространственно-зависимого атрибута в ожидаемом физическом местоположении. Физическое местоположение для помещения текущего виртуального объекта затем выбирается 906 на основе множества значений пространственно-зависимого атрибута, оцененного 904 по меньшей мере в одном физическом местоположении-кандидате. Набор физических местоположений-кандидатов может, например, приниматься от программного приложения AR. Альтернативно, новые физические местоположения-кандидаты могут создаваться 902 на основе информации, обеспеченной программным приложением AR, как описано ранее в настоящем документе.

Ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, может, например, определяться 903 как находящееся в пределах предопределенного диапазона физического местоположения-кандидата или равное ему. Опционально, ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, может определяться 903 на основе типа текущего виртуального объекта. Например, ожидаемое физическое местоположение может определяться 903 на основе информации касательно ожидаемого поведения пользователей программного приложения AR в ответ на отображение виртуального объекта того же самого типа, что и текущий виртуальный объект, пользователям. Альтернативно, ожидаемое физическое местоположение может определяться 903 на основе изученного поведения пользователя в ответ на ранее отображенные виртуальные объекты того же самого типа, что и текущий виртуальный объект.

Способ 900 может дополнительно содержать извлечение, из базы данных, одного или нескольких значений пространственно-зависимого атрибута как функции физического местоположения в окружении пользователя. Эти значения могут, например, извлекаться при оценке 904 пространственно-зависимого атрибута в определенном 903 ожидаемом физическом местоположении пользователя. Альтернативно, может извлекаться 901 список или массив значений или карта, представляющая пространственно-зависимый атрибут в определенной географической области.

Способ 900 может дополнительно содержать 907 наложение текущего виртуального объекта на видео последовательность, захватывающую физическую сцену, так что наложенный текущий виртуальный объект оказывается помещенным в выбранное физическое местоположение.

Способ 900 может дополнительно содержать отображение 908 видео последовательности, захватывающей физическую сцену и наложенный текущий виртуальный объект пользователю.

Будет понятно, что способ 900 может содержать дополнительные или модифицированные этапы в соответствии с тем, что описано по всему настоящему раскрытию. Вариант осуществления способа 900 может быть реализован как программное обеспечение, такое как компьютерная программа 704, подлежащее исполнению блоком обработки, содержащимся в вычислительном устройстве для поддержки программного приложения AR, при этом вычислительное устройство приводится в действие, чтобы работать в соответствии с описанными здесь вариантами осуществления изобретения.

Специалисту в данной области техники должно быть понятно, что изобретение никаким образом не ограничено вариантами осуществления, описанными выше. Напротив, множество модификаций и вариаций возможны в пределах объема прилагаемой формулы изобретения.

Изобретение относится к области дополненной реальности (AR). Техническим результатом является обеспечение выбора физических местоположений для помещения виртуальных объектов программными приложениями AR. Вычислительное устройство (120) для поддержки программного приложения дополненной реальности (AR) приводится в действие, чтобы выбирать физическое местоположение (131) для помещения текущего виртуального объекта (104), где текущий виртуальный объект оказывается помещенным при наложении на видео последовательность, захватывающую физическую сцену (100; 200) в окружении пользователя (110), на основе ожидаемого физического местоположения, которое пользователь предполагает в ответ на отображение (123) физической сцены и наложенного текущего виртуального объекта пользователю, и атрибута, который является пространственно-зависимым и который влияет на опыт пользователя программного приложения AR. При этом пространственно-зависимый атрибут связан с рабочей характеристикой беспроводного соединения, используемого программным приложением AR. 3 н. и 29 з.п. ф-лы, 9 ил.

1. Вычислительное устройство (120; 500; 600) для поддержки программного приложения дополненной реальности, AR, причем вычислительное устройство содержит средство (125) обработки, действующее, чтобы:

выбирать физическое местоположение (131; 231) для помещения текущего виртуального объекта (104; 204), где текущий виртуальный объект оказывается помещенным при наложении на видео последовательность, захватывающую физическую сцену (100; 200) в окружении пользователя (110) программного приложения AR, на основе:

ожидаемого физического местоположения, которое пользователь предполагает в ответ на отображение (123; 223) физической сцены и наложенного текущего виртуального объекта пользователю, и

атрибута, который является пространственно-зависимым в окружении пользователя и который влияет на опыт пользователя программного приложения AR, при этом пространственно-зависимый атрибут связан с рабочей характеристикой беспроводного соединения, используемого программным приложением AR.

2. Вычислительное устройство по п. 1, в котором средство обработки действует, чтобы выбирать физическое местоположение для помещения текущего виртуального объекта посредством:

по меньшей мере для одного физического местоположения-кандидата (131, 132; 231, 232) для помещения текущего виртуального объекта:

определения ожидаемого физического местоположения, которое пользователь предполагает в ответ на отображение физической сцены и текущего виртуального объекта, наложенного так, что он оказывается помещенным в физическое местоположение-кандидат, пользователю, и

оценки значения пространственно-зависимого атрибута в ожидаемом физическом местоположении, и

выбора физического местоположения для помещения текущего виртуального объекта на основе множества значений пространственно-зависимого атрибута, оцененного по меньшей мере в одном физическом местоположении-кандидате.

3. Вычислительное устройство по п. 2, в котором ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, находится в пределах предопределенного диапазона физического местоположения-кандидата.

4. Вычислительное устройство по п. 2, в котором ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, определяется на основе типа текущего виртуального объекта.

5. Вычислительное устройство по п. 4, в котором ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, определяется на основе информации касательно ожидаемого поведения пользователей программного приложения AR в ответ на отображение виртуального объекта того же самого типа, что и текущий виртуальный объект, пользователям.

6. Вычислительное устройство по п. 4, в котором ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, определяется на основе изученного поведения пользователя в ответ на ранее отображенные виртуальные объекты того же самого типа, что и текущий виртуальный объект.

7. Вычислительное устройство по любому одному из пп. 1-6, дополнительно действующее, чтобы извлекать, из базы данных (703; 804), одно или несколько значений пространственно-зависимого атрибута как функции физического местоположения в окружении пользователя.

8. Вычислительное устройство по любому одному из пп. 1-7, в котором средство обработки дополнительно действует, чтобы сохранять, в базе данных (703; 804), измеренные значения пространственно-зависимого атрибута как функцию физического местоположения.

9. Вычислительное устройство по п. 7 или 8, в котором база данных поддерживается любым одним из вычислительного устройства, узла сети радиодоступа, RAN, и узла систем поддержки операций, OSS.

10. Вычислительное устройство по п. 1, в котором пространственно-зависимый атрибут является любым одним из: уровня сигнала, скорости передачи данных, ширины полосы, частоты ошибок, частоты повторной передачи и задержки беспроводного соединения.

11. Вычислительное устройство по любому одному из пп. 1-9, в котором пространственно-зависимый атрибут связан с восприятием пользователем звука, который воспроизводится программным приложением AR.

12. Вычислительное устройство по любому одному из пп. 1-11, в котором средство обработки дополнительно действует, чтобы накладывать текущий виртуальный объект на видео последовательность, захватывающую физическую сцену, так что наложенный текущий виртуальный объект оказывается помещенным в выбранное физическое местоположение.

13. Вычислительное устройство по п. 12, в котором средство обработки дополнительно действует, чтобы отображать видео последовательность (123; 223), захватывающую физическую сцену, и наложенный текущий виртуальный объект пользователю.

14. Вычислительное устройство по любому одному из пп. 1-13, в котором видео последовательность захватывается камерой (121), носимой пользователем, так что поле зрения (122) камеры является коррелированным с физическим местоположением и ориентацией пользователя.

15. Вычислительное устройство по любому одному из пп. 1-14, которое также содержит дисплей (124), при этом вычислительное устройство является носимым пользователем.

16. Вычислительное устройство по любому одному из пп. 1-15, являющееся любым одним из игрового сервера (600), хостирующего программное приложение AR, головной гарнитуры (120) виртуальной реальности, головного дисплея (120), мобильного телефона (500), смартфона (500), мобильного терминала (500), персонального компьютера, ноутбука, планшета и игровой консоли.

17. Способ (900) поддержки программного приложения дополненной реальности, AR, причем способ выполняется вычислительным устройством и содержит:

выбор (906) физического местоположения для помещения текущего виртуального объекта, где текущий виртуальный объект оказывается помещенным при наложении на видео последовательность, захватывающую физическую сцену в окружении пользователя программного приложения AR, на основе:

ожидаемого физического местоположения, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, и

атрибута, который является пространственно-зависимым в окружении пользователя и который влияет на опыт пользователя программного приложения AR, при этом пространственно-зависимый атрибут связан с рабочей характеристикой беспроводного соединения, используемого программным приложением AR.

18. Способ по п. 17, в котором физическое местоположение для помещения текущего виртуального объекта выбирается (906) путем:

по меньшей мере для одного (902, 905) физического местоположения-кандидата для помещения текущего виртуального объекта:

определения (903) ожидаемого физического местоположения, которое пользователь предполагает в ответ на отображение физической сцены и текущего виртуального объекта, наложенного так, что он оказывается помещенным в физическое местоположение-кандидат, пользователю, и

оценки (904) значения пространственно-зависимого атрибута в ожидаемом физическом местоположении, и

выбора (906) физического местоположения для помещения текущего виртуального объекта на основе множества значений пространственно-зависимого атрибута, оцененного по меньшей мере в одном физическом местоположении-кандидате.

19. Способ по п. 18, в котором ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, находится в пределах предопределенного диапазона физического местоположения-кандидата.

20. Способ по п. 18, в котором ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, определяется (903) на основе типа текущего виртуального объекта.

21. Способ по п. 20, в котором ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, определяется (903) на основе информации касательно ожидаемого поведения пользователей программного приложения AR в ответ на отображение виртуального объекта того же самого типа, что и текущий виртуальный объект, пользователям.

22. Способ по п. 20, в котором ожидаемое физическое местоположение, которое пользователь предполагает в ответ на отображение физической сцены и наложенного текущего виртуального объекта пользователю, определяется (903) на основе изученного поведения пользователя в ответ на ранее отображенные виртуальные объекты того же самого типа, что и текущий виртуальный объект.

23. Способ по любому одному из пп. 17-22, дополнительно содержащий извлечение (901, 904), из базы данных, одного или нескольких значений пространственно-зависимого атрибута как функции физического местоположения в окружении пользователя.

24. Способ по любому одному из пп. 17-23, дополнительно содержащий сохранение, в базе данных, измеренных значений пространственно-зависимого атрибута как функции физического местоположения.

25. Способ по п. 23 или 24, в котором база данных поддерживается любым одним из вычислительного устройства, узла сети радиодоступа, RAN, и узла систем поддержки операций OSS.

26. Способ по п. 17, в котором пространственно-зависимый атрибут является любым одним из уровня сигнала, скорости передачи данных, ширины полосы, частоты ошибок, частоты повторной передачи и задержки беспроводного соединения.

27. Способ по любому одному из пп. 17-25, в котором пространственно-зависимый атрибут связан с восприятием пользователем звука, который воспроизводится программным приложением AR.

28. Способ по любому одному из пп. 17-27, дополнительно содержащий наложение (907) текущего виртуального объекта на видео последовательность, захватывающую физическую сцену, так что наложенный текущий виртуальный объект оказывается помещенным в выбранное физическое местоположение.

29. Способ по п. 28, дополнительно содержащий отображение (908) видео последовательности, захватывающей физическую сцену, и наложенного текущего виртуального объекта пользователю.

30. Способ по любому одному из пп. 17-29, в котором видео последовательность захватывается камерой (121), носимой пользователем, так что поле обзора (122) камеры является коррелированным с физическим местоположением и ориентацией пользователя.

31. Способ по любому одному из пп. 17-30, в котором вычислительное устройство содержит дисплей (124), при этом вычислительное устройство является носимым пользователем.

32. Считываемый компьютером носитель хранения, содержащий компьютерную программу (704), содержащую исполняемые компьютером инструкции для побуждения устройства выполнять способ по любому одному из пп. 17-31.