УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ И ПРОГРАММА Российский патент 2019 года по МПК G06F3/01 G06F3/346 G06F3/48 G06F3/16 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки информации, способу обработки информации и программе, а конкретно к устройству обработки информации, способу обработки информации и программе, которые способны более точно указывать позицию за пределами области отображения.

Уровень техники

В последние годы ведется исследовательская работа в области носимых компьютеров, которые пользователи могут носить на себе при ходьбе (см., например, патентную литературу 1). В качестве разновидности носимого компьютера известен дисплей, который может крепиться на голове, как устанавливаемый на голове дисплей (HMD), или т.п.

Кроме того, в центре внимания находится технология, называемая «дополненная реальность» (AR), которая представляет пользователям виртуальный контент, наложенный на объект реального пространства (например, см. патентную литературу 2). С помощью технологии AR, например, информация (объект AR) о сцене, которую пользователь видит через дисплей пропускающего типа, такой как HMD, может быть отображена в наложении на местность в соответствии с текущей позицией пользователя.

Дополнительно, в патентной литературе 3 раскрыта технология управления воспроизведением источников музыки на основе текущей позиции пользователя и направления, заданного в соответствии с путем к месту назначения.

Список ссылок

Список патентной литературы

Патентная литература 1: JP 2011-28763А

Патентная литература 2: JP 2013-92964А

Патентная литература 3: JP 2003-028663А

Раскрытие изобретения

Техническая задача

Поскольку на дисплее HMD как описанный выше может быть отображена лишь ограниченная область, существуют случаи, когда в этой узкой области трудно отобразить не только информацию о том, что находится в пределах поля зрения пользователя, но также о том, что находится за пределами поля зрения пользователя. Следовательно, несмотря на то, что отображение информации с помощью изображения интуитивно понятно и недвусмысленно, на дисплее может быть отображена ограниченная область и, таким образом, существует ограничение отображения всей информации.

Кроме того, в описанном выше патентной литературе 3 пользователь может распознать расположение слева и справа на прямой, поскольку в наушниках использованы два канала для воспроизведения; но когда стереоскопические звуки воспроизводятся с помощью передаточной функции головы (HRTF), если для отображения позиции используется, однако, только звук, существует вероятность ошибочного распознавания передней и задней сторон. Одна из причин, по которым это происходит, заключается в том, что когда HRTF не принадлежит пользователю, звук слышится не так, как обычно, когда пользователь слышит звуки природного мира своими ушами, и, таким образом, пользователь может не суметь определить позицию источника звука. Кроме того, даже если HRTF принадлежит пользователю, способ слышания может отличаться из-за характеристик наушников или устройства воспроизведения, выполняющего во спроизведение.

Как описано выше, существует потребность указывать информацию за пределами области отображения дисплея, имеющего ограниченную область отображения, но даже если используется способ воспроизведения звука, раскрытый в патентной литературе 3, невозможно точно указать информацию за пределами области отображения.

Настоящее изобретение учитывает изложенные выше обстоятельства и ставит целью более точно указывать позицию за пределами области отображения.

Решение задачи

Согласно объекту настоящего изобретения устройство обработки информации включает в себя: блок отображения изображения, выполненный с возможностью отображать изображение; блок вывода звука, выполненный с возможностью выводить звук; блок обозначения позиции, выполненный с возможностью обозначать позицию за пределами области отображения блока отображения изображения; и управляющий блок, выполненный с возможностью управлять выводом звука объекта дополненной реальности (AR), перемещая объект AR к обозначенной позиции.

Управляющий блок может заставлять изображение объекта AR отображаться, когда объект AR пересекает область отображения блока отображения изображения.

Может присутствовать множество объектов AR.

Управляющий блок может заставлять объекты AR перемещаться с обеих сторон от пользователя, когда объекты AR движутся к обозначенной позиции.

Управляющий блок может заставлять выводить в разные моменты времени звуки множества объектов AR.

Устройство обработки информации может далее включать в себя блок обнаружения, выполненный с возможностью обнаруживать направление блока отображения изображения. Управляющий блок может вызывать перемещение объекта AR в соответствии с направлением блока отображения изображения.

Управляющий блок может вызывать перемещение объекта AR так, что изображение объекта AR отображается в области отображения.

В результате управления управляющего блока позиция вывода звука объекта AR может совпадать с позицией отображения изображения объекта AR в пределах области отображения.

В результате управления управляющего блока позиция вывода звука объекта AR может не совпадать с позицией отображения изображения объекта AR в пределах области отображения.

Устройство обработки информации может являться устройством по типу очков, имеющим пару блоков отображения изображения для левого и правого глаз.

Устройство обработки информации может являться независимым устройством или внутренним блоком, составляющим одно устройство.

Способ обработки информации и программа согласно объекту настоящего изобретения являются способом обработки информации и программой, совместимыми с устройством обработки информации согласно объекту настоящего изобретения.

В устройстве обработки информации, способе обработки информации и программе согласно объекту настоящего изобретения обозначается позиция за пределами области отображения блока отображения изображения и осуществляется управление выводом звука объекта AR с блока вывода звука, в то время как объект AR движется к обозначенной позиции.

Полезные эффекты изобретения

Согласно объекту настоящего изобретения возможно более точно указывать позицию за пределами области отображения.

Следует отметить, что раскрытый здесь эффект не является ограничивающим, может демонстрироваться любой эффект, раскрытый в настоящем изобретении.

Краткое описание чертежей

Фиг. 1 является блок-схемой, показывающей конфигурацию варианта осуществления системы AR, к которой применено настоящее изобретение.

Фиг. 2 является блок-схемой, показывающей подробную конфигурацию управляющего блока и HMD.

Фиг. 3 является блок-схемой, показывающей подробную конфигурацию смартфона.

Фиг. 4 является блок-схемой, показывающей подробную конфигурацию сервера AR.

Фиг. 5 является блок-схемой, показывающей подробную конфигурацию блока обработки AR.

Фиг. 6 является блок-схемой, описывающей процесс, выполняемый каждым из устройств, составляющих систему AR.

Фиг. 7 является блок-схемой, описывающей процесс 1 согласования объекта AR.

Фиг. 8 является схемой, показывающей цилиндрическую систему координат системы AR.

Фиг. 9 является схемой, показывающей отношение между областью отображения и объектом AR в цилиндрической системе координат.

Фиг. 10 является схемой, показывающей отношение между областью отображения и озвученным объектом AR в цилиндрической системе координат.

Фиг. 11 является блок-схемой, описывающей процесс 1 согласования озвученного объекта AR.

Фиг. 12 является схемой, показывающей пример обозначения позиции цели.

Фиг. 13 является схемой, показывающей пример установки траектории озвученного объекта AR.

Фиг. 14 является схемой, показывающей пример отображения образа звукового объекта.

Фиг. 15 является блок-схемой, описывающей процесс 2 согласования озвученного объекта AR.

Фиг. 16 является схемой, показывающей пример обозначения позиции цели. Фиг. 17 является схемой, показывающей пример установки траектории озвученного объекта AR.

Фиг. 18 является схемой, показывающей пример отображения образа звукового объекта.

Фиг. 19 является блок-схемой, описывающей процесс 2 согласования объекта AR.

Фиг. 20 является схемой, показывающей пример отображения образа звукового объекта.

Фиг. 21 является схемой, показывающей пример двунаправленного движения звуковых объектов.

Фиг. 22 является схемой, показывающей пример пути рисования изображения объекта AR.

Фиг. 23 является схемой, показывающей концепцию VPT (технологии виртуальных наушников, ТВН).

Фиг. 24 является схемой, показывающей пример обработки сигнала по VPT.

Фиг. 25 является схемой для описания первого звукового пути объекта AR.

Фиг. 26 является схемой для описания основной обработки звука.

Фиг. 27 является схемой для описания обработки звука двунаправленного движения.

Фиг. 28 является схемой для описания обработки звука в промежуточной позиции.

Фиг. 29 является схемой для описания обработки длящегося звука.

Фиг. 30 является схемой для описания второго звукового пути объекта AR.

Фиг. 31 является схемой для описания основной обработки звука.

Фиг. 32 является схемой, показывающей конкретный пример 1 работы системы AR.

Фиг. 33 является схемой, показывающей конкретный пример 2 работы системы AR.

Осуществление изобретения

Варианты осуществления настоящего изобретения будут описаны ниже со ссылкой на чертежи.

Конфигурация системы AR

Фиг. 1 является блок-схемой, показывающей конфигурацию варианта осуществления системы AR, к которой применено настоящее изобретение.

Система 1 AR представляет информацию с учетом текущей позиции пользователя, носящего устанавливаемый на голове дисплей (HMD) 20, пользователю, использующему технологию дополненной реальности (AR). Как показано на Фиг. 1, система 1 AR состоит из управляющего блока 10, AR 20, смартфона 30 и сервера 40 AR. Управляющий блок 10 и AR 20 соединены друг с другом проводом, отвечающим заранее заданному стандарту. Кроме того, смартфон 30 и сервер 40 AR соединены друг с другом посредством беспроводной сети - Интернета 80 или т.п.

Управляющий блок 10, являющийся устройством для управления HMD 20, управляет работой HMD 20 согласно манипуляциям с различными кнопками, выполняемым пользователем. HMD 20, являющийся примером носимого компьютера, представляет собой устройство по типу очков, имеющее дисплеи пропускающего типа, наушники и т.п. HMD 20 имеет пару дисплеев пропускающего типа - для левого и правого глаз, - размещенных на месте линз, которые вставляют в оправу обычных очков, и пользователь носит его на голове.

Кроме того, управляющий блок 10 имеет блок беспроводной связи ближнего действия и может устанавливать беспроводную связь со смартфоном 30 на основе стандарта беспроводной связи ближнего действия, например, Bluetooth (зарегистрированный товарный знак), для обмена данными различных типов. Смартфон 30 обладает функцией GPS (глобальной системы позиционирования) и может получать информацию о текущей позиции пользователя, носящего HMD 20, принимая сигналы со спутника 90 GPS. Затем смартфон 30 передает информацию, указывающую текущую позицию, на сервер 40 AR через Интернет 80 для получения информации об объекте AR текущей позиции. Смартфон 30 передает информацию об объекте AR на управляющий блок 10 посредством беспроводной связи.

Здесь информация об объекте AR включает в себя информацию о координатах, изображениях, звуках и т.п. Информация о координатах относится, например, к координатам объекта AR в цилиндрической системе координат вокруг пользователя, носящего HMD 20, указывающих его позицию. Информация об изображении относится к информации, касающейся изображения, отображенного в качестве объекта AR. Кроме того, информация о звуке относится к информации, касающейся звука, указывающего объект AR. В приведенном ниже описании информация об изображении объекта AR называется «визуальным объектом», а информация о его звуке называется «звуковым объектом».

Информация об объекте AR, однако, включает в себя по меньшей мере визуальный объект и информацию о координатах, и произвольно включает в себя звуковой объект. Таким образом, среди объектов AR именно тот, что включает в себя звуковой объект, будет называться «озвученным объектом AR». Кроме того, звуковой объект далее включает информацию об изображении, и его изображение будет называться «изображением звукового объекта»

Управляющий блок 10 выводит информацию об объекта AR, поступающую со смартфона 30, на HMD 20. Соответственно, например, визуальный объект, относящийся к объекту, который пользователь, носящий HMD 20, видит сквозь дисплеи пропускающего типа, может быть наложен и отображен на объекте. Кроме того, на наушники HMD 20 может быть выведен звук, соответствующий звуковому объекту.

Система 1 AR выполнена так, как описано выше.

Примеры конфигурации соответствующих устройств

Теперь примеры конфигурации соответствующих устройств, составляющих систему 1 AR по Фиг. 1, будут описаны со ссылкой на Фиг. 2-5.

Подробная конфигурация блока управления и HMD

Фиг. 2 является блок-схемой, показывающей подробную конфигурацию управляющего блока 10 и HMD 20 по Фиг. 1. Как описано выше, управляющий блок 10 и HMD 20 соединены друг с другом проводом, отвечающим заданному стандарту.

Как показано на Фиг. 2, центральный процессор (CPU) 101, постоянное запоминающее устройство (ROM) 102 и оперативное запоминающее устройство (RAM) 103 соединены друг с другом шиной 104 управляющего блока 10. CPU 101 выполняет управляющую программу, записанную на ROM 102, для управления работой каждого блока в управляющем блоке 10. Кроме того, RAM 103 включает в себя данные различных типов, записанные на него подходящим способом.

Интерфейс 105 ввода-вывода далее подключен к шине 104. Интерфейс 105 ввода-вывода подключен к командному блоку 106, блоку 107 подключения и блоку 108 беспроводной связи. Командный блок 106 является физической кнопкой и т.п. , имеющейся в управляющем блоке 10, и подает сигналы команд на CPU 101 в соответствии с командами пользователя. CPU 101 управляет работой каждого блока HMD 20 в соответствии с сигналами команд с командного блока 106.

Блок 107 подключения подключен к HMD 20 проводом, отвечающим заданному стандарту, и выполняет обмен данными различных типов с HMD 20 в соответствии с управлением CPU 101. Блок 108 беспроводной связи обладает функцией беспроводной связи ближнего действия, осуществляет беспроводную связь со смартфоном 30 в соответствии с управлением CPU 101 на основе заданного стандарта беспроводной связи ближнего действия для обмена данными различных типов.

Кроме того, как показано на Фиг. 2, HMD 20 состоит из блока 201 подключения, геомагнитного датчика 203, гироскопа 204, датчика 205 ускорения, дисплея 206, наушников 207 и блока 208 камеры, и составляющие элементы подключены к интерфейсу 202 ввода-вывода.

Геомагнитный датчик 203 регистрирует геомагнетизм вокруг HMD 20. Гироскоп 204 регистрирует углы вращения HMD 20. Датчик 205 ускорения регистрирует ускорение свободного падения HMD 20. Результаты регистрации с геомагнитного датчика 203, гироскопа 204 и датчика 205 ускорения подаются на блок 201 подключения через интерфейс 202 ввода-вывода в качестве показаний датчиков.

Блок 201 подключения выводит показания датчиков с геомагнитного датчика 203, гироскопа 204 и датчика 205 ускорения на управляющий блок 10. Соответственно, управляющий блок 10 может регистрировать положение или направление HMD 20, используя показания датчиков. Следует отметить, что управляющий блок 10 может получать информацию о текущей позиции пользователя с помощью показаний датчиков, а не с помощью функции GPS на основе т.н. автономной навигации.

Дисплей 206 включает в себя пару дисплеев пропускающего типа для левого и правого глаз, описанных выше. Дисплей 206 отображает различные изображения в соответствии с управлением управляющего блока 10. Кроме того, наушники 207 являются маленькими наушниками, размещенными близко к левому и правому ушам пользователя. Наушники 207 выводят различные звуки в соответствии с управлением управляющего блока 10.

Блок 208 камеры является направленной наружу камерой, состоящей из твердотельного датчика изображения, такого как КМОП-датчик (комплементарный металлооксидный полупроводник), и обладает функцией фотографирования объектов, наблюдаемых через дисплей 206. Блок 208 камеры подает данные изображения, полученные путем фотографирования объекта и выполнения заранее заданной обработки изображения, но блок 201 подключения. Блок 201 подключения выводит данные изображения с блока 208 камеры на управляющий блок 10. Соответственно, управляющий блок 10 может выполнять различные виды обработки данных изображения.

Подробная конфигурация смартфона

Фиг. 3 является блок-схемой, показывающей подробную конфигурацию смартфона 30 по Фиг. 1.

Как показано на Фиг. 3, CPU 301, ROM 302 и RAM 303 соединены друг с другом посредством шины 304 в смартфоне 30. CPU 301 выполняет управляющую программу, записанную на ROM 302, для управления различными операциями смартфона 30. Кроме того, на RAM 303 соответствующим образом записаны данные различных типов.

Далее к шине 304 подключен интерфейс 305 ввода-вывода. Сенсорная панель 306, динамик 307, блок 308 GPS, блок 309 беспроводной связи и блок 310 мобильной связи подключены к интерфейсу 305 ввода-вывода.

Сенсорная панель 306 состоит из блока 321 дисплея и датчика 322 касания, который наложен на экран блока дисплея. Блок 321 дисплея состоит из жидкокристаллического дисплея (LCD) или т.п. и отображает информацию различных типов в соответствии с управлением CPU 301. Кроме того, датчик 322 касания регистрирует манипуляцию ввода, выполняемую пользователем на сенсорной панели 306, наряду с позицией сенсорной панели 306, в котором выполняется манипуляция, и подает сигнал регистрации на CPU 301. CPU 301 управляет работой блоков смартфона 30 в соответствии с сигналом регистрации с датчика 322 касания.

Динамик 307 выводит звуки, соответствующие звуковым сигналам, в соответствии с управлением CPU 301. Кроме того, блок 308 GPS получает информацию о текущих позициях пользователя, принимая сигналы со спутника 90 GPS посредством антенны, в соответствии с управлением CPU 301.

Блок 309 беспроводной связи обладает функцией беспроводной связи ближнего действия и, таким образом, осуществляет беспроводную связь, отвечающую заранее заданному стандарту беспроводной связи ближнего действия, с управляющим блоком 10 в соответствии с управлением CPU 301 для обмена данными различных типов. Кроме того, блок 310 мобильной связи осуществляет связь с сервером 40 AR и т.п. посредством Интернета 80 в соответствии с управлением CPU 301 для обмена данными различных типов. Следует отметить, что, хотя здесь не приводятся подробности, смартфон 30 обладает другими функциями, например, функцией звонка, как мобильный телефон.

Подробная конфигурация сервера AR

Фиг. 4 является блок-схемой, показывающей подробную конфигурацию сервера 40 AR по Фиг. 1.

Как показано на Фиг. 4, CPU 401, ROM 402 и RAM 403 соединены друг с другом шиной 404 в сервере 40 AR. CPU 401 выполняет управляющую программу, записанную на ROM 402, для управления различными операциями блоков сервера 40 AR. Кроме того, на RAM 403 соответствующим образом записаны данные различных типов.

Далее к шине 404 подключен интерфейс 405 ввода-вывода. Блок 406 ввода, блок 407 дисплея, динамик 408, блок 409 связи и блок 410 удержания объекта AR подключены к интерфейсу 405 ввода-вывода.

Блок 406 ввода включает в себя клавиатуру, мышь, микрофон и т.п. и подает введенную информацию на CPU 401. Блок 407 дисплея состоит из жидкокристаллического дисплея или т.п. и отображает информацию различных типов в соответствии с управлением CPU 401. Кроме того, динамик 408 выводит звуки в соответствии с управлением CPU 401. Блок 409 связи осуществляет связь со смартфоном 30 посредством Интернета 80 в соответствии с управлением CPU 401 для обмена данными различных типов

Блок 410 удержания объекта AR удерживает информацию объекта AR. Информация объекта AR, например, подготавливается заранее как данные для наложения на объект реального пространства и записывается в блоке 410 удержания объекта AR. Блок 410 удержания объекта AR подает информацию объекта AR на блок 409 связи в соответствии с управлением CPU 401. Блок 409 связи передает информацию объекта AR, считанную с блока 410 удержания объекта AR, на смартфон 30 посредством Интернета 80.

Привод 411 предназначен для правильной загрузки съемного носителя, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковая память, чтобы использовать съемный носитель в соответствии с управлением CPU 401.

Подробная конфигурация блока обработки AR

Фиг. 5 является схемой, показывающей подробную конфигурацию блока 500 обработки AR. Блок 500 обработки AR реализован средствами аппаратного обеспечения когда, например, CPU 101 управляющего блока 10 выполняет управляющую программу. Однако функция блока 500 обработки AR может выполняться еще одним электронным устройством, таким как HMD 20. Кроме того, функция блока 500 обработки AR может выполняться, например, электронным устройством со встроенными функциями управляющего блока 10, HMD 20 и даже смартфона 30.

Как показано на Фиг. 5, блок 500 обработки AR включает в себя блок 501 сбора показаний датчиков, блок 502 сбора информации объекта AR, блок 503 расчета направления HD, блок 504 расчета координат области отображения, блок 505 обработки кадра, блок 506 обработки звука и блок 507 согласования озвученного объекта AR.

Блок 501 сбора показаний датчиков собирает показания датчиков, зарегистрированные геомагнитным датчиком 203, гироскопом 204 и датчиком 205 ускорения HMD 20 и подает показания на блок 503 расчета направления HMD. Кроме того, блок 502 сбора информации объекта AR собирает информацию объекта AR, касающуюся текущей позиции, полученную с сервера 40 AR, и подает информацию, включенную в информацию объекта AR, на каждый из следующих блоков: блок 505 обработки рисунка, блок 506 обработки звука и блок 507 согласования озвученного объекта AR. Конкретно, информация о координатах, включенная в информацию объекта AR, подается на блок 505 обработки рисунка и блок 507 согласования озвученного объекта AR, визуальный объект подается на блок 505 обработки рисунка и блок 507 согласования озвученного объекта AR, звуковой объект подается на блок 506 обработки звука и блок 507 согласования озвученного объекта AR, а изображение звукового объекта подается на блок 507 согласования озвученного объекта AR.

Блок 503 расчета направления HMD рассчитывает направление HMD 20, надетого на голову пользователя, на основе показаний датчиков, поступающих с блока 501 сбора показаний датчиков, и подает направление на блок 504 расчета координат области отображения и блок 507 согласования озвученного объекта AR.

Блок 504 расчета координат области отображения рассчитывает координаты области отображения (далее также называемой «областью А отображения») дисплея 206 HMD 20 на основе информации, указывающей направление HMD 20, поступающей с блока 503 расчета направления HMD, и подает результат расчета на блок 505 обработки рисунка и блок 507 согласования озвученного объекта AR.

Блок 505 обработки рисунка принимает информацию области отображения, поступающую с блока 504 расчета координат области отображения, информацию о координатах и визуальный объект с блока 502 сбора информации объекта AR. Блок 505 обработки рисунка вызывает отображение визуального объекта на дисплее 206 HMD 20 на основе информации области отображения и информации о координатах. Кроме того, блок 505 обработки рисунка вызывает отображение изображения звукового объекта на дисплее 206 AR 20 в соответствии с управлением блока 507 согласования озвученного объекта AR.

Блок 506 обработки звука заставляет вывести звук, соответствующий звуковому сигналу звукового объекта, поданному с блока 502 сбора информации объекта AR, с наушников 207 HMD 20 в соответствии с управлением блока 507 согласования озвученного объекта AR.

Блок 507 согласования озвученного объекта AR выполняет обработку озвученного объекта AR. Блок 507 согласования озвученного объекта AR состоит из блока 521 обозначения позиции за пределами области отображения, блока 522 установки траектории и блока 523 управления рисунком/звуком.

Блок 521 обозначения позиции за пределами области отображения обозначает позицию точки (далее называемой «целью Т»), которую желательно указать, за пределами области А отображения, на основе информации области отображения, поданной с блока 504 расчета координат области отображения. Например, когда в качестве цели Т задан объект AR, находящийся за пределами области А отображения, информация о координатах визуального объекта обозначается как позиция цели Т. Однако цель Т не ограничена объектом AR и может являться любым объектом, например, находящимся в реальном пространстве объектом, позиция которого может быть обозначена.

Блок 522 установки траектории задает траекторию звукового объекта, поступающего с блока 502 сбора информации объекта AR. Однако блок 522 установки траектории задает траекторию, которая по меньшей мере один раз пересекает область А отображения, в качестве траектории звукового объекта.

Блок 523 управления рисунком/звуком управляет блоком 505 обработки рисунка в соответствии с траекторией, заданной блоком 522 установки траектории, для отображения изображения звукового объекта на дисплее 206 HMD 20. Кроме того, блок 523 управления рисунком/звуком управляет блоком 506 обработки звука в соответствии с информацией, такой как траектория, заданная блоком 522 установки траектории, для вывода звука, соответствующего звуковому сигналу звукового объекта, с наушником 207 HMD 20.

Кроме того, блок 523 управления рисунком/звуком управляет блоком 506 обработки звука на основе информации, указывающей направление HMD 20, поступающей с блока 503 расчета направления HMD, так, чтобы высота объекта (звукового объекта) совпадала с центральной высотой области отображения дисплея 206 HMD 20.

Подробности конкретного процесса, выполняемого соответствующими устройствами

Вначале процесс, выполняемый соответствующими устройствами, составляющими систему 1, и поток информации в соответствии с процессами будут описаны со ссылкой на блок-схему по Фиг. 6. Однако в блок-схеме по Фиг. 6 процессы на этапах S101-S103 выполняются управляющим блоком 10, а процессы на этапах S201-S204 выполняются HMD 20. Кроме того, процессы на этапах S301-S305 выполняются смартфоном 30, а процессы на этапах S401-S403 выполняются сервером 40 AR.

Как показано на Фиг. 6, HMD 20 определяет, истек ли заранее заданный временной интервал, во время которого датчик собирает данные (S201), и когда заранее заданный временной интервал истек, процесс переходит к этапу S202. Затем, после того, как геомагнитный датчик 203, гироскоп 204 и датчик 205 ускорения соберут данные, блок 201 подключения выводит результат регистрации датчиков на управляющий блок 10 в качестве показаний датчиков (S202). Следует отметить, что HMD 20 выполняет процесс сбора показаний датчиков, например, 30 раз в секунду.

В управляющем блоке 10 блок 501 сбора показаний датчиков управляет блоком 107 подключения для сбора показаний датчиков, выведенных с HMD 20 (SI01).

Кроме того, смартфон 30 определяет, истек ли заранее заданный временной интервал, во время которого спутник 90 GPS получает текущую позицию (S301), и когда заранее заданный временной интервал истек, процесс переходит к этапу S302, как показано на Фиг. 6. Затем блок 308 GPS принимает сигнал со спутника 90 GPS посредством антенны в соответствии с управлением CPU 301 для получения текущей позиции пользователя (S302). Блок 310 мобильной связи передает информацию, указывающую текущую позицию пользователя, на сервер 40 AR посредством Интернета 80 в соответствии с управлением CPU 301 (S303).

В сервере 40 AR блок 409 связи получает информацию, указывающую текущую позицию, переданную со смартфона 30 посредством Интернета 80 в соответствии с управлением CPU 401, когда информация, указывающая текущую позицию, передается со смартфона 30 (S401). Затем CPU 401 получает информацию объекта AR, соответствующую информации, указывающей текущую позицию, полученной блоком 409 связи с блока 410 удержания объекта AR (S402). Блок 409 связи передает информацию объекта AR, соответствующую информации, указывающей текущую позицию, на смартфон 30, являющийся источником запроса, посредством Интернета 80 в соответствии с управлением CPU 401 (S403).

В смартфоне 30 блок 310 мобильной связи принимает информацию объекта AR, переданную с сервера 40 AR посредством Интернета 80, в соответствии с управлением CPU 301 (S304). Кроме того, блок 309 беспроводной связи осуществляет беспроводную связь с управляющим блоком 10 на основе заранее заданного стандарта беспроводной связи ближнего действия в соответствии с управлением CPU 301 для передачи информации объекта AR (S305). Следует отметить, что смартфон 30 выполняет процесс сбора информации объекта AR, соответствующей текущей позиции, например, каждые 10 секунд.

В управляющем блоке 10 блок 502 сбора информации объекта AR управляет блоком 108 беспроводной связи для осуществления беспроводной связи со смартфоном 30 на основе заранее заданного стандарта беспроводной связи ближнего действия и тем самым принимает информацию объекта AR (S102). Затем блок 500 обработки AR выполняет процесс согласования объекта AR (S103) в соответствии с информацией объекта AR на основе показаний датчиков, полученных с HMD 20, и текущей позиции пользователя, поступившего с сервера 40 AR. В процессе согласования объекта AR отображается визуальный объект объекта AR в пределах области А отображения дисплея 206 HMD 20, и объект AR за пределами области отображения указывается звуковым объектом. Подробности процесса согласования объекта AR будут описаны ниже со ссылкой на блок-схемы по Фиг. 7 и 19.

Затем путем выполнения процесса согласования объекта AR изображение, соответствующее процессу согласования объекта AR, отображается на дисплее 206 HMD 20 (S203), а звук, соответствующий процессу согласования объекта AR, выводится с наушников 207 HMD 20 (S204).

Процесс, выполняемый соответствующими устройствами, составляющую систему 1 AR, и поток информации в соответствии с процессами, описаны выше.

Процесс 1 согласования объекта AR

Теперь процесс 1 согласования объекта AR, который соответствует этапу S103, выполняемому блоком 500 обработки AR, будет описан со ссылкой на блок-схему по Фиг. 7.

На этапе S501 блок 503 расчета направления HMD рассчитывает направление HMD 20 на основе показаний датчиков с блока 501 сбора показаний датчиков и подает направление на блок 504 расчета координат области отображения.

На этапе S502 блок 504 расчета координат области отображения рассчитывает координаты области А отображения дисплея 206 HMD 20 на основе информации, указывающей направление HMD 20, с блока 503 расчета направления HMD и подает расчетный результат на блок 505 обработки рисунка и блок 507 согласования озвученного объекта AR как информацию области отображения.

На этапе S503 блок 505 обработки рисунка определяет, есть ли участок взаимного наложения у области А отображения дисплея 206 HMD 20 и целевого визуального объекта (объекта AR), на основе информации о координатах визуального объекта с блока 502 сбора информации объекта AR и информации области отображения с блока 504 расчета координат области отображения. Если на этапе S503 определено, что участок взаимного наложения есть, процесс переходит к этапу S504.

На этапе S504 блок 505 обработки рисунка рисует визуальный объект участка взаимного наложения в области А отображения дисплея 206 в соответствии с результатом определения на этапе S503. Здесь подробный алгоритм процесса рисования визуального объекта (объекта AR) будет описан со ссылкой на Фиг. 8 и 9.

Как показано на Фиг. 8, когда визуальный объект (объект AR) должен быть представлен пользователю 2, носящему HMD 20, определяется цилиндрическая система С координат, центром которой служит пользователь 2, и в цилиндрической системе С координат определяются позиции области А отображения и визуального объекта Ob. Иными словами, область А отображения в соответствии с направлением HMD 20 и визуальные объекты Ob1 и Ob2 в соответствии с текущим позицией пользователя размещаются в цилиндрической системе С координат по Фиг. 8. Кроме того, как показано на Фиг. 9, область А отображения и визуальный объект Ob1 взаимно накладываются друг на друга в области OL наложения. Таким образом, в процессе рисования визуального объекта на этапе S504 по Фиг. 7 область OL наложения визуального объекта Ob1 рисуется в области А отображения дисплея 206.

Вернемся к блок-схеме по Фиг. 7: если на этапе S503 определено, что участка взаимного наложения не существует, процесс на этапе S504 пропускается, и процесс переходит к этапу S505. Например, поскольку визуальный объект Ob2 по Фиг. 8 находится за пределами области А отображения, он не является целью процесса рисования на этапе S504.

На этапе S505 определяется, добавлен ли звук к целевому объекту AR. Ели определено, что звук добавлен, иными словами, если на этапе S505 объект определен как озвученный объект AR, процесс переходит к этапу S506.

На этапе S506 блок 507 согласования озвученного объекта AR выполняет процесс согласования озвученного объекта AR на основе информации объекта AR, полученной блоком 502 сбора информации объекта AR, и координат области отображения, рассчитанных блоком 504 расчета координат области отображения. В процессе согласования озвученного объекта AR выполняется процесс для указания позиции цели Т за пределами области А отображения пользователю 2, носящему AR 20.

Иными словами, когда цилиндрическая система С координат по Фиг. 8 наблюдается сверху, как показано на Фиг. 10, например, и когда никакой объект AR не наложен на область А отображения, и только озвученный объект Ob AR присутствует за пределами области А отображения, дифференциальный угол, образуемый направлением линии взгляда (фронтальным направлением) пользователя, носящего HMD 20, и направлением озвученного объекта Ob AR, рассчитывается как информация направления объекта. Затем с помощью этой информации направления объекта осуществляется управление выводом звука таким образом, что звук звукового объекта слышен в направлении, указывающем озвученный объект Ob AR (цель Т), тем самым указывается позиция озвученного объекта Ob AR (цели Т) за пределами области отображения. Подробности процесса согласования озвученного объекта AR будут описаны со ссылкой на блок-схемы по Фиг. 11 и 15.

Вернемся к блок-схеме по Фиг. 7: когда на этапе S505 определено, что целевой объект AR не имеет добавленного звука, этап S506 пропускается и процесс переходит к этапу S507. На этапе S507 определяется, все ли объекты AR, полученные блоком 502 сбора информации объекта AR, были обработаны. Если на этапе S507 определено, что не все объекты AR были обработаны, процесс переходит к этапу S507.

На этапе S508 в качестве следующего целевого объекта AR выбирается объект AR, который еще не подвергался процессу. Кроме того, когда описанные выше процессы на этапах S503-506 повторяются, и затем визуальный объект выбранного целевого объекта AR появляется в области А отображения, рисуется участок взаимного наложения (S504), и когда далее выбранный объект AR является озвученным объектом AR, выполняется процесс согласования озвученного объекта AR (S506).

Когда процессы выполняются последовательно на одном или многих объектах AR, полученных блоком 502 сбора информации объекта AR, как описано выше, и на этапе S507 определено, что все объекты AR были обработаны, процесс 1 согласования объекта AR по Фиг. 7 завершается. Затем процесс возвращается к этапу S103 по Фиг. 6, и выполняются последующие процессы.

Выше был описан процесс 1 согласования объекта AR. Когда в процессе 1 согласования объекта AR выполняется процесс согласования озвученного объекта AR, обозначается позиция за пределами области А отображения дисплея 206 HMD 20 (например, позиция цели Т, такой как озвученный объект AR), и осуществляется управление выводом звука звукового объекта, тогда как озвученный объект AR движется к обозначенной позиции. В результате позиция за пределами области А отображения может быть указана точнее, и пользователь, таким образом, может осознавать эту позицию.

В отношении процесса 1 согласования объекта AR по Фиг. 7 следует отметить, что процесс выполняется, например, 30 раз в секунду для одного объекта AR.

Процесс 1 согласования озвученного объекта AR

Теперь процесс один согласования озвученного объекта AR, соответствующий этапу S506 по Фиг. 7, выполняемый блоком 507 согласования озвученного объекта AR, будет описан со ссылкой на блок-схему по Фиг. 11.

На этапе S521 блок 521 обозначения позиции за пределами области отображения определяет, существует ли за пределами области А отображения цель Т, которую желательно указать. Когда на этапе S521 определено, что за пределами области А отображения существует цель Т, которую желательно указать, процесс переходит к этапу S522.

На этапе S522 блок 521 обозначения позиции за пределами области отображения обозначает позицию цели Т за пределами области А отображения. Например, позиция цели Т (например, озвученного объекта AR или т.п.) за пределами области А отображения в цилиндрической системе С координат обозначается, как показано на Фиг. 12.

Вернемся к блок-схеме по Фиг. 11: блок 522 установки траектории задает траекторию звукового объекта на этапе S523. Однако желательно, чтобы траектория звукового объекта по меньшей мере однажды пересекала область А отображения. Например, как показано на Фиг. 13, в качестве траектории звукового объекта заданы позиции Р1-Р7 в цилиндрической системе С координат. На траектории по Фиг. 13 звуковой объект последовательно движется между позициями Р1-Р7 в цилиндрической системе С координат. На Фиг. 13 участок траектории между позициями Р4-Р6 пересекает область А отображения.

Вернемся к блок-схеме по Фиг. 11: блок 523 управления рисунком/звуком задает изображение звукового объекта на этапе S524. Изображение звукового объекта является изображением, отображаемым в области А, когда звуковой объект пересекает область А отображения, и предпочтительно изображение, способное облегчить идентификацию цели Т. Таким образом, в качестве изображения звукового объекта можно использовать, например, стрелку, указывающую на цель Т, или т.п. Однако в качестве изображения звукового объекта по умолчанию может быть задано статичное изображение, и в этом случае процесс на этапе S524 пропускается.

На этапе S525 блок 523 управления рисунком/звуком управляет блоком 506 обработки звука для генерирования начальной точки в цилиндрической системе С координат, т.е. звукового объекта на позиции Р1 на траектории по Фиг. 13. После генерирования звукового объекта процесс переходит к этапу S526. На этапе S526 блок 523 управления рисунком/звуком управляет блоком 506 обработки звука в соответствии с траекторией, заданной блоком 522 установки траектории, для перемещения звукового объекта с постоянной скоростью. На этапе S527 блок 523 управления рисунком/звуком определяет, пересекает ли звуковой объект область А отображения. Если на этапе S527 определено, что звуковой объект пересекает область А отображения, процесс переходит к этапу S528.

На этапе S528 блок 523 управления рисунком/звуком управляет блоком 505 обработки рисунка для отображения изображения звукового объекта на дисплее 206 HMD 20. С другой стороны, когда на этапе S527 определено, что звуковой объект не пересекает область А отображения, процесс на этапе S528 пропускается, и процесс переходит к этапу S529. На этапе S529 блок 523 управления рисунком/звуком определяет, достиг ли звуковой объект конечной точки. Когда на этапе S529 определено, что звуковой объект не достиг конечной точки, процесс возвращается к этапу S526, и последующие процессы повторяются.

Кроме того, когда процессы на этапах S526-S529 повторяются, звуковой объект начинает вывод звука с позиции Р1, служащего начальной точкой траектории по Фиг. 13, и перемещается на позиции Р2-Р7 в цилиндрической системе С координат с постоянной скоростью, продолжая вывод звука. Поскольку участок (например, участок Р40Р5 или т.п.) на целой траектории является областью А отображения, которую пересекает звуковой объект, изображение звукового объекта, такое как стрелка, отображается в области А отображения дисплея 206.

Если на этапе S529 определено, что звуковой объект достиг конечной точки, т.е. позиции Р7, процесс переходит к этапу S530. На этапе S530 блок 523 управления рисунком/звуком управляет блоком 506 обработки звука для аннулирования звукового объекта, достигшего конечной точки.

Конкретно, как показано на Фиг. 14, когда в качестве временной оси задано верхненижнее направление рисунка, и звуковой объект находится на позиции Р2 в момент t1 времени, звуковой объект Ob находится за пределами области А отображения, как показано в цилиндрической системе C_t1 координат, и, таким образом, выполняется только вывод звука, но не отображение изображения звукового объекта. Затем, когда звуковой объект Ob перемещается на позицию Р5 в момент t2 времени, звуковой объект Ob располагается в пределах области А отображения, как показано в цилиндрической системе C_t2 координат, и, таким образом, наряду с выводом звука выполняется отображение изображения звукового объекта. Следует отметить, что на практике отображается такое изображение изображения звукового объекта, как стрелка, движущаяся с постоянной скоростью и проходящая через область А отображения слева направо.

Соответственно, поскольку изображения звукового объекта попадает в поле зрения пользователя 2, и может быть видна скорость перемещения звукового объекта Ob, пользователь 2 может визуально распознать изображение стрелки, как и звук, и, следовательно, может интуитивно уловить присутствие цели Т в правой части области А отображения.

Затем, когда звуковой объект Ob перемещается на позицию Р7 в момент t3 времени, звуковой объект Ob пересекает область А отображения и располагается за пределами области, как показано в цилиндрической системе C_t3 координат, и выводится только звук. Затем, когда звуковой объект Ob достигает позиции Р7, звуковой объект аннулируется, и вывод звука прекращается, как показано в цилиндрической системе C_t4 координат, в момент t4 времени.

Соответственно, после того как пользователь 2 распознает изображение звукового объекта, которое перемещается в области А отображения с постоянной скоростью, пользователь воспринимает время, прошедшее с момента, когда изображение звукового объекта покидает поле зрения, до момента, когда звук пропадает, и тем самым пользователь может интуитивно понять, как далеко направо от направления взгляда пользователя расположена цель Т.

Вернемся к блок-схеме по Фиг. 11: на этапе S531 определяется, обращен ли пользователь 2 лицом в направлении позиции цели Т. Здесь с помощью показаний различных датчиков, имеющихся в HMD 20, вычисляется, например, направление взгляда пользователя 2 после того, как звуковой объект достиг позиции Р7 и аннулирован, и определяется, обращен ли пользователь 2 лицом по направлению к позиции цели Т. Если на этапе S531 определено, что пользователь 2 не обращен лицом по направлению к позиции цели Т, процесс возвращается к этапу S525.

Затем путем повторения процессов на этапах S525-S531 процесс указания позиции цели Т за пределами области А отображения выполняется заново с использованием звука звукового объекта и изображения звукового объекта, и если определено, что пользователь 2 обращен лицом по направлению позиции цели Т, процесс 1 согласования озвученного объекта AR по Фиг. 11 завершается. Кроме того, когда на этапе S521 определено, что за пределами области отображения не существует цели Т, которую желательно указать, процесс 1 согласования озвученного объекта AR по Фиг. 11 завершается. Затем процесс возвращается к этапу S506 по Фиг. 7, и последующие процессы повторяются.

Выше был описан процесс 1 согласования озвученного объекта AR. В процессе 1 согласования озвученного объекта AR, в случае, когда в то время как озвученный объект AR перемещается на обозначенную позицию (например, на позицию цели Т, такой как озвученный объект AR), осуществляется управление выводом звука звукового объекта, и когда звуковой объект пересекает область А отображения, изображение этого звукового объекта отображается в области А отображения. В результате звук и изображение более точно указывают его позицию за пределами области А отображения, и, таким образом, пользователь может осознавать позицию.

Процесс 2 согласования озвученного объекта AR

Теперь процесс 2 согласования озвученного объекта AR, соответствующий этапу S506 по Фиг. 7, выполняемый блоком 507 согласования озвученного объекта AR, будет описан со ссылкой на блок-схему по Фиг. 15.

Когда на этапах S541-S542 существует цель Т за пределами области А отображения дисплея 206 HMD 20, которую желательно указать, как и на этапах S521 и S522 по Фиг. 11, обозначается позиция цели Т. Здесь позиция цели Т (например, озвученного объекта AR или т.п.) за пределами области А отображения обозначается в цилиндрической системе С координат, как показано, например, на Фиг. 16.

Вернемся к Фиг. 15: траектория звукового объекта и изображение звукового объекта, соответственно, задаются на этапах S543 и S544, как и на этапах S523 и S524 по Фиг. 11. Здесь, например, позиции Р1-Р7 цилиндрической системы С координат задаются в качестве траектории звукового объекта, как показано на Фиг. 17. На траектории по Фиг. 17 звуковой объект последовательно перемещается между позициями Р2-Р5, до некоторой степени приближается к пользователю 3, находящемуся в центре цилиндрической системы С координат, затем последовательно перемещается между позициями Р5-Р7 и движется направо от пользователя 2. На Фиг. 17 в дополнение к траектории по позициям Р1-Р5, участок траектории по позициям Р5 и Р6 находится в пределах области А отображения. Кроме того, в качестве изображения звукового объекта может быть задан, например, восклицательный знак («!») или т.п.

Вернемся к блок-схеме по Фиг. 15: на этапе S545 блок 523 управления рисунком/звуком управляет блоком 506 обработки звука для выработки звукового объекта в начальной точке в цилиндрической системе С координат, т.е., на позиции Р1 на траектории по Фиг. 17. Когда звуковой объект выработан, процесс переходит к этапу S546.

На этапе S546 блок 523 управления рисунком/звуком определяет, наступил ли момент временной остановки звукового объекта. Когда на этапе S546 определено, что момент временной остановки звукового объекта наступил, процесс переходит к этапу S547.

На этапе S547 блок 523 управления рисунком/звуком управляет блоком 506 обработки звука, чтобы он временно остановил перемещение звукового объекта. Соответственно, звуковой объект останавливается на определенной позиции траектории. Затем на этапе S548 определяется, наступил ли момент прекращения временной остановки звукового объекта, который временно остановлен. Когда на этапе S548 определено, что момент прекращения временной остановки не наступил, процесс определения на этапе S548 повторяется. Иными словами, в этом случае звуковой объект остается на определенной позиции определенной траектории.

С другой стороны, когда на этапе S548 определено, что момент прекращения временной остановки наступил, процесс переходит к этапу S549. Кроме того, когда на этапе S546 определено, что момент временной остановки звукового объекта не наступил, процессы на этапах S547 и S548 пропускаются, и процесс переходит к этапу S549.

На этапе S549 блок 523 управления рисунком/звуком управляет блоком 506 обработки звука для перемещения звукового объекта с постоянной скоростью по траектории, заданной блоком 522 установки траектории.

На этапах S550 и S551 определяется, пересекает ли звуковой объект область А отображения, и когда звуковой объект пересекает область А отображения, изображение звукового объекта отображается на дисплее 206 HMD 20, как и на этапах S527 и S528 по Фиг. 11. Кроме того, на этапе S552 блок 523 управления рисунком/звуком определяет, достиг ли звуковой объект конечной точки. Когда на этапе S552 определено, что звуковой объект не достиг конечной точки, процесс возвращается к этапу S546, и последующие процессы повторяются.

Иными словами, путем повторения процессов на этапах S546-S552 звуковой объект начинает вывод звука с позиции Р1, служащей начальной точкой на траектории по Фиг. 17, и в то время как вывод звука продолжается, звуковой объект последовательно перемещается между позициями Р2-Р5 по прямой с постоянной скоростью. Затем, достигнув позиции Р5, звуковой объект временно останавливается и остается на позиции в течение заданного периода времени. Затем звуковой объект возобновляет движение, меняет направление перемещения с позиции Р5, являющейся конечной точкой прямолинейной траектории, в направлении цели Т и затем движется с позиции Р5 на Р7, и когда он достигает позиции Р7, вывод звука прекращается.

На всей траектории, однако, один участок (например, участок от позиции Р1 до Р5 или т.п.) находится в области А отображения с точки зрения пользователя 2, и когда звуковой объект находится на этом участке, изображение звукового объекта отображается в области А отображения дисплея 206, и далее оно временно останавливается на позиции Р5. Следовательно, когда в качестве изображения звукового объекта задан, например, восклицательный знак («!»), существует высокая вероятность того, что пользователь заметит приближающийся к нему восклицательный знак, и вероятность можно еще повысить, если восклицательный знак временно останавливается в области отображения.

Если на этапе S552 определено, что звуковой объект достиг конечной точки, т.е. позиции Р7, процесс переходит к этапу S553. На этапе S553 блок 523 управления рисунков/звуком управляет блоком 506 обработки звука для аннулирования звукового объекта, достигшего конечной точки.

Как показано на Фиг. 18, конкретно, в случае, когда в качестве временной оси задано верхне-нижнее направление рисунка, и звуковой объект находится на позиции Р1 в момент t1 времени, звуковой объект Ob находится в области А отображения, как показано в цилиндрической системе C_t1 координат, и, таким образом, выполняются вывод звука и отображение изображения звукового объекта. В этом случае, поскольку позиция Р1 дальше от пользователя 2, чем позиция Р5, изображение звукового объекта - восклицательный знак - отображается маленьким.

Затем, когда звуковой объект перемещается на позицию Р5 в момент t2 времени, звуковой объект Ob находится в области А отображения, как показано в цилиндрической системе C_t2 координат, и, таким образом, выполняются вывод звука и отображение изображения звукового объекта. В этом случае, поскольку позиция Р5 ближе к пользователю 2, чем позиция Р1, изображение звукового объекта - восклицательный знак - отображается большим. Иными словами, когда звуковой объект последовательно движется по траектории между позициями Р1-Р5 на практике, изображение звукового объекта - восклицательный знак, - отображаемое в области А отображения, постепенно увеличивается. Соответственно, пользователь 2 визуально распознает изображение звукового объекта - восклицательный знак - наряду со звуком, и, таки образом, может интуитивно понять, что цель Т находится за пределами области А отображения.

Кроме того, затем звуковой объект меняет направление перемещения на позиции Р5, служащей конечной точкой прямой траектории, на направление в сторону цели Т, перемещаясь между позициями Р5-Р7, и участок с позициями Р5 и Р6 включен в область А отображения. Таким образом, пользователь 2 видит, что приблизившееся к нему изображение звукового объекта - восклицательный знак, - временно остановилось и затем движется направо, и, следовательно, может интуитивно понять, что цель Т находится справа от области А отображения.

Затем, когда звуковой объект Ob движется к позиции Р7 в момент t3 времени, звуковой объект Ob размещается за пределами области А отображения, как показано в цилиндрической системе C_t3 координат, и выводится только звук. Затем, когда звуковой объект Ob достигает позиции Р7, звуковой объект аннулируется и вывод звука прекращается, как показано в цилиндрической системе C_t4 координат, в момент t4 времени.

Вернемся к блок-схеме по Фиг. 15: когда звуковой объект, достигший коечной точки, аннулируется в процессе на этапе S533, процесс переходит к этапу S554. На этапе S554 определяется, обращен ли пользователь 2 лицом по направлению к позиции цели Т, как на этапе S531 по Фиг. 11. Когда на этапе S554 определено, что пользователь 2 не обращен лицом по направлению к позиции цели Т, процесс возвращается к этапу S545.

Затем путем повторения процессов на этапах S545-S554 процесс указания цели Т за пределами области А отображения выполняется заново с использованием звука звукового объекта и его же изображения звукового объекта, и когда определяется, что пользователь 2 обращен лицом по направлению позиции цели Т, процесс 2 согласования озвученного объекта AR по Фиг. 15 завершается. Затем процесс возвращается к этапу S506 по Фиг. 7, и последующие процессы повторяются.

Выше был описан процесс 2 согласования озвученного объекта AR. В процессе 2 согласования озвученного объекта AR, в случае, когда озвученный объект AR перемещается к обозначенной позиции (например, к позиции цели Т, такой как озвученный объект AR), осуществляется управления выводом звука звукового объекта, и когда звуковой объект пересекает область А отображения, его изображение звукового объекта отображается в области А отображения. Кроме того, поскольку изображение звукового объекта может временно остановиться в области А отображения, позиция за пределами области А отображения может быть указана более точно с помощью звука и изображения и, таким образом, пользователь может четко осознавать эту позицию.

Процесс 2 согласования объекта AR

Теперь процесс 2 согласования объекта AR, соответствующий этапу S103 по Фиг. 6, выполняемый блоком 500 обработки AR, будет описан со ссылкой на блок-схему по Фиг. 19.

На этапах S561 и S562 рассчитывается направление HMD 20 и далее рассчитываются координаты области А отображения дисплея 206 HMD 20, как и на этапах S501 HS502 по Фиг. 7.

На этапе S563 блок 523 управления рисунком/звуком уравнивает высоту звукового объекта (объекта AR) с центральной высотой области А отображения HMD 20 на основе информации, указывающей направление HMD 20, с блока 503 расчета направления HMD.

Как показано на Фиг. 20, когда в качестве временной оси задано верхне-нижнее направление рисунка, и звуковой объект Ob (объект Ob AR) движется к цели Т в момент t1 времени, как показано в цилиндрической системе C_t1 координат; однако, когда пользователь 2, носящий на голове HMD 20, например, кивает головой вверх-вниз, центральная высота области А отображения меняется. Поскольку в момент t2 времени пользователь 2 опускает голову, центральная высота области А отображения перемещается в нижнем направлении рисунка, как показано в цилиндрической системе C_t2 координат, но высота звукового объекта Ob уравнена с центральной высотой области А отображения. Кроме того, поскольку момент t3 времени пользователь 2 поднимает голову, центральная высота области А отображения перемещается в верхнем направлении рисунка, как показано в цилиндрической системе C_t3 координат, но высота звукового объекта Ob уравнена с центральной высотой области А отображения.

При выполнении управления, как описано выше, управление звуковым объектом Ob (объектом Ob AR) осуществляется так, чтобы его высота была равна центральной высоте области А отображения HMD 20 в любой момент времени, и в результате звуковой объект Ob пересекает область А отображения по меньшей мере однажды и, таким образом, даже когда пользователь 2 кивает головой вверх-вниз или т.п. , он может визуально распознать изображение звукового объекта, например, стрелку.

Вернемся к блок-схеме поп Фиг. 19: рисуется визуальный объект участка взаимного наложения области А отображения и, когда объект AR является озвученным объектом AR, процесс согласования озвученного объекта AR с Фиг. 11 или Фиг. 15 выполняется на этапах S564-S569, как и на этапах S503-S508 по Фиг. 7.

Выше описан процесс 2 согласования объекта AR. Когда в процессе 2 согласования объекта AR выполняется процесс согласования озвученного объекта AR, высота звукового объекта (объекта AR) уравнивается с центральной высотой области А отображения дисплея 206 HMD 20 в цилиндрической системе координат, и, таким образом, даже когда пользователь кивает головой или т.п., позиция за пределами области А отображения указывается более точно, и пользователь может осознавать эту позицию.

Следует отметить, что, хотя на Фиг. 20 описан случай, когда звуковой объект Ob смещается вверх-вниз в области А отображения, процесс 2 согласования объекта AR может также выполняться, когда звуковой объект Ob смещается вверх-вниз за пределами области А отображения. Например, когда пользователь 2, носящий HMD 20 на голове, кивает головой вверх-вниз, центральная высота области А отображения меняется, и даже когда звуковой объект Ob движется вверх и вниз за пределами области А отображения, высота звукового объекта Ob может быть уравнена с центральной высотой области А отображения.

Соответственно, даже когда пользователь 2 заметно двигает головой вверх и вниз и, таким образом, например, звуковой объект Ob заметно удаляется от области А отображения, звуковой объект Ob можно заставить пересечь область А отображения, и пользователь 2 может четко осознавать изображение звукового объекта.

Кроме того, хотя на Фиг. 20 описан случай, когда высота звукового объекта Ob, смещающегося вверх и вниз, уравнена с центральной высотой области А отображения, высота звукового объекта Ob может быть произвольно задана, не будучи привязана к центральной высоте области А отображения, при условии, что звуковой объект Ob (или изображение звукового объекта) может пересекать область А отображения.

Следует отметить, что процесс 2 согласования объекта AR по Фиг. 19 выполняется, например, 30 раз в секунду для каждого объекта AR.

Двунаправленное движение звуковых объектов

Хотя описанный выше пример показывает, что управление движением звукового объекта осуществляется для указания позиции цели Т, позиция цели Т может быть указана путем управления множеством звуковых объектов.

Как показано на Фиг. 21, звуковой объект Ob1 и звуковой объект Ob2 вырабатываются в качестве звуковых объектов для указания позиции цели Т, и управление их перемещением осуществляется для указания позиции цели Т. Конкретно, когда в качестве временной оси задано направление слева направо, два звуковых объекта Ob1 и Ob2 в момент t1 времени расположены слева сзади от пользователя 2. Затем в момент t2 времени, когда после момента t1 времени истек заранее заданный интервал, звуковой объект Ob1 смещается и располагается спереди от пользователя 2, а звуковой объект Ob2 располагается справа сзади от пользователя 2. Кроме того, в момент t3 времени, когда после момента t2 времени истек заранее заданный интервал, два звуковых объекта Ob1 и Ob2 смещаются к цели Т спереди справа от пользователя 2.

В описанном выше примере по Фиг. 21 вырабатывается множество звуковых объектов Ob1 и Ob2, и в то время как один звуковой объект Ob1 продолжает двигаться по часовой стрелке к позиции цели Т, а другой звуковой объект Ob2 движется против часовой стрелки к позиции цели Т, осуществляется управление выводом звуков звуковых объектов. Однако назначив отдельные звуки в качестве звука звукового объекта Ob1 и звука звукового объекта Ob2 и различные моменты времени для вывода звуков, можно воспроизводить звук независимо. Иными словами, известно, что когда звуки звуковых объектов Ob1 и Ob2 одинаковы, трудно распознавать стереоскопический звук; однако если, например, изменится частота, темп, жанр или т.п. музыки, то возможно независимо воспроизводить звуки множества звуковых объектов.

Соответственно, когда множество звуковых объектов движутся к позиции цели Т, объекты движутся по обе стороны от пользователя 2, например, спереди и сзади, слева и справа или сверху и снизу от пользователя 2, и, таким образом, например, даже когда пользователь 2 движется и, соответственно, область А отображения HMD 20 движется в цилиндрической системе С координат, изображение звукового объекта, несомненно, может пересечь область А отображения.

Подробный процесс рисования

Маршрут рисования AR

Фиг. 22 является схемой, показывающей пример пути рисования объекта AR.

Как показано на Фиг. 22, блок 505 обработки рисунка снабжен блоками 551-1 - 551-n (n - целое число, равное или большее 1) и выполняет процесс рисования визуального объекта, включенного в один или множество объектов AR. Конкретно блок 551-1 обработки визуального объекта состоит из блока 561-1 обнаружения взаимного наложения и блока 562-1 рисования.

Среди объектов 1-n AR блок 561-1 обнаружения взаимного наложения принимает ввод информации о координатах визуального объекта, включенного в объект 1 AR, и отображается информацию об области. Блок 561-1 обнаружения взаимного наложения обнаруживает участок взаимного наложения области А отображения и целевого визуального объекта (объекта 1 AR) на основе информации о координатах визуального объекта и информации об области отображения и подает результат обнаружения на блок 562-1 рисования в качестве информации о взаимном наложении.

Блок 562-1 рисования рисует визуальный объект участка взаимного наложения в области А отображения дисплея 206 на основе информации о взаимном наложении с блока 561-1 обнаружения взаимного наложения.

Блоки 551-2 - 551-n обработки визуального объекта выполнены так же, как блок 551-1 обработки визуального объекта. Иными словами, блоки 551-2 - 551-n обработки визуального объекта выполняют процесс рисования участка взаимного наложения с областью А отображения для каждого визуального объекта, включенного в каждый объект AR. Когда существует множество объектов AR, однако, смесительный блок 552 выполняет процесс смешения, а затем результаты выводятся на дисплей 206 HMD 20.

Подробности обработки звука

Обзор VPT

Для осуществления вывода звука звукового объекта с наушников 207 HMD 20, как описано выше, используется технология виртуального объемного звучания. В настоящем изобретении в качестве такой технологии виртуального объемного звучания предпочтительно использовать VPT (зарегистрированный товарный знак Sony Corporation). В VPT (Virtualphones Technology, TBH технология виртуальных наушников) звуки локализуются вне головы пользователя, а не внутри головы, ка показано на Фиг. 23, и, таким образом, может быть создано звуковое поле, в котором, как кажется, естественно воспроизводятся звуки с динамиков, расположенных спереди и сзади.

Конкретно, в VPT измеряется HRTF как характеристика передачи от источника звука к обоим ушам, измеренная HRTF свертывается в сигнал ввода, как показано на Фиг. 24, и тем самым в то время, когда звуки воспроизводятся наушниками, может быть реализовано такое же звуковое поле, как то, что генерируется, когда звуки слышатся из динамиков, например, канала 5.1 канала 7.1. Ниже будет описана обработка звука по настоящему изобретению, к которому применена VPT. Однако в качестве VPT задано применение 7-канального объемного звучания (без использования 0,1-канального сабвуфера).

Первый звуковой путь

Фиг. 25 является схемой для описания первого звукового пути объекта AR.

Как показано на Фиг. 25, в блоке 506 обработки звука имеются блоки 571-1 - 571-n обработки звукового объекта (n - целое число, n≥1), и блок 506 обработки звука выполняет обработку звука на звуковых объектах, включенных в один или несколько объектов AR. Конкретно, блок 571-1 обработки звукового объекта состоит из блока 581-1 расчета фильтра VPT и блока 582-1 обработки VPT.

Блок 581-1 расчета фильтра VPT принимает введенную информацию направления объекта 1 AR из объектов AR от 1 до п. Информация направления объекта представляет собой направление звукового объекта от пользователя 2, носящего HMD 20, и, например, может быть использована информация о дифференциальном угле по Фиг. 10.

Блок 581-1 расчета фильтра VPT рассчитывает значение фильтра VPT на основе информации направления объекта 1 AR и подает значение а блок 582-1 обработки VPT. Когда используется, например, VPT 7-канального объемного звучания, значение фильтра VPT подвергается фантомной обработке или т.п. , чтобы разместить его ближе ко всем позициям звуковых объектов, и в результате получается значение, которое, вероятно, даст звуковую информацию множеству каналов среди 7 каналов. Однако при необходимости координаты области А отображения могут отражаться на значении фильтра VPT.

Получив значение фильтра VPT от блока 581-1 расчета фильтра VPT, блок 582-1 обработки VPT обновляет значение фильтра VPT. Например, поскольку информация направления объекта вычисляется 30 раз в секунду, значения фильтра VPT рассчитываются и обновляются согласно интервалу. Кроме того, блок 581-1 расчета фильтра VPT принимает звуковой поток звуковых объектов с блока 502 сбора информации объекта AR. Блок 581-1 расчета фильтра VPT свертывает HRTF в звуковой поток, служащий сигналом ввода, в соответствии со значением фильтра VPT. Звуковой поток, обработанный с помощью VPT, подается на смесительный блок 572. Когда используется VPT 7-канального объемного звучания, например, когда коэффициенты HRTF семи каналов умножаются на сигнал ввода для свертывания, может быть получен вывод двух каналов.

Каждый из блоков 571-2- 571-n обработки звукового объекта выполнен так же, как блок 571-1 обработки звукового объекта. Иными словами, блоки 571-2 - 571-n обработки звукового объекта выполняют обработку VPT в соответствии со значениями фильтра VPT для каждого звукового потока звуковых объектов, включенных в соответствующие объекты AR. Соответственно, смесительный блок 572 выполняет процесс смешения по отношению к обработанным VPT звуковым потокам 1-n и выводит результат на наушники 207 HMD 20. Звуковые потоки имеют волновую форму формата файла wav, и волновая форма обработанных VPT звуковых сигналов воспроизводится наушниками 207.

Основная обработка звука

Фиг. 26 является схемой для описания основной обработки звука первого звукового

пути.

Когда в 7-канальном объемном звучании не используется сабвуфер, существует 7 позиций динамиков, а именно С, L, R, SL, SR, SBL и SBR, как показано на Фиг. 26. Иными словами, в 7-канальном объемном звучании центральный динамик (С) расположен перед пользователем 2, который размещен в центре круга, а фронтальные динамики (L и R) расположены на позициях с левой и правой сторон, образующих с фронтальным направлением угол 30°. Кроме того, динамики объемного звучания (SL и SR) расположены на позициях с левой и правой сторон, образующих с фронтальным направлением угол 75°, а задние динамики объемного звучания (SBL и SBR) расположены далее на позициях с левой и правой сторон, образующих с фронтальным направлением угол 145°. Каждый динамик имеет HRTF для левого и правого ушей.

Здесь рассмотрен случай, когда в качестве траектории звукового объекта, включенного в объект 1 AR, задана траектория, последовательно проходящая позицию Pg и позицию Pf с позиции Ра (начальной точки) до позиции Ре (конечной точки), как показано на Фиг. 26. В этом случае позиции звукового объекта в значительной степени совпадают с расположением динамиков 7-канального объемного звучания, и, таким образом, звуковому объекту, перемещающемуся в одном направлении, могут быть присвоены HRTF динамиков, соответствующих позициям звукового объекта.

Конкретно, в момент t1 времени (первая очередность), блок 581-1 расчета фильтра VPT принимает решение использовать HRTF позиции Ра, т.е. канала SL(a) 7-канального объемного звучания, в соответствии с информацией направления объекта, и обновляет значение фильтра VPT блока 582-1 обработки VPT. При этом каналам, соответствующим позициям Pb-Pg, присваивается пауза. Блок 582-1 обработки VPT свертывает HRTF канала SL(a) для левого уха в волновую форму формата файла wav (например, звук «п»), вводимую в качестве звукового сигнала согласно значению фильтра VPT. Кроме того, HRTF канала SL(a) для правого уха отдельно свертывается в звуковой сигнал аналогичным образом. Поскольку звуковой объект существует только для одного направления, и в основной обработке звука существует один звуковой путь, смесительный блок 572 выводит звуковой сигнал, прошедший обработку VPT блоком 582-1 обработки VPT, на наушники 207. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, воспроизводится наушниками 207 HMD 20.

Затем, когда информация направления объекта указывает позицию Pg, блок 581-1 расчета фильтра VPT принимает решение использовать HRTF канала SBL(g) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t2 времени (вторая очередность) по истечении заранее заданного интервала времени с момента t1. Блок 582-1 обработки VPT свертывает HRTF канала SBL(g) в звуковой сигнал согласно значению фильтра VPT. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, к которой применены HRTF канала SBL(g), воспроизводится наушниками 207 HMD 20.

Затем, когда информация направления объекта указывает позицию Pf, блок 581-1 расчета фильтра VPT принимает решение использовать HRTF канала SBR(f) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t3 времени (третья очередность) по истечении заранее заданного интервала времени с момента t2. Блок 582-1 обработки VPT свертывает HRTF канала SBR(f) в звуковой сигнал согласно значению фильтра VPT. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, к которой применены HRTF канала SBR(f), воспроизводится наушниками 207 HMD 20.

В дальнейшем, когда информация направления объекта указывает позицию Ре, блок 581-1 расчета фильтра VPT принимает решение использовать HRTF канала SR(e) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t4 времени (четвертая очередность) по истечении заранее заданного интервала времени с момента t3. Блок 582-1 обработки VPT свертывает HRTF канала SR(e) в звуковой сигнал согласно значению фильтра VPT. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, к которой применены HRTF канала SR(e), воспроизводится наушниками 207 HMD 20.

Когда ряд процессов выполнен, как описано выше, звук, воспроизводимый наушниками 207 HMD 20, может слышаться, как если бы звук «п» последовательно перемещался по стереоскопическим позициям Pa, Pg, Pf и Ре независимо от того факта, что используются 2-канальные наушники. Следует отметить, что звук «п», данный в качестве звуковой информации звукового объекта, является примером, и может быть использован другой одиночный звук.

Обработка звука двунаправленного движения

Фиг. 27 является схемой для описания обработки звука двунаправленного движения на первом звуковом пути.

Как показано на Фиг. 27, рассмотрен случай, когда в качестве траектории звукового объекта 1, включенного в объект 1 AR, задана первая траектория, последовательно проходящая позицию Pb и позицию Pd с позиции Ра (начальной точки) до позиции Ре (конечной точки), а в качестве траектории звукового объекта 2, включенного в объект 2 AR, задана вторая траектория, последовательно проходящая позицию Pg и позицию Pf с позиции Ра (начальной точки) до позиции Ре (конечной точки). В этом случае позиции звуковых объектов 1 и 2 на первой траектории и второй траектории в значительной степени совпадают с расположением динамиков 7-канального объемного звучания, и, таким образом, двум звуковым объектам 1 и 2, движущимся в двух направлениях, могут быть присвоены HRTF динамиков, соответствующих позициям звуковых объектов. Момент вывода звука на первой траектории и момент вывода звука на второй траектории заданы так, чтобы они происходили в разное время.

Конкретно, когда информация направления объекта указывает позицию Ра, служащую начальной точкой первой и второй траекторий, блоки 581-1 и 581-2 расчета фильтра VPT принимают решение использовать HRTF канала SL(a) 7-канального объемного звучания, и обновляют значение фильтра VPT в момент t1 времени (первая очередность). При этом каналам, соответствующим позициям Pb-Pg, присваивается пауза. Блоки 582-1 и 582-2 обработки VPT свертывают HRTF канала SL(a) для левого уха в звуковой сигнал согласно значению фильтра VPT. Кроме того, HRTF канала SL(a) для правого уха отдельно свертывается в другой звуковой сигнал аналогичным образом. В этом примере обработки звука двунаправленного движения присутствуют два звуковых пути звукового объекта и, таким образом, смесительный блок 572 выбирает один сигнал из сигналов, прошедших обработку VPT блоками 582-1 и 582-2 обработки VPT попеременно, и выводит звуковой сигнал на наушники 207 HMD 20. Соответственно, например, волновая форма звукового сигнала, прошедшего обработку VPT, воспроизводится наушниками 207 HMD 20.

Затем, когда информация направления объекта указывает позицию РЬ, блок 581-1 расчета фильтра VPT принимает решение использовать HRTF канала L(b) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t2 времени (вторая очередность) по истечении заранее заданного интервала времени с момента t1. Блок 582-1 обработки VPT свертывает HRTF канала L(b) в звуковой сигнал согласно значению фильтра VPT. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, к которой применены HRTF канала L(b), воспроизводится наушниками 207 HMD 20.

Затем, когда информация направления объекта указывает позицию Pg, блок 581-2 расчета фильтра VPT принимает решение использовать HRTF канала SBL(g) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t3 времени (третья очередность) по истечении заранее заданного интервала времени с момента t2. Блок 582-2 обработки VPT свертывает HRTF канала SBL(g) в звуковой сигнал согласно значению фильтра VPT. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPTi к которой применены HRTF канала SBL(g), воспроизводится наушниками 207 HMD. 20.

Затем, когда информация направления объекта указывает позицию Pd, блок 581-2 расчета фильтра VPT принимает решение использовать HRTF канала R(d) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t4 времени (четвертая очередность) по истечении заранее заданного интервала времени с момента t2. Блок 582-2 обработки VPT свертывает HRTF канала SBL(d) в звуковой сигнал согласно значению фильтра VPT. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, к которой применены HRTF канала SBL(d), воспроизводится наушниками 207 HMD 20.

Затем, когда информация направления объекта указывает позицию Pf, блок 581-2 расчета фильтра VPT принимает решение использовать HRTF канала SR(f) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t5 времени (пятая очередность) по истечении заранее заданного интервала времени с момента t3. Блок 582-2 обработки VPT свертывает HRTF канала SBL(f) в звуковой сигнал согласно значению фильтра VPT. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, к которой применены HRTF канала SBL(g), воспроизводится наушниками 207 HMD 20.

В дальнейшем, когда информация направления объекта указывает позицию Ре, блоки 581-1 и 582-2 принимают решение использовать HRTF канала SR(f) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t6 времени (шестая очередность) по истечении заранее заданного интервала времени с моментов t3 и t4. Блок 582-2 обработки VPT свертывает HRTF канала SR(f) в звуковой сигнал согласно значению фильтра VPT. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, к которой применены HRTF канала SR(f), воспроизводится наушниками 207 HMD 20.

Когда ряд процессов выполнен, как описано выше, звук, воспроизводимый (выводимый) наушниками 207 HMD 20, может слышаться, как если бы звук «п» последовательно перемещался по стереоскопическим позициям Pa, Pb, Pd и Ре, и звук «п» последовательно перемещался по стереоскопическим позициям Pa, Pg, Pf и Ре независимо от того факта, что используются 2-канальные наушники. Следует отметить, что звук «п», данный в качестве звуковой информации звукового объекта, является примером, и может быть использован другой одиночный звук.

Обработка звука промежуточной позиции

Фиг. 28 является схемой для описания обработки звука на промежуточной позиции на первом звуковом пути.

Как показано на Фиг. 28, рассмотрен случай, когда в качестве траектории звукового объекта задана траектория, последовательно проходящая позицию Pg и позицию Pf с позиции Ра (начальной точки) до позиции Ре (конечной точки). В этом случае возможно непрерывно перемещать звуковой объект, заставляя звук выводиться на промежуточной позиции между позициями, когда, например, звуковой информацией является длящийся звук, такой как «п», в сравнении с разбросанными позициями, такими как Pa, Pg, Pf и Ре.

Конкретно, когда информация направления объекта указывает позицию Ра, служащую начальной точкой траектории, блок 581-1 расчета фильтра VPT принимает решение использовать HRTF позиции Ра, т.е. канала SL(a) 7-канального объемного звучания, и обновляет значение фильтра VPT в момент t1 времени (первая очередность). При этом каналам, соответствующим позициям Pb-Pg, присваивается пауза. Блок 582-1 обработки VPT свертывает HRTF канала SL(a) для левого уха в звуковой сигнал согласно значению фильтра VPT. Кроме того, HRTF канала SL(a) для правого уха отдельно свертывается в звуковой сигнал аналогичным образом. В этом примере обработки звука на промежуточной позиции звуковой объект существует только для одного направления, существует один звуковой путь и, таким образом, смесительный блок 572 выводит звуковой сигнал, прошедший обработку VPT блоком 582-1 обработки VPT, на наушники 207 HMD 20. Соответственно, например, волновая форма звукового сигнала, прошедшего обработку VPT, воспроизводится наушниками 207 HMD 20.

Затем, когда информация направления объекта указывает позицию Рх, то есть промежуточную позицию между Ра и Pg, блок 581-1 расчета фильтра VPT принимает решение использовать HRTF канала SL(a) и HRTF канала SL(g) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t2 времени (вторая очередность) по истечении заранее заданного интервала времени с момента t1. При этом каналам, соответствующим позициям Pb-Pf присваивается пауза. Блок 582-1 обработки VPT свертывает HRTF канала SL(a) для левого уха в волновую форму формата wav (например, звук «п»), вводимую в качестве звукового сигнала согласно значению фильтра VPT. Кроме того, HRTF канала SL(a) для правого уха свертывается отдельно в звуковой сигнал аналогичным образом. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, к которой применены HRTF канала SBL(g), воспроизводится наушниками 207 HMD 20. Далее, блок 582-1 обработки VPT свертывает HRTF канала SL(g) для левого уха в волновую форму формата wav (например, звук «п»), вводимую в качестве звукового сигнала согласно значению фильтра VPT. Кроме того, HRTF канала SL(g) для правого уха свертывается отдельно в звуковой сигнал аналогичным образом.

При этом, хотя позиция Рх является усилением и канала SL(a), и канала SL(g), это промежуточная позиция между Ра и Pg, и, таким образом, дается такой же коэффициент усиления. Например, значение SL(a) умножается на 0,7 и значение SL(g) умножается на 0,7, и вывод, получаемый их сочетанием, может быть равен одиночному выводу с позиции Ра. Соответственно, волновая форма сигналов, прошедших обработку VPT, к которым применены HRTF SL(a) и SL(g), воспроизводится наушниками 207 HMD 20 и, таким образом, звук «п» может также слышаться с позиции Рх, то есть с промежуточной позиции между Ра и Pg.

После этого обработка VPT выполняется на позициях Pg, Pf и Ре так же, как основная обработка звука по Фиг. 26, и с учетом обработки звука на промежуточной позиции такая же обработка VPT, как на позиции Рх, то есть на промежуточной позиции, выполняется также на промежуточной позиции между позициями Pg и Pf и на промежуточной позиции между позициями Pf и Ре и, таким образом, звук «п» может также слышаться с этих промежуточных позиций.

При выполнении ряда процессов, описанных выше, звук, воспроизводимый (выводимый) наушниками 207 HMD 20 может слышаться, как если бы он последовательно перемещался не только на стереоскопические позиции Pa, Pg, Pf и Ре, но также на промежуточные позиции, упомянутые выше, и, таким образом, звук «п» перемещается непрерывно независимо от того факта, что используются двухканальные наушники.

Обработка длящегося звука Фиг. 29 является схемой для описания обработки длящегося звука на первом звуковом пути.

Как показано на Фиг. 29, рассмотрен случай, когда в качестве траектории звукового объекта задана траектория, последовательно проходящая позицию Pg и позицию Pf с позиции Ра (начальной точки) до позиции Ре (конечной точки). В этом случае возможно непрерывно перемещать звуковой объект, заставляя звук выводиться на каждом участке между позициями, когда, например, звуковой информацией является длящийся звук, такой как «п», в сравнении с разбросанными позициями, такими как Pa, Pg, Pf и Ре.

Конкретно, когда информация направления объекта указывает позицию Ра, служащую начальной точкой траектории, блок 581-1 расчета фильтра VPT принимает решение использовать HRTF канала SL(a) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t1 времени (первая очередность). При этом каналам, соответствующим позициям Pb-Pg, присваивается пауза. Блок 582-1 обработки VPT свертывает HRTF канала SL(a) для левого уха в звуковой сигнал согласно значению фильтра VPT. Кроме того, HRTF канала SL(a) для правого уха отдельно свертывается в звуковой сигнал аналогичным образом. В этом примере промежуточной позиции звуковой объект существует только для одного направления, существует один звуковой путь и, таким образом, смесительный блок 572 выводит звуковой сигнал, прошедший обработку VPT блоком 582-1 обработки VPT, на наушники 207 HMD 20. Соответственно, например, волновая форма звукового сигнала, прошедшего обработку VPT, воспроизводится наушниками 207 HMD 20.

Затем, когда информация направления объекта указывает позицию Pg, блок 581-1 расчета фильтра VPT принимает решение использовать HRTF канала SL(a) и HRTF канала SL(g) 7-канального объемного звучания и обновляет значение фильтра VPT в момент t2 времени (вторая очередность) по истечении заранее заданного интервала времени с момента t1. При этом каналам, соответствующим позициям Pb-Pf присваивается пауза. Блок 582-1 обработки VPT свертывает HRTF канала SL(a) для левого уха в волновую форму формата wav (например, звук «п»), вводимую в качестве звукового сигнала согласно значению фильтра VPT. Далее, блок 582-1 обработки VPT свертывает HRTF канала SL(g) для левого уха в волновую форму формата wav (например, звук «п»), вводимую в качестве звукового сигнала согласно значению фильтра VPT. Кроме того, HRTF канала SL(a) для правого уха и HRTF канала SL(g) для правого уха свертываются отдельно в звуковые сигналы аналогичным образом.

Здесь, что касается коэффициента усиления обоих каналов, SL(a) и SBL(g), на позициях Pa-Pg, в то время как уровень канала SL(a) меняется, например, от максимального значения к минимальному, уровень канала SBL(g) меняется от минимального значения к максимальному, и тем самым их коэффициенты усиления меняются. Соответственно, волновая форма звуковых сигналов, прошедших обработку VPT, воспроизводится наушниками 201 HMD 20, и длящийся звук «п» может слышаться на участке позиций Pa-Pg.

После этого, хотя обработка VPT выполняется на позициях Pg, Pf и Ре тем же способом, что основная обработка звука по Фиг. 6, в том, что касается обработки длящегося звука, та же обработка VPT, выполняемая на участке позиций Pa-Pg, выполняется на каждом участке перечисленных выше позиций, и, таким образом, длящийся звук «р» может слышаться не только на участке позиций Pg-Pf, но и на участке позиций Pf-Pe. Иными словами, на всех участках от начальной точки до конечной точки звук «п» может слышаться, как если бы он непрерывно перемещался.

Следует отметить, что, хотя длящийся звук выводится на участке позиций Pa-Pg с помощью информации канала позиции Ра, предшествующей позиции Pg в описанной выше обработке длящегося звука, например, если может быть получена информация канала следующей позиции Pf, информация может быть использована для вывода длящегося звука на участке позиций Pa-Pg. Соответственно, пользователь 2 может слышать звук более удовлетворительно, как если бы он непрерывно перемещался.

Второй звуковой маршрут

Фиг. 30 является схемой для описания второго звукового пути объекта AR.

Как показано на Фиг. 30, блок 506 обработки звука включает в себя блок 591 управления соответствующим каналом, блок 592 обработки HRTF и блок 593 двойной передачи по каналу.

Блок 591 управления соответствующим каналом принимает ввод информации объектов AR 1-n (n - целое число, n≥1). Принимая ввод информации множества объектов AR, блок 591 управления соответствующим каналом вырабатывает смешанный звук и размещает звук на заранее заданном канале в соответствии с информацией каждого из объектов AR. Кроме того, блок 591 управления соответствующим каналом принимает решение о том, какую HRTF использовать, и подает HRTF на блок 592 обработки HRTF.

Блок 592 обработки HRTF свертывает HRTF в волновую форму звукового сигнала в соответствии с HRTF, поступившей с блока 591 управления соответствующим каналом. Блок 593 двойной передачи по каналу выполняет двойную передачу по каналу звукового сигнала с блока 592 обработки HRTF в соответствии с числом каналов конечного вывода и выводит результат на наушники 207 HMD 20.

Следует отметить, что блок 591 управления соответствующим каналом может иметь файл (например, файл в формате wav), который перемещает заранее подготовленные каналы, заставлять файл воспроизводиться в заранее заданный момент, затем заставлять блок 592 обработки HRTF свертывать в него HRTF каждого из каналов и заставлять блок 593 двойной передачи по каналу выполнять двойную передачу по каналу результата.

Основная обработка звука

Фиг. 31 является схемой для описания основной обработки звука второго звукового пути.

Как показано на Фиг. 31, рассмотрен случай, когда в качестве траектории звукового объекта задана траектория, последовательно проходящая позицию Pg и позицию Pf с позиции Ра (начальной точки) до позиции Ре (конечной точки). В этом случае позиции звукового объекта в значительной степени совпадают с расположением динамиков 7-канального объемного звучания, и, таким образом, звуковому объекту, перемещающемуся в одном направлении, могут быть присвоены HRTF динамиков, соответствующих позициям звукового объекта.

Конкретно, блок 591 управления соответствующим каналом принимает решение использовать HRTF позиции Ра, т.е. канала SL(a) 7-канального объемного звучания, в соответствии с информацией направления объекта, и присваивает паузу каналам, соответствующим другим позициям Pb-Pg, в момент t1 времени (первая очередность). В этом примере, однако, существует один объект AR (только в одном направлении), и, таким образом, далее ничего не добавляется. Затем блок 592 обработки HRTF свертывает HRTF канала SL(a) для левого уха в волновую форму формата файла wav (например, звук «п»), вводимую в качестве звукового сигнала. Кроме того, HRTF канала SL(a) для правого уха свертывается отдельно в звуковой сигнал аналогичным образом. Затем блок 593 двойной передачи по каналу выполняет двойную передачу по каналу звукового сигнала, имеющего 7 каналов по числу каналов конечного вывода, и выводит результат на наушники 207 HMD 20. Соответственно, волновая форма звукового сигнала, прошедшего обработку VPT, воспроизводится наушниками 207 HMD 20.

Затем, когда информация направления объекта указывает позицию Pg, блок 591 управления соответствующим каналом принимает решение использовать HRTF канала SBL(g) 7-канального объемного звучания в момент t2 времени (вторая очередность) по истечении заранее заданного интервала времени с момента t1. Затем блок 592 обработки HRTF свертывает HRTF канала SBL(g) для левого уха в волновую форму формата файла wav, вводимую в качестве звукового сигнала. Кроме того, HRTF канала SBL(g) для правого уха свертывается отдельно в звуковой сигнал аналогичным образом. Затем блок 593 двойной передачи по каналу выполняет двойную передачу по каналу звукового сигнала, имеющего 7 каналов, и тем самым волновая форма звукового сигнала, прошедшего обработку VPT, воспроизводится наушниками 207 HMD 20.

Затем, когда информация направления объекта указывает позицию Pf, блок 591 управления соответствующим каналом принимает решение использовать HRTF канала SBR(f) 7-канального объемного звучания в момент t3 времени (третья очередность) по истечении заранее заданного интервала времени с момента t2. Затем блок 592 обработки HRTF свертывает HRTF канала SBR(f) для левого уха в волновую форму формата файла wav, вводимую в качестве звукового сигнала. Кроме того, HRTF канала SBR(f) для правого уха свертывается отдельно в звуковой сигнал аналогичным образом. Затем блок 593 двойной передачи по каналу выполняет двойную передачу по каналу звукового сигнала, имеющего 7 каналов, и тем самым волновая форма звукового сигнала, прошедшего обработку VPT, воспроизводится наушниками 207 HMD 20.

После этого, когда информация направления объекта указывает позицию Ре, блок 591 управления соответствующим каналом принимает решение использовать HRTF канала SR(e) 7-канального объемного звучания в момент t4 времени (четвертая очередность) по истечении заранее заданного интервала времени с момента t3. Затем блок 592 обработки HRTF свертывает HRTF канала SR(e) для левого уха в волновую форму формата файла wav, вводимую в качестве звукового сигнала. Кроме того, HRTF канала SR(e) для правого уха свертывается отдельно в звуковой сигнал аналогичным образом. Затем блок 593 двойной передачи по каналу выполняет двойную передачу по каналу звукового сигнала, имеющего 7 каналов, и тем самым волновая форма звукового сигнала, прошедшего обработку VPT, воспроизводится наушниками 207 HMD 20.

Когда ряд процессов выполнен, как описано выше, звук, воспроизводимый (выводимый) наушниками 207 HMD 20, может слышаться, как если бы звук «п» последовательно перемещался по стереоскопическим позициям Pa, Pg, Pf и Ре независимо от того факта, что используются 2-канальные наушники.

Измененный пример

Хотя в связи с описанной выше обработкой звука были описаны примеры, в которых звуковой объект движется с постоянной скоростью, звуковой объект не обязательно движется с постоянной скоростью. Иными словами, скорость движения звукового объекта изменяема при условии, что пользователь 2 может удовлетворительно слышать перемещение звука.

Кроме того, хотя в качестве примера приведен звук «п», данный в качестве звуковой информации, и может быть использован другой одиночный звук, как описано выше, он не ограничен одиночным звуком, и далее могут быть использованы другие комбинированные звуки. Коротко говоря, может быть использован любой звук при условии, что пользователь 2 может удовлетворительно слышать перемещение звука.

Далее, в процессе 2 согласования озвученного объекта AR по Фиг. 15 траектория, показанная на Фиг. 17, описана как заданная в качестве траектории звукового объекта в процессе на этапе S543. На траектории по Фиг. 17 звуковой объект последовательно движется между позициями Р1-Р5, а не в направлении слева направо, что является движением из удаленной точки в близлежащую точку в цилиндрической системе С координат.В этом случае, хотя звуковой объект не движется в горизонтальном направлении, громкость звука или т.п. может быть изменена в соответствии с позицией на протяжении обработки звука.

На Фиг. 17, например, если громкость позиции Р1, то есть удаленной точки, задана на уровне 1,0, громкость позиции Р2 может быть задана на уровне, в 1,1 раза превышающем уровень позиции Р1, громкость позиции Р3 может быть задана на уровне, в 1,2 раза превышающем уровень позиции Р1, громкость позиции Р4 может быть задана на уровне, в 1,3 раза превышающем уровень позиции Р1, и громкость позиции Р2 может быть задана на уровне, в 1,4 раза превышающем уровень позиции Р1. Кроме того, на Фиг. 17, относительно объема реверберации (Фиг. 24) на позиции Р1, являющейся удаленной точкой, например, можно задать объем реверберации так, чтобы он постепенно уменьшался каждый раз, когда звук приближается к позициям Р2, Р3, Р4 и Р5. Выполняя такую обработку звука возможно, например, создать у пользователя 2 впечатление приближающегося звука. Следует отметить, что обработка звука является примером, и может применяться другой тип обработки звука при условии, что пользователь 2 может удовлетворительно слышать перемещение звука благодаря обработке звука.

Кроме того, хотя описана конфигурация, в которой звуковой объект движется в горизонтальном направлении в 7-канальном объемном звучании описанной выше VPT, конфигурация, в которой звуковой объект движется не только в горизонтальном, но также и в вертикальном направлении, может применяться путем внедрения конфигурации VPT в верхнем направлении, например, размещения верхних фронтальных динамиков (L (FH) и R (FH)) на позициях сразу над фронтальными динамиками (L и R). Далее, более стереоскопический звуковой объект может быть создан путем внедрения конфигурации VPT, в которой применяется много каналов, больше чем описанные выше семь каналов.

Когда, например, верхние фронтальные динамики размещены так, чтобы звуковой объект перемещался в вертикальном направлении, и, таким образом, звуковой объект перемещается в верхнюю точку и нижнюю точку за пределами области А отображения, когда пользователь 2 кивает головой вверх-вниз, и выполняется управление уравнивания высоты звукового объекта с центральной высотой области А отображения HMD 20 или т.п. , как показано на Фиг. 20.

В описанном выше примере по Фиг. 20 и звуковой объект, и изображение этого звукового объекта перемещаются близко к центру области А отображения, но только изображение звукового объекта может перемещаться внутри области А отображения, тогда как высота звукового объекта сохраняется. Иными словами, в то время как звуковой объект отделен от изображения этого звукового объекта и обработка звука выполняется для перемещения звукового объекта в верхнюю точку или нижнюю точку за пределами области А отображения, изображение звукового объекта может быть задано таким образом, чтобы пересекать область А отображение в соответствии с движением звукового объекта. В это время, когда изображение звукового объекта проходит по области А отображения, например, может отображаться само изображение звукового объекта, такое как стрелка; при этом, если отображается тень стрелки или т.п. в соответствии с высотой звукового объекта, пользователь 2 может более стереоскопично уловить перемещение звука.

Позиция вывода звука звукового объекта может быть та же, что и позиция отображения изображения звукового объекта, пересекающего область А отображения, как описано выше, или может отличаться от нее.

Конкретные примеры работы

Теперь конкретные примеры работы системы 1 AR по Фиг. 1 будут описаны со ссылкой на Фиг. 32 и 33.

В качестве примера 1 на Фиг. 32 показан случай, когда система 1 AR обеспечивает приложение для поиска по карте. Например, когда приложение для поиска по карте дает команду указать север, север обозначается как позиция цели Т. Как показано на экране в левой части чертежа, когда звук выводится в соответствии со звуковым объектом, и звуковой объект Ob1 пересекает область А отображения, отображается изображение звукового объекта в виде стрелок.

Поскольку выводится звук, направляющий, например, на север, и изображение стрелок, указывающих север, проходит по области А отображения, как описано выше, пользователю 2 может быть предоставлена более интуитивно понятная информация о позиции.

Фиг. 33 в качестве примера 2 работы показывает случай, когда система 1 AR обеспечивает приложение социальной сети (СС). Когда другой пользователь, например, оставляет запись в Твиттере («постит твит») поблизости от текущей позиции пользователя 2 во время активации приложения СС, позиция, с которой другой пользователь оставил запись, обозначается как позиция цели Т. Затем наряду со звуком звукового объекта Ob в момент t1 времени в области А отображения отображается уведомляющая иконка, служащая изображением этого звукового объекта. Затем в моменты х2 и t3 времени по истечении заранее заданного интервала времени с момента t1 звуковой объект Ob перемещается по направлению к позиции твита во время вывода звука, но когда звуковой объект сдвигается в область А отображения, отображается изображение звукового объекта в виде уведомляющей иконки.

Таким же образом, как описан выше, когда другой пользователь, участвующий в каком-либо мероприятии, например, оставляет в Твиттере запись о нем, место твита указывается звуком объекта AR и уведомляющей иконкой и, следовательно, пользователь 2 может немедленно отправиться к этому месту и принять участие в мероприятии.

Описание компьютера, к которому применено настоящее изобретение

Ряд процессов, описанных выше, может выполняться аппаратными средствами, но также может выполняться и программными средствами. Когда ряд процессов выполняется программными средствами, на компьютер устанавливается программа, составляющая такое программное обеспечение. Здесь термин «компьютер» включает в себя компьютер, в который встроено специализированное аппаратное обеспечение, и персональный компьютер общего назначения или т.п., способный выполнять различные функции, когда установлены различные программы.

Как пример, программа, выполняемая компьютером (CPU) может быть обеспечена, будучи записана на съемный носитель, например пакетный носитель или т.п. Программа может также быть обеспечена посредством проводной или беспроводной передающей среды, такой как локальная сеть, Интернет или цифровое спутниковое вещание.

В компьютере в результате загрузки съемного носителя в привод программа может быть установлена на записывающий блок через интерфейс ввода-вывода. Возможно также принимать программу из проводной или беспроводной передающей среды с помощью блока связи и устанавливать программу на записывающий блок. Или же программа может быть заранее установлена на ROM или записывающем блоке.

Следует отметить, что программа, выполняемая компьютером, может являться программой, в которой процессы выполняются последовательно в порядке, описанном в этой спецификации, или программой, в которой процессы выполняются параллельно или в необходимые моменты, например в моменты вызова процессов.

Здесь этап обработки для описания программы, которая заставляет компьютер выполнять различные виды обработки, не обязательно должен выполняться в хронологической последовательности, описанной в блок-схеме. Он также включает в себя обработку, выполняемую параллельно или индивидуально (например, параллельную или пообъектную обработку).

Программа может являться программой, выполняемой одним компьютером, или программой, выполняемой распределенным образом множеством компьютеров. Программа может удаленно передаваться на компьютер для выполнения.

Далее, в настоящем изобретении система означает набор из множества скомпонованных элементов (такой как устройство или модуль (часть)), и во внимание не принимается, все ли скомпонованные элементы размещены в одном корпусе. Следовательно, система может представлять собой либо множество устройств, снабженных отдельными корпусами и подключенных через сеть, или множество модулей внутри единого корпуса.

Вариант осуществления изобретения не ограничен описанными выше вариантами осуществления, и различные изменения и модификации могут быть внесены без отхода от объема изобретения. Например, настоящее изобретение может включать конфигурацию облачных вычислений, которая производит обработку путем распределения и соединения одной функции по множеству устройств посредством сети.

Далее, каждый этап, описанный упомянутыми выше блок-схемами, может выполняться одним устройством либо распределяться на несколько устройств. Кроме того, в случае, когда в один этап включены несколько процессов, несколько процессов, включенных в этот этап, могут выполняться одним устройством либо разделяться на несколько устройств.

Кроме того, настоящее изобретение также может быть выполнено изложенным ниже образом.

(1) Устройство обработки информации, включающее в себя:

блок отображения изображения, выполненный с возможностью отображения изображения;

блок вывода звука, выполненный с возможностью вывода звука;

блок обозначения позиции, выполненный с возможностью обозначения позиции за пределами области отображения блока отображения изображения; и

управляющий блок, выполненный с возможностью управления выводом звука объекта дополненной реальности (AR), посредством перемещения объекта AR к обозначенной позиции.

(2) Устройство обработки информации по (1), в котором управляющий блок выполнен с возможностью вызова отображения изображения объекта AR, при пересечении объектом AR области отображения блока отображения изображения.

(3) Устройство обработки информации по (1) или (2), в котором присутствует множество объектов AR.

(4) Устройство обработки информации по (3), в котором управляющий блок выполнен с возможностью вызова перемещения объектов AR с обеих сторон от пользователя, при движении объектов AR к обозначенной позиции.

(5) Устройство обработки информации по (3) или (4), в котором управляющий блок выполнен с возможностью вывода, в разные моменты времени, звуков множества объектов AR.

(6) Устройство обработки информации по (1) или (2), дополнительно включающее в себя:

блок обнаружения, выполненный с возможностью обнаружения направления блока отображения изображения, при этом управляющий блок вызывает перемещение объекта AR, в соответствии с направлением блока отображения изображения.

(7) Устройство обработки информации по (6), в котором управляющий блок выполнен с возможностью вызова перемещения объекта AR, так, что изображение объекта AR отображается в области отображения.

(8) Устройство обработки информации по (7), в котором в результате управления управляющего блока позиция вывода звука объекта AR совпадает с позицией отображения изображения объекта AR в пределах области отображения.

(9) Устройство обработки информации по (7), в котором в результате управления управляющего блока позиция вывода звука объекта AR не совпадает с позицией отображения изображения объекта AR в пределах области отображения.

(10) Устройство обработки информации по (1), являющееся устройством типа очков, имеющим пару блоков отображения изображения для левого и правого глаз.

(11) Способ обработки информации устройства обработки информации, вызывающий выполнение устройством обработки информации этапов, на которых:

обозначают позиции за пределами области отображения блока отображения изображения; и

управляют выводом звука объекта AR блока вывода звука во время перемещения объекта AR к обозначенной позиции.

(12) Программа, вызывающая функционирование компьютера в качестве:

блока обозначения позиции, выполненного с возможностью обозначения позиции за пределами области отображения блока отображения изображения; и

управляющего блока, выполненного с возможностью управления выводом звука объекта AR блока вывода звука, посредством перемещения объекта AR к обозначенной позиции.

Список ссылочных позиций

1 - система AR

10 - управляющий блок

20 - HMD

30 - смартфон

40 - сервер AR

101 - CPU

107 - блок подключения

108 - блок беспроводной связи

201 - блок подключения

203 - геомагнитный датчик

204 - гироскоп

205 - датчик ускорения

206 - дисплей

207 - наушники

301 - CPU

309 - блок беспроводной связи

310 - блок мобильной связи

401 - CPU

409 - блок связи

410 - блок удержания объекта AR

500 - блок обработки AR

501 - блок сбора показаний датчиков

502 - блок сбора информации объекта AR

503 - блок расчета направления HMD

504 - блок расчета координат области отображения

505 - блок обработки рисунка

506 - блок обработки звука

507 - блок согласования озвученного объекта AR

521 - блок обозначения позиции за пределами области отображения

522 - блок установки траектории

523 - блок управления рисунком/звуком

Изобретение относится к области обработки информации. Технический результат заключается в повышении точности указания позиции объекта дополненной реальности (AR) за пределами области отображения блока отображения изображения. Устройство обработки информации содержит блоки отображения изображения и вывода звука, центральный процессор, обеспечивающий обозначение позиции за пределами области отображения блока отображения изображения и обеспечивающий вывод звука объекта дополненной реальности на основе дифференциального угла, образованного между первой и второй позициями объекта AR с позицией пользователя в качестве вершины. Изобретение может быть применено к носимому компьютеру, например к устройству по типу очков, имеющему пару блоков отображения изображения для левого и правого глаза. 3 н. и 9 з.п. ф-лы, 33 ил.

1. Устройство обработки информации, содержащее:

блок отображения изображения, выполненный с возможностью отображения изображения;

блок вывода звука, выполненный с возможностью вывода звука;

центральный процессор (CPU), выполненный с возможностью:

обозначения позиции за пределами области отображения блока отображения изображения; и

управления выводом звука объекта дополненной реальности (AR) на основе угла между первой позицией области отображения и второй позицией объекта AR с позицией пользователя в качестве вершины угла, и перемещения объекта AR по направлению к обозначенной позиции.

2. Устройство обработки информации по п. 1, в котором CPU дополнительно выполнен с возможностью вызова отображения изображения объекта AR на основе перекрытия объектом AR области отображения блока отображения изображения.

3. Устройство обработки информации по п. 2, в котором присутствует множество объектов AR.

4. Устройство обработки информации по п. 3, в котором CPU дополнительно выполнен с возможностью управления перемещением множества объектов AR с обеих сторон от пользователя на основе движения множества объектов AR к обозначенной позиции.

5. Устройство обработки информации по п. 4, в котором CPU дополнительно выполнен с возможностью вызова вывода в разное время звуков множества объектов AR.

6. Устройство обработки информации по п. 2, в котором CPU дополнительно выполнен с возможностью:

обнаружения направления блока отображения изображения;

управления перемещением объекта AR на основе направления блока отображения изображения.

7. Устройство обработки информации по п. 6, в котором CPU дополнительно выполнен с возможностью управления перемещением объекта AR так, что изображение объекта AR отображается в области отображения.

8. Устройство обработки информации по п. 7, в котором в результате управления CPU позиция вывода звука объекта AR совпадает с позицией отображения изображения объекта AR в пределах области отображения.

9. Устройство обработки информации по п. 7, в котором в результате управления CPU позиция вывода звука объекта AR отличается от позиции отображения изображения объекта AR в пределах области отображения.

10. Устройство обработки информации по п. 1, являющееся устройством типа очков, имеющим пару блоков отображения изображения для левого и правого глаза.

11. Способ обработки информации, содержащий этапы, на которых:

с помощью устройства обработки информации

обозначают позицию за пределами области отображения блока отображения изображения; и

управляют выводом звука объекта дополненной реальности (AR) из блока вывода звука на основе угла между первой позицией области отображения и второй позицией объекта AR с позицией пользователя в качестве вершины угла и перемещения объекта AR по направлению к обозначенной позиции.

12. Носитель данных, хранящий выполняемые компьютером инструкции, вызывающие, при выполнении компьютером, функционирование компьютера для выполнения:

обозначения позиции за пределами области отображения блока отображения изображения; и

управления выводом звука объекта дополненной реальности (AR) с блока вывода звука на основе угла между первой позицией области отображения и второй позицией объекта AR с позицией пользователя в качестве вершины угла и перемещения объекта AR по направлению к обозначенной позиции.