СПОСОБ И СИСТЕМА ДЛЯ ОБРАБОТКИ ЛОКАЛЬНЫХ ПЕРЕХОДОВ МЕЖДУ ПОЛОЖЕНИЯМИ ПРОСЛУШИВАНИЯ В СРЕДЕ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ Российский патент 2022 года по МПК H04S7/00 H04S3/00 

ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

Настоящая заявка притязает на преимущество предварительной заявки США № 62/599,848, поданной 18 декабря 2017, и притязает на преимущество заявки № 17208087.1 на Европейский патент, поданной 18 декабря 2017, каждая из которых полностью включена посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

Настоящий документ относится к эффективной и непротиворечивой обработке переходов между слуховыми областями просмотра и/или положениями прослушивания в среде представления виртуальной реальности.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Приложения виртуальной реальности (virtual reality, VR), дополненной реальности (augmented reality, AR) и смешанной реальности (mixed reality, MR) быстро развиваются с включением все более усовершенствованных акустических моделей звуковых источников и сцен, которые можно использовать с разных точек просмотра/перспектив или положений прослушивания. Два разных класса гибких представлений звука могут, например, быть применены для приложений VR: представления звукового поля и представления на основе объектов. Представления звукового поля являются подходами на физической основе, которые кодируют фронт падающей волны в положении прослушивания. Например, такие подходы, как B-формат или звукозапись с эффектом присутствия высшего порядка (Higher-Order Ambisonics, HOA) представляют пространственный волновой фронт с использованием разложения на сферические гармонические функции. Основанные на объектах подходы представляют сложную слуховую сцену как набор особых элементов, содержащих форму звуковой волны, или звуковой сигнал, и связанные параметры, или метаданные, возможно изменяющиеся во времени.

Использование приложений VR, AR и MR может включать ощущение пользователем разных слуховых точек зрения или перспектив. Например, виртуальная реальность на основе комнаты может быть предоставлена на основе механизма, использующего 6 степеней свободы (degrees of freedom, DoF). На фиг. 1 проиллюстрирован пример взаимодействия с 6 степенями свободы, который демонстрирует поступательное движение (вперед/назад, вверх/вниз и влево/вправо) и вращательное движение (тангаж, рыскание и крен). В отличие от получения впечатлений от сферического видео с 3 степенями свободы, которое ограничено вращениями головы, содержимое, создаваемое для взаимодействия с 6 степенями свободы, в дополнение к вращениям головы также обеспечивает возможность перемещения внутри виртуальной среды (например, физического передвижения внутри комнаты). Это может быть выполнено на основе устройств отслеживания положения (например на основе камер) и устройств отслеживания ориентации (например гироскопов и/или акселерометров). Технология отслеживания с 6 степенями свободы может быть доступна на более совершенных настольных системах VR (например, PlayStation®VR, Oculus Rift, HTC Vive), а также на более совершенных мобильных платформах VR (например, Google Tango). Получение пользователем впечатления направленности и пространственной протяженности звука или источников звука является крайне важным для реализма получения впечатлений с 6 степенями свободы, в частности получения впечатления перемещения через сцену и вокруг виртуальных источников звука.

Доступные системы представления звука (такие как устройство представления 3D-звука MPEG-H), как правило, ограничены представлением 3 степеней свободы (т.е. вращательного движения звуковой сцены, вызванного вращением головы слушателя). Поступательные изменения положения прослушивания слушателя и связанные степени свободы, как правило, не могут быть обработаны такими устройствами представления.

Настоящий документ относится к технической задаче предоставления ресурсоэффективных способов и систем для обработки поступательного движения в контексте представления звука.

СУТЬ ИЗОБРЕТЕНИЯ

Согласно одному аспекту описан способ представления звукового сигнала в среде представления виртуальной реальности. Способ включает представление исходного звукового сигнала источника звука из исходного положения источника на исходной сфере вокруг исходного положения прослушивания слушателя. Кроме того, способ включает определение того, что слушатель передвигается из исходного положения прослушивания в целевое положение прослушивания. Дополнительно способ включает определение целевого положения источника для источника звука на целевой сфере вокруг целевого положения прослушивания на основании исходного положения источника. Целевое положение источника для источника звука на целевой сфере может быть определено посредством проекции исходного положения источника на исходной сфере на целевую сферу. Эта проекция может представлять собой, например, перспективную проекцию относительно целевого положения прослушивания. Исходная сфера и целевая сфера могут иметь одинаковый радиус. Например, обе сферы могут соответствовать единичной сфере в контексте представления, например, сфере с радиусом, равным 1 метру. Кроме того, способ включает определение целевого звукового сигнала источника звука на основании исходного звукового сигнала. Способ дополнительно включает представление целевого звукового сигнала источника звука из целевого положения источника на целевой сфере вокруг целевого положения прослушивания.

Согласно дополнительному аспекту описано устройство представления звука в виртуальной реальности для представления звукового сигнала в среде представления виртуальной реальности. Устройство представления звука приспособлено представлять исходный звуковой сигнал источника звука из исходного положения источника на исходной сфере вокруг исходного положения прослушивания слушателя. Кроме того, устройство представления звука в виртуальной реальности приспособлено определять, что слушатель передвигается из исходного положения прослушивания в целевое положение прослушивания. Дополнительно устройство представления звука в виртуальной реальности приспособлено определять целевое положение источника для источника звука на целевой сфере вокруг целевого положения прослушивания на основании исходного положения источника. Кроме того, устройство представления звука в виртуальной реальности приспособлено определять целевой звуковой сигнал источника звука на основании исходного звукового сигнала. Устройство представления звука в виртуальной реальности дополнительно приспособлено представлять целевой звуковой сигнал источника звука из целевого положения источника на целевой сфере вокруг целевого положения прослушивания.

Согласно другому аспекту описан способ генерирования битового потока. Способ включает: определение звукового сигнала по меньшей мере одного источника звука; определение данных о положении, относящихся к положению по меньшей мере одного источника звука в пределах среды представления; определение данных о среде, характеризующих свойство распространения звука для звука в пределах среды представления; и вставку звукового сигнала, данных о положении и данных о среде в битовый поток.

Согласно дополнительному аспекту описан кодировщик звука. Кодировщик звука приспособлен генерировать битовый поток, который указывает звуковой сигнал по меньшей мере одного источника звука; положение по меньшей мере одного источника звука в пределах среды представления; и данные о среде, характеризующие свойство распространения звука для звука в пределах среды представления.

Согласно другому аспекту описан битовый поток, при этом битовый поток указывает: звуковой сигнал по меньшей мере одного источника звука; положение по меньшей мере одного источника звука в пределах среды представления; и данные о среде, характеризующие свойство распространения звука для звука в пределах среды представления.

Согласно дополнительному аспекту описано устройство представления звука в виртуальной реальности для представления звукового сигнала в среде представления виртуальной реальности. Устройство представления звука содержит устройство представления 3D-звука, которое приспособлено представлять звуковой сигнал источника звука из положения источника на сфере вокруг положения прослушивания слушателя в пределах среды представления виртуальной реальности. Кроме того, устройство представления звука в виртуальной реальности содержит блок предварительной обработки, который приспособлен определять новое положение прослушивания слушателя в пределах среды представления виртуальной реальности. Кроме того, блок предварительной обработки приспособлен обновлять звуковой сигнал и положение источника для источника звука относительно сферы вокруг нового положения прослушивания. Устройство представления 3D-звука приспособлено представлять обновленный звуковой сигнал источника звука из обновленного положения источника на сфере вокруг нового положения прослушивания.

Согласно еще одному аспекту описывается программа, реализованная программно. Эта программа, реализованная программно, может быть адаптирована для исполнения на процессоре и для выполнения этапов способов, описываемых в настоящем документе, при осуществлении на процессоре.

Согласно другому аспекту описывается носитель данных. Этот носитель данных может содержать программу, реализованную программно, адаптированную для исполнения на процессоре и для выполнения этапов способов, описываемых в настоящем документе, при осуществлении на процессоре.

Согласно еще одному аспекту описывается компьютерный программный продукт. Компьютерный программный продукт может содержать исполняемые команды, предназначенные для выполнения этапов способов, описываемых в настоящем документе, при осуществлении на компьютере.

Следует отметить, что способы и системы, в том числе предпочтительные варианты их осуществления, описываемые в настоящей патентной заявке, можно использовать автономно или в сочетании с другими способами и системами, раскрываемыми в настоящем документе. Кроме того, все аспекты способов и систем, описываемых в настоящей патентной заявке, могут произвольно комбинироваться. В частности, произвольным образом могут комбинироваться друг с другом характерные признаки формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ФИГУР

Ниже изобретение разъясняется иллюстративным образом со ссылкой на сопроводительные графические материалы, в которых:

на фиг. 1a представлен пример системы обработки звука для предоставления звука с 6 степенями свободы;

на фиг. 1b представлены иллюстративные ситуации в среде звука и/или представления с 6 степенями свободы;

на фиг. 1c представлен иллюстративный переход от исходной звуковой сцены к целевой звуковой сцене;

на фиг. 2 приведена иллюстративная схема для определения пространственных звуковых сигналов во время перехода между разными звуковыми сценами;

на фиг. 3 представлена иллюстративная звуковая сцена;

на фиг. 4a проиллюстрировано изменение отображения источников звука в ответ на изменение положения прослушивания в пределах звуковой сцены;

на фиг. 4b представлена иллюстративная функция расстояния;

на фиг. 5a проиллюстрирован источник звука с неоднородной диаграммой направленности;

на фиг. 5b представлена иллюстративная функция направленности источника звука;

на фиг. 6 представлена иллюстративная звуковая сцена с акустически значимым препятствием;

на фиг. 7 проиллюстрированы поле зрения и центр внимания слушателя;

на фиг. 8 проиллюстрирована обработка внешнего звука в случае изменения положения прослушивания в пределах звуковой сцены;

на фиг. 9a представлена блок-схема иллюстративного способа представления сигнала 3D-звука во время перехода между разными звуковыми сценами;

на фиг. 9b представлена блок-схема иллюстративного способа генерирования битового потока для перехода между разными звуковыми сценами;

на фиг. 9c представлена блок-схема иллюстративного способа представления сигнала 3D-звука во время перехода в пределах одной звуковой сцены; и

на фиг. 9d представлена блок-схема иллюстративного способа генерирования битового потока для локальных переходов.

ПОДРОБНОЕ ОПИСАНИЕ

Как указано выше, настоящий документ относится к эффективному предоставлению 6 степеней свободы в среде 3D (трехмерного) звука. На фиг. 1a представлена структурная схема иллюстративной системы 100 обработки звука. Акустическая среда 110, такая как стадион, может содержать множество разных источников 113 звука. Примерами источников 113 звука в пределах стадиона являются отдельные зрители, диктор стадиона, игроки на поле и т.д. Акустическая среда 110 может быть подразделена на разные звуковые сцены 111, 112. В качестве примера, первая звуковая сцена 111 может соответствовать блоку поддержки домашней команды, а вторая звуковая сцена 112 может соответствовать блоку поддержки гостевой команды. В зависимости от того, где слушатель расположен в пределах звуковой среды, слушатель будет воспринимать или источники 113 звука из первой звуковой сцены 111, или источники 113 звука из второй звуковой сцены 112.

Разные источники 113 звука звуковой среды 110 могут быть захвачены с использованием звуковых датчиков 120, особенно с использованием массивов микрофонов. В частности, одна или более звуковых сцен 111, 112 звуковой среды 110 могут быть описаны с использованием многоканальных звуковых сигналов, одного или более звуковых объектов и/или сигналов с эффектом присутствия высшего порядка (HOA). Далее полагается, что источник 113 звука связан со звуковыми данными, которые захватываются датчиками 120 звука, при этом звуковые данные определяют звуковой сигнал и положение источника 113 звука как функцию времени (с определенной частотой дискретизации, например 20 мс).

Для устройства представления 3D-звука, такого как устройство представления 3D-звука MPEG-H, как правило, полагается, что слушатель расположен в конкретном положении прослушивания в пределах звуковой сцены 111, 112. Звуковые данные для разных источников 113 звука звуковой сцены 111, 112, как правило, предоставляются с предположением, что слушатель расположен в этом конкретном положении прослушивания. Кодировщик 130 звука может содержать кодировщик 131 3D-звука, который приспособлен кодировать звуковые данные источников 113 звука одной или более звуковых сцен 111, 112.

Кроме того, могут предоставляться метаданные VR (виртуальной реальности), которые дают возможность слушателю изменять положение прослушивания в пределах звуковой сцены 111, 112 и/или перемещаться между разными звуковыми сценами 111, 112. Кодировщик 130 может содержать кодировщик 132 метаданных, который приспособлен кодировать метаданные VR. Закодированные метаданные VR и закодированные звуковые данные источников 113 звука могут быть объединены в объединительном блоке 133 для предоставления битового потока 140, который указывает звуковые данные и метаданные VR. Метаданные VR могут, например, содержать данные о среде, описывающие акустические свойства звуковой среды 110.

Битовый поток 140 может быть декодирован с использованием декодера 150 для предоставления (декодированных) звуковых данных и (декодированных) метаданных VR. Устройство 160 представления звука для представления звука в пределах среды 180 представления, которая обеспечивает 6 степеней свободы, может содержать блок 161 предварительной обработки и (традиционное) устройство 162 представления 3D-звука (такое как MPEG-H для 3D-звука). Блок 161 предварительной обработки может быть приспособлен определять положение 182 прослушивания слушателя 181 в пределах среды 180 прослушивания. Положение 182 прослушивания может указывать звуковую сцену 111, в пределах которой расположен слушатель 181. Кроме того, положение 182 прослушивания может указывать точное положение в пределах звуковой сцены 111. Блок 161 предварительной обработки может дополнительно быть приспособлен определять сигнал 3D-звука для текущего положения 182 прослушивания на основании (декодированных) звуковых данных и, возможно, на основании (декодированных) метаданных VR. Сигнал 3D-звука затем может быть представлен с использованием устройства 162 представления 3D-звука.

Следует отметить, что идеи и схемы, которые описаны в настоящем документе, могут быть заданы способом с вариантами частоты, могут быть определены или глобально, или же способом, зависимым от объектов/сред, могут быть применены прямо в спектральной или временной области и/или могут быть жестко закодированы в устройство 160 представления VR, или могут быть заданы посредством соответствующего входного интерфейса.

На фиг. 1b показана иллюстративная среда 180 представления. Слушатель 181 может быть расположен в пределах исходной звуковой сцены 111. Для целей представления можно полагать, что источники 113, 194 звука расположены в разных положениях представления на (единичной) сфере 114 вокруг слушателя 181. Положения представления разных источников 113, 194 звука могут изменяться со временем (согласно заданной частоте дискретизации). В пределах среды 180 представления VR могут возникать разные ситуации: слушатель 181 может выполнять глобальный переход 191 из исходной звуковой сцены 111 в целевую звуковую сцену 112; альтернативно или дополнительно слушатель 181 может выполнять локальный переход 192 в другое положение 182 прослушивания в пределах одной звуковой сцены 111; альтернативно или дополнительно звуковая сцена 111 может обладать связанными со средой, акустически значимыми свойствами (такими как стена), которые могут быть описаны с использованием данных 193 о среде и которые следует учитывать, когда происходит изменение положения 182 прослушивания; альтернативно или дополнительно звуковая сцена 111 может содержать один или более источников 194 звука окружающей среды (например, для фонового шума), которые следует учитывать, когда происходит изменение положения 182 прослушивания.

На фиг. 1c показан иллюстративный глобальный переход 191 из исходной звуковой сцены 111 с источниками 113 звука A₁ – A_n в целевую звуковую сцену 112 с источниками 113 звука B₁ – B_m. Источник 113 звука может характеризоваться соответствующими свойствами расположенных на пути к нему объектов (координатами, направленностью, функцией затухания звука с расстоянием и т.д.). Глобальный переход 191 может быть выполнен в пределах определенного интервала времени перехода (например, в диапазоне 5 секунд, 1 секунды или менее). Положение 182 прослушивания в пределах исходной сцены 111 в начале глобального перехода 191 обозначено как «A». Кроме того, положение 182 прослушивания в пределах целевой сцены 112 в конце глобального перехода 191 обозначено как «B». Кроме того, на фиг. 1c проиллюстрирован локальный переход 192 в пределах целевой сцены 112 между положением прослушивания «B» и положением прослушивания «C».

На фиг. 2 представлен глобальный переход 191 из исходной сцены 111 (или исходной области просмотра) в целевую сцену 112 (или целевую область просмотра) во время интервала t времени перехода. Такой переход 191 может происходить, когда слушатель 181 переключается между разными сценами, или областями просмотра, 111, 112, например, в пределах стадиона. В промежуточный момент 213 времени слушатель 181 может быть расположен в промежуточном положении между исходной сценой 111 и целевой сценой 112. Сигнал 203 3D-звука, который необходимо представить в промежуточном положении и/или в промежуточный момент 213 времени, может быть определен посредством определения вклада каждого из источников 113 A₁ – A_n звука исходной сцены 111 и каждого из источников 113 B₁ – B_m звука целевой сцены 112 с учетом распространения звука каждого источника 113 звука. Это, однако, было бы связано с относительно высокой сложностью вычислений (особенно в случае относительно большого количества источников 113 звука).

В начале глобального перехода 191 слушатель 181 может быть расположен в исходном положении 201 прослушивания. В течение всего перехода 191 исходный сигнал A_G 3D-звука может генерироваться относительно исходного положения 201 прослушивания, при этом исходный звуковой сигнал зависит только от источников 113 звука исходной сцены 111 (и не зависит от источников 113 звука целевой сцены 112). Кроме того, в начале глобального перехода 191 может быть зафиксировано, что слушатель 181 прибудет в целевое положение 202 прослушивания в пределах целевой сцены 112 в конце глобального перехода 191. В течение всего перехода 191 целевой сигнал B_G 3D-звука может генерироваться относительно целевого положения 202 прослушивания, при этом целевой звуковой сигнал зависит только от источников 113 звука целевой сцены 112 (и не зависит от источников 113 звука исходной сцены 111).

Для определения промежуточного сигнала 203 3D-звука в промежуточном положении и/или в промежуточный момент 213 времени во время глобального перехода 191 исходный звуковой сигнал в промежуточный момент 213 времени может быть объединен с целевым звуковым сигналом в промежуточный момент 213 времени. В частности, коэффициент убывания, или усиление, полученный из функции 211 убывания, может быть применен к исходному звуковому сигналу. Функция 211 убывания может быть такой, что коэффициент убывания, или усиление, «a» уменьшается с увеличением расстояния промежуточного положения от исходной сцены 111. Кроме того, коэффициент нарастания, или усиление, полученный из функции 212 нарастания, может быть применен к целевому звуковому сигналу. Функция 212 нарастания может быть такой, что коэффициент нарастания, или усиление, «b» увеличивается с уменьшением расстояния промежуточного положения от целевой сцены 112. Иллюстративная функция 211 убывания и иллюстративная функция 212 нарастания показаны на фиг. 2. Промежуточный звуковой сигнал тогда может быть получен как взвешенная сумма исходного звукового сигнала и целевого звукового сигнала, где веса соответствуют убывающему усилению и нарастающему усилению соответственно.

Таким образом, функция нарастания, или кривая 212, и функция убывания, или кривая 211, могут быть определены для глобального перехода 191 между разными областями 201, 202 просмотра с тремя степенями свободы. Функции 211, 212 могут быть применены к предварительно представленным виртуальным объектам или сигналам 3D-звука, которые представляют исходную звуковую сцену 111 и целевую звуковую сцену 112. За счет этого непротиворечивое восприятие звука может быть предоставлено во время глобального перехода 191 между разными звуковыми сценами 111, 112 с уменьшением вычислений представления звука VR.

Промежуточный звуковой сигнал 203 в промежуточном положении x_i может быть определен с использованием линейной интерполяции исходного звукового сигнала и целевого звукового сигнала. Интенсивность F звуковых сигналов может быть получена как: F(x_i)=a*F(A_G)+(1-a)*F(B_G). Коэффициенты «a» и «b=1-a» могут быть получены посредством функции нормы a=a(), которая зависит от исходного положения 201 прослушивания, целевого положения 202 прослушивания и промежуточного положения. В качестве альтернативы функции, для разных промежуточных положений может быть предоставлена справочная таблица a=[1, ..., 0].

Во время глобального перехода 191 могут приниматься в расчет дополнительные эффекты (например, эффект Доплера и/или реверберация). Функции 211, 212 могут быть адаптированы поставщиком содержимого, например, чтобы отражать художественный замысел. Информация относительно функций 211, 212 может быть включена в качестве метаданных в битовом потоке 140. Следовательно, кодировщик 130 может быть приспособлен предоставлять информацию относительно функции 212 нарастания и/или функции 211 убывания в качестве метаданных в битовом потоке 140. Альтернативно или дополнительно устройство 160 представления звука может применять функцию 211, 212, сохраненную в устройстве 160 представления звука.

Флаг может быть передан от слушателя на устройство 160 представления, особенно на блок 161 предварительной обработки VR, чтобы указывать устройству 160 представления, что глобальный переход 191 будет произведен из исходной сцены 111 в целевую сцену 112. Флаг может запускать обработку звука, описанную в настоящем документе, для генерирования промежуточного звукового сигнала во время фазы перехода. Флаг может быть передан явно или неявно посредством связанной информации (например, посредством координат новой области просмотра, или положения 202 прослушивания). Флаг может быть отправлен со стороны любого интерфейса данных (например, сервер/содержимое, пользователь/сцена, вспомогательный). Наряду с флагом может быть предоставлена информация об исходном звуковом сигнале A_G и целевом звуковом сигнале B_G. В качестве примера, может быть предоставлен идентификатор ID одного или более звуковых объектов или источников звука. Альтернативно запрос на вычисление исходного звукового сигнала и/или целевого звукового сигнала может быть предоставлен на устройство 160 представления.

Итак, описано устройство 160 представления VR, содержащее блок 161 предварительной обработки для устройства 162 представления с 3 степенями свободы, для обеспечения функциональной возможности работы с 6 степенями свободы ресурсоэффективным образом. Блок 161 предварительной обработки позволяет использовать стандартное устройство 162 представления с 3 степенями свободы, такое как устройство представления 3D-звука MPEG-H. Блок 161 предварительной обработки VR может быть приспособлен эффективно выполнять расчеты для глобального перехода 191 посредством использования предварительно представленных виртуальных звуковых объектов A_G и B_G, которые представляют исходную сцену 111 и целевую сцену 112 соответственно. Сложность вычислений уменьшается благодаря использованию только двух предварительно представленных виртуальных объектов во время глобального перехода 191. Каждый виртуальный объект может содержать множество звуковых сигналов для множества источников звука. Кроме того, требования к битовой скорости могут быть уменьшены, поскольку во время перехода 191 в битовом потоке 140 могут быть предоставлены только предварительно представленные виртуальные звуковые объекты A_G и B_G. Дополнительно могут быть сокращены задержки обработки.

Функциональные возможности с 3 степенями свободы могут быть предоставлены для всех промежуточных положений вдоль траектории глобального перехода. Этого можно достичь посредством перекрытия исходного звукового объекта и целевого звукового объекта с использованием функций 211, 212 убывания/нарастания. Кроме того, могут быть представлены дополнительные звуковые объекты и/или могут быть включены добавочные звуковые эффекты.

На фиг. 3 представлен иллюстративный локальный переход 192 из исходного положения 301 прослушивания B в целевое положение 302 прослушивания C в пределах одной звуковой сцены 111. Звуковая сцена 111 содержит разные источники звука, или звуковые объекты, 311, 312, 313. Разные источники звука, или звуковые объекты, 311, 312, 313 могут иметь разные диаграммы 332 направленности. Кроме того, звуковая сцена 111 может обладать свойствами среды, а именно одним или более препятствиями, которые оказывают влияние на распространение звука в пределах звуковой сцены 111. Свойства среды могут быть описаны с использованием данных 193 о среде. Дополнительно могут быть известны относительные расстояния 321, 322 звукового объекта 311 до положений 301, 302 прослушивания.

На фиг. 4a и 4b проиллюстрирована схема для обработки воздействий локального перехода 192 на интенсивность разных источников звука, или звуковых объектов, 311, 312, 313. Как отмечено выше, источник 311, 312, 313 звука звуковой сцены 111, как правило, воспринимается устройством 162 представления 3D-звука как расположенный на сфере 114 вокруг 301 положения прослушивания. По существу, в начале локального перехода 192 источники 311, 312, 313 звука могут быть расположены на исходной сфере 114 вокруг исходного положения 301 прослушивания, а в конце локального перехода 192 источники 311, 312, 313 звука могут быть расположены на целевой сфере 114 вокруг целевого положения 302 прослушивания. Радиус сферы 114 может быть независимым от положения прослушивания. То есть исходная сфера 114 и целевая сфера 114 могут иметь одинаковый радиус. Например, сферы могут быть единичными сферами (например, в контексте представления). В одном примере радиус сфер может составлять 1 метр.

Отображение источника 311, 312, 313 звука может быть изменено (например, отображение может быть изменено геометрически) с исходной сферы 114 на целевую сферу 114. С этой целью может быть рассмотрен луч, который выходит из целевого положения 302 прослушивания в положение источника для источника 311, 312, 313 звука на исходной сфере 11. Источник 311, 312, 313 звука может быть расположен в точке пересечения луча с целевой сферой 114.

Интенсивность F источника 311, 312, 313 звука на целевой сфере 114, как правило, отличается от интенсивности на исходной сфере 114. Интенсивность F может быть изменена с использованием функции усиления интенсивности или функции 415 расстояния, которая представляет усиление 410 на расстоянии как функцию расстояния 420 источника 311, 312, 313 звука от положения 301, 302 прослушивания. Функция 415 расстояния, как правило, демонстрирует пороговое расстояние 421, за которым применяется усиление 410 на расстоянии, равное нулю. Исходное расстояние 321 источника 311 звука до исходного положения 301 прослушивания предоставляет исходное усиление 411. Например, исходное расстояние 321 может соответствовать радиусу исходной сферы 114. Кроме того, целевое расстояние 322 источника звука 311 до целевого положения 302 прослушивания предоставляет целевое усиление 412. Например, целевое расстояние 322 может быть расстоянием от целевого положения 302 прослушивания до положения источника для источника 311, 312, 313 звука на исходной сфере 114. Интенсивность F источника 311 звука может быть откорректирована с использованием исходного усиления 411 и целевого усиления 412, таким образом предоставляя интенсивность F источника 311 звука на целевой сфере 114. В частности, интенсивность F исходного звукового сигнала источника 311 звука на исходной сфере 114 может быть разделена на исходное усиление 411 и умножена на целевое усиление 412 для предоставления интенсивности F целевого звукового сигнала источника 311 звука на целевой сфере 114.

Таким образом, положение источника 311 звука после локального перехода 192 может быть определено как: C_i = функция_отображения_источника(B_i, C) (например с использованием геометрического преобразования). Кроме того, интенсивность источника 311 звука после локального перехода 192 может быть определена как: F(C_i) = F(B_i) * функция_расстояния(B_i, C_i, C). Следовательно, затухание с расстоянием может быть смоделировано посредством соответствующих коэффициентов усиления интенсивности, предоставленных функцией 415 расстояния.

На фиг. 5a и 5b проиллюстрирован источник 312 звука, имеющий неоднородную диаграмму 332 направленности. Диаграмма направленности может быть определена с использованием усилений 510 направленности, которые обозначают величину усиления для разных направлений или углов 520 направленности. В частности, диаграмма 332 направленности источника 312 звука может быть определена с использованием функции 515 усиления направленности, которая обозначает усиление 510 направленности как функцию угла 520 направленности (где угол 520 может составлять от 0° до 360°). Следует отметить, что для источников 312 3D-звука угол 520 направленности, как правило, представляет собой двумерный угол, включающий азимутальный угол и угол возвышения. Следовательно, функция 515 усиления направленности, как правило, представляет собой двумерную функцию двумерного угла 520 направленности.

Диаграмма 332 направленности источника 312 звука может быть учтена в контексте локального перехода 192 путем определения исходного угла 521 направленности исходного луча между источником 312 звука и исходным положением 301 прослушивания (при этом источник 312 звука располагается на исходной сфере 114 вокруг исходного положения 301 прослушивания) и целевого угла 522 направленности целевого луча между источником 312 звука и целевым положением 302 прослушивания (при этом источник 312 звука располагается на целевой сфере 114 вокруг целевого положения 302 прослушивания). С использованием функции 515 усиления направленности источника 312 звука исходное усиление 511 направленности и целевое усиление 512 направленности могут быть определены как значения функции 515 усиления направленности для исходного угла 521 направленности и целевого угла 522 направленности соответственно (см. фиг. 5b). Интенсивность F источника 312 звука в исходном положении 301 прослушивания тогда можно разделить на исходное усиление 511 направленности и умножить на целевое усиление 512 направленности для определения интенсивности F источника 312 звука в целевом положении 302 прослушивания.

Таким образом, направленность звукового источника можно параметризовать посредством коэффициента направленности, или усиления, 510, указанного функцией 515 усиления направленности. Функция 515 усиления направленности может указывать интенсивность источника 312 звука на некотором расстоянии как функцию угла 520 относительно положения 301, 302 прослушивания. Усиления 510 направленности могут быть определены как коэффициенты относительно усилений источника 312 звука на одинаковом расстоянии, имеющие одинаковую общую мощность, которая излучается равномерно во всех направлениях. Диаграмму 332 направленности можно параметризовать посредством набора усилений 510, соответствующих векторам, которые исходят из центра источника 312 звука и заканчиваются в точках, распределенных на единичной сфере вокруг центра источника 312 звука. Диаграмма 332 направленности источника 312 звука может зависеть от варианта использования и от доступных данных (например, равномерное распределение для варианта 3D-полета, сглаженное распределение для вариантов использования 2D+ и т.д.).

Итоговая интенсивность звука источника 312 звука в целевом положении 302 прослушивания может быть оценена как: F(C_i) = F(B_i) * Функция_расстояния() * Функция_усиления_направленности(C_i, C, Параметризация_направленности), где Функция_усиления_направленности зависит от диаграммы 332 направленности источника 312 звука. Функция_расстояния() учитывает модифицированную интенсивность, вызванную изменением расстояния 321, 322 источника 312 звука вследствие перехода источника 312 звука.

На фиг. 6 представлено иллюстративное препятствие 603, которое может быть нужно учесть в контексте локального перехода 192 между разными положениями 301, 302 прослушивания. В частности, в целевом положении 302 прослушивания источник 313 звука может быть скрыт за препятствием 603. Препятствие 603 может быть описано посредством данных 193 о среде, содержащих набор параметров, таких как объемные размеры препятствия 603 и функция затухания препятствия, который определяет затухание звука, вызываемое препятствием 603.

Источник 313 звука может иметь свободное от препятствий расстояние 602 (obstacle-free distance, OFD) до целевого положения 302 прослушивания. OFD 602 может указывать длину кратчайшего пути между источником 313 звука и целевым положением 302 прослушивания, который не пересекает препятствие 603. Кроме того, источник 313 звука может иметь сквозное расстояние 601 (going-through distance, GHD) до целевого положения 302 прослушивания. GHD 601 может указывать длину кратчайшего пути между источником 313 звука и целевым положением 302 прослушивания, который обычно проходит через препятствие 603. Функция затухания препятствия может быть функцией OFD 602 и GHD 601. Кроме того, функция затухания препятствия может быть функцией интенсивности F(B_i) источника 313 звука.

Интенсивность источника C_i звука в целевом положении 302 прослушивания может представлять собой комбинацию звука из источника 313 звука, который обходит препятствие 603, и звука из источника 313 звука, который проходит через препятствие 603.

Следовательно, устройство 160 представления VR может быть обеспечено параметрами для управления влиянием геометрических свойств и среды окружающей обстановки. Данные 193 о геометрических свойствах/среде препятствия, или параметры, могут быть предоставлены поставщиком содержимого и/или кодировщиком 130. Интенсивность звука источника 313 звука может быть оценена как: F(C_i) = F(B_i) * Функция_расстояния(OFD) * Функция_усиления_направленности(OFD) + Функция_затухания_препятствия(F(Bi), OFD, GHD). Первое слагаемое соответствует вкладу звука, который обходит препятствие 603. Второе слагаемое соответствует вкладу звука, который проходит через препятствие 603.

Минимальное свободное от препятствий расстояние (OFD) 602 может быть определено с использованием алгоритма A* Дейкстры для нахождения пути и может быть использовано для управления затуханием прямого звука. Сквозное расстояние (GHD) 601 может быть использовано для управления реверберацией и искажением. Альтернативно или дополнительно подход с отслеживанием лучей может быть использован для описания влияния препятствия 603 на интенсивность источника 313 звука.

На фиг. 7 представлено иллюстративное поле зрения 701 слушателя 181, расположенного в целевом положении 302 прослушивания. Кроме того, на фиг. 7 показан иллюстративный центр 702 внимания слушателя, расположенного в целевом положении 302 прослушивания. Поле зрения 701 и/или центр 702 внимания могут быть использованы для улучшения (например, усиления) звука, приходящего из источника звука, который лежит в пределах поля зрения 701 и/или центра 702 внимания. Поле зрения 701 можно рассматривать как регулируемый пользователем эффект и можно использовать для реализации улучшения звука для источников 311 звука, связанных с полем зрения 701 пользователя. В частности, симуляция «эффекта коктейльной вечеринки» может быть выполнена путем удаления частотных элементов из фонового источника звука для улучшения понимания речевого сигнала, связанного с источником 311 звука, лежащим в пределах поля зрения 701 слушателя. Центр 702 внимания можно рассматривать как регулируемый содержимым эффект и можно использовать для реализации улучшения звука для источников 311 звука, связанных с представляющей интерес областью содержимого (например, привлекающей внимание пользователя, чтобы он посмотрел и/или переместился в направлении источника 311 звука).

Интенсивность звука источника 311 звука может быть модифицирована как: F(B_i) = Функция_поля_зрения(C, F(B_i), Данные_поля_зрения), где Функция_поля_зрения описывает модификацию, применяемую к звуковому сигналу источника 311 звука, лежащего в пределах поля зрения 701 слушателя 181. Кроме того, интенсивность звука источника звука, лежащего в пределах центра 702 внимания слушателя, может быть модифицирована как: F(B_i) = Функция_центра_внимания(F(B_i), Данные_центра_внимания), где Функция_центра_внимания описывает модификацию, применяемую к звуковому сигналу источника 311 звука, лежащего в пределах центра 702 внимания.

Функции, которые описаны в настоящем документе для обработки перехода слушателя 181 из исходного положения 301 прослушивания в целевое положение 302 прослушивания, аналогичным образом могут применяться к изменению положения источника 311, 312, 313 звука.

Таким образом, в настоящем документе описаны эффективные средства для расчета координат и/или интенсивностей звука виртуальных звуковых объектов или источников 311, 312, 313 звука, представляющих локальную звуковую сцену 111 VR в произвольных положениях 301, 302 прослушивания. Координаты и/или интенсивности могут быть определены с учетом кривых затухания звукового источника на расстоянии, ориентации и направленности источника звука, влияния геометрических свойств/среды окружающей обстановки и/или данных «поля зрения» и «центра внимания» для дополнительных улучшений звукового сигнала. Описанные схемы могут существенно уменьшать сложность вычислений благодаря выполнению расчетов только в случае, когда изменяется положение 301, 302 прослушивания и/или положение звукового объекта/источника 311, 312, 313 звука.

Кроме того, в настоящем документе описаны концепции для определения расстояний, направленности, функций геометрических свойств, механизмов обработки и/или передачи сигналов для устройства 160 представления VR. Кроме того, описана концепция для минимального «свободного от препятствий расстояния» для управления затуханием прямого звука и «сквозного расстояния» для управления реверберацией и искажением. Дополнительно описана концепция для параметризации направленности звуковых источников.

На фиг. 8 проиллюстрирована обработка звуковых источников 801, 802, 803 окружающей среды в контексте локального перехода 192. В частности, на фиг. 8 представлено три разных звуковых источника 801, 802, 803 окружающей среды, где звук окружающей среды может быть отнесен к точечному источнику звука. Флаг окружающей среды может быть предоставлен на блок 161 предварительной обработки, чтобы указать, что точечный источник 311 звука является источником 801 звука окружающей среды. Обработка во время локального и/или глобального перехода положения 301, 302 прослушивания может зависеть от значения флага окружающей среды.

В контексте глобального перехода 191 звуковой источник 801 окружающей среды может быть обработан как нормальный источник 311 звука. На фиг. 8 представлен локальный переход 192. Положение звукового источника 801, 802, 803 окружающей среды может быть скопировано с исходной сферы 114 на целевую сферу 114, таким образом предоставляя положение звукового источника 811, 812, 813 окружающей среды в целевом положении 302 прослушивания. Кроме того, интенсивность звукового источника 801 окружающей среды может быть оставлена без изменений, если неизменными остаются условия внешней среды, F(C_Ai) = F(B_Ai). С другой стороны, в случае наличия препятствия 603 интенсивность звукового источника 803, 813 окружающей среды может быть определена с использованием функции затухания препятствия, например, как F(C_Ai) = F(BAi) * функция_расстояния_Ai(OFD) + Функция_затухания_препятствия(F(B_Ai), OFD, GHD).

На фиг. 9a показана блок-схема иллюстративного способа 900 представления звука в среде 180 представления виртуальной реальности. Способ 900 может быть выполнен устройством 160 представления звука в VR. Способ 900 включает представление 901 исходного звукового сигнала исходного источника 113 звука исходной звуковой сцены 111 из исходного положения источника на сфере 114 вокруг положения 201 прослушивания слушателя 181. Представление 901 может быть выполнено с использованием устройства 162 представления 3D-звука, которое может быть ограничено обработкой только 3 степеней свободы, особенно которое может быть ограничено обработкой только вращательных движений головы слушателя 181. В частности, устройство 162 представления 3D-звука может не быть приспособлено обрабатывать поступательные движения головы слушателя. Устройство 162 представления 3D-звука может содержать или может представлять собой устройство представления звука MPEG-H.

Следует отметить, что выражение «представление звукового сигнала источника 113 звука из конкретного положения источника» означает, что слушатель 181 воспринимает звуковой сигнал как исходящий из конкретного положения источника. Это выражение не следует понимать как ограничивающее то, как фактически представляется звуковой сигнал. Многие разные методы представления могут быть использованы для «представления звукового сигнала из конкретного положения источника», т.е. для обеспечения слушателю 181 восприятия того, что звуковой сигнал исходит из конкретного положения источника.

Кроме того, способ 900 включает определение 902 того, что слушатель 181 передвигается из положения 201 прослушивания в пределах исходной звуковой сцены 111 в положение 202 прослушивания в пределах другой целевой звуковой сцены 112. Таким образом, может быть обнаружен глобальный переход 191 из исходной звуковой сцены 111 в целевую звуковую сцену 112. В этом контексте способ 900 может включать прием указания о том, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112. Указание может содержать или может представлять собой флаг. Указание может быть передано от слушателя 181 на устройство 160 представления звука в VR, например посредством пользовательского интерфейса устройства 160 представления звука в VR.

Как правило, каждая из исходной звуковой сцены 111 и целевой звуковой сцены 112 содержит один или более источников 113 звука, которые отличаются друг от друга. В частности, исходные звуковые сигналы одного или более исходных источников 113 звука могут не быть слышимыми в пределах целевой звуковой сцены 112 и/или целевые звуковые сигналы одного или более целевых источников 113 звука могут не быть слышимыми в пределах исходной звуковой сцены 111.

Способ 900 может включать (в ответ на определение того, что выполняют глобальный переход 191 в новую целевую звуковую сцену 112) применение 903 убывающего усиления к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала. Кроме того, способ 900 может включать (в ответ на определение того, что выполняют глобальный переход 191 в новую целевую звуковую сцену 112) представление 904 модифицированного исходного звукового сигнала исходного источника 113 звука из исходного положения источника на сфере 114 вокруг положения 201, 202 прослушивания.

Таким образом, глобальный переход 191 между разными звуковыми сценами 111, 112 может быть выполнен посредством постепенного убывания исходных звуковых сигналов одного или более исходных источников 113 звука исходной звуковой сцены 111. В результате этого обеспечивают эффективный с точки зрения вычислений и акустически согласующийся глобальный переход 191 между разными звуковыми сценами 111, 112.

Можно определить, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112 в течение интервала времени перехода, при этом интервал времени перехода, как правило, имеет определенную длительность (например, 2 с, 1 с, 500 мс или менее). Глобальный переход 191 может быть выполнен постепенно в пределах интервала времени перехода. В частности, во время глобального перехода 191 может быть определен промежуточный момент 213 времени в пределах интервала времени перехода (например, в соответствии с определенной частотой дискретизации, составляющей, например, 100 мс, 50 мс, 20 мс или менее). Убывающее усиление тогда может быть определено на основании относительного положения промежуточного момента 213 времени в пределах интервала времени перехода.

В частности, интервал времени перехода для глобального перехода 191 может быть подразделен на последовательность промежуточных моментов 213 времени. Для каждого промежуточного момента 213 времени последовательности промежуточных моментов 213 времени может быть определено убывающее усиление для модифицирования исходных звуковых сигналов одного или более исходных источников звука. Кроме того, в каждый промежуточный момент 213 времени последовательности промежуточных моментов 213 времени модифицированные исходные звуковые сигналы одного или более исходных источников 113 звука могут быть представлены из исходного положения источника на сфере 114 вокруг положения 201, 202 прослушивания. Благодаря этому акустически согласующийся глобальный переход 191 может быть выполнен эффективно с точки зрения вычислений.

Способ 900 может включать предоставление функции 211 убывания, которая определяет убывающее усиление в разные промежуточные моменты 213 времени в пределах интервала времени перехода, причем функция 211 убывания является, как правило, такой, что убывающее усиление уменьшается с прохождением промежуточных моментов 213 времени, тем самым обеспечивая гладкий глобальный переход 191 к целевой звуковой сцене 112. В частности, функция 211 убывания может быть такой, что исходный звуковой сигнал остается немодифицированным в начале интервала времени перехода, что исходный звуковой сигнал все сильнее затухает с прохождением промежуточных моментов 213 времени и/или что исходный звуковой сигнал полностью затухает в конце интервала времени перехода.

Исходное положение источника исходного источника 113 звука на сфере 114 вокруг положения 201, 202 прослушивания можно сохранять, когда слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112 (а именно во время всего интервала времени перехода). Альтернативно или дополнительно можно полагать (во время всего интервала времени перехода), что слушатель 181 остается в одном положении 201, 202 прослушивания. Благодаря этому можно дополнительно уменьшить сложность вычислений для глобального перехода 191 между звуковыми сценами 111, 112.

Способ 900 может дополнительно включать определение целевого звукового сигнала целевого источника 113 звука целевой звуковой сцены 112. Кроме того, способ 900 может включать определение целевого положения источника на сфере 114 вокруг положения 201, 202 прослушивания. Дополнительно способ 900 может включать применение нарастающего усиления к целевому звуковому сигналу для определения модифицированного целевого звукового сигнала. Модифицированный целевой звуковой сигнал целевого источника 113 звука может затем быть представлен из целевого положения источника на сфере 114 вокруг положения 201, 202 прослушивания.

Таким образом, аналогично убыванию исходных звуковых сигналов одного или более исходных источников 113 звука исходной сцены 111 целевые звуковые сигналы одного или более целевых источников 113 звука целевой сцены 112 могут нарастить, тем самым обеспечивая гладкий глобальный переход 191 между звуковыми сценами 111, 112.

Как указано выше, слушатель 181 может передвигаться из исходной звуковой сцены 111 в целевую звуковую сцену 112 в течение интервала времени перехода. Нарастающее усиление может быть определено на основании относительного положения промежуточного момента 213 времени в пределах интервала времени перехода. В частности, последовательность нарастающих усилений может быть определена для соответствующей последовательности промежуточных моментов 213 времени в течение глобального перехода 191.

Нарастающие усиления могут быть определены с использованием функции 212 нарастания, которая определяет нарастающее усиление в разные промежуточные моменты 213 времени в пределах интервала времени перехода, причем функция 212 нарастания является, как правило, такой, что нарастающее усиление возрастает с прохождением промежуточных моментов 213 времени. В частности, функция 212 нарастания может быть такой, что целевой звуковой сигнал полностью заглушен в начале интервала времени перехода, что целевой звуковой сигнал все менее затухает с прохождением промежуточных моментов 213 времени и/или что целевой звуковой сигнал остается немодифицированным в конце интервала времени перехода, тем самым обеспечивая гладкий глобальный переход 191 между звуковыми сценами 111, 112 эффективным с точки зрения вычислений способом.

Таким же образом, как и исходное положение источника исходного источника 113 звука, целевое положение источника целевого источника 113 звука на сфере 114 вокруг положения 201, 202 прослушивания может быть сохранено, когда слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112, а именно во время всего интервала времени перехода. Альтернативно или дополнительно можно полагать (во время всего интервала времени перехода), что слушатель 181 остается в одном положении 201, 202 прослушивания. Благодаря этому можно дополнительно уменьшить сложность вычислений для глобального перехода 191 между звуковыми сценами 111, 112.

Функция 211 убывания и функция 212 нарастания в комбинации могут обеспечивать постоянное усиление для множества разных промежуточных моментов 213 времени. В частности, функция 211 убывания и функция 212 нарастания могут складываться в постоянное значение (например, 1) для множества разных промежуточных моментов 213 времени. Таким образом, функция 212 нарастания и функция 211 убывания могут быть взаимозависимыми, тем самым обеспечивая согласованное восприятие звука во время глобального перехода 191.

Функция 211 убывания и/или функция 212 нарастания могут быть получены из битового потока 140, который указывает исходный звуковой сигнал и/или целевой звуковой сигнал. Битовый поток 140 может быть предоставлен кодировщиком 130 на устройство 160 представления звука в VR. Таким образом, глобальный переход 191 может находиться под управлением поставщика содержимого. Альтернативно или дополнительно функция 211 убывания и/или функция 212 нарастания могут быть получены из запоминающего блока устройства 160 представления звука в виртуальной реальности (VR), которое приспособлено представлять исходный звуковой сигнал и/или целевой звуковой сигнал в пределах среды 180 представления виртуальной реальности, тем самым обеспечивая надежную работу во время глобальных переходов 191 между звуковыми сценами 111, 112.

Способ 900 может включать отправку указания (например, указательного флага) о том, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112, на кодировщик 130, при этом кодировщик 130 может быть приспособлен генерировать битовый поток 140, который указывает исходный звуковой сигнал и/или целевой звуковой сигнал. Указание может предоставлять кодировщику 130 возможность выборочно предоставлять звуковые сигналы для одного или более источников 113 звука исходной звуковой сцены 111 и/или для одного или более источников 113 звука целевой звуковой сцены 112 в битовом потоке 140. Таким образом, предоставление указания для предстоящего глобального перехода 191 позволяет сократить требуемую полосу пропускания для битового потока 140.

Как уже указано выше, исходная звуковая сцена 111 может содержать множество исходных источников 113 звука. Таким образом, способ 900 может включать представление множества исходных звуковых сигналов соответствующего множества исходных источников 113 звука из множества разных исходных положений источника на сфере 114 вокруг положения 201, 202 прослушивания. Кроме того, способ 900 может включать применение убывающего усиления ко множеству исходных звуковых сигналов для определения множества модифицированных исходных звуковых сигналов. Дополнительно способ 900 может включать представление множества модифицированных исходных звуковых сигналов исходного источника 113 звука из соответствующего множества исходных положений источника на сфере 114 вокруг положения 201, 202 прослушивания.

Аналогичным образом, способ 900 может включать определение множества целевых звуковых сигналов соответствующего множества целевых источников 113 звука целевой звуковой сцены 112. Дополнительно способ 900 может включать определение множества целевых положений источника на сфере 114 вокруг положения 201, 202 прослушивания. Кроме того, способ 900 может включать применение нарастающего усиления ко множеству целевых звуковых сигналов для определения соответствующего множества модифицированных целевых звуковых сигналов. Способ 900 дополнительно включает представление множества модифицированных целевых звуковых сигналов множества целевых источников 113 звука из соответствующего множества целевых положений источника на сфере 114 вокруг положения 201, 202 прослушивания.

Альтернативно или дополнительно исходный звуковой сигнал, который представляют во время глобального перехода 191, может представлять собой наложение звуковых сигналов множества исходных источников 113 звука. В частности, в начале интервала времени перехода звуковые сигналы (всех) источников 113 звука исходной звуковой сцены 111 могут быть скомбинированы для предоставления комбинированного исходного звукового сигнала. Этот исходный звуковой сигнал может быть модифицирован с убывающим усилением. Кроме того, исходный звуковой сигнал может быть обновлен с конкретной частотой дискретизации (например, 20 мс) в течение интервала времени перехода. Аналогичным образом, целевой звуковой сигнал 900 может соответствовать комбинации звуковых сигналов множества целевых источников 113 звука (а именно, всех целевых источников 113 звука). Комбинированный целевой источник звука затем может быть модифицирован в течение интервала времени перехода с использованием нарастающего усиления. Благодаря комбинированию звукового сигнала исходной звуковой сцены 111 и целевой звуковой сцены 112, соответственно, можно дополнительно уменьшить сложность вычислений.

Кроме того, описано устройство 160 представления звука в виртуальной реальности для представления звука в среде 180 представления виртуальной реальности. Как изложено в настоящем документе, устройство 160 представления звука в VR может содержать блок 161 предварительной обработки и устройство 162 представления 3D-звука. Устройство 160 представления звука в виртуальной реальности приспособлено представлять исходный звуковой сигнал исходного источника 113 звука исходной звуковой сцены 111 из исходного положения источника на сфере 114 вокруг положения 201 прослушивания слушателя 181. Кроме того, устройство 160 представления звука в VR приспособлено определять, что слушатель 181 передвигается из положения 201 прослушивания в пределах исходной звуковой сцены 111 в положение 202 прослушивания в пределах другой целевой звуковой сцены 112. Дополнительно устройство 160 представления звука в VR приспособлено применять убывающее усиление к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала и представлять модифицированный исходный звуковой сигнал исходного источника 113 звука из исходного положения источника на сфере 114 вокруг положения 201, 202 прослушивания.

Кроме того, описан кодировщик 130, который приспособлен генерировать битовый поток 140, указывающий звуковой сигнал, подлежащий представлению в среде 180 представления виртуальной реальности. Кодировщик 130 может быть приспособлен определять исходный звуковой сигнал исходного источника 113 звука исходной звуковой сцены 111. Кроме того, кодировщик 130 может быть приспособлен определять данные об исходном положении, относящиеся к исходному положению источника исходного источника 113 звука. Кодировщик 130 затем может генерировать битовый поток 140, содержащий исходный звуковой сигнал и данные об исходном положении.

Кодировщик 130 может быть приспособлен принимать указание о том, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112 в пределах среды 180 представления виртуальной реальности (например, посредством канала обратной связи от устройства 160 представления звука в VR к кодировщику 130).

Кодировщик 130 может затем определять целевой звуковой сигнал целевого источника 113 звука целевой звуковой сцены 112 и данные о целевом положении, относящиеся к целевому положению источника целевого источника 113 звука (а именно, только в ответ на прием такого указания). Кроме того, кодировщик 130 может генерировать битовый поток 140, содержащий целевой звуковой сигнал и данные о целевом положении. Таким образом, кодировщик 130 может быть приспособлен предоставлять целевые звуковые сигналы одного или более целевых источников 113 звука целевой звуковой сцены 112 выборочно только в случае приема указания для глобального перехода 191 в целевую звуковую сцену 112. Благодаря этому можно уменьшить требуемую полосу пропускания для битового потока 140.

На фиг. 9b показана блок-схема соответствующего способа 930 генерирования битового потока 140, указывающего звуковой сигнал, подлежащий представлению в пределах среды 180 представления виртуальной реальности. Способ 930 включает определение 931 исходного звукового сигнала исходного источника 113 звука исходной звуковой сцены 111. Кроме того, способ 930 включает определение 932 данных об исходном положении, относящихся к исходному положению источника исходного источника 113 звука. Дополнительно способ 930 включает генерирование 933 битового потока 140, содержащего исходный звуковой сигнал и данные об исходном положении.

Способ 930 включает прием 934 указания о том, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112 в пределах среды 180 представления виртуальной реальности. В ответ на это способ 930 может включать определение 935 целевого звукового сигнала целевого источника 113 звука целевой звуковой сцены 112 и определение 936 данных о целевом положении, относящихся к целевому положению источника целевого источника 113 звука. Кроме того, способ 930 включает генерирование 937 битового потока 140, содержащего целевой звуковой сигнал и данные о целевом положении.

На фиг. 9c показана блок-схема иллюстративного способа 910 представления звукового сигнала в среде 180 представления виртуальной реальности. Способ 910 может быть выполнен устройством 160 представления звука в VR.

Способ 910 включает представление 911 исходного звукового сигнала источника 311, 312, 313 звука из исходного положения источника на исходной сфере 114 вокруг исходного положения 301 прослушивания слушателя 181. Представление 911 может быть выполнено с помощью устройства 162 представления 3D-звука. В частности, представление 911 может быть выполнено с предположением, что исходное положение 301 прослушивания является фиксированным. Следовательно, представление 911 может быть ограничено тремя степенями свободы (а именно, вращательным движением головы слушателя 181).

С целью учета дополнительных трех степеней свободы (например, для поступательного движения слушателя 181) способ 910 может включать определение 912 того, что слушатель 181 передвигается из исходного положения 301 прослушивания в целевое положение 302 прослушивания, при этом целевое положение 302 прослушивания, как правило, лежит в пределах той же звуковой сцены 111. Таким образом, можно определить 912, что слушатель 181 выполняет локальный переход 192 в пределах одной звуковой сцены 111.

В ответ на определение того, что слушатель 181 выполняет локальный переход 192, способ 910 может включать определение 913 целевого положения источника для источника 311, 312, 313 звука на целевой сфере 114 вокруг целевого положения 302 прослушивания на основании исходного положения источника. Другими словами, положение источника для источника 311, 312, 313 звука может быть перенесено с исходной сферы 114 вокруг исходного положения 301 прослушивания на целевую сферу 114 вокруг целевого положения 302 прослушивания. Этого можно добиться посредством проецирования исходного положения источника с исходной сферы 114 на целевую сферу 114. Например, может быть выполнена перспективная проекция исходного положения источника на исходной сфере на целевую сферу относительно целевого положения 302 прослушивания. В частности, целевое положение источника может быть определено так, что целевое положение источника соответствует точке пересечения луча, проведенного между целевым положением 302 прослушивания и исходным положением источника, с целевой сферой 114. В указанном выше случае исходная сфера 114 и целевая сфера могут иметь одинаковый радиус. Этот радиус может быть предопределенным радиусом, например. Предопределенный радиус может быть значением по умолчанию в устройстве представления, которое выполняет представление.

Кроме того, способ 910 может включать (в ответ на определение того, что слушатель 181 выполняет локальный переход 192) определение 914 целевого звукового сигнала источника 311, 312, 313 звука на основании исходного звукового сигнала. В частности, интенсивность целевого звукового сигнала может быть определена на основании интенсивности исходного звукового сигнала. Альтернативно или дополнительно спектральный состав целевого звукового сигнала может быть определен на основании спектрального состава исходного звукового сигнала. Таким образом, можно определить, как звуковой сигнал источника 311, 312, 313 звука воспринимают из целевого положения 302 прослушивания (а именно, можно определить интенсивность и/или спектральный состав звукового сигнала).

Вышеупомянутые определяющие этапы 913, 914 могут быть выполнены блоком 161 предварительной обработки устройства 160 представления звука в VR. Блок 161 предварительной обработки может обрабатывать поступательное движение слушателя 181 посредством переноса звуковых сигналов одного или более источников 311, 312, 313 звука с исходной сферы 114 вокруг исходного положения 301 прослушивания на целевую сферу 114 вокруг целевого положения 302 прослушивания. В результате этого перенесенные звуковые сигналы одного или более источников 311, 312, 313 звука также могут быть представлены с использованием устройства 162 представления 3D-звука (которое может быть ограничено тремя степенями свободы). Таким образом, способ 910 обеспечивает возможность эффективного предоставления 6 степеней свободы в пределах среды 180 представления звука в VR.

Следовательно, способ 910 может включать представление 915 целевого звукового сигнала источника 311, 312, 313 звука из целевого положения источника на целевой сфере 114 вокруг целевого положения 302 прослушивания (например, с использованием устройства представления 3D-звука, такого как устройство представления звука MPEG-H).

Определение 914 целевого звукового сигнала может включать определение целевого расстояния 322 между исходным положением источника и целевым положением 302 прослушивания. Целевой звуковой сигнал (особенно интенсивность целевого звукового сигнала) тогда может быть определен (в частности, масштабирован) на основании целевого расстояния 322. В частности, определение 914 целевого звукового сигнала может включать применение усиления 410 на расстоянии к исходному звуковому сигналу, при этом усиление 410 на расстоянии зависит от целевого расстояния 322.

Может быть предоставлена функция 415 расстояния, которая описывает усиление 410 на расстоянии как функцию расстояния 321, 322 между положением источника звукового сигнала 311, 312, 313 и положением 301, 302 прослушивания слушателя 181. Усиление 410 на расстоянии, которое применяют к исходному звуковому сигналу (для определения целевого звукового сигнала), может быть определено на основании функционального значения функции 415 расстояния для целевого расстояния 322. Благодаря этому целевой звуковой сигнал можно определить эффективно и точно.

Кроме того, определение 914 целевого звукового сигнала может включать определение исходного расстояния 321 между исходным положением источника и исходным положением 301 прослушивания. Целевой звуковой сигнал тогда может быть определен (также) на основании исходного расстояния 321. В частности, усиление 410 на расстоянии, которое применяют к исходному звуковому сигналу, может быть определено на основании функционального значения функции 415 расстояния для исходного расстояния 321. В предпочтительном примере функциональное значение функции 415 расстояния для исходного расстояния 321 и функциональное значение функции 415 расстояния для целевого расстояния 322 используют для корректировки интенсивности исходного звукового сигнала для определения целевого звукового сигнала. Таким образом, может быть обеспечен эффективный и точный локальный переход 191 в пределах звуковой сцены 111.

Определение 914 целевого звукового сигнала может включать определение диаграммы 332 направленности источника 311, 312, 313 звука. Диаграмма 332 направленности может описывать интенсивность исходного звукового сигнала в разных направлениях. Целевой звуковой сигнал тогда может быть определен (также) на основании диаграммы 332 направленности. Учитывая диаграмму 332 направленности, можно повысить акустическое качество локального перехода 192.

Диаграмма 332 направленности может характеризовать усиление 510 направленности, подлежащее применению к исходному звуковому сигналу для определения целевого звукового сигнала. В частности, диаграмма 332 направленности может описывать функцию 515 усиления направленности, при этом функция 515 усиления направленности может определять усиление 510 направленности как функцию (возможно двумерного) угла 520 направленности между положением источника для источника 311, 312, 313 звука и положением 301, 302 прослушивания слушателя 181.

Таким образом, определение 914 целевого звукового сигнала может включать определение целевого угла 522 между целевым положением источника и целевым положением 302 прослушивания. Целевой звуковой сигнал тогда может быть определен на основании целевого угла 522. В частности, целевой звуковой сигнал может быть определен на основании функционального значения функции 515 усиления направленности для целевого угла 522.

Альтернативно или дополнительно определение 914 целевого звукового сигнала может включать определение исходного угла 521 между исходным положением источника и исходным положением 301 прослушивания. Целевой звуковой сигнал тогда может быть определен на основании исходного угла 521. В частности, целевой звуковой сигнал может быть определен на основании функционального значения функции 515 усиления направленности для исходного угла 521. В предпочтительном примере целевой звуковой сигнал может быть определен посредством модификации интенсивности исходного звукового сигнала с использованием функционального значения функции 515 усиления направленности для исходного угла 521 и для целевого угла 522, чтобы определять интенсивность целевого звукового сигнала.

Кроме того, способ 910 может включать определение данных 193 о целевой среде, которые характеризуют свойство распространения звука среды между целевым положением источника и целевым положением 302 прослушивания. Данные 193 о целевой среде могут характеризовать препятствие 603, которое расположено на прямом пути между целевым положением источника и целевым положением 302 прослушивания; описывать информацию, относящуюся к объемным размерам препятствия 603; и/или характеризовать затухание, испытываемое звуковым сигналом на прямом пути между целевым положением источника и целевым положением 302 прослушивания. В частности, данные 193 о целевой среде могут характеризовать функцию затухания препятствия для препятствия 603, при этом функция затухания может определять затухание, испытываемое звуковым сигналом, проходящим через препятствие 603 на прямом пути между целевым положением источника и целевым положением 302 прослушивания.

Целевой звуковой сигнал тогда может быть определен на основании данных 193 о целевой среде, таким образом дополнительно повышая качество звука, представляемого в пределах среды 180 представления звука в VR.

Как указано выше, данные 193 о целевой среде могут характеризовать препятствие 603 на прямом пути между целевым положением источника и целевым положением 302 прослушивания. Способ 910 может включать определение сквозного расстояния 601 между целевым положением источника и целевым положением 302 прослушивания на прямом пути. Целевой звуковой сигнал тогда может быть определен на основании сквозного расстояния 601. Альтернативно или дополнительно можно определить свободное от препятствий расстояние 602 между целевым положением источника и целевым положением 302 прослушивания на непрямом пути, который не пересекает препятствие 603. Целевой звуковой сигнал тогда может быть определен на основании свободного от препятствий расстояния 602.

В частности, непрямой компонент целевого звукового сигнала может быть определен на основании исходного звукового сигнала, распространяющегося по непрямому пути. Кроме того, прямой компонент целевого звукового сигнала может быть определен на основании исходного звукового сигнала, распространяющегося по прямому пути. Целевой звуковой сигнал тогда может быть определен посредством комбинирования непрямого компонента и прямого компонента. Благодаря этому точно и эффективно можно учесть акустические эффекты препятствия 603.

Кроме того, способ 910 может включать определение фокусной информации, относящейся к полю зрения 701 и/или центру 702 внимания слушателя 181. Целевой звуковой сигнал тогда может быть определен на основании фокусной информации. В частности, спектральный состав звукового сигнала может быть адаптирован в зависимости от фокусной информации. Благодаря этому можно дополнительно улучшить восприятие VR слушателя 181.

Дополнительно способ 910 может включать определение того, что источник 311, 312, 313 звука является источником звука окружающей среды. В этом контексте указание (например, флаг) может быть принято в битовом потоке 140 с кодировщика 130, при этом указание указывает, что источник 311, 312, 313 звука является источником звука окружающей среды. Источник звука окружающей среды, как правило, обеспечивает фоновый звуковой сигнал. Исходное положение источника для источника звука окружающей среды может быть сохранено в качестве целевого положения источника. Альтернативно или дополнительно интенсивность исходного звукового сигнала источника звука окружающей среды может быть сохранена в качестве интенсивности целевого звукового сигнала. Благодаря этому источники звука окружающей среды в контексте локального перехода 192 могут быть обработаны эффективно и согласованно.

Вышеупомянутые аспекты применимы к звуковым сценам 111, содержащим множество источников 311, 312, 313 звука. В частности, способ 910 может включать представление множества исходных звуковых сигналов соответствующего множества источников 311, 312, 313 звука из множества разных исходных положений источника на исходной сфере 114. Дополнительно способ 910 может включать определение множества целевых положений источника для соответствующего множества источников 311, 312, 313 звука на целевой сфере 114 на основании множества исходных положений источника соответственно. Дополнительно способ 910 может включать определение множества целевых звуковых сигналов соответствующего множества источников 311, 312, 313 звука на основании множества исходных звуковых сигналов соответственно. Множество целевых звуковых сигналов соответствующего множества источников 311, 312, 313 звука тогда могут быть представлены из соответствующего множества целевых положений источника на целевой сфере 114 вокруг целевого положения 302 прослушивания.

Кроме того, описано устройство 160 представления звука в виртуальной реальности для представления звукового сигнала в среде 180 представления виртуальной реальности. Устройство 160 представления звука приспособлено представлять исходный звуковой сигнал источника 311, 312, 313 звука из исходного положения источника на исходной сфере 114 вокруг исходного положения 301 прослушивания слушателя 181 (а именно, с использованием устройства 162 представления 3D-звука устройства 160 представления звука в VR).

Кроме того, устройство 160 представления звука в VR приспособлено определять, что слушатель 181 передвигается из исходного положения 301 прослушивания в целевое положение 302 прослушивания. В ответ на это устройство 160 представления звука в VR может быть приспособлено (например, в блоке 161 предварительной обработки устройства 160 представления звука в VR) определять целевое положение источника для источника 311, 312, 313 звука на целевой сфере 114 вокруг целевого положения 302 прослушивания на основании исходного положения источника и определять целевой звуковой сигнал источника 311, 312, 313 звука на основании исходного звукового сигнала.

Дополнительно устройство 160 представления звука в VR (например, устройство 162 представления 3D-звука) может быть приспособлено представлять целевой звуковой сигнал источника 311, 312, 313 звука из целевого положения источника на целевой сфере 114 вокруг целевого положения 302 прослушивания.

Таким образом, устройство 160 представления звука в виртуальной реальности может содержать блок 161 предварительной обработки, который приспособлен определять целевое положение источника и целевой звуковой сигнал источника 311, 312, 313 звука. Кроме того, устройство 160 представления звука в VR может содержать устройство 162 представления 3D-звука, которое приспособлено представлять целевой звуковой сигнал источника 311, 312, 313 звука. Устройство 162 представления 3D-звука может быть приспособлено адаптировать представление звукового сигнала источника 311, 312, 313 звука на (единичной) сфере 114 вокруг положения 301, 302 прослушивания слушателя 181 в случае вращательного движения головы слушателя 181 (для обеспечения 3 степеней свободы в пределах среды 180 представления). С другой стороны, устройство 162 представления 3D-звука может не быть приспособлено адаптировать представление звукового сигнала источника 311, 312, 313 звука в случае поступательного движения головы слушателя 181. Таким образом, устройство 162 представления 3D-звука может быть ограничено 3 степенями свободы. Степени свободы, связанные с поступательным движением, тогда могут быть эффективно предоставлены с использованием блока 161 предварительной обработки, тем самым обеспечивая в целом устройство 160 представления звука в VR, имеющее 6 степеней свободы.

Кроме того, описан кодировщик 130 звука, приспособленный генерировать битовый поток 140. Битовый поток 140 генерируют так, что битовый поток 140 указывает звуковой сигнал по меньшей мере одного источника 311, 312, 313 звука и указывает положение по меньшей мере одного источника 311, 312, 313 звука в пределах среды 180 представления. Дополнительно битовый поток 140 может указывать данные 193 о среде относительно свойства распространения звука для звука в пределах среды 180 представления. Благодаря передаче сигналов с данными 193 о среде, относящимися к свойствам распространения звука, локальные переходы 192 в пределах среды 180 представления могут быть реализованы точно.

Дополнительно описан битовый поток 140, который указывает звуковой сигнал по меньшей мере одного источника 311, 312, 313 звука; положение по меньшей мере одного источника 311, 312, 313 звука в пределах среды 180 представления; и данные 193 о среде, характеризующие свойство распространения звука для звука в пределах среды 180 представления. Альтернативно или дополнительно битовый поток 140 может указывать, является или нет источник 311, 312, 313 звука источником 801 звука окружающей среды.

На фиг. 9d представлена блок-схема иллюстративного способа 920 генерирования битового потока 140. Способ 920 включает определение 921 звукового сигнала по меньшей мере одного источника 311, 312, 313 звука. Кроме того, способ 920 включает определение 922 данных о положении, относящихся к положению по меньшей мере одного источника 311, 312, 313 звука в пределах среды 180 представления. Дополнительно способ 920 может включать определение 923 данных 193 о среде, характеризующих свойство распространения звука для звука в пределах среды 180 представления. Способ 920 дополнительно включает вставку 934 звукового сигнала, данных о положении и данных 193 о среде в битовый поток 140. Альтернативно или дополнительно в битовый поток 140 может быть вставлено указание о том, является или нет источник 311, 312, 313 звука источником 801 звука окружающей среды.

Таким образом, в настоящем документе описано устройство 160 представления звука в виртуальной реальности (и соответствующий способ) для представления звукового сигнала в среде 180 представления виртуальной реальности. Устройство 160 представления звука содержит устройство 162 представления 3D-звука, которое приспособлено представлять звуковой сигнал источника 113, 311, 312, 313 звука из исходного положения на сфере 114 вокруг положения 301, 302 прослушивания слушателя 181 в пределах среды 180 представления виртуальной реальности. Кроме того, устройство 160 представления звука в виртуальной реальности содержит блок 161 предварительной обработки, который приспособлен определять новое положение 301, 302 прослушивания слушателя 181 в пределах среды 180 представления виртуальной реальности (в пределах той же или другой звуковой сцены 111, 112). Кроме того, блок 161 предварительной обработки приспособлен обновлять звуковой сигнал и положение источника для источника 113, 311, 312, 313 звука относительно сферы 114 вокруг нового положения 301, 302 прослушивания. Устройство 162 представления 3D-звука приспособлено представлять обновленный звуковой сигнал источника 311, 312, 313 звука из обновленного положения источника на сфере 114 вокруг нового положения 301, 302 прослушивания.

Способы и системы, описанные в настоящем документе, могут быть реализованы как программное обеспечение, аппаратно-программное обеспечение и/или аппаратное обеспечение. Некоторые компоненты могут реализовываться, например, как программное обеспечение, запускаемое на процессоре цифровой обработки сигналов или на микропроцессоре. Другие компоненты могут реализовываться, например, как аппаратное обеспечение или как интегральные схемы специального назначения. Сигналы, которые встречаются в описанных способах и системах, могут храниться в памяти таких носителей данных, как память с произвольным доступом или оптические носители данных. Они могут передаваться по сетям, таким как радиосети, спутниковые сети, беспроводные сети или проводные сети, например, Интернет. Типичными устройствами, использующими способы и системы, описанные в настоящем документе, являются переносные электронные устройства или другая бытовая аппаратура, которая используется для хранения и/или представления звуковых сигналов.

Нумерованные примеры (НП) настоящего документа являются следующими:

НП 1) Способ (910) представления звукового сигнала в среде (180) представления виртуальной реальности, при этом способ (910) включает:

- представление (911) исходного звукового сигнала источника (311, 312, 313) звука из исходного положения источника на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);

- определение (912) того, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;

- определение (913) целевого положения источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания на основании исходного положения источника;

- определение (914) целевого звукового сигнала источника (311, 312, 313) звука на основании исходного звукового сигнала; и

- представление (915) целевого звукового сигнала источника (311, 312, 313) звука из целевого положения источника на целевой сфере (114) вокруг целевого положения (302) прослушивания.

НП 2) Способ (910) по НП 1, в котором способ (910) включает проецирование исходного положения источника с исходной сферы (114) на целевую сферу (114) для определения целевого положения источника.

НП 3) Способ (910) по любому предыдущему НП, в котором целевое положение источника определяют так, что целевое положение источника соответствует точке пересечения луча, проведенного между целевым положением (302) прослушивания и исходным положением источника, с целевой сферой (114).

НП 4) Способ (910) по любому предыдущему НП, в котором определение (914) целевого звукового сигнала включает:

- определение целевого расстояния (322) между исходным положением источника и целевым положением (302) прослушивания; и

- определение (914) целевого звукового сигнала на основании целевого расстояния (322).

НП 5) Способ (910) по НП 4, в котором

- определение (914) целевого звукового сигнала включает применение усиления (410) на расстоянии к исходному звуковому сигналу; и

- усиление (410) на расстоянии зависит от целевого расстояния (322).

НП 6) Способ (910) по НП 5, в котором определение (914) целевого звукового сигнала включает:

- предоставление функции (415) расстояния, которая описывает усиление (410) на расстоянии как функцию расстояния (321, 322) между положением источника звукового сигнала (311, 312, 313) и положением (301, 302) прослушивания слушателя (181); и

- определение усиления (410) на расстоянии, которое применяют к исходному звуковому сигналу, на основании функционального значения функции (415) расстояния для целевого расстояния (322).

НП 7) Способ (910) по любому из НП 4–6, в котором определение (914) целевого звукового сигнала включает:

- определение исходного расстояния (321) между исходным положением источника и исходным положением (301) прослушивания; и

- определение (914) целевого звукового сигнала на основании исходного расстояния (321).

НП 8) Способ (910) по НП 7, который ссылается назад на НП 6 и в котором усиление (410) на расстоянии, которое применяют к исходному звуковому сигналу, определяют на основании функционального значения функции (415) расстояния для исходного расстояния (321).

НП 9) Способ (910) по любому предыдущему НП, в котором определение (914) целевого звукового сигнала включает определение интенсивности целевого звукового сигнала на основании интенсивности исходного звукового сигала.

НП 10) Способ (910) по любому предыдущему НП, в котором определение (914) целевого звукового сигнала включает:

- определение диаграммы (332) направленности источника (311, 312, 313) звука; причем диаграмма (332) направленности характеризует интенсивность исходного звукового сигнала в разных направлениях; и

- определение (914) целевого звукового сигнала на основании диаграммы (332) направленности.

НП 11) Способ (910) по НП 10, в котором диаграмма (332) направленности характеризует усиление (510) направленности, подлежащее применению к исходному звуковому сигналу для определения целевого звукового сигнала.

НП 12) Способ (910) по любому из НП 10–11, в котором

- диаграмма (332) направленности характеризует функцию (515) усиления направленности; и

- функция (515) усиления направленности определяет усиление (510) направленности как функцию угла (520) направленности между положением источника для источника (311, 312, 313) звука и положением (301, 302) прослушивания слушателя (181).

НП 13) Способ (910) по любому из НП 10–12, в котором определение (914) целевого звукового сигнала включает:

- определение целевого угла (522) между целевым положением источника и целевым положением (302) прослушивания; и

- определение (914) целевого звукового сигнала на основании целевого угла (522).

НП 14) Способ (910) по НП 13, который ссылается назад на НП 12 и в котором целевой звуковой сигнал определяют на основании функционального значения функции (515) усиления направленности для целевого угла (522).

НП 15) Способ (910) по любому из НП 10–14, в котором определение (914) целевого звукового сигнала включает:

- определение исходного угла (521) между исходным положением источника и исходным положением (301) прослушивания; и

- определение (914) целевого звукового сигнала на основании исходного угла (521).

НП 16) Способ (910) по НП 15, который ссылается назад на НП 12 и в котором целевой звуковой сигнал определяют на основании функционального значения функции (515) усиления направленности для исходного угла (521).

НП 17) Способ (910) по НП 16, в котором определение (914) целевого звукового сигнала включает модификацию интенсивности исходного звукового сигнала с использованием функционального значения функции (515) усиления направленности для исходного угла (521) и для целевого угла (522), чтобы определять интенсивность целевого звукового сигнала.

НП 18) Способ (910) по любому предыдущему НП, в котором определение (914) целевого звукового сигнала включает:

- определение данных (193) о целевой среде, характеризующих свойство распространения звука среды между целевым положением источника и целевым положением (302) прослушивания; и

- определение целевого звукового сигнала на основании данных (193) о целевой среде.

НП 19) Способ (910) по НП 18, в котором данные (193) о целевой среде характеризуют:

- препятствие (603), которое расположено на прямом пути между целевым положением источника и целевым положением (302) прослушивания; и/или

- информацию, относящуюся к объемным размерам препятствия (603); и/или

- затухание, испытываемое звуковым сигналом на прямом пути между целевым положением источника и целевым положением (302) прослушивания.

НП 20) Способ (910) по любому из НП 18–19, в котором

- данные (193) о целевой среде характеризуют функцию затухания препятствия; и

- функция затухания определяет затухание, испытываемое звуковым сигналом, проходящим через препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания.

НП 21) Способ (910) по любому из НП 18–20, в котором

- данные (193) о целевой среде характеризуют препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания;

- определение (914) целевого звукового сигнала включает определение сквозного расстояния (601) между целевым положением источника и целевым положением (302) прослушивания на прямом пути; и

- целевой звуковой сигнал определяют на основании сквозного расстояния (601).

НП 22) Способ (910) по любому из НП 18–21, в котором

- данные (193) о целевой среде характеризуют препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания;

- определение (914) целевого звукового сигнала включает определение свободного от препятствий расстояния (602) между целевым положением источника и целевым положением (302) прослушивания на непрямом пути, который не пересекает препятствие (603); и

- целевой звуковой сигнал определяют на основании свободного от препятствий расстояния (602).

НП 23) Способ (910) по НП 22, который ссылается назад на НП 21 и в котором определение (914) целевого звукового сигнала включает:

- определение непрямого компонента целевого звукового сигнала на основании исходного звукового сигнала, распространяющегося по непрямому пути;

- определение прямого компонента целевого звукового сигнала на основании исходного звукового сигнала, распространяющегося по прямому пути; и

- комбинирование непрямого компонента и прямого компонента для определения целевого звукового сигнала.

НП 24) Способ (910) по любому предыдущему НП, в котором определение (914) целевого звукового сигнала включает:

- определение фокусной информации, относящейся к полю зрения (701) и/или центру (702) внимания слушателя (181); и

- определение целевого звукового сигнала на основании фокусной информации.

НП 25) Способ (910) по любому предыдущему НП, который дополнительно включает:

- определение того, что источник (311, 312, 313) звука является источником звука окружающей среды;

- сохранение исходного положения источника для источника (311, 312, 313) звука окружающей среды в качестве целевого положения источника;

- сохранение интенсивности исходного звукового сигнала источника (311, 312, 313) звука окружающей среды в качестве интенсивности целевого звукового сигнала.

НП 26) Способ (910) по любому предыдущему НП, в котором определение (914) целевого звукового сигнала включает определение спектрального состава целевого звукового сигнала на основании спектрального состава исходного звукового сигнала.

НП 27) Способ (910) по любому предыдущему НП, в котором исходный звуковой сигнал и целевой звуковой сигнал представляют с использованием устройства (162) представления 3D-звука, особенно устройства представления звука MPEG-H.

НП 28) Способ (910) по любому предыдущему НП, в котором способ (910) включает:

- представление множества исходных звуковых сигналов соответствующего множества источников (311, 312, 313) звука из множества разных исходных положений источника на исходной сфере (114);

- определение множества целевых положений источника для соответствующего множества источников (311, 312, 313) звука на целевой сфере (114) на основании множества исходных положений источника соответственно;

- определение множества целевых звуковых сигналов соответствующего множества источников (311, 312, 313) звука на основании множества исходных звуковых сигналов соответственно; и

- представление множества целевых звуковых сигналов соответствующего множества источников (311, 312, 313) звука из соответствующего множества целевых положений источника на целевой сфере (114) вокруг целевого положения (302) прослушивания.

НП 29) Устройство (160) представления звука в виртуальной реальности для представления звукового сигнала в среде (180) представления виртуальной реальности, характеризуемое тем, что устройство (160) представления звука приспособлено

- представлять исходный звуковой сигнал источника (311, 312, 313) звука из исходного положения источника на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);

- определять, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;

- определять целевое положение источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания на основании исходного положения источника;

- определять целевой звуковой сигнал источника (311, 312, 313) звука на основании исходного звукового сигнала; и

- представлять целевой звуковой сигнал источника (311, 312, 313) звука из целевого положения источника на целевой сфере (114) вокруг целевого положения (302) прослушивания.

НП 30) Устройство (160) представления звука в виртуальной реальности по НП 29, характеризуемое тем, что устройство (160) представления звука в виртуальной реальности содержит:

- блок (161) предварительной обработки, который приспособлен определять целевое положение источника и целевой звуковой сигнал источника (311, 312, 313) звука; и

- устройство (162) представления 3D-звука, которое приспособлено представлять целевой звуковой сигнал источника (311, 312, 313) звука.

НП 31) Устройство (160) представления звука в виртуальной реальности по НП 30, в котором устройство (162) представления 3D-звука

- приспособлено адаптировать представление звукового сигнала источника (311, 312, 313) звука на сфере (114) вокруг положения (301, 302) прослушивания слушателя (181) в случае вращательного движения головы слушателя (181); и/или

- не приспособлено адаптировать представление звукового сигнала источника (311, 312, 313) звука в случае поступательного движения головы слушателя (181).

НП 32) Кодировщик (130) звука, приспособленный генерировать битовый поток (140), который указывает:

- звуковой сигнал по меньшей мере одного источника (311, 312, 313) звука;

- положение по меньшей мере одного источника (311, 312, 313) звука в пределах среды (180) представления; и

- данные (193) о среде, характеризующие свойство распространения звука для звука в пределах среды (180) представления.

НП 33) Битовый поток (140), который указывает:

- звуковой сигнал по меньшей мере одного источника (311, 312, 313) звука;

- положение по меньшей мере одного источника (311, 312, 313) звука в пределах среды (180) представления; и

- данные (193) о среде, характеризующие свойство распространения звука для звука в пределах среды (180) представления.

НП 34) Способ (920) генерирования битового потока (140), при этом способ (920) включает:

- определение (921) звукового сигнала по меньшей мере одного источника (311, 312, 313) звука;

- определение (922) данных о положении, относящихся к положению по меньшей мере одного источника (311, 312, 313) звука в пределах среды (180) представления;

- определение (923) данных (193) о среде, характеризующих свойство распространения звука для звука в пределах среды (180) представления; и

- вставку (934) звукового сигнала, данных о положении и данных (193) о среде в битовый поток (140).

НП 35) Устройство (160) представления звука в виртуальной реальности для представления звукового сигнала в среде (180) представления виртуальной реальности, характеризуемое тем, что устройство (160) представления звука содержит:

- устройство (162) представления 3D-звука, которое приспособлено представлять звуковой сигнал источника (311, 312, 313) звука из положения источника на сфере (114) вокруг положения (301, 302) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности;

- блок (161) предварительной обработки, который приспособлен

определять новое положение (301, 302) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности; и

обновлять звуковой сигнал и положение источника для источника (113, 311, 312, 313) звука относительно сферы (114) вокруг нового положения (301, 302) прослушивания;

при этом устройство (162) представления 3D-звука приспособлено представлять обновленный звуковой сигнал источника (311, 312, 313) звука из обновленного положения источника на сфере (114) вокруг нового положения (301, 302) прослушивания.

Изобретение относится к средствам для обработки локальных переходов между положениями прослушивания в среде виртуальной реальности. Технический результат заключается в повышении эффективности обработки. Определяют исходный звуковой сигнал источника звука. Определяют данные об исходном положении источника звука на исходной сфере вокруг исходного положения прослушивания слушателя. Генерируют битовый поток, содержащий исходный звуковой сигнал и данные об исходном положении. Принимают указание о том, что слушатель передвигается из исходного положения прослушивания в целевое положение прослушивания. Определяют целевой звуковой сигнал источника звука на основании исходного звукового сигнала. Определяют данные о целевом положении, относящиеся к целевому положению источника для источника звука на целевой сфере вокруг целевого положения прослушивания, на основании исходного положения источника посредством проецирования исходного положения источника с исходной сферы на целевую сферу. Генерируют битовый поток, содержащий целевой звуковой сигнал и данные о целевом положении. Исходное положение источника проецируется с исходной сферы на целевую сферу посредством перспективной проекции относительно целевого положения прослушивания. 5 н. и 32 з.п. ф-лы, 16 ил.

1. Способ (910) представления звукового сигнала в среде (180) представления виртуальной реальности, при этом способ (910) включает

представление (911) исходного звукового сигнала источника (311, 312, 313) звука из исходного положения источника на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);

определение (912) того, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;

определение (913) целевого положения источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания на основании исходного положения источника посредством проецирования исходного положения источника с исходной сферы (114) на целевую сферу (114);

определение (914) целевого звукового сигнала источника (311, 312, 313) звука на основании исходного звукового сигнала; и

представление (915) целевого звукового сигнала источника (311, 312, 313) звука из целевого положения источника на целевой сфере (114) вокруг целевого положения (302) прослушивания,

при этом исходное положение источника проецируют с исходной сферы (114) на целевую сферу (114) посредством перспективной проекции относительно целевого положения (302) прослушивания; и

при этом исходная сфера (114) и целевая сфера (114) имеют одинаковый радиус.

2. Способ (910) по п.1, отличающийся тем, что целевое положение источника определяют так, что целевое положение источника соответствует точке пересечения луча, проведенного между целевым положением (302) прослушивания и исходным положением источника, с целевой сферой (114).

3. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение целевого расстояния (322) между исходным положением источника и целевым положением (302) прослушивания; и

определение (914) целевого звукового сигнала на основании целевого расстояния (322).

4. Способ (910) по п.3, отличающийся тем, что

определение (914) целевого звукового сигнала включает применение усиления (410) на расстоянии к исходному звуковому сигналу; и

при этом усиление (410) на расстоянии зависит от целевого расстояния (322).

5. Способ (910) по п.4, отличающийся тем, что определение (914) целевого звукового сигнала включает

предоставление функции (415) расстояния, которая описывает усиление (410) на расстоянии как функцию расстояния (321, 322) между положением источника звукового сигнала (311, 312, 313) и положением (301, 302) прослушивания слушателя (181); и

определение усиления (410) на расстоянии, которое применяют к исходному звуковому сигналу, на основании функционального значения функции (415) расстояния для целевого расстояния (322).

6. Способ (910) по любому из пп.3, 4, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение исходного расстояния (321) между исходным положением источника и исходным положением (301) прослушивания; и

определение (914) целевого звукового сигнала на основании исходного расстояния (321).

7. Способ (910) по п.5, отличающийся тем, что определение (914) целевого звукового сигнала включает:

определение исходного расстояния (321) между исходным положением источника и исходным положением (301) прослушивания; и

определение (914) целевого звукового сигнала на основании исходного расстояния (321).

8. Способ (910) по п.7, отличающийся тем, что усиление (410) на расстоянии, которое применяют к исходному звуковому сигналу, определяют на основании функционального значения функции (415) расстояния для исходного расстояния (321).

9. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает определение интенсивности целевого звукового сигнала на основании интенсивности исходного звукового сигнала.

10. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение диаграммы (332) направленности источника (311, 312, 313) звука; причем диаграмма (332) направленности характеризует интенсивность исходного звукового сигнала в разных направлениях; и

определение (914) целевого звукового сигнала на основании диаграммы (332) направленности.

11. Способ (910) по п.10, отличающийся тем, что диаграмма (332) направленности характеризует усиление (510) направленности, подлежащее применению к исходному звуковому сигналу для определения целевого звукового сигнала.

12. Способ (910) по любому из пп.10, 11, отличающийся тем, что

диаграмма (332) направленности характеризует функцию (515) усиления направленности; и

функция (515) усиления направленности определяет усиление (510) направленности как функцию угла (520) направленности между положением источника для источника (311, 312, 313) звука и положением (301, 302) прослушивания слушателя (181).

13. Способ (910) по любому из пп.10, 11, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение целевого угла (522) между целевым положением источника и целевым положением (302) прослушивания; и

определение (914) целевого звукового сигнала на основании целевого угла (522).

14. Способ (910) по п.12, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение целевого угла (522) между целевым положением источника и целевым положением (302) прослушивания; и

определение (914) целевого звукового сигнала на основании целевого угла (522).

15. Способ (910) по п.14, отличающийся тем, что целевой звуковой сигнал определяют на основании функционального значения функции (515) усиления направленности для целевого угла (522).

16. Способ (910) по любому из пп.10, 11, 14, 15, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение исходного угла (521) между исходным положением источника и исходным положением (301) прослушивания; и

определение (914) целевого звукового сигнала на основании исходного угла (521).

17. Способ (910) по п.12, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение исходного угла (521) между исходным положением источника и исходным положением (301) прослушивания; и

определение (914) целевого звукового сигнала на основании исходного угла (521).

18. Способ (910) по п.17, отличающийся тем, что целевой звуковой сигнал определяют на основании функционального значения функции (515) усиления направленности для исходного угла (521).

19. Способ (910) по п.18, отличающийся тем, что определение (914) целевого звукового сигнала включает модификацию интенсивности исходного звукового сигнала с использованием функционального значения функции (515) усиления направленности для исходного угла (521) и для целевого угла (522), чтобы определять интенсивность целевого звукового сигнала.

20. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение данных (193) о целевой среде, характеризующих свойство распространения звука среды между целевым положением источника и целевым положением (302) прослушивания; и

определение целевого звукового сигнала на основании данных (193) о целевой среде.

21. Способ (910) по п.20, отличающийся тем, что данные (193) о целевой среде характеризуют

препятствие (603), которое расположено на прямом пути между целевым положением источника и целевым положением (302) прослушивания; и/или

информацию, относящуюся к объемным размерам препятствия (603); и/или

затухание, испытываемое звуковым сигналом на прямом пути между целевым положением источника и целевым положением (302) прослушивания.

22. Способ (910) по любому из пп.20, 21, отличающийся тем, что

данные (193) о целевой среде характеризуют функцию затухания препятствия; и

функция затухания определяет затухание, испытываемое звуковым сигналом, проходящим через препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания.

23.Способ (910) по любому из пп.20–22, отличающийся тем, что

данные (193) о целевой среде характеризуют препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания;

определение (914) целевого звукового сигнала включает определение сквозного расстояния (601) между целевым положением источника и целевым положением (302) прослушивания на прямом пути; и

целевой звуковой сигнал определяют на основании сквозного расстояния (601).

24. Способ (910) по любому из пп.20–22, отличающийся тем, что

данные (193) о целевой среде характеризуют препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания;

определение (914) целевого звукового сигнала включает определение свободного от препятствий расстояния (602) между целевым положением источника и целевым положением (302) прослушивания на непрямом пути, который не пересекает препятствие (603); и

целевой звуковой сигнал определяют на основании свободного от препятствий расстояния (602).

25. Способ (910) по п.23, отличающийся тем, что

данные (193) о целевой среде характеризуют препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания;

определение (914) целевого звукового сигнала включает определение свободного от препятствий расстояния (602) между целевым положением источника и целевым положением (302) прослушивания на непрямом пути, который не пересекает препятствие (603); и

целевой звуковой сигнал определяют на основании свободного от препятствий расстояния (602).

26. Способ (910) по п.25, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение непрямого компонента целевого звукового сигнала на основании исходного звукового сигнала, распространяющегося по непрямому пути;

определение прямого компонента целевого звукового сигнала на основании исходного звукового сигнала, распространяющегося по прямому пути; и

комбинирование непрямого компонента и прямого компонента для определения целевого звукового сигнала.

27. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает

определение фокусной информации, относящейся к полю зрения (701) и/или центру (702) внимания слушателя (181); и

определение целевого звукового сигнала на основании фокусной информации.

28. Способ (910) по любому предыдущему пункту, отличающийся тем, что дополнительно включает

определение того, что источник (311, 312, 313) звука является источником звука окружающей среды;

сохранение исходного положения источника для источника (311, 312, 313) звука окружающей среды в качестве целевого положения источника;

сохранение интенсивности исходного звукового сигнала источника (311, 312, 313) звука окружающей среды в качестве интенсивности целевого звукового сигнала.

29. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает определение спектрального состава целевого звукового сигнала на основании спектрального состава исходного звукового сигнала.

30. Способ (910) по любому предыдущему пункту, отличающийся тем, что исходный звуковой сигнал и целевой звуковой сигнал представляют с использованием устройства (162) представления 3D-звука, представляющего собой устройство представления звука MPEG-H.

31. Способ (910) по любому предыдущему пункту, отличающийся тем, что способ (910) включает

представление множества исходных звуковых сигналов соответствующего множества источников (311, 312, 313) звука из множества разных исходных положений источника на исходной сфере (114);

определение множества целевых положений источника для соответствующего множества источников (311, 312, 313) звука на целевой сфере (114) на основании множества исходных положений источника соответственно;

определение множества целевых звуковых сигналов соответствующего множества источников (311, 312, 313) звука на основании множества исходных звуковых сигналов соответственно; и

представление множества целевых звуковых сигналов соответствующего множества источников (311, 312, 313) звука из соответствующего множества целевых положений источника на целевой сфере (114) вокруг целевого положения (302) прослушивания.

32. Устройство (160) представления звука в виртуальной реальности для представления звукового сигнала в среде (180) представления виртуальной реальности, при этом устройство (160) представления звука приспособлено

представлять исходный звуковой сигнал источника (311, 312, 313) звука из исходного положения источника на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);

определять, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;

определять целевое положение источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания на основании исходного положения источника посредством проецирования исходного положения источника с исходной сферы (114) на целевую сферу (114);

определять целевой звуковой сигнал источника (311, 312, 313) звука на основании исходного звукового сигнала; и

представлять целевой звуковой сигнал источника (311, 312, 313) звука из целевого положения источника на целевой сфере (114) вокруг целевого положения (302) прослушивания,

при этом исходное положение источника проецируется с исходной сферы (114) на целевую сферу (114) посредством перспективной проекции относительно целевого положения (302) прослушивания; и

при этом исходная сфера (114) и целевая сфера (114) имеют одинаковый радиус.

33. Устройство (160) представления звука в виртуальной реальности по п.32, отличающееся тем, что устройство (160) представления звука в виртуальной реальности содержит

блок (161) предварительной обработки, который приспособлен определять целевое положение источника и целевой звуковой сигнал источника (311, 312, 313) звука; и

устройство (162) представления 3D-звука, которое приспособлено представлять целевой звуковой сигнал источника (311, 312, 313) звука.

34. Устройство (160) представления звука в виртуальной реальности по п.33, отличающееся тем, что устройство (162) представления 3D-звука

приспособлено адаптировать представление звукового сигнала источника (311, 312, 313) звука на сфере (114) вокруг положения (301, 302) прослушивания слушателя (181) в случае вращательного движения головы слушателя (181); и/или

не приспособлено адаптировать представление звукового сигнала источника (311, 312, 313) звука в случае поступательного движения головы слушателя (181).

35. Кодировщик (130) звука, приспособленный генерировать битовый поток (140), который указывает звуковой сигнал, подлежащий представлению в среде (180) виртуальной реальности, отличающийся тем, что кодировщик (130) приспособлен

определять исходный звуковой сигнал источника (311, 312, 313) звука;

определять данные об исходном положении, относящиеся к исходному положению источника для источника звука на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);

генерировать битовый поток (140), содержащий исходный звуковой сигнал и данные об исходном положении;

принимать указание о том, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;

определять целевой звуковой сигнал источника (311, 312, 313) звука на основании исходного звукового сигнала;

определять данные о целевом положении, относящиеся к целевому положению источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания, на основании исходного положения источника посредством проецирования исходного положения источника с исходной сферы (114) на целевую сферу (114); и

генерировать битовый поток (140), содержащий целевой звуковой сигнал и данные о целевом положении,

при этом исходное положение источника проецируется с исходной сферы (114) на целевую сферу (114) посредством перспективной проекции относительно целевого положения (302) прослушивания; и

при этом исходная сфера (114) и целевая сфера (114) имеют одинаковый радиус.

36. Способ генерирования битового потока (140), который указывает звуковой сигнал, подлежащий представлению в среде (180) виртуальной реальности, включающий

определение исходного звукового сигнала источника (311, 312, 313) звука;

определение данных об исходном положении, относящихся к исходному положению источника для источника звука на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);

генерирование битового потока (140), содержащего исходный звуковой сигнал и данные об исходном положении;

прием указания о том, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;

определение целевого звукового сигнала источника (311, 312, 313) звука на основании исходного звукового сигнала;

определение данных о целевом положении, относящихся к целевому положению источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания, на основании исходного положения источника посредством проецирования исходного положения источника с исходной сферы (114) на целевую сферу (114); и

генерирование битового потока (140), содержащего целевой звуковой сигнал и данные о целевом положении,

при этом исходное положение источника проецируется с исходной сферы (114) на целевую сферу (114) посредством перспективной проекции относительно целевого положения (302) прослушивания; и

при этом исходная сфера (114) и целевая сфера (114) имеют одинаковый радиус.

37. Устройство (160) представления звука в виртуальной реальности для представления звукового сигнала в среде (180) представления виртуальной реальности, при этом устройство (160) представления звука содержит

устройство (162) представления 3D звука, которое приспособлено представлять звуковой сигнал источника (311, 312, 313) звука из положения источника на сфере (114) вокруг положения (301, 302) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности;

блок (161) предварительной обработки, который приспособлен

определять новое положение (301, 302) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности; и

обновлять звуковой сигнал и исходное положение источника (311, 312, 313) звука относительно сферы (114) вокруг нового положения (301, 302) прослушивания, причем исходное положение источника (311, 312, 313) звука относительно сферы (114) вокруг нового положения (301, 302) прослушивания определяется путем проецирования исходного положения на сфере (114) вокруг положения (301, 302) прослушивания на сферу (114) вокруг нового положения (301, 302) прослушивания;

при этом устройство (162) представления 3D звука приспособлено представлять обновленный звуковой сигнал источника (311, 312, 313) звука из обновленного положения источника на сфере (114) вокруг нового положения (301, 302) прослушивания; причем положение источника проецируется со сферы (114) вокруг положения (301, 302) прослушивания на сферу (114) вокруг нового положения (301, 302) прослушивания посредством перспективной проекции относительно нового положения (301, 302) прослушивания; и причем сфера (114) вокруг положения (301, 302) прослушивания и сфера (114) вокруг нового положения (301, 302) прослушивания имеют одинаковый радиус.