СПОСОБ И СИСТЕМА ДЛЯ ОБРАБОТКИ ГЛОБАЛЬНЫХ ПЕРЕХОДОВ МЕЖДУ ПОЛОЖЕНИЯМИ ПРОСЛУШИВАНИЯ В СРЕДЕ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ Российский патент 2022 года по МПК H04S7/00 G06T19/00 G06F3/01 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Данная заявка претендует на приоритет следующих приоритетных заявок: предварительная заявка США 62/599841 (номер: D17085USP1), поданная 18 декабря 2017 г., и европейская заявка 17208088.9 (номер: D17085EP), поданная 18 декабря 2017 г., которые включены в данную заявку посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

Настоящий документ относится к эффективной и непротиворечивой обработке переходов между слуховыми областями просмотра и/или положениями прослушивания в среде представления виртуальной реальности.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Приложения виртуальной реальности (virtual reality, VR), дополненной реальности (augmented reality, AR) и смешанной реальности (mixed reality, MR) быстро развиваются с включением все более усовершенствованных акустических моделей звуковых источников и сцен, которыми можно наслаждаться с разных точек просмотра / перспектив или положений прослушивания. Два разных класса гибких представлений звука могут, например, быть применены для приложений VR: представления звукового поля и представления на основе объектов. Представления звукового поля являются подходами на физической основе, которые кодируют фронт падающей волны в положении прослушивания. Например, такие подходы, как B-формат или звукозапись с эффектом присутствия высшего порядка (Higher-Order Ambisonics, HOA), представляют пространственный волновой фронт с использованием разложения на сферические гармонические функции. Подходы на основе объектов представляют сложную слуховую сцену как набор особых элементов, содержащих форму звуковой волны, или звуковой сигнал, и связанные параметры, или метаданные, возможно изменяющиеся во времени.

Наслаждение приложениями VR, AR и MR может включать ощущение пользователем разных слуховых точек просмотра или перспектив. Например, виртуальная реальность на основе комнаты может быть предоставлена на основе механизма, использующего 6 степеней свободы (degrees of freedom, DoF). На фиг. 1 проиллюстрирован пример взаимодействия с 6 степенями свободы, который демонстрирует поступательное движение (вперед/назад, вверх/вниз и влево/вправо) и вращательное движение (тангаж, рыскание и крен). В отличие от получения впечатлений от сферического видео с 3 степенями свободы, которое ограничено вращениями головы, содержимое, создаваемое для взаимодействия с 6 степенями свободы, в дополнение к вращениям головы также обеспечивает возможность перемещения внутри виртуальной среды (например, физического передвижения внутри комнаты). Это может быть выполнено на основе устройств отслеживания положения (например, на основе камер) и устройств отслеживания ориентации (например, гироскопов и/или акселерометров). Технология отслеживания с 6 степенями свободы может быть доступна на более совершенных настольных системах VR (например, PlayStation®VR, Oculus Rift, HTC Vive), а также на более совершенных мобильных платформах VR (например, Google Tango). Получение пользователем впечатления направленности и пространственной протяженности звука или источников звука является крайне важным для реализма получения впечатлений с 6 степенями свободы, в частности получения впечатления перемещения через сцену и вокруг виртуальных источников звука.

Доступные системы представления звука (такие как устройство представления 3D звука MPEG-H), как правило, ограничены представлением 3 степеней свободы (т. е. вращательного движения звуковой сцены, вызванного вращением головы слушателя). Поступательные изменения положения прослушивания слушателя и связанные степени свободы, как правило, не могут быть обработаны такими устройствами представления.

Настоящий документ относится к технической задаче предоставления ресурсоэффективных способов и систем для обработки поступательного движения в контексте представления звука.

СУТЬ ИЗОБРЕТЕНИЯ

Согласно одному аспекту описан способ представления звука в среде представления виртуальной реальности. Способ включает представление исходного звукового сигнала исходного источника звука исходной звуковой сцены из исходного положения источника на сфере вокруг положения прослушивания слушателя. Кроме того, способ включает определение того, что слушатель передвигается из положения прослушивания в пределах исходной звуковой сцены в положение прослушивания в пределах другой целевой звуковой сцены. Кроме того, способ включает применение убывающего усиления к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала. Способ дополнительно включает представление модифицированного исходного звукового сигнала источника звука из исходного положения источника на сфере вокруг положения прослушивания.

Согласно дополнительному аспекту описано устройство представления звука в виртуальной реальности для представления звука в среде представления виртуальной реальности. Устройство представления звука в виртуальной реальности приспособлено представлять исходный звуковой сигнал источника звука исходной звуковой сцены из исходного положения источника на сфере вокруг положения прослушивания слушателя. Кроме того, устройство представления звука в виртуальной реальности приспособлено определять, что слушатель передвигается из положения прослушивания в пределах исходной звуковой сцены в положение прослушивания в пределах другой целевой звуковой сцены. Кроме того, устройство представления звука в виртуальной реальности приспособлено применять убывающее усиление к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала и представлять модифицированный исходный звуковой сигнал источника звука из исходного положения источника на сфере вокруг положения прослушивания.

Согласно дополнительному аспекту описан способ генерирования битового потока, указывающего звуковой сигнал, подлежащий представлению в пределах среды представления виртуальной реальности. Способ включает: определение исходного звукового сигнала исходного источника звука исходной звуковой сцены; определение данных об исходном положении, относящихся к исходному положению источника для исходного источника звука; генерирование битового потока, содержащего исходный звуковой сигнал и данные об исходном положении; прием указания о том, что слушатель передвигается из исходной звуковой сцены в целевую звуковую сцену в пределах среды представления виртуальной реальности; определение целевого звукового сигнала целевого источника звука целевой звуковой сцены; определение данных о целевом положении, относящихся к целевому положению источника для целевого источника звука; и генерирование битового потока, содержащего целевой звуковой сигнал и данные о целевом положении.

Согласно другому аспекту кодировщик приспособлен генерировать битовый поток, указывающий звуковой сигнал, подлежащий представлению в пределах среды представления виртуальной реальности. Кодировщик приспособлен: определять исходный звуковой сигнал исходного источника звука исходной звуковой сцены; определять данные об исходном положении, относящиеся к исходному положению источника для исходного источника звука; генерировать битовый поток, содержащий исходный звуковой сигнал и данные об исходном положении; принимать указание о том, что слушатель передвигается из исходной звуковой сцены в целевую звуковую сцену в пределах среды представления виртуальной реальности; определять целевой звуковой сигнал целевого источника звука целевой звуковой сцены; определять данные о целевом положении, относящиеся к целевому положению источника для целевого источника звука; и генерировать битовый поток, содержащий целевой звуковой сигнал и данные о целевом положении.

Согласно дополнительному аспекту описано устройство представления звука в виртуальной реальности для представления звукового сигнала в среде представления виртуальной реальности. Устройство представления звука содержит устройство представления 3D звука, которое приспособлено представлять звуковой сигнал источника звука из положения источника на сфере вокруг положения прослушивания слушателя в пределах среды представления виртуальной реальности. Кроме того, устройство представления звука в виртуальной реальности содержит блок предварительной обработки, который приспособлен определять новое положение прослушивания слушателя в пределах среды представления виртуальной реальности. Кроме того, блок предварительной обработки приспособлен обновлять звуковой сигнал и положение источника для источника звука относительно сферы вокруг нового положения прослушивания. Устройство представления 3D звука приспособлено представлять обновленный звуковой сигнал источника звука из обновленного положения источника на сфере вокруг нового положения прослушивания.

Согласно еще одному аспекту описана программа, реализованная программно. Эта программа, реализованная программно, может быть адаптирована для исполнения на процессоре и для выполнения этапов способов, описываемых в настоящем документе, при осуществлении на процессоре.

Согласно другому аспекту описан носитель данных. Этот носитель данных может содержать программу, реализованную программно, адаптированную для исполнения на процессоре и для выполнения этапов способов, описываемых в настоящем документе, при осуществлении на процессоре.

Согласно еще одному аспекту описан компьютерный программный продукт. Компьютерный программный продукт может содержать исполняемые команды, предназначенные для выполнения этапов способов, описываемых в настоящем документе, при осуществлении на компьютере.

Следует отметить, что способы и системы, в том числе предпочтительные варианты их осуществления, описываемые в настоящей патентной заявке, можно использовать автономно или в сочетании с другими способами и системами, раскрываемыми в настоящем документе. Кроме того, все аспекты способов и систем, описываемых в настоящей патентной заявке, могут произвольно комбинироваться. В частности, произвольным образом могут комбинироваться друг с другом характерные признаки формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ФИГУР

Ниже изобретение разъясняется иллюстративным образом со ссылкой на сопроводительные графические материалы, в которых:

на фиг. 1a представлен пример системы обработки звука для предоставления звука с 6 степенями свободы;

на фиг. 1b представлены иллюстративные ситуации в среде звука и/или представления с 6 степенями свободы;

на фиг. 1c представлен иллюстративный переход от исходной звуковой сцены к целевой звуковой сцене;

на фиг. 2 приведена иллюстративная схема для определения пространственных звуковых сигналов во время перехода между разными звуковыми сценами;

на фиг. 3 представлена иллюстративная звуковая сцена;

на фиг. 4a проиллюстрировано изменение отображения источников звука в ответ на изменение положения прослушивания в пределах звуковой сцены;

на фиг. 4b представлена иллюстративная функция расстояния;

на фиг. 5a проиллюстрирован источник звука с неоднородной диаграммой направленности;

на фиг. 5b представлена иллюстративная функция направленности источника звука;

на фиг. 6 представлена иллюстративная звуковая сцена с акустически значимым препятствием;

на фиг. 7 проиллюстрированы поле зрения и центр внимания слушателя;

на фиг. 8 проиллюстрирована обработка внешнего звука в случае изменения положения прослушивания в пределах звуковой сцены;

на фиг. 9a представлена блок-схема иллюстративного способа представления сигнала 3D звука во время перехода между разными звуковыми сценами;

на фиг. 9b представлена блок-схема иллюстративного способа генерирования битового потока для перехода между разными звуковыми сценами;

на фиг. 9c представлена блок-схема иллюстративного способа представления сигнала 3D звука во время перехода в пределах одной звуковой сцены; и

на фиг. 9d представлена блок-схема иллюстративного способа генерирования битового потока для локальных переходов.

ПОДРОБНОЕ ОПИСАНИЕ

Как указано выше, настоящий документ относится к эффективному предоставлению 6 степеней свободы в среде 3D (трехмерного) звука. На фиг. 1a представлена структурная схема иллюстративной системы 100 обработки звука. Акустическая среда 110, такая как стадион, может содержать множество разных источников 113 звука. Примерами источников 113 звука в пределах стадиона являются отдельные зрители, диктор стадиона, игроки на поле и т. д. Акустическая среда 110 может быть подразделена на разные звуковые сцены 111, 112. В качестве примера, первая звуковая сцена 111 может соответствовать блоку поддержки домашней команды, а вторая звуковая сцена 112 может соответствовать блоку поддержки гостевой команды. В зависимости от того, где слушатель расположен в пределах звуковой среды, слушатель будет воспринимать или источники 113 звука из первой звуковой сцены 111, или источники 113 звука из второй звуковой сцены 112.

Разные источники 113 звука звуковой среды 110 могут быть захвачены с использованием звуковых датчиков 120, а именно с использованием массивов микрофонов. В частности, одна или более звуковых сцен 111, 112 звуковой среды 110 могут быть описаны с использованием многоканальных звуковых сигналов, одного или более звуковых объектов и/или сигналов с эффектом присутствия высшего порядка (HOA). Далее полагается, что источник 113 звука связан со звуковыми данными, которые захватываются датчиками 120 звука, при этом звуковые данные определяют звуковой сигнал и положение источника 113 звука как функцию времени (с определенной частотой дискретизации, например 20 мс).

Для устройства представления 3D звука, такого как устройство представления 3D звука MPEG-H, как правило, полагается, что слушатель расположен в конкретном положении прослушивания в пределах звуковой сцены 111, 112. Звуковые данные для разных источников 113 звука звуковой сцены 111, 112, как правило, предоставляются с предположением, что слушатель расположен в этом конкретном положении прослушивания. Кодировщик 130 звука может содержать кодировщик 131 3D звука, который приспособлен кодировать звуковые данные источников 113 звука одной или более звуковых сцен 111, 112.

Кроме того, могут предоставляться метаданные VR (виртуальной реальности), которые дают возможность слушателю изменять положение прослушивания в пределах звуковой сцены 111, 112 и/или перемещаться между разными звуковыми сценами 111, 112. Кодировщик 130 может содержать кодировщик 132 метаданных, который приспособлен кодировать метаданные VR. Закодированные метаданные VR и закодированные звуковые данные источников 113 звука могут быть объединены в объединительном блоке 133 для предоставления битового потока 140, который указывает звуковые данные и метаданные VR. Метаданные VR могут, например, содержать данные о среде, описывающие акустические свойства звуковой среды 110.

Битовый поток 140 может быть декодирован с использованием декодера 150 для предоставления (декодированных) звуковых данных и (декодированных) метаданных VR. Устройство 160 представления звука для представления звука в пределах среды 180 представления, которая обеспечивает 6 степеней свободы, может содержать блок 161 предварительной обработки и (традиционное) устройство 162 представления 3D звука (такое как MPEG-H для 3D звука). Блок 161 предварительной обработки может быть приспособлен определять положение 182 прослушивания слушателя 181 в пределах среды 180 прослушивания. Положение 182 прослушивания может указывать звуковую сцену 111, в пределах которой расположен слушатель 181. Кроме того, положение 182 прослушивания может указывать точное положение в пределах звуковой сцены 111. Блок 161 предварительной обработки может дополнительно быть приспособлен определять сигнал 3D звука для текущего положения 182 прослушивания на основании (декодированных) звуковых данных и, возможно, на основании (декодированных) метаданных VR. Сигнал 3D звука затем может быть представлен с использованием устройства 162 представления 3D звука.

Следует отметить, что идеи и схемы, которые описаны в настоящем документе, могут быть заданы способом с вариантами частоты, могут быть определены или глобально, или же способом, зависимым от объектов/сред, могут быть применены прямо в спектральной или временной области и/или могут быть жестко закодированы в устройство 160 представления VR, или могут быть заданы посредством соответствующего входного интерфейса.

На фиг. 1b показана иллюстративная среда 180 представления. Слушатель 181 может быть расположен в пределах исходной звуковой сцены 111. Для целей представления можно полагать, что источники 113, 194 звука расположены в разных положениях представления на (единичной) сфере 114 вокруг слушателя 181. Положения представления разных источников 113, 194 звука могут изменяться со временем (согласно заданной частоте дискретизации). В пределах среды 180 представления VR могут возникать разные ситуации: слушатель 181 может выполнять глобальный переход 191 из исходной звуковой сцены 111 в целевую звуковую сцену 112; альтернативно или дополнительно слушатель 181 может выполнять локальный переход 192 в другое положение 182 прослушивания в пределах одной звуковой сцены 111; альтернативно или дополнительно звуковая сцена 111 может обладать связанными со средой, акустически значимыми свойствами (такими как стена), которые могут быть описаны с использованием данных 193 о среде и которые следует учитывать, когда происходит изменение положения 182 прослушивания; альтернативно или дополнительно звуковая сцена 111 может содержать один или более источников 194 звука окружающей среды (например, для фонового шума), которые следует учитывать, когда происходит изменение положения 182 прослушивания.

На фиг. 1c показан иллюстративный глобальный переход 191 из исходной звуковой сцены 111 с источниками 113 звука A₁–A_n в целевую звуковую сцену 112 с источниками 113 звука B₁–B_m. Следует отметить, что каждый источник 113 звука может быть включен только в одну из исходной звуковой сцены 111 и целевой звуковой сцены 112, например, источники 113 звука A₁–A_n включены в исходную звуковую сцену 111, но не в целевую звуковую сцену 112, тогда как источники 113 звука B₁–B_m включены в целевую звуковую сцену 112, но не в исходную звуковую сцену 111.

Источник 113 звука может характеризоваться соответствующими свойствами расположенных на пути к нему объектов (координатами, направленностью, функцией затухания звука с расстоянием и т. д.). Глобальный переход 191 может быть выполнен в пределах определенного интервала времени перехода (например, в диапазоне 5 секунд, 1 секунды или менее). Положение 182 прослушивания в пределах исходной сцены 111 в начале глобального перехода 191 обозначено как «A». Кроме того, положение 182 прослушивания в пределах целевой сцены 112 в конце глобального перехода 191 обозначено как «B». Кроме того, на фиг. 1c проиллюстрирован локальный переход 192 в пределах целевой сцены 112 между положением прослушивания «B» и положением прослушивания «C».

На фиг. 2 представлен глобальный переход 191 из исходной сцены 111 (или исходной области просмотра) в целевую сцену 112 (или целевую область просмотра) во время интервала t времени перехода. Такой переход 191 может происходить, когда слушатель 181 переключается между разными сценами, или областями просмотра, 111, 112, например, в пределах стадиона. По существу, глобальный переход 191 от исходной сцены 111 к целевой сцене 112 не обязательно должен соответствовать фактическому физическому перемещению слушателя 181, но может просто инициироваться командой слушателя для переключения или перехода в другую область 111, 112 просмотра. Несмотря на это, настоящее раскрытие относится к положению слушателя, которое понимается как позиция слушателя в среде VR/AR/MR.

В промежуточный момент 213 времени слушатель 181 может быть расположен в промежуточном положении между исходной сценой 111 и целевой сценой 112. Сигнал 203 3D звука, который необходимо представить в промежуточном положении и/или в промежуточный момент 213 времени, может быть определен посредством определения вклада каждого из источников 113 A₁–A_n звука исходной сцены 111 и каждого из источников 113 B₁–B_m звука целевой сцены 112, с учетом распространения звука каждого источника 113 звука. Это, однако, было бы связано с относительно высокой сложностью вычислений (особенно в случае относительно большого количества источников 113 звука).

В начале глобального перехода 191 слушатель 181 может быть расположен в исходном положении 201 прослушивания. В течение всего перехода 191 исходный сигнал A_G 3D звука может генерироваться относительно исходного положения 201 прослушивания, при этом исходный звуковой сигнал зависит только от источников 113 звука исходной сцены 111 (и не зависит от источников 113 звука целевой сцены 112). Глобальный переход 191 не влияет на положения кажущегося источника для источников 113 звука исходной сцены 111. Соответственно, если исходить из стационарных источников 113 звука исходной сцены 111, представление положения источников 113 звука во время глобального перехода 191 относительно положения 201 прослушивания не изменяется, даже если положение прослушивания может переходить от исходной сцены к целевой сцене (относительно слушателя).

Кроме того, в начале глобального перехода 191 может быть зафиксировано, что слушатель 181 прибудет в целевое положение 202 прослушивания в пределах целевой сцены 112 в конце глобального перехода 191. В течение всего перехода 191 целевой сигнал B_G 3D звука может генерироваться относительно целевого положения 202 прослушивания, при этом целевой звуковой сигнал зависит только от источников 113 звука целевой сцены 112 (и не зависит от источников 113 звука исходной сцены 111). Глобальный переход 191 не влияет на положения кажущегося источника для источников 113 звука целевой сцены 112 (относительно слушателя).

Для определения промежуточного сигнала 203 3D звука в промежуточном положении и/или в промежуточный момент 213 времени во время глобального перехода 191 исходный звуковой сигнал в промежуточный момент 213 времени может быть объединен с целевым звуковым сигналом в промежуточный момент 213 времени. В частности, коэффициент убывания, или усиление, полученный из функции 211 убывания, может быть применен к исходному звуковому сигналу. Функция 211 убывания может быть такой, что коэффициент убывания, или усиление, «a» уменьшается с увеличением расстояния от промежуточного положения до исходной сцены 111. Кроме того, коэффициент нарастания, или усиление, полученный из функции 212 нарастания, может быть применен к целевому звуковому сигналу. Функция 212 нарастания может быть такой, что коэффициент нарастания, или усиление, «b» увеличивается с уменьшением расстояния от промежуточного положения до целевой сцены 112. Иллюстративная функция 211 убывания и иллюстративная функция 212 нарастания показаны на фиг. 2. Промежуточный звуковой сигнал тогда может быть получен как взвешенная сумма исходного звукового сигнала и целевого звукового сигнала, где веса соответствуют убывающему усилению и нарастающему усилению соответственно.

Таким образом, функция нарастания, или кривая 212, и функция убывания, или кривая 211, могут быть определены для глобального перехода 191 между разными областями 201, 202 просмотра с 3 степенями свободы. Функции 211, 212 могут быть применены к предварительно представленным виртуальным объектам или сигналам 3D звука, которые представляют исходную звуковую сцену 111 и целевую звуковую сцену 112. За счет этого непротиворечивое восприятие звука может быть предоставлено во время глобального перехода 191 между разными звуковыми сценами 111, 112 с уменьшением вычислений представления звука в VR.

Промежуточный звуковой сигнал 203 в промежуточном положении x_i может быть определен с использованием линейной интерполяции исходного звукового сигнала и целевого звукового сигнала. Интенсивность F звуковых сигналов может быть получена как: F(x_i)=a*F(A_G)+(1-a)*F(B_G). Коэффициенты «a» и «b=1-a» могут быть получены посредством функции нормы a=a(), которая зависит от исходного положения 201 прослушивания, целевого положения 202 прослушивания и промежуточного положения. В качестве альтернативы функции для разных промежуточных положений может быть предоставлена справочная таблица a=[1, ..., 0].

Выше следует понимать, что промежуточный звуковой сигнал 203 может быть определен и представлен для множества промежуточных положений x_i, чтобы обеспечить плавный переход от исходной сцены 111 к целевой сцене 112.

Во время глобального перехода 191 могут приниматься в расчет дополнительные эффекты (например, эффект Доплера и/или реверберация). Функции 211, 212 могут быть адаптированы поставщиком содержимого, например, чтобы отражать художественный замысел. Информация относительно функций 211, 212 может быть включена в качестве метаданных в битовом потоке 140. Следовательно, кодировщик 130 может быть приспособлен предоставлять информацию относительно функции 212 нарастания и/или функции 211 убывания в качестве метаданных в битовом потоке 140. Альтернативно или дополнительно устройство 160 представления звука может применять функцию 211, 212, сохраненную в устройстве 160 представления звука.

Флаг может быть передан от слушателя на устройство 160 представления, а именно на блок 161 предварительной обработки VR, чтобы указывать устройству 160 представления, что глобальный переход 191 будет произведен из исходной сцены 111 в целевую сцену 112. Флаг может запускать обработку звука, описанную в настоящем документе, для генерирования промежуточного звукового сигнала во время фазы перехода. Флаг может быть передан явно или неявно посредством связанной информации (например, посредством координат новой области просмотра или положения 202 прослушивания). Флаг может быть отправлен со стороны любого интерфейса данных (например, сервер/содержимое, пользователь/сцена, вспомогательный). Наряду с флагом может быть предоставлена информация об исходном звуковом сигнале A_G и целевом звуковом сигнале B_G. В качестве примера, может быть предоставлен идентификатор ID одного или более звуковых объектов или источников звука. Альтернативно запрос на вычисление исходного звукового сигнала и/или целевого звукового сигнала может быть предоставлен на устройство 160 представления.

Итак, описано устройство 160 представления VR, содержащее блок 161 предварительной обработки для устройства 162 представления с 3 степенями свободы, для обеспечения функциональной возможности работы с 6 степенями свободы ресурсоэффективным образом. Блок 161 предварительной обработки позволяет использовать стандартное устройство 162 представления с 3 степенями свободы, такое как устройство представления 3D звука MPEG-H. Блок 161 предварительной обработки VR может быть приспособлен эффективно выполнять расчеты для глобального перехода 191 посредством использования предварительно представленных виртуальных звуковых объектов A_G и B_G, которые представляют исходную сцену 111 и целевую сцену 112 соответственно. Сложность вычислений уменьшается благодаря использованию только двух предварительно представленных виртуальных объектов во время глобального перехода 191. Каждый виртуальный объект может содержать множество звуковых сигналов для множества источников звука. Кроме того, требования к битовой скорости могут быть уменьшены, поскольку во время перехода 191 в битовом потоке 140 могут быть предоставлены только предварительно представленные виртуальные звуковые объекты A_G и B_G. Дополнительно могут быть сокращены задержки обработки.

Функциональные возможности с 3 степенями свободы могут быть предоставлены для всех промежуточных положений вдоль траектории глобального перехода. Этого можно достичь посредством перекрытия исходного звукового объекта и целевого звукового объекта с использованием функций 211, 212 убывания/нарастания. Кроме того, могут быть представлены дополнительные звуковые объекты и/или могут быть включены добавочные звуковые эффекты.

На фиг. 3 представлен иллюстративный локальный переход 192 из исходного положения 301 прослушивания B в целевое положение 302 прослушивания C в пределах одной звуковой сцены 111. Звуковая сцена 111 содержит разные источники звука, или звуковые объекты, 311, 312, 313. Разные источники звука, или звуковые объекты, 311, 312, 313 могут иметь разные диаграммы 332 направленности. Кроме того, звуковая сцена 111 может обладать свойствами среды, а именно одним или более препятствиями, которые оказывают влияние на распространение звука в пределах звуковой сцены 111. Свойства среды могут быть описаны с использованием данных 193 о среде. Дополнительно могут быть известны относительные расстояния 321, 322 от звукового объекта 311 до положений 301, 302 прослушивания.

На фиг. 4a и 4b проиллюстрирована схема для обработки воздействий локального перехода 192 на интенсивность разных источников звука, или звуковых объектов, 311, 312, 313. Как отмечено выше, источник 311, 312, 313 звука звуковой сцены 111, как правило, воспринимается устройством 162 представления 3D звука как расположенный на сфере 114 вокруг 301 положения прослушивания. По существу, в начале локального перехода 192 источники 311, 312, 313 звука могут быть расположены на исходной сфере 114 вокруг исходного положения 301 прослушивания, а в конце локального перехода 192 источники 311, 312, 313 звука могут быть расположены на целевой сфере 114 вокруг целевого положения 302 прослушивания. Отображение источника 311, 312, 313 звука может быть изменено с исходной сферы 114 на целевую сферу 114. С этой целью может быть рассмотрен луч, который выходит из целевого положения 302 прослушивания в положение источника для источника 311, 312, 313 звука на исходной сфере 114. Источник 311, 312, 313 звука может быть расположен в точке пересечения луча с целевой сферой 114.

Интенсивность F источника 311, 312, 313 звука на целевой сфере 114, как правило, отличается от интенсивности на исходной сфере 114. Интенсивность F может быть изменена с использованием функции усиления интенсивности или функции 415 расстояния, которая представляет усиление 410 на расстоянии как функцию расстояния 420 от источника 311, 312, 313 звука до положения 301, 302 прослушивания. Функция 415 расстояния, как правило, демонстрирует пороговое расстояние 421, за которым применяется усиление 410 на расстоянии, равное нулю. Исходное расстояние 321 от источника 311 звука до исходного положения 301 прослушивания предоставляет исходное усиление 411. Кроме того, целевое расстояние 322 от источника 311 звука до целевого положения 302 прослушивания предоставляет целевое усиление 412. Интенсивность F источника 311 звука может быть откорректирована с использованием исходного усиления 411 и целевого усиления 412, таким образом предоставляя интенсивность F источника 311 звука на целевой сфере 114. В частности, интенсивность F исходного звукового сигнала источника 311 звука на исходной сфере 114 может быть разделена на исходное усиление 411 и умножена на целевое усиление 412 для предоставления интенсивности F целевого звукового сигнала источника 311 звука на целевой сфере 114.

Таким образом, положение источника 311 звука после локального перехода 192 может быть определено как: C_i = функция_отображения_источника(B_i, C) (например, с использованием геометрического преобразования). Кроме того, интенсивность источника 311 звука после локального перехода 192 может быть определена как: F(C_i) = F(B_i) * функция_расстояния(B_i, C_i, C). Следовательно, затухание с расстоянием может быть смоделировано посредством соответствующих коэффициентов усиления интенсивности, предоставленных функцией 415 расстояния.

На фиг. 5a и 5b проиллюстрирован источник 312 звука, имеющий неоднородную диаграмму 332 направленности. Диаграмма направленности может быть определена с использованием усилений 510 направленности, которые обозначают величину усиления для разных направлений или углов 520 направленности. В частности, диаграмма 332 направленности источника 312 звука может быть определена с использованием функции 515 усиления направленности, которая обозначает усиление 510 направленности как функцию угла 520 направленности (где угол 520 может составлять от 0° до 360°). Следует отметить, что для источников 312 3D звука угол 520 направленности, как правило, представляет собой двумерный угол, включающий азимутальный угол и угол возвышения. Следовательно, функция 515 усиления направленности, как правило, представляет собой двумерную функцию двумерного угла 520 направленности.

Диаграмма 332 направленности источника 312 звука может быть учтена в контексте локального перехода 192 путем определения исходного угла 521 направленности исходного луча между источником 312 звука и исходным положением 301 прослушивания (при этом источник 312 звука располагается на исходной сфере 114 вокруг исходного положения 301 прослушивания) и целевого угла 522 направленности целевого луча между источником 312 звука и целевым положением 302 прослушивания (при этом источник 312 звука располагается на целевой сфере 114 вокруг целевого положения 302 прослушивания). С использованием функции 515 усиления направленности источника 312 звука исходное усиление 511 направленности и целевое усиление 512 направленности могут быть определены как значения функции 515 усиления направленности для исходного угла 521 направленности и целевого угла 522 направленности соответственно (см. фиг. 5b). Интенсивность F источника 312 звука в исходном положении 301 прослушивания тогда можно разделить на исходное усиление 511 направленности и умножить на целевое усиление 512 направленности для определения интенсивности F источника 312 звука в целевом положении 302 прослушивания.

Таким образом, направленность звукового источника можно параметризовать посредством коэффициента направленности, или усиления, 510, указанного функцией 515 усиления направленности. Функция 515 усиления направленности может указывать интенсивность источника 312 звука на некотором расстоянии как функцию угла 520 относительно положения 301, 302 прослушивания. Усиления 510 направленности могут быть определены как коэффициенты относительно усилений источника 312 звука на одинаковом расстоянии, имеющие одинаковую общую мощность, которая излучается равномерно во всех направлениях. Диаграмму 332 направленности можно параметризовать посредством набора усилений 510, соответствующих векторам, которые исходят из центра источника 312 звука и заканчиваются в точках, распределенных на единичной сфере вокруг центра источника 312 звука. Диаграмма 332 направленности источника 312 звука может зависеть от варианта использования и от доступных данных (например, равномерное распределение для варианта 3D полета, сглаженное распределение для вариантов использования 2D+ и т. д.).

Итоговая интенсивность звука источника 312 звука в целевом положении 302 прослушивания может быть оценена как: F(C_i) = F(B_i) * Функция_расстояния() * Функция_усиления_направленности(C_i, C, Параметризация_направленности), где Функция_усиления_направленности зависит от диаграммы 332 направленности источника 312 звука. Функция_расстояния() учитывает модифицированную интенсивность, вызванную изменением расстояния 321, 322 от источника 312 звука вследствие перехода источника 312 звука.

На фиг. 6 представлено иллюстративное препятствие 603, которое может быть нужно учесть в контексте локального перехода 192 между разными положениями 301, 302 прослушивания. В частности, в целевом положении 302 прослушивания источник 313 звука может быть скрыт за препятствием 603. Препятствие 603 может быть описано посредством данных 193 о среде, содержащих набор параметров, таких как объемные размеры препятствия 603 и функция затухания препятствия, который определяет затухание звука, вызываемое препятствием 603.

Источник 313 звука может иметь свободное от препятствий расстояние 602 (obstacle-free distance, OFD) до целевого положения 302 прослушивания. OFD 602 может указывать длину кратчайшего пути между источником 313 звука и целевым положением 302 прослушивания, который не пересекает препятствие 603. Кроме того, источник 313 звука может иметь сквозное расстояние 601 (going-through distance, GHD) до целевого положения 302 прослушивания. GHD 601 может указывать длину кратчайшего пути между источником 313 звука и целевым положением 302 прослушивания, который обычно проходит через препятствие 603. Функция затухания препятствия может быть функцией OFD 602 и GHD 601. Кроме того, функция затухания препятствия может быть функцией интенсивности F(B_i) источника 313 звука.

Интенсивность источника C_i звука в целевом положении 302 прослушивания может представлять собой комбинацию звука из источника 313 звука, который обходит препятствие 603, и звука из источника 313 звука, который проходит через препятствие 603.

Следовательно, устройство 160 представления VR может быть обеспечено параметрами для управления влиянием геометрических свойств и среды окружающей обстановки. Данные 193 о геометрических свойствах / среде препятствия, или параметры, могут быть предоставлены поставщиком содержимого и/или кодировщиком 130. Интенсивность звука источника 313 звука может быть оценена как: F(C_i) = F(B_i) * Функция_расстояния(OFD) * Функция_усиления_направленности(OFD) + Функция_затухания_препятствия(F(Bi), OFD, GHD). Первое слагаемое соответствует вкладу звука, который обходит препятствие 603. Второе слагаемое соответствует вкладу звука, который проходит через препятствие 603.

Минимальное свободное от препятствий расстояние (OFD) 602 может быть определено с использованием алгоритма A* Дейкстры для нахождения пути и может быть использовано для управления затуханием прямого звука. Сквозное расстояние (GHD) 601 может быть использовано для управления реверберацией и искажением. Альтернативно или дополнительно подход с отслеживанием лучей может быть использован для описания влияния препятствия 603 на интенсивность источника 313 звука.

На фиг. 7 представлено иллюстративное поле зрения 701 слушателя 181, расположенного в целевом положении 302 прослушивания. Кроме того, на фиг. 7 показан иллюстративный центр 702 внимания слушателя, расположенного в целевом положении 302 прослушивания. Поле зрения 701 и/или центр 702 внимания могут быть использованы для улучшения (например, усиления) звука, приходящего из источника звука, который лежит в пределах поля зрения 701 и/или центра 702 внимания. Поле зрения 701 можно рассматривать как регулируемый пользователем эффект и можно использовать для реализации улучшения звука для источников 311 звука, связанных с полем зрения 701 пользователя. В частности, симуляция «эффекта коктейльной вечеринки» может быть выполнена путем удаления частотных элементов из фонового источника звука для улучшения понимания речевого сигнала, связанного с источником 311 звука, лежащим в пределах поля зрения 701 слушателя. Центр 702 внимания можно рассматривать как регулируемый содержимым эффект и можно использовать для реализации улучшения звука для источников 311 звука, связанных с представляющей интерес областью содержимого (например, привлекающей внимание пользователя, чтобы он посмотрел и/или переместился в направлении источника 311 звука).

Интенсивность звука источника 311 звука может быть модифицирована как: F(B_i) = Функция_поля_зрения(C, F(B_i), Данные_поля_зрения), где Функция_поля_зрения описывает модификацию, применяемую к звуковому сигналу источника 311 звука, лежащего в пределах поля зрения 701 слушателя 181. Кроме того, интенсивность звука источника звука, лежащего в пределах центра 702 внимания слушателя, может быть модифицирована как: F(B_i) = Функция_центра_внимания(F(B_i), Данные_центра_внимания), где Функция_центра_внимания описывает модификацию, применяемую к звуковому сигналу источника 311 звука, лежащего в пределах центра 702 внимания.

Функции, которые описаны в настоящем документе для обработки перехода слушателя 181 из исходного положения 301 прослушивания в целевое положение 302 прослушивания, аналогичным образом могут применяться к изменению положения источника 311, 312, 313 звука.

Таким образом, в настоящем документе описаны эффективные средства для расчета координат и/или интенсивностей звука виртуальных звуковых объектов или источников 311, 312, 313 звука, представляющих локальную звуковую сцену 111 VR в произвольных положениях 301, 302 прослушивания. Координаты и/или интенсивности могут быть определены с учетом кривых затухания звукового источника на расстоянии, ориентации и направленности звукового источника, влияния геометрических свойств / среды окружающей обстановки и/или данных «поля зрения» и «центра внимания» для дополнительных улучшений звукового сигнала. Описанные схемы могут существенно уменьшать сложность вычислений благодаря выполнению расчетов только в случае, когда изменяется положение 301, 302 прослушивания и/или положение звукового объекта / источника 311, 312, 313 звука.

Кроме того, в настоящем документе описаны концепции для определения расстояний, направленности, функций геометрических свойств, механизмов обработки и/или передачи сигналов для устройства 160 представления VR. Кроме того, описана концепция для минимального «свободного от препятствий расстояния» для управления затуханием прямого звука и «сквозного расстояния» для управления реверберацией и искажением. Дополнительно описана концепция для параметризации направленности звукового источника.

На фиг. 8 проиллюстрирована обработка звуковых источников 801, 802, 803 окружающей среды в контексте локального перехода 192. В частности, на фиг. 8 представлено три разных звуковых источника 801, 802, 803 окружающей среды, где звук окружающей среды может быть отнесен к точечному источнику звука. Флаг окружающей среды может быть предоставлен на блок 161 предварительной обработки, чтобы указать, что точечный источник 311 звука является источником 801 звука окружающей среды. Обработка во время локального и/или глобального перехода положения 301, 302 прослушивания может зависеть от значения флага окружающей среды.

В контексте глобального перехода 191 звуковой источник 801 окружающей среды может быть обработан как нормальный источник 311 звука. На фиг. 8 представлен локальный переход 192. Положение звукового источника 801, 802, 803 окружающей среды может быть скопировано с исходной сферы 114 на целевую сферу 114, таким образом предоставляя положение звукового источника 811, 812, 813 окружающей среды в целевом положении 302 прослушивания. Кроме того, интенсивность звукового источника 801 окружающей среды может быть оставлена без изменений, если неизменными остаются условия внешней среды, F(C_Ai) = F(B_Ai). С другой стороны, в случае наличия препятствия 603 интенсивность звукового источника 803, 813 окружающей среды может быть определена с использованием функции затухания препятствия, например, как F(C_Ai) = F(BAi) * функция_расстояния_Ai(OFD) + Функция_затухания_препятствия(F(B_Ai), OFD, GHD).

На фиг. 9a показана блок-схема иллюстративного способа 900 представления звука в среде 180 представления виртуальной реальности. Способ 900 может быть выполнен устройством 160 представления звука в VR. Способ 900 включает представление 901 исходного звукового сигнала исходного источника 113 звука исходной звуковой сцены 111 из исходного положения источника на сфере 114 вокруг положения 201 прослушивания слушателя 181. Представление 901 может быть выполнено с использованием устройства 162 представления 3D звука, которое может быть ограничено обработкой только 3 степеней свободы, особенно которое может быть ограничено обработкой только вращательных движений головы слушателя 181. В частности, устройство 162 представления 3D звука может не быть приспособлено обрабатывать поступательные движения головы слушателя. Устройство 162 представления 3D звука может содержать или может представлять собой устройство представления звука MPEG-H.

Следует отметить, что выражение «представление звукового сигнала источника 113 звука из конкретного положения источника» означает, что слушатель 181 воспринимает звуковой сигнал как исходящий из конкретного положения источника. Это выражение не следует понимать как ограничивающее то, как фактически представляется звуковой сигнал. Многие разные методы представления могут быть использованы для «представления звукового сигнала из конкретного положения источника», т. е. для обеспечения слушателю 181 восприятия того, что звуковой сигнал исходит из конкретного положения источника.

Кроме того, способ 900 включает определение 902 того, что слушатель 181 передвигается из положения 201 прослушивания в пределах исходной звуковой сцены 111 в положение 202 прослушивания в пределах другой целевой звуковой сцены 112. Таким образом, может быть обнаружен глобальный переход 191 из исходной звуковой сцены 111 в целевую звуковую сцену 112. В этом контексте способ 900 может включать прием указания о том, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112. Указание может содержать или может представлять собой флаг. Указание может быть передано от слушателя 181 на устройство 160 представления звука в VR, например посредством пользовательского интерфейса устройства 160 представления звука в VR.

Как правило, каждая из исходной звуковой сцены 111 и целевой звуковой сцены 112 содержит один или более источников 113 звука, которые отличаются друг от друга. В частности, исходные звуковые сигналы одного или более исходных источников 113 звука могут не быть слышимыми в пределах целевой звуковой сцены 112 и/или целевые звуковые сигналы одного или более целевых источников 113 звука могут не быть слышимыми в пределах исходной звуковой сцены 111.

Способ 900 может включать (в ответ на определение того, что выполняют глобальный переход 191 в новую целевую звуковую сцену 112) применение 903 убывающего усиления к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала. Следует отметить, что исходный звуковой сигнал генерируется так, как он будет восприниматься в положении прослушивания в исходной звуковой сцене 111, независимо от перемещения слушателя 181 из положения 201 прослушивания в пределах исходной звуковой сцены 111 в положение 202 прослушивания в пределах целевой звуковой сцены 112. Кроме того, способ 900 может включать (в ответ на определение того, что выполняют глобальный переход 191 в новую целевую звуковую сцену 112) представление 904 модифицированного исходного звукового сигнала исходного источника 113 звука из исходного положения источника на сфере 114 вокруг положения 201, 202 прослушивания. Эти операции могут выполняться многократно, например, через регулярные интервалы времени во время глобального перехода 191.

Таким образом, глобальный переход 191 между разными звуковыми сценами 111, 112 может быть выполнен посредством постепенного убывания исходных звуковых сигналов одного или более исходных источников 113 звука исходной звуковой сцены 111. В результате этого обеспечивают эффективный с точки зрения вычислений и акустически согласующийся глобальный переход 191 между разными звуковыми сценами 111, 112.

Можно определить, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112 в течение интервала времени перехода, при этом интервал времени перехода, как правило, имеет определенную длительность (например, 2 с, 1 с, 500 мс или менее). Глобальный переход 191 может быть выполнен постепенно в пределах интервала времени перехода. В частности, во время глобального перехода 191 может быть определен промежуточный момент 213 времени в пределах интервала времени перехода (например, в соответствии с определенной частотой дискретизации, составляющей, например, 100 мс, 50 мс, 20 мс или менее). Убывающее усиление тогда может быть определено на основании относительного положения промежуточного момента 213 времени в пределах интервала времени перехода.

В частности, интервал времени перехода для глобального перехода 191 может быть подразделен на последовательность промежуточных моментов 213 времени. Для каждого промежуточного момента 213 времени последовательности промежуточных моментов 213 времени может быть определено убывающее усиление для модифицирования исходных звуковых сигналов одного или более исходных источников звука. Кроме того, в каждый промежуточный момент 213 времени последовательности промежуточных моментов 213 времени модифицированные исходные звуковые сигналы одного или более исходных источников 113 звука могут быть представлены из исходного положения источника на сфере 114 вокруг положения 201, 202 прослушивания. Благодаря этому акустически согласующийся глобальный переход 191 может быть выполнен эффективно с точки зрения вычислений.

Способ 900 может включать предоставление функции 211 убывания, которая определяет убывающее усиление в разные промежуточные моменты 213 времени в пределах интервала времени перехода, причем функция 211 убывания является, как правило, такой, что убывающее усиление уменьшается с прохождением промежуточных моментов 213 времени, тем самым обеспечивая гладкий глобальный переход 191 к целевой звуковой сцене 112. В частности, функция 211 убывания может быть такой, что исходный звуковой сигнал остается немодифицированным в начале интервала времени перехода, что исходный звуковой сигнал все сильнее затухает с прохождением промежуточных моментов 213 времени и/или что исходный звуковой сигнал полностью заглушен в конце интервала времени перехода.

Исходное положение источника для исходного источника 113 звука на сфере 114 вокруг положения 201, 202 прослушивания можно сохранять, когда слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112 (а именно во время всего интервала времени перехода). Альтернативно или дополнительно можно полагать (во время всего интервала времени перехода), что слушатель 181 остается в одном положении 201, 202 прослушивания. Благодаря этому можно дополнительно уменьшить сложность вычислений для глобального перехода 191 между звуковыми сценами 111, 112.

Способ 900 может дополнительно включать определение целевого звукового сигнала целевого источника 113 звука целевой звуковой сцены 112. Кроме того, способ 900 может включать определение целевого положения источника на сфере 114 вокруг положения 201, 202 прослушивания. Следует отметить, что целевой звуковой сигнал генерируется так, как он будет восприниматься в положении прослушивания в целевой звуковой сцене 112, независимо от перемещения слушателя 181 из положения 201 прослушивания в пределах исходной звуковой сцены 111 в положение 202 прослушивания в пределах целевой звуковой сцены 112. Дополнительно способ 900 может включать применение нарастающего усиления к целевому звуковому сигналу для определения модифицированного целевого звукового сигнала. Модифицированный целевой звуковой сигнал целевого источника 113 звука может затем быть представлен из целевого положения источника на сфере 114 вокруг положения 201, 202 прослушивания. Эти операции могут выполняться многократно, например, через регулярные интервалы времени во время глобального перехода 191.

Таким образом, аналогично убыванию исходных звуковых сигналов одного или более исходных источников 113 звука исходной сцены 111 целевые звуковые сигналы одного или более целевых источников 113 звука целевой сцены 112 могут нарастить, тем самым обеспечивая гладкий глобальный переход 191 между звуковыми сценами 111, 112.

Как указано выше, слушатель 181 может передвигаться из исходной звуковой сцены 111 в целевую звуковую сцену 112 в течение интервала времени перехода. Нарастающее усиление может быть определено на основании относительного положения промежуточного момента 213 времени в пределах интервала времени перехода. В частности, последовательность нарастающих усилений может быть определена для соответствующей последовательности промежуточных моментов 213 времени в течение глобального перехода 191.

Нарастающие усиления могут быть определены с использованием функции 212 нарастания, которая определяет нарастающее усиление в разные промежуточные моменты 213 времени в пределах интервала времени перехода, причем функция 212 нарастания является, как правило, такой, что нарастающее усиление возрастает с прохождением промежуточных моментов 213 времени. В частности, функция 212 нарастания может быть такой, что целевой звуковой сигнал полностью заглушен в начале интервала времени перехода, что целевой звуковой сигнал все менее затухает с прохождением промежуточных моментов 213 времени и/или что целевой звуковой сигнал остается немодифицированным в конце интервала времени перехода, тем самым обеспечивая гладкий глобальный переход 191 между звуковыми сценами 111, 112 эффективным с точки зрения вычислений способом.

Таким же образом, как и исходное положение источника для исходного источника 113 звука, целевое положение источника для целевого источника 113 звука на сфере 114 вокруг положения 201, 202 прослушивания может быть сохранено, когда слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112, а именно во время всего интервала времени перехода. Альтернативно или дополнительно можно полагать (во время всего интервала времени перехода), что слушатель 181 остается в одном положении 201, 202 прослушивания. Благодаря этому можно дополнительно уменьшить сложность вычислений для глобального перехода 191 между звуковыми сценами 111, 112.

Функция 211 убывания и функция 212 нарастания в комбинации могут обеспечивать постоянное усиление для множества разных промежуточных моментов 213 времени. В частности, функция 211 убывания и функция 212 нарастания могут складываться в постоянное значение (например, 1) для множества разных промежуточных моментов 213 времени. Таким образом, функция 212 нарастания и функция 211 убывания могут быть взаимозависимыми, тем самым обеспечивая согласованное восприятие звука во время глобального перехода 191.

Функция 211 убывания и/или функция 212 нарастания могут быть получены из битового потока 140, который указывает исходный звуковой сигнал и/или целевой звуковой сигнал. Битовый поток 140 может быть предоставлен кодировщиком 130 на устройство 160 представления звука в VR. Таким образом, глобальный переход 191 может находиться под управлением поставщика содержимого. Альтернативно или дополнительно функция 211 убывания и/или функция 212 нарастания могут быть получены из запоминающего блока устройства 160 представления звука в виртуальной реальности (VR), которое приспособлено представлять исходный звуковой сигнал и/или целевой звуковой сигнал в пределах среды 180 представления виртуальной реальности, тем самым обеспечивая надежную работу во время глобальных переходов 191 между звуковыми сценами 111, 112.

Способ 900 может включать отправку указания (например, указательного флага) о том, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112, на кодировщик 130, при этом кодировщик 130 может быть приспособлен генерировать битовый поток 140, который указывает исходный звуковой сигнал и/или целевой звуковой сигнал. Указание может предоставлять кодировщику 130 возможность выборочно предоставлять звуковые сигналы для одного или более источников 113 звука исходной звуковой сцены 111 и/или для одного или более источников 113 звука целевой звуковой сцены 112 в битовом потоке 140. Таким образом, предоставление указания для предстоящего глобального перехода 191 позволяет сократить требуемую полосу пропускания для битового потока 140.

Как уже указано выше, исходная звуковая сцена 111 может содержать множество исходных источников 113 звука. Таким образом, способ 900 может включать представление множества исходных звуковых сигналов соответствующего множества исходных источников 113 звука из множества разных исходных положений источника на сфере 114 вокруг положения 201, 202 прослушивания. Кроме того, способ 900 может включать применение убывающего усиления ко множеству исходных звуковых сигналов для определения множества модифицированных исходных звуковых сигналов. Дополнительно способ 900 может включать представление множества модифицированных исходных звуковых сигналов исходного источника 113 звука из соответствующего множества исходных положений источника на сфере 114 вокруг положения 201, 202 прослушивания.

Аналогичным образом, способ 900 может включать определение множества целевых звуковых сигналов соответствующего множества целевых источников 113 звука целевой звуковой сцены 112. Дополнительно способ 900 может включать определение множества целевых положений источника на сфере 114 вокруг положения 201, 202 прослушивания. Кроме того, способ 900 может включать применение нарастающего усиления ко множеству целевых звуковых сигналов для определения соответствующего множества модифицированных целевых звуковых сигналов. Способ 900 дополнительно включает представление множества модифицированных целевых звуковых сигналов множества целевых источников 113 звука из соответствующего множества целевых положений источника на сфере 114 вокруг положения 201, 202 прослушивания.

Альтернативно или дополнительно исходный звуковой сигнал, который представляют во время глобального перехода 191, может представлять собой наложение звуковых сигналов множества исходных источников 113 звука. В частности, в начале интервала времени перехода звуковые сигналы (всех) источников 113 звука исходной звуковой сцены 111 могут быть скомбинированы для предоставления комбинированного исходного звукового сигнала. Этот исходный звуковой сигнал может быть модифицирован с убывающим усилением. Кроме того, исходный звуковой сигнал может быть обновлен с конкретной частотой дискретизации (например, 20 мс) в течение интервала времени перехода. Аналогичным образом, целевой звуковой сигнал может соответствовать комбинации звуковых сигналов множества целевых источников 113 звука (в частности, для всех целевых источников 113 звука). Комбинированный целевой источник звука затем может быть модифицирован в течение интервала времени перехода с использованием нарастающего усиления. Благодаря комбинированию звукового сигнала исходной звуковой сцены 111 и целевой звуковой сцены 112, соответственно, можно дополнительно уменьшить сложность вычислений.

Кроме того, описано устройство 160 представления звука в виртуальной реальности для представления звука в среде 180 представления виртуальной реальности. Как изложено в настоящем документе, устройство 160 представления звука в VR может содержать блок 161 предварительной обработки и устройство 162 представления 3D звука. Устройство 160 представления звука в виртуальной реальности приспособлено представлять исходный звуковой сигнал исходного источника 113 звука исходной звуковой сцены 111 из исходного положения источника на сфере 114 вокруг положения 201 прослушивания слушателя 181. Кроме того, устройство 160 представления звука в VR приспособлено определять, что слушатель 181 передвигается из положения 201 прослушивания в пределах исходной звуковой сцены 111 в положение 202 прослушивания в пределах другой целевой звуковой сцены 112. Дополнительно устройство 160 представления звука в VR приспособлено применять убывающее усиление к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала и представлять модифицированный исходный звуковой сигнал исходного источника 113 звука из исходного положения источника на сфере 114 вокруг положения 201, 202 прослушивания.

Кроме того, описан кодировщик 130, который приспособлен генерировать битовый поток 140, указывающий звуковой сигнал, подлежащий представлению в пределах среды 180 представления виртуальной реальности. Кодировщик 130 может быть приспособлен определять исходный звуковой сигнал исходного источника 113 звука исходной звуковой сцены 111. Кроме того, кодировщик 130 может быть приспособлен определять данные об исходном положении, относящиеся к исходному положению источника для исходного источника 113 звука. Кодировщик 130 затем может генерировать битовый поток 140, содержащий исходный звуковой сигнал и данные об исходном положении.

Кодировщик 130 может быть приспособлен принимать указание о том, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112 в пределах среды 180 представления виртуальной реальности (например, посредством канала обратной связи от устройства 160 представления звука в VR к кодировщику 130).

Кодировщик 130 может затем определять целевой звуковой сигнал целевого источника 113 звука целевой звуковой сцены 112 и данные о целевом положении, относящиеся к целевому положению источника для целевого источника 113 звука (а именно, только в ответ на прием такого указания). Кроме того, кодировщик 130 может генерировать битовый поток 140, содержащий целевой звуковой сигнал и данные о целевом положении. Таким образом, кодировщик 130 может быть приспособлен предоставлять целевые звуковые сигналы одного или более целевых источников 113 звука целевой звуковой сцены 112 выборочно только в случае приема указания для глобального перехода 191 в целевую звуковую сцену 112. Благодаря этому можно уменьшить требуемую полосу пропускания для битового потока 140.

На фиг. 9b показана блок-схема соответствующего способа 930 генерирования битового потока 140, указывающего звуковой сигнал, подлежащий представлению в пределах среды 180 представления виртуальной реальности. Способ 930 включает определение 931 исходного звукового сигнала исходного источника 113 звука исходной звуковой сцены 111. Кроме того, способ 930 включает определение 932 данных об исходном положении, относящихся к исходному положению источника для исходного источника 113 звука. Дополнительно способ 930 включает генерирование 933 битового потока 140, содержащего исходный звуковой сигнал и данные об исходном положении.

Способ 930 включает прием 934 указания о том, что слушатель 181 передвигается из исходной звуковой сцены 111 в целевую звуковую сцену 112 в пределах среды 180 представления виртуальной реальности. В ответ на это способ 930 может включать определение 935 целевого звукового сигнала целевого источника 113 звука целевой звуковой сцены 112 и определение 936 данных о целевом положении, относящихся к целевому положению источника для целевого источника 113 звука. Кроме того, способ 930 включает генерирование 937 битового потока 140, содержащего целевой звуковой сигнал и данные о целевом положении.

На фиг. 9c показана блок-схема иллюстративного способа 910 представления звукового сигнала в среде 180 представления виртуальной реальности. Способ 910 может быть выполнен устройством 160 представления звука в VR.

Способ 910 включает представление 911 исходного звукового сигнала источника 311, 312, 313 звука из исходного положения источника на исходной сфере 114 вокруг исходного положения 301 прослушивания слушателя 181. Представление 911 может быть выполнено с помощью устройства 162 представления 3D звука. В частности, представление 911 может быть выполнено с предположением, что исходное положение 301 прослушивания является фиксированным. Следовательно, представление 911 может быть ограничено тремя степенями свободы (а именно, вращательным движением головы слушателя 181).

С целью учета дополнительных трех степеней свободы (например, для поступательного движения слушателя 181) способ 910 может включать определение 912 того, что слушатель 181 передвигается из исходного положения 301 прослушивания в целевое положение 302 прослушивания, при этом целевое положение 302 прослушивания, как правило, лежит в пределах той же звуковой сцены 111. Таким образом, можно определить 912, что слушатель 181 выполняет локальный переход 192 в пределах одной звуковой сцены 111.

В ответ на определение того, что слушатель 181 выполняет локальный переход 192, способ 910 может включать определение 913 целевого положения источника для источника 311, 312, 313 звука на целевой сфере 114 вокруг целевого положения 302 прослушивания на основании исходного положения источника. Другими словами, положение источника для источника 311, 312, 313 звука может быть перенесено с исходной сферы 114 вокруг исходного положения 301 прослушивания на целевую сферу 114 вокруг целевого положения 302. Этого можно добиться посредством проецирования исходного положения источника с исходной сферы 114 на целевую сферу 114. В частности, целевое положение источника может быть определено так, что целевое положение источника соответствует точке пересечения луча, проведенного между целевым положением 302 прослушивания и исходным положением источника, с целевой сферой 114.

Кроме того, способ 910 может включать (в ответ на определение того, что слушатель 181 выполняет локальный переход 192) определение 914 целевого звукового сигнала источника 311, 312, 313 звука на основании исходного звукового сигнала. В частности, интенсивность целевого звукового сигнала может быть определена на основании интенсивности исходного звукового сигнала. Альтернативно или дополнительно спектральный состав целевого звукового сигнала может быть определен на основании спектрального состава исходного звукового сигнала. Таким образом, можно определить, как звуковой сигнал источника 311, 312, 313 звука воспринимают из целевого положения 302 прослушивания (а именно, можно определить интенсивность и/или спектральный состав звукового сигнала).

Вышеупомянутые определяющие этапы 913, 914 могут быть выполнены блоком 161 предварительной обработки устройства 160 представления звука в VR. Блок 161 предварительной обработки может обрабатывать поступательное движение слушателя 181 посредством переноса звуковых сигналов одного или более источников 311, 312, 313 звука с исходной сферы 114 вокруг исходного положения 301 прослушивания на целевую сферу 114 вокруг целевого положения 302 прослушивания. В результате этого перенесенные звуковые сигналы одного или более источников 311, 312, 313 звука также могут быть представлены с использованием устройства 162 представления 3D звука (которое может быть ограничено 3 степенями свободы). Таким образом, способ 910 обеспечивает возможность эффективного предоставления 6 степеней свободы в пределах среды 180 представления звука в VR.

Следовательно, способ 910 может включать представление 915 целевого звукового сигнала источника 311, 312, 313 звука из целевого положения источника на целевой сфере 114 вокруг целевого положения 302 прослушивания (например, с использованием устройства представления 3D звука, такого как устройство представления звука MPEG-H).

Определение 914 целевого звукового сигнала может включать определение целевого расстояния 322 между исходным положением источника и целевым положением 302 прослушивания. Целевой звуковой сигнал (особенно интенсивность целевого звукового сигнала) тогда может быть определен (в частности, масштабирован) на основании целевого расстояния 322. В частности, определение 914 целевого звукового сигнала может включать применение усиления 410 на расстоянии к исходному звуковому сигналу, при этом усиление 410 на расстоянии зависит от целевого расстояния 322.

Может быть предоставлена функция 415 расстояния, которая характеризует усиление 410 на расстоянии как функцию расстояния 321, 322 между положением источника звукового сигнала 311, 312, 313 и положением 301, 302 прослушивания слушателя 181. Усиление 410 на расстоянии, которое применяют к исходному звуковому сигналу (для определения целевого звукового сигнала), может быть определено на основании функционального значения функции 415 расстояния для целевого расстояния 322. Благодаря этому целевой звуковой сигнал можно определить эффективно и точно.

Кроме того, определение 914 целевого звукового сигнала может включать определение исходного расстояния 321 между исходным положением источника и исходным положением 301 прослушивания. Целевой звуковой сигнал тогда может быть определен (также) на основании исходного расстояния 321. В частности, усиление 410 на расстоянии, которое применяют к исходному звуковому сигналу, может быть определено на основании функционального значения функции 415 расстояния для исходного расстояния 321. В предпочтительном примере функциональное значение функции 415 расстояния для исходного расстояния 321 и функциональное значение функции 415 расстояния для целевого расстояния 322 используют для корректировки интенсивности исходного звукового сигнала для определения целевого звукового сигнала. Таким образом, может быть обеспечен эффективный и точный локальный переход 191 в пределах звуковой сцены 111.

Определение 914 целевого звукового сигнала может включать определение диаграммы 332 направленности источника 311, 312, 313 звука. Диаграмма 332 направленности может характеризовать интенсивность исходного звукового сигнала в разных направлениях. Целевой звуковой сигнал тогда может быть определен (также) на основании диаграммы 332 направленности. Учитывая диаграмму 332 направленности, можно повысить акустическое качество локального перехода 192.

Диаграмма 332 направленности может характеризовать усиление 510 направленности, подлежащее применению к исходному звуковому сигналу для определения целевого звукового сигнала. В частности, диаграмма 332 направленности может характеризовать функцию 515 усиления направленности, при этом функция 515 усиления направленности может определять усиление 510 направленности как функцию (возможно двумерного) угла 520 направленности между положением источника для источника 311, 312, 313 звука и положением 301, 302 прослушивания слушателя 181.

Таким образом, определение 914 целевого звукового сигнала может включать определение целевого угла 522 между целевым положением источника и целевым положением 302 прослушивания. Целевой звуковой сигнал тогда может быть определен на основании целевого угла 522. В частности, целевой звуковой сигнал может быть определен на основании функционального значения функции 515 усиления направленности для целевого угла 522.

Альтернативно или дополнительно определение 914 целевого звукового сигнала может включать определение исходного угла 521 между исходным положением источника и исходным положением 301 прослушивания. Целевой звуковой сигнал тогда может быть определен на основании исходного угла 521. В частности, целевой звуковой сигнал может быть определен на основании функционального значения функции 515 усиления направленности для исходного угла 521. В предпочтительном примере целевой звуковой сигнал может быть определен посредством модификации интенсивности исходного звукового сигнала с использованием функционального значения функции 515 усиления направленности для исходного угла 521 и для целевого угла 522, чтобы определять интенсивность целевого звукового сигнала.

Кроме того, способ 910 может включать определение данных 193 о целевой среде, которые характеризуют свойство распространения звука среды между целевым положением источника и целевым положением 302 прослушивания. Данные 193 о целевой среде могут характеризовать препятствие 603, которое расположено на прямом пути между целевым положением источника и целевым положением 302 прослушивания; характеризовать информацию, относящуюся к объемным размерам препятствия 603; и/или характеризовать затухание, испытываемое звуковым сигналом на прямом пути между целевым положением источника и целевым положением 302 прослушивания. В частности, данные 193 о целевой среде могут характеризовать функцию затухания препятствия для препятствия 603, при этом функция затухания может определять затухание, испытываемое звуковым сигналом, проходящим через препятствие 603 на прямом пути между целевым положением источника и целевым положением 302 прослушивания.

Целевой звуковой сигнал тогда может быть определен на основании данных 193 о целевой среде, таким образом дополнительно повышая качество звука, представляемого в пределах среды 180 представления звука в VR.

Как указано выше, данные 193 о целевой среде могут характеризовать препятствие 603 на прямом пути между целевым положением источника и целевым положением 302 прослушивания. Способ 910 может включать определение сквозного расстояния 601 между целевым положением источника и целевым положением 302 прослушивания на прямом пути. Целевой звуковой сигнал тогда может быть определен на основании сквозного расстояния 601. Альтернативно или дополнительно можно определить свободное от препятствий расстояние 602 между целевым положением источника и целевым положением 302 прослушивания на непрямом пути, который не пересекает препятствие 603. Целевой звуковой сигнал тогда может быть определен на основании свободного от препятствий расстояния 602.

В частности, непрямой компонент целевого звукового сигнала может быть определен на основании исходного звукового сигнала, распространяющегося по непрямому пути. Кроме того, прямой компонент целевого звукового сигнала может быть определен на основании исходного звукового сигнала, распространяющегося по прямому пути. Целевой звуковой сигнал тогда может быть определен посредством комбинирования непрямого компонента и прямого компонента. Благодаря этому точно и эффективно можно учесть акустические эффекты препятствия 603.

Кроме того, способ 910 может включать определение фокусной информации, относящейся к полю зрения 701 и/или центру 702 внимания слушателя 181. Целевой звуковой сигнал тогда может быть определен на основании фокусной информации. В частности, спектральный состав звукового сигнала может быть адаптирован в зависимости от фокусной информации. Благодаря этому можно дополнительно улучшить восприятие VR слушателя 181.

Дополнительно способ 910 может включать определение того, что источник 311, 312, 313 звука является источником звука окружающей среды. В этом контексте указание (например, флаг) может быть принято в битовом потоке 140 с кодировщика 130, при этом указание указывает, что источник 311, 312, 313 звука является источником звука окружающей среды. Источник звука окружающей среды, как правило, обеспечивает фоновый звуковой сигнал. Исходное положение источника для источника звука окружающей среды может быть сохранено в качестве целевого положения источника. Альтернативно или дополнительно интенсивность исходного звукового сигнала источника звука окружающей среды может быть сохранена в качестве интенсивности целевого звукового сигнала. Благодаря этому источники звука окружающей среды в контексте локального перехода 192 могут быть обработаны эффективно и согласованно.

Вышеупомянутые аспекты применимы к звуковым сценам 111, содержащим множество источников 311, 312, 313 звука. В частности, способ 910 может включать представление множества исходных звуковых сигналов соответствующего множества источников 311, 312, 313 звука из множества разных исходных положений источника на исходной сфере 114. Дополнительно способ 910 может включать определение множества целевых положений источника для соответствующего множества источников 311, 312, 313 звука на целевой сфере 114 на основании множества исходных положений источника соответственно. Дополнительно способ 910 может включать определение множества целевых звуковых сигналов соответствующего множества источников 311, 312, 313 звука на основании множества исходных звуковых сигналов соответственно. Множество целевых звуковых сигналов соответствующего множества источников 311, 312, 313 звука тогда могут быть представлены из соответствующего множества целевых положений источника на целевой сфере 114 вокруг целевого положения 302 прослушивания.

Кроме того, описано устройство 160 представления звука в виртуальной реальности для представления звукового сигнала в среде 180 представления виртуальной реальности. Устройство 160 представления звука приспособлено представлять исходный звуковой сигнал источника 311, 312, 313 звука из исходного положения источника на исходной сфере 114 вокруг исходного положения 301 прослушивания слушателя 181 (а именно, с использованием устройства 162 представления 3D звука устройства 160 представления звука в VR).

Кроме того, устройство 160 представления звука в VR приспособлено определять, что слушатель 181 передвигается из исходного положения 301 прослушивания в целевое положение 302 прослушивания. В ответ на это устройство 160 представления звука в VR может быть приспособлено (например, в блоке 161 предварительной обработки устройства 160 представления звука в VR) определять целевое положение источника для источника 311, 312, 313 звука на целевой сфере 114 вокруг целевого положения 302 прослушивания на основании исходного положения источника и определять целевой звуковой сигнал источника 311, 312, 313 звука на основании исходного звукового сигнала.

Дополнительно устройство 160 представления звука в VR (например, устройство 162 представления 3D звука) может быть приспособлено представлять целевой звуковой сигнал источника 311, 312, 313 звука из целевого положения источника на целевой сфере 114 вокруг целевого положения 302 прослушивания.

Таким образом, устройство 160 представления звука в виртуальной реальности может содержать блок 161 предварительной обработки, который приспособлен определять целевое положение источника и целевой звуковой сигнал источника 311, 312, 313 звука. Кроме того, устройство 160 представления звука в VR может содержать устройство 162 представления 3D звука, которое приспособлено представлять целевой звуковой сигнал источника 311, 312, 313 звука. Устройство 162 представления 3D звука может быть приспособлено адаптировать представление звукового сигнала источника 311, 312, 313 звука на (единичной) сфере 114 вокруг положения 301, 302 прослушивания слушателя 181 в случае вращательного движения головы слушателя 181 (для обеспечения 3 степеней свободы в пределах среды 180 представления). С другой стороны, устройство 162 представления 3D звука может не быть приспособлено адаптировать представление звукового сигнала источника 311, 312, 313 звука в случае поступательного движения головы слушателя 181. Таким образом, устройство 162 представления 3D звука может быть ограничено 3 степенями свободы. Степени свободы, связанные с поступательным движением, тогда могут быть эффективно предоставлены с использованием блока 161 предварительной обработки, тем самым обеспечивая в целом устройство 160 представления звука в VR, имеющее 6 степеней свободы.

Кроме того, описан кодировщик 130 звука, приспособленный генерировать битовый поток 140. Битовый поток 140 генерируют так, что битовый поток 140 указывает звуковой сигнал по меньшей мере одного источника 311, 312, 313 звука и указывает положение по меньшей мере одного источника 311, 312, 313 звука в пределах среды 180 представления. Дополнительно битовый поток 140 может указывать данные 193 о среде относительно свойства распространения звука для звука в пределах среды 180 представления. Благодаря передаче сигналов с данными 193 о среде, относящимися к свойствам распространения звука, локальные переходы 192 в пределах среды 180 представления могут быть реализованы точно.

Дополнительно описан битовый поток 140, который указывает звуковой сигнал по меньшей мере одного источника 311, 312, 313 звука; положение по меньшей мере одного источника 311, 312, 313 звука в пределах среды 180 представления; и данные 193 о среде, характеризующие свойство распространения звука для звука в пределах среды 180 представления. Альтернативно или дополнительно битовый поток 140 может указывать, является или нет источник 311, 312, 313 звука источником 801 звука окружающей среды.

На фиг. 9d представлена блок-схема иллюстративного способа 920 генерирования битового потока 140. Способ 920 включает определение 921 звукового сигнала по меньшей мере одного источника 311, 312, 313 звука. Кроме того, способ 920 включает определение 922 данных о положении, относящихся к положению по меньшей мере одного источника 311, 312, 313 звука в пределах среды 180 представления. Дополнительно способ 920 может включать определение 923 данных 193 о среде, характеризующих свойство распространения звука для звука в пределах среды 180 представления. Способ 920 дополнительно включает вставку 934 звукового сигнала, данных о положении и данных 193 о среде в битовый поток 140. Альтернативно или дополнительно в битовый поток 140 может быть вставлено указание о том, является или нет источник 311, 312, 313 звука источником 801 звука окружающей среды.

Таким образом, в настоящем документе описано устройство 160 представления звука в виртуальной реальности (и соответствующий способ) для представления звукового сигнала в среде 180 представления виртуальной реальности. Устройство 160 представления звука содержит устройство 162 представления 3D звука, которое приспособлено представлять звуковой сигнал источника 113, 311, 312, 313 звука из положения источника на сфере 114 вокруг положения 301, 302 прослушивания слушателя 181 в пределах среды 180 представления виртуальной реальности. Кроме того, устройство 160 представления звука в виртуальной реальности содержит блок 161 предварительной обработки, который приспособлен определять новое положение 301, 302 прослушивания слушателя 181 в пределах среды 180 представления виртуальной реальности (в пределах той же или другой звуковой сцены 111, 112). Кроме того, блок 161 предварительной обработки приспособлен обновлять звуковой сигнал и положение источника для источника 113, 311, 312, 313 звука относительно сферы 114 вокруг нового положения 301, 302 прослушивания. Устройство 162 представления 3D звука приспособлено представлять обновленный звуковой сигнал источника 311, 312, 313 звука из обновленного положения источника на сфере 114 вокруг нового положения 301, 302 прослушивания.

Способы и системы, описанные в настоящем документе, могут быть реализованы как программное обеспечение, аппаратно-программное обеспечение и/или аппаратное обеспечение. Некоторые компоненты могут реализовываться, например, как программное обеспечение, запускаемое на процессоре цифровой обработки сигналов или на микропроцессоре. Другие компоненты могут реализовываться, например, как аппаратное обеспечение или как интегральные схемы специального назначения. Сигналы, которые встречаются в описанных способах и системах, могут храниться в памяти таких носителей данных, как память с произвольным доступом или оптические носители данных. Они могут передаваться по сетям, таким как радиосети, спутниковые сети, беспроводные сети или проводные сети, например, Интернет. Типичными устройствами, использующими способы и системы, описанные в настоящем документе, являются переносные электронные устройства или другая бытовая аппаратура, которая используется для хранения и/или представления звуковых сигналов.

Нумерованные примеры (НП) настоящего документа являются следующими:

Способ (900) представления звука в среде (180) представления виртуальной реальности, при этом способ (900) включает:

представление (901) исходного звукового сигнала исходного источника (113) звука исходной звуковой сцены (111) из исходного положения источника на сфере (114) вокруг положения (201) прослушивания слушателя (181);

определение (902) того, что слушатель (181) передвигается из положения (201) прослушивания в пределах исходной звуковой сцены (111) в положение (202) прослушивания в пределах другой целевой звуковой сцены (112);

применение (903) убывающего усиления к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала; и

представление (904) модифицированного исходного звукового сигнала исходного источника (113) звука из исходного положения источника на сфере (114) вокруг положения (201, 202) прослушивания.

Способ (900) по НП 1, в котором способ (900) включает:

определение того, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112) в течение интервала времени перехода;

определение промежуточного момента (213) времени в пределах интервала времени перехода; и

определение убывающего усиления на основании относительного положения промежуточного момента (213) времени в пределах интервала времени перехода.

Способ (900) по НП 2, в котором

способ (900) включает предоставление функции (211) убывания, которая характеризует убывающее усиление в разные промежуточные моменты (213) времени в пределах интервала времени перехода; и

функция (211) убывания является такой, что убывающее усиление убывает с прохождением промежуточных моментов (213) времени.

Способ (900) по НП 3, в котором функция (211) убывания является такой, что:

исходный звуковой сигнал остается неизменным в начале интервала времени перехода; и/или

исходный звуковой сигнал сильнее затухает с прохождением промежуточных моментов (213) времени; и/или

исходный звуковой сигнал полностью заглушен в конце интервала времени перехода.

Способ (900) по любым предыдущим НП, в котором способ (900) включает

сохранение исходного положения источника для исходного источника (113) звука на сфере (114) вокруг положения (201, 202) прослушивания, когда слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112); и/или

сохранение положения (201, 202) прослушивания, когда слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112).

Способ (900) по любым предыдущим НП, в котором способ (900) включает

определение целевого звукового сигнала целевого источника (113) звука целевой звуковой сцены (112);

определение целевого положения источника на сфере (114) вокруг положения (201, 202) прослушивания;

применение нарастающего усиления к целевому звуковому сигналу для определения модифицированного целевого звукового сигнала; и

представление модифицированного целевого звукового сигнала целевого источника (113) звука из целевого положения источника на сфере (114) вокруг положения (201, 202) прослушивания.

Способ (900) по НП 6, в котором способ (900) включает:

определение того, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112) в течение интервала времени перехода;

определение промежуточного момента (213) времени в пределах интервала времени перехода; и

определение нарастающего усиления на основании относительного положения промежуточного момента (213) времени в пределах интервала времени перехода.

Способ (900) по НП 7, в котором

способ (900) включает предоставление функции (212) нарастания, которая характеризует нарастающее усиление в разные промежуточные моменты (213) времени в пределах интервала времени перехода; и

функция (212) нарастания является такой, что нарастающее усиление нарастает с прохождением промежуточных моментов (213) времени.

Способ (900) по НП 8, в котором функция (212) нарастания является такой, что:

целевой звуковой сигнал остается неизменным в конце интервала времени перехода; и/или

целевой звуковой сигнал слабее затухает с прохождением промежуточных моментов (213) времени; и/или

целевой звуковой сигнал полностью заглушен в начале интервала времени перехода.

Способ (900) по любому из НП 6–9, в котором способ (900) включает

сохранение целевого положения источника для целевого источника (113) звука на сфере (114) вокруг положения (201, 202) прослушивания, когда слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112); и

сохранение положения (201, 202) прослушивания, когда слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112).

Способ (900) по НП 8, который ссылается назад на НП 3, при этом функция (211) убывания и функция (212) нарастания в комбинации обеспечивают постоянное усиление для множества разных промежуточных моментов (213) времени.

Способ (900) по НП. 8, который ссылается назад на НП 3 и в котором функцию (211) убывания и/или функцию (212) нарастания

получают из битового потока (140), который указывает исходный звуковой сигнал и/или целевой звуковой сигнал; и/или

получают из запоминающего блока устройства (160) представления звука в виртуальной реальности, которое приспособлено представлять исходный звуковой сигнал и/или целевой звуковой сигнал в пределах среды (180) представления виртуальной реальности.

Способ (900) по любым предыдущим НП, в котором способ (900) включает прием указания о том, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112).

Способ (900) по НП 13, в котором указание включает флаг.

Способ (900) по любым предыдущим НП, в котором способ (900) включает отправку указания о том, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112), на кодировщик (130); при этом кодировщик (130) приспособлен генерировать битовый поток (140), который указывает исходный звуковой сигнал.

Способ (900) по любым предыдущим НП, в котором первый звуковой сигнал представляют с использованием устройства (162) представления 3D звука, особенно устройства представления звука MPEG-H.

Способ (900) по любому предыдущему НП, в котором способ (900) включает:

представление множества исходных звуковых сигналов соответствующего множества исходных источников (113) звука из множества разных исходных положений источника на сфере (114) вокруг положения (201, 202) прослушивания;

применение убывающего усиления ко множеству исходных звуковых сигналов для определения множества модифицированных исходных звуковых сигналов; и

представление множества модифицированных исходных звуковых сигналов исходного источника (113) звука из соответствующего множества исходных положений источника на сфере (114) вокруг положения (201, 202) прослушивания.

Способ (900) по любому из НП 6–17, в котором способ (900) включает:

определение множества целевых звуковых сигналов соответствующего множества целевых источников (113) звука целевой звуковой сцены (112);

определение множества целевых положений источника на сфере (114) вокруг положения (201, 202) прослушивания; и

применение нарастающего усиления ко множеству целевых звуковых сигналов для определения соответствующего множества модифицированных целевых звуковых сигналов; и

представление множества модифицированных целевых звуковых сигналов множества целевых источников (113) звука из соответствующего множества целевых положений источника на сфере (114) вокруг положения (201, 202) прослушивания.

Способ (900) по любому предыдущему НП, в котором исходный звуковой сигнал представляет собой наложение звуковых сигналов множества исходных источников (113) звука.

Устройство (160) представления звука в виртуальной реальности для представления звука в среде (180) представления виртуальной реальности, при этом устройство (160) представления звука в виртуальной реальности приспособлено

представлять исходный звуковой сигнал исходного источника (113) звука исходной звуковой сцены (111) из исходного положения источника на сфере (114) вокруг положения (201) прослушивания слушателя (181);

определять, что слушатель (181) передвигается из положения (201) прослушивания в пределах исходной звуковой сцены (111) в положение (202) прослушивания в пределах другой целевой звуковой сцены (112);

применять убывающее усиление к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала; и

представлять модифицированный исходный звуковой сигнал исходного источника (113) звука из исходного положения источника на сфере (114) вокруг положения (201, 202) прослушивания.

Кодировщик (130), приспособленный генерировать битовый поток (140), который указывает звуковой сигнал, подлежащий представлению в пределах среды (180) представления виртуальной реальности; при этом кодировщик (130) приспособлен

определять исходный звуковой сигнал исходного источника (113) звука исходной звуковой сцены (111);

определять данные об исходном положении, относящиеся к исходному положению источника для исходного источника (113) звука;

генерировать битовый поток (140), содержащий исходный звуковой сигнал и данные об исходном положении;

принимать указание о том, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112) в пределах среды (180) представления виртуальной реальности;

определять целевой звуковой сигнал целевого источника (113) звука целевой звуковой сцены (112);

определять данные о целевом положении, относящиеся к целевому положению источника для целевого источника (113) звука; и

генерировать битовый поток (140), содержащий целевой звуковой сигнал и данные о целевом положении.

Способ (930) генерирования битового потока (140), который указывает звуковой сигнал, подлежащий представлению в пределах среды (180) представления виртуальной реальности; при этом способ (930) включает:

определение (931) исходного звукового сигнала исходного источника (113) звука исходной звуковой сцены (111);

определение (932) данных об исходном положении, относящихся к исходному положению источника для исходного источника (113) звука;

генерирование (933) битового потока (140), содержащего исходный звуковой сигнал и данные об исходном положении;

прием (934) указания о том, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112) в пределах среды (180) представления виртуальной реальности;

определение (935) целевого звукового сигнала целевого источника (113) звука целевой звуковой сцены (112);

определение (936) данных о целевом положении, относящихся к целевому положению источника для целевого источника (113) звука; и

генерирование (937) битового потока (140), содержащего целевой звуковой сигнал и данные о целевом положении.

Устройство (160) представления звука в виртуальной реальности для представления звукового сигнала в среде (180) представления виртуальной реальности, при этом устройство (160) представления звука содержит:

устройство (162) представления 3D звука, которое приспособлено представлять звуковой сигнал источника (113) звука из положения источника на сфере (114) вокруг положения (201, 202) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности;

блок (161) предварительной обработки, который приспособлен

определять новое положение (201, 202) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности; и

обновлять звуковой сигнал и положение источника для источника (201, 202) звука относительно сферы (114) вокруг нового положения (201, 202) прослушивания;

при этом устройство (162) представления 3D звука приспособлено представлять обновленный звуковой сигнал источника (113) звука из обновленного положения источника на сфере (114) вокруг нового положения (201, 202) прослушивания.

Изобретение относится к средствам для представления звука в среде виртуальной реальности. Технический результат заключается в повышении эффективности представления звука при изменении слушателем положения прослушивания. Определяют, что слушатель передвигается в пределах среды представления виртуальной реальности из исходного положения прослушивания в пределах исходной звуковой сцены в целевое положение прослушивания в пределах другой целевой звуковой сцены. Применяют убывающее усиление к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала. Представляют модифицированный исходный звуковой сигнал исходного источника звука из исходного положения источника на сфере вокруг исходного положения прослушивания. Определяют целевой звуковой сигнал целевого источника звука целевой звуковой сцены. Определяют целевое положение источника на сфере вокруг целевого положения прослушивания. Применяют нарастающее усиление к целевому звуковому сигналу для определения модифицированного целевого звукового сигнала. Представляют модифицированный целевой звуковой сигнал целевого источника звука из целевого положения источника на сфере вокруг целевого положения прослушивания. 5 н. и 26 з.п. ф-лы, 16 ил.

1. Способ (900) представления звука в среде (180) представления виртуальной реальности с применением устройства (162) представления с тремя степенями свободы, при этом способ (900) включает:

представление (901) посредством устройства (162) представления с тремя степенями свободы исходного звукового сигнала исходного источника (113) звука исходной звуковой сцены (111) из исходного положения источника на сфере (114) вокруг исходного положения (201) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности;

определение (902) того, что слушатель (181) передвигается в пределах среды (180) представления виртуальной реальности из исходного положения (201) прослушивания в пределах исходной звуковой сцены (111) в целевое положение (202) прослушивания в пределах другой целевой звуковой сцены (112);

в ответ на определение того, что слушатель (181) передвигается из исходного положения (201) прослушивания в пределах исходной звуковой сцены (111) в целевое положение (202) прослушивания в пределах целевой звуковой сцены (112), применение (903) убывающего усиления к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала; и

представление (904) посредством устройства (162) представления с тремя степенями свободы модифицированного исходного звукового сигнала исходного источника (113) звука из исходного положения источника на сфере (114) вокруг исходного положения (201) прослушивания; при этом способ дополнительно включает:

определение целевого звукового сигнала целевого источника (113) звука целевой звуковой сцены (112);

определение целевого положения источника на сфере (114) вокруг целевого положения (202) прослушивания;

применение нарастающего усиления к целевому звуковому сигналу для определения модифицированного целевого звукового сигнала; и

представление посредством устройства (162) представления с тремя степенями свободы модифицированного целевого звукового сигнала целевого источника (113) звука из целевого положения источника на сфере (114) вокруг целевого положения (202) прослушивания.

2. Способ (900) по п. 1, отличающийся тем, что модифицированный исходный звуковой сигнал представляют из одного и того же положения относительно слушателя на протяжении всего перемещения из исходного положения (201) прослушивания в пределах исходной звуковой сцены (111) в целевое положение (202) прослушивания в пределах целевой звуковой сцены (112).

3. Способ (900) по п. 1 или 2, отличающийся тем, что целевая звуковая сцена (112) не содержит исходный источник (113) звука.

4. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что способ (900) включает:

определение того, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112) в течение интервала времени перехода;

определение промежуточного момента (213) времени в пределах интервала времени перехода; и

определение убывающего усиления на основании относительного положения промежуточного момента (213) времени в пределах интервала времени перехода.

5. Способ (900) по п. 4, отличающийся тем, что

соответствующее убывающее усиление определяют для каждого из множества промежуточных моментов времени в пределах интервала времени перехода на основании относительного положения соответствующего промежуточного момента (213) времени в пределах интервала времени перехода; и

соответствующее убывающее усиление применяют к исходному звуковому сигналу для определения соответствующего модифицированного исходного звукового сигнала для каждой из множества промежуточных постоянных времени в пределах интервала времени перехода.

6. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что убывающее усиление отлично от нуля до достижения целевого положения (202) прослушивания в пределах целевой звуковой сцены (112).

7. Способ (900) по п. 4 или 5, отличающийся тем, что

способ (900) включает предоставление функции (211) убывания, которая характеризует убывающее усиление в разные промежуточные моменты (213) времени в пределах интервала времени перехода; и

функция (211) убывания является такой, что убывающее усиление убывает с прохождением промежуточных моментов (213) времени.

8. Способ (900) по п. 7, отличающийся тем, что функция (211) убывания является такой, что:

исходный звуковой сигнал остается неизменным в начале интервала времени перехода; и/или

исходный звуковой сигнал сильнее затухает с прохождением промежуточных моментов (213) времени; и/или

исходный звуковой сигнал полностью заглушен в конце интервала времени перехода.

9. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что способ (900) включает

сохранение исходного положения источника для исходного источника (113) звука на сфере (114) вокруг исходного положения (201) прослушивания, когда слушатель (181) передвигается в пределах среды (180) представления виртуальной реальности из исходной звуковой сцены (111) в целевую звуковую сцену (112); и/или

сохранение исходного положения (201) прослушивания, когда слушатель (181) передвигается в пределах среды (180) представления виртуальной реальности из исходной звуковой сцены (111) в целевую звуковую сцену (112).

10. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что модифицированный целевой звуковой сигнал представляют из одного и того же положения относительно слушателя на протяжении всего перемещения из исходного положения (201) прослушивания в пределах исходной звуковой сцены (111) в целевое положение (202) прослушивания в пределах целевой звуковой сцены (112).

11. Способ (900) по п. 10, отличающийся тем, что исходная звуковая сцена (111) не содержит целевой источник (113) звука.

12. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что способ (900) включает:

определение того, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112) в течение интервала времени перехода;

определение промежуточного момента (213) времени в пределах интервала времени перехода; и

определение нарастающего усиления на основании относительного положения промежуточного момента (213) времени в пределах интервала времени перехода.

13. Способ (900) по п. 12, отличающийся тем, что

соответствующее нарастающее усиление определяют для каждого из множества промежуточных моментов времени в пределах интервала времени перехода на основании относительного положения соответствующего промежуточного момента (213) времени в пределах интервала времени перехода; и

соответствующее нарастающее усиление применяют к целевому звуковому сигналу для определения соответствующего модифицированного целевого звукового сигнала для каждой из множества промежуточных постоянных времени в пределах интервала времени перехода.

14. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что нарастающее усиление отлично от нуля во время перемещения из исходной звуковой сцены (111) в целевую звуковую сцену (112).

15. Способ (900) по п. 12 или 13, отличающийся тем, что

способ (900) включает предоставление функции (212) нарастания, которая характеризует нарастающее усиление в разные промежуточные моменты (213) времени в пределах интервала времени перехода; и

функция (212) нарастания является такой, что нарастающее усиление нарастает с прохождением промежуточных моментов (213) времени.

16. Способ (900) по п. 15, отличающийся тем, что функция (212) нарастания является такой, что:

целевой звуковой сигнал остается неизменным в конце интервала времени перехода; и/или

целевой звуковой сигнал слабее затухает с прохождением промежуточных моментов (213) времени; и/или

целевой звуковой сигнал полностью заглушен в начале интервала времени перехода.

17. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что способ (900) включает

сохранение целевого положения источника для целевого источника (113) звука на сфере (114) вокруг целевого положения (202) прослушивания, когда слушатель (181) передвигается в пределах среды (180) представления виртуальной реальности из исходной звуковой сцены (111) в целевую звуковую сцену (112); и/или

сохранение целевого положения (202) прослушивания, когда слушатель (181) передвигается в пределах среды (180) представления виртуальной реальности из исходной звуковой сцены (111) в целевую звуковую сцену (112).

18. Способ (900) по п. 7, отличающийся тем, что

способ (900) включает предоставление функции (212) нарастания, которая характеризует нарастающее усиление в разные промежуточные моменты (213) времени в пределах интервала времени перехода; и

функция (212) нарастания является такой, что нарастающее усиление нарастает с прохождением промежуточных моментов (213) времени.

19. Способ (900) по п. 18, отличающийся тем, что функция (211) убывания и функция (212) нарастания в комбинации обеспечивают постоянное усиление для множества разных промежуточных моментов (213) времени.

20. Способ (900) по п. 18, отличающийся тем, что функцию (211) убывания и/или функцию (212) нарастания

получают из битового потока (140), который указывает исходный звуковой сигнал и/или целевой звуковой сигнал; и/или

получают из запоминающего блока устройства (160) представления звука в виртуальной реальности, которое приспособлено представлять исходный звуковой сигнал и/или целевой звуковой сигнал в пределах среды (180) представления виртуальной реальности.

21. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что способ (900) включает прием указания о том, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112).

22. Способ (900) по п. 21, отличающийся тем, что указание включает флаг.

23. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что способ (900) включает отправку указания о том, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112), на кодировщик (130); при этом кодировщик (130) приспособлен генерировать битовый поток (140), который указывает исходный звуковой сигнал.

24. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что первый звуковой сигнал представляют с использованием устройства (162) представления 3D звука MPEG-H.

25. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что способ (900) включает:

представление множества исходных звуковых сигналов соответствующего множества исходных источников (113) звука из множества разных исходных положений источника на сфере (114) вокруг положения (201, 202) прослушивания;

применение убывающего усиления ко множеству исходных звуковых сигналов для определения множества модифицированных исходных звуковых сигналов; и

представление множества модифицированных исходных звуковых сигналов исходного источника (113) звука из соответствующего множества исходных положений источника на сфере (114) вокруг положения (201, 202) прослушивания.

26. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что способ (900) включает:

определение множества целевых звуковых сигналов соответствующего множества целевых источников (113) звука целевой звуковой сцены (112);

определение множества целевых положений источника на сфере (114) вокруг целевого положения (202) прослушивания; и

применение нарастающего усиления ко множеству целевых звуковых сигналов для определения соответствующего множества модифицированных целевых звуковых сигналов; и

представление множества модифицированных целевых звуковых сигналов множества целевых источников (113) звука из соответствующего множества целевых положений источника на сфере (114) вокруг целевого положения (202) прослушивания.

27. Способ (900) по любому из предыдущих пунктов, отличающийся тем, что исходный звуковой сигнал представляет собой наложение звуковых сигналов множества исходных источников (113) звука.

28. Устройство (160) представления звука в виртуальной реальности для представления звука в среде (180) представления виртуальной реальности, содержащее устройство (162) представления с тремя степенями свободы, при этом устройство (160) представления звука в виртуальной реальности приспособлено:

представлять посредством устройства (162) представления с тремя степенями свободы исходный звуковой сигнал исходного источника (113) звука исходной звуковой сцены (111) из исходного положения источника на сфере (114) вокруг исходного положения (201) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности;

определять, что слушатель (181) передвигается в пределах среды (180) представления виртуальной реальности из исходного положения (201) прослушивания в пределах исходной звуковой сцены (111) в целевое положение (202) прослушивания в пределах другой целевой звуковой сцены (112);

в ответ на определение того, что слушатель (181) передвигается из исходного положения (201) прослушивания в пределах исходной звуковой сцены (111) в целевое положение (202) прослушивания в пределах целевой звуковой сцены (112), применять убывающее усиление к исходному звуковому сигналу для определения модифицированного исходного звукового сигнала; и

представлять посредством устройства (162) представления с тремя степенями свободы модифицированный исходный звуковой сигнал исходного источника (113) звука из исходного положения источника на сфере (114) вокруг исходного положения (201) прослушивания;

при этом устройство представления звука в виртуальной реальности дополнительно приспособлено:

определять целевой звуковой сигнал целевого источника (113) звука целевой звуковой сцены (112);

определять целевое положение источника на сфере (114) вокруг целевого положения (202) прослушивания;

применять нарастающее усиление к целевому звуковому сигналу для определения модифицированного целевого звукового сигнала; и

представлять посредством устройства (162) представления с тремя степенями свободы модифицированный целевой звуковой сигнал целевого источника (113) звука из целевого положения источника на сфере (114) вокруг целевого положения (202) прослушивания.

29. Кодировщик (130), приспособленный генерировать битовый поток (140), который указывает звуковой сигнал, подлежащий представлению в пределах среды (180) представления виртуальной реальности; при этом кодировщик (130) приспособлен:

определять исходный звуковой сигнал исходного источника (113) звука исходной звуковой сцены (111);

определять данные об исходном положении, относящиеся к исходному положению источника для исходного источника (113) звука;

генерировать битовый поток (140), содержащий исходный звуковой сигнал и данные об исходном положении;

принимать указание о том, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112) в пределах среды (180) представления виртуальной реальности;

определять целевой звуковой сигнал целевого источника (113) звука целевой звуковой сцены (112);

определять данные о целевом положении, относящиеся к целевому положению источника для целевого источника (113) звука; и

генерировать битовый поток (140), содержащий целевой звуковой сигнал и данные о целевом положении.

30. Способ (930) генерирования битового потока (140), который указывает звуковой сигнал, подлежащий представлению в пределах среды (180) представления виртуальной реальности; при этом способ (930) включает:

определение (931) исходного звукового сигнала исходного источника (113) звука исходной звуковой сцены (111);

определение (932) данных об исходном положении, относящихся к исходному положению источника для исходного источника (113) звука;

генерирование (933) битового потока (140), содержащего исходный звуковой сигнал и данные об исходном положении;

прием (934) указания о том, что слушатель (181) передвигается из исходной звуковой сцены (111) в целевую звуковую сцену (112) в пределах среды (180) представления виртуальной реальности;

определение (935) целевого звукового сигнала целевого источника (113) звука целевой звуковой сцены (112);

определение (936) данных о целевом положении, относящихся к целевому положению источника для целевого источника (113) звука; и

генерирование (937) битового потока (140), содержащего целевой звуковой сигнал и данные о целевом положении.

31. Устройство (160) представления звука в виртуальной реальности для представления звукового сигнала в среде (180) представления виртуальной реальности, при этом устройство (160) представления звука содержит:

устройство (162) представления 3D звука MPEG-H, которое приспособлено представлять звуковой сигнал источника (113) звука из положения источника на сфере (114) вокруг положения (201, 202) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности;

блок (161) предварительной обработки, который приспособлен

определять новое положение (201, 202) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности и

обновлять звуковой сигнал и положение источника для источника (201, 202) звука относительно сферы (114) вокруг нового положения (201, 202) прослушивания;

при этом устройство (162) представления 3D звука MPEG-H приспособлено представлять обновленный звуковой сигнал источника (113) звука из обновленного положения источника на сфере (114) вокруг нового положения (201, 202) прослушивания.