КОНЦЕПЦИИ ДЛЯ АУРАЛИЗАЦИИ С ИСПОЛЬЗОВАНИЕМ КАРТИН РАННИХ ОТРАЖЕНИЙ Российский патент 2025 года по МПК H04S7/00 

Настоящая заявка относится к концепциям обработки ранних отражений для аурализации.

Импульсный отклик в помещении (RIR) описывает взаимосвязь между источником звука в акустическом окружении (помещении) и приемником (т.е. слушателем). Он указывает отклик помещения на единичный импульс во временной области и соответствует передаточной функции в помещении в частотной области. Он состоит из тракта прямого звука, ранних отражений (ER) и рассеянной поздней реверберации.

В бинауральном рендеринге (в громкоговорителях) для вариантов применения в стиле виртуальной и дополненной реальности (VR/AR), импульсный отклик в помещении из конкретного местоположения источников и слушателя может значительно изменяться. В вариантах применения VR/AR с 6 степенями свободы (6DoF), слушатель может обычно перемещаться свободно во всей сцене, что приводит к постоянному изменению импульсного отклика в помещении. Следовательно, для определения каждого отражения от источника к слушателю с учетом геометрии стен, загораживающих объектов и других эффектов для вычисления физически точной картины отражений должен проводиться огромный объем вычислений.

В настоящем изобретении содержится наблюдение о том, что для выполнения перцепционно убедительного рендеринга не требуется точное акустическое воспроизведение картины ранних отражений (ER) в помещении, и что это может быть сделано способом, который сильно абстрагирован от точных геометрических подробностей помещения. Таким образом может быть значительно уменьшен объем вычислений. В случае, если картина отражений должна передаваться из кодера в модуль рендеринга, значительная часть вспомогательной информации, ассоциированной с эффективным вычислением отражений в зависимости от положения слушателя, может не требоваться по сравнению с уровнем техники при регулярном рендеринге на основе геометрии.

Документ [1] относится к замене точно вычисленного «реального» ER более общей простой картиной ER. Идея этого документа состоит в том, чтобы находить, описывать и моделировать перцепционно ортогональные параметры, описывающие небольшие или крупные источники звука (например, оркестр) на сцене крупного помещения (например, концертного зала) [2, 3], и воспроизводить их по конфигурации громкоговорителей (например, стерео-) либо бинаурально по наушнику. Композитор или звукоинженер имеет возможность использовать эти параметры (такие как присутствие источников, теплота от источников, присутствие верхних частот источников, присутствие в помещении, рабочая реверберация, огибание и реверберирование) для конфигурирования сцены. Для такого вида производств в течение длительного времени используется программное обеспечение SPAT [4]. Также подход адаптирован в стандартизации ISO MPEG-4 [5].

В динамическом окружении 6DoF акустическое описание помещений (размеры, RT60,…,) может варьироваться на значительную величину. Положение источника и приемника является полностью свободным и должно вычисляться в реальном времени для аурализации. Перцепционные параметры, которые сильно зависят от этих изменяющихся физических конфигураций, не могут быть установлены как константы и в силу этого не подходят для этой задачи.

При этом изобретение имеет новый подход, который приспосабливает только небольшое число базовых физических параметров окружения для выбора и регулирования простой базовой картины ER. Это обеспечивает следующие преимущества: для установки параметров не требуется специальный опыт работы в звукоинженерии. Они поступают непосредственно из физической модели. Используемая простая картина ER является адаптивной к различным размерам помещений и различным - значениям RT60. Даже для окружений вне помещений определяются простые картины ER, что не имеет место в SPAT. Перцепционное ухудшение при этом подходе относительно полной физически корректной имитации ограничено, поскольку слуховая система человека не может анализировать точную структуру ранних отражений, например, [6].

В следующих новых простых картинах ER согласно изобретению используются акустические параметры помещения, такие как RT60, время предварительной задержки, объем помещения или размеры помещения и частотная зависимость RT60. Картина ER конкретно определяется с возможностью формирования сглаженного перехода между прямым звуком и поздней реверберацией. Он должен быть частотно-нейтральным и с близостью к стенам и отверстиям источника и приемника.

Идея состоит в том, чтобы формировать достаточно правдоподобное и убедительное восприятие слушателя, подходящее для всех акустических параметров помещения. Этого достаточно для большинства случаев, поскольку слушатель не имеет возможности прямого сравнения с «реальным» физически точным ER.

Вычислительно-затратное точное геометрическое вычисление ER, в частности, с проверками видимости, может исключаться, в частности, в таких вариантах применения, как слуховое виртуальное окружение и дополненная реальность в реальном времени. Точное вычисление «реального» ER также иногда является затруднительным и является чувствительным к формированию артефактов появляющимися и исчезающими ER в зависимости от точного (и варьирующегося во времени) местоположения источника и слушателя. Оно может исключаться за счет использования постоянной картины ER, которая вычисляется один раз при входе в сцену, либо за счет перемещения из одного акустического окружения в другое окружение, заданное посредством других акустических параметров.

Изобретение использует преимущество сценария с использованием модуля рендеринга/потока битов/кодера. В одном случае (а), простая картина ER по умолчанию может вычисляться с акустическими параметрами помещения, доступными только в модуле рендеринга. Эти параметры регулируются в реальном времени посредством расстояния между источником и слушателем и угла азимута между ними. В случае (b), геометрия сцены предварительно анализируется усовершенствованным способом в кодере. После этого, простая картина ER из нескольких ER предварительно вычисляется в кодере и передается в модуль рендеринга в потоке битов. В нем она регулируется аналогично случаю (а) посредством расстояния и угла относительно слушателя (либо другой информации, которая доступна во время рендеринга). Эти два случая обеспечивают полную гибкость для открытого подхода с заделом на будущее, в котором дополнительные аналитические знания могут включаться позднее в кодер.

Обуславливание

Импульсный отклик в помещении (RIR) описывает взаимосвязь между источником звука в акустическом окружении (помещении) и приемником (слушателем) и указывает отклик помещения на единичный импульс, см., например, фиг.21. Он состоит из тракта прямого звука, ранних отражений (ER) и рассеянной поздней звуковой части. Фиг. 21 показывает пример для монофонического RIR с ER второго порядка, сформированными с помощью программы RAVEN акустической имитации помещения [7].

В частности, в комплексных физических окружениях/помещениях, заданных посредством множества поверхностей, вычисление геометрических корректных ER с необходимыми проверками видимости («это источник в линии прямой видимости в слушателя?») является очень временнозатратным. С другой стороны, известно, что слуховое восприятие человека подавляет множество подробностей касательно ER относительно прямого звука (закон первого фронта волны, эффект предшествования, анализ сцен, [8, 9]), и что в силу этого во многих случаях для достижения убедительного качества рендеринга, например, [6], не требуется точное моделирование части ER импульсного отклика. Слуховая система использует ER для определения или детализации нескольких перцепционных атрибутов.

В их числе:

- Положение источника относительно приемника.

- Расстояние между источником и приемником.

- Слуховая ширина источника (ASW).

- Зависимое от уровня и частоты поглощение границ [10].

- Близость к непосредственным границам.

Уровень техники

Известно несколько подходов, которые упрощают вычисление ER. Первый состоит в том, чтобы просто полностью исключить вычисление ER, т.е. рендерировать звук без моделируемого ER, т.е. рендерировать только прямой звук и позднюю реверберацию, см. фиг.22. Поздняя реверберация начинается в так называемое время предварительной задержки. Фиг. 22 показывает RIR с прямым звуком и поздней реверберацией, начинающейся во время предварительной задержки в 0,13 с, без ER.

Следующая возможность заключается в том, чтобы вычислить только геометрически точные отражения первого порядка, см. фиг.23. В помещении в форме скворечника это сокращает число ER приблизительно с 27 до 6. Фиг. 23 показывает RIR с отражениями первого порядка и поздней реверберацией (слева), вид сверху (справа). Квадрат (красный) представляет собой источник звука, окружность (синяя) представляет собой приемник, линия (красная), соединяющая окружность и квадрат, представляет собой прямой звук, дополнительные линии (синие), выходящие из окружности, представляют собой отражения, длина является пропорциональной логарифмическому уровню.

Следующая возможность представляет собой всего два ER рядом с прямым звуком, см. фиг.24. Воздействие боковых отражений на ASW известно из акустики концертных залов [11]. Следует отметить, что его очень просто вычислять по сравнению с истинной геометрической имитацией. Фиг. 24 показывает RIR с двумя отражениями рядом с прямым звуком (слева), вид сверху (справа).

В следующей картине два боковых отражения заменены 4 отражениями к каждой стороне прямого звука и четырьмя последовательностями независимых от положения отражений от неподвижных источников в [+45° и +135°], каждая из которых состоит из 4 отражений, см. фиг.25. Эта картина подсказана алгоритмом SPAT [1, 5], но он не реализует все подробности, в частности, не реализует эффект всех входных параметров. Параметры для этой картины определяются конкретно с возможностью формирования перцепционных атрибутов приемника, таких как ASW. Для этого не используются акустические свойства помещения помимо RT60. Фиг. 25 показывает RIR с картиной "SPAT" (слева), вид сверху (справа). Кресты (зеленый и синий) представляют собой ER.

Вышеописанный подход проектируется таким образом, что входные параметры, которые определяют картину ER, представляют собой перцепционные параметры. Они должны описывать восприятие слушателя, вызываемое посредством ER. Недостаток заключается в том, что он только неопределенно адаптируется к связанным с помещением параметрам. Знания и опыт в звукоинженерии необходимы для установки перцепционно заданных параметров, таких как присутствие источников, теплота от источников, присутствие верхних частот источников, присутствие в помещении, рабочая реверберация, огибание и реверберирование. Это представляет собой явный недостаток для разработчиков, определяющих физические свойства системы VR/AR реального времени и не имеющих перцепционного опыта в звукоинженерии. В частности, для вариантов применения в VR, геометрия виртуального физического пространства зачастую известна достаточно хорошо в качестве побочного продукта процесса визуализации. Кроме того, отсутствует картина ER для окружений вне помещений, известных для алгоритма SPAT.

Задача изобретения состоит в исключении недостатков уровня техники посредством явного использования акустических и физических параметров помещения для определения картины ER. Кроме того, различные картины определяются в зависимости от свойств помещения и подходят даже для окружений вне помещений (в которых точное описание геометрии является затруднительным). Картины имеют различные числа ER в зависимости от размера помещения или других физических параметров.

Новые признаки картин ER:

- перцепционно достаточно правдоподобный рендеринг по сравнению с «реальными» ER,

- сниженная вычислительная сложность по сравнению с «реальным» вычислением ER,

- адаптация картины ER в зависимости от физических свойств помещения,

- отсутствие необходимости конкретных навыков и опыта в звукоинженерии для установки необходимых параметров,

- различные картины ER для «в помещении» и «вне помещений»,

- не требуется дополнительная вспомогательная информация (для сценария с использованием кодера/потока битов/модуля рендеринга, включающего в себя передачу потока битов), в случае если заданные картины не вычисляются в модуле рендеринга,

- требуется очень небольшой объем дополнительной вспомогательной информации (для сценария с использованием кодера/потока битов/модуля рендеринга, включающего в себя передачу потока битов), в случае если заданные картины вычисляются в кодере из геометрии сцены.

Это достигается посредством использования параметризуемых, но фиксированных пространственных картин ER, которые не зависят от точной геометрии помещения. В предпочтительном варианте осуществления изобретения, картина также не зависит от положения слушателя в помещении. Вместо этого, только один (или несколько) глобальных характеристических параметров используются для конфигурирования картины ER. Таким образом, картина может рендерироваться чрезвычайно эффективно.

В следующих новых картинах ER согласно изобретению, в частности, используются акустические параметры помещения, такие как RT60, время предварительной задержки, размеры помещения или объем помещения, частотная зависимость RT60 для конфигурации картин. Картина ER определяется с возможностью формирования (временно) сглаженный переход между прямым звуком и поздней реверберацией. Он должен иметь нейтральный тембр. Он зависит от объема и поверхности помещения. Он не зависит от положения источника и приемника в помещении.

Задача изобретения состоит в формировании достаточно правдоподобного и убедительного восприятия слушателем, подходящего для всех акустических параметров помещения. Этого достаточно для большинства вариантов использования, тем более, что слушатель не имеет возможности прямого сравнения с рендерингом «реального» физически корректного ER.

Раскрытие изобретения

В соответствии с первым аспектом настоящего изобретения, авторы настоящей заявки осознали, что одна проблема, с которой сталкиваются при попытке использовать рендеринг ранних отражений (ER) аудиосигнала, является следствием того факта, что ранние отражения зависят от взаимосвязи между положением источника и положением слушателя. Авторы изобретения обнаружили, что можно рассматривать независимую от положения источников картину ER, например, без отражения от пола; так что рендеринг ER становится проще, тогда как результат рендеринга по-прежнему является достаточно хорошим. Часть ранних отражений импульсного отклика в помещении, используемого для рендеринга, определяется исключительно посредством картины ранних отражений.

Пространственная взаимосвязь между источником звука и слушателем не рассматривается для части ранних отражений импульсного отклика в помещении. Кроме того, положения ранних отражений в картине ранних отражений являются инвариантными относительно изменений ориентации головы слушателя. Это основано на выводе о том, что для определения части ранних отражений импульсного отклика в помещении может использоваться одинаковая картина ER независимо от того, смотрит ли слушатель на источник звука или в любом другом направлении.

Соответственно, в соответствии с первым аспектом настоящей заявки, устройство для рендеринга звука выполнено с возможностью приема информации о положении слушателя и положении источника звука. Устройство выполнено с возможностью рендеринга аудиосигнала источника звука с использованием импульсного отклика в помещении, часть ранних отражений которого определяется исключительно картиной ранних отражений. Картина ранних отражений указывает созвездие; например, созвездие должно обозначать набор положений наряду с заданием их взаимного размещения с точки зрения углов между линиями, соединяющими положения; синонимичный термин должен представлять собой «картину» положений ранних отражений. Картина ранних отражений размещается в положении слушателя таким образом, что положения ранних отражений расположены вокруг положения слушателя и в угловых направлениях от положения слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя, т.е. созвездие размещается с возможностью перемещения в пространстве в положении слушателя.

В соответствии со вторым аспектом настоящего изобретения, авторы настоящей заявки обнаружили, что одна проблема, которая встречается при попытке использования рендеринга ранних отражений (ER) аудиосигнала, является следствием того факта, что картины ранних отражений для окружений вне помещений являются в значительной степени индивидуальными и зависят от физической конфигурации сцены. Авторы изобретения обнаружили, что картина ER, сформированная с использованием умеренного анализа окружения, может в результате приводить к акустически убедительному, но вычислительно умеренному результату рендеринга ER.

Соответственно, в соответствии со вторым аспектом настоящей заявки, устройство для определения картины ранних отражений для воспроизведения звука выполнено с возможностью выполнения геометрического анализа акустического окружения посредством определения функции в каждом из одной или более аналитических положений, указывающей для каждого из различных расстояний от соответствующего аналитического положения значение, представляющее вклад ранних отражений; и посредством проверки функции или дополнительной функции, извлекаемой из нее, относительно одного или более максимумов, чтобы извлекать один или более управляющих параметров. Кроме того, устройство выполнено с возможностью определения картины ранних отражений, который указывает созвездие положений ранних отражений, посредством размещения положений ранних отражений с использованием одного или более управляющих параметров.

В соответствии с третьим аспектом настоящего изобретения, авторы настоящей заявки обнаружили, что одна проблема, которая встречается при попытке использования рендеринга ранних отражений (ER) аудиосигнала, является следствием того факта, что передача картин ранних отражений аудиосцен для рендеринга может приводить к высоким затратам на передачу служебных сигналов.

Авторы изобретения обнаружили, что картина ER может формироваться посредством использования подсказок в потоке битов, в результате приводящих к акустически убедительному, но вычислительно умеренному результату рендеринга ER. За счет использования только подсказок в потоке битов, затраты на передачу служебных сигналов могут уменьшаться, поскольку не обязательно передавать полную картину ER.

Соответственно, в соответствии с третьим аспектом настоящей заявки, устройство для рендеринга звука выполнено с возможностью приема первой информации о положении слушателя и положении источника звука. Устройство выполнено с возможностью приема потока битов, содержащего, например, представление аудиосигнала источника звука, расположенного в положении источника звука, и один или более параметров картины ранних отражений, и считывания их из него. Например, поток битов представляет собой поток битов аудиоданных с параметром ранних отражений в поле заголовка или метаданных потока битов либо поток форматов файлов с параметром ранних отражений в пакете потока форматов файлов и дорожкой потока форматов файлов, содержащей поток битов аудиоданных, представляющий аудиосигнал. Кроме того, устройство выполнено с возможностью определения картины ранних отражений, который указывает созвездие положений ранних отражений, в зависимости от одного или более параметров картины ранних отражений. Кроме того, устройство выполнено с возможностью рендеринга аудиосигнала источника звука с использованием импульсного отклика в помещении, часть ранних отражений которого определяется посредством картины ранних отражений. Картина ранних отражений указывает созвездие, например, созвездие должно обозначать набор положений наряду с заданием их взаимного размещения с точки зрения углов между линиями, соединяющими положения; синонимичный термин должен представлять собой «картину» положений ранних отражений. Картина ранних отражений размещается в положении слушателя таким образом, что положения ранних отражений расположены вокруг положения слушателя и в угловых направлениях от положения слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя, т.е. созвездие размещается с возможностью перемещения в пространстве в положении слушателя.

В соответствии с четвертым аспектом настоящего изобретения, авторы настоящей заявки осознали, что одна проблема, с которой сталкиваются при попытке использовать рендеринг ранних отражении (ER) аудиосигнала, является следствием того факта, что огромный объем вычислений должен проводиться для определения каждого отражения от источника к слушателю, с учетом геометрии стен, загораживающих объектов и других эффектов для вычисления физически точной картины отражений. Авторы изобретения обнаружили, что для определения числа положений ранних отражений в картине ранних отражений могут использоваться простые акустические параметры помещения, такие как размер помещения, объем помещения или предварительная задержка. Не требуется анализировать реальное раннее отражение сцены, поскольку ранние отражения могут аппроксимироваться в зависимости от акустического параметра помещения. Авторы изобретения обнаружили, что формирование картин ER посредством зависимости числа ER от акустического параметра помещения в результате приводит к акустически убедительному, но вычислительно умеренному результату рендеринга ER.

Соответственно, в соответствии с четвертым аспектом настоящей заявки, устройство для определения картины ранних отражений для воспроизведения звука выполнено с возможностью приема по меньшей мере одного акустического параметра помещения, который представляет акустическую характеристику акустического окружения. Устройство выполнено с возможностью определения картины ранних отражений, который указывает созвездие положений ранних отражений, таким образом, что число положений ранних отражений зависит по меньшей мере от одного акустического параметра помещения.

В соответствии с пятым аспектом настоящего изобретения, авторы настоящей заявки осознали, что одна проблема, с которой сталкиваются при попытке использовать рендеринг ранних отражений (ER) аудиосигнала, является следствием того факта, что каждый источник ассоциирован с другой картиной ранних отражений. Авторы изобретения обнаружили, что не обязательно использовать различные картины ER для сигналов различных источников. Это основано на такой идее, что сигналы могут взвешиваться и суммироваться в зависимости от взаимосвязи источников и слушателя таким образом, что только взвешенная сумма аудиосигналов рендерируется на основе картины ER. Авторы изобретения обнаружили, что воспроизведение ER посредством использования картины ER более чем для одного источника звука в результате приводит к акустически убедительному, но вычислительно умеренному результату рендеринга ER.

Соответственно, в соответствии с пятым аспектом настоящей заявки, устройство для рендеринга звука выполнено с возможностью приема информации о положении слушателя, положении первого источника звука и положении второго источника звука. Устройство выполнено с возможностью рендеринга аудиосигнала двух источников звука с использованием импульсного отклика в помещении, часть ранних отражений которого определяется картиной ранних отражений. Картина ранних отражений указывает созвездие, например, созвездие должно обозначать набор положений наряду с заданием их взаимного размещения с точки зрения углов между линиями, соединяющими положения; синонимичный термин должен представлять собой «картину» положений ранних отражений. Картина ранних отражений размещается в положении слушателя таким образом, что положения ранних отражений расположены вокруг положения слушателя и в угловых направлениях от положения слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя, т.е. созвездие размещается с возможностью перемещения в пространстве в положении слушателя. Устройство выполнено с возможностью рендеринга аудиосигналов двух источников звука посредством формирования взвешенной суммы первого аудиосигнала первого источника звука, расположенного в положении первого источника звука, и второго аудиосигнала второго источника звука, расположенного в положении второго источника звука. Взвешенная сумма взвешивает первый аудиосигнал больше второго аудиосигнала, если первое расстояние между положением первого источника звука и положением слушателя меньше второго расстояния между положением второго источника звука и положением слушателя, и взвешивает второй аудиосигнал больше первого аудиосигнала, если первое расстояние больше второго расстояния. Кроме того, устройство выполнено с возможностью рендеринга аудиосигналов двух источников звука посредством формирования сигналов громкоговорителей с вкладом ранних отражений, связанных с частью ранних отражений импульсного отклика в помещении, посредством рендеринга взвешенной суммы из положений ранних отражений.

В соответствии с шестым аспектом настоящего изобретения, авторы настоящей заявки осознали, что одна проблема, с которой сталкиваются при попытке использовать рендеринг ранних отражений (ER) аудиосигнала, является следствием того факта, что для определения каждого отражения от источника к слушателю с учетом геометрии стен, загораживающих объектов и других эффектов для вычисления физически точной картины отражений должен проводиться огромный объем вычислений. Авторы изобретения обнаружили, что для параметризации функции, определяющей положения ранних отражений, могут использоваться простые акустические параметры помещения, такие как размер помещения, объем помещения или предварительная задержка. Не требуется анализировать реальное раннее отражение сцены, поскольку ранние отражения могут аппроксимироваться в зависимости от акустического параметра помещения. Дополнительно обнаружено, что спиральные функции обеспечивают хорошее распределение положений ранних отражений. Авторы изобретения обнаружили, что формирование картин ER с использованием одной или более спиральных функций в результате приводит к перцепционно убедительному, но вычислительно умеренному результату рендеринга ER.

Соответственно, в соответствии с шестым аспектом настоящей заявки, устройство для определения картины ранних отражений для воспроизведения звука выполнено с возможностью приема по меньшей мере одного акустического параметра помещения, который представляет акустическую характеристику акустического окружения, и определения картины ранних отражений, которая указывает созвездие положений ранних отражений, посредством параметризации одной или более спиральных функций, центрированных в положении слушателя, и размещения положения ранних отражений с использованием одной или более спиральных функций.

Краткое описание чертежей

Чертежи не обязательно выполнены в масштабе, вместо этого акцент делается в общем на иллюстрации принципов изобретения. В нижеприведенном описании различные варианты осуществления изобретения описаны с обращением к нижеприведенным чертежам, на которых:

Фиг. 1 показывает вариант осуществления картины ранних отражений;

Фиг. 2 показывает вариант осуществления картины ранних отражений, определенной с использованием спиральных функций;

Фиг. 3 показывает вариант осуществления картины ранних отражений согласно а) времени, b) пространственному виду сверху и с) частотной зависимости;

Фиг. 4 показывает межуровневую взаимосвязь между слушателем, прямым источником и отражениями;

Фиг. 5 показывает реализацию простого алгоритма ER в кодере/декодере/модуле рендеринга;

Фиг. 6 показывает устройство для определения картины ранних отражений посредством анализа окружения;

Фиг. 7 показывает пространственный вид сверху варианта осуществления картины ER с четырьмя положениями ранних отражений;

Фиг. 8 показывает геометрический анализ сцен вне помещений;

Фиг. 9 показывает ячеистую сетку аналитических точек;

Фиг. 10 показывает распределение площади отражающей поверхности с расстоянием, усредненной по нескольким аналитическим точкам;

Фиг. 11а показывает первый вариант осуществления картины ER вне помещений;

Фиг. 11b показывает второй вариант осуществления картины ER вне помещений;

Фиг. 12 показывает уменьшение амплитуды с расстоянием точечного источника для различных значений distAlpha;

Фиг. 13 показывает блок-схему, иллюстрирующую суммирование различных аудиоисточников в один сигнал источника со взвешиванием расстояния;

Фиг. 14 показывает межуровневую взаимосвязь между слушателем, двумя прямыми источниками и суммированными отражениями;

Фиг. 15 примерно иллюстрирует общий процесс рендеринга;

Фиг. 16 показывает вариант осуществления устройства для рендеринга звука;

Фиг. 17 показывает вариант осуществления устройства для рендеринга звука с использованием параметра картины ER;

Фиг. 18 показывает вариант осуществления устройства для определения картины ER в зависимости от акустического параметра помещения;

Фиг. 19 показывает вариант осуществления устройства для рендеринга взвешенной суммы двух или более сигналов источников;

Фиг. 20 показывает вариант осуществления устройства для определения картины ER с использованием спиральных функций;

Фиг. 21 показывает пример для монофонического RIR второго порядка, сформированного с помощью программы RAVEN акустической имитации помещения;

Фиг. 22 показывает RIR с прямым звуком и поздней реверберацией, начинающейся во время предварительной задержки в 0,13 с, без ER;

Фиг. 23 показывает RIR с отражениями первого порядка и поздней реверберацией (слева), вид сверху (справа);

Фиг. 24 показывает RIR с двумя отражениями рядом с прямым звуком (слева), вид сверху (справа); и

Фиг. 25 показывает RIR с картиной "SPAT" (слева), вид сверху (справа).

Осуществление изобретения

Одинаковые или эквивалентные элементы или элементы с одинаковой или эквивалентной функциональностью обозначены в нижеприведенном описании одинаковыми или эквивалентными ссылочными позициями, даже если они присутствуют на различных чертежах.

В нижеприведенном описании приведено множество подробностей для обеспечения более полного пояснения вариантов осуществления настоящего изобретения. Тем не менее, специалистам в данной области техники должно быть очевидным, что варианты осуществления настоящего изобретения могут быть использованы на практике без этих конкретных деталей. В других случаях, известные структуры и устройства показаны в форме блок-схемы, а не подробно, чтобы не затруднять понимание вариантов осуществления настоящего изобретения. Помимо этого, признаки различных вариантов осуществления, описанных далее, могут комбинироваться между собой, если прямо не указано иное.

Ниже по тексту описаны различные примеры, которые могут помочь в достижении уменьшенной сложности рендеринга аудиоданных при использовании концепций обработки ранних отражений. Поясняемые в данном документе упрощенные концепции обработки ранних отражений могут быть добавлены в другие концепции обработки ранних отражений, например, эвристически спроектированные, либо могут быть предусмотрены в отдельности.

Чтобы упростить понимание нижеприведенных вариантов осуществления настоящей заявки, описание начинается с общего представления картины 1 ранних отражений, согласно варианту осуществления изобретения. Признаки, описанные в отношении картины 1 ранних отражений на фиг.1, также могут применяться к любой другой описанной в данном документе картине 1 ранних отражений.

Картина 1 ранних отражений указывает созвездие положений ERP ранних отражений, см. ERP₁ и ERP₂. Например, созвездие должно обозначать набор положений ERP наряду с определением их взаимного расположения, например, с точки зрения углов α между линиями, соединяющими положения с центром 2 картины 1. Синонимичным термином для созвездия должна быть «картина».

Положения ERP ранних отражений, т.е. положения ранних отражений, могут указывать или идентифицировать положения в окружении 5, например, в помещении в помещениях либо в зоне вне помещений, в котором могут возникать ранние отражения аудиосигнала. Например, слушатель, расположенный в центре 2 картины 1 ранних отражений, может воспринимать ранние отражения, исходящие из положений ERP ранних отражений. Иными словами, положения ERP ранних отражений могут указывать положения, из которых слушатель, расположенный в центре картины 1 ранних отражений, принимает ранние отражения.

Картина 1 ранних отражений, например, расположена в положении 10 слушателя таким образом, что положения ERP ранних отражений расположены вокруг положения 10 слушателя и в угловых направлениях от положения 10 слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя, т.е. созвездие размещается с возможностью перемещения в пространстве в положении 10 слушателя. Например, положения ERP ранних отражений могут определяться таким образом, что они распределяются по существу равномерно в угловом направлении вокруг положения 10 слушателя.

Согласно варианту осуществления, картины 1 ранних отражений, т.е. положения ERP ранних отражений, могут определяться таким образом, что соединительные линии, см. 7 и 8 на фиг.1, между соответствующим положением ERP1/ERP2 раннего отражения и положением 10 слушателя взаимно не перекрываются, т.е. являются взаимно отличающимися. Это обеспечивает возможность равномерного распределения и предотвращает накопление положений ранних отражений в окружении 5.

Как показано на фиг.1, центр 2 картины 1 ранних отражений может быть расположен в положении 10 слушателя. Центр 2 картины 1 ранних отражений может быть связан с положением 10 слушателя, и картина 1 ранних отражений может перемещаться в пространстве вместе со слушателем. Тем не менее, вращательное перемещение слушателя не должно изменять положения ERP ранних отражений, т.е. картина 1 ранних отражений не должна следовать за вращательным движением слушателя.

Согласно варианту осуществления, положения ERP ранних отражений находятся в горизонтальной плоскости наряду с положением 10 слушателя.

Согласно варианту осуществления, устройство для рендеринга аудиоданных или для формирования картины 1 ранних отражений может быть выполнено с возможностью определения положений ERP ранних отражений с регулированием азимутального вращения созвездия согласно параметру азимута картины в потоке битов, содержащем представление аудиосигнала, который должен рендерироваться. Другими словами, полная картина 1 ранних отражений может вращаться, чтобы лучше аппроксимировать реальные ранние отражения, например, в определенном окружении 5. Это азимутальное вращение не выполняется в ответ на перемещения, например, на вращательное перемещение слушателя. Это регулирование азимутального вращения созвездия может выполняться при начальном определении картины 1 ранних отражений. После того как картина 1 ранних отражений определяется, все положения ERP ранних отражений могут только подвергаться равному поступательному перемещению в пространстве в ответ на поступательное перемещение в пространстве положения 10 слушателя. Конфигурация положений ERP ранних отражений относительно центра 2 картины 1 может определяться с использованием регулирования азимутального вращения созвездия. После того как картина 1 определена, она может более не регулироваться, т.е. перемещение положения слушателя не изменяет относительную конфигурацию между положениями ERP ранних отражений и центром 2 картины 1.

Согласно варианту осуществления по меньшей мере один акустический параметр помещения, который представляет акустическую характеристику акустического окружения, может рассматриваться при определении картины ранних отражений. По меньшей мере один акустический параметр помещения содержит одно или более из размеров помещения, объема помещения и времени предварительной задержки до поздней реверберации.

Предпочтительно по меньшей мере один акустический параметр помещения содержит только одну из этих акустических характеристик акустического окружения. По меньшей мере один акустический параметр помещения может приниматься или считываться из потока битов, например, из потока битов, содержащего представление аудиосигнала, который должен рендерироваться с использованием картины 1 ранних отражений.

Согласно варианту осуществления, картина 1 ранних отражений может определяться таким образом, что число положений ранних отражений зависит по меньшей мере от одного акустического параметра помещения, и/или таким образом, что удаление друг от друга положений ранних отражений варьируется/адаптируется по меньшей мере в зависимости от одного акустического параметра помещения. Например, удаление друг от друга положений ранних отражений варьируется посредством центрального расширения, центрированного в положении слушателя.

Согласно варианту осуществления, число положений ERP ранних отражений картины 1 может определяться таким образом, что:

- число и/или самое дальнее положение раннего отражения от положения слушателя тем больше, чем больше размеры помещения, или

- число и/или самое дальнее положение раннего отражения от положения слушателя тем больше, чем больше объем помещения, или

- число и/или самое дальнее положение раннего отражения от положения слушателя тем больше, чем больше время предварительной задержки до поздней реверберации.

Под «самым дальним положением раннего отражения от положения слушателя» понимается «расстояние от максимально удаленного положения из положений ранних отражений до положения слушателя». Согласно варианту осуществления, положения ERP ранних отражений расположены около центра 2 картины 1, и чем больше положений ERP ранних отражений состоят из картины 1, тем дальше самое дальнее положение раннего отражения находится от центра 2.

Согласно варианту осуществления, удаление друг от друга положений ERP ранних отражений может варьироваться/адаптироваться по меньшей мере в зависимости от одного акустического параметра помещения посредством равномерного увеличения расстояния от каждой из положений ERP ранних отражений до центра 2 с увеличением размеров помещения, объема помещения или времени предварительной задержки до поздней реверберации. При необходимости, удаление друг от друга положений ERP ранних отражений может варьироваться/адаптироваться по меньшей мере в зависимости от одного акустического параметра помещения таким образом, что расстояние от максимально удаленного положения из положений ERP ранних отражений до положения 10 слушателя тем больше, чем больше размеры помещения, или чем больше объем помещения, или чем больше время предварительной задержки до поздней реверберации, причем расстояние меньше времени предварительной задержки. Это обеспечивает возможность равномерного распределения положений ERP ранних отражений и в силу этого акустически убедительного результата рендеринга ER. Может быть преимущественным, если расстояние от максимально удаленного положения из положений ERP ранних отражений до положения 10 слушателя увеличивается больше расстояния от ближайшего удаленного положения из положений ERP ранних отражений до положения 10 слушателя с увеличением размеров помещения, объема помещения или времени предварительной задержки до поздней реверберации.

Фиг. 2 показывает вариант осуществления картины 1 ранних отражений, применимого для обработки ранних отражений аудиосигнала. Картина 1 ранних отражений содержит положения ERP ранних отражений, см. ERP1₁-ERP1₅ (ERP1) и ERP2₁-ERP2₅ (ERP2) на фиг.2. Фиг. 2 примерно показывает 10 положений ERP ранних отражений. Тем не менее, очевидно, что картина 1 ранних отражений может содержать другое число положений ERP ранних отражений. Картина 1 ранних отражений может содержать две или более положений ERP ранних отражений, например, только положение ERP1₁ и ERP2₁ раннего отражения.

Как показано на фиг.2, две спиральных функции 3 и 4, центрированные в положении слушателя, т.е. в центре 2, могут определять положения ранних отражений, т.е. положения ERP ранних отражений, например, в окружении 5. Тем не менее, очевидно, что, в качестве альтернативы, положения ранних отражений могут определяться только одной спиральной функцией 3 или 4 либо более чем двумя спиральными функциями. Устройство для рендеринга аудиоданных или для формирования картины 1 ранних отражений может быть выполнено с возможностью размещения положений ERP ранних отражений с использованием одной или более спиральных функций 3, 4 для определения картины 1 ранних отражений в окружении 5. Например, соответствующее устройство может быть выполнено с возможностью размещения первого набора положений ERP1 ранних отражений, см. ERP1₁-ERP1₅, с использованием первой спиральной функции 3, и второго набора положений ERP2 ранних отражений, см. ERP2₁-ERP2₅, с использованием второй спиральной функции 4.

Каждая из первого набора положений ERP1 ранних отражений ассоциирована с соответствующим положением раннего отражения из второго набора положений ERP2 ранних отражений. Например, положение ERP1₁ раннего отражения может быть ассоциировано с соответствующим положением ERP2₁ раннего отражения, положение ERP1₂ раннего отражения может быть ассоциировано с соответствующим положением ERP2₂ раннего отражения, положение ERP1₃ раннего отражения может быть ассоциировано с соответствующим положением ERP2₃ раннего отражения, положение ERP1₄ раннего отражения может быть ассоциировано с соответствующим положением ERP2₄ раннего отражения, и положение ERP1₅ раннего отражения может быть ассоциировано с соответствующим положением ERP2₅ раннего отражения. Для каждой из первого набора положений ERP1 ранних отражений, соответствующее положение ERP1 раннего отражения расположено на противоположной стороне линии, перпендикулярно пересекающей соединительную линию между соответствующим положением ERP1 раннего отражения и соответствующим положением ERP2 раннего отражения из второго набора положений ERP2 ранних отражений. Это обеспечивает то, что слушатель принимает ранние отражения из различных направлений и предотвращает накопление положений ранних отражений в одной зоне. Это расположение с использованием спиральных функций обеспечивает равномерное распределение положений ранних отражений в окружении 5, в результате приводя к акустически убедительному, но вычислительно умеренному результату рендеринга ранних отражений аудиосигнала.

Фиг. 2 показывает пример, в котором, для каждой из первого набора положений ERP1 ранних отражений, соответствующее положение ERP2 раннего отражения из второго набора положений ERP2 ранних отражений смещается в угловом направлении относительно соединительной линии в угловом направлении, которое является общим для всех положений ERP1 ранних отражений из первого набора положений ERP1 ранних отражений.

Согласно варианту осуществления, устройство для рендеринга аудиоданных или для формирования картины 1 ранних отражений может быть выполнено с возможностью размещения положений ERP1 и ERP2 ранних отражений с использованием двух спиральных функций 3 и 4:

- так что каждая из первого набора положений ERP1 ранних отражений ассоциировано с соответствующим положением раннего отражения из второго набора ранних отражений ERP2, и

- так что для каждой из первого набора положений ERP1 ранних отражений, соответствующее положение ERP1 раннего отражения расположено на стороне соответствующей линии, перпендикулярно пересекающей в центре 2 картины ось, проходящую через центр 2 картины и соответствующее положение ERP1 раннего отражения из первого набора положений ERP1 ранних отражений, и так что связанное соответствующее положение ERP2 раннего отражения из второго набора ранних отражений ERP2 расположено на противоположной стороне соответствующей линии, и

- так что связанное соответствующее положение ERP2 раннего отражения из второго набора положений ERP2 ранних отражений смещается в угловом направлении (см. γ для соответствующих положений ERP1₁ и ERP2₁ ранних отражений) относительно соответствующей оси в угловом направлении, которое является общим для всех положений ERP1 ранних отражений из первого набора положений ERP1 ранних отражений и/или которое является общим для всех положений ERP2 ранних отражений из второго набора положений ERP2 ранних отражений.

Одна или более спиральных функций 3, 4 могут определять положения ERP ранних отражений в полярных координатах (r, β), см. (r1_1-5, β1_1-5) для определения положения ERP1 раннего отражения из первого набора положений ERP1 ранних отражений и (r2_1-5, β2_1-5) для определения положения ERP2 раннего отражения из второго набора положений ERP2 ранних отражений.

Как подробнее описано ниже, см., в частности, раздел 1 «Вычисление параметров ER в помещениях», одна или боле спиральных функций 3, 4 могут параметризоваться по меньшей мере в зависимости от одного акустического параметра помещения, т.е. соответствующая спиральная функция 3, 4 определяет соответствующие положения ERP ранних отражений по меньшей мере в зависимости от одного акустического параметра помещения. По меньшей мере один акустический параметр помещения содержит одно или более из размеров помещения, объема помещения и времени предварительной задержки до поздней реверберации. По меньшей мере один акустический параметр помещения может представлять акустическую характеристику акустического окружения 5.

Например, одна или более спиральных функций 3, 4 могут параметризоваться по меньшей мере в зависимости от одного акустического параметра помещения:

- так что число положений ERP ранних отражений тем больше, чем больше размеры помещения, или тем больше, чем больше объем помещения, или тем больше, чем больше время предварительной задержки до поздней реверберации; и/или

- так что для каждой из положений ERP ранних отражений, расстояние от соответствующего положения ERP раннего отражения до центра 2 картины 1 ранних отражений тем больше, чем больше размеры помещения, или тем больше, чем больше объем помещения, или тем больше, чем больше время предварительной задержки до поздней реверберации.

Согласно варианту осуществления, устройство для рендеринга аудиоданных или для формирования картины 1 ранних отражений может быть выполнено с возможностью параметризации одной или более спиральных функций и определения числа положений ERP ранних отражений таким образом, что расстояние от максимально удаленного положения из положений ранних отражений до положения слушателя тем больше, чем больше размеры помещения, или чем больше объем помещения, или чем больше время предварительной задержки до поздней реверберации, причем расстояние меньше времени предварительной задержки.

Согласно варианту осуществления, устройство для рендеринга аудиоданных или для формирования картины 1 ранних отражений может быть выполнено с возможностью поддержки различных определений картины ранних отражений. Устройство для рендеринга аудиоданных или для формирования картины 1 ранних отражений может быть выполнено с возможностью выбора типа определения в зависимости от окружения 5. Например, определение, например, первое определение, картины 1 ранних отражений с использованием одной или более спиральных функций 3, 4 и/или определение, например, первое определение, картины 1 ранних отражений таким образом, что число положений ранних отражений зависит по меньшей мере от одного акустического параметра помещения, может быть ассоциировано с окружением в помещениях, таким как помещение, см., в частности, раздел 1 «Вычисление параметров ER в помещениях». Это определение, например, первое определение, может выбираться в случае акустического окружения 5, представляющего собой окружение в помещениях, либо в случае индекса типа картины в потоке битов, содержащем представление аудиосигнала, который должен рендерироваться при условии заданного состояния. Альтернативное определение, например, второе определение, подробнее описано в разделе 3 «Картина ER вне помещений».

Как уже описано выше, одна из новых картин ER 1 согласно изобретению в помещениях состоит из двух спиралей, см. фиг.3. Эта картина 1 имеет преимущество в том, что она покрывает все направления вокруг слушателя 10 при обеспечении равномерного распределения во времени без кластеризации. Число ранних отражений (ER) может адаптироваться к размеру помещения, который также может извлекаться из предварительной задержки для поздней реверберации. Частотная зависимость RT60 также может определять частотную зависимость ER. RT60 или средний коэффициент поглощения определяет дополнительное усиление помимо нормального воздействия расстояния. Из частотной зависимости RT60 для адаптации частотного отклика ранних отражений к общему поведению при поглощении, описанному посредством RT60, вычисляется простой полочный фильтр. Фиг. 3 показывает новую картину ER 1 согласно а) времени, b) пространственному виду сверху, с) частотной зависимости.

1. Вычисление параметров ER в помещениях

Нижеприведенное описание вычисления параметров ER в помещениях приведено с обращением к фиг.2 и фиг.3.

Переменные параметры для спиральной картины, т.е. для первой спиральной функции 3 и для второй спиральной функции 4, главным образом определяются посредством времени предварительной задержки. Например, используется время предварительной задержки до поздней реверберации, например:

Параметры определяются в зависимости от предварительной задержки помещения, которая определяет начало поздней реверберации и вычисляется с помощью уравнения 1:

NumER представляет число положений ранних отражений.

Первая спиральная функция 3 и вторая спиральная функция 4 могут использоваться таким образом, что первый набор положений ERP1 ранних отражений определяется в полярных координатах в качестве (r1; β1), и второй набор положений ERP2 ранних отражений определяется в полярных координатах в качестве (r2; β2). Вычисление азимута и радиуса положений ER с двумя спиральными картинами:

Константа distfactor может соответствовать вышеуказанной константе distFac. Согласно варианту осуществления, distfactor может определяться на основе по меньшей мере акустического параметра помещения, например, distfactor может определяться таким образом, что она тем больше, чем больше время предварительной задержки до поздней реверберации.

Как можно видеть на фиг.2. полярная ось 6 проходит через центр 2 картины 1 ранних отражений. Начало координат, т.е. центр 2, картины 1 ранних отражений представляет полюс. Луч проходит из полюса в опорном направлении, т.е. представляющего полярную ось 6, так что азимут β1_(1-5), определяющий угловую координату положений ERB1_(1-5) ранних отражений из первого набора положений ERB1 ранних отражений, и азимут β2_(1-5), определяющий угловую координату положений ERB2_(1-5) ранних отражений из второго набора положений ERB2 ранних отражений, представляют углы от полярной оси 6. Координаты радиуса положений ERP1 ранних отражений направлены в опорном направлении, и координаты радиуса положении ERP ранних отражений направлены в направлении, противоположном опорному направлению, см. фиг.2 и уравнение 4 и уравнение 5.

Устройство для рендеринга звука может быть выполнено с возможностью формирования сигналов громкоговорителей с вкладом ранних отражений, связанных с частью ранних отражений импульсного отклика в помещении, посредством выполнения воспроизведения аудиосигнала одного или более источников звука из положений ERP ранних отражений, например, за счет регулирования уровня согласно расстоянию от соответствующего положения раннего отражения до положения слушателя, например, см. определение amp1 и amp2 выше. Например, для каждой из первого набора положений ERB1 ранних отражений, аудиосигнал источника звука рендерируется из соответствующего положения ERB1 раннего отражения на уровне amp1, и для каждой из второго набора положений ERB2 ранних отражений, аудиосигнал источника звука рендерируется из соответствующего положения ERB2 раннего отражения на уровне amp2.

Амплитуда отражений зависит от нескольких воздействующих параметров:

a) Стандартный закон расстояния (уменьшение на коэффициент 2 в расчете на удвоение расстояния).

b) Коррекция следующим образом:

где slDistance представляет расстояния между источником и слушателем, члены ampFac и absorption представляют константы.

Как видно на фиг.4, представляет собой межуровневую взаимосвязь между отражениями, и уровень прямых источников является фиксированным. Уровень показанных здесь пяти источников (одного прямого источника и четырех ранних отражений) поднимается и опускается относительно расстояния между источником и слушателем (sl-расстояния). Фиг. 4 показывает межуровневую взаимосвязь между слушателем, прямым источником и отражениями.

Рендеринг аудиосигнала источника звука из каждого положения раннего отражения за счет регулирования уровня согласно расстоянию от соответствующего положения раннего отражения до положения слушателя может выполняться посредством:

- смещения 20 уровня, на котором аудиосигнал источника звука рендерируется из соответствующего положения раннего отражения, с использованием смещения уровня, либо его усиления с коэффициентом уровня, причем это смещение или коэффициент является общим для всех положений ранних отражений, и

- задания смещения уровня или коэффициента уровня согласно коэффициенту коррекции амплитуды (см. уравнение 6).

Например, для каждой из первого набора положений ERB1 ранних отражений, уровень amp1, на котором аудиосигнал источника звука рендерируется из соответствующего положения ERB1 раннего отражения, смещается на ampCorrection (см. уравнение 6), и для каждой из второго набора положений ERB2 ранних отражений, уровня amp2, на котором аудиосигнал источника звука рендерируется из соответствующего положения ERB2 раннего отражения, смещается на ampCorrection (см. уравнение 6). Коэффициент коррекции амплитуды, т.е. ampCorrection из уравнения 6, может содержаться в потоке битов, содержащем представление аудиосигнала. Согласно варианту осуществления, коэффициент коррекции амплитуды содержится в одном или более параметров картины ранних отражений.

Согласно варианту осуществления, рендеринг аудиосигнала источника звука из каждого положения раннего отражения за счет регулирования уровня согласно расстоянию от соответствующего положения раннего отражения до положения слушателя может выполняться посредством модификации регулирования уровня согласно расстоянию от соответствующего положения раннего отражения до положения слушателя относительно регулирования уровня, используемого посредством устройства для рендеринга аудиосигнала, из положения источника звука согласно ослаблению (amp1 и amp2) в зависимости от расстояния. Ослабление в зависимости от расстояния может содержаться в потоке битов, содержащем представление аудиосигнала. Согласно варианту осуществления, ослабление содержится в одном или более параметрах картины ранних отражений.

Как можно видеть на фиг.4, при рендеринге, уровень, на котором аудиосигнал источника звука рендерируется из соответствующего положения раннего отражения, смещается (20), при этом для всех положений ERP ранних отражений картины 1 ранних отражений применяется равное смещение. Кроме того, при рендеринге, уровень, на котором аудиосигнал источника звука рендерируется из соответствующего положения раннего отражения, может ослабляться в зависимости от расстояния между соответствующим положением раннего отражения и слушателем, например, с использованием скорректированного закона расстояния.

Как описано выше для аудиосигнала одного источника звука, также можно применять эту технологию рендеринга к двум или более аудиосигналам двух или более источников звука, при этом специальный рендеринг применяется к взвешенной сумме двух или более аудиосигналов. Вычисление взвешенной суммы подробнее описано в разделе 5.

2. Реализация в системе VR

Фиг. 5 представляет структограммную схему простого программного алгоритма ER в окружении кодера/декодера. Фиг. 5 показывает реализацию простого алгоритма ER в кодере и декодере/модуле рендеринга. Во-первых, принимается решение в отношении того, используется ли заданная картина ER. Следующее решение предназначено для картины ER в помещениях и вне помещений. Для картины в помещениях не должны передаваться дополнительные параметры. Картина ER вычисляется из уже существующих параметров акустической сцены. Для картины вне помещений, геометрия сцены анализируется, эти параметры передаются, и картина ER вне помещений вычисляется в декодере. Для получения дополнительных сведений, см. раздел 3. Для получения сведений по переходу из одного акустического окружения в следующее, см. раздел 4. Для получения сведений по обработке нескольких аудиоисточников в одной сцене, см. раздел 5.

3. Картина ER вне помещений

Вариант осуществления, показанный на фиг.6, относится к устройству 100 для определения картины 1 ранних отражений для воспроизведения звука, выполненному с возможностью выполнения геометрического анализа 110 акустического окружения 5 в каждом из одного или более аналитических положений 50, см. 50₁-50₅, посредством определения функции 112, указывающей для каждого из различных расстояний 114 от соответствующего аналитического положения 50 значение, представляющее вклад 116 ранних отражений. Функция 112 или дополнительная функция, извлекаемая из нее, анализируется относительно одного или более максимумов 118, чтобы извлекать один или более управляющих параметров 120. Кроме того, устройство 100 выполнено с возможностью определения картины 1 ранних отражений, которая указывает созвездие положений ERP ранних отражений, см. ERP₁-ERP₄, посредством размещения положений ранних отражений с использованием одного или более управляющих параметров. Ниже подробнее описаны признаки устройства 100.

В частности, для сцен вне помещений, но без ограничения ими, проектируется новая картина 1 с четырьмя приблизительно перекрестно расположенными ER, см. фиг.7. Фиг. 7 показывает пространственный вид сверху новой картины ER 1 с четырьмя положениями ERP₁-ERP₄ ранних отражений. Здесь различные расстояния, т.е. соответствующее расстояние между соответствующим положением раннего отражения и центром 2, могут определяться временем предварительной задержки и коэффициентом сжатия, которые извлекаются из геометрического анализа 110 сцены, т.е. окружения 5.

Использование картин ER для известных окружений вне помещений является в значительной степени индивидуальным и зависит от физической конфигурации сцены. Геометрический анализ 110, описанный далее, захватывает перцепционно важные характеристики сцены вне помещений, т.е. окружения 5, которые являются релевантными для восприятия ER:

Фиг. 8 показывает геометрический анализ сцен вне помещений. А) является видом сверху колец вокруг аналитической точки. В) является видом сбоку вокруг аналитической точки со кольцами увеличивающейся высоты. От центральной точки прослушивания, например, аналитической точки 50, расположены концентрические кольца. Площадь колец, заданная посредством радиуса и высоты, представляет максимальную возможную энергию отражения на этом расстоянии, см. фиг.8. Имеется расстояние d между кольцами (например, в 3 м). Лучи с угловым расстоянием α (например, в 6°) отправляются из аналитической точки 50. Первые поверхности, в которые они попадают, подсчитываются в существующей отражающей поверхности на этом расстоянии и суммируются по кольцу. При этом подходе можно определить функцию 112, указывающую, для каждого из различных расстояний от соответствующего аналитического положения 50, значение, представляющее вклад ранних отражений. Эта функция может определяться для каждой из аналитических точек 50.

Другими словами, акустическое окружение 5 радиально дискретизируется относительно расстояния до ближайшей отражающей поверхности, чтобы получить результат радиальной дискретизации. Кроме того, радиальное интегрирование для результата радиальной дискретизации и взвешивание результата радиальной дискретизации может выполняться таким образом, чтобы получить функцию 112. Взвешивание может выполняться согласно радиальному расстоянию таким образом, чтобы снизить вклад ранних отражений с увеличением расстояния.

Фиг. 9 показывает ячеистую сетку аналитических точек 50 при виде сверху а) и сбоку b). Штрихпунктирная линия указывает достижимую пользователем зону сцены, т.е. окружения 5. Предусмотрено определенное число аналитических точек (например, 9), расположенных во внутренней части достижимой пользователем зоны, см. фиг.9. Она представляет собой трехмерную ячеистую сетку, поскольку некоторые точки находятся внутри геометрической ячеистой сетки сцены и должны оставаться невыбранными.

Альтернативно анализу, для каждой аналитической точки, соответствующей функции 112, с точки зрения эффективности преимущественно подвергать функцию 112, определенную в одной или более аналитических положений, суммированию, например, усреднению, с тем чтобы давать в результате дополнительную функцию 112', показанную на фиг.10. Данные по всем точкам ячеистой сетки могут усредняться, и распределение может анализироваться. Оно представляет отражательную энергию вне помещений для пространства и расстояния, см. фиг.10. Фиг. 10 показывает распределение площади отражающей поверхности с расстоянием, усредненной по нескольким аналитическим точкам 50.

Как можно видеть на фиг.10, дополнительная функция 112', извлекаемая из функций, ассоциированных с отдельными аналитическими точками, проверяется относительно двух наибольших максимумов, чтобы извлекать, в качестве одного или более управляющих параметров 120, первую амплитуду a1 и первое расстояние p1 для ближайшего из двух наибольших максимумов 118₁ и вторую амплитуду а2 и второе расстояние р2 для самого дальнего из двух наибольших максимумов 118₂. В качестве альтернативы, можно извлекать, из каждой из функций, ассоциированных с отдельными аналитическими точками, один или более управляющих параметров 120.

Амплитуды a1 и а2 (вместе с их расстояниями p1 и р2), например, являются входными значениями для вычисления картины ER 1 вне помещений. Картина ER 1 вне помещений содержит четыре ER, см. фиг.11а.

Согласно варианту осуществления, показанному на фиг.11а, картина ER 1 определяется посредством:

- задания расстояний первой (ERP₁) и третьей (ERP₃) положений ранних отражений от положения 10 слушателя в зависимости от р2, и

- задания отношения, см. compFactor, между расстояниями первой (ERP₁) и третьей (ERP₃) положений ранних отражений от положения 10 слушателя, с одной стороны, и расстояниями второй (ERP₂) и четвертой (ERP₄) положений ранних отражений от положения 10 слушателя, с другой стороны, на основе частного или разности между первым членом в зависимости от a1 и вторым членом в зависимости от а2.

Фиг. 11а показывает картину ER 1 вне помещений четырех отражений, см. окружности (синие), вокруг слушателя, см. крест (красный). Расстояние р2 до второго максимума 118₂ распределения определяет расстояние до еще двух удаленных отражений, см. положения ERP1 и ERP3 ранних отражений. Коэффициент compFactor сжатия может определять расстояние между двумя более близкими отражениями, см. положения ERP2 и ERP4 ранних отражений. Взаимосвязь между амплитудами может определять коэффициент сжатия, например:

Четыре положения ERP₁ ранних отражений могут быть размещены таким образом, что они расположены в полярных координатах (r(i);

β(i)), где i=1…4.

Координаты угла могут представлять собой β(1)≈5°-15°, β(2)≈90°-110°, β(3)≈180°-200°, β(4)≈270°-290°. Согласно варианту осуществления, β≈[10,100,190,280].

Координаты радиуса могут определяться согласно уравнениям 7 и 8, при этом отклонение вплоть до 40% от вычисленного значения радиуса может быть допустимым:

где i=[1…4], slDistance (м) представляет расстояние между источником и слушателем, predelay (мс) является временем до второго пика распределения (а2), с=343 м/с представляет скорость звука.

Как можно видеть, координата радиуса положений ERP1 и ERP3 ранних отражений определяется с помощью уравнения 7, и для положений ERP2 и ERP4 ранних отражений уравнение 7 модифицируется таким образом, что оно становится уравнением 8.

Согласно варианту осуществления, показанному на фиг.11b, четыре положения ERP₁-ERP₄ ранних отражений могут размещаться таким образом, что первое (ERP₁) и второе (ERP₂) положения ранних отражений расположены на противоположных сторонах первой линии 1000, пересекающей положение 10 слушателя, и третье (ERP₃) и четвертое (ERP₄) положения ранних отражений размещаются на противоположных сторонах второй линии 2000, перпендикулярной первой линии 1000 и пересекающей положение 10 слушателя. Согласно варианту осуществления, картина ER 1 определяется посредством:

- задания расстояний первого (ERP₁) и второго (ERP₂) положений ранних отражений от положения 10 слушателя в зависимости от р2, и

- задания отношения между расстояниями первого (ERP₁) и второго (ERP₂) положений ранних отражений от положения 10 слушателя, с одной стороны, и расстояниями третьего (ERP₃) и четвертого (ERP₄) положений ранних отражений от положения 10 слушателя, с другой стороны, на основе частного или разности между первым членом в зависимости от a1 и вторым членом в зависимости от а2.

Уменьшение уровня акустического точечного источника в условиях свободного поля подчиняется 1/r-закону, согласно уменьшению амплитуды на коэффициент 2 для каждого удвоения расстояния [13]. Когда воздействие различных отражательных зон обобщается в нескольких ER, это уменьшение с расстоянием должно уменьшаться посредством экспоненциального коэффициента:

Значения distAlpha [0,5…1] могут оцениваться из распределения площадей, например, посредством:

Отклонение приблизительно в 20% от вычисленных значений distAlpha может быть допустимым.

Согласно варианту осуществления, distAlpha может определяться следующим образом:

если distAlpha<0,5; distAlpha=0,5;

если distAlpha>1,0; distAlpha=1,0.

Фиг. 12 показывает уменьшение амплитуды с расстоянием точечного источника для различных значений distAlpha.

Когда геометрический анализ выполняется в кодере, то только алгоритмические параметры: predelay, compFactor и distAlpha, должны переноситься в модуль рендеринга.

В случае если более подробный геометрический анализ приводит к картине ER, которая не может быть извлечена посредством вышеуказанных уравнений, все положения одиночных отражений и относительные амплитуды могут передаваться независимо для представления требуемой картины.

Примерные значения из геометрического анализа для различных сценариев вне помещений для вычисления картины ER:

[predelay, compFac, ampFac, distAlpha]

Поле вне помещений, окруженное скалами [144, 0,47, 2,2, 1]

Городская улица [109, 0,44, 1,0, 65]

Парк в городе [57, 0,58, 1,0, 58]

Как уже описано выше относительно фиг.2, согласно варианту осуществления, устройство для рендеринга аудиоданных или для формирования картины 1 ранних отражений может быть выполнено с возможностью поддержки различных определений картины ранних отражений. Устройство для рендеринга аудиоданных или для формирования картины 1 ранних отражений может быть выполнено с возможностью выбора типа определения в зависимости от окружения 5. Согласно варианту осуществления, первое определение может выполняться так, как описано в этом разделе, что предусматривает размещение положений ERP ранних отражений с использованием одного или более управляющих параметров 120. Первое определение может выбираться в случае акустического окружения, представляющего собой окружение вне помещений, либо в случае индекса типа картины в потоке битов, содержащем представление аудиосигнала, который должен рендерироваться при условии заданного состояния. При необходимости, второе определение может выполняться с использованием одной или более спиральных функций, как описано выше. Но очевидно, что также доступными для выбора могут быть другие типы определения.

4. Поведение в порталах

Портал описывает границу между одним акустическим окружением и следующим, между одним помещением и следующим либо между помещением и окружением свободного поля. Для плавного осуществления перехода через такие порталы предпочтительной является обработка плавного перехода между ассоциированными простыми картинами ER. Внутри области, например, с d=5 м, уровень вклада из одного акустического окружения постепенно ослабляется.

Согласно варианту осуществления, устройство для рендеринга может быть выполнено с возможностью поддержки первого способа определения картины 1 ранних отражений и второго способа определения картины 1 ранних отражений, при этом первый способ определения отличается от второго способа определения, например, см. раздел 1 и описание по фиг.2 на предмет первого способа определения и раздел 3 на предмет второго способа определения. Устройство может быть выполнено с возможностью использования первого способа определения или второго способа определения при определении картины 1 ранних отражений в зависимости от индекса типа картины. Этот индекс может содержаться в одном или более параметрах картины ранних отражений.

5. Суммирование нескольких аудиоисточников в одну картину ER

В реальном окружении, каждый аудиоисточник имеет свою отдельную картину ER, которая зависит от положения источника и приемника. При упрощенном моделировании каждый аудиоисточник в одном окружении имеет одинаковую картину ER, которая расположена вокруг слушателя. Когда источник или слушатель перемещается, расстояние между источником и слушателем изменяется, и в силу этого важная межуровневая взаимосвязь с прямым звуком изменяется. Эта межуровневая взаимосвязь должна сохраняться.

В предпочтительном варианте осуществления изобретения, это может приспосабливаться вычислительно эффективным способом, как описано на фиг.13. Фиг. 13 показывает блок-схему, иллюстрирующую суммирование различных аудиоисточников (AS1,AS2,…,) в один сигнал источника со взвешиванием расстояния. Во-первых, межуровневые взаимосвязи между различными источниками AS рассматриваются на основе значений расстояния между источником и слушателем. Затем различные аудиоисточники AS могут суммироваться в сигнал одного источника с соответствующим взвешиванием расстояния. Таким образом, должна аурализироваться только одна картина ER 1 с покрытием всех аудиоисточников AS в моделируемом окружении. Эта картина 1 следует за поперечными движениями слушателя (т.е. за перемещением в пространстве в направлении по оси X, Y, Z, но не за ориентацией головы слушателя). В частности, когда слушатель перемещается в определенном направлении, местоположения ERP ER в картинах ER 1 перемещаются со слушателем. Тем не менее, они остаются в постоянной заданной пространственной ориентации независимо от ориентации головы слушателя.

Согласно варианту осуществления, устройство для рендеринга аудиоданных или для формирования картины 1 ранних отражений может быть выполнено с возможностью рендеринга аудиосигнала двух или более источников звука с использованием импульсного отклика в помещении, часть ранних отражений которого определяется картиной ранних отражений посредством формирования взвешенной суммы первого аудиосигнала первого источника звука, расположенного в положении первого источника звука, и второго аудиосигнала второго источника звука, расположенного в положении второго источника звука, и посредством формирования сигналов громкоговорителей с вкладом ранних отражений, связанных с частью ранних отражений импульсного отклика в помещении, посредством рендеринга взвешенной суммы из положений ранних отражений. Взвешенная сумма, например, взвешивает первый аудиосигнал больше второго аудиосигнала, если первое расстояние между положением первого источника звука и положением слушателя меньше второго расстояния между положением второго источника звука и положением слушателя, и взвешивает второй аудиосигнал больше первого аудиосигнала, если первое расстояние больше второго расстояния.

Согласно варианту осуществления, сигналы громкоговорителей с вкладом ранних отражений, связанные с частью ранних отражений импульсного отклика в помещении, могут формироваться посредством рендеринга взвешенной суммы из каждого положения раннего отражения за счет регулирования уровня согласно расстоянию от соответствующего положения раннего отражения до положения слушателя.

На фиг.14 визуализируется межуровневая взаимосвязь между слушателем, двумя прямыми источниками и их отражениями. Уровень каждого прямого источника зависит от его отдельного расстояния между источником и слушателем. Они могут варьироваться отдельно. Общий уровень прямых источников вычисляется посредством суммирования индивидуальных уровней. Из этого уровня, связанные отражения вычисляются посредством их расстояний.

Фиг.14 показывает межуровневую взаимосвязь между слушателем, двумя прямыми источниками и суммированными отражениями.

Уменьшение, вызываемое посредством расстояния между источником и слушателем, является индивидуальным в расчете на источник. Имеется дополнительная ampCorrection для полной картины ER:

6. Краткий обзор

6..1 Аспекты рендеринга

Модуль рендеринга, который выполнен возможностью рендеринга картин ранник отражений в виртуальном слуковом окружении, которое:

- не зависит от подробного геометрического описания помещения, например, только размеры помещения и/или объем помещения и/или предварительная задержка до поздней реверберации могут рассматриваться,

- не зависит от отдельного местоположения источников и слушателя (имеет общую одинаковую картину ER для каждого аудиоисточника в одном окружении), только от расстояния между источником и слушателем,

- рендерируется в фиксированнык местоположенияк, например, в положенияк ERP ранник отражений, относительно пользователя (а не в местоположенияк в пространстве в зависимости от местоположения источников и слушателя).

- В предпочтительном варианте осуществления, местоположения картины ER, т.е. положения ERP ранник отражений, следуют за поперечными движениями слушателя (т.е. за перемещением в пространстве в направлении по оси X, Y, Z, но не за ориентацией головы слушателя). В частности, когда слушатель перемещается в определенном направлении, местоположения ER в картинах ER перемещаются со слушателем. Тем не менее, они остаются в постоянной заданной пространственной ориентации независимо от ориентации головы слушателя.

Фиг. 15 примерно иллюстрирует общий процесс рендеринга. Один или более признаков, описанных относительно фиг.15, могут состоять из описанного в данном документе устройства для рендеринга звука.

Фиг. 15 показывает устройство 200 для рендеринга звука.

Устройство 200 выполнено с возможностью рендеринга одного или более аудиосигналов 212₁/212₂ одного или более источников 210₁/210₂ звука. Аудиосигнал 212, см. 212₁ и 212₂, может рендерироваться посредством рассмотрения прямого звука, см. 220₁ и 220₂, ранних отражений, см. 230 и/или поздней реверберации, см. 240.

В прямом тракте 220₁/220₂ могут рендерироваться один или более аудиосигналов 212₁/212₂ для получения для каждого из одного или более аудиосигналов 212₁/212₂ сигнала 222₁/222₂ громкоговорителя с вкладом прямого звука. Например, для каждого из аудиосигналов 212₁ и 212₂, которые должны рендерироваться, расстояние d₁/d₂ между соответствующим ассоциированным источником 210₁/210₂ звука и положением 10 слушателя, а также угол α₁/α₂ между соответствующим источником 210₁/210₂ звука и ориентацией слушателя могут рассматриваться для определения соответствующего сигнала 222₁/222₂ громкоговорителя с вкладом прямого звука. Сигналы 222₁/222₂ громкоговорителей с вкладом прямого звука связаны с частью источников прямого звука импульсного отклика в помещении.

Согласно варианту осуществления, устройство 200 может быть выполнено с возможностью микширования 260 одного или более аудиосигналов 212₁/212₂ одного или более источников 210₁/210₂ звука для получения микшированного аудиосигнала 262. При микшировании 260, сигналы 212₁/212₂ могут панорамироваться в зависимости от положения соответствующего ассоциированного источника 210₁/210₂ звука. Например, для каждого из аудиосигналов 212₁/212₂, расстояние d₁/d₂ между соответствующим ассоциированным источником 210₁/210₂ звука и положением 10 слушателя рассматривается при панорамировании/микшировании 260. В качестве альтернативы или дополнения, микширование может выполняться так, как описано в разделе 5.

Устройство 200 выполнено с возможностью рендеринга аудиосигнала, например, микшированного аудиосигнала 262, например, взвешенной суммы аудиосигналов 212₁ и 212₂, одного или более источников 210₁/210₂ звука с использованием импульсного отклика в помещении, часть ранних отражений которого определяется картиной 1 ранних отражений, например, в трактах 230 ER, например, для получения сигналы 232 громкоговорителей с вкладом ранних отражений, связанные с частью ранних отражений импульсного отклика в помещении. Сигналы 232 громкоговорителей с вкладом ранних отражении могут формироваться посредством выполнения воспроизведения аудиосигнала из положений ERP ранних отражений, см. ERP₁-ERP₆.

При необходимости, устройство 200 может содержать модуль 270 определения картин ER, например, устройство для формирования картины 1 ранних отражений. Определение картины 1 ранних отражений может выполняться так, как описано в одном из вышеуказанных вариантов осуществления, например, см. фиг.2 и разделы 1, 3 и 5. Модуль 270 определения картин ER может получать информацию 310 картин ER для формирования картины 1 ранних отражений. Информация 310 картин ER может содержать одно или более из следующего: тип картины ER (в помещениях/вне помещений); predelay, compFactor и/или distAlpha (например, для «вне помещений»); и размеры помещения, объем помещения и/или время предварительной задержки (например, для «в помещениях»). Например, в зависимости от определения использоваться посредством модуля 270 определения картин ER, модуль 270 определения картин ER принимает или считывает из потока 300 битов описание 310 окружения, например, один или более акустических параметров помещения или один или более управляющих параметров, либо подсказку 320 в потоке битов, например, один или более параметров картины ранних отражений.

Поток 300 битов может содержать представление 214₁ аудиосигналов 212₁, ассоциированных с первым источником 210₁ звука, и представление 214₂ аудиосигналов 212₂, ассоциированных со вторым источником 210₂ звука.

Согласно варианту осуществления, поток 300 битов может содержать/содержать один или более упомянутых в данном документе параметров. Поток 300 битов может содержать представление аудиосигнала 214₁/214₂ источника 210₁/210₂ звука, расположенного в положении источника звука и содержащего один или более параметров картины ранних отражений. Например, поток 300 битов представляет собой поток битов аудиоданных с параметром ранних отражений в поле заголовка или метаданных потока битов либо поток форматов файлов с параметром ранних отражений в пакете потока форматов файлов и дорожкой потока форматов файлов, содержащей поток битов аудиоданных, представляющий аудиосигнал. Один или более параметров картины ранних отражений содержат одно или более из индекса типа картины, времени предварительной задержки до поздней реверберации, коэффициента сжатия, коэффициента коррекции амплитуды, экспоненты ослабления в зависимости от расстояния, параметра азимута картины и одного или более параметров частотного отклика.

В тракте 230 ER, т.е. при формировании сигналов 232 громкоговорителей с вкладом ранних отражений, устройство 200 при необходимости выполнено с возможностью рендеринга аудиосигнала одного или более источников 210₁/210₂ звука из каждого положения ERP раннего отражения за счет придания спектральной формы согласно одному или более параметров частотного отклика (см. фиг.3с). На фиг.3 с, окружности (синие) показывают частотную зависимость RT60. Равная частотная зависимость может применяться ко всем ранним отражениям. Другая частотная зависимость может применяться посредством подъема басов для близости к стене (<2 м) источника или приемника. Один или более параметров частотного отклика могут содержаться в потоке битов, который также может содержать представление аудиосигнала или отдельных сигналов 212₁ и 212₂ источников 210₁/210₂ звука. Один или более параметров частотного отклика могут содержаться в одном или более параметров картины ранних отражений.

Устройство 200 может быть выполнено с возможностью использования HRTF, относящихся к ориентации головы слушателя, при выполнении воспроизведения аудиосигнала одного или более источников 210₁/210₂ звука из положений ERP ранних отражений. HRTF представляет передаточную функцию восприятия звука человеком.

В факультативном рассеянном тракте 240, один или более аудиосигналов 212₁/212₂ могут рендерироваться для получения сигналов 242 громкоговорителей с рассеянной поздней реверберацией. Устройство 200 может быть выполнено с возможностью формирования части рассеянной поздней реверберации импульсного отклика в помещении и, например, использования этого импульсного отклика в помещении для рендеринга одного или более аудиосигналов 212₁/212₂ в рассеянном тракте 240. Сигналы 242 громкоговорителей с рассеянной поздней реверберацией связаны с частью рассеянной поздней реверберации импульсного отклика в помещении.

Устройство 200 может быть выполнено с возможностью формирования набора сигналов 252 громкоговорителей при рендеринге одного или более аудиосигналов 212₁/212₂ посредством формирования суммирования 250 по сигналам 222₁/222₂ громкоговорителей с вкладом прямого звука, связанным с частью источников прямого звука импульсного отклика в помещении, и сигналам 232 громкоговорителей с вкладом ранних отражений, связанным с частью ранних отражений импульсного отклика в помещении, и, при необходимости, сигналам 242 громкоговорителей с рассеянной поздней реверберацией, связанным с частью рассеянной поздней реверберации импульсного отклика в помещении. Рендеринг в помещениях

a) картины ER, которые покрывают зазор между прямым звуком и началом поздней реверберации.

b) картины ER, которые распределяются в горизонтальной плоскости.

c) картины ER, управляемые акустическими параметрами помещения, такими как размеры помещения, объем помещения, время предварительной задержки до поздней реверберации, RT60, для определения и к числа, расстояние между ними, и к поведение по амплитуде в зависимости от расстояния.

d) картины ER, которые могут иметь между 2 и 20 ER.

e) ER, для которого положения определяются спиралями.

f) ER, для которого положения определяются двумя спиральными ветвями.

g) ER, для которого положения определяются следующим образом:

где nER=число ER

base=1.85

h) ER, для которого положения случайно распределены по азимуту вплоть до времени предварительной задержки.

i) картина ER поддерживается постоянной независимо от положений источников и приемника в помещении. Следует отметить, что форма картины поддерживается постоянной, но она перемещается со слушателем. Кроме того, амплитуда отражения зависит от расстояния между источником и слушателем.

j) Использование уменьшенного отражения от пола, чтобы создавать конкретный характер звука.

Рендеринг вне помещений

k) Разреженные картины ER, в частности, для сцен вне помещений, например, с 2-6 отражениями.

l) Использование геометрического анализа отражающих поверхностей всей сцены, чтобы извлекать уровень и предварительные задержки для картин ER вне помещений.

m) Использование суммированного распределения с расстоянием, чтобы извлекать параметры картины ER.

n) Выполнение этого анализа для ячеистой сетки возможных положений прослушивания в достижимой пользователем зоне.

о) Использование первых двух пиков такого распределения, вместе с соответствующими расстояниями.

р) Вычисление предварительной задержки, коэффициента сжатия и distAlpha из этих значений распределения.

Общие сведения

q) Применение постепенного нарастания и ослабления в зависимости от уровня картин ER при изменении с одной акустической сцены и/или помещения на другую/другое.

6.2. Аспекты передачи, потока битов и передачи служебных сигналов

a) Сцены в помещениях могут вычисляться полностью в декодере/модуле рендеринга с акустическими параметрами помещения, заданными посредством сцены.

b) В частности, сцены вне помещений могут извлекать выгоду из геометрического анализа в кодере. Только управляющие параметры картины должны передаваться. В предпочтительном варианте осуществления, параметры включают в себя: (номер алгоритма/картины, предварительную задержку до поздней реверберации, коэффициент сжатия для картины по сравнению с предварительной задержкой, коэффициент коррекции амплитуды, экспоненту ослабления в зависимости от расстояния, параметр азимута картины, описание частотного отклика).

c) Для этого случая должны использоваться новые картины ER, они могут вычисляться полностью в кодере и затем могут передаваться в декодер. Они определяются временным положением и относительным уровнем отражений (относительно нормального ослабления в зависимости от расстояния) (числа ER для каждого из: азимута, угла места, радиуса, коэффициента коррекции амплитуды, экспоненты ослабления в зависимости от расстояния, описания частотного отклика).

d) Декодеры/модули рендеринга могут заранее снабжаться определенным числом картин ER. В этом случае, передача в служебных сигналах потоков битов включает в себя поле, указывающее, какую предварительно обеспеченную картину ER следует использовать. Кроме того, параметры для этой картины передаются в служебных сигналах, как описано в b.1.

7. Области применения

Временнозатратное точное геометрическое вычисление ER, в частности, может исключаться в таких вариантах применения, как:

- Слуховое виртуальное окружение в реальном времени.

- Дополненная реальность в реальном времени.

8. Дополнительные варианты осуществления

Фиг. 16 показывает вариант осуществления устройства 200 для рендеринга звука, выполненного с возможностью приема информации о положении 10 слушателя и положении pos_s источника звука. Эта информация может использоваться для определения расстояния d между слушателем и источником звука. При необходимости, устройство 200 может быть выполнено с возможностью использования расстояния, как описано в отношении устройства 200 на фиг.15. Устройство 200 выполнено с возможностью рендеринга 202 аудиосигнала 212 источника звука с использованием импульсного отклика 400 в помещении, часть 410 ранних отражений которого определяется исключительно картиной 1 ранних отражений. Картина 1 ранних отражений указывает созвездие положений ERP ранних отражений, см. ERP₁-ERP₄, и расположены в положении 10 слушателя таким образом, что положения ERP ранних отражений расположены вокруг положения 10 слушателя и в угловых направлениях от положения 10 слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя.

Устройство 200 может содержать любой из признаков, описанных выше. Например, устройство 200 может содержать устройство 100 по фиг.6, фиг.18 или по фиг.20 для определения картины ранних отражений для воспроизведения звука. В качестве альтернативы, устройство 200 может содержать другое устройство для определения картины ранних отражений для воспроизведения звука, например, устройство, выполненное с возможностью выполнения определения, как описано относительно фиг.2, и/или как описано в разделах 1, 3 и 5.

Фиг. 17 показывает вариант осуществления устройства 200 для рендеринга звука, выполненного с возможностью приема первой информации о положении 10 слушателя и положении pos_s источника звука. Эта информация может использоваться для определения расстояния d между слушателем и источником звука. При необходимости, устройство 200 может быть выполнено с возможностью использования расстояния, как описано в отношении устройства 200 на фиг.15. Устройство 200 выполнено с возможностью приема потока 300 битов, содержащего, например представление 214 аудиосигнала источника звука, расположенного в положении pos_s источника звука, и один или более параметров 310 картины ранних отражений, и считывать из него. Поток 300 битов, например, представляет собой поток битов аудиоданных с параметром 310 ранних отражений в поле заголовка или метаданных потока 300 битов либо поток форматов файлов с параметром 310 ранних отражений в пакете потока форматов файлов и дорожкой потока форматов файлов, содержащей поток битов аудиоданных, представляющий аудиосигнал.

Один или более параметров 310 картины ранних отражений могут содержать одно или более из индекса типа картины, времени предварительной задержки до поздней реверберации, коэффициента сжатия, коэффициента коррекции амплитуды, экспоненты ослабления в зависимости от расстояния, параметра азимута картины, одного или более параметров частотного отклика.

Кроме того, устройство 200 выполнено с возможностью определения 270 картины 1 ранних отражений в зависимости от одного или более параметров 310 картины ранних отражений, например, как описано относительно фиг.2, и/или как описано в разделах 1, 3 и 5. Картина 1 ранних отражений указывает созвездие положений ERP ранних отражений, см. ERP₁-ERP₄. Например, устройство 300 может быть выполнено с возможностью выполнения определения 270 картины 1 ранних отражений таким образом, что число положений ERP ранних отражений тем больше, чем больше время предварительной задержки до поздней реверберации. В качестве дополнения или альтернативы, устройство 200 выполнено с возможностью выполнения определения 270 картины 1 ранних отражений таким образом, что самое дальнее положение ERP раннего отражения от положения 10 слушателя тем больше, чем больше время предварительной задержки до поздней реверберации. Расстояние может быть меньше времени предварительной задержки.

Дополнительно устройство 200 выполнено с возможностью рендеринга 202 аудиосигнала источника звука с использованием импульсного отклика 400 в помещении, часть 410 ранних отражений которого определяется посредством картины 1 ранних отражений.

Картина 1 ранних отражений указывает созвездие положений ERP ранних отражений, см. ERP1-ERP4, и она расположена в положении 10 слушателя таким образом, что положения ERP ранних отражений расположены вокруг положения 10 слушателя и в угловых направлениях от положения 10 слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя.

Согласно варианту осуществления, если индекс типа картины указывает параметризованный в кодере способ определения, например, как описано в разделе 1, устройство 200 выполнено с возможностью считывания из потока 300 битов, в качестве части одного или более параметров 310 картины ранних отражений, одного или более из числа ранних отражений картины ранних отражений, для каждого раннего отражения: азимута, угла места, радиуса, например, расстояния до положения слушателя, для каждого раннего отражения: коэффициента коррекции амплитуды, для каждого раннего отражения: экспоненты ослабления в зависимости от расстояния, и для каждого раннего отражения: описания частотного отклика.

Устройство 200 может содержать любой из признаков, описанных выше.

Фиг. 18 показывает вариант осуществления устройства 100 для определения картины 1 ранних отражений для воспроизведения звука, выполненного с возможностью приема по меньшей мере одного акустического параметра 310 помещения, который представляет акустическую характеристику акустического окружения 5. Устройство 100 выполнено с возможностью определения 270 картины 1 ранних отражений таким образом, что число 272 положений ERP ранних отражений, см., ERP₁-ERP₆, зависит по меньшей мере от одного акустического параметра 310 помещения. Картина 1 ранних отражений указывает созвездие положений ранних отражений. Устройство 100 может содержать, в частности, признаки, описанные выше относительно фиг.2 и разделов 1 и 5.

Фиг. 19 показывает вариант осуществления устройства 200 для рендеринга звука, выполненного с возможностью приема информации о положении 10 слушателя, положении pos_S1 первого источника звука и положении pos_S2 второго источника звука. Устройство 200 выполнено с возможностью рендеринга 202 аудиосигналов 212₁ и 212₂ двух источников 210₁ и 210₂ звука с использованием импульсного отклика 400 в помещении, часть 410 ранних отражений которого определяется картиной 1 ранних отражений. Картина 1 ранних отражений указывает созвездие положений ERP ранних отражений, см. ERP₁-ERP₄, и располагается в положении 10 слушателя таким образом, что положения ERP ранних отражений расположены вокруг положения 10 слушателя и в угловых направлениях от положения 10 слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя. Рендеринг 202 дополнительно выполняется посредством формирования взвешенной суммы 204 первого аудиосигнала 212₁ первого источника 210₁ звука, расположенного в положении pos_S1 первого источника звука, и второго аудиосигнала 212₂ второго источника 210₂ звука, расположенного в положении pos_S2 второго источника звука. Взвешенная сумма 204 взвешивает w₁ первый аудиосигнал 212₁ больше второго аудиосигнала 212₂, если первое расстояние d₁ между положением pos_S1 первого источника звука и положением 10 слушателя меньше второго расстояния d₂ между положением pos_S2 второго источника звука и положением 10 слушателя, и взвешивает w₂ второй аудиосигнал 210₂ больше первого аудиосигнала 210₁, если первое расстояние d₁ больше второго расстояния d₂. Кроме того, рендеринг выполняется посредством формирования сигналов 232 громкоговорителей с вкладом ранних отражений, связанных с частью 410 ранних отражений импульсного отклика 400 в помещении, посредством рендеринга взвешенной суммы 204 из положений ERP ранних отражений. Устройство 200, в частности, может содержать признаки, описанные в разделе 5. Тем не менее, очевидно, что устройство 200 также может содержать устройство для определения картины ER 1, как описано в любом из вышеприведенных вариантов осуществления.

Фиг. 20 показывает вариант осуществления устройства 100 для определения 270 картины 1 ранних отражений для воспроизведения звука, выполненного с возможностью приема по меньшей мере одного акустического параметра 310 помещения, который представляет акустическую характеристику акустического окружения 5. Устройство 100 выполнено с возможностью определения 270 картины 1 ранних отражений посредством параметризации одной или более спиральных функций 3 и 4, центрированных в положении 10 слушателя, и посредством размещения положений ERP ранних отражений, см. ERP1₁-ERP1₄ и ERP2₁-ERP2₄, с использованием одной или более спиральных функций 3 и 4. Картина 1 ранних отражений указывает созвездие положений ERP ранних отражений. Устройство 100 может содержать, в частности, признаки, описанные относительно фиг.2 и раздела 1, но очевидно, что устройство также может содержать другие описанные в данном документе признаки.

9. Альтернативы реализации

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства.

Рендерируемый аудиосигнал согласно изобретению или информация картин ранних отражений согласно изобретению может сохраняться на цифровом носителе данных либо может передаваться в среде передачи, такой как беспроводная среда передачи или проводная среда передачи, например, Интернет.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя данных, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные считываемые электронными средствами управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий считываемые электронными средствами управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут быть реализованы в виде компьютерного программного продукта с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может сохраняться, например, на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.

Другими словами, вариант осуществления способа согласно изобретению, таким образом, представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа выполняется на компьютере.

Следовательно, дополнительный вариант осуществления способов согласно изобретению представляет собой носитель данных (цифровой носитель данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Следовательно, дополнительный вариант осуществления способа согласно изобретению представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, могут быть выполнены с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

В некоторых вариантах осуществления для выполнения части или всех из функциональностей способов, описанных в данном документе, может использоваться программируемое логическое устройство (например, программируемая пользователем вентильная матрица). В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для осуществления одного из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются любым аппаратным устройством.

Вышеописанные варианты осуществления являются лишь иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения конфигураций и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники.

Следовательно, подразумевается ограничение лишь объемом нижеприведенной формулы изобретения, а не конкретными подробностями, представленными в качестве описания и пояснения вариантов осуществления в данном документе.

10. Список литературы

[1] Jot, J.-M "Real-time spatial processing of sounds for music, multimedia and interactive human-computer interfaces", Audio and Multimedia, 1997 (ACM Multimedia Systems Journal, февраль 1997 года). Доступно по ссылке: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.54.6319 andrep=rep1andtype=pdf.

[2] Jullien, J.P., E. Kahle, S. Winsberg и О. Warusfel "Some Results on the Objective Characterisation of Room Acoustical Quality in Both Laboratory and Real Environments", 19 92 год, IRCAM, Франция. Доступно по ссылке: https://kahle.be/articles/IRCAM_Room_Acoustical_Quality_1992.pdf

[3] Jot, J.-M., O. Warusfel, E. Kahle и M. Mein "Binaural Concert Hall Simulation in Real Time", IEEE 93, 1993 год, Mohonk (США).

[4] Carpentier, T "The New Implementation of Spat", in Max 15th Sound and Music Computing Conference (SMC2018), 2018 год, Лимасол, Кипр, https://hal.archives-ouvertes.fr/hal-02094499/document.

[5] Väänänen, R. И J. Huopaniemi "Advanced AudioBIFS: Virtual Acoustics Modeling in MPEG-4 Scene Description", IEEE Transactions on Multimedia, 2004 год. 6(5): стр. 661-675.

[6] Brinkmann, F., H. Gamper, N. Raghuvanshi и I. Tashev "Towards Encoding Perceptually Salient Early Reflections for Parametric Spatial Audio Rendering", 148th AES Convention, 2020. Вена, Австрия.

[7] Brinkmann, F. и др. "A Round Robin on Room Acoustical Simulation and Aural i zat ion", J. Acoust. Soc. Am., 2019 год, 145(4): стр. 2746, 2760 DOI: https://doi.org/10.1121/1.5096178.

[8] Bregman, A.S. "Auditory Scene Analysis (The Perceptual Organization of Sound), 1990 год, MIT Press., ISBN: 9780262022972.

[9] Blauert, J. "Spatial Hearing, The Psychophysics of Human Sound Localization", 2nd ed., 1997 год, Cambrigde Massachusetts: MIT Press. ISBN: 0-262-02413-6.

[10] Angus, J.A.S. "The Effects of Specular Versus Diffuse Reflections on the Frequency Response at the Listener", J. Audio Eng. Soc, 2001 год, 49(3): стр. 125-133.

[11] Barron, M. и A.H. Marshall "Spatial Impression due-Early Lateral Reflections in Concert Halls: The Derivation of the Physical Measure", Journal of Sound and Vibration, 1981 год, 77(2): стр. 211-232.

[12] Bech, S. "Perception of Reproduced Sound: Audibility of Individual Reflections in the Complete Sound Field", 96th AES Convention, 1994. Амстердам, Нидерланды.

[13] Kuttruff, H. "Room Acoustics (fourth edition)", 2000: Spon Press. ISBN: 0-419-24580-4.

Изобретение относится к концепциям обработки ранних отражений для аурализации. Технический результат заключается в формировании достаточно правдоподобного и убедительного восприятия слушателем, подходящего для всех акустических параметров помещения. Варианты осуществления относятся к устройству и способам рендеринга звука с учетом ранних отражений и к устройству и способам определения картины ранних отражений. Устройство (100) для определения картины (1) ранних отражений для воспроизведения звука позволяет выполнять прием акустических параметров (310) помещения, которые представляют акустическую характеристику акустического окружения (5), определение картины (1) ранних отражений, которая указывает созвездие положений ранних отражений. Картину (1) ранних отражений получают посредством параметризации спиральных функций (3, 4), центрированных в положении (10) слушателя, с использованием акустических параметров (310) помещения. Положения ранних отражений размещают с использованием определенных спиральных функций (3, 4). 5 н. и 24 з.п. ф-лы, 25 ил.

1. Устройство (100) для определения картины (1) ранних отражений для воспроизведения звука, выполненное с возможностью:

- приема по меньшей мере одного акустического параметра (310) помещения, который представляет акустическую характеристику акустического окружения (5);

- определения картины (1) ранних отражений,

- которая указывает созвездие положений ранних отражений,

- посредством параметризации одной или более спиральных функций (3, 4), центрированных в положении (10) слушателя, с использованием по меньшей мере одного акустического параметра (310) помещения, и размещения положений ранних отражений с использованием одной или более спиральных функций (3, 4).

2. Устройство (100) по п. 1, в котором картина (1) ранних отражений предназначена для размещения в положении (10) слушателя таким образом, что положения ранних отражений расположены вокруг положения слушателя и в угловых направлениях от положения слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя.

3. Устройство (100) по п. 1 или 2, в котором по меньшей мере один акустический параметр (310) помещения содержит одно или более из:

- размеров помещения,

- объема помещения, и

- времени предварительной задержки до поздней реверберации.

4. Устройство (100) по любому из предшествующих пп. 1-3, в котором по меньшей мере один акустический параметр (310) помещения содержит только один параметр, выбранный из:

- размеров помещения,

- объема помещения, и

- времени предварительной задержки до поздней реверберации.

5. Устройство (100) по любому из предшествующих пп. 1-4, в котором одна или более спиральных функций (3, 4) содержат первую спиральную функцию (3) и вторую спиральную функцию (4), при этом устройство (100) выполнено с возможностью размещения первого набора положений ранних отражений с использованием первой спиральной функции (3) и второго набора положений ранних отражений с использованием второй спиральной функции (4) таким образом, что каждое из первого набора положений ранних отражений ассоциировано с соответствующим положением раннего отражения из второго набора раннего отражения и расположено на противоположной стороне линии, перпендикулярно пересекающей соединительную линию между соответствующим положением раннего отражения и соответствующим положением раннего отражения.

6. Устройство (100) по п. 5, в котором, для каждого из первого набора положений ранних отражений, соответствующее положение раннего отражения из второго набора раннего отражения смещено в угловом направлении относительно соединительной линии в угловом направлении, которое является общим для всех положений ранних отражений из первого набора положений ранних отражений.

7. Устройство (100) по любому из предшествующих пп. 1-6, в котором одна или более спиральных функций (3, 4) содержат первую спиральную функцию (3) и вторую спиральную функцию (4), при этом устройство (100) выполнено с возможностью размещения первого набора положений ранних отражений с использованием первой спиральной функции (3) и второго набора положений ранних отражений с использованием второй спиральной функции (4) таким образом, что первый набор положений ранних отражений определяется в полярных координатах как (r1; β1), и второй набор положений ранних отражений определяется в полярных координатах как (r2; β2), где:

base=1.85

- при этом nER является числом положений ранних отражений, и distfactor является константой.

8. Устройство (100) по п. 7, выполненное с возможностью определения distfactor на основе по меньшей мере акустического параметра (310) помещения.

9. Устройство (100) по п. 7, выполненное с возможностью определения distfactor таким образом, что он тем больше, чем больше время предварительной задержки до поздней реверберации.

10. Устройство (100) по п. 7, выполненное с возможностью определения nER на основе по меньшей мере акустического параметра (310) помещения.

11. Устройство (100) по любому из предшествующих пп. 1-10, выполненное с возможностью считывания по меньшей мере одного акустического параметра (310) помещения из потока (300) битов, содержащего представление аудиосигнала, который должен рендерироваться с использованием картины (1) ранних отражений.

12. Устройство (100) по любому из предшествующих пп. 1-11, выполненное с возможностью определения числа положений ранних отражений таким образом, что:

- число тем больше, чем больше размеры помещения, или

- число тем больше, чем больше объем помещения, или

- число тем больше, чем больше время предварительной задержки до поздней реверберации.

13. Устройство (100) по любому из предшествующих пп. 1-12, выполненное с возможностью параметризации одной или более спиральных функций (3, 4) и определения числа положений ранних отражений таким образом, что расстояние максимально удаленного положения из положений ранних отражений до положения (10) слушателя тем больше:

- чем больше размеры помещения, или

- чем больше объем помещения, или

- чем больше время предварительной задержки до поздней реверберации, причем расстояние меньше времени предварительной задержки.

14. Устройство (100) по любому из предшествующих пп. 1-13, выполненное с возможностью поддержки первого определения картины (1) ранних отражений и второго определения картины (1) ранних отражений, при этом первое определение отличается от второго определения и включает в себя параметризацию одной или более спиральных функций (3, 4), центрированных в положении (10) слушателя, и размещения положений ранних отражений с использованием одной или более спиральных функций (3, 4), и

- выбора первого определения в случае акустического окружения (5), представляющего собой окружение в помещениях, либо в случае индекса типа картины в потоке (300) битов, содержащем представление аудиосигнала, который должен рендерироваться при условии заданного состояния.

15. Устройство (100) по любому из предшествующих пп. 1-14, выполненное с возможностью определения положений ранних отражений таким образом, что они находятся в горизонтальной плоскости наряду с положением (10) слушателя.

16. Устройство (100) по любому из предшествующих пп. 1-15, выполненное с возможностью определения положений ранних отражений с регулированием азимутального вращения созвездия согласно параметру азимута картины в потоке (300) битов, содержащем представление аудиосигнала, который должен рендерироваться.

17. Устройство (200) для рендеринга звука, выполненное с возможностью:

- приема первой информации о положении (10) слушателя и положении источника звука;

- рендеринга аудиосигнала источника звука с использованием импульсного отклика (400) в помещении, часть (410) ранних отражений которого определяется картиной (1) ранних отражений,

- которая указывает созвездие положений ранних отражений, и

- которая расположена в положении (10) слушателя таким образом, что положения ранних отражений расположены вокруг положения (10) слушателя и в угловых направлениях от положения (10) слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя,

- причем устройство (200) содержит устройство (100) для определения картины (1) ранних отражений по любому из пп. 1-16.

18. Устройство (200) по п. 17, дополнительно выполненное с возможностью формирования части рассеянной поздней реверберации импульсного отклика (400) в помещении.

19. Устройство (200) по п. 17 или 18, дополнительно выполненное с возможностью формирования набора сигналов громкоговорителей (252) посредством формирования суммирования по сигналам (222) громкоговорителей с вкладом прямого звука, связанным с частью источников прямого звука импульсного отклика (400) в помещении, и сигналам (232) громкоговорителей с вкладом ранних отражений, связанным с частью (410) ранних отражений импульсного отклика (400) в помещении, при рендеринге аудиосигнала.

20. Устройство (200) по любому из пп. 17-19, дополнительно выполненное с возможностью формирования сигналов (232) громкоговорителей с вкладом ранних отражений, связанных с частью (410) ранних отражений импульсного отклика (400) в помещении, посредством выполнения воспроизведения аудиосигнала источника звука из положений ранних отражений.

21. Устройство (200) по п. 20, дополнительно выполненное с возможностью рендеринга аудиосигнала источника звука из каждого положения раннего отражения за счет регулирования уровня согласно расстоянию от соответствующего положения раннего отражения до положения (10) слушателя при формировании сигналов (232) громкоговорителей с вкладом ранних отражений, связанных с частью (410) ранних отражений импульсного отклика (400) в помещении посредством выполнения воспроизведения аудиосигнала источника звука из положений ранних отражений.

22. Устройство (200) по п. 21, дополнительно выполненное с возможностью, при рендеринге аудиосигнала источника звука из каждого положения раннего отражения за счет регулирования уровня согласно расстоянию от соответствующего положения раннего отражения до положения (10) слушателя:

- смещения (20) уровня, на котором аудиосигнал источника звука рендерируется из соответствующего положения раннего отражения, с использованием смещения уровня, либо его усиления с коэффициентом уровня, причем упомянутое смещение или коэффициент являются общими для всех положений ранних отражений, и

- установки смещения уровня или коэффициента уровня согласно коэффициенту коррекции амплитуды.

23. Устройство (200) по п. 21 или 22, дополнительно выполненное с возможностью модификации регулирования уровня согласно расстоянию от соответствующего положения раннего отражения до положения слушателя относительно регулирования уровня, используемого посредством оборудования (200) для рендеринга аудиосигнала, от положения источника звука согласно экспоненте ослабления в зависимости от расстояния, при рендеринге аудиосигнала источника звука из каждого положения раннего отражения за счет регулирования уровня согласно расстоянию от соответствующего положения раннего отражения до положения (10) слушателя.

24. Устройство (200) по любому из пп. 20-23, дополнительно выполненное с возможностью рендеринга аудиосигнала источника звука из каждого положения раннего отражения за счет придания спектральной формы согласно одному или более параметрам частотного отклика при формировании сигналов (232) громкоговорителей с вкладом ранних отражений, связанных с частью (410) ранних отражений импульсного отклика (400) в помещении, посредством выполнения воспроизведения аудиосигнала источника звука из положений ранних отражений.

25. Устройство (200) по любому из пп. 17-24, дополнительно выполненное с возможностью использования HRTF, характерных для ориентации головы слушателя, при выполнении воспроизведения аудиосигнала источника звука из положений ранних отражений.

26. Способ определения картины (1) ранних отражений для воспроизведения звука, содержащий этапы, на которых:

- принимают по меньшей мере один акустический параметр (310) помещения, который представляет акустическую характеристику акустического окружения (5);

- определяют картину (1) ранних отражений,

- которая указывает созвездие положений ранних отражений,

- посредством параметризации одной или более спиральных функций (3, 4), центрированных в положения (10) слушателя, с использованием по меньшей мере одного акустического параметра (310) помещения, и размещения положений ранних отражений с использованием одной или более спиральных функций (3, 4).

27. Способ рендеринга звука, содержащий этапы, на которых:

- принимают первую информацию относительно положения (10) слушателя и положения источника звука;

- рендерируют аудиосигнал источника звука с использованием импульсного отклика (400) в помещении, часть (410) ранних отражений которого определяется посредством картины (1) ранних отражений,

- которая указывает созвездие положений ранних отражений, и

- которая расположена в положении (10) слушателя таким образом, что положения ранних отражений расположены вокруг положения (10) слушателя и в угловых направлениях от положения (10) слушателя, которые являются инвариантными относительно изменений ориентации головы слушателя,

- при этом способ содержит способ определения картины (1) ранних отражений по п. 26.

28. Машиночитаемый носитель, содержащий записанную на нем компьютерную программу для предписания компьютеру осуществлять при выполнении компьютерной программы способ по п. 26.

29. Машиночитаемый носитель, содержащий записанную на нем компьютерную программу для предписания компьютеру осуществлять при выполнении компьютерной программы способ по п. 27.