УСТРОЙСТВО И СПОСОБ ФОРМИРОВАНИЯ СИГНАЛА РАССЕЯННОЙ РЕВЕРБЕРАЦИИ Российский патент 2025 года по МПК G10L19/08 H04S1/00 H04S7/00 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к устройству и способу обработки аудио данных и, в частности, но не исключительно, обработки для формирования сигналов рассеянной реверберации для приложений дополненной/смешанной/виртуальной реальности.

УРОВЕНЬ ТЕХНИКИ

Благодаря непрерывному развитию и введению новых услуг и способов использования и потребления аудиовизуального контента в последние годы произошел значительный рост разнообразия и диапазона восприятия такого контента. В частности, разрабатывается множество пространственных и интерактивных услуг, приложений и подходов к восприятию, чтобы обеспечить пользователям восприятие с более сильным вовлечением и погружением.

Примерами таких приложений являются приложения виртуальной реальности (Virtual Reality, VR), дополненной реальности (Augmented Reality, AR) и смешанной реальности (Mixed Reality, MR), которые быстро становятся господствующими тенденциями, при этом ряд решений ориентирован на потребительский рынок. Кроме того, многими органами по стандартизации разрабатывается ряд стандартов. В рамках такой деятельности по стандартизации активно разрабатываются стандарты для различных аспектов систем VR/AR/MR, включая, например, потоковую передачу, широковещание, рендеринг и т.д.

Приложения VR, как правило, обеспечивают восприятия пользователем, соответствующие нахождению пользователя в другом мире/окружающей среде/сцене, тогда как приложения AR (включая смешанную реальность, Mixed Reality, MR), обычно обеспечивают восприятия пользователем, соответствующие нахождению пользователя в текущей окружающей среде, но с добавлением дополнительной информации либо виртуальных объектов или информации. Таким образом, приложения VR, как правило, обеспечивают полностью погружающие синтетически формируемые мир/сцену, тогда как приложения AR обычно обеспечивают частично синтетические мир/сцену, накладываемые на реальную сцену, в которой пользователь присутствует физически. Однако это термины часто используются взаимозаменяемо и имеют высокую степень перекрытия. Далее термин виртуальная реальность/VR будет использоваться для обозначения как виртуальной реальности, так и дополненной/смешанной реальности.

В качестве примера, быстро набирающая популярность услуга заключается в предоставлении изображений и аудио таким образом, чтобы пользователь мог активно и динамически взаимодействовать с системой для изменения параметров рендеринга так, что изображения и аудио будут адаптироваться к перемещению и изменениям положения и ориентации пользователя. Весьма привлекательной особенностью многих приложений является возможность изменения эффективного положения обзора и направления обзора зрителя, чтобы, например, зритель мог перемещаться и «осматриваться» в представляемой сцене.

Такая функция может, в частности, давать пользователю ощущение виртуальной реальности. Благодаря этому пользователь может (относительно) свободно передвигаться в виртуальной среде и динамически изменять свое положение и направление, в котором он смотрит. Как правило, такие приложения виртуальной реальности основаны на трехмерной модели сцены, причем модель динамически оценивается для обеспечения конкретного запрошенного вида. Данный подход хорошо известен, например, из игровых приложений для компьютеров и консолей, например, из категории игр-стрелялок от первого лица.

Также желательно, в частности, для приложений виртуальной реальности, чтобы представляемое изображение было трехмерным изображением, обычно представляемым с использованием стереоскопического дисплея. Действительно, для оптимизации погружения зрителя, как правило, предпочтительно, чтобы пользователь ощущал представленную сцену как трехмерную сцену. Ведь ощущение виртуальной реальности предпочтительно должно позволять пользователю выбирать свое собственное положение, точку обзора и момент времени относительно виртуального мира.

В дополнение к визуальному рендерингу большинство приложений VR/AR также обеспечивают соответствующие восприятие аудио. Во многих приложениях аудио предпочтительно обеспечивает пространственное восприятие звука, причем аудиоисточники воспринимаются как издающие звук из положений, которые соответствуют положениям соответствующих объектов в визуальной сцене. Таким образом, аудио- и видеосцены предпочтительно воспринимаются как согласованные, причем и те, и другие обеспечивают полное пространственное восприятие.

Например, многие восприятия с погружением обеспечиваются виртуальной аудиосценой, формируемой воспроизведением через наушники с использованием технологии бинаурального рендеринга аудио. Во многих сценариях такое воспроизведение через наушники может быть основано на отслеживании положения головы так, что можно добиться реагирования рендеринга на движения головы пользователя, что значительно усиливает ощущение погружения.

Важной особенностью многих приложений является порядок выполнения формирования и/или распространения аудио, которое может обеспечить естественное и реалистичное восприятие аудиосреды. Например, при формировании аудио для приложения виртуальной реальности важно, не только сформировать требуемые аудиоисточники, но и чтобы они изменялись для обеспечения реалистичного восприятия аудиосреды, включая затухание, отражение, окрашивание и т.д.

Что касается акустики помещения или, в более общем случае, акустики окружающей среды, то отражение звуковых волн от стен, пола, потолка, объектов и т.д. окружающей среды приводит к тому, что слушателя достигают разными путями задержанные и ослабленные (обычно зависящие от частоты) версии сигнала источника звука. Совокупный эффект может быть смоделирован посредством импульсной характеристики, которая далее в настоящем документе может называться импульсной характеристикой помещения (Room Impulse Response, RIR) (хотя данный термин предполагает конкретное использование для акустической окружающей среды в виде помещения, его обычно используют в более общем смысле в отношении акустической окружающей среды независимо от того, соответствует ли она помещению или нет).

Как показано на ФИГ. 1, импульсная характеристика помещения обычно состоит из прямого звука, который зависит от расстояния от источника звука до слушателя, с последующей реверберирующей частью, которая характеризует акустические свойства помещения. Размер и форма помещения, положение источника звука и слушателя в помещении и отражающие свойства поверхностей помещения - все это играет роль в характеристиках этой реверберирующей части.

Реверберирующая часть может быть разбита на две временные области, обычно перекрывающиеся. Первая область содержит так называемые ранние отражения, которые представляют собой изолированные отражения источника звука от стен или препятствий внутри помещения, прежде чем они достигнут слушателя. По мере увеличения запаздывания по времени количество отражений, присутствующих в фиксированном интервале времени, увеличивается, и пути могут включать в себя вторичные или более высокого порядка отражения (например, отражения могут быть от нескольких стен, или, например, как от стен, так и от потолка).

Вторая область в реверберирующей части представляет собой часть, в которой плотность этих отражений увеличивается до такой степени, что они больше не могут быть изолированы человеческим мозгом. Эту область обычно называют рассеянной реверберацией, поздней реверберацией или хвостом реверберации.

Реверберирующая часть содержит сигналы, которые дают слуховой системе информацию о расстоянии до источника, а также размере и акустических свойствах помещения. По сравнению с энергией безэховой части энергия реверберирующей части в значительной степени определяет воспринимаемое расстояние до источника звука. Уровень и задержка самых ранних отражений могут обеспечить представление о том, насколько близко источник звука находится к стене, а фильтрация антропометрией может усилить оценку того, к какой конкретной стене, полу или потолку.

Плотность (ранних) отражений способствует восприятию размера помещения. Время, требуемое для снижения уровня энергии отражений на 60 дБ, указываемое временем T₆₀ реверберации, часто используют для измерения того, насколько быстро отражения рассеиваются в помещении. Время реверберации обеспечивает информацию об акустических свойствах помещения, такую как, например, являются ли стены сильно отражающими (например, ванная комната), или звук сильно поглощается (например, спальня с мебелью, ковром и занавесками).

Кроме того, RIR могут зависеть от антропометрических свойств пользователя, когда они являются частью бинауральной импульсной характеристики помещения (Binaural Room Impulse Response, BRIR) вследствие того, что RIR фильтруется головой, ушами и плечами, т.е. импульсными характеристиками головы (Head Related Impulse Responses, HRIR).

Поскольку отражения в поздней реверберации не могут быть различены и изолированы слушателем, их часть имитируют и представляют параметрически с помощью, например, параметрического ревербератора, использующего сеть с задержкой обратной связи, такого как хорошо известный ревербератор Джота.

Для ранних отражений зависящие от направления падения и расстояния задержки являются для людей важными подсказками для извлечения информации о помещении и относительном положении источника звука. Следовательно, моделирование ранних отражений должно быть более четким, чем поздняя реверберация. Поэтому в эффективных алгоритмах акустического рендеринга ранние отражения имитируют иначе, чем позднюю реверберацию. Хорошо известный способ для ранних отражений заключается в зеркальном отображении источников звука на каждой из границ помещения для формирования виртуального источника звука, который представляет отражение.

Для ранних отражений имеет значение положение пользователя и/или источника звука относительно границ (стен, потолка, пола) в помещения, в то время как для поздней реверберации акустическая характеристика помещения является рассеянной и поэтому обычно бывает более однородной по всему помещению. Это позволяет имитировать позднюю реверберацию зачастую с большей вычислительной эффективностью, чем ранние отражения.

Двумя основными свойствами поздней реверберации, которые определяются помещением, являются значение T60 и уровень реверберации. С точки зрения импульсной характеристики рассеянной реверберации эти значения представляют наклон и амплитуду импульсной характеристики. В естественных помещения оба показателя, как правило, сильно зависят от частоты.

Параметр T60 важен для создания впечатления об отражательной способности и размере помещения, тогда как уровень реверберации указывает на совокупный эффект множества отражений на границах помещения. Уровень реверберации и его частотные характеристики зависят от предварительной задержки, указывающей, где проводится различие между ранними отражениями и поздней реверберацией (см. ФИГ. 2).

С психоакустической точки зрения уровень реверберации в основном актуален для прямого звука. Разность уровней между ними указывает расстояние между источником звука и пользователем (или точкой измерения RIR). Чем больше расстояние, тем больше будет ослабление прямого звука, в то время как уровень поздней реверберации остается таким же (он одинаков во всем помещении). Аналогичным образом, для источников с направленностью, зависящей от положения пользователя относительно источника, направленность влияет на характеристику прямого звука по мере перемещения пользователя вокруг источника, но не на уровень реверберации.

Важной проблемой и аспектом, который нужно учитывать, для многих систем, таких как приложения виртуальной реальности, является то, как эффективно представить и распределить аудиосреду. Часто аудио для окружающей среды представляют и распределяют путем обеспечения сигналов, представляющих отдельные сигналы источника, наряду с данными, которые могут параметрически описывать свойства аудиоисточника и акустической окружающей среды. Эта задача далеко не тривиальная, и может быть рассмотрен целый ряд вопросов.

Было предложено разделять описания прямых путей и рассеянной реверберации. Однако в настоящее время значительный интерес вызывает вопрос о том, как представлять, распределять и рендерировать/синтезировать рассеянную реверберацию.

Было предложено предоставлять указатель уровня реверберации, который не относится к прямому звуку, а, скорее, является более общим свойством. Конкретное предложение было выдвинуто в рамках подготовки к конкурсу предложений (Call for Proposals, CfP) по аудио PEG-I, когда был определен входной формат кодера (Encoder Input Format, EIF) (раздел 3.9 выходного документа по MPEG N19211, «Формат входа аудиокодера 6DoF MPEG-I», MPEG 130). EIF определяет уровень реверберации с помощью предварительной задержки и отношения прямого звука к рассеянному (Direct-to-Diffuse Ratio, DDR). DDR определяют как отношение между энергией рассеянной реверберации и излученной энергией источника после предварительной задержки:

Однако, хотя такой параметр может быть полезен, возникает множество существенных проблем, которые нужно решить. Например, в настоящее время нет предложения по поводу того, как следует определять или устанавливать конкретные параметры. Нет и соображения о том, как указатель DDR может быть использован для рендеринга аудио и, в частности, как он может быть использован для формирования сигналов рассеянной реверберации.

В EP3402222 раскрыты способы визуализации для формирования бинаурального сигнала в ответ на каналы многоканального аудиосигнала, в которых к каждому каналу применяют бинауральную импульсную характеристику помещения (BRIR), в том числе путем использования по меньшей мере одной сети с задержкой обратной связи (FDN) для применения общей поздней реверберации к понижающему микшированию каналов.

Таким образом, современные подходы и предложения по поводу того, как представлять и формировать аудио и, в частности, рассеянную реверберацию, обычно являются неоптимальными и недостаточными и/или неполными. В первую очередь это касается, например, приложений виртуальной реальности, в которых положение, для которого следует формировать аудио, может существенно изменяться.

Следовательно, было бы полезно создать подход к формированию сигналов рассеянной реверберации. В частности, был бы полезен подход, который позволяет улучшить работу, повысить гибкость, снизить сложность, облегчить реализацию, улучшить восприятие аудио, улучшить качество аудио, уменьшить вычислительную нагрузку, улучшить стабильность для меняющихся положений, улучшить производительность приложений виртуальной/смешанной/дополненной реальности, улучшить воспринимаемые свойства рассеянной реверберации и/или улучшить рабочие характеристики и/или работу.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Соответственно, настоящее изобретение направлено предпочтительно на ослабление, смягчение или устранение одного или более из вышеупомянутых недостатков по отдельности или в любой комбинации.

В соответствии с аспектом изобретения предложено аудиоустройство для формирования сигнала рассеянной реверберации для окружающей среды, содержащее: приемник, выполненный с возможностью приема множества аудиосигналов, представляющих источники звука в окружающей среде; приемник метаданных, выполненный с возможностью приема метаданных для множества аудиосигналов, причем метаданные содержат: соотношение сигнала диффузной реверберации с общим сигналом, указывающее уровень звука рассеянной реверберации относительно общего излученного звука в окружающей среде, и для каждого аудиосигнала: указатель уровня сигнала; данные о направленности, указывающие направленность излучения звука из источника звука, представленного аудиосигналом; схему, выполненную с возможностью определения для каждого из множества аудиосигналов: указателя общей излученной энергии на основе указателя уровня сигнала и данных о направленности, и коэффициента понижающего микширования на основе общей излученной энергии и соотношения сигнала рассеянной реверберации с общим сигналом; понижающий микшер, выполненный с возможностью формирования микшированного с понижением сигнала путем объединения составляющих для каждого аудиосигнала, сформированных путем применения коэффициента понижающего микширования для каждого аудиосигнала к аудиосигналу; ревербератор для формирования сигнала рассеянной реверберации для окружающей среды из микшированного с понижением составляющей сигнала.

Настоящее изобретение может обеспечить усовершенствованное и/или облегченное определение сигнала рассеянной реверберации во многих окружающих средах. Изобретение позволяет во многих вариантах реализации и сценариях формировать более естественно звучащий сигнал рассеянной реверберации, обеспечивающий улучшенное восприятие акустической окружающей среды. Формирование сигнала рассеянной реверберации часто может быть выполнено с низкой сложностью и низким требованиями к вычислительным ресурсам. Данный подход позволяет эффективно представлять сигнал рассеянной реверберации в окружающей среде с помощью относительно небольшого количества параметров, которые также обеспечивают эффективное представление отдельных источников и распространения звука от них по отдельным путям и, в частности, распространения по прямому пути.

Данный подход во многих вариантах реализации позволяет формировать сигнал рассеянной реверберации независимо от положений источника и/или слушателя. Это может обеспечить эффективное формирование сигналов рассеянной реверберации для динамических приложений, в которое положение меняется, например, для многих приложений виртуальной реальности и дополненной реальности.

Отношение сигнала рассеянной реверберации к общему сигналу может также упоминаться как отношение уровня сигнала рассеянной реверберации к уровню общего сигнала, или отношение уровня рассеянной реверберации к общему уровню, или отношение излученной энергии источника к энергии рассеянной реверберации (или их варианты/перестановки).

Аудиоустройство может быть реализовано в одном устройстве или одном функциональном блоке или может быть распределено по различным устройствам или функциональным возможностям. Например, аудиоустройство может быть реализовано как часть функционального блока декодера или может быть распределено с помощью некоторых функциональных элементов, выполняемых на стороне декодера, и других элементов, выполняемых на стороне кодера.

В соответствии с необязательным признаком изобретения направленность излучения звука зависит от частоты, а схема выполнена с возможностью формирования коэффициентов частотно-зависимой общей излученной энергии и частотно-зависимого понижающего микширования.

Данный подход может обеспечить особенно эффективную работу для формирования сигналов рассеянной реверберации, отражающих частотные зависимости.

В соответствии с необязательным признаком изобретения соотношение сигнала рассеянной реверберации с общим сигналом зависит от частоты, а схема выполнена с возможностью формирования частотно-зависимых коэффициентов понижающего микширования.

Данный подход может обеспечить особенно эффективную работу для формирования частотно-зависимых сигналов рассеянной реверберации, отражающих частотные зависимости.

В соответствии с необязательным признаком изобретения соотношение сигнала рассеянной реверберации с общим сигналом содержит частотно-зависимую часть и частотно-независимую часть, и при этом схема выполнена с возможностью формирования коэффициентов понижающего микширования в зависимости от частотно-независящей части и адаптации ревербератора в зависимости от частотно-зависимой частоты.

Данный подход может обеспечить особенно эффективную работу для формирования сигналов рассеянной реверберации, отражающих частотные зависимости, и может, в частности, уменьшить сложность и/или использование ресурсов. Например, данный подход может позволить отражать частотную зависимость с помощью одиночной фильтрации сигнала понижающего микширования.

В соответствии с необязательным признаком изобретения схема выполнена с возможностью определения указателя общей излученной энергии для первого аудиосигнала из множества аудиосигналов в ответ на масштабирование указателя уровня сигнала для первого аудиосигнала на величину, определенную интегрированием диаграммы направленности источника звука, представленного первым аудиосигналом.

Это может обеспечить особенно эффективную работу во многих вариантах реализации. Масштабирование может быть любой функцией, применяемой к указателю уровня сигнала в связи с определением коэффициентов понижающего микширования. Функция может быть, как правило, монотонно возрастающей в зависимости от указателя общей излученной энергии. Масштабирование может быть линейным или нелинейным масштабированием.

Масштабирование может быть независимым от изменения сигнала во времени и, следовательно, может не нуждаться в обновлении с учетом мгновенный уровней аудиосигнала, и может потребовать пересчета только при изменениях указателя уровня сигнала или диаграммы направленности.

В соответствии с необязательным признаком изобретения указатель уровня сигнала для первого аудиосигнала из множества аудиосигналов содержит базовое расстояние, причем базовое расстояние указывает расстояние от аудиоисточника, представленного первым аудиосигналом, для коэффициента усиления по базовому расстоянию для первого аудиосигнала.

Это может обеспечить особенно эффективную работу во многих вариантах реализации. Коэффициент усиления по базовому расстоянию может быть заданным значением и может быть, как правило, общим по меньшей мере для некоторых, а часто и для всех аудиоисточников и сигналов. Во многих вариантах реализации коэффициент усиления по базовому расстоянию может составлять 0 дБ.

В соответствии с необязательным признаком изобретения интегрирование выполняют для расстояния, являющегося базовым расстоянием от аудиоисточника, представленного первым аудиосигналом.

Это может обеспечить особенно эффективный подход и может облегчить работу.

В соответствии с необязательным признаком изобретения соотношение сигнала рассеянной реверберации с общим сигналом указывает энергию звука рассеянной реверберации относительно энергии всего излученного звука в окружающей среде.

Это может обеспечить особенно эффективную работу во многих вариантах реализации.

В соответствии с необязательным признаком изобретения соотношение рассеянного сигнала с общим сигналом указывает начальную амплитуду звука рассеянного сигнала относительно энергии всего излученного звука в окружающей среде.

Это может обеспечить особенно эффективную работу во многих вариантах реализации.

В соответствии с необязательным признаком изобретения коэффициент понижающего микширования, определенный для первого аудиосигнала из множества аудиосигналов, не зависит от положения первого аудиоисточника, представленного первым аудиосигналом.

Это может обеспечить особенно эффективную работу во многих вариантах реализации и может, в частности, облегчить работу для динамических приложений с источниками звука, изменяющими положение, таких как приложения виртуальной реальности.

В соответствии с необязательным признаком изобретения коэффициент понижающего микширования, определенный для первого аудиосигнала из множества аудиосигналов, не зависит от положения слушателя.

Это может обеспечить особенно эффективную работу во многих вариантах реализации и может, в частности, облегчить работу для динамических приложений с изменяющимися положениями, таких как приложения виртуальной реальности.

В некоторых вариантах реализации обработка аудиоустройства не зависит от положений аудиоисточников. В некоторых вариантах реализации обработка аудиоустройства не зависит от положения слушателя.

В некоторых вариантах реализации обработка аудиоустройства зависит только от положения слушателя в пределах области, к которой применяют отношение рассеянного сигнала в общему сигналу.

В некоторых вариантах реализации частота обновления коэффициентов понижающего микширования ниже частоты обновления для положений первого аудиоисточника, представленного первым аудиосигналом. В некоторых вариантах реализации частота обновления коэффициентов понижающего микширования ниже частоты обновления для положений слушателя. Коэффициенты понижающего микширования могут быть вычислены с гораздо меньшей частотой обновления по времени, чем частота обновления положения слушателя/положения аудиоисточника.

В соответствии с необязательным признаком изобретения указатель уровня сигнала для первого аудиосигнала из множества аудиосигналов также содержит указатель коэффициента усиления для первого аудиосигнала, причем указатель коэффициента усиления указывает коэффициент усиления, который должен быть применен к первому аудиосигналу при рендеринге звука из первого аудиоисточника, представленного первым аудиосигналом, а схема при этом выполнена с возможностью определения коэффициента понижающего микширования для первого аудиосигнала в ответ на указатель коэффициента усиления.

В соответствии с необязательным признаком изобретения аудиоустройство также содержит схему прямого рендеринга, выполненную с возможностью формирования аудиосигнала прямого пути для первого аудиосигнала из множества аудиосигналов в ответ на указатель уровня сигнала и данные о направленности для первого аудиосигнала.

Это может обеспечить особенно эффективную работу во многих вариантах реализации.

В соответствии с необязательным признаком настоящего изобретения метаданные также содержат указатель задержки, а отношение рассеянного сигнала к общему сигналу (DSR) указывает энергию звука рассеянной реверберации в окружающей среде, имеющей более длительную задержку, чем упомянутый указатель задержки относительно энергии общего излученного звука.

Энергия звука рассеянной реверберации в окружающей среде, имеющей более длительную задержку, чем указатель задержки, может отражать вклады импульсной характеристики помещения/определяться вкладами импульсной характеристики помещения, возникающие по меньшей мере с определенной задержкой после излучения соответствующего звука аудиоисточником, причем определенная задержка указывается указателем задержки.

В некоторых вариантах реализации отношение рассеянного сигнала к общему сигналу (DSR) указывает энергию звука рассеянной реверберации относительно энергии всего излученного звука в окружающей среде, в которой звук рассеянной реверберации определяется вкладами характеристики помещения, возникающими по меньшей мере с определенной задержкой после излучения соответствующего звука аудиоисточником.

В соответствии с другим аспектом изобретения предложен способ формирования сигнала рассеянной реверберации для окружающей среды, включающий: прием множества аудиосигналов, представляющих источники звука в окружающей среде; прием метаданных для множества аудиосигналов, причем метаданные содержат: соотношение сигнала диффузной реверберации с общим сигналом, указывающее уровень звука рассеянной реверберации относительно общего излученного звука в окружающей среде, и для каждого аудиосигнала: указатель уровня сигнала; данные о направленности, указывающие направленность излучения звука из источника звука, представленного аудиосигналом; определение для каждого из множества аудиосигнала: указателя общей излученной энергии на основе указателя уровня сигнала и данных о направленности, и коэффициента понижающего микширования на основе общей излученной энергии и соотношения сигнала рассеянной реверберации с общим сигналом; формирование микшированного с понижением сигнала путем объединения составляющих для каждого аудиосигнала, сформированных путем применения коэффициента понижающего микширования для каждого аудиосигнала к аудиосигналу; формирование сигнала рассеянной реверберации для окружающей среды из микшированного с понижением составляющей сигнала.

Эти и другие аспекты, признаки и/или преимущества настоящего изобретения станут очевидны из вариантов реализации, описанных далее в этом документе, и будут пояснены со ссылкой на варианты реализации.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты реализации изобретения будут описаны только для примера со ссылкой на чертежи, на которых:

на ФИГ. 1 показан пример импульсной характеристики помещения;

на ФИГ. 2 показан пример импульсной характеристики помещения;

на ФИГ. 3 показан пример элементов системы виртуальной реальности;

на ФИГ. 4 показан пример аудиоустройства для формирования выходного аудиосигнала в соответствии с некоторыми вариантами реализации изобретения;

на ФИГ. 5 показан пример реверберационного аудиоустройства для формирования сигнала рассеянной реверберации в соответствии с некоторыми вариантами реализации изобретения;

на ФИГ. 6 показан пример импульсной характеристики помещения; и

на ФИГ. 7 показан пример ревербератора.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В дальнейшем описании основное внимание будет уделено обработке и формированию аудио для приложения виртуальной реальности, однако понятно, что описанные принципы и идеи могут быть использованы во многих других приложениях и вариантах реализации.

Виртуальные восприятия, позволяющие пользователю перемещаться в виртуальном мире, становятся все более популярными, и для удовлетворения такого спроса разрабатывают услуги.

В некоторых системах приложение виртуальной реальности может быть предоставлено зрителю локально, например, с помощью автономного устройства, которое не использует какие-либо удаленные данные или обработку виртуальной реальности, или даже не имеет никакого доступа к ним. Например, устройство, такое как игровая консоль, может содержать хранилище для хранения данных сцены, вход для приема/формирования позы зрителя и процессор для формирования соответствующих изображений из данных сцены.

В других системах приложение виртуальной реальности может быть реализовано и выполнено удаленно от зрителя. Например, устройство, локальное для пользователя, может обнаруживать/принимать данные движения/позы, передаваемые удаленному устройству, которое обрабатывает данные для формирования позы зрителя. После этого удаленное устройство может формировать подходящие изображения вида и соответствующие аудиосигналы для позы пользователем на основе данных сцены, описывающих сцену. Затем изображения вида и соответствующие аудиосигналы передают на устройство, локальное для зрителя, где их представляют. Например, удаленное устройство может непосредственно формировать видеопоток (обычно поток стерео/3D-видео) и соответствующие аудиосигналы, которые непосредственно представляют с помощью локального устройства. Поэтому в таком примере локальное устройство может не выполнять никакой обработки виртуальной реальности за исключением передачи данных движения и представления принятых видеоданных.

Во многих системах функциональные возможности могут быть распределены между локальным устройством и удаленным устройством. Например, локальное устройство может обрабатывать принимаемые входные данные и данные датчиков для формирования поз пользователя, которые непрерывно передаются на удаленное устройство виртуальной реальности. После этого удаленное устройство виртуальной реальности может формировать соответствующие изображения вида и соответствующие аудиосигналы и передавать их на локальное устройство для представления. В других системах удаленное устройство виртуальной реальности может не формировать непосредственно изображения вида и соответствующие аудиосигналы, а может выбирать соответствующие данные сцены и передавать их на локальное устройство, которое может затем формировать изображения вида и соответствующие аудиосигналы, которые представляют. Например, удаленное устройство виртуальной реальности может идентифицировать ближайшую точку захвата, выделить соответствующие данные сцены (например, набор источников объекта и метаданные их положения) и передать их на локальное устройство. После этого локальное устройство может обработать принятые данные сцены для формирования изображений и аудиосигналов для конкретной текущей позы пользователя. Обычно поза пользователя будет соответствовать позе головы, а ссылки на позу пользователя, как правило, могут в равной степени рассматриваться как соответствующие ссылки на позу головы.

Во многих приложениях, особенно для широковещательных служб, источник может передавать или транслировать данные сцены в виде представления изображения (включая видео) и звука сцены, которое не зависит от позы пользователем. Например, сигналы и метаданные, соответствующие аудиоисточникам в пределах определенного виртуального помещения, могут передаваться или транслироваться множеству клиентов. Отдельные клиенты могут затем локально синтезировать аудиосигналы, соответствующие текущей позе пользователя. Аналогичным образом источник может передавать общее описание аудиосреды, включая описание аудиоисточников в окружающей среде и акустические характеристики окружающей среды. В таком случае может быть сформировано аудиопредставление и представлено пользователю, например, с использованием бинаурального рендеринга и обработки.

На ФИГ. 3 показан такой пример системы виртуальной реальности, в которой удаленное клиентское устройство 301 виртуальной реальности поддерживает связь с сервером 303 виртуальной реальности, например, через сеть 305, такую как Интернет. Сервер 303 может быть выполнен с возможностью одновременной поддержки потенциально большого количества клиентских устройств 301.

Сервер 303 виртуальной реальности может, например, поддерживать восприятие широковещания путем передачи сигнала изображения, соответствующего представлению изображения в виде данных изображения, которые могут быть использованы клиентскими устройствами для локального синтезирования изображений вида, соответствующих надлежащим позам пользователя (под позой понимают положение и/или ориентацию). Аналогичным образом, сервер 303 виртуальной реальности может передавать аудиопредставление сцены, позволяющее локально синтезировать аудио для поз пользователя. В частности, по мере перемещения пользователя в виртуальной окружающей среде изображение и аудио, синтезируемые и представляемые пользователю, обновляются для отражения текущих (виртуальных) положения и ориентации пользователя в (виртуальной) окружающей среде.

Таким образом, во многих приложениях, таких как показанное на ФИГ. 3, может быть желательно моделировать сцену и формировать эффективное представление изображения и звука, которое может быть эффективно включено в сигнал данных, передаваемый или транслируемый затем различным устройствам, которые могут локально синтезировать виды и аудио для поз, отличных от захватываемых.

В некоторых вариантах реализации модель, представляющая сцену, может быть, например, сохранена локально и может быть использована локально для синтеза надлежащих изображений и аудио. Например, аудиомодель помещения может включать в себя указатель свойств аудиоисточников, которые могут быть услышаны в помещении, а также акустические свойства помещения. В таком случае данные модели могут быть использованы для синтеза надлежащего аудио для конкретного положения.

Важнейшим является вопрос о том, как представлена аудиосцена, и как это представление используется для формирования аудио. Рендеринг аудио, направленный на обеспечение естественных и реалистичных эффектов слушателю, обычно включает в себя рендеринг акустической среды. Для многих окружающих сред это включает представление и рендеринг рассеянной реверберации, присутствующей в окружающей среде, такой как помещение. Было обнаружено, что рендеринг и представление такой рассеянной реверберации значительно влияет на восприятие окружающей среды, например, воспринимается ли аудио как представляющее естественную и реалистичную окружающую среду. Далее будут описаны эффективные подходы к представлению аудиосцены и рендерингу аудио, в частности, реверберационного аудио, на основе этого представления.

Данный подход будет описан со ссылкой на аудиоустройство, которое показано на ФИГ. 4. Аудиоустройство выполнено с возможностью формирования выходного аудиосигнала, который представляет аудио в акустической окружающей среде. В частности, аудиоустройство может формировать аудио, представляющее аудио, воспринимаемое пользователем, перемещающимся в виртуальной окружающей среде с несколькими аудиоисточниками и с данными акустическими свойствами. Каждый аудиоисточник представляется аудиосигналом, представляющим звук из аудиоисточника, а также метаданными, которые могут описывать характеристики аудиоисточника (например, предоставляя указатели уровня для аудиосигнала). Кроме того, предоставляются метаданные для охарактеризования акустической окружающей среды.

Аудиоустройство содержит рендерер 401 пути для каждого аудиоисточника. Каждый рендерер 401 пути выполнен с возможностью формирования составляющей сигнала прямого пути, представляющей прямой путь от аудиоисточника до слушателя. Составляющая сигнала прямого пути формируется на основе положений слушателя и аудиоисточника, и, в частности, составляющая прямого сигнала может формироваться путем масштабирования аудиосигнала, потенциально зависимого от частоты, для аудиоисточника в зависимости от расстояния и, например, относительного коэффициента усиления для аудиоисточника в конкретном направлении к пользователю (например, для источников, не являющихся всенаправленными).

Во многих вариантах реализации рендерер 401 может также формировать сигнал прямого пути на основе заслоняющих или дифрагирующих (виртуальных) элементов, которая находятся между положениями источника и пользователя.

Во многих вариантах реализации рендерер 401 пути может также формировать дополнительные составляющие сигнала для отдельных путей в тех случаях, когда они включают в себя одно или более отражений. Это может быть сделано, например, путем оценки отражений от стен, потолка и т.д., как известно специалистам в данной области. Составляющие прямого пути и отраженного пути могут быть объединены в один выходной сигнал для каждого рендерера пути и, следовательно, для каждого аудиоисточника может быть сформирован один сигнал, представляющий прямой путь и ранние/дискретные отражения.

В некоторых вариантах реализации выходной аудиосигнал для каждого аудиоисточника может быть бинауральным сигналом, и, следовательно, каждый выходной сигнал может содержать (под)сигнал как для левого уха, так и для правого уха

Выходные сигналы из рендереров 401 пути подают в объединитель 403, который объединяет сигналы из различных рендереров 401 пути для формирования одного объединенного сигнала. Во многих вариантах реализации может быть сформирован бинауральный выходной сигнал, и объединитель может выполнять объединение, например, взвешенное объединение, отдельных сигналов из рендереров 401 пути, т.е. все сигналы для правого уха из рендереров 401 пути могут быть суммированы для формирования объединенных сигналов для правого уха, а все сигналы для левого уха из рендереров 401 пути могут быть суммированы для формирования объединенных сигналов для левого уха.

Рендереры пути и объединитель могут быть реализованы любым подходящим образом, в том числе, как правило, в виде исполнимого кода для обработки на подходящем вычислительном ресурсе, таком как микроконтроллер, микропроцессор, цифровой сигнальный процессор или центральный процессор, содержащий поддерживающую схему, такую как, например, память. Понятно, что множество рендереров пути могут быть реализованы в виде параллельных функциональных блоков, таких как, например, специализированный обрабатывающий блок, или могут быть реализованы в виде повторяющихся операций для каждого аудиоисточника. Обычно для каждого аудиоисточника/аудиосигнала исполняют один и тот же алгоритм/код.

В дополнение к звуковым составляющим отдельных путей аудиоустройство также выполнено с возможностью формирования составляющей сигнала, представляющей рассеянную реверберацию в окружающей среде. Сигнал рассеянной реверберации (эффективно) формируют путем объединения сигналов источника в микшированный с понижением сигнал и последующим применением алгоритма реверберации к микшированному с понижением сигналу для формирования сигнала рассеянной реверберации.

Аудиоустройство, приведенное на ФИГ. 4, содержит понижающий микшер 405, который принимает аудиосигналы для множества источников звука (обычно всех источников звука внутри акустической окружающей среды, для которой ревербератор имитирует рассеянную реверберацию), и объединяет их в микшированный с понижением сигнал. Микшированный с понижением сигнал отражает все звуки, формируемые в окружающей среде. Микшированный с понижением сигнал подают в ревербератор 407, который выполнен с возможностью формирования сигнала рассеянной реверберации на основе микшированного с понижением сигнала. Ревербератор 407 может, в частности, представлять собой параметрический ревербератор, такой как ревербератор Джота. Ревербератор 407 соединен с объединителем 403, в который подают сигнал рассеянной реверберации. После этого объединитель 403 приступает к объединению сигнала рассеянной реверберации с сигналами путей, представляющими отдельные пути, для формирования объединенного аудиосигнала, который представляет объединенный звук в окружающей среде, воспринимаемый слушателем.

Формирование сигнала рассеянной реверберации будет описано дополнительно со ссылкой на реверберационное аудиоустройство, которое показано на ФИГ. 5. Реверберационное аудиоустройство может быть включено в аудиоустройство, приведенное на ФИГ. 4, и может, в частности, реализовывать понижающий микшер 405 и ревербератор 407.

Реверберационное аудиоустройство содержит приемник 501, который выполнен с возможностью приема данных аудиосцены, представляющих аудио. Данные аудиосцены, в частности, содержат множество аудиосигналов, причем каждый из аудиосигналов представляет один аудиоисточник (и, следовательно, аудиосигнал описывает звук из аудиоисточника). Кроме того, приемник 501 принимает метаданные для каждого из аудиоисточников. Эти метаданные содержат указатель (относительного) уровня сигнала для аудиоисточника, причем указатель уровня сигнала может указывать уровень/энергию/амплитуду источника звука, представляемого аудиосигналом Метаданные для источника также содержат данные о направленности, указывающие направленность излучения звука из источника звука. Данные о направленности для аудиосигнала могут, например, описывать диаграмму направленности и могут, в частности, описывать относительный коэффициент усиления/энергию/плотность для аудиоисточника в различных направлениях из положения аудиоисточника.

Приемник 501 принимает метаданные, указывающие акустическую окружающую среду. В частности, приемник 501 принимает соотношение сигнала рассеянной реверберации с общим сигналом и, в частности, отношение сигнала рассеянной реверберации к общему сигналу (может также упоминаться как отношение уровня сигнала рассеянной реверберации к общему уровню сигнала или, в некоторых случаях, как отношение уровня сигнала рассеянной реверберации к общей энергии сигнала, или отношение излученной энергии к энергии рассеянной реверберации), которое указывает уровень звука рассеянной реверберации относительно всего излученного звука в акустической окружающей среде. Отношение сигнала рассеянной реверберации к общему сигналу далее для краткости будет называться отношением рассеянного сигнала к исходному (DSR) или, что равнозначно, отношением исходного сигнала к рассеянному (SDR) (в последующем описании будет преимущественно использоваться первое).

Понятно, что отношение и обратное отношение могут предоставлять одну и ту же информацию, т.е. любое отношение может быть выражено как обратное отношение. Таким образом, соотношение сигнала рассеянной реверберации с общим сигналом может быть выражено долей значения, отражающего уровень звука рассеянной реверберации, деленный на значение, отражающее общий излученный звук, или, что равнозначно, долей значения, отражающей общий излученный звук, деленный на значение, отражающее уровень звука рассеянной реверберации. Также понятно, что могут быть введены различные модификации оцениваемых значений, например, может быть применена нелинейная функция (например, логарифмическая функция).

Любой указатель соотношения сигнала рассеянной реверберации с общим сигналом, который указывает уровень звука рассеянной реверберации относительно общего излученного звука в акустической окружающей среде, может быть использован и предоставлен в метаданных. В последующем описании основное внимание будет уделено соотношению, представляемому отношением уровня сигнала рассеянной реверберации к уровню (например, энергии или плотности энергии) общего сигнала. Таким образом, описание будет сосредоточено на примере отношения сигнала рассеянной реверберации к общему сигналу, которое также будет упоминаться как DSR.

Приемник 501 может быть реализован любым подходящим способом, в том числе, например, с использованием дискретной или специализированной электроники. Приемник 501 рендеринга может быть реализован, например, в виде интегральной схемы, такой как специализированная интегральная схема (ASIC). В некоторых вариантах реализации схема может быть реализована в виде программируемого блока обработки, такого как, например, встроенное программное обеспечение или программное обеспечение, выполняемое на подходящем процессоре, таком как центральный процессор, цифровой сигнальный процессор или микроконтроллер и т.д. Понятно, что в таких вариантах реализации блок обработки может содержать встроенную или внешнюю память, схему управления тактовым сигналом, схему интерфейса, схему пользовательского интерфейса и т.д. Такая схема может быть также реализована как часть блока обработки, как интегральные схемы и/или как дискретная электронная схема.

Приемник 501 может принимать данные аудиосцены из любого подходящего источника и в любой подходящей форме, в том числе, например, как часть аудиосигнала. Данные могут быть приняты из внутреннего или внешнего источника. Приемник 401 может быть, например, выполнен с возможностью приема данных помещения по сетевому соединению, радиосоединению или любом другому подходящему соединению с внешним источником. Во многих вариантах реализации приемник может принимать данные из локального источника, такого как локальная память. Во многих вариантах реализации приемник 501 может быть, например, выполнен с возможностью извлечения данных помещения из локальной памяти, такой как локальная память ОЗУ или ПЗУ.

Приемник 501 может быть соединен с рендерерами 401 пути и может перенаправлять им данные аудиосцены для использования при формировании составляющих сигнала пути (прямого пути и ранних отражений), как описано ранее.

Реверберационное аудиоустройство также содержит понижающий микшер 405, в который также подают данные аудиосцены. Понижающий микшер 405 содержит схему/процессор 505 энергии, схему/процессор 507 коэффициентов и схему/процессор 509 понижающего микширования.

Понижающий микшер 405 и, в действительности, каждая из схемы/процессора 505 энергии, схемы/процессора 507 коэффициентов и схема/процессор 509 понижающего микширования могут быть реализованы любым подходящим образом, в том числе, например, с использованием дискретной или специализированной электроники. Приемник 501 рендеринга может быть реализован, например, в виде интегральной схемы, такой как специализированная интегральная схема (ASIC). В некоторых вариантах реализации схема/процессор может быть реализована в виде программируемого блока обработки, такого как, например, встроенное программное обеспечение или программное обеспечение, выполняемое на подходящем процессоре, таком как центральный процессор, цифровой сигнальный процессор или микроконтроллер и т.д. Понятно, что в таких вариантах реализации блок обработки может содержать встроенную или внешнюю память, схему управления тактовым сигналом, схему интерфейса, схему пользовательского интерфейса и т.д. Такая схема может быть также реализована как часть блока обработки, как интегральные схемы и/или как дискретная электронная схема.

Процессор 507 коэффициентов выполнен с возможностью определения коэффициентов понижающего микширования по меньшей мере для некоторых из принятых аудиосигналов. Коэффициент понижающего микширования для аудиосигнала может соответствовать присвоению веса этому аудиосигналу при понижающем микшировании. Коэффициент понижающего микширования может представлять собой вес для аудиосигнала во взвешенной комбинации, формирующей сигнал, микшированный с понижением. Таким образом, коэффициенты понижающего микширования могут быть относительными весами для аудиосигналов при объединении их для формирования микшированного с понижением сигнала (который во многих вариантах реализации является моносигналом), например, они могут быть весами взвешенного суммирования.

Процессор 507 коэффициентов выполнен с возможностью формирования коэффициентов понижающего микширования на основе принятого отношения сигнала рассеянной реверберации к общему сигналу, т.е. отношения рассеянного сигнала к исходному, DSR.

Коэффициенты также определяются в ответ на определенный указатель общей излученной энергии, который указывает общую энергию, излученную из аудиоисточника. В том время как DSR обычно является общим для некоторых и, как правило, для всех аудиосигналов, указатель общей излученной энергии обычно специфичен для каждого аудиоисточника.

Указатель общей излученной энергии обычно указывает нормализованную общую излученную энергию. Та же самая нормализация может быть применена ко всем аудиоисточникам и к составляющим прямого и отраженного пути. Таким образом, указатель общей излученной энергии может быть относительным значением относительно указателей общей излученной энергии для других аудиоисточников/аудиосигналов, или относительно отдельных составляющих пути, или относительно полномасштабного значения выборки аудиосигнала.

Указатель общей отраженной энергии в сочетании с DSR может для каждого аудиоисточника обеспечивать коэффициент понижающего микширования, который отражает относительный вклад этого аудиоисточника в звук рассеянной реверберации. Таким образом, определение коэффициента понижающего микширования как функции DSR и указателя общей излученной энергии может обеспечить коэффициенты понижающего микширования, которые отражают относительный вклад в рассеянный звук. Использование коэффициентов понижающего микширования для формирования микшированного с понижением сигнала может привести к микшированному с понижением сигналу, который отражает общий формируемый звук в окружающей среде, причем каждому из источников звука присвоен соответствующий вес, а акустическая среда моделируется точно.

Во многих вариантах реализации коэффициент понижающего микширования как функция от DSR и указателя общей излученной энергии в сочетании с масштабированием в ответ на свойства ревербератора (407) может обеспечить коэффициенты понижающего микширования, которые отражают надлежащий относительный уровень звука рассеянной реверберации относительно соответствующих составляющих сигнала пути.

Процессор 505 энергии соединен с процессором 507 коэффициентов и выполнен с возможностью определения указателей общей излученной энергии из метаданных, принятых для аудиоисточников.

Принятые метаданные содержат базовый уровень сигнала для каждого источника, который предоставляет указатель уровня аудио. Базовый уровень сигнала обычно представляет собой нормализованное или относительное значение, которое обеспечивает указатель базового уровня сигнала относительно других аудиоисточников или относительно нормализованного базового уровня. Таким образом, базовый уровень сигнала может, как правило, указывать не абсолютный уровень звука для источника, а, скорее, относительный уровень относительно других аудиоисточников.

В конкретном примере базовый уровень сигнала может включать в себя указание в виде базового расстояния, обеспечивающее расстояние, для которого ослабление с увеличением дальности, подлежащее применению к аудиосигналу, составляет 0 дБ. Таким образом, для расстояния между аудиоисточником и слушателем, равного базовому расстоянию, принимаемый аудиосигнал может быть использован без какого-либо масштабирования в зависимости от расстояния. Для расстояния меньше базового расстояния ослабление меньше, и поэтому при определении уровня звука в положении прослушивания должен быть применен коэффициент усиления выше 0 дБ. Для расстояния больше базового расстояния ослабление выше, и поэтому при определении уровня звука в положении прослушивания должно быть применено ослабление выше 0 дБ. Точно также, для данного расстояния между аудиоисточником и положением прослушивания к аудиосигналу, связанному с более высоким базовым расстоянием, будет применен более высокий коэффициент усиления, чем к аудиосигналу, связанному с более коротким базовым расстоянием. Поскольку аудиосигнал обычно нормализуют для представления значимого базового расстояния или для использования полного динамического диапазона (например, реактивный двигатель и сверчок будут оба представлены аудиосигналами, использующими полный динамический диапазон используемых слов данных), базовое расстояние обеспечивает указатель уровня базового сигнала для конкретного аудиоисточника.

В этом примере уровень базового сигнала также указывают с помощью базового коэффициента усиления, называемого коэффициентом предварительного усиления. Базовый коэффициент усиления предоставляется для каждого аудиоисточника и обеспечивает коэффициент усиления, который следует применить к аудиосигналу при определении рендерируемых уровней аудио. Таким образом, коэффициент предварительного усиления может быть использован для дополнительного указания вариаций между различными аудиоисточниками.

Метаданные также содержат данные о направленности, которые указывают направленность излучения звука из источника звука, представленного аудиосигналом. Данные о направленности для каждого аудиоисточника могут указывать относительный коэффициент усиления относительно базового уровня сигнала в различных направлениях из аудиоисточника. Данные о направленности могут, например, обеспечивать полную функцию или описание диаграммы направленности излучения из аудиоисточника, определяющей коэффициент усиления в каждом направлении. В качестве другого примера может быть использован упрощенный указатель, такой как, например, одно значение данных, указывающее заданную диаграмму направленности. В качестве еще одного примера данные о направленности могут обеспечивать отдельные значения коэффициента усиления для диапазона различных интервалов направления (например, сегментов сферы).

Таким образом, метаданные вместе с аудиосигналами могут позволять формировать уровни. В частности, рендереры пути могут определять составляющую сигнала для прямого пути путем применения коэффициента усиления к аудиосигналу, причем коэффициент усиления представляет собой комбинацию коэффициента предварительного усиления, коэффициента усиления по расстоянию, определенного как функция от расстояния между аудиоисточником и слушателем и базового расстояния, и коэффициента усиления по направленности в направлении от аудиоисточника к слушателю.

Что касается формирования сигнала рассеянной реверберации, метаданные используют для определения указателя (нормализованной) общей излученной энергии для аудиоисточника на основе базового уровня сигнала и данных о направленности для аудиоисточника.

В частности, указатель общей излученной энергии может быть сформирован путем интегрирования коэффициента усиления по направленности по всем направлениям (например, интегрирования по поверхности сферы с центром в положении аудиоисточника) и масштабирован по базовому уровню сигнала и, в частности, по коэффициенту усиления по расстоянию и коэффициенту предварительного усиления.

Определенный указатель общей излученной энергии после этого подают в процессор 507 коэффициентов, где его обрабатывают с помощью DSR для формирования коэффициентов понижающего микширования.

Затем коэффициенты понижающего микширования используются процессором 509 понижающего микширования для формирования сигнала, микшированного с понижением. В частности микшированный с понижением сигнал может быть сформирован в виде комбинации, и, в частности, суммы, аудиосигналов, причем каждому аудиосигналу присваивают вес посредством коэффициента понижающего микширования для соответствующего аудиосигнала.

Микшированный с понижением сигнал обычно формируют как моносигнал, который затем подают в ревербератор 407, который приступает к формированию сигнала рассеянной реверберации.

Следует отметить, что в то время, как рендеринг и формирование отдельных составляющих сигнала пути рендерерами 401 пути зависит от положения, например, за счет определения коэффициента усиления по расстоянию и коэффициента усиления по направленности, формирование сигнала рассеянной реверберации может не зависеть от положения как источника, так и слушателя.

Указатель общей излученной энергии может быть определен на основе базового уровня сигнала и данных о направленности без учета положений источника и слушателя. В частности, коэффициент предварительного усиления и базовое расстояние для источника могут быть использованы для определения не зависящего от направленности базового уровня сигнала на номинальном расстоянии от источника (номинальное расстояние одинаковое для всех аудиосигналов/аудиоисточников), который нормализуют относительно, например, полномасштабной выборки аудиосигналов. Интегрирование коэффициентов усиления по направленности по всем направлениям может быть выполнено для нормализованной сферы, такой как, например, сфера на базовом расстоянии. Таким образом, указатель общей излученной энергии не будет зависеть от положения источника и слушателя (это отражает то, что звук рассеянной реверберации обычно однороден в окружающей среде, такой как помещение). Затем указатель общей излученной энергии объединяют с DSR для формирования коэффициентов понижающего микширования (во многих вариантах реализации могут также учитываться другие параметры, такие как параметры ревербератора). Поскольку DSR тоже не зависит от положений, как и обработка понижающего микширования и реверберации, сигнал рассеянной реверберации может быть сформирован без какого-либо учета конкретных положений источника и слушателя.

Такой подход может обеспечить высокую производительность и естественное восприятие аудио, не требуя чрезмерных вычислительных ресурсов. Он может особенно подходить, например, для приложений виртуальной реальности, в которых пользователь (и источники) могут перемещаться в окружающей среде, и, следовательно, в которой относительные положения слушателя (и, возможно, некоторых из аудиоисточников) могут изменяться динамически.

Далее будут более подробно описаны конкретные аспекты различных вариантов реализации подхода, показанного на ФИГ. 4 и 5.

Во многих вариантах реализации метаданные могут также содержать указатель того, когда должен начинаться сигнал рассеянной реверберации, т.е., он может указывать временную задержку, связанную с сигналом рассеянной реверберации. В частности, указатель временной задержки может быть в форме предварительной задержки.

Предварительная задержка может представлять задержку/запаздывание в RIR и может быть определена в виде порогового значения между ранними отражениями и рассеянной поздней реверберацией. Поскольку этот порог обычно возникает в рамках плавного переход от (более или менее) дискретных отражений к смеси полностью интерферирующих отражений высокого порядка, подходящее пороговое значение может быть выбрано с использованием подходящего процесса оценки/принятия решения. Определение может быть выполнено автоматически на основе анализа RIR, или пороговое значение может быть вычислено на основе размеров и/или свойств материалов помещения.

В альтернативном варианте реализации может быть выбрано фиксированное пороговое значение, такое как, например 80 мс. Предварительная задержка может быть указана в секундах, миллисекундах или отсчетах. В последующем описании предполагается, что предварительную задержку выбирают в точке, после которой реверберация действительно рассеивается. Однако, если это не так, описанный способ все равно может работать в достаточной степени.

Поэтому предварительная задержка указывает на начало рассеянного реверберационного отклика с момента начала излучения источника. Например, для примера, показанного на ФИГ. 6, если источник начинает излучать в момент времени t0 (например, t0 = 0), прямой звук достигает пользователя в момент времени t1 > t0, первое отражение достигает пользователя в момент времени t2 > t1, а определенное пороговое значение между ранними отражениями и рассеянной реверберацией достигает пользователя в момент времени t3 > t2. Тогда предварительная задержка равна t3 - t0.

В системе отношение сигнала рассеянной реверберации к общему сигналу, т.е. отношение рассеянного сигнала к исходному, DSR, может быть использовано для выражения величины энергии рассеянной реверберации или уровня источника, принимаемого пользователем, как отношение общей излученной энергии этого источника. Она может быть выражена так, чтобы энергия рассеянной реверберации была надлежащим образом доведена до состояния для калибровки уровня сигналов, подлежащих рендерингу, и приведена в соответствие с метаданными (например, коэффициентом предварительного усиления).

Выражение таким образом может гарантировать, что значение не зависит от абсолютных положений и ориентаций слушателя и источника в окружающей среде, не зависит от относительного положения и ориентации пользователя относительно источника и наоборот, не зависит от конкретных алгоритмов для рендеринга реверберации, и что существует значимая связь с уровнями сигнала, используемыми в системе.

В описанном подходе вычисляют коэффициенты понижающего микширования, которые учитывают как диаграммы направленности для установления правильных относительных уровней между сигналами источника, так и DSR для достижения правильного уровня выходного сигнала ревербератора 407.

DSR может представлять отношение между излученной энергией и свойством рассеянной реверберации, таким как, в частности, энергия или (начальный) уровень сигнала рассеянной реверберации.

Описание будет в основном сосредоточено на DSR, указывающем энергию рассеянной реверберации относительно общей энергии:

Энергию рассеянной реверберации можно рассматривать как энергию, создаваемую характеристикой помещения с момента начала участка рассеяния, например, это может быть энергия RIR с момента времени, указанного предварительной задержкой, до бесконечности. Следует отметить, что последующие возбуждения помещения будут увеличивать энергию реверберации, поэтому, она обычно может быть измерена только непосредственно путем возбуждения с помощью импульса Дирака. В альтернативном варианте реализации она может быть получена из измеренной RIR.

Энергия реверберации представляет энергию в одной точке в пространстве рассеянного поля, а не интегрированную по всему пространству.

Особенно эффективной альтернативой вышеизложенному будет использование DSR, которое указывает начальную амплитуду звука рассеянного сигнала относительно энергии всего излученного звука в окружающей среде. В частности, DSR может указывать амплитуду реверберации в момент времени, указанный предварительной задержкой.

Амплитуда при предварительной задержке может быть наибольшим возбуждением импульсной характеристики помещения в момент предварительной задержки или сразу после него. Например, в пределах 5, 10, 20 или 50 мс после предварительной задержки. Причина выбора наибольшего возбуждения в определенном диапазоне заключается в том, что в момент времени предварительной задержки импульсная характеристика помещения может случайно оказаться в нижней части характеристики. С учетом общей тенденции к уменьшению амплитуды наибольшее возбуждение в коротком интервале после предварительной задержки, как правило, является также возбуждением всей характеристики рассеянной реверберации.

Использование DSR, указывающего начальную амплитуду (в пределах интервала длительностью 10 мс) облегчает и делает более надежным отображение DSR в параметры во многих алгоритмах реверберации. Таким образом, в некоторых вариантах реализации DSR может быть задано следующим образом:

Параметры в DSR выражены относительно одного и того же базового уровня сигнала источника.

Это может быть достигнуто, например, путем измерения (или имитации) RIR представляющего интерес помещения с помощью микрофона при определенных известных условиях (таких как расстояние между источником и микрофоном и диаграмма направленности источника). Источник должен излучать в помещение калиброванную величину энергии, например, импульс Дирака известной энергии.

Калибровочный коэффициент для электрических преобразований в измерительном оборудовании и аналого-цифровом преобразовании может быть измерен или получен из технических характеристик. Он также может быть вычислен из характеристики прямого пути в RIR, которую можно спрогнозировать из диаграммы направленности источника и расстояния источник-микрофон. Прямой отклик имеет определенную энергию в цифровой области и представляет излученную энергию, умноженную на коэффициент усиления по направленности для направления микрофона, и коэффициент усиления по расстоянию, который может зависеть от поверхности микрофона относительно общей площади сферической поверхности с радиусом, равным расстоянию источник-микрофон.

Оба элемента должны использовать один и тот же цифровой базовый уровень. Например, полномасштабная синусоида с частотой 1 кГц соответствует уровню звукового давления (УЗД) 100 дБ.

Измерение энергии рассеянной реверберации из RIR и компенсация ее с помощью калибровочного коэффициента дает надлежащую энергию в той же области, что и известная излученная энергия. Вместе с излученной энергией можно вычислить соответствующее DSR.

Базовое расстояние может указывать расстояние, на котором коэффициент усиления по расстоянию, подлежащий применению к сигналу, составляет 0 дБ, т.е. на котором не должно применяться усиление или ослабление для компенсации расстояния. В таком случае фактический коэффициент усиления, который должен применяться рендерерами 401 пути, может быть вычислен с учетом фактического расстояния относительно базового расстояния.

Представление влияния расстояния на распространение звука выполняют со ссылкой на данное расстояние. Удвоение расстояния уменьшает плотность энергии (энергию на единицу поверхности) на 6 дБ. Уменьшение вдвое расстояния увеличивает плотность энергии (энергию на единицу поверхности) на 6 дБ.

Для определения коэффициента усиления по расстоянию должно быть известно расстояние, соответствующее данному уровню, чтобы можно было определить относительную вариацию для текущего расстояния, т.е., чтобы определить, насколько уменьшилась или увеличилась плотность.

Если пренебречь поглощением в воздухе и предположить отсутствие отражений или загораживающих элементов, то излученная энергия источника постоянна на любой сфере любого радиуса с центром в положении источника. Отношение площади, соответствующее фактическому расстоянию в сравнении с базовым расстоянием, указывает на ослабление энергии. Линейное усиление амплитуды сигнала на расстоянии рендеринга d может быть представлено как:

где r_баз - базовое расстояние.

В качестве примера, это приводит к ослаблению сигнала около 6 дБ (или усилению -6 дБ), если базовое расстояние составляет 1 метр, а расстояние рендеринга составляет 2 метра.

Указатель общей излученной энергии может представлять общую энергию, которую излучает источник звука. Как правило, источники звука излучают во всех направлениях, но не одинаково во всех направлениях. Пренебрежение плотностями энергии по сфере вокруг источника может обеспечить общую излученную энергию. В случае акустической системы излученную энергию часто можно вычислить, зная напряжение, подаваемое на выводы, и коэффициенты акустической системы, описывающие импеданс, потери энергии и передачу электрической энергии в волны звукового давления.

Процессор 505 энергии выполнен с возможностью определения указателя общей излученной энергии с учетом данных о направленности аудиоисточника. Следует отметить, что при определении сигналов рассеянной реверберации для источников, которые могут иметь меняющуюся направленность источника, важно использовать общую излученную энергию, а не просто уровень сигнала или базовый уровень сигнала Например, рассмотрим источник с коэффициентом направленности 1 для очень узкого луча и коэффициентом направленности 0 для всех остальных направлений (т.е. энергия передается только в очень узком луче). В этом случае излученная энергия источника может быть аналогична энергии аудиосигнала и базовому уровню сигнала, поскольку она представляет общую энергию. Если вместо этого рассмотреть другой источник с аудиосигналом, имеющим такие же энергию и базовый уровень сигнала, но всенаправленный, то излученная энергия этого источника будет гораздо выше, чем энергия аудиосигнала и базовые уровни сигнала. Поэтому, когда оба источника активны одновременно, сигнал всенаправленного источника должен быть представлен гораздо сильнее в сигнале рассеянной реверберации и, следовательно, в микшированном с понижением сигнале, чем сильно направленный источник.

Как упоминалось, процессор 505 энергии может определять излученную энергию путем интегрирования плотности энергии по поверхности сферы, окружающей аудиоисточник. Пренебрегая коэффициентом усиления по расстоянию, т.е., интегрируя по поверхности с радиусом, коэффициент усиления по расстоянию для которого равен 0 дБ (т.е. с радиусом, соответствующим базовому расстоянию), можно определить показатель общей излученной энергии следующим образом:

где - функция усиления по направленности, - коэффициент предварительного усиления, связанный с аудиосигналом/аудиоисточником, и указывает уровень самого аудиосигнала.

Поскольку не зависит от направления, его можно также вынести за знак интеграла. Аналогичным образом сигнал не зависит от направления (коэффициент усиления по направленности отражает эту вариацию; на него можно умножить позже, поскольку:

и поэтому интеграл становится независимым от сигнала).

Один конкретный подход к определению этого интеграла описан более подробно ниже.

Требуется проинтегрировать коэффициенты усиления по направленности по сфере.

Использование сферы с радиусом, равным базовому расстоянию (r) означает, что коэффициент усиления по расстоянию равен 0 дБ, и поэтому коэффициентом усиления по расстоянию/ослаблением можно пренебречь.

В данном примере выбрана сфера, поскольку она обеспечивает эффективное вычисление, но та же энергия может быть определена из любой замкнутой поверхности любой формы, охватывающей положение источника. Это справедливо при условии, что в интеграле используются соответствующий коэффициент усиления по расстоянию и коэффициент усиления по направленности и считается, что эффективная поверхность обращена к положению источника (т.е. нормальный вектор к поверхности находится на одной линии с положением источника).

Интеграл по поверхности должен определять малую поверхность dS. Поэтому определение сферы двумя параметрами, азимут (a) и угол возвышения(e), обеспечивает размерности для этого. Используя систему координат для нашего решения, получаем:

f(a, e, r) = r * cos(e) * cos(a) * u_x + r * cos(e) * cos(a) * u_y + r * sin(e) * u_z

где u_x, u_y и u_z - единичные базовые векторы системы координат.

Малая поверхность dS представляет собой модуль перекрестного произведения частных производных поверхности сферы относительно двух параметров, умноженная на дифференциалы каждого параметры:

dS = |f_a x f_e| da de

Производные определяют векторы, касательные к сфере в точке, представляющей интерес.

f_a = -r * cos(e) * sin(a) * u_x + r * cos(e) * cos(a) * u_y + 0 * u_z

f_e = -r * sin(e) * cos(a) * u_x - r * sin(e) * sin(a) * u_y + r * cos(e) * u_z

Перекрестное произведение производных является вектором, перпендикулярным к обоим векторам.

f_a x f_e = (r² * cos(e) * cos(a) * cos(e) + 0 * sin(e) * sin(a)) * u_x + (-0 * sin(e) * cos(a) + r² * cos(e) * sin(a) * cos(e)) * u_y + (r² * cos(e) * sin(a) * sin(e) * sin(a) + r² * cos(e) * cos(a) * sin(e) * cos(a)) * u_z

= r² * cos²(e) * cos(a) * u_x + r² * cos²(e) * sin(a) * u_y + (r² * cos(e) * sin(e) * sin²(a) + r² * cos(e) * sin(e) * cos²(a)) * u_z = r² * cos²(e) * cos(a) * u_x + r² * cos²(e) * sin(a) * u_y + (r² * cos(e) * sin(e) * (sin²(a) + cos²(a))) * u_z = r² * cos²(e) * cos(a) * u_x + r² * cos²(e) * sin(a) * u_y + r² * cos(e) * sin(e) * u_z

Модуль перекрестного произведения представляет собой площадь поверхности параллелограмма, образованного векторами f_a и f_e, и, следовательно, площади поверхности на сфере:

|f_a x f_e| = sqrt((r² * cos²(e) * cos(a))² + (r² * cos²(e) * sin(a))² + (r² * cos(e) * sin(e))²)

= sqrt(r⁴ * cos⁴(e) * cos²(a) + r⁴ * cos⁴(e) * sin²(a) + r⁴ * cos²(e) * sin²(e)) = sqrt(r⁴ * cos⁴(e) * (cos²(a) + sin²(a)) + r⁴ * cos²(e) * sin²(e)) = sqrt(r⁴ * cos⁴(e) + r⁴ * cos²(e) * sin²(e)) = sqrt(r⁴ * cos²(e) * (cos²(e) + sin²(e))) = sqrt(r⁴ * cos²(e)) = abs(r² * cos(e)) = r² * cos(e), когда e = [-0,5*π, 0,5*π]

В результате:

dS = r² * cos(e) * da * de

где первые два члена определяют нормализованную площадь поверхности, а при умножении на da и de она становятся фактической поверхностью, основанной на размере сегментов da и de. Таким образом, двойной интеграл по поверхности может быть выражен через азимут и угол возвышения. Согласно вышесказанному, поверхность dS выражена через a и e. Двойное интегрирование может быть выполнено по азимуту = 0 … 2*π (внутренний интеграл) и углу возвышения = -0,5*π ... 0,5*π (внешний интеграл).

где - направленность как функция от азимута и угла возвышения. Следовательно, если , результатом должна быть поверхность сферы (в качестве доказательства, вычисление интеграла аналитически приводит к , как и ожидалось).

Во многих практических вариантах реализации диаграмма направленности может быть представлена не в виде интегрируемой функции, а, например, в виде дискретного набора выборочных точек. Например, каждый выборочный коэффициент усиления по направленности связан с азимутом и углом возвышения. Как правило, эти выборки будут представлять сетку на сфере. Один из подходов к решению этой проблемы заключается в преобразовании интегралов в суммы, т.е. может быть выполнено дискретное интегрирование. Интегрирование в этом примере может быть реализовано как суммирование по всем точкам на сфере, для которых имеется коэффициент усиления по направленности. Это дает значения для , но требует правильного выбора и так, чтобы они не привели к большим ошибкам из-за перекрытия или зазоров.

В других вариантах реализации диаграмма направленности может быть предоставлены в виде ограниченного количества неравномерно разнесенных точек в пространстве. В этом случае диаграмма направленности может быть интерполирована и равномерно повторно дискретизирована по всему диапазону азимутов и углов возвышения, представляющих интерес.

В качестве альтернативного решения можно предположить, что является постоянным вокруг его определенных точек, и вычислить интеграл локально аналитическим способом. Например, для маленького диапазона азимута и угла превышения. Например, посередине между соседними определенными точками. При этом используется вышеуказанный интеграл, но для различных диапазонов и , и предполагается, что является постоянным.

Эксперименты показали, что при простом суммировании ошибки небольшие, даже при довольно грубом разрешении направленности. Кроме того, ошибки не зависят от радиуса. При линейном разнесении 10 точек азимута и линейном разнесении 10 точек угла возвышения получается относительная ошибка -20 дБ.

Интеграл, выражение для которого приведено выше, дает результат, масштабированный с учетом радиуса сферы. Следовательно, он масштабирует по базовому расстоянию. Эта зависимость от радиуса обусловлена тем, что не учитывается обратный эффект «усиления по расстоянию» между двумя разными радиусами. При удвоении радиуса энергия, «протекающая» через фиксированную площадь поверхности (например, 1 см²), меньше на 6 дБ. Поэтому можно сказать, что интегрирование должно учитывать коэффициент усиления по расстоянию. Однако интегрирование выполняется на базовом расстоянии, которое определяется как расстояние, на котором усиление по расстоянию отражается в сигнале. Другими словами, уровень сигнала, указанный базовым расстоянием, не учитывается за счет масштабирования интегрируемого значения, но отражается площадью поверхности, по которой выполняется интегрирование, и которая изменяется в зависимости от базового расстояния (поскольку интегрирование выполняется по сфере с радиусом, равным базовому расстоянию).

В результате интеграл, который описан выше, отражает коэффициент масштабирования энергии аудиосигнала (включая любое предварительное усиление или аналогичную калибровочную коррекцию), поскольку аудиосигнал представляет правильную энергию воспроизведения сигнала на фиксированной площади поверхности на сфере с радиусом, равным базовому расстоянию (без усиления по направленности)

Это означает, что чем больше базовое расстояние, тем больше коэффициент масштабирования общей энергии сигнала, если сигнал остается неизменным. Причина в том, что соответствующий сигнал представляет источник звука, который относительно громче источника звука с такой же энергией сигнала, но на меньшем базовом расстоянии.

Другими словами, при выполнении интегрирования по поверхности сферы с радиусом, равным базовому расстоянию, указатель уровня сигнала, обеспечиваемый базовым расстоянием, учитывается автоматически. Чем больше базовое расстояние, тем больше будет площадь поверхности и, следовательно, тем больше будет указатель общей излученной энергии. В частности, интегрирование выполняют непосредственно на расстоянии, для которого коэффициент усиления по расстоянию равен 1.

Вышеуказанный интеграл приводит к значениям, которые нормализованы по используемой единице поверхности и по единице, используемой для указания базового расстояния r. Если базовое расстояние выражается в метрах, то результат интегрирования предоставляется в единицах м².

Чтобы соотнести оцененное значение излученной энергии с сигналом, оно должно быть выражено в единицах поверхности, которая соответствует сигналу. Поскольку уровень сигнала представляет уровень, при котором он должен воспроизводиться для пользователя на базовом расстоянии, то наиболее подходящей может быть площадь поверхности уха человека. На базовом расстоянии эта поверхность относительно всей поверхности сферы будет соотнесена части энергии источника, которую можно было бы воспринимать.

Поэтому указатель общей излученной энергии, представляющий излучающую энергию источника, нормализованную для полномасштабных выборок в аудиосигнале, может быть указан следующим образом:

где указывает энергию, определенную интегрированием коэффициента усиления по направленности по поверхности сферы с радиусом, равным базовому расстоянию, - коэффициент предварительного усиления, а - коэффициент масштабирования нормализации (для соотнесения определенной энергии с площадью уха человека).

С помощью DSR, характеризующего связанные с рассеянием акустические свойства пространства, и вычисленной излученной энергии источника, полученной из метаданных направленности, предварительного усиления и базового расстояния, можно вычислить соответствующую энергию реверберации.

Обычно DSR можно определить с помощью одних и тех же базовых уровней, используемых обеими его составляющими. Это может совпадать или не совпадать с показателем общей излученной энергии. Независимо от этого, когда такое DSR объединяется с указателем общей излученной энергии, получающаяся в результате энергия реверберации также выражается как энергия, нормализованная для полномасштабных выборок в аудиосигнале, когда используется общая излученная энергия, определенная вышеуказанным интегрированием. Другими словами, все рассматриваемые энергии по существу нормализованы по отношению к одним и тем же базовым уровням, так что они могут быть непосредственно объединены без необходимости в коррекции уровней. В частности, определенная общая излученная энергия может быть непосредственно использована вместе с DSR для формирования указателя уровня для рассеянной реверберации, формируемой из каждого источника, причем указатель уровня непосредственно указывает надлежащий уровень относительно рассеянной реверберации для других аудиоисточников и относительно отдельных составляющих сигнала пути.

В качестве конкретного примера, относительные уровни сигнала для составляющих сигнала рассеянной реверберации для различных источников могут быть получены непосредственно путем умножения DSR на указатель общей излученной энергии.

В описанной системе адаптация вкладов различных ауидоисточников в сигнал рассеянной реверберации по меньшей мере частично выполняется путем адаптации коэффициентов понижающего микширования, используемых для формирования сигнала, микшированного с понижением. Таким образом, коэффициенты понижающего микширования могут быть сформированы так, чтобы относительные вклады/уровни энергии рассеянного звука из каждого аудиоисточника отражали определенную энергию рассеянной реверберации для источников.

В качестве конкретного примера, если DSR указывает начальный уровень амплитуды, коэффициенты понижающего микширования могут быть определены пропорциональными (или равными) DSR, умноженному на указатель общей излученной энергии. Если DSR указывает уровень энергии, коэффициенты понижающего микширования могут быть определены пропорциональными (или равными) квадратному корню из DSR, умноженного на указатель общей излученной энергии.

В качестве конкретного примера, коэффициент понижающего микширования для обеспечения надлежащей коррекции сигнала с индексом множества входных сигналов может быть вычислен следующим образом:

где обозначает коэффициент предварительного усиления, а представляет собой нормализованную излученную источником энергию для сигнала до предварительного усиления. DSR представляет отношение энергии рассеянной реверберации к излученной энергии источника. Когда коэффициент понижающего микширования применяется к входному сигналу , получающийся в результате сигнал представляет уровень сигнала, который при фильтрации ревербератором, имеющим характеристику реверберации единичной энергии, обеспечивает правильную энергию рассеянной реверберации для сигнала относительно рендеринга прямого пути сигнала и относительно энергий прямых путей и рассеянной реверберации других источников .

В альтернативном варианте реализации коэффициент понижающего микширования может быть вычислен следующим образом:

где обозначает нормализованную излученную энергию источника для сигнала , а DSR представляет отношение энергии рассеянной реверберации к начальной амплитуде характеристики реверберации. Когда коэффициент понижающего микширования применяется к входному сигналу , получающийся в результате сигнал представляет уровень сигнала, который соответствует начальному уровню сигнала рассеянной реверберации и может быть обработан ревербератором, имеющим характеристику реверберации, которая начинается с амплитуды, равной 1. В результате выходной сигнал ревербератора обеспечивает правильную энергию реверберации для сигнала относительно рендеринга прямого пути сигнала и относительно энергий прямых путей и рассеянной реверберации других источников .

Во многих вариантах реализации коэффициенты понижающего микширования частично определяются путем объединения DSR с указателем общей излученной энергии. Независимо от того, указывает ли DSR соотношение общей излученной энергии с энергией рассеянной реверберации или начальной амплитудой характеристики рассеянной реверберации, зачастую необходима дальнейшая адаптация коэффициентов понижающего микширования, чтобы адаптировать к используемому конкретному алгоритму ревербератора, который масштабирует сигналы так, что выходной сигнал процессора реверберации отражает требуемую энергию или начальную амплитуду. Например, плотность отражений в алгоритме реверберации сильно влияет на получаемую энергию реверберации, тогда как входные уровни остаются теми же. В качестве другого примера, начальная амплитуда алгоритма реверберации может быть не равна амплитуде ее возбуждения. Следовательно, может потребоваться специфичная для алгоритма или специфичная для алгоритма и специфичная для конфигурации коррекция. Она может быть включена в коэффициенты понижающего микширования и, как правило, является общей для всех источников. Для некоторых вариантов реализации эти коррекции могут быть применены к понижающему микшированию или включены в алгоритм ревербератора.

После того, как коэффициенты понижающего микширования сформированы, процессор 509 понижающего микширования может формировать микшированный с понижением сигнал, например, путем непосредственного взвешенного объединения или суммирования.

Преимущество описанного подхода заключается в возможности использования обычного ревербератора. Например, ревербератор 407 может быть реализован посредством сети с задержкой обратной связи, такой как, например, реализованная в ревербераторе Джота.

Как показано на ФИГ. 7, принцип сети с задержкой обратной связи использует один или больше (как правило, больше одного) контуров обратной связи с разными задержками. Входной сигнал, в данном случае микшированный с понижением сигнал, подают в контуры, где сигналы подаются обратно с соответствующими коэффициентами усиления обратной связи. Выходные сигналы выделяются путем объединения сигналов в контурах. Поэтому сигналы непрерывно повторяются с разными задержками. Используя взаимно простые задержки и имея матрицу обратной связи, которая микширует сигналы между контурами, можно создавать диаграмму направленности, которая схожа с реверберацией в реальных пространствах.

Абсолютное значение элементов в матрице обратной связи должно быть меньше 1, чтобы достичь устойчивой затухающей импульсной характеристики. Во многих реализациях в контурах могут быть использованы дополнительные коэффициенты усиления или фильтры. Эти фильтры могут управлять ослаблением вместо матрицы. Преимущество использования фильтров заключается в том, что затухающая характеристика может быть разной для разных частот.

В некоторых вариантах реализации, в которых выходной сигнал ревербератора получен бинауральным рендерингом, оцененная реверберация может быть отфильтрована с помощью средних передаточных функций головы (Head Related Transfer Function, HRTF) для левого и правого ушей, соответственно, чтобы получить сигналы реверберации левого и правого каналов. Понятно, что при наличии HRTF для более чем одного равномерно разнесенных расстояний на сфере вокруг пользователя средние HRTF для левого и правого ушей формируются с использованием набора HRTF для наибольшего расстояния. Использование средних HRTF может основываться на соображении (или отражать соображение), что реверберация изотропна и исходит со всех направлений. Поэтому, вместо того, чтобы включать пару HRTF для данного направления, можно использовать среднее значение по всем HRTF. Усреднение может быть выполнено один раз для левого уха и один раз для правого уха, и получающиеся в результате фильтры могут быть использованы для обработки выходного сигнала ревербератора для бинаурального рендеринга.

Ревербератор может в некоторых случаях сам вводить окрашивание входных сигналов, что приводит к выходному сигналу, который не имеет требуемой энергии выходного рассеянного сигнала, как описано DSR. Поэтому эффекты этого процесса также могут быть частотно скорректированы. Эта частотная коррекция может быть выполнена на основе фильтров, которые аналитически определены как обратная частотная характеристика работы ревербератора. В некоторых вариантах реализации передаточная функция может быть оценена с использованием методов машинного обучения оценке, таких как линейная регрессия, подгонка линии и т.д.

В некоторых вариантах реализации один и тот же подход может быть применен одинаково ко всей полосе частот. Однако в других вариантах реализации может быть выполнена частотно-зависимая обработка. Например, один или более предоставленных параметров метаданных могут зависеть от частоты. В таком примере устройство может быть выполнено с возможностью деления сигналов на различные частотные полосы, соответствующие частотной зависимости, а обработка, как описана ранее, может быть выполнена по отдельности в каждой из частотных полос.

В частности, в некоторых вариантах реализации отношение сигнала рассеянной реверберации к общему сигналу, DSR, является частотно-зависимым. Например, для диапазона дискретных частотных полос/интервалов могут быть предоставлены разные значения DSR, или DSR может быть предоставлен в виде функции от частоты. В таком варианте реализации устройство может быть выполнено с возможностью формирования частотно-зависимых коэффициентов понижающего микширования, отражающих частотную зависимость DSR. Например, могут быть сформированы коэффициенты понижающего микширования для отдельных частотных полос. Следовательно, аналогичным образом может быть сформирован сигнал частотно-зависимого понижающего микширования и рассеянной реверберации.

В случае частотно-зависимого DSR коэффициенты понижающего микширования могут в других вариантах реализации дополняться фильтрами, который фильтруют аудиосигналы в рамках формирования микшированного с понижением сигнала. В качестве другого примера эффект DSR может быть разделен на частотно-независимую (широкополосную) составляющую, используемую для формирования частотно-независимых коэффициентов понижающего микширования, применяемых для масштабирования отдельных аудиосигналов при формировании микшированного с понижением сигнала, и частотно-зависимую составляющую, которыая может быть применена к понижающему микшированию, например, путем применения частотно-зависимого фильтра к понижающему микшированию. В некоторых вариантах реализации такой фильтр может быть объединен с дополнительными фильтрами окрашивания, например, как часть алгоритма ревербератора. На ФИГ. 7 показан пример с корреляционным фильтром (u, v) и окрашивающим фильтром (h_L, h_R). Это сеть с задержкой обратной связи специально для бинаурального выходного сигнала, известная как ревербератор Джота.

Таким образом, в некоторых вариантах реализации DSR может включать в себя частотно-зависимую составляющую часть и частотно-независимую составляющую часть, а процессор 507 коэффициентов может быть выполнен с возможностью формирования коэффициентов понижающего микширования в зависимости от частотно-независимой составляющей части (и независимо от частотно-зависимой части). В таком случае обработка понижающего микширования может быть адаптирована на основе частотно-зависимой составляющей части, т.е. ревербератор может быть адаптирован в зависимости от частотно-зависимой части.

В некоторых вариантах реализации направленность излучения звука из одного или более аудиоисточников может быть частотно-зависимой, и при таком сценарии процессор 505 энергии может быть выполнен с возможностью формирования частотно-зависимой общей излученной энергии, которая в сочетании с DSR (который может быть зависимым или не зависимым от частоты) может привести к частотно-зависимым коэффициентам понижающего микширования.

Это может быть, например, достигнуто путем выполнения отдельной обработки в дискретных частотных полосах. В отличие от обработки для частотно-зависимого DSR, обработка для частотно-зависимой направленности обычно должна быть выполнена до (или в рамках) формирования сигнала, микшированного с понижением. Это отражает тот факт, что для включения частотно-зависимых эффектов направленности, как правило, действительно требуется частотно-зависимое понижающее микширование, поскольку они, как правило, разные для разных источников. После интегрирования, возможно, суммарный эффект будет иметь значительные колебания по частоте, т.е. указатель общей излученной энергии для данного источника может иметь существенную частотную зависимость, причем для разных источников она разная. Таким образом, поскольку различные источники имеют разные диаграммы направленности, указатель общей излученной энергии для разных источников также имеет разные зависимости от частоты.

Далее будет описан конкретный пример возможного подхода. Предоставление DSR, характеризующего связанные с рассеянием акустические свойства пространства, и определение излученной энергии источника из метаданных направленности, предварительного усиления и базового расстояния позволяет вычислить соответствующую требуемую энергию реверберации. Например, это может быть определено следующим образом:

Когда составляющие для вычисления DSR используют один и тот же базовый уровень (например, относящийся к полному масштабу сигнала), получающаяся в результате энергия реверберации также будет энергией, нормализованной для полномасштабных выборок в сигнале импульсно-кодовой модуляции (ИКМ) при использовании , которая вычислена выше для излученной энергии источника, и поэтому соответствует энергии импульсной характеристики (Impulse Response, IR) для рассеянной реверберации, которая может быть применена к соответствующему входному сигналу для обеспечения правильного уровня реверберации в используемом представлении сигнала.

Эти значения энергии могут быть использованы для определения параметров конфигурации алгоритма реверберации, коэффициента понижающего микширования или фильтра понижающего микширования перед алгоритмом реверберации.

Существуют различные способы формирования реверберации. Для подходов с низкой сложностью пригодны алгоритмы на основе сети с задержкой обратной связи (Feedback Delay Network, FDN), такие как ревербератор Джота. В качестве альтернативы, чтобы иметь надлежащие (частотно-зависимые) затухание и форму спектра, может быть сформирована шумовая последовательность. В обоих примерах прототипная импульсная характеристика (по меньшей мере с надлежащим T60) может быть отрегулирована таким образом, чтобы скорректировать ее (частотно-зависимый) уровень

Алгоритмы ревербератора могут быть скорректированы так, чтобы они получали импульсные характеристики с единичной энергией (или единичная начальная амплитуда DSR может быть соотнесена с начальной амплитудой), или алгоритм ревербератора может включать в себя свою собственную компенсацию, например, окрашивающие фильтры ревербератора Джота. В альтернативном варианте реализации понижающее микширование может быть модифицировано с помощью (потенциально частотно-зависимой) коррекции, или могут быть модифицированы коэффициенты понижающего микширования, формируемые процессором 507 коэффициентов.

Компенсация может быть определена путем формирования импульсной характеристики без какой-либо коррекции, но со всеми другими применяемыми конфигурациями (такими, как надлежащее время реверберации (T60) и плотность отражений, например, значения задержки в FDN) и измерения энергии этой импульсной характеристики.

Компенсация может быть обратной этой энергии. Для включения в коэффициенты понижающего микширования обычно применяют квадратный корень. Например:

Во многих вариантах реализации компенсация может быть получена из конфигурации. Например, когда DSR определен относительно начальной амплитуды реверберации, первое отражение может быть получено из его конфигурации. Корреляционные фильтры по определению являются энергосберегающими, и так же могут быть спроектированы окрашивающие фильтры.

В предположении отсутствия итогового усиления или ослабления окрашивающими фильтрами, ревербератор может, например, привести к начальной амплитуде , которая зависит от T60 и наименьшего значения задержки :

Прогнозирование энергии реверберации может быть также выполнено иерархически.

В качестве общей модели для энергии рассеянной реверберации может быть рассмотрена экспоненциальная функция :

для . Где - коэффициент затухания, управляемый T60, а - амплитуда при предварительной задержке.

При вычислении совокупной энергии подобной функции она асимптотически приблизится к некоторому конечному значению энергии. Конечное значение энергии имеет почти идеальную линейную зависимость от T60.

Коэффициент линейного соотношения зависит от разреженности функции A (установка каждого 2-го значения на 0 приводит к уменьшению энергии примерно наполовину), начального значения (энергия масштабируется линейно с помощью ) и частоты выборки (масштабируется линейно с изменения в fs). Хвост рассеянной реверберации может быть надежно смоделирован с использованием T60, плотности отражений (полученной из задержек FDN) и частоты выборки. для модели может быть вычислена, как показано выше, таким образом, чтобы она такой же, как в FDN.

При формировании множества параметрических ревербераций с широкополосными значениями T60 в диапазоне 0,1-2 с энергия импульсной характеристики близка к линейной для такой модели. Коэффициент масштабирования между фактической энергией и средними значениями модели на основе экспоненциального уравнения определяется разреженностью характеристики FDN. Эта разреженность становится меньше к концу импульсной характеристики, но наибольшее влиянием оказывает в начале. На основе тестирования вышеизложенного с множеством конфигураций значений задержки было обнаружено, что между коэффициентом ослабления модели и наименьшей разницей между задержками, сконфигурированными в FDN, существует линейная зависимость.

Например, для некоторой реализации ревербератора Джота это может сводиться к коэффициенту масштабирования , вычисленному следующим образом:

Энергия модели вычисляется путем интегрирования от t = 0 до бесконечности. Это может быть сделано аналитически, и в результате получается:

Объединяя вышеприведенное, получим следующее прогнозирование для энергии реверберации.

Понятно, что в вышеприведенном описании варианты реализации настоящего изобретения изложены для ясности со ссылкой на разные функциональные схемы, блоки и процессоры. Однако понятно, что может быть использовано любое подходящее распределение функциональных возможностей между разными функциональными схемами, блоками или процессорами без ущерба для настоящего изобретения. Например, показанные функциональные возможности, подлежащие осуществлению отдельными процессорами или контроллерами, могут быть осуществлены одним и тем же процессором или контроллерами. Поэтому ссылки на конкретные функциональные блоки или схемы должны рассматриваться только как ссылки на подходящие средства для обеспечения описываемых функциональных возможностей, а не как указание на строгую логическую или физическую структуру или организацию.

Настоящее изобретение может быть реализовано в любой подходящей форме, включая аппаратные средства, программное обеспечение, прошивку или любую их комбинацию. Настоящее изобретение необязательно может быть реализовано, по меньшей мере частично, в виде компьютерного программного обеспечения, выполняемого на одном или более процессорах и/или цифровых процессорах сигналов. Элементы и компоненты варианта реализации настоящего изобретения могут быть физически, функционально и логически реализованы любым подходящим образом. В действительности функциональные возможности могут быть реализованы в одном блоке, в множестве блоков или как часть других функциональных блоков. В силу этого настоящее изобретение может быть реализовано в одном блоке или может быть физически или функционально распределено между разными блоками, схемами и процессорами.

Хотя настоящее изобретение было описано в связи с некоторыми вариантами реализации, это не следует рассматривать как ограничение конкретной формой, изложенной в настоящем документе. Напротив, объем настоящего изобретения ограничен только прилагаемой формулой изобретения. Кроме того, хотя может показаться, что признак описан в связи с конкретными вариантами реализации, специалисту в данной области понятно, что различные признаки описанных вариантов реализации могут быть объединены в соответствии с настоящим изобретением. В формуле изобретения термин «содержащий/включающий» не исключает присутствия других элементов или этапов.

Кроме того, хотя множество средств, элементов, схем или этапов способа перечислены по отдельности, они могут быть реализованы, например, с помощью одной схемы, блока или процессора. Далее, хотя отдельные признаки могут быть включены в разные пункты формулы изобретения, они, возможно, могут быть с обеспечением преимущества объединены, а включение в разные пункты формулы изобретения не означает, что комбинация признаков является неосуществимой и/или невыгодной. Кроме того, включение признака в одну категорию пунктов формулы изобретения не означает ограничения этой категорией, а напротив, указывает на то, что данный признак в равной степени может быть применен к другим категориям пунктов изобретения, когда это уместно. Кроме того, порядок признаков в формуле изобретения не означает конкретного порядка, в котором эти признаки должны прорабатываться, и, в частности, порядок отдельных этапов в формуле изобретения на способ, не означает, что этапы должны выполняться в данном порядке. Напротив, этапы могут быть выполненыя в любом подходящем порядке. Кроме того, упоминания в единственном числе не исключают множественности. Поэтому ссылки с использованием средств указания единственного числа, «первый», «второй» и т.д. не исключают множественного числа. Ссылочные позиции в формуле изобретения приведены исключительно в качестве уточняющего примера и не должны трактоваться как ограничивающие объем формулы изобретения каким-либо образом.

Изобретение относится к устройству и способу обработки аудиоданных и, в частности, обработки для формирования сигналов рассеянной реверберации для приложений дополненной/смешанной/виртуальной реальности. Техническим результатом является создание способа формирования сигналов рассеянной реверберации, позволяющего улучшить работу, повысить гибкость, снизить сложность, облегчить реализацию, улучшить восприятие аудио, улучшить качество аудио, уменьшить вычислительную нагрузку, улучшить стабильность для меняющихся положений, улучшить производительность приложений виртуальной/смешанной/дополненной реальности, улучшить воспринимаемые свойства рассеянной реверберации. Заявленное аудиоустройство содержит приемник (501), принимающий аудиосигналы, представляющие источники звука, и метаданные, содержащие соотношение сигнала рассеянной реверберации с общим сигналом, указывающее уровень звука рассеянной реверберации относительно общего излученного звука в окружающей среде. Метаданные для каждого аудиосигнала содержат указатель уровня сигнала и данные о направленности, указывающие направленность излучения звука из источника звука, представленного аудиосигналом. Схема (505, 507) определяет указатель общей излученной энергии на основе указателя уровня сигнала и данных о направленности и коэффициент понижающего микширования на основе общей излученной энергии и соотношения сигнала рассеянной реверберации с общим сигналом. Понижающий микшер (509) формирует микшированный с понижением сигнал путем объединения составляющих сигнала каждого аудиосигнала, сформированных путем применения коэффициента понижающего микширования для каждого аудиосигнала к аудиосигналу. Ревербератор (407) формирует сигнал рассеянной реверберации для окружающей среды из составляющей микшированного с понижением сигнала. 3 н. и 13 з.п. ф-лы, 7 ил.

1. Аудиоустройство для формирования сигнала рассеянной реверберации для окружающей среды, содержащее:

приемник (501), выполненный с возможностью приема множества аудиосигналов, представляющих источники звука в окружающей среде;

приемник (501) метаданных, выполненный с возможностью приема метаданных для множества аудиосигналов, причем метаданные содержат:

меру соотношения сигнала рассеянной реверберации с общим сигналом, указывающую уровень звука рассеянной реверберации относительно общего излученного звука в окружающей среде;

и для каждого аудиосигнала:

указатель уровня сигнала;

данные о направленности, указывающие направленность излучения звука из источника звука, представленного аудиосигналом;

схему (505, 507), выполненную с возможностью определения для каждого из множества аудиосигналов:

указателя общей излученной энергии на основе указателя уровня сигнала и данных о направленности и

коэффициента понижающего микширования на основе общей излученной энергии и соотношения сигнала рассеянной реверберации с общим сигналом;

понижающий микшер (509), выполненный с возможностью формирования микшированного с понижением сигнала путем объединения составляющих сигнала каждого аудиосигнала, сформированных путем применения коэффициента понижающего микширования для каждого аудиосигнала к аудиосигналу;

ревербератор (407) для формирования сигнала рассеянной реверберации для окружающей среды из составляющей микшированного с понижением сигнала.

2. Аудиоустройство по п. 1, в котором направленность излучения звука зависит от частоты, а схема выполнена с возможностью определения частотно-зависимой общей излученной энергии и частотно-зависимых коэффициентов понижающего микширования.

3. Аудиоустройство по любому из предыдущих пунктов, в котором соотношение сигнала рассеянной реверберации с общим сигналом зависит от частоты, а схема (505, 507) выполнена с возможностью определения частотно-зависимых коэффициентов понижающего микширования.

4. Аудиоустройство по любому из предыдущих пунктов, в котором соотношение сигнала рассеянной реверберации с общим сигналом содержит зависящую от частоты часть и не зависящую от частоты часть, а схема (505, 507) выполнена с возможностью определения коэффициентов понижающего микширования в зависимости от не зависящей от частоты части и адаптации ревербератора (407) в зависимости от части, зависящей от частоты.

5. Аудиоустройство по любому из предыдущих пунктов, в котором схема выполнена с возможностью определения указателя общей излученной энергии для первого аудиосигнала из множества аудиосигналов в ответ на масштабирование указателя уровня сигнала для первого аудиосигнала на величину, определенную интегрированием диаграммы направленности источника звука, представленного первым аудиосигналом, причем указанная диаграмма направленности определяется на основе данных о направленности.

6. Аудиоустройство по любому из предыдущих пунктов, в котором указатель уровня сигнала для первого аудиосигнала из множества аудиосигналов содержит базовое расстояние, причем базовое расстояние указывает расстояние от аудиоисточника, представленного первым аудиосигналом, для коэффициента усиления по базовому расстоянию для первого аудиосигнала.

7. Аудиоустройство по п. 6 при зависимости от п. 5, в котором интегрирование выполнено для расстояния, являющегося базовым расстоянием от аудиоисточника, представленного первым аудиосигналом.

8. Аудиоустройство по любому из предыдущих пунктов, в котором соотношение сигнала рассеянной реверберации с общим сигналом указывает энергию звука рассеянной реверберации относительно энергии всего излученного звука в окружающей среде.

9. Аудиоустройство по любому из предыдущих пунктов, в котором соотношение рассеянного сигнала с общим сигналом указывает начальную амплитуду звука рассеянного сигнала относительно энергии всего излученного звука в окружающей среде.

10. Аудиоустройство по любому из предыдущих пунктов, в котором коэффициент понижающего микширования, определенный для первого аудиосигнала из множества аудиосигналов, не зависит от положения первого аудиоисточника, представленного первым аудиосигналом.

11. Аудиоустройство по любому из предыдущих пунктов, в котором коэффициент понижающего микширования, определенный для первого аудиосигнала из множества аудиосигналов, не зависит от положения слушателя.

12. Аудиоустройство по любому из предыдущих пунктов, в котором указатель уровня сигнала для первого аудиосигнала из множества аудиосигналов также содержит указатель коэффициента усиления для первого аудиосигнала, причем указатель коэффициента усиления указывает коэффициент усиления, который должен быть применен к первому аудиосигналу при рендеринге звука из первого аудиоисточника, представленного первым аудиосигналом, а схема (505, 507) при этом выполнена с возможностью определения коэффициента понижающего микширования для первого аудиосигнала в ответ на указатель коэффициента усиления.

13. Аудиоустройство по любому из предыдущих пунктов, также содержащее схему (401) прямого рендеринга, выполненную с возможностью формирования аудиосигнала прямого пути для первого аудиосигнала из множества аудиосигналов в ответ на указатель уровня сигнала и данные о направленности для первого аудиосигнала.

14. Аудиоустройство по любому из предыдущих пунктов, в котором метаданные также содержат указатель задержки, а соотношение рассеянного сигнала с общим сигналом указывает энергию звука рассеянной реверберации, имеющей более длительную задержку, чем упомянутый указатель задержки относительно энергии общего излученного звука в окружающей среде.

15. Способ формирования сигнала рассеянной реверберации для окружающей среды, включающий:

прием множества аудиосигналов, представляющих источники звука в окружающей среде;

прием метаданных для множества аудиосигналов, причем метаданные содержат:

меру соотношения сигнала рассеянной реверберации с общим сигналом, указывающую уровень звука рассеянной реверберации относительно общего излученного звука в окружающей среде;

и для каждого аудиосигнала:

указатель уровня сигнала;

данные о направленности, указывающие направленность излучения звука из источника звука, представленного аудиосигналом;

для каждого из множества аудиосигналов определение:

указателя общей излученной энергии на основе указателя уровня сигнала и данных о направленности и

коэффициента понижающего микширования на основе общей излученной энергии и соотношения сигнала рассеянной реверберации с общим сигналом;

формирование микшированного с понижением сигнала путем объединения составляющих сигнала каждого аудиосигнала, сформированных путем применения коэффициента понижающего микширования для каждого аудиосигнала к аудиосигналу;

формирование сигнала рассеянной реверберации для окружающей среды из составляющей микшированного с понижением сигнала.

16. Компьютерочитаемый носитель, содержащий средства компьютерного программного кода, выполненные с возможностью осуществления всех этапов по п. 15 при запуске упомянутой программы на компьютере.