УСТРОЙСТВО И СПОСОБ ДЛЯ УПРАВЛЕНИЯ ВХОДНЫМ АУДИОСИГНАЛОМ Российский патент 2018 года по МПК H04S7/00 G10L19/02 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к области обработки аудиосигналов, в частности, к области обработки пространственных аудиосигналов.

УРОВЕНЬ ТЕХНИКИ, К КОТОРОМУ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Синтез пространственных аудиосигналов является главным вопросом для множества применений. Например, в синтезе бинаурального аудио, пространственный источник аудио может быть виртуально расположен в требуемом положении относительно слушателя в пределах пространственного аудиосценария, посредством обработки аудиосигнала, связанного с пространственным источником аудио, таким образом, чтобы слушатель воспринимал обработанный аудиосигнал, как исходящий из этого требуемого положения.

Пространственное положение пространственного источника аудио относительно слушателя может быть охарактеризовано, например, расстоянием между пространственным источником аудио и слушателем, и/или относительным азимутальным углом между пространственным источником аудио и слушателем. Общие технологии обработки аудиосигналов для адаптации аудиосигнала к разным расстояниям и/или азимутальным углам основаны, например, на адаптации уровня громкости и/или групповой задержки аудиосигнала.

В работе U. Zölzer, ʺDAFX: Digital Audio Effectsʺ, John Wiley & Sons, 2002, приведен обзор общих технологий обработки аудиосигналов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задачей настоящего изобретения является обеспечение эффективной концепции для управления входным аудиосигналом в пределах пространственного аудиосценария.

Эта задача решается с помощью признаков независимых пунктов формулы изобретения. Дополнительные варианты осуществления настоящего изобретения выявляются из зависимых пунктов формулы изобретения, описания и фигур.

Настоящее изобретение основано на обнаружении того, что входным аудиосигналом можно управлять посредством возбудителя, причем управляющими параметрами возбудителя можно управлять посредством контроллера, в зависимости от определенного расстояния между пространственным источником аудио и слушателем в пределах пространственного аудиосценария. Возбудитель может содержать полосовой фильтр для фильтрации входного аудиосигнала, нелинейный процессор для нелинейной обработки отфильтрованного аудиосигнала, и объединитель для объединения отфильтрованного и нелинейно обработанного аудиосигнала с входным аудиосигналом. Посредством управления параметрами возбудителя в зависимости от определенного расстояния, могут быть учтены сложные акустические эффекты, такие как эффекты близости.

Согласно первому аспекту, настоящее изобретение относится к устройству для управления входным аудиосигналом, связанным с пространственным источником аудио в пределах пространственного аудиосценария, причем пространственный источник аудио находится на определенном расстоянии от слушателя в пределах пространственного аудиосценария, причем упомянутое устройство содержит возбудитель, выполненный с возможностью управления входным аудиосигналом для получения выходного аудиосигнала, и контроллер, выполненный с возможностью управления параметрами возбудителя для управления входным аудиосигналом на основании определенного расстояния. Таким образом, может быть реализована эффективная концепция для управления входным аудиосигналом в пределах пространственного аудиосценария на основании расстояния до слушателя.

Упомянутое устройство обеспечивает эффективное решение для адаптации или управления входным аудиосигналом, связанным с пространственным источником аудио, в пределах пространственного аудиосценария, для реалистического восприятия расстояния или изменений расстояния от пространственного источника аудио до слушателя в пределах пространственного аудиосценария.

Упомянутое устройство может быть применено в разных сценариях применения, например, в виртуальной реальности, дополненной реальности, микшировании звуковых дорожек для фильмов, и во многих других сценариях. Для сценариев применения в дополненной реальности, пространственный источник аудио может быть расположен на определенном расстоянии от слушателя. В других сценариях применения обработки аудиосигналов, входным аудиосигналом можно управлять для усиления воспринимаемого эффекта близости пространственного источника аудио.

Пространственный источник аудио может относиться к виртуальному источнику аудио. Пространственный аудиосценарий может относиться к виртуальному аудиосценарию. Определенное расстояние может относиться к информации о расстоянии, связанной с пространственным источником аудио, и может представлять расстояние от пространственного источника аудио до слушателя в пределах пространственного аудиосценария. Слушатель может находиться в центре пространственного аудиосценария. Входной аудиосигнал и выходной аудиосигнал могут быть одноканальными аудиосигналами.

Определенное расстояние может быть абсолютным расстоянием или нормированным расстоянием, например, нормированным по отношению к эталонному расстоянию, например, максимальному расстоянию. Упомянутое устройство может быть выполнено с возможностью получения определенного расстояния от устройств или модулей измерения расстояния, внешних по отношению к упомянутому устройству или встроенных в него, посредством ручного ввода данных, например, через Человеко-Машинные Интерфейсы, такие как Графические Пользовательские Интерфейсы, и/или средства плавного регулирования, посредством процессоров, вычисляющих определенное расстояние, например, на основе требуемого положения или курса положений, которые пространственный источник аудио будет иметь (например, для применений в дополненной реальности и/или виртуальной реальности), или от любого другого устройства определения расстояния.

В первой форме реализации устройства согласно первому аспекту, по существу, возбудитель содержит полосовой фильтр, выполненный с возможностью фильтрации входного аудиосигнала для получения отфильтрованного аудиосигнала, нелинейный процессор, выполненный с возможностью нелинейной обработки отфильтрованного аудиосигнала для получения нелинейно обработанного аудиосигнала, и объединитель, выполненный с возможностью объединения нелинейно обработанного аудиосигнала с входным аудиосигналом для получения выходного аудиосигнала. Таким образом, возбудитель может быть реализован эффективно.

Полосовой фильтр может содержать передаточную функцию по частоте. Передаточная функция по частоте полосового фильтра может быть определена коэффициентами фильтра. Нелинейный процессор может быть выполнен с возможностью применения нелинейной обработки, например, резкого ограничения или плавного ограничения, в отношении отфильтрованного аудиосигнала. Резкое ограничение отфильтрованного аудиосигнала может относиться к резкому ограничению-срезанию отфильтрованного аудиосигнала. Плавное ограничение отфильтрованного аудиосигнала может относиться к плавному ограничению-срезанию отфильтрованного аудиосигнала. Объединитель может содержать сумматор, выполненный с возможностью суммирования нелинейно обработанного аудиосигнала и входного аудиосигнала.

Во второй форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, контроллер выполнен с возможностью определения передаточной функции по частоте полосового фильтра возбудителя на основании определенного расстояния. Полосовой фильтр может быть, например, выполнен с возможностью фильтрации входного аудиосигнала. Таким образом, возбужденные частотные составляющие входного аудиосигнала могут быть определены эффективно.

Контроллер может быть выполнен с возможностью определения передаточных характеристик передаточной функции по частоте полосового фильтра, например, нижней частоты среза, верхней частоты среза, затухания в полосе пропускания, затухания в полосе сдерживания, неравномерности в полосе пропускания, и/или неравномерности в полосе сдерживания, на основе определенного расстояния.

В третьей форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, контроллер выполнен с возможностью увеличения нижней частоты среза и/или верхней частоты среза полосового фильтра возбудителя в случае, когда определенное расстояние уменьшается, и наоборот. Полосовой фильтр может быть, например, выполнен с возможностью фильтрации входного аудиосигнала. Таким образом, при уменьшении определенного расстояния, могут быть возбуждены более высокочастотные составляющие входного аудиосигнала.

Нижняя частота среза может относиться к нижней частоте среза по уровню -3дБ передаточной функции по частоте полосового фильтра. Верхняя частота среза может относиться к верхней частоте среза по уровню -3дБ передаточной функции по частоте полосового фильтра.

В четвертой форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, контроллер выполнен с возможностью увеличения полосы пропускания полосового фильтра возбудителя в случае, когда определенное расстояние уменьшается, и наоборот. Полосовой фильтр может быть, например, выполнен с возможностью фильтрации входного аудиосигнала. Таким образом, при уменьшении определенного расстояния могут быть возбуждены дополнительные частотные составляющие. Полоса пропускания полосового фильтра может относиться к полосе пропускания по уровню -3дБ полосового фильтра.

В пятой форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, контроллер выполнен с возможностью определения нижней частоты среза и/или верхней частоты среза полосового фильтра возбудителя согласно следующим уравнениям:

где f_H обозначает верхнюю частоту среза, f_L обозначает нижнюю частоту среза, b_{1_freq} обозначает первую эталонную частоту среза, b_{2_freq} обозначает вторую эталонную частоту среза, r обозначает определенное расстояние, r_max обозначает максимальное расстояние, и r_norm обозначает нормированное расстояние. Таким образом, нижняя частота среза и/или верхняя частота среза могут быть определены эффективно. В случае, когда контроллер увеличивает нижнюю частоту среза и верхнюю частоту среза на основании уменьшения определенного расстояния r, полоса пропускания полосового фильтра также увеличивается. В случае, когда контроллер уменьшает нижнюю частоту среза и верхнюю частоту среза на основании увеличения определенного расстояния r, полоса пропускания полосового фильтра также уменьшается. Полосовой фильтр может быть, например, выполнен с возможностью фильтрации входного аудиосигнала.

Контроллер, согласно пятой форме реализации, может быть выполнен с возможностью получения расстояния r или, в альтернативной форме реализации, нормированного расстояния r_norm, в качестве определенного расстояния.

В шестой форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, контроллер выполнен с возможностью управления параметрами нелинейного процессора возбудителя для получения нелинейно обработанного аудиосигнала на основании определенного расстояния. Нелинейный процессор может быть выполнен с возможностью получения нелинейно обработанного аудиосигнала на основании отфильтрованной версии входного аудиосигнала, например, отфильтрованного полосовым фильтром. Таким образом, нелинейные эффекты могут быть использованы для возбуждения входного аудиосигнала, т.е., для получения выходного аудиосигнала на основании нелинейно обработанной версии входного аудиосигнала или отфильтрованного входного аудиосигнала.

Параметры нелинейного процессора могут содержать значение порога ограничения схемы резкого ограничения и/или дополнительное значение порога ограничения схемы плавного ограничения.

В седьмой форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, контроллер выполнен с возможностью управления параметрами нелинейного процессора возбудителя таким образом, чтобы нелинейно обработанный аудиосигнал содержал дополнительные гармоники и/или большую мощность в высокочастотном участке нелинейно обработанного аудиосигнала в случае, когда определенное расстояние уменьшается, и наоборот. Другими словами, контроллер выполнен с возможностью управления параметрами нелинейного процессора возбудителя таким образом, чтобы нелинейный процессор создавал гармонические частотные составляющие, которые не присутствуют в сигнале, вводимом в нелинейный процессор, соответственно, таким образом, чтобы сигнал, выдаваемый нелинейным процессором, содержал гармонические частотные составляющие, которые не присутствуют в сигнале, вводимом в нелинейный процессор. Таким образом, воспринимаемая яркость выходного аудиосигнала может быть увеличена при уменьшении определенного расстояния.

В восьмой форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, нелинейный процессор возбудителя выполнен с возможностью ограничения амплитуды отфильтрованного аудиосигнала во временной области амплитудой, меньшей, чем значение порога ограничения, для получения нелинейно обработанного аудиосигнала, и контроллер выполнен с возможностью управления значением порога ограничения на основании определенного расстояния. Таким образом, может быть реализовано резкое ограничение или резкое ограничение-срезание отфильтрованного аудиосигнала. Отфильтрованный аудиосигнал может быть, например, входным сигналом, отфильтрованным полосовым фильтром.

В девятой форме реализации устройства согласно восьмой форме реализации первого аспекта, контроллер выполнен с возможностью уменьшения значения порога ограничения в случае, когда определенное расстояние уменьшается, и наоборот. Таким образом, нелинейные эффекты могут иметь увеличивающееся влияние при уменьшении определенного расстояния. В случае, когда определенное расстояние уменьшается, значение порога ограничения уменьшается, и генерируется дополнительные гармоники.

В десятой форме реализации устройства согласно восьмой форме реализации или девятой форме реализации первого аспекта, контроллер выполнен с возможностью определения значения порога ограничения на основании определенного расстояния согласно следующим уравнениям:

где lt обозначает значение порога ограничения, LT обозначает постоянную порога ограничения или эталон порога ограничения, r обозначает определенное расстояние, r_max обозначает максимальное расстояние, и r_norm обозначает нормированное расстояние. Таким образом, значение порога ограничения может быть определено эффективно.

Контроллер, согласно десятой форме реализации, может быть выполнен с возможностью получения расстояния r или, в альтернативной форме реализации, нормированного расстояния r_norm, в качестве определенного расстояния.

В одиннадцатой форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, нелинейный процессор возбудителя выполнен с возможностью умножения отфильтрованного аудиосигнала на сигнал усиления во временной области, и сигнал усиления определяется из входного аудиосигнала на основании определенного расстояния. Таким образом, может быть реализовано плавное ограничение или плавное ограничение-срезание отфильтрованного аудиосигнала.

Сигнал усиления может быть определен из входного аудиосигнала на основании определенного расстояния нелинейным процессором и/или контроллером.

В двенадцатой форме реализации устройства согласно одиннадцатой форме реализации первого аспекта, контроллер выполнен с возможностью определения сигнала усиления на основании определенного расстояния согласно следующим уравнениям:

где μ обозначает сигнал усиления, s_rms обозначает среднеквадратический входной аудиосигнал, s_BP обозначает отфильтрованный аудиосигнал, lt обозначает дополнительное значение порога ограничения, limthr обозначает дополнительную постоянную порога ограничения, r обозначает определенное расстояние, r_max обозначает максимальное расстояние, r_norm обозначает нормированное расстояние, и n обозначает индекс времени выборки. Таким образом, сигнал усиления может быть определен эффективно. Среднеквадратический входной аудиосигнал может быть определен из входного аудиосигнала нелинейным процессором и/или контроллером.

Контроллер, согласно двенадцатой форме реализации, может быть выполнен с возможностью получения расстояния r или, в альтернативной форме реализации, нормированного расстояния r_norm, в качестве определенного расстояния.

В тринадцатой форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, возбудитель содержит пересчетное устройство, выполненное с возможностью взвешивания нелинейно обработанного аудиосигнала, например, нелинейно обработанной версии отфильтрованной версии входного аудиосигнала, с помощью коэффициента усиления, и контроллер выполнен с возможностью определения коэффициента усиления пересчетного устройства на основании определенного расстояния. Таким образом, влияние нелинейных эффектов может быть адаптировано на основании определенного расстояния.

Пересчетное устройство может содержать умножитель для взвешивания нелинейно обработанного аудиосигнала с помощью коэффициента усиления. Коэффициент усиления может быть вещественным числом, например, в диапазоне от 0 до 1.

В четырнадцатой форме реализации устройства согласно тринадцатой форме реализации первого аспекта, контроллер выполнен с возможностью увеличения коэффициента усиления в случае, когда определенное расстояние уменьшается, и наоборот. Таким образом, нелинейные эффекты могут иметь увеличивающееся влияние при уменьшении определенного расстояния.

В пятнадцатой форме реализации устройства согласно тринадцатой форме реализации или четырнадцатой форме реализации первого аспекта, контроллер выполнен с возможностью определения коэффициента усиления на основании определенного расстояния согласно следующим уравнениям:

где g_exc обозначает коэффициент усиления, r обозначает определенное расстояние, rmax обозначает максимальное расстояние, r_norm обозначает нормированное расстояние, и n обозначает индекс времени выборки. Таким образом, коэффициент усиления может быть определен эффективно, и он уменьшается при увеличении определенного расстояния, и наоборот.

Контроллер, согласно пятнадцатой форме реализации, может быть выполнен с возможностью получения расстояния r или, в альтернативной форме реализации, нормированного расстояния r_norm, в качестве определенного расстояния.

В шестнадцатой форме реализации устройства согласно первому аспекту, по существу, или любой предшествующей форме реализации первого аспекта, упомянутое устройство дополнительно содержит устройство определения, выполненное с возможностью определения определенного расстояния. Таким образом, определенное расстояние может быть определено из информации о расстоянии, обеспечиваемой внешними компонентами обработки сигналов.

Устройство определения может определить определенное расстояние, например, из любого измерения расстояния, из пространственных координат пространственного источника аудио и/или из пространственных координат слушателя в пределах пространственного аудиосценария.

Устройство определения может быть выполнено с возможностью определения определенного расстояния в виде абсолютного расстояния или в виде нормированного расстояния, например, нормированного по отношению к эталонному расстоянию, например, максимальному расстоянию. Устройство определения может быть выполнено с возможностью получения определенного расстояния от устройств или модулей измерения расстояния, внешних по отношению к упомянутому устройству или встроенных в него, посредством ручного ввода данных, например, через Человеко-Машинные Интерфейсы, такие как Графические Пользовательские Интерфейсы, и/или средства плавного регулирования, посредством процессоров, вычисляющих определенное расстояние, например, на основании требуемого положения или курса положений, которые пространственный источник аудио будет иметь (например, для применений в дополненной реальности и/или виртуальной реальности), или от любого другого устройства определения расстояния.

Согласно второму аспекту, настоящее изобретение относится к способу для управления входным аудиосигналом, связанным с пространственным источником аудио в пределах пространственного аудиосценария, причем пространственный источник аудио находится на определенном расстоянии от слушателя в пределах пространственного аудиосценария, причем способ содержит управление контроллером параметрами возбуждения, для возбуждения входного аудиосигнала на основании определенного расстояния, и возбуждение входного аудиосигнала возбудителем для получения выходного аудиосигнала. Таким образом, может быть реализована эффективная концепция для управления входным аудиосигналом в пределах пространственного аудиосценария на основании расстояния до слушателя.

Способ обеспечивает эффективное решение для адаптации или управления входным аудиосигналом, связанным с пространственным источником аудио, в пределах пространственного аудиосценария, для реалистического восприятия расстояния или изменений расстояния от пространственного источника аудио до слушателя в пределах пространственного аудиосценария.

В первой форме реализации способа согласно второму аспекту, по существу, возбуждение входного аудиосигнала возбудителем содержит полосовую фильтрацию входного аудиосигнала полосовым фильтром для получения отфильтрованного аудиосигнала, нелинейную обработку отфильтрованного аудиосигнала нелинейным процессором для получения нелинейно обработанного аудиосигнала, и объединение объединителем нелинейно обработанного аудиосигнала с входным аудиосигналом для получения выходного аудиосигнала. Таким образом, возбуждение входного аудиосигнала может быть реализовано эффективно.

Во второй форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ содержит определение контроллером передаточной функции по частоте полосового фильтра возбудителя на основании определенного расстояния. Таким образом, возбужденные частотные составляющие входного аудиосигнала могут быть определены эффективно.

В третьей форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ содержит увеличение контроллером нижней частоты среза и/или верхней частоты среза полосового фильтра возбудителя в случае, когда определенное расстояние уменьшается, и наоборот. Таким образом, при уменьшении определенного расстояния, могут быть возбуждены более высокочастотные составляющие входного аудиосигнала.

В четвертой форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ содержит увеличение контроллером полосы пропускания полосового фильтра возбудителя в случае, когда определенное расстояние уменьшается, и наоборот. Таким образом, при уменьшении определенного расстояния могут быть возбуждены дополнительные частотные составляющие входного аудиосигнала.

В пятой форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ содержит определение контроллером нижней частоты среза и/или верхней частоты среза полосового фильтра возбудителя согласно следующим уравнениям:

где f_H обозначает верхнюю частоту среза, f_L обозначает нижнюю частоту среза, b_{1_freq} обозначает первую эталонную частоту среза, b_{2_freq} обозначает вторую эталонную частоту среза, r обозначает определенное расстояние, r_max обозначает максимальное расстояние, и r_norm обозначает нормированное расстояние. Таким образом, нижняя частота среза и/или верхняя частота среза могут быть определены эффективно.

В шестой форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ содержит управление контроллером параметрами нелинейного процессора возбудителя для получения нелинейно обработанного аудиосигнала на основании определенного расстояния. Таким образом, нелинейные эффекты могут быть использованы для возбуждения входного аудиосигнала.

В седьмой форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ содержит управление контроллером параметрами нелинейного процессора возбудителя таким образом, чтобы нелинейно обработанный аудиосигнал содержал дополнительные гармоники и/или большую мощность в высокочастотном участке нелинейно обработанного аудиосигнала в случае, когда определенное расстояние уменьшается, и наоборот. Другими словами, способ содержит управление управляющими параметрами нелинейного процессора возбудителя таким образом, чтобы создавались гармонические частотные составляющие, которые не присутствуют в сигнале, вводимом в нелинейный процессор, соответственно, таким образом, чтобы сигнал, выдаваемый нелинейным процессором, содержал гармонические частотные составляющие, которые не присутствуют в сигнале, вводимом в нелинейный процессор. Таким образом, воспринимаемая яркость выходного аудиосигнала может быть увеличена при уменьшении определенного расстояния.

В восьмой форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ содержит ограничение нелинейным процессором возбудителя амплитуды отфильтрованного аудиосигнала во временной области амплитудой, меньшей, чем значение порога ограничения, для получения нелинейно обработанного аудиосигнала, и управление контроллером значением порога ограничения на основании определенного расстояния. Таким образом, может быть реализовано резкое ограничение или резкое ограничение-срезание отфильтрованного аудиосигнала.

В девятой форме реализации способа согласно восьмой форме реализации второго аспекта, способ содержит уменьшение контроллером значения порога ограничения в случае, когда определенное расстояние уменьшается, и наоборот. Таким образом, нелинейные эффекты могут иметь увеличивающееся влияние при уменьшении определенного расстояния.

В десятой форме реализации способа согласно восьмой форме реализации или девятой форме реализации второго аспекта, способ содержит определение контроллером значения порога ограничения на основании определенного расстояния согласно следующим уравнениям:

где lt обозначает значение порога ограничения, LT обозначает постоянную порога ограничения или эталон порога ограничения, r обозначает определенное расстояние, r_max обозначает максимальное расстояние, и r_norm обозначает нормированное расстояние. Таким образом, значение порога ограничения может быть определено эффективно.

Способ, согласно десятой форме реализации, может содержать получение расстояния r или, в альтернативной форме реализации, нормированного расстояния r_norm, в качестве определенного расстояния.

В одиннадцатой форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ содержит умножение нелинейным процессором возбудителя отфильтрованного аудиосигнала на сигнал усиления во временной области, и определение сигнала усиления из входного аудиосигнала на основании определенного расстояния. Таким образом, может быть реализовано плавное ограничение или плавное ограничение-срезание отфильтрованного аудиосигнала.

В двенадцатой форме реализации способа согласно одиннадцатой форме реализации второго аспекта, способ содержит определение контроллером сигнала усиления на основании определенного расстояния согласно следующим уравнениям:

где μ обозначает сигнал усиления, s_rms обозначает среднеквадратический входной аудиосигнал, s_BP обозначает отфильтрованный аудиосигнал, lt обозначает дополнительное значение порога ограничения, limthr обозначает дополнительную постоянную порога ограничения, r обозначает определенное расстояние, r_max обозначает максимальное расстояние, r_norm обозначает нормированное расстояние, и n обозначает индекс времени выборки. Таким образом, сигнал усиления может быть определен эффективно.

Способ, согласно двенадцатой форме реализации, может содержать получение расстояния r или, в альтернативной форме реализации, нормированного расстояния r_norm, в качестве определенного расстояния.

В тринадцатой форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ содержит взвешивание пересчетным устройством возбудителя нелинейно обработанного аудиосигнала с помощью коэффициента усиления, и определение контроллером коэффициента усиления пересчетного устройства на основании определенного расстояния. Таким образом, влияние нелинейных эффектов может быть адаптировано на основании определенного расстояния.

В четырнадцатой форме реализации способа согласно тринадцатой форме реализации второго аспекта, способ содержит увеличение контроллером коэффициента усиления в случае, когда определенное расстояние уменьшается, и наоборот. Таким образом, нелинейные эффекты могут иметь увеличивающееся влияние при уменьшении определенного расстояния.

В пятнадцатой форме реализации способа согласно тринадцатой форме реализации или четырнадцатой форме реализации второго аспекта, способ содержит определение контроллером коэффициента усиления на основании определенного расстояния согласно следующим уравнениям:

где g_exc обозначает коэффициент усиления, r обозначает определенное расстояние, r_max обозначает максимальное расстояние, r_norm обозначает нормированное расстояние, и n обозначает индекс времени выборки. Таким образом, коэффициент усиления может быть определен эффективно.

Способ, согласно пятнадцатой форме реализации, может содержать получение расстояния r или, в альтернативной форме реализации, нормированного расстояния r_norm, в качестве определенного расстояния.

В шестнадцатой форме реализации способа согласно второму аспекту, по существу, или любой предшествующей форме реализации второго аспекта, способ дополнительно содержит определение определенного расстояния устройством определения упомянутого устройства. Таким образом, определенное расстояние может быть определено из информации о расстоянии, обеспечиваемой внешними компонентами обработки сигналов.

Способ может быть выполнен упомянутым устройством. Дополнительные признаки способа являются прямым результатом функциональности упомянутого устройства.

Объяснения, обеспеченные для первого аспекта и его форм реализации, применимы равным образом ко второму аспекту и соответствующим формам реализации.

Согласно третьему аспекту, настоящее изобретение относится к компьютерной программе, содержащей программный код для выполнения способа согласно второму аспекту или любой из его форм реализации, при исполнении на компьютере. Таким образом, способ может быть выполнен в автоматическом и повторяемом режиме.

Компьютерная программа может быть выполнена упомянутым устройством. Упомянутое устройство может быть программно выполнено с возможностью выполнения компьютерной программы.

Настоящее изобретение может быть реализовано в аппаратном обеспечении, программном обеспечении или в любой их комбинации.

Дополнительные варианты осуществления настоящего изобретения будут описаны в отношении следующих фигур, в которых:

Фиг. 1 показывает схему устройства для управления входным аудиосигналом, связанным с пространственным источником аудио, в пределах пространственного аудиосценария, согласно одной форме реализации;

Фиг. 2 показывает схему способа для управления входным аудиосигналом, связанным с пространственным источником аудио, в пределах пространственного аудиосценария, согласно одной форме реализации;

Фиг. 3 показывает схему пространственного аудиосценария с пространственным источником аудио и слушателем, согласно одной форме реализации;

Фиг. 4 показывает схему устройства для управления входным аудиосигналом, связанным с пространственным источником аудио, в пределах пространственного аудиосценария, согласно одной форме реализации;

Фиг. 5 показывает схемы расположений пространственного источника аудио вокруг слушателя, согласно одной форме реализации; и

Фиг. 6 показывает спектрограммы входного аудиосигнала и выходного аудиосигнала, согласно одной форме реализации.

Идентичные ссылочные позиции используются для идентичных или по меньшей мере эквивалентных признаков.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Фиг. 1 показывает схему устройства 100 для управления входным аудиосигналом, связанным с пространственным источником аудио, в пределах пространственного аудиосценария, согласно одному варианту осуществления настоящего изобретения. Пространственный источник аудио находится на определенном расстоянии от слушателя в пределах пространственного аудиосценария.

Устройство 100 содержит возбудитель 101, выполненный с возможностью управления входным аудиосигналом для получения выходного аудиосигнала, и контроллер 103, выполненный с возможностью управления параметрами возбудителя для управления входным аудиосигналом на основании определенного расстояния.

Устройство 100 может быть применено в разных сценариях применения, например, в виртуальной реальности, дополненной реальности, микшировании звуковых дорожек для фильмов, и во многих других сценариях.

Для сценариев применения в дополненной реальности, в которых обычно дополнительный пространственный источник аудио добавляется в существующий пространственный аудиосценарий, этот дополнительный пространственный источник аудио может быть расположен на определенном расстоянии от слушателя. В сценариях применения обработки аудиосигналов, входным аудиосигналом можно управлять для усиления воспринимаемого эффекта близости пространственного источника аудио.

Возбудитель 101 может содержать полосовой фильтр, выполненный с возможностью фильтрации входного аудиосигнала для получения отфильтрованного аудиосигнала, нелинейный процессор, выполненный с возможностью нелинейной обработки отфильтрованного аудиосигнала для получения нелинейно обработанного аудиосигнала, и объединитель, выполненный с возможностью объединения нелинейно обработанного аудиосигнала с входным аудиосигналом для получения выходного аудиосигнала. Возбудитель 101 может дополнительно содержать пересчетное устройство, выполненное с возможностью взвешивания нелинейно обработанного аудиосигнала с помощью коэффициента усиления.

Контроллер 103 выполнен с возможностью управления параметрами полосового фильтра, нелинейного процессора, объединителя, и/или пересчетного устройства для управления входным аудиосигналом на основании определенного расстояния.

Дополнительные подробности вариантов осуществления устройства 100 описаны на основе фиг. 3-6.

Фиг. 2 показывает схему способа 200 для управления входным аудиосигналом, связанным с пространственным источником аудио, в пределах пространственного аудиосценария, согласно одному варианту осуществления настоящего изобретения. Пространственный источник аудио находится на определенном расстоянии от слушателя в пределах пространственного аудиосценария.

Способ 200 содержит управление 201 параметрами возбуждения, для возбуждения входного аудиосигнала на основании определенного расстояния, и возбуждение 203 входного аудиосигнала для получения выходного аудиосигнала.

Возбуждение 203 входного аудиосигнала может содержать полосовую фильтрацию входного аудиосигнала для получения отфильтрованного аудиосигнала, нелинейную обработку отфильтрованного аудиосигнала для получения нелинейно обработанного аудиосигнала, и объединение нелинейно обработанного аудиосигнала с входным аудиосигналом для получения выходного аудиосигнала.

Способ 200 может быть выполнен устройством 100. Этап 201 управления может быть, например, выполнен контроллером 103, а этап 203 возбуждения может быть, например, выполнен возбудителем 101. Дополнительные признаки способа 200 являются прямым результатом функциональности устройства 100. Способ 200 может быть выполнен компьютерной программой.

Фиг. 3 показывает схему пространственного аудиосценария 300 с пространственным источником 301 аудио и слушателем 303 (показана голова слушателя), согласно одному варианту осуществления настоящего изобретения. Схема показывает пространственный источник 301 аудио в виде точечного источника S аудио в плоскости X-Y, находящегося на определенном расстоянии r и под азимутальным углом Θ относительно положения головы слушателя 303, взгляд которого направлен вдоль оси Y.

Восприятие близости пространственного источника 301 аудио может быть релевантным для слушателя 303 для большего погружения в звук. Технологии микширования аудио, в частности, технологии синтеза бинаурального аудио, могут использовать информацию о расстоянии до источника аудио для реалистического воспроизведения аудио, что обеспечивает улучшенный опыт восприятия аудио для слушателя 303. Перемещающиеся источники аудио, например, в фильмах и/или играх, могут бинаурально микшироваться с использованием их определенного расстояния r относительно слушателя 303.

Эффекты близости могут классифицироваться как функция расстояния до пространственного источника аудио следующим образом. На малых расстояниях вплоть до 1 м, преобладающий эффект близости может быть результатом бинауральных эффектов ближнего поля. Следовательно, чем ближе становится пространственный источник 301 аудио, тем более низкие частоты могут быть подчеркнуты или усилены. На средних расстояниях от 1 м до 10 м, преобладающий эффект близости может быть результатом реверберации. В этом интервале расстояний, когда пространственный источник 301 аудио становится ближе, более высокие частоты могут быть подчеркнуты или усилены. На больших расстояниях от 10 м, преобладающим эффектом близости может быть поглощение, которое может приводить к затуханию высоких частот.

Воспринимаемый тембр звука пространственного источника 301 аудио или точечного источника S аудио может изменяться при изменении его определенного расстояния r и угла Θ относительно слушателя 303. Θ и r могут быть использованы для бинаурального микширования, которое может быть, например, выполнено перед обработкой эффекта близости с использованием возбудителя 101.

Варианты осуществления устройства 100 могут быть использованы для усиления или подчеркивания восприятия близости виртуального или пространственного источника 301 аудио с использованием возбудителя 101.

Устройство 100 может подчеркивать эффект близости бинауральных звуковых выходных данных для более реалистического воспроизведения аудио. Упомянутое устройство может быть, например, применено в устройстве микширования или любом другом устройстве предварительной обработки или постобработки, используемом для генерации или управления пространственным аудиосценарием, а также в других устройствах, например, мобильных устройствах, например, смартфонах или планшетах, с использованием или без использования наушников.

Входные аудиосигналы, например, для фильмов, могут микшироваться с перемещающимися источниками аудио посредством бинаурального синтеза. Виртуальный или пространственный источник 301 аудио может быть бинаурально синтезирован устройством 100 с использованием информации о переменном расстоянии.

Устройство 100 выполнено с возможностью адаптации параметров возбудителя таким образом, чтобы, когда определенное расстояние r до пространственного источника 301 аудио изменяется, воспринимаемая яркость, например, плотность высоких частот, изменялась соответствующим образом. Таким образом, варианты осуществления устройства 100 выполнены с возможностью модификации яркости звука виртуального или пространственного источника 301 аудио для подчеркивания восприятия близости.

В вариантах осуществления настоящего изобретения, виртуальный или пространственный источник 301 аудио может быть воспроизведен с использованием возбудителя 101 для подчеркивания воспринимаемого эффекта близости. Возбудителем может управлять контроллер 103 для подчеркивания частотного участка для увеличения яркости, как функции определенного расстояния. Когда выбирается более сильный эффект возбудителя, пространственный источник 301 аудио воспринимается более близким к слушателю 303. Возбудитель может быть адаптирован как функция определенного расстояния от пространственного источника 301 аудио до положения слушателя 303.

Фиг. 4 показывает более подробную схему устройства 100 для управления входным аудиосигналом, связанным с пространственным источником аудио, в пределах пространственного аудиосценария, согласно одному варианту осуществления настоящего изобретения.

Устройство 100 содержит возбудитель 101 и контроллер 103. Возбудитель 101 содержит полосовой фильтр (BP-фильтр) 401, нелинейный процессор (NLP) 403, объединитель 405, образованный посредством сумматора, и необязательное пересчетное устройство 407 (усиление), имеющее коэффициент усиления. Входной аудиосигнал обозначается IN, относящимся к s. Выходной аудиосигнал обозначается OUT, относящимся к y. Контроллер 103 выполнен с возможностью приема определенного расстояния r или информации о расстоянии, связанной с определенным расстоянием, и дополнительно выполнен с возможностью управления параметрами возбудителя 101 на основании определенного расстояния r. Другими словами, контроллер выполнен с возможностью управления параметрами полосового фильтра 401, нелинейного процессора 403, и пересчетного устройства 407 возбудителя 101 на основании определенного расстояния r.

Схема показывает реализацию возбудителя 101 с использованием полосового фильтра 401 и нелинейного процессора 403 для генерации гармоник на требуемом частотном участке. Возбудитель 101 может реализовать технологию обработки аудиосигналов, используемую для усиления входного аудиосигнала. Возбудитель 101 может добавлять гармоники, т.е., он умножает данную частоту или частотный диапазон, для входного аудиосигнала. Возбудитель 101 может использовать нелинейную обработку и фильтрацию для генерации гармоник из входного аудиосигнала, которые могут добавляться для увеличения яркости входного аудиосигнала.

Ниже представлен один вариант осуществления устройства 100, содержащий контроллер 103 и возбудитель 101. Входной аудиосигнал s сначала фильтруется с использованием полосового фильтра 401, имеющего импульсную характеристику f_BP, для извлечения частот, которые будут возбуждаться.

Для воспринимаемого согласования яркости пространственного источника аудио с определенным расстоянием r, контроллер выполнен с возможностью настройки или установления верхней частоты f_H среза и нижней частоты f_L среза полосового фильтра 401 как функции определенного расстояния до пространственного источника аудио. Эти частоты определяют частотный диапазон, к которому применяется эффект возбудителя 101.

Когда пространственный источник аудио приближается, частоты f_L и f_H среза полосового фильтра 401 сдвигаются контроллером 103 к более высоким частотам. Необязательно, не только частоты f_L и f_H среза полосового фильтра 401 увеличиваются при уменьшении определенного расстояния r, но и полоса пропускания, т.е., разность между f_L и f_H полосового фильтра 401, также увеличивается контроллером 103. При увеличении частот среза, гармоники генерируются нелинейным процессором 403 в более высокочастотных участках. При увеличении полосы пропускания полосового фильтра 401, количество гармоник, генерируемых нелинейным процессором 403, увеличивается.

В результате, выходной аудиосигнал имеет большую энергию на более высокочастотных участках, и слушатель воспринимает увеличенную яркость, когда пространственный источник аудио приближается. Например, f_H и f_L могут быть определены контроллером 103 согласно:

где r_norm может быть нормированным расстоянием, например, между 0 и 1, определяемым следующим образом:

где r_max может быть максимальным возможным значением определенного расстояния r, применяемым возбудителем 101, например, r_max=10 метров. b1_freq и b2_freq могут быть эталонными частотами среза для полосового фильтра 401, которые могут образовывать частоты среза полосового фильтра 401 для максимального расстояния r_max. Контроллер 103 может быть выполнен с возможностью установления или использования эталонных частот среза, например, b1_freq=10 кГц и b2_freq=1 кГц.

Затем, нелинейный процессор 403 применяется к отфильтрованному аудиосигналу s_BP для генерации гармоник для этих частот. Одним примером является использование схемы резкого ограничения относительно значения lt порога ограничения, определяемой следующим образом:

где n является индексом времени выборки, и значением lt порога ограничения управляют как функцией определенного расстояния r пространственного источника аудио. Например, lt может быть определено следующим образом:

где LT может быть постоянной порога ограничения. Например, LT=10^-30/20, т.е., -30 дБ в линейном масштабе. Чем ближе пространственный источник аудио приближается, тем меньшее значение lt порога ограничения выбирается контроллером для генерации дополнительных гармоник. Аудиосигнал с дополнительными гармониками содержит большую мощность или энергию на более высокочастотных участках. Поэтому, выходной аудиосигнал звучит более ярко.

Другим примером является использование адаптивной схемы плавного ограничения или ограничения-срезания, которая может иметь преимущество, состоящее в отслеживании амплитуды или уровня входного аудиосигнала, и может уменьшить искажения в результирующем сигнале sʹ_BP. Порог ограничителя может быть динамически определен контроллером 103 на основе среднеквадратической (RMS) оценки входного аудиосигнала, например, согласно:

где α_tt и α_rel, соответственно, являются постоянными сглаживания воздействия и освобождения, например, имеющими значения между 0 и 1, для RMS-оценки. Например, могут быть выбраны α_tt=0,0023 и α_rel=0,0011. Тогда, s_rms[n] может быть использовано для получения порога ограничителя согласно:

где lt[n] может быть адаптивным дополнительным значением порога ограничения для настройки эффекта ограничителя в зависимости от определенного расстояния r. Например, lt[n] может быть определено следующим образом:

где limthr является дополнительной постоянной порога ограничения, имеющей значение между 0 и 1, например, limthr=0,4. Кроме того, сигнал μ или μʹ усиления может быть сглажен по времени для предотвращения артефактов вследствие быстрого изменения значений. Например:

где α_hold является постоянной сглаживания синхронизации, между 0 и 1, например, α_hold=0,2.

Выходной сигнал нелинейного процессора 403 может быть вычислен следующим образом:

Результирующий нелинейно обработанный аудиосигнал, затем, суммируется объединителем 405 с входным аудиосигналом. Пересчетное устройство 407 с коэффициентом усиления может быть использовано для управления интенсивностью возбудителя 101 для генерации выходного аудиосигнала y согласно:

Эффект близости может быть воспроизведен посредством управления контроллером коэффициентом g_exc усиления, например, со значениями между 0 и 1, как функции определенного расстояния r до пространственного источника аудио, что означает, что бинауральный аудиосигнал может быть подан в возбудитель 101, чей коэффициент усиления может быть адаптирован как функция определенного расстояния r до пространственного источника аудио, подлежащего воспроизведению. Например:

Варианты осуществления устройства 100 могут быть выполнены с возможностью получения или использования расстояния r или, в альтернативной форме реализации, нормированного расстояния r_norm, в качестве определенного расстояния.

Фиг. 5 показывает схемы 501, 503, 505 расположений пространственного источника аудио вокруг слушателя, согласно одному варианту осуществления настоящего изобретения.

Схема 501 показывает траекторию пространственного источника аудио вокруг головы слушателя с течением времени. Траектория обходится два раза в пределах плоскости X-Y декартовых координат. Схема 501 показывает траекторию, голову слушателя (в центре плоскости X-Y декартовых координат), направление взгляда слушателя вдоль положительного направления оси X плоскости X-Y, начальное положение траектории, и конечное положение траектории. Схема 503 показывает X-положение, Y-положение, and a Z-положение (не изменяется с течением времени) траектории с течением времени. Схема 505 показывает определенное расстояние между пространственным источником аудио и слушателем с течением времени.

Пространственный источник аудио может считаться перемещающимся вокруг головы слушателя по эллиптической траектории без изменения в Z-плоскости. Может быть рассмотрено изменение во времени пути перемещения в декартовых координатах X-Y-Z и изменение во времени определенного расстояния до пространственного источника аудио.

Фиг. 6 показывает спектрограммы 601, 603 входного аудиосигнала и выходного аудиосигнала, согласно одному варианту осуществления настоящего изобретения. Для иллюстрации, представлены спектрограммы 601, 603 правого канала бинаурального выходного сигнала, т.е., где пространственный источник аудио подходит ближе к голове слушателя.

Спектрограммы 601, 603 показывают амплитуду частотных составляющих с течением времени на шкале полутонов. Спектрограмма 601 относится к входному аудиосигналу, когда никакой дополнительный возбудитель не используется. Спектрограмма 603 относится к выходному аудиосигналу, когда возбудитель используется. Входной аудиосигнал может быть, например, правым каналом или левым каналом бинаурального выходного сигнала.

При сравнении, возбуждаемый выходной аудиосигнал показывает более высокую яркость, чем входной аудиосигнал без использования возбудителя.

Увеличение яркости визуализируется в виде более высокой плотности более высоких частот в возбуждаемом выходном аудиосигнале, что обозначено пунктирными окружностями.

Несколько преимуществ могут быть обеспечены настоящим изобретением. Например, ясность приближенного пространственного источника аудио может быть подчеркнута таким образом, чтобы слушатель мог воспринять пространственный источник аудио как находящийся вблизи. Кроме того, частоты, соответствующие гармоникам исходного входного аудиосигнала, могут быть увеличены динамически. Кроме того, высокие частоты не подчеркиваются или не усиливаются чрезмерно. Естественная яркость звучания может быть добавлена во входной аудиосигнал без значительного изменения в тембре и тоне.

Дополнительно, если исходный входной аудиосигнал испытывает нехватку в высокочастотных составляющих, возбудитель может быть эффективным решением для добавления яркости во входной аудиосигнал. Кроме того, может быть улучшено воспроизведение пространственных источников аудио вблизи слушателя, воспроизведение перемещающихся пространственных источников аудио, и/или воспроизведение объекта на основе пространственных источников аудио.

Ниже, дополнительные варианты осуществления настоящего изобретения описаны в отношении некоторых иллюстративных сценариев применения.

В простом случае, пространственный источник аудио является, например, говорящим человеком, и аудиосигнал, связанный с пространственным источником аудио, является моноканальным аудиосигналом, например, полученным посредством записи с использованием микрофона. Контроллер получает определенное расстояние и контролирует или устанавливает управляющие параметры возбудителя соответствующим образом. Возбудитель выполнен с возможностью приема моноканального аудиосигнала в качестве входного аудиосигнала IN, и управления моноканальным аудиосигналом согласно управляющим параметрам для получения выходного аудиосигнала OUT, моноканального аудиосигнала с управляемым или адаптируемым воспринимаемым расстоянием до слушателя.

В одном варианте осуществления, этот выходной аудиосигнал образует пространственный аудиосценарий, т.е., пространственный аудиосценарий с единственным источником аудио, представленный моноканальным аудиосигналом.

В другом варианте осуществления, этот выходной звуковой канальный сигнал может быть дополнительно обработан посредством применения функции моделирования восприятия звука человеком (Head Related Transfer Function - HRTF) для получения из этого управляемого моноканального аудиосигнала бинаурального аудиосигнала, содержащего бинауральные аудиосигналы левого и правого канала. HRTF может быть использована для добавления требуемого азимутального угла к воспринимаемому местоположению пространственного источника аудио в пределах пространственного аудиосценария.

В альтернативном варианте осуществления, HRTF сначала применяется к моноканальному аудиосигналу, и, затем, управление расстоянием с использованием возбудителя применяется к бинауральным аудиосигналам как правого канала, так и левого канала одинаковым образом, т.е., с использованием одних и тех же управляющих параметров возбудителя.

В других дополнительных вариантах осуществления, моноканальный аудиосигнал, связанный с пространственным источником аудио, может быть использован для получения, вместо бинаурального аудиосигнала, других форматов аудиосигналов, содержащих зависящие от расстояния пространственные признаки, например, стереофонических аудиосигналов или, в общем, многоканальных сигналов, содержащих два или более звуковых канальных сигналов или их звуковые канальные сигналы после понижающего микширования и соответствующие пространственные параметры. В любом из этих вариантов осуществления, также как и для бинауральных вариантов осуществления, управление возбудителем моноканальным аудиосигналом может быть выполнено перед управлением направленностью, или после него, в последнем случае обычно одни и те же параметры возбудителя применяются ко всем звуковым канальным сигналам многоканального аудиосигнала по-отдельности.

В некоторых вариантах осуществления, например, для применений в дополненной реальности или в микшировании звуковых дорожек для фильмов, эти монофонические, бинауральные или многоканальные представления звуковых канальных сигналов, связанных с пространственным источником аудио, могут микшироваться с существующим монофоническим, бинауральным или многоканальным представлением пространственного аудиосценария, уже содержащего один или несколько пространственных источников аудио.

В других вариантах осуществления, например, для применений в виртуальной реальности или в микшировании звуковых дорожек для фильмов, эти монофонические, бинауральные или многоканальные представления звуковых канальных сигналов, связанных с пространственным источником аудио, могут микшироваться с существующим монофоническим, бинауральным или многоканальным представлением других пространственных источников аудио для создания пространственного аудиосценария, содержащего два или более пространственных источников аудио.

В других дополнительных вариантах осуществления, в частности, для пространственных аудиосценариев, представленных бинауральными или многоканальными аудиосигналами, содержащими два или более пространственных источников аудио, может быть выполнено разделение источников, для отделения одного пространственного источника аудио от других пространственных источников аудио, и для выполнения управления воспринимаемым расстоянием с использованием, например, вариантов 100 или 200 осуществления настоящего изобретения, для управления воспринимаемым расстоянием до этого одного пространственного аудиосигнала, соответствующего пространственному источнику аудио, отличному от других пространственных источников аудио, также содержащихся в пространственном аудиосценарии. Затем, управляемый отделенный звуковой канальный сигнал микшируется с пространственным аудиосценарием, представленным бинауральными или многоканальными аудиосигналами.

В других вариантах осуществления, некоторые или все пространственные аудиосигналы разделяются для управления воспринимаемым расстоянием до этих некоторых или всех пространственных аудиосигналов, соответствующих пространственным источникам аудио. Затем, управляемые разделенные звуковые канальные сигналы микшируются для образования управляемого пространственного аудиосценария, представленного бинауральными или многоканальными аудиосигналами. В случае, когда необходимо управлять воспринимаемым расстоянием до всех пространственных источников аудио, содержащихся в пространственном аудиосценарии, разделение источников может быть также исключено, и управление расстоянием с использованием вариантов 100 и 200 осуществления настоящего изобретения может быть равным образом применено к отдельным звуковым канальным сигналам бинаурального или многоканального сигнала.

Пространственный источник аудио может быть или может представлять человека, животное, музыкальный инструмент или любой другой источник, который может считаться генерирующим соответствующий пространственный аудиосигнал. Звуковой канальный сигнал, связанный с пространственным источником аудио, может быть естественным или записанным аудиосигналом или искусственно сгенерированным аудиосигналом или комбинацией вышеупомянутых аудиосигналов.

Варианты осуществления настоящего изобретения могут относиться к устройству и/или способу для воспроизведения пространственного источника аудио посредством наушников слушателя, содержащим возбудитель для возбуждения входного аудиосигнала, и содержащим контроллер для настройки параметров возбудителя как функции соответствующего определенного расстояния.

Возбудитель может применять фильтр к своему входному аудиосигналу на основании информации о расстоянии. Возбудитель может применять нелинейность к отфильтрованному аудиосигналу на основании информации о расстоянии. Возбудитель может дополнительно применять масштабирование с помощью коэффициента усиления для управления интенсивностью возбудителя на основании информации о расстоянии. Результирующий аудиосигнал может суммироваться с входным аудиосигналом для обеспечения выходного аудиосигнала.

Изобретение относится к области обработки аудиосигналов, в частности к области обработки пространственных аудиосигналов. Технический результат – повышение эффективности управления входным аудиосигналом в пределах пространственного аудиосценария. Устройство связано с пространственным источником аудио в пределах пространственного аудиосценария, причем пространственный источник аудио находится на определенном расстоянии от слушателя в пределах пространственного аудиосценария, причем устройство содержит возбудитель, выполненный с возможностью управления входным аудиосигналом для получения выходного аудиосигнала, и контроллер, выполненный с возможностью управления параметрами возбудителя для управления входным аудиосигналом на основании определенного расстояния. 2 н. и 11 з.п. ф-лы, 6 ил.

1. Устройство для управления входным аудиосигналом, связанным с пространственным источником аудио в пределах пространственного аудиосценария, причем пространственный источник аудио находится на определенном расстоянии от слушателя в пределах пространственного аудиосценария, причем устройство содержит:

возбудитель, выполненный с возможностью управления входным аудиосигналом для получения выходного аудиосигнала, и

контроллер, выполненный с возможностью управления параметрами возбудителя для управления входным аудиосигналом на основании упомянутого определенного расстояния,

причем возбудитель содержит:

полосовой фильтр, выполненный с возможностью фильтрации входного аудиосигнала для получения отфильтрованного аудиосигнала;

нелинейный процессор, выполненный с возможностью нелинейной обработки отфильтрованного аудиосигнала для получения нелинейно обработанного аудиосигнала, и

объединитель, выполненный с возможностью объединения нелинейно обработанного аудиосигнала с входным аудиосигналом для получения выходного аудиосигнала.

2. Устройство по п. 1, в котором контроллер выполнен с возможностью определения передаточной функции по частоте полосового фильтра возбудителя на основании упомянутого определенного расстояния.

3. Устройство по п. 1, в котором контроллер выполнен с возможностью увеличения нижней частоты среза и/или верхней частоты среза полосового фильтра возбудителя в случае, когда упомянутое определенное расстояние уменьшается, и наоборот, и/или

в котором контроллер выполнен с возможностью увеличения полосы пропускания полосового фильтра возбудителя в случае, когда упомянутое определенное расстояние уменьшается, и наоборот, и/или

в котором контроллер выполнен с возможностью определения нижней частоты среза и/или верхней частоты среза полосового фильтра возбудителя согласно следующим уравнениям:

где f_H обозначает верхнюю частоту среза, f_L обозначает нижнюю частоту среза, b_{1_freq} обозначает первую эталонную частоту среза, b_{2_freq} обозначает вторую эталонную частоту среза, r обозначает определенное расстояние, r_max обозначает максимальное расстояние и r_norm обозначает нормированное расстояние.

4. Устройство по п. 1, в котором контроллер выполнен с возможностью управления параметрами нелинейного процессора возбудителя для получения нелинейно обработанного аудиосигнала на основании упомянутого определенного расстояния.

5. Устройство по п. 1, в котором контроллер выполнен с возможностью управления параметрами нелинейного процессора возбудителя таким образом, чтобы нелинейно обработанный аудиосигнал содержал больше гармоник и/или большую мощность в высокочастотном участке нелинейно обработанного аудиосигнала в случае, когда упомянутое определенное расстояние уменьшается, и наоборот.

6. Устройство по п. 1, в котором нелинейный процессор возбудителя выполнен с возможностью ограничения амплитуды отфильтрованного аудиосигнала во временной области амплитудой, меньшей, чем значение порога ограничения, для получения нелинейно обработанного аудиосигнала и в котором контроллер выполнен с возможностью управления значением порога ограничения на основании упомянутого определенного расстояния.

7. Устройство по п. 6, в котором контроллер выполнен с возможностью уменьшения значения порога ограничения в случае, когда упомянутое определенное расстояние уменьшается, и наоборот, и/или

в котором контроллер выполнен с возможностью определения значения порога ограничения на основании упомянутого определенного расстояния согласно следующим уравнениям:

где lt обозначает значение порога ограничения, LT обозначает постоянную порога ограничения, r обозначает определенное расстояние, r_max обозначает максимальное расстояние и r_norm обозначает нормированное расстояние.

8. Устройство по п. 1, в котором нелинейный процессор возбудителя выполнен с возможностью умножения отфильтрованного аудиосигнала на сигнал усиления во временной области и в котором сигнал усиления определяется из входного аудиосигнала на основании упомянутого определенного расстояния.

9. Устройство по п. 8, в котором контроллер выполнен с возможностью определения сигнала усиления на основании упомянутого определенного расстояния согласно следующим уравнениям:

где μ обозначает сигнал усиления, s_rms обозначает среднеквадратический входной аудиосигнал, s_BP обозначает отфильтрованный аудиосигнал, lt обозначает дополнительное значение порога ограничения, limthr обозначает дополнительную постоянную порога ограничения, r обозначает определенное расстояние, r_max обозначает максимальное расстояние, r_norm обозначает нормированное расстояние и n обозначает индекс времени выборки.

10. Устройство по п. 1, в котором возбудитель содержит пересчетное устройство, выполненное с возможностью взвешивания нелинейно обработанного аудиосигнала с помощью коэффициента усиления, и в котором контроллер выполнен с возможностью определения коэффициента усиления пересчетного устройства на основании упомянутого определенного расстояния.

11. Устройство по п. 10, в котором контроллер выполнен с возможностью увеличения коэффициента усиления в случае, когда определенное расстояние уменьшается, и наоборот, и/или

в котором контроллер выполнен с возможностью определения коэффициента усиления на основании упомянутого определенного расстояния согласно следующим уравнениям:

где g_exc обозначает коэффициент усиления, r обозначает определенное расстояние, r_max обозначает максимальное расстояние, r_norm обозначает нормированное расстояние и n обозначает индекс времени выборки.

12. Устройство по п. 1, в котором устройство дополнительно содержит устройство определения, выполненное с возможностью определения упомянутого определенного расстояния.

13. Способ управления входным аудиосигналом, связанным с пространственным источником аудио в пределах пространственного аудиосценария, причем пространственный источник аудио находится на определенном расстоянии от слушателя в пределах пространственного аудиосценария, причем способ содержит:

управление параметрами возбуждения для возбуждения входного аудиосигнала на основании упомянутого определенного расстояния и

возбуждение входного аудиосигнала для получения выходного аудиосигнала,

причем возбуждение входного аудиосигнала включает в себя:

полосовую фильтрацию входного аудиосигнала для получения отфильтрованного аудиосигнала;

нелинейную обработку отфильтрованного аудиосигнала для получения нелинейно обработанного аудиосигнала и

объединение нелинейно обработанного аудиосигнала с входным аудиосигналом для получения выходного аудиосигнала.