Настоящее изобретение относится к декоррелятору для аудиосигнала, к системе обработки, имеющей такой декоррелятор, к способу декорреляции и к компьютерному программному продукту. Настоящее изобретение, в частности, относится к декоррелятору аудиосигналов.
В перцепционном аудиокодировании, декорреляторы представляют собой важный строительный блок для параметрического пространственного аудиокодирования. Известные решения относятся к декорреляторам, известным из параметрического пространственного аудиокодирования, такого как параметрический стереоподход или стандарт объемного звучания MPEG. Декорреляторы, как описано в [1] или в [2], используют вычислительно затратные реверберационные (reverb) фильтры временной области с длительным импульсным откликом. Декорреляторы, к примеру, описанные в [3] или [4], требуют использования гребенки квадратурных зеркальных фильтров (QMF) со значительной задержкой при обработке и вычислительно дорогих решетчатых фильтров.
В силу этого существует потребность в декорреляторе, в системе обработки, имеющей такой декоррелятор, и в способе для декорреляции частей аудиосигнала, обеспечивающих возможность декорреляции с низкой задержкой обработки и/или с низкой вычислительной сложностью.
Цель настоящего изобретения заключается в том, чтобы обеспечивать декоррелятор, систему обработки и способ для декорреляции, обеспечивающие возможность низкой задержки обработки и/или декорреляции с низкой сложностью и высоким перцепционным качеством, в частности, при обработке сигналов, содержащих транзиенты.
Это цель достигается посредством предмета изобретения, определенного в независимых пунктах формулы изобретения.
Результатом настоящего изобретения является то, что разделение частотного представления на множество частей и обработка, т.е. задержка каждой из частей отдельным модулем задержки, обеспечивают возможность низкой задержки обработки, поскольку вычисление различных частей может выполняться параллельно. Одновременно, такие операции в частотной области требуют низкой вычислительной сложности.
Согласно варианту осуществления, декоррелятор содержит множество модулей задержки, при этом каждый модуль задержки выполнен с возможностью приема части частотного представления, основанного на аудиосигнале, при этом каждый модуль задержки выполнен с возможностью задержки принимаемой части, чтобы обеспечивать задержанную часть. Декоррелятор содержит формирователь огибающей, выполненный с возможностью приема и комбинирования сигналов, основанных на задержанных частях частотного представления, с возможностью приема частотного представления аудиосигнала, с возможностью регулирования энергии задержанных частей в отношении частотного представления аудиосигнала и с возможностью обеспечения частотного представления комбинированной формы.
Согласно варианту осуществления, различные части частотного представления содержат одинаковое или различное число частотных бинов (bins). При этом одинаковое число частотных бинов может обеспечивать возможность одинакового времени обработки, различное число частотных бинов может обеспечивать возможность адаптации к требованиям приложения.
Согласно варианту осуществления, декоррелятор содержит фазосдвигатель, выполненный с возможностью фазового сдвига частотного представления аудиосигнала или с возможностью фазового сдвига аудиосигнала во временной области для получения фазосдвинутого аудиосигнала. Фазовый сдвиг может обеспечивать возможность воспринимаемой реверберации и в силу этого высокого качества звучания.
Согласно варианту осуществления, фазосдвигатель выполнен с возможностью фазового сдвига частотного представления аудиосигнала и содержит множество всепропускающих (allpass) фильтров, при этом каждый всепропускающий фильтр выполнен с возможностью фазового сдвига ассоциированной части частотного представления аудиосигнала. Таким образом, всепропускающий фильтр может быть ассоциироваться и адаптироваться к соответствующей части аудиосигнала, что позволяет обеспечивать возможность высокого общего качества звучания.
Согласно варианту осуществления, всепропускающий фильтр из множества всепропускающих фильтров содержит набор структур всепропускающих фильтров, последовательно соединенных между собой, т.е. используются IIR(БИХ)-фильтры Шредера. Структуры всепропускающих фильтров выполнены с возможностью обеспечения различных временных задержек. Альтернативно или дополнительно, структуры всепропускающих фильтров содержат вложенную структуру всепропускающих фильтров.
Согласно варианту осуществления, число структур всепропускающих фильтров и/или схема структуры всепропускающих фильтров являются эквивалентными или отличаются между различными всепропускающими фильтрами. Это обеспечивает возможность высокой гибкости декоррелятора.
Согласно варианту осуществления, различные временные задержки основаны на простом числе, кратном локальной частоте дискретизации, используемой для получения частотного представления аудиосигнала. Это обеспечивает возможность высокого воспринимаемого качества звучания.
Согласно варианту осуществления, набор структур всепропускающих фильтров содержит структуры всепропускающих фильтров в числе четырех и они выполнены с возможностью обеспечения задержки в 1, 2, 3 и 5 единиц времени. Такая единица времени может быть основана на размере блока преобразования в частотную область. Например, при использовании размера блока в 256 с 50%-м перекрытием, единица времени может приводить к 128 выборкам @ 48 кГц=2,7 мс. Обоснованные другие единицы времени, например, могут составлять 32 или 64 выборки либо другие значения. Единицы времени предпочтительно являются достаточно короткими для того, чтобы обеспечивать возможность достаточного временного разрешения при последующем временном/частотном формировании огибающей. В альтернативном решении, задержка в 1, 3, 5 и 7 обеспечивается посредством четырех структур всепропускающих фильтров. Это позволяет не допускать перекрытий во временной области.
Согласно варианту осуществления, коэффициент усиления всепропускающего фильтра адаптируется к значению с абсолютной величиной, т.е. с положительными или отрицательными значениями, в 0,7 в пределах диапазона допусков. Диапазон допусков, например, составляет 20%, 10% или 5%.
Согласно варианту осуществления, фазосдвигатель выполнен с возможностью фазового сдвига аудиосигнала во временной области, при этом фазосдвигатель содержит набор структур всепропускающих фильтров, последовательно соединенных между собой, при этом структуры всепропускающих фильтров выполнены с возможностью обеспечения различных временных задержек. Альтернативно или дополнительно, структуры всепропускающих фильтров содержат вложенную структуру всепропускающих фильтров.
Согласно варианту осуществления, различные всепропускающие временные задержки основаны на простом числе, кратном обратной величине частоты дискретизации, используемой для получения частотного представления аудиосигнала. Аналогично частотной области, соответствующее преимущество также может получаться во временной области. Во временной области, различные временные задержки могут быть основаны на простом числе, получаемом посредством умножения каждого из набора минимальных простых чисел, например, 1, 2, 3 и 5 в качестве одного примерного набора или 1, 3, 5 и 7 в качестве другого примерного набора, на коэффициент понижающей дискретизации, используемый для формирования частей частотного представления аудиосигнала, чтобы получать промежуточный результат, и для использования следующего простого числа относительно промежуточного результата. В качестве следующего простого числа, может пониматься ближайшее расстояние, например, чтобы получать следующее большее или следующее меньшее простое значение. В данном примере, значения в 131, 257, 383 и 641 могут получаться для первого набора и в 131, 383, 641 и 907 могут получаться для второго примерного набора. Здесь, одна единица времени может составлять 1 выборку. Выборка может быть связана с частотой дискретизации, составляющей, например, 48 кГц. В других вариантах осуществления, частота дискретизации также может составлять 44,1 кГц или 32 кГц либо другие значения.
Согласно варианту осуществления, декоррелятор содержит первый модуль преобразования для получения частотного представления аудиосигнала из аудиосигнала для формирователя огибающей и содержит второй модуль преобразования для получения частотного представления из реверберированного аудиосигнала, при этом части частотного представления составляют части частотного представления из реверберированного аудиосигнала. Это позволяет генерировать используемый сигнал, формируемый непосредственно в декорреляторе.
Согласно варианту осуществления, декоррелятор выполнен с возможностью дополнительной реализации одинаковой и предварительно заданной задержки для поднабора или всех частей частотного представления. Таким образом, задержка, которая равна для соответствующих частей или линий задержки, также может обычно применяться в общем блоке задержки, который обеспечивает возможность простых модулей задержки в соответствующих линиях задержки для ассоциированной части.
Согласно варианту осуществления, модули задержки, ассоциированные со спектральной частью множества модулей задержки, выполнены с возможностью задержки ассоциированной части частотного представления по-другому по сравнению с модулями задержки, ассоциированными с другими спектральными частями. Это обеспечивает возможность высокого воспринимаемого качества посредством обработки различных частотных частей по-разному.
Согласно варианту осуществления, модуль задержки выполнен с возможностью задержки частей частотного представления, содержащих более низкие частоты с более высокой временной задержкой по сравнению с частями частотного представления, содержащими более высокие частоты.
Согласно варианту осуществления, взаимосвязь между различными временными задержками является линейной, логарифмической и/или основанной на округлении по подполосным выборкам. Это обеспечивает возможность высокого воспринимаемого качества.
Согласно варианту осуществления, декоррелятор содержит модуль преобразования для приема и преобразования аудиосигнала или реверберированной версии аудиосигнала в части посредством выполнения повременно-блочного дискретного преобразования Фурье (DFT) или кратковременного преобразования Фурье (STFT), при этом модуль преобразования выполнен с возможностью преобразования блоков, имеющих перекрытие в 50% в пределах диапазона допусков. Такое поблочное преобразование обеспечивает возможность малых задержек соответствующей получаемой части и возможность параллельной обработки различных частей.
Согласно варианту осуществления, формирователь огибающей выполнен с возможностью работы в подполосной области и с временным разрешением менее 4 миллисекунд.
Согласно варианту осуществления, декоррелятор содержит каскад обработки сигнала, выполненный с возможностью приема сигнала, основанного на частотном представлении комбинированной формы, например, в качестве моносигнала и с возможностью обработки моносигнала, по меньшей мере, в стереосигнал. Это обеспечивает возможность улучшенного восприятия у слушателя.
Согласно варианту осуществления, декоррелятор содержит каскад обработки сигнала, выполненный с возможностью обработки частотного представления комбинированной формы, по меньшей мере, в стереосигнал и с возможностью моделирования протяженности источника на основе, по меньшей мере, стереосигнала, например, в частотной области.
Согласно варианту осуществления, система обработки содержит декоррелятор, описанный в данном документе, и каскад обработки для преобразования среднего/бокового разложенного сигнала в левый/правый разложенный сигнал.
Согласно вариантам осуществления, система обработки может выполнять подавление транзиента для того, чтобы подавлять эхо-сигналы, например, предэхо и/или постэхо, вызываемые посредством транзиента. Такая обработка транзиента может содержать глушение вывода декоррелятора и, соответственно, усиление вывода модуля компенсации задержки, обеспечивающего часть левого/правого разложенного сигнала и расположенного параллельно с декоррелятором и соединенного с каскадом обработки.
Согласно варианту осуществления, способ содержит прием множества частей частотного представления, основанного на аудиосигнале, задержку каждой из принимаемых частей для обеспечения множества задержанных частей, и прием и комбинирование сигналов, основанных на задержанных частях частотного представления. Способ содержит прием частотного представления аудиосигнала и регулирование энергии задержанных частей в отношении частотного представления аудиосигнала. Частотное представление комбинированной формы обеспечивается.
Согласно варианту осуществления, компьютерная программа или компьютерный программный продукт, или нетранзиторный носитель данных, имеющий сохраненные инструкции, чтобы выполнять соответствующие инструкции, обеспечивается для осуществления этого способа, при выполнении на компьютере.
Дополнительные преимущественные варианты осуществления задаются в зависимых пунктах формулы изобретения.
Преимущественные варианты осуществления подробнее описываются со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 показывает принципиальную блок-схему декоррелятора согласно варианту осуществления;
Фиг. 2 показывает принципиальную блок-схему декоррелятора, содержащего модуль преобразования для формирования частотного представления сигнала временной области, согласно варианту осуществления;
Фиг. 3 показывает принципиальную блок-схему декорреляции, дополнительно содержащей предзадержку, согласно варианту осуществления;
Фиг. 4 показывает принципиальную блок-схему всепропускающего фильтра согласно варианту осуществления;
Фиг. 5 показывает принципиальную блок-схему вложенной структуры всепропускающих фильтров согласно варианту осуществления;
Фиг. 6 показывает принципиальную блок-схему декоррелятора, содержащего фазосдвигатель, выполненный с возможностью работать во временной области согласно варианту осуществления;
Фиг. 7 показывает принципиальную блок-схему декоррелятора, соединенного с моделированием протяженности источника, согласно варианту осуществления;
Фиг. 8 показывает принципиальную блок-схему системы обработки согласно варианту осуществления;
Фиг. 9 показывает принципиальную блок-схему системы обработки, выполненной с возможностью обработки транзиента, согласно варианту осуществления; и
Фиг. 10 показывает принципиальную блок-схему способа согласно варианту осуществления.
Идентичные или эквивалентные элементы, или элементы с идентичной или эквивалентной функциональностью обозначаются в нижеприведенном описании посредством идентичных или эквивалентных ссылочных обозначений даже при появлении на различных чертежах.
В нижеприведенном описании, множество деталей изложено для обеспечения более полного пояснение вариантов осуществления настоящего изобретения. Тем не менее, специалистам в данной области техники должно быть понятно, что варианты осуществления настоящего изобретения могут быть использованы на практике без этих конкретных деталей. В других случаях, известные структуры и устройства показаны в форме блок-схемы, а не подробно, чтобы не затруднять понимание вариантов осуществления настоящего изобретения. Помимо этого, признаки различных вариантов осуществления, описанных далее, могут комбинироваться друг с другом, если прямо не указано иное.
Фиг. 1 показывает принципиальную блок-схему декоррелятора 10 согласно варианту осуществления. Декоррелятор 10 содержит модули 121-12n задержки в числе по меньшей мере двух, где n>1. Хотя фиг. 1 иллюстрирует модули 12 задержки в числе двух, это число предпочтительно является более высоким, например, 4, 8, 16 или другие значения, которые должны получаться с помощью степени 2, при этом варианты осуществления не ограничены такими числами. Таким образом, варианты осуществления также могут содержать число в 3, 5, 7 или 9 модулей 12 задержки. Каждый модуль задержки выполнен с возможностью приема ассоциированной части 141-14n частотного представления 14, основанного на аудиосигнале. Например, частотное представление 14 может представлять собой или может содержать спектр, получаемый посредством преобразования Фурье, к примеру, дискретного преобразования Фурье (DFT) или кратковременного преобразования Фурье (STFT). Части 141-14n могут получаться, например, в качестве подполосы частот спектра, т.е. части представления в частотной области. Например, такая часть 141-14n может получаться посредством использования соответствующего окна.
Каждый модуль 121-12n задержки выполнен с возможностью задержки принимаемой части 141-14n с тем, чтобы обеспечивать задержанную часть 14'1-14'n, т.е. чтобы иметь задержку во временной области.
Декоррелятор 10 дополнительно содержит формирователь 16 огибающей, выполненный с возможностью приема сигналов, основанных на задерживаемых частях 14'1-14'n. Такие сигналы могут представлять собой непосредственно задержанные части 14'1-14'n или их обработанные варианты. Формирователь 16 огибающей выполнен с возможностью комбинирования принимаемых сигналов. Помимо этого, формирователь огибающей выполнен с возможностью приема частотного представления 14 аудиосигнала. Формирователь 16 огибающей выполнен с возможностью регулирования энергии задержанных частей 14'1-14'n в отношении частотного представления 14 аудиосигнала. Формирователь 16 огибающей выполнен с возможностью обеспечения частотного представления 18 комбинированной формы. В частотном представлении 18 комбинированной формы, соответствующие части 141-14n, сигналы, получающиеся в их результате, соответственно, могут декоррелироваться относительно друг друга и/или относительно частотного представления 14.
Хотя формирователь 16 огибающей проиллюстрирован таким образом, что он принимает комбинированное частотное представление 14, в качестве альтернативы, формирователь 16 огибающей может принимать соответствующую информацию посредством приема возможно незадержанных или обычным образом обрабатываемых частей 141-14n.
Фиг. 2 показывает принципиальную блок-схему декоррелятора 20 согласно варианту осуществления. Декоррелятор 20 выполнен с возможностью приема аудиосигнала 22. Декоррелятор 20 может содержать модуль 24 преобразования, выполненный с возможностью формирования частотного представления 14, показанного на фиг. 1. Модуль 24 преобразования может обеспечивать части 141-1416, получаемые посредством примерного STFT. Например, частотное представление может содержать частотные бины в числе, в общей сложности, 129. Альтернативно, могут использоваться 128 бинов. Например, могут использоваться цифровые преобразования Фурье (DFT) двух типов, так называемые "с четным помещением в стек" и "с нечетным помещением в стек". Например, в качестве "стандартного" DFT, может рассматриваться версия с четным помещением в стек, имеющая, в приведенном примере, 129 полос частот (127 комплексных, одну действительную и одну мнимую). Версия с нечетным помещением в стек может содержать 128 (комплексных) полос частот. Оба преобразования могут использоваться в вариантах осуществления, описанных в данном документе. Части 141-1416 могут содержать, частично или полностью, одинаковое или различное число бинов. Например, часть 141 может содержать первый-девятый бин, например, 9 бинов. Часть 142 содержит, например, бины 10-19 и в силу этого бины в числе 10. Адаптация или выбор относительно числа бинов может быть основана на частоте дискретизации, в проиллюстрированном примере составляющей 48 кГц, на перекрытии, т.е., например, в 50%, и/или на числе частей 141-1416, которые должны формироваться. Части 141-1416 могут содержать равное или различное число частотных бинов, так что некоторые или все части 141-1416 также могут формироваться таким образом, что они содержат одинаковое число частотных бинов.
Декоррелятор 20 дополнительно содержит секцию 25 задержки, имеющую линии 121-1216 задержки, причем каждая линия 121-1216 задержки ассоциирована с одной конкретной частью 141-1416 и выполнена с возможностью приема упомянутой части, ее обработанной версии, соответственно. Модули 121-1216 задержки могут быть ассоциированы с соответствующей спектральной частью 141-1416. Такой модуль 121-1216 задержки может быть выполнен с возможностью задержки ассоциированной части частотного представления 14 по-другому по сравнению с модулями задержки, ассоциированными с другими спектральными частями. Альтернативно или дополнительно, взаимосвязь между различными временными задержками может быть одной из линейной, логарифмической и/или основанной на округлении по суперполосным выборкам.
Декоррелятор 20 дополнительно содержит фазосдвигатель 26, соединенный с секцией 25 задержки, причем фазосдвигатель 26 выполнен с возможностью приема задержанных частей 14'1-14'16. Фазовый сдвиг с использованием фазосдвигателя 26 может обеспечивать возможность реверберации в частях сигнала. Тем не менее, согласно вариантам осуществления, последовательность из секции 25 задержки и секции 26 реверберации также может изменяться таким образом, чтобы соответствующая часть 141-1416 могла сначала подвергаться обработке реверберационным фильтром и задерживаться после нее.
Фазосдвигатель 26 может быть выполнен с возможностью фазового сдвига частотного представления 14 аудиосигнала, его обработанной, например задержанной, версии. Фазовый сдвиг также может выполняться до преобразования аудиосигнала 22 в частотную область, соответствующий фазосдвигатель может быть выполнен с возможностью фазового сдвига аудиосигнала 22 во временной области для получения фазосдвинутого аудиосигнала. В короткой конфигурации, в которой фазосдвигатель 26 выполнен с возможностью фазового сдвига частотного представления 14 аудиосигнала, его задержанной версии, соответственно, фазосдвигатель может содержать множество всепропускающих фильтров 281-2816. В показанном примере, всепропускающие фильтры 281-2816 выполнены с возможностью принимать задержанные части 14'1-14'16. Термин "всепропускающий фильтр" должен пониматься так, что частотный диапазон, который должен пропускаться, соответствует частотному диапазону соответствующей части 141-1416. При этом означенное может включать в себя примеры, в которых каждый из всепропускающих фильтров 281-2816 пропускает полный частотный диапазон, обеспеченный в частотном представлении, полоса пропускания различных всепропускающих фильтров 281-2816 также может отличаться друг от друга на основе различных частотных бинов, содержащихся в соответствующих частях 141-1416.
Каждый из всепропускающих фильтров 281-2816 выполнен с возможностью фазового сдвига ассоциированной части частотного представления аудиосигнала.
Таким образом, число структур всепропускающих фильтров и/или схема структуры всепропускающих фильтров могут быть одинаковыми, т.е. равными или сравнимыми, либо могут, альтернативно, отличаться между различными всепропускающими фильтрами 281-2816.
Временная задержка, обеспечиваемая посредством линий 121-1216 задержки, может быть одинаковой или может отличаться для различных частей 141-1416. Как указано на фиг. 2, части частотного представления, содержащие более низкие частоты, могут задерживаться с более высокой временной задержкой по сравнению с частями частотного представления, содержащими более высокие частоты. От бина 1 к более высоким бинам, представляемая частота может увеличиваться. Как представляется в z-области, временная задержка может снижаться с увеличением частот.
Сигналы 321-3216 могут содержать результат задержки и фазового сдвига, например, в качестве вывода всепропускающих фильтров 281-2816.
Формирователь 16 огибающей может быть выполнен с возможностью приема сигналов 321-3216 и их нефильтрованной и незадержанной версии, т.е. частей 141-1416, т.е. частотного представления аудиосигнала 22. Части 141-1416 могут пониматься как подполосы частот. Формирователь 16 огибающей может быть выполнен с возможностью работы в подполосной области. Например, временное разрешение формирователя 16 огибающей может составлять самое большее или меньше 4 миллисекунд, например, 4 миллисекунды, 3,5 миллисекунды, 3 миллисекунды или меньше.
Декоррелятор 20 может содержать другой модуль 35 преобразования, который может обеспечивать обратную операцию по сравнению с модулем 24 преобразования. Например, модуль 34 преобразования может выполнять обратное кратковременное преобразование Фурье (iSTFT). Частотное представление 18 комбинированной формы может содержать информацию относительно частотной области, которая присутствует в каждом из бинов таким образом, что частотное представление 18 комбинированной формы может обрабатываться согласно выводу модуля 24 преобразования. Таким образом, модуль 34 преобразования может принимать обработанные версии частей 141-1416 частотного представления 14 и синтезировать синтезируемый сигнал 36 из обработанных версий 14'1-14'16, например, на основе процедуры суммирования с перекрытием. Сигнал 36 может обеспечиваться, например, в интерфейсе 38 декоррелятора 20.
Формирователь 16 огибающей может быть выполнен с возможностью формирования спектральных бинов во времени и/или по частоте. Формирование может выполняться посредством формирователя 26 огибающей для отдельных бинов и/или для групп бинов, например, посредством реализации взаимозависимой или, по меньшей мере, групповой общей обработки формирования.
Снова ссылаясь на модуль 24 преобразования, он может быть выполнен с возможностью приема и преобразования аудиосигнала 22 либо его реверберированной версии в части 141-1416, при этом число 16 представляет собой только пример. Реверберированная версия аудиосигнала 22 может представлять собой ввод в случае, если фазосдвигатель 26 работает во временной области и в силу этого может размещаться выше по потоку относительно модуля 24 преобразования. Модуль 24 преобразования может выполнять повременно-блочное дискретное преобразование Фурье (DFT) или кратковременное преобразование Фурье (STFT). Модуль преобразования может быть выполнен с возможностью преобразования блоков, имеющих перекрытие, например, в 50% в пределах диапазона допусков. Например, диапазон допусков может быть равен 0% в максимально возможной степени, самое большее 5%, самое большее 10%, самое большее 15% или больше.
Блоки могут содержать длину блока, например, в 128 выборок, 256 выборок или 512 выборок, при этом значение 256 может быть предпочтительным.
Фиг. 3 показывает принципиальную блок-схему декорреляции 30. По сравнению с декоррелятором 20, декоррелятор 30 дополнительно может содержать предзадержку 42, при этом термин "предзадержка" не ограничивает задержку реализацией непосредственно до или после относительно любого конкретного блока. Предзадержка 42 может быть расположена в любом каскаде до формирователя 16 огибающей, предпочтительно и при работе в частотной области, после модуля 24 преобразования. Таким образом, например, последовательность между всепропускающими фильтрами реверберации или фазосдвигателя 26 и предзадержкой 42 может переставляться по сравнению с иллюстрацией на фиг. 3. Предзадержка 42 или блок 42 задержки могут быть выполнены с возможностью дополнительной реализации одинаковой и предварительно заданной задержки для поднабора или всех частей 141-1416 частотного представления. Это может обеспечить возможность реализации одинаковой задержки для каждой части 141-1416 либо их группы для комбинирования обработки в этом каскаде, а также возможность использовать линии 121-1216 задержки для добавления, вероятно, отдельной задержки, чтобы она отличалась от общей задержки, реализуемой в блоке 42. В одном примере, предзадержка 42 выполнена с возможностью обеспечивать постоянную предзадержку для всех полос частот спектра.
Фиг. 4 показывает принципиальную блок-схему всепропускающего фильтра 40 согласно варианту осуществления, который может работать, по меньшей мере, в качестве части одного из фильтров 281-2816 декоррелятора 20 и/или 30. Всепропускающий фильтр 40 может содержать структуру IIR-фильтра Шредера, например, и может содержать прямую ветвь 46 в комбинации с обратной ветвью 48 в комбинации с блоком 52 задержки, чтобы обеспечивать соответствующий выходной сигнал 54, основанный на входном сигнале 44 всепропускающего фильтра 40. Всепропускающий фильтр 28 декоррелятора 20 и/или 30 может содержать один или более таких всепропускающих фильтров 40, соединенных последовательно друг с другом. Чтобы обеспечивать различные временные задержки в различных всепропускающих фильтрах 281-2816, различное число структур всепропускающих фильтров 14 может последовательно соединяться.
Другими словами, фиг. 4 показывает каскад всепропускающих фильтров.
Фиг. 5 показывает принципиальную блок-схему структуры 50 всепропускающих фильтров, представляющую собой вложенную структуру всепропускающих фильтров. Альтернативно или в дополнение к структуре 40 всепропускающих фильтров, одна или более структур 50 всепропускающих фильтров могут составлять, по меньшей мере, часть всепропускающего фильтра 281-2816 декоррелятора 20 и/или 30. Хотя показано два блока 521 и 522 задержки, другое и, в частности, более высокое число блоков 52 задержки может присутствовать, что в результате приводит, возможно, к увеличенному числу прямых ветвей 46 и/или обратных ветвей 48. Дополнительно, усиления g1/-g1 и/или g2/-g2 могут применяться.
При рассмотрении, например, последовательного соединения блоков 52 задержки в одной или более структур 40 всепропускающих фильтров и/или в одной или более структур 50 всепропускающих фильтров, различные всепропускающие фильтры 281-2816 могут реализовываться таким образом, чтобы они содержали другую временную задержку по сравнению с другими всепропускающими фильтрами. Например, различные задержки различных структур всепропускающих фильтров и/или схемы структур всепропускающих фильтров могут быть основаны на простом числе, кратном локальной частоте дискретизации, например, 48 кГц, используемой для получения частотного представления 14 аудиосигнала 22. Например, набор структур всепропускающих фильтров, составляющих, по меньшей мере, часть всепропускающего фильтра, может содержать структуры всепропускающих фильтров в числе четырех, например, структуры 40 всепропускающих фильтров. Различные блоки задержки в них могут выполняться с возможностью обеспечения задержки в 1, 2, 3 и 5. Согласно другому примеру, структуры всепропускающих фильтров в числе четырех могут обеспечивать задержку в 1, 3, 5 и 7 единиц в z-области. Эти значения могут формировать набор простых значений, т.е. простые значения в числе 2, 3, 4, 5 или более могут группироваться.
При переводе, в этом варианте осуществления, наборов простых значений, соответственно, в возможные операции всепропускающих фильтров во временной области, временные задержки основываются на простом числе, кратном обратной величине частоты дискретизации, используемой для получения частотного представления аудиосигнала в варианте осуществления. Например, различные временные задержки могут быть основаны на простом числе, получаемом посредством умножения каждого из набора простых чисел, как упомянуто выше, например, 1, 2, 3 и 5 или 1, 3, 5 и 7 на коэффициент понижающей дискретизации, используемый для формирования частей частотного представления аудиосигнала, чтобы получать промежуточный результат. Вместо промежуточного результата, может использоваться следующее простое число относительно промежуточного результата. Например, с учетом коэффициента понижающей дискретизации в 128 и при рассмотрении вышеприведенных наборов простых чисел, такой результат может представлять собой задержку в 131, 257, 383 и 641, с одной стороны, и в 131, 383, 641 и 907, с другой стороны, при этом каждая задержка может быть связана с умножением на 1 выборку на частоте дискретизации, которая, для частоты дискретизации в 48 кГц, составляет приблизительно 20,8 мкс. Другие наборы простых чисел являются возможными без ограничения.
Ссылаясь, например, на фиг. 4, коэффициент g усиления всепропускающего фильтра может адаптироваться к значению 0,7 в пределах диапазона допусков, например, ±20%, ±10% или ±5%. Тем не менее, значение усиления также может иметь отрицательное значение, например, в -0,7 в пределах упомянутого диапазона допусков. Таким образом, коэффициент усиления может адаптироваться к значению с абсолютной величиной в 0,7 в пределах диапазона допусков.
Другими словами, помимо пропускающей конфигурации с последовательным выходом по фиг. 4, также может реализовываться вложенная конфигурация, в которой элемент задержки внешней всепропускающей конфигурации Шредера заменяется посредством другой внутренней всепропускающей конфигурации, либо комбинация обеих конфигураций. Фиг. 5 показывает простой вложенный каскад всепропускающих фильтров.
Фиг. 6 показывает принципиальную блок-схему декоррелятора 60 согласно варианту осуществления. Декоррелятор 60 содержит фазосдвигатель 26, выполненный с возможностью работать во временной области. Структура 28' всепропускающих фильтров может быть выполнена с возможностью использования соответствующих следующих простых чисел по сравнению с наборами простых чисел, как описано в связи с декоррелятором 20 и/или 30. Для обеспечения точной работы декоррелятора 60, он может содержать модули 241 и 242 преобразования. Тогда как модуль 241 преобразования может обеспечивать частотное представление аудиосигнала, модуль 242 преобразования может принимать реверберированный или фазосдвинутый аудиосигнал 22', обеспечиваемый посредством фазосдвигателя 28'. Получаемые части 14''1-14''16 могут задерживаться посредством модулей 121-1216 задержки, достигающих сравнимого ввода для формирователя 16 огибающей по сравнению с декоррелятором 20 и/или 30, при одновременном обеспечении возможности реверберации во временной области. Таким образом, части частотного представления могут составлять части частотного представления из реверберированного аудиосигнала 22'.
Согласно вариантам осуществления, декоррелятор, как описано в данном документе, может комбинироваться с дополнительной функциональностью, т.е. выходной сигнал может обрабатываться дополнительно.
Другими словами, фиг. 6 показывает альтернативную реализацию декоррелятора относительно фиг. 2.
Дополнительно, изобретенные декорреляторы могут комбинироваться с обработкой для обращения с транзиентами. Транзиенты могут вызывать артефакты в декоррелированном стереосигнале, такие как постэхо или эффекты нежелательного панорамирования. Чтобы смягчать это, обращение с транзиентами может комбинироваться с декоррелятором, описанным в данном документе. Обращение с транзиентами может глушить вывод декоррелятора, чтобы сохранять форму сигнала непосредственного начала и подавлять постэхо, вызываемое предзадержкой.
Фиг. 7 показывает принципиальную блок-схему декоррелятора 70 согласно варианту осуществления. Декоррелятор 70 содержит, по меньшей мере, часть декоррелятора 10, при этом альтернативно или дополнительно, по меньшей мере, части декоррелятора 20, 30 и/или 60 могут размещаться. Декоррелятор 70 может содержать каскад 56 обработки сигнала, выполненный с возможностью обработки частотного представления 18 комбинированной формы либо сигнала на его основе. Частотное представление 18 комбинированной формы может рассматриваться как моносигнал, т.е. оно может представлять один канал. Из принимаемого моносигнала, каскад обработки может обеспечивать, по меньшей мере, сигналы 581 и 582, представляющие стереосигнал.
Модуль 58 протягивания источника, который моделирует перцепционный эффект пространственно протяженного источника звука из моносигнала точечного источника и его декоррелированной версии, может соединяться с декоррелятором 70. Модуль 58 протягивания источника может содержать фильтры 641-642, обеспечивающие возможность моделирования протяженности источника на основе стереосигнала, имеющего сигналы 581 и 582. Моделирование протяженности источника может выполняться, например, в частотной области и может приводить к выходным стереосигналам 641, например, левому каналу, и 642, например, правому каналу. Следует отметить, что модуль 58 протягивания источника также может составлять часть декоррелятора 70.
Другими словами, фиг. 7 показывает принципиальную блок-схему обработки обеспечения протяженности источника.
Фиг. 8 показывает принципиальную блок-схему системы 80 обработки согласно варианту осуществления. Система 80 обработки может содержать декоррелятор 10. Альтернативно или дополнительно, декоррелятор 20, 30, 60 и/или 70 может размещаться. Система 80 обработки содержит каскад 66 обработки, выполненный с возможностью преобразования среднего/бокового разложенного сигнала 68 в левый/правый разложенный сигнал 72. Таким образом, средний/боковой разложенный сигнал 68 может содержать, по меньшей мере, первый сигнал 741, например, представляющий одну из средней (mid) или боковой (side) части, и второй сигнал 742, представляющий другую часть. Каскад 66 обработки может быть выполнен с возможностью преобразования сигналов 741-742 и возможно дополнительных сигналов, по меньшей мере, в сигналы 761-762, представляющие левый канал и правый канал. Один канал, например, левый канал L, может получаться, например, посредством суммирования среднего компонента M и бокового компонента M+S; при этом другой, например, правый канал может получаться посредством вычитания одного компонента из другого, например, M-S. Согласно другому подходу, оба канала могут получаться посредством использования 50% либо коэффициента в 0,5 для означенного, т.е. 0,5(M+S) и 0,5(M-S). Другие коэффициенты и/или правила определения являются возможными.
Согласно варианту осуществления, сигнал 741 обеспечивается посредством декоррелятора системы 80 обработки. Другой сигнал 742 может обеспечиваться посредством модуля 78 компенсации задержки, который соединяется параллельно с декоррелятором 10 и выполнен с возможностью также приема аудиосигнала 22. Модуль 78 компенсации задержки в силу этого соединяется с каскадом 66 обработки. Модуль 78 компенсации задержки может быть выполнен с возможностью обеспечения временной задержки, которая является сравнимой с декоррелятором. Предпочтительно, для вариантов осуществления в частотной области, задержка равна задержки обработки, вводимой посредством STFT-анализа/синтеза декоррелятора. Тем не менее, декоррелятор 10 может обеспечивать дополнительную обработку сигнала, приводящую к декорреляции таким образом, что сигнал 742 может содержать аналогичную задержку по сравнению с сигналом 741. Согласно варианту осуществления, сигнал 742 может быть не обработанным за исключением временной задержки.
Декоррелятор 10 в системе 80 обработки может обеспечивать частотное представление комбинированной формы в качестве по меньшей мере одной части среднего/бокового разложенного сигнала в каскад 66 обработки. Каскад 66 обработки может преобразовывать частотное представление комбинированной формы вместе с сигналом 742 задержки в левый/правый разложенный сигнал в частотной области. Вывод каскада 66 обработки может представлять собой L/R-сигнал 72. Сам декоррелятор 10 может формировать моносигнал S (боковой, компонента 18), причем в этом отношении он представляет собой только его часть. При обращении с транзиентами, прямая часть M (742; 74'2), и вывод S декоррелятора (сигнал 18) могут становиться тесно связанными, поскольку сигнал S будет глушиться и "заменяться" посредством усиленного M-сигнала (сигнала 74'2). Как следствие, оба модуля, декоррелятор и "модуль 66 повышающего микширования", тесно связаны, и в силу этого каскад 66 обработки, в завершение, обеспечивает декоррелированный стереосигнал. Если декоррелятор должен работать автономно с моновыводом, например, без каскада 66 обработки, то прямой сигнал с компенсацией задержки, вообще без масштабирования, должен суммироваться непосредственно с моновыводом, чтобы заполнять заглушенный промежуток и обеспечивать "полный" сигнал.
Другими словами, фиг. 8 показывает декоррелятор в M/S-в-L/R-компоновке с компенсацией задержки моноввода (среднего сигнала).
Фиг. 9 показывает принципиальную блок-схему системы 90 обработки согласно варианту осуществления. По сравнению с системой 80 обработки, система 90 обработки содержит модуль 82 подавления транзиента, выполненный с возможностью обнаружения транзиента в аудиосигнале 22 либо его частотном представлении 14 на входе декоррелятора. Модуль подавления транзиента может содержать модуль 84 обнаружения транзиента, выполненный с возможностью приема аудиосигнала 22 либо его частотного представления. Модуль 84 обнаружения транзиента может обнаруживать транзиент в аудиосигнале, например, посредством обработки аудиосигнала 22. Модуль 82 подавления транзиента может дополнительно содержать модуль 86 глушения, выполненный с возможностью приема частотного представления 18 комбинированной формы и его глушения на основе управляющего сигнала. Тем не менее, следует отметить, что одинаковый или сравнимый эффект также может получаться при управлении декоррелятором 10 или декоррелятором, содержащимся в системе 90 обработки, чтобы глушить вывод декоррелятора. Таким образом, модуль 86 глушения также может составлять часть декоррелятора. Тем не менее, сигнал 741, формирующий ввод каскада 66 обработки, может глушиться на основе обнаруженного транзиента в аудиосигнале 22. Модуль 82 подавления транзиента может быть выполнен с возможностью временного глушения части, обеспечиваемой посредством декоррелятора, чтобы подавлять эхо-сигналы в каскаде 66 обработки, при этом эхо-сигналы могут быть связаны с предэхо и/или постэхо. При работе во временной области, окно может использоваться для мягкого глушения, чтобы не допускать дополнительных транзиентов, которые будут побуждаться глушения. При выполнении в частотной области, оконное STFT-взвешивание, описанное в связи с декорреляторами 20, 30 и 60, может обеспечивать такой эффект автоматически, т.е. синергетически.
Относительно каскада 66 обработки, глушение вывода декоррелятора 10 может приводить к нежелательному сдвигу во входной энергии каскада 66 обработки сигнала. Чтобы не допускать отрицательных эффектов, усилитель 82 может включаться между модулем 78 компенсации задержки и каскадом 66 обработки сигнала, чтобы временно усиливать сигнал 742, чтобы получать усиленный сигнал 74'2. Усиление сигнала 742 может быть условным по отношению к глушению вывода декоррелятора 10. Таким образом, модуль 82 подавления транзиента может быть выполнен с возможностью усиления части модуля 78 компенсации задержки согласно глушению части декоррелятора.
Уровень усиления может быть фиксированным или им можно управлять. Согласно одному примеру, если применяется, коэффициент усиления усилителя 82 может составлять коэффициент:
,
по сравнению с незаглушенной частью декоррелятора. Таким образом, при глушении вывода декоррелятора, усилитель 88 может усиливать сигнал 742 на:
,
при не усилении сигнала 742 в течение моментов времени, когда глушение выключено, т.е. g=1.
Необязательно, а также для того, чтобы не допускать нежелательных эффектов во время подавления транзиента, модуль 82 подавления транзиента может быть выполнен с возможностью подавления обнаруженного транзиента в аудиосигнале и с возможностью подавления следующего транзиента не ранее предварительно заданного времени запрета. Например, модуль 82 подавления транзиента может содержать модуль 92 управления, выполненный с возможностью управления и/или применения времени удержания, гистерезиса и/или времени запрета. Например, время удержания может быть меньшим по сравнению со временем запрета. Время удержания может быть связано со временем, в течение которого вывод декоррелятора 10 глушится в ответ на обнаруженный транзиент, т.е. свойство, определяемое посредством модуля 84 обнаружения транзиента. Время запрета может быть более длительным по сравнению со временем удержания, чтобы не допускать нежелательных эффектов. Например, счетчик удержания, т.е. времени для глушения, может составлять 1, 2, 4, 6, 7 или 8 блоков, хотя время запрета может по меньшей мере в два раза превышать это время, например составлять по меньшей мере 14, по меньшей мере 20, по меньшей мере 30 или 56 блоков либо любую другую временную длительность.
Согласно примеру, модуль 92 управления также может обеспечивать гистерезис, чтобы уменьшать переключение включения/выключения подавления транзиентов для аудиосигналов, таких как цепочки низкоскоростных импульсов. Таким образом, время запрета, обеспечиваемое посредством модуля 92 управления, может представлять собой первое время запрета. Модуль 82 подавления транзиента может быть выполнен с возможностью перезапуска времени запрета в качестве второго времени запрета, превышающего первое время запрета, в случае, если транзиент возникает в течение первого времени запрета. Таким образом, даже если время удержания истекло, но время запрета еще не истекло, и в случае, если новый транзиент определяется (независимо от того, истекло время удержания или нет), таймер запрета может быть перезапущен. Необязательно, перезапущенный таймер запрета может быть более длительным по сравнению с отмененным таймером запрета. Другими словами, когда самый первый транзиент обнаруживается, тогда счетчик удержания и счетчик запрета оба запускаются. Транзиент может глушиться до тех пор, пока счетчик удержания не достигнет своей величины для прекращения, например, 8 блоков. Затем счетчик удержания может сбрасываться, и глушение может прекращаться. Счетчик запрета может достигать своего количества для прекращения/сбрасываться гораздо позднее во времени, например, через 56 блоков. Если в ходе упомянутого продолжающегося процесса подсчета запрета обнаруживается новый транзиент, то только счетчик запрета перезапускается, но с более высоким значением количества для прекращения, например, в 64 блока. Таким образом, гистерезис реализуется посредством условного переключения и модификаций количества для прекращения. Таким образом, во время работы счетчика запрета, новое инициирование подавления или глушения транзиента может деактивироваться.
Модуль 82 подавления транзиента может быть выполнен с возможностью работы в частотной области. Альтернативно или дополнительно, модуль 82 подавления транзиента может быть выполнен с возможностью глушения части декоррелятора в течение большего времени по сравнению с предзадержкой декоррелятора. Таким образом, в случае если транзиент обнаруживается в аудиосигнале 22, в таком случае глушение по-прежнему должно иметь силу, когда транзиент достигает вывода декоррелятора.
Другими словами, декорреляторы согласно вариантам осуществления работают в области кратковременного преобразования Фурье (STFT) на перекрывающихся блоках преобразования с небольшой длительностью. Это обеспечивает небольшую задержку обработки в несколько миллисекунд, например, 2,7 миллисекунды, при условии размера преобразования в 256 и частоты дискретизации в 48 кГц, в противоположность высокой задержке PS/MDS-декоррелятора, описанного в [2] или [3], который может достигать времени задержки в 13,3 миллисекунд при частоте дискретизации в 48 кГц. Кроме того, описанные декорреляторы могут реализовываться с использованием всепропускающих фильтров очень низкой вычислительной сложности и в силу этого могут быть вычислительно гораздо более эффективными, чем декорреляция во временной области, описанная в [1] или в [2]. Если дополнительная нижележащая спектральная обработка необходима или желательна, например, моделирование протяженности источника, описанные декорреляторы могут сопрягаться с помощью интерфейса непосредственно с этим каскадом обработки в STFT-области, чтобы достигать низкой вычислительной сложности.
Декорреляторы, описанные в данном документе, в силу этого могут обеспечивать малую задержку обработки и среднюю вычислительную сложность. Декорреляторы могут комбинироваться с дополнительной нижележащей обработкой, чтобы моделировать аудиообъекты, имеющие пространственную размерность, так называемые пространственно протяженные источники звука (SESS) с перцепционным свойством "протяженности источника".
Другими словами, фиг. 2 и фиг. 9 показывают предпочтительные варианты осуществления настоящего изобретения. Во-первых, входной сигнал или аудиосигнал (звук точечного источника, например) может подаваться в декоррелятор 20, содержащий повременно-блочное DFT, например, с длиной блока в 256 выборок и, например, с 50%-м перекрытием. Далее спектральные бины DFT задерживаются по времени на частотно-зависимую длительность, при этом низкие частоты могут иметь более высокую задержку, и высокие частоты могут иметь более низкую задержку. Например, задержка может составлять 16 подполосных выборок (42,7 миллисекунды при 48 кГц) для низких частот и может снижаться вниз до 1 подполосной выборки для наиболее высоких бинов, т.е. z-1. Снижение задержки со временем может быть линейным, логарифмическим или иным с округлением до целых чисел подполосных выборок. Затем, каждый бин отправляется через всепропускающий фильтр, предпочтительно содержащий цепочку простых всепропускающих фильтров или вложенную структуру всепропускающих фильтров. Примерный всепропускающий фильтр показан на фиг. 4. Другая структура показывается на фиг. 5. Относительно фиг. 4, одна возможная цепочка может содержать или состоять из четырех таких всепропускающих фильтров. Параметр g может выбираться как составляющий, например, 0,7, и задержки Mi могут быть простыми числами. Следует отметить, что фиг. 4 показывает самую первую часть цепочки, т.е. M1. Поскольку эти фильтры могут работать с подвергнутыми понижающей дискретизации полосами частот спектра, например, с коэффициентом понижающей дискретизации в 128, задержки могут быть очень низкими, например, составлять простые числа 1, 2, 3 и 5 или, в качестве другого примера, 1, 3, 5 и 7. Далее может применяться временное/частотное формирование огибающей. Входные сигналы в формирование огибающей могут представлять собой DFT-бины непосредственно и их задержанные и фильтрованные версии. В завершение, IDFT с суммированием с перекрытием может синтезировать выходной сигнал. Выходной сигнал может дополнительно обрабатываться во временной области для получения левого/правого стереосигнала из входного моносигнала в конфигурации, показанной на фиг. 8. Альтернативно, левый/правый стереосигнал может собираться в частотной DFT-области и дополнительно обрабатываться в частотной области, например, для моделирования протяженности источника/SESS посредством быстрой свертки, если преимущественно для общей вычислительной эффективности. Конфигурация для моделирования протяженности источника показана на фиг. 7. В отличие от других вариантов осуществления, альтернативный вариант осуществления, имеющий задержки Mi, может выбираться в качестве простых чисел, приблизительно в 128 раз (согласно вышеуказанному коэффициенту понижающей дискретизации) больших, чем простые числа, выбираемые в подполосной области, например, 131, 257, 383 и 641 (для набора простых значений 1, 2, 3 и 5) или 131, 383, 641 и 907 (для набора простых значений 1, 3, 5 и 7). Для различных наборов простых значений с различным числом простых чисел и/или с различными простыми числами, могут выбираться соответствующие значения. Дополнительно, альтернативный вариант осуществления может требовать дополнительного STFT, чтобы получать прямой сигнал, вводимый во временной/частотный формирователь огибающей.
Фиг. 9 показывает примерный декоррелятор в M/S-в-L/R-компоновке с обработкой для обращения с транзиентами. Аспекты этих вариантов осуществления заключаются в следующем:
- Обнаружение транзиента обнаруживает присутствие изолированного транзиента.
- Если транзиент обнаруживается, декоррелированный звук глушится в течение "времени удержания", и прямой сигнал с компенсацией задержки усиливается соответствующим образом. Чтобы компенсировать эффект когерентного суммирования, коэффициент в 2/sqrt(2) применяется для того, чтобы усиливать прямой сигнал, причем он заменяет декоррелированный сигнал.
- Чтобы не допускать инициирования в цепочках быстрых импульсов, которые воспринимаются как тона, запрет предотвращает инициирование посредством следующего транзиента в течение определенного "времени запрета"; время запрета перезапускается посредством каждого нового обнаружения транзиента в течение "времени удержания".
- Гистерезис предотвращает переключение обнаружения транзиента (например, посредством увеличения "времени запрета" в случае повторно инициированного запрета).
- Обнаружение транзиента, глушение, усиление прямого звука, запрет обнаружения и гистерезис могут преимущественно реализовываться в STFT-области:
○ перекрытие STFT-блоков обеспечивает сглаженный плавный переход,
○ время глушения превышает предзадержку декоррелятора,
○ счетчик блоков глушения, чтобы глушить декоррелированный сигнал и усиливать прямой сигнал,
○ счетчик блоков запрета, чтобы запрещать обнаружение транзиента,
○ гистерезис, чтобы не допускать переключения при обнаружении транзиентов.
Варианты осуществления настоящего изобретения относятся к:
- устройству/способу для декорреляции аудиосигнала,
- декоррелятору, включающему в себя:
○ DFT/IDFT-пару (необязательную, при непосредственном сопряжении с помощью интерфейса с SESS-обработкой в частотной области),
○ задержки в подполосной области; предпочтительно низкие частоты имеют более высокую задержку, и высокие частоты имеют более низкую задержку; распределение задержки вдоль частоты: линейное, логарифмическое и т.д.,
○ всепропускающие фильтры в подполосной области; необязательно: низкие частоты могут иметь более высокую задержку/порядок, и высокие частоты имеют более низкую задержку/порядок; всепропускающие фильтры высшего порядка могут реализовываться посредством каскада всепропускающих фильтров низшего порядка,
▪ короткие IIR-фильтры Шредера в (подвергнутой понижающей дискретизации) подполосной DFT-области с использованием простых чисел с небольшой целочисленной задержкой в комбинации с частотно-зависимыми задержками,
○ модуль В/Ч регулирования огибающей с высоким временным разрешением (<4 мс), работающий в подполосной области; измерение энергии до и после обработки задержки/всепропускающей обработки; регулирование энергии подполосного сигнала таким образом, чтобы она (в максимально возможной степени) совпадала с энергией исходного подполосного сигнала,
- декоррелятор с низкой задержкой в качестве части моделирования/обработки "протяженности источника" (в противоположность декоррелятору на основе стандарта объемного звучания MPEG),
- интерфейс с нижележащей обработкой протяженности источника во временной или в частотной DFT-области для вычислительной эффективности,
- альтернативная реализация: всепропускающие фильтры перед задержками ("постзадержки").
Фиг. 10 показывает принципиальную блок-схему способа 1000 согласно варианту осуществления, который может реализовываться, например, посредством декоррелятора, описанного в данном документе. Способ 1000 содержит этап 1010, на котором принимаются множество частей, которые основаны на аудиосигнале. На 1020, каждая из принимаемых частей задерживается, чтобы обеспечивать множество задержанных частей. 1030 содержит прием и комбинирование сигналов, основанных на задержанных частях частотного представления. 1040 содержит прием частотного представления аудиосигнала. 1050 содержит регулирование энергии задержанных частей в отношении частотного представления аудиосигнала. 1060 содержит обеспечение частотного представления комбинированной формы, например, с использованием формирователя 16 огибающей.
Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства.
Изобретенный кодируемый аудиосигнал может сохраняться на цифровом носителе данных либо может передаваться по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, к примеру, Интернет.
В зависимости от определенных требований к реализации, варианты осуществления данного изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя данных, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, хранящего электронночитаемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ.
Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.
В общем, варианты осуществления настоящего изобретения могут реализовываться как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код, например, может сохраняться на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.
Другими словами, вариант осуществления изобретенного способа в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа выполняется на компьютере.
Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель данных (цифровой запоминающий носитель или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе.
Следовательно, дополнительный вариант осуществления изобретенного способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью его/ее передачи через соединение для передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.
В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого аппаратного оборудования.
Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, будут очевидны для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.
Список источников
[1] W. Oomen, E. Schuijers, B. den Brinker и J. Breebaart "Advances in Parametric Coding for High-Quality Audio", статья 5852 (март 2003 года).
[2] J. Breebaart, S. van de Par, A. Kohlrausch и E. Schuijers "High-quality Parametric Spatial Audio Coding at Low Bitrates", статья 6072 (май 2004 года).
PS в QMF-области:
[3] H. Purnhagen, J. Engdegard, J. Roden и L. Liljeryd "Synthetic Ambience in Parametric Stereo Coding", статья 6074 (май 2004 года).
[4] J. Herre, K. Kjörling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Rödén, W. Oomen, K. Linzmeier и KO. SE. Chong "MPEG Surround-The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding", J. Audio Eng. Soc., издание 56, номер 11, стр. 932-955 (ноябрь 2008 года).
Настоящее изобретение относится к деккорелятору для аудиосигнала. Декоррелятор содержит множество модулей задержки, при этом каждый модуль задержки выполнен с возможностью приема части частотного представления, основанного на аудиосигнале, при этом каждый модуль задержки выполнен с возможностью задержки принимаемой части, чтобы обеспечивать задержанную часть. Декоррелятор содержит формирователь огибающей, выполненный с возможностью приема и комбинирования сигналов, основанных на задержанных частях частотного представления. Формирователь огибающей принимает частотное представление аудиосигнала и выполнен с возможностью регулирования энергии задержанных частей в отношении частотного представления аудиосигнала. Формирователь огибающей выполнен с возможностью обеспечения частотного представления комбинированной формы. С транзиентными частями сигнала обращаются посредством адаптированной работы декоррелятора. Технический результат заключается в обеспечении возможности низкой задержки обработки и/или декорреляции с низкой сложностью и высоким перцепционным качеством, в частности, при обработке сигналов, содержащих транзиенты. 4 н. и 37 з.п. ф-лы, 10 ил.
1. Декоррелятор для системы аудиообработки, причем декоррелятор содержит:
- множество модулей (12) задержки, при этом каждый модуль (12) задержки выполнен с возможностью приема части (141-14n) частотного представления, основанного на аудиосигнале (22); при этом каждый модуль (12) задержки выполнен с возможностью задержки принимаемой части (141-14n), чтобы обеспечивать задержанную часть (14'1-14'n); и
- формирователь (16) огибающей, выполненный с возможностью приема и комбинирования сигналов, основанных на задержанных частях (14'1-14'n) частотного представления; с возможностью приема частотного представления аудиосигнала (22); с возможностью регулирования энергии задержанных частей (14'1-14'n) в отношении частотного представления аудиосигнала (22); и с возможностью обеспечения частотного представления комбинированной формы.
2. Декоррелятор по п. 1, в котором различные части (141-14n) частотного представления содержат одинаковое или различное число частотных бинов.
3. Декоррелятор по п. 1 или 2, дополнительно содержащий фазосдвигатель (26), выполненный с возможностью фазового сдвига частотного представления (14) аудиосигнала (22); или с возможностью фазового сдвига аудиосигнала (22) во временной области для получения фазосдвинутого аудиосигнала (22).
4. Декоррелятор по п. 3, в котором фазосдвигатель (26) выполнен с возможностью фазового сдвига частотного представления аудиосигнала (22) и содержит множество всепропускающих фильтров, при этом каждый всепропускающий фильтр (28) выполнен с возможностью фазового сдвига ассоциированной части (141-14n) частотного представления аудиосигнала (22).
5. Декоррелятор по п. 4, в котором всепропускающий фильтр (28) из множества всепропускающих фильтров содержит набор структур (40; 50) всепропускающих фильтров, таких как IIR-фильтры Шредера, последовательно соединенных между собой; при этом структуры (40; 50) всепропускающих фильтров выполнены с возможностью обеспечения различных временных задержек; или
при этом структуры (40; 50) всепропускающих фильтров содержат вложенную структуру всепропускающих фильтров.
6. Декоррелятор по п. 5, в котором число структур (40; 50) всепропускающих фильтров и/или схема структуры всепропускающих фильтров равны или отличаются между различными всепропускающими фильтрами (28).
7. Декоррелятор по п. 5 или 6, в котором различные временные задержки основаны на простом числе, кратном локальной частоте дискретизации, используемой для получения частотного представления аудиосигнала (22).
8. Декоррелятор по одному из пп. 5-7, в котором набор структур (40; 50) всепропускающих фильтров содержит структуры (40; 50) всепропускающих фильтров в числе четырех и они выполнены с возможностью обеспечения задержки в 1, 2, 3 и 5 или 1, 3, 5 и 7, соответственно.
9. Декоррелятор по одному из пп. 4-8, в котором коэффициент усиления всепропускающего фильтра (28) адаптируется к значению с абсолютной величиной в 0,7 в пределах диапазона допусков, например, 20%.
10. Декоррелятор по п. 3, в котором фазосдвигатель (26) выполнен с возможностью фазового сдвига аудиосигнала (22) во временной области; при этом фазосдвигатель (26) содержит набор структур (40; 50) всепропускающих фильтров, таких как IIR-фильтры Шредера, последовательно соединенных между собой; при этом структуры (40; 50) всепропускающих фильтров выполнены с возможностью обеспечения различных временных задержек; или
- при этом структуры (40; 50) всепропускающих фильтров содержат вложенную структуру всепропускающих фильтров.
11. Декоррелятор по п. 10, в котором различные всепропускающие временные задержки основаны на простом числе, кратном обратной величине частоты дискретизации, используемой для получения частотного представления аудиосигнала (22).
12. Декоррелятор по п. 10 или 11, в котором различные временные задержки основаны на простом числе, получаемом посредством умножения каждого из набора минимальных простых чисел, например, 1, 2, 3 и 5; или 1, 3, 5 и 7, на коэффициент понижающей дискретизации, используемый для формирования частей (141-14n) частотного представления аудиосигнала (22), чтобы получать промежуточный результат; и для использования следующего простого числа относительно промежуточного результата, например, в качестве 131, 257, 383, 641 или 131, 383, 641, 907.
13. Декоррелятор по одному из пп. 10-12, содержащий первый модуль (24) преобразования для получения частотного представления аудиосигнала (22) из аудиосигнала (22) для формирователя (16) огибающей; и содержащий второй модуль (34) преобразования для получения частотного представления из реверберированного аудиосигнала (22); при этом части (141-14n) частотного представления формируют части (141-14n) частотного представления из реверберированного аудиосигнала (22).
14. Декоррелятор по одному из предшествующих пунктов, в котором части (141-14n) частотного представления содержат равное или различное число частотных бинов.
15. Декоррелятор по одному из предшествующих пунктов, выполненный с возможностью получения частей (141-14n) частотного представления в числе 16.
16. Декоррелятор по одному из предшествующих пунктов, выполненный с возможностью получения частотного представления с частотными бинами в числе 128 или 129.
17. Декоррелятор по одному из предшествующих пунктов, при этом декоррелятор выполнен с возможностью дополнительно реализовывать одинаковую и предварительно заданную задержку для поднабора или всех частей (141-14n) частотного представления.
18. Декоррелятор по одному из предшествующих пунктов, в котором модули (12) задержки, ассоциированные со спектральной частью (141-14n), из множества модулей (12) задержки, выполнены с возможностью задержки ассоциированной части (141-14n) частотного представления по-другому по сравнению с модулями (12) задержки, ассоциированными с другими спектральными частями (141-14n).
19. Декоррелятор по одному из предшествующих пунктов, в котором множество модулей (12) задержки выполнено с возможностью задержки частей (141-14n) частотного представления, содержащих более низкие частоты, с более высокой временной задержкой по сравнению с частями (141-14n) частотного представления, содержащими более высокие частоты.
20. Декоррелятор по п. 19, в котором взаимосвязь между различными временными задержками является одной из линейной, логарифмической и/или основанной на округлении по подполосным выборкам.
21. Декоррелятор по одному из предшествующих пунктов, содержащий модуль (24) преобразования для приема и преобразования аудиосигнала (22) или реверберированной версии аудиосигнала (22) в части (141-14n) посредством выполнения повременно-блочного дискретного преобразования Фурье (DFT) или кратковременного преобразования Фурье (STFT); при этом модуль (24) преобразования выполнен с возможностью преобразования блоков, имеющих перекрытие в 50% в пределах диапазона допусков.
22. Декоррелятор по одному из предшествующих пунктов, содержащий модуль (24) преобразования для приема и преобразования аудиосигнала (22) или реверберированной версии аудиосигнала (22) в части (141-14n) посредством выполнения повременно-блочного дискретного преобразования Фурье (DFT) или кратковременного преобразования Фурье (STFT); при этом блоки содержат длину блока в 256 выборок.
23. Декоррелятор по одному из предшествующих пунктов, содержащий модуль (34) обратного преобразования для приема обработанных версий частей частотного представления (14) и для синтезирования синтезированного сигнала из обработанных версий на основе процедуры суммирования с перекрытием.
24. Декоррелятор по одному из предшествующих пунктов, в котором формирователь (16) огибающей выполнен с возможностью работы в подполосной области и с временным разрешением менее 4 мс.
25. Декоррелятор по одному из предшествующих пунктов, содержащий интерфейс (38) для обеспечения сигнала (36) на основе частотного представления комбинированной формы.
26. Декоррелятор по одному из предшествующих пунктов, в котором формирователь (16) огибающей должен формировать спектральные бины во времени и/или по частоте отдельно или в качестве группы, например, посредством реализации взаимозависимой или, по меньшей мере, групповой общей обработки формирования.
27. Декоррелятор по одному из предшествующих пунктов, содержащий каскад (66) обработки сигнала, выполненный с возможностью приема сигнала, основанного на частотном представлении комбинированной формы, в качестве моносигнала и с возможностью обработки моносигнала, по меньшей мере, в стереосигнал.
28. Декоррелятор по одному из предшествующих пунктов, содержащий каскад (66) обработки сигнала, выполненный с возможностью обработки частотного представления комбинированной формы, по меньшей мере, в стереоаудиосигнал; и с возможностью моделирования протяженности источника на основе, по меньшей мере, стереосигнала, например, в частотной области.
29. Система аудиообработки, содержащая:
- декоррелятор по одному из предшествующих пунктов; и
- каскад (66) обработки для преобразования среднего/бокового разложенного сигнала в левый/правый разложенный сигнал.
30. Система обработки по п. 29, в которой одна часть (741) среднего/бокового разложенного сигнала обеспечивается посредством декоррелятора, и другая часть (742) обеспечивается посредством модуля (78) компенсации задержки, соединенного параллельно с декоррелятором и соединенного с каскадом (66) обработки.
31. Система обработки по п. 30, содержащая модуль (82) подавления транзиента, выполненный с возможностью обнаружения транзиента в аудиосигнале (22) либо в его частотном представлении (14) во вводе декоррелятора;
- при этом модуль (82) подавления транзиента выполнен с возможностью временного глушения части (741), обеспеченной посредством декоррелятора, чтобы подавлять эхо-сигналы в каскаде обработки.
32. Система обработки по п. 31, в которой модуль (82) подавления транзиента выполнен с возможностью усиления части модуля компенсации задержки, соответствующего глушению части декоррелятора.
33. Система обработки по п. 32, в которой модуль (82) подавления транзиента выполнен с возможностью усиления части модуля компенсации задержки на коэффициент:
,
по сравнению с незаглушенной частью декоррелятора.
34. Система обработки по одному из пп. 31-33, в которой модуль (82) подавления транзиента выполнен с возможностью подавления обнаруженного транзиента и с возможностью подавления следующего транзиента не ранее предварительно заданного времени запрета.
35. Система обработки по одному из пп. 31-34, в которой время запрета представляет собой первое время запрета; при этом модуль (82) подавления транзиента выполнен с возможностью перезапуска времени запрета в качестве второго времени запрета, превышающего первое время запрета, в случае, если транзиент возникает в течение первого времени запрета.
36. Система обработки по одному из пп. 31-35, в которой модуль (82) подавления транзиента выполнен с возможностью работы в частотной области.
37. Система обработки по одному из пп. 31-36, в которой модуль (82) подавления транзиента выполнен с возможностью глушения части декоррелятора в течение большего времени по сравнению с предзадержкой декоррелятора.
38. Система обработки по одному из пп. 29-37, в которой декоррелятор должен обеспечивать частотное представление комбинированной формы в качестве части среднего/бокового разложенного сигнала в каскад обработки; и каскад обработки должен преобразовывать частотное представление комбинированной формы и задержанную версию аудиосигнала (22) в левый/правый разложенный сигнал в частотной области.
39. Способ для обработки аудиосигнала, содержащий этапы, на которых:
- принимают (1010) множество частей частотного представления, основанного на аудиосигнале;
- задерживают (1020) каждую из принимаемых частей для того, чтобы обеспечивать множество задержанных частей; и
- принимают (1030) и комбинируют сигналы, основанные на задержанных частях частотного представления;
- принимают (1040) частотное представление аудиосигнала;
- регулируют (1050) энергию задержанных частей в отношении частотного представления аудиосигнала; и
- обеспечивают (1060) частотное представление комбинированной формы.
40. Способ по п. 39, дополнительно содержащий этапы, на которых:
- обнаруживают транзиент в аудиосигнале (22) либо в его частотном представлении (14);
- временно глушат часть (741), обеспеченную посредством декоррелятора, чтобы подавлять эхо-сигналы в каскаде обработки.
41. Машиночитаемый носитель, на котором сохранена компьютерная программа для осуществления, при выполнении на компьютере или процессоре, способа по п. 39 или 40.
| KULDIP PALIWAL et al., The importance of phase in speech enhancement, speech communication, Elsevier science publishers, Amsterdam, NL, v.53, no | |||
| Очаг для массовой варки пищи, выпечки хлеба и кипячения воды | 1921 |
|
SU4A1 |
| WO 2012109384 A1, 16.08.2012 | |||
| US 2016180826 A1, 23.06.2016 | |||
| US 2015030180 A1, 29.01.2015. | |||
