МНОГОКАНАЛЬНЫЙ АУДИОДЕКОДЕР, МНОГОКАНАЛЬНЫЙ АУДИОКОДЕР, СПОСОБЫ И КОМПЬЮТЕРНАЯ ПРОГРАММА С ИСПОЛЬЗОВАНИЕМ РЕГУЛИРОВАНИЯ ДОЛИ ДЕКОРРЕЛИРОВАННОГО СИГНАЛА НА ОСНОВАНИИ ОСТАТОЧНЫХ СИГНАЛОВ Российский патент 2018 года по МПК G10L19/08 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Вариант осуществления согласно изобретению относится к многоканальному аудиодекодеру для формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления.

Другой вариант осуществления согласно изобретению относится к многоканальному аудиокодеру для формирования кодированного представления многоканального аудиосигнала.

Другой вариант осуществления согласно изобретению относится к способу формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления.

Другой вариант осуществления согласно изобретению относится к способу формирования кодированного представления многоканального аудиосигнала.

Другой вариант осуществления согласно настоящему изобретению относится к компьютерной программе для осуществления одного из способов.

В общем, некоторые варианты осуществления согласно изобретению относятся к комбинированному остаточному и параметрическому кодированию.

УРОВЕНЬ ТЕХНИКИ

В последние годы, спрос на хранение и передачу аудиоконтента постоянно растет. Кроме того, также постоянно растут требования к качеству для хранения и передачи аудиоконтента. Соответственно, совершенствуются принципы для кодирования и декодирования аудиоконтента. Например, разработано так называемое «усовершенствованное кодирование аудиоданных» (AAC), которое описано, например, в международном стандарте ISO/IEC 13818-7:2003.

Кроме того, созданы некоторые пространственные расширения, такие как, например, так называемый принцип «стандарта объемного звучания MPEG», который описан, например, в международном стандарте ISO/IEC 23003-1:2007. Кроме того, дополнительные улучшения для кодирования и декодирования пространственной информации аудиосигналов описаны в международном стандарте ISO/IEC 23003-2:2010, который относится к так называемому пространственному кодированию аудиообъектов. Кроме того, принцип гибкого (переключаемого) кодирования/декодирования аудио, который обеспечивает возможность кодировать как общие аудиосигналы, так и речевые сигналы с хорошей эффективностью кодирования и обрабатывать многоканальные аудиосигналы, определен в международном стандарте ISO/IEC 23003-3:2012, который описывает так называемый принцип «стандартизированного кодирования речи и аудиоданных».

Тем не менее, желательно создать еще более усовершенствованный принцип для эффективного кодирования и декодирования многоканальных аудиосигналов.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Вариант осуществления согласно изобретению создает многоканальный аудиодекодер для формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления. Многоканальный аудиодекодер выполнен с возможностью осуществлять комбинирование со взвешиванием сигнала понижающего микширования, декоррелированного сигнала и остаточного сигнала, с тем чтобы получать один из выходных аудиосигналов. Многоканальный аудиодекодер выполнен с возможностью определять весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от остаточного сигнала.

Этот вариант осуществления согласно изобретению основан на таких выявленных сведениях, что выходные аудиосигналы могут получаться на основании кодированного представления очень эффективным способом, если весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием сигнала понижающего микширования, декоррелированного сигнала и остаточного сигнала, регулируется в зависимости от остаточного сигнала. Соответственно, посредством регулирования весового коэффициента, описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от остаточного сигнала, можно выполнять смешивание (или постепенное изменение) между параметрическим кодированием (или в основном параметрическим кодированием) и остаточным кодированием (или главным образом остаточным кодированием) без передачи дополнительной управляющей информации. Кроме того, обнаружено то, что остаточный сигнал, который включен в кодированное представление, представляет собой хороший индикатор для весового коэффициента, описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, поскольку обычно предпочтительно помещать (сравнительно) более высокий весовой коэффициент в декоррелированный сигнал, если остаточный сигнал является (сравнительно) слабым (или недостаточным для восстановления требуемой энергии), и помещать (сравнительно) меньший весовой коэффициент в декоррелированный сигнал, если остаточный сигнал является (сравнительно) сильным (или достаточным для того, чтобы восстанавливать требуемую энергию). Соответственно, вышеуказанный принцип обеспечивает возможность постепенного перехода между параметрическим кодированием (при этом, например, требуемые энергетические характеристики и/или характеристики корреляции передаются в служебных сигналах посредством параметров и восстанавливаются посредством добавления декоррелированного сигнала) и остаточным кодированием (при этом остаточный сигнал используется для того, чтобы восстанавливать в выходные аудиосигналы, а в некоторых случаях даже форму сигнала для выходных аудиосигналов, на основании сигнала понижающего микширования). Соответственно, можно адаптировать технологию для восстановления, а также качество восстановления к декодированным сигналам без дополнительного объема служебной информации.

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью определять весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, (также) в зависимости от декоррелированного сигнала. Посредством определения весового коэффициента, описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, как в зависимости от остаточного сигнала, так и в зависимости от декоррелированного сигнала, весовой коэффициент может хорошо регулироваться согласно характеристикам сигналов, так что может достигаться хорошее качество восстановления по меньшей мере двух выходных аудиосигналов на основании кодированного представления (в частности, на основании сигнала понижающего микширования, декоррелированного сигнала и остаточного сигнала).

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью получать параметры повышающего микширования на основании кодированного представления и определять весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от параметров повышающего микширования. С учетом параметров повышающего микширования, можно восстанавливать требуемые характеристики выходных аудиосигналов (такие как, например, требуемая корреляция между выходными аудиосигналами и/или требуемые энергетические характеристики выходных аудиосигналов), чтобы принимать требуемое значение.

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью определять весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, так что весовой коэффициент декоррелированного сигнала уменьшается с увеличением энергии одного или более остаточных сигналов. Этот механизм обеспечивает возможность регулировать точность восстановления по меньшей мере двух выходных аудиосигналов в зависимости от энергии остаточного сигнала. Если энергия остаточных сигналов является сравнительно высокой, весовой коэффициент доли декоррелированного сигнала является сравнительно небольшим, так что декоррелированный сигнал более не оказывает негативное влияние на высокое качество воспроизведения, которое вызывается посредством использования остаточного сигнала. Напротив, если энергия остаточного сигнала является сравнительно низкой или даже нулевой, для декоррелированного сигнала формируется высокий весовой коэффициент, так что декоррелированный сигнал может эффективно доводить характеристики выходных аудиосигналов до требуемых значений.

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью определять весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, так что максимальный весовой коэффициент, который определяется посредством параметра повышающего микширования декоррелированного сигнала, ассоциирован с декоррелированным сигналом, если энергия остаточного сигнала является нулевой, и так что нулевой весовой коэффициент ассоциирован с декоррелированным сигналом, если энергия остаточного сигнала, взвешенного с использованием весового коэффициента остаточного сигнала, больше или равна энергии декоррелированного сигнала, взвешенного с помощью параметра повышающего микширования декоррелированного сигнала. Этот вариант осуществления основан на таких выявленных сведениях, что требуемая энергия, которая должна суммироваться с сигналом понижающего микширования, определяется посредством энергии декоррелированного сигнала, взвешенного с помощью параметра повышающего микширования декоррелированного сигнала. Соответственно, делается вывод, что более не обязательно добавлять декоррелированный сигнал, если энергия остаточного сигнала, взвешенного с помощью весового коэффициента остаточного сигнала, больше или равна упомянутой энергии декоррелированного сигнала, взвешенного с помощью параметра повышающего микширования декоррелированного сигнала. Другими словами, декоррелированный сигнал более не используется для формирования по меньшей мере двух выходных аудиосигналов, если определяется, что остаточный сигнал переносит достаточную энергию (например, достаточную для достижения достаточной полной энергии).

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью вычислять взвешенное значение энергии декоррелированного сигнала, взвешенного в зависимости от одного или более параметров повышающего микширования декоррелированного сигнала, и вычислять взвешенное значение энергии остаточного сигнала, взвешенного с использованием одного или более параметров повышающего микширования остаточного сигнала (которые могут быть равны вышеуказанным весовым коэффициентам остаточного сигнала), чтобы определять коэффициент в зависимости от взвешенного значения энергии декоррелированного сигнала и взвешенного значения энергии остаточного сигнала, и получать весовой коэффициент, описывающий долю декоррелированного сигнала (по меньшей мере) в одном из выходных аудиосигналов, на основании коэффициента. Обнаружено, что эта процедура оптимально подходит для эффективного вычисления весового коэффициента, описывающего долю декоррелированного сигнала в одном или более выходных аудиосигналов.

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью умножать коэффициент на параметр повышающего микширования декоррелированного сигнала, с тем чтобы получать весовой коэффициент, описывающий долю декоррелированного сигнала (по меньшей мере) в одном из выходных аудиосигналов. Посредством использования такой процедуры, можно рассматривать как один или более параметров, описывающих требуемые характеристики сигналов по меньшей мере для двух выходных аудиосигналов (которые описываются посредством параметра повышающего микширования декоррелированного сигнала), так и взаимосвязь между энергией декоррелированного сигнала и энергией остаточного сигнала, с тем чтобы определять весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием. Таким образом, предусмотрена возможность для выполнения смешивания (или постепенного изменения) между параметрическим кодированием (или преимущественно параметрическим кодированием) и остаточным кодированием (или преимущественно остаточное кодирование) с одновременным учетом требуемых характеристик выходных аудиосигналов (которые отражаются посредством параметра повышающего микширования декоррелированного сигнала).

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью вычислять энергию декоррелированного сигнала, взвешенного с использованием параметров повышающего микширования декоррелированного сигнала, для множества каналов повышающего микширования и временных интервалов, с тем чтобы получать взвешенное значение энергии декоррелированного сигнала. Соответственно, можно исключать сильные изменения взвешенного значения энергии декоррелированного сигнала. Таким образом, достигается стабильное регулирование многоканального аудиодекодера.

Аналогично, многоканальный аудиодекодер выполнен с возможностью вычислять энергию остаточного сигнала, взвешенного с использованием параметров повышающего микширования остаточного сигнала, для множества каналов повышающего микширования и временных интервалов, с тем чтобы получать взвешенное значение энергии остаточного сигнала. Соответственно, достигается стабильное регулирование многоканального аудиодекодера, поскольку сильные изменения взвешенного значения энергии остаточного сигнала исключаются. Тем не менее, период усреднения может быть выбран достаточно коротким для обеспечения возможности динамического регулирования взвешивания.

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью вычислять коэффициент в зависимости от разности между взвешенным значением энергии декоррелированного сигнала и взвешенным значением энергии остаточного сигнала. Вычисление, которое «сравнивает» взвешенное значение энергии декоррелированного сигнала и взвешенное значение энергии остаточного сигнала, обеспечивает возможность дополнять остаточный сигнал (или взвешенную версию остаточного сигнала) с использованием (взвешенной версии) декоррелированного сигнала, при этом весовой коэффициент, описывающий долю декоррелированного сигнала, регулируется согласно потребностям в инициализации по меньшей мере двух сигналов аудиоканалов.

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью вычислять коэффициент в зависимости от отношения между разностью между взвешенным значением энергии декоррелированного сигнала и взвешенным значением энергии остаточного сигнала, и взвешенным значением энергии декоррелированного сигнала. Обнаружено, что вычисление коэффициента в зависимости от этого отношения обеспечивает длительные очень хорошие результаты. Кроме того, следует отметить, что отношение описывает, какая часть полной энергии декоррелированного сигнала (взвешенного с использованием параметра повышающего микширования декоррелированного сигнала) необходима при наличии остаточного сигнала, чтобы достигать хорошего впечатления от прослушивания (или эквивалентно, чтобы иметь практически идентичную энергию сигналов в выходных аудиосигналах по сравнению со случаем, в которых отсутствует остаточный сигнал).

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью определять весовые коэффициенты, описывающие доли декоррелированного сигнала в двух или более выходных аудиосигналах. В этом случае, многоканальный аудиодекодер выполнен с возможностью определять долю декоррелированного сигнала в первом выходном аудиосигнале на основании взвешенного значения энергии декоррелированного сигнала и параметра повышающего микширования декоррелированного сигнала первого канала. Кроме того, многоканальный аудиодекодер выполнен с возможностью определять долю декоррелированного сигнала во втором выходном аудиоканале на основании взвешенного значения энергии декоррелированного сигнала и параметра повышающего микширования декоррелированного сигнала второго канала. Соответственно, два выходных аудиосигнала могут содержать небольшие затраты и высокое качество звука, при этом разности между двумя выходными аудиосигналами рассматриваются посредством использования параметра повышающего микширования декоррелированного сигнала первого канала и параметра повышающего микширования декоррелированного сигнала второго канала.

В предпочтительном варианте осуществления, многоканальный аудиодекодер выполнен с возможностью деактивировать долю декоррелированного сигнала в комбинировании со взвешиванием, если остаточная энергия превышает энергию декоррелятора (т.е. энергию декоррелированного сигнала или его взвешенной версии). Соответственно, можно переключаться на чистое остаточное кодирование, без использования декоррелированного сигнала, если остаточный сигнал переносит достаточную энергию, если остаточная энергия превышает энергию декоррелятора.

В предпочтительном варианте осуществления, аудиодекодер выполнен с возможностью определять для каждой полосы частот весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от определения для каждой полосы частот взвешенного значения энергии остаточного сигнала. Соответственно, можно гибко определять, без дополнительного объема служебной информации, то, в каких полосах частот детализация по меньшей мере двух выходных аудиосигналов должна быть основана (или преимущественно должна быть основана) на параметрическом кодировании, а в каких полосах частот детализация по меньшей мере двух выходных аудиосигналов должна быть основана (или должна быть преимущественно основана) на остаточном кодировании. Таким образом, может гибко определяться то, в каких полосах частот восстановление формы сигнала (или по меньшей мере частичное восстановление формы сигнала) должно выполняться посредством использования (по меньшей мере, преимущественно) остаточного кодирования при сохранении весового коэффициента декоррелированного сигнала сравнительно небольшим. Таким образом, можно получать высокое качество звука посредством избирательного применения параметрического кодирования (которое в основном основано на инициализации декоррелированного сигнала) и остаточного кодирования (которое в основном основано на инициализации остаточного сигнала).

В предпочтительном варианте осуществления, аудиодекодер выполнен с возможностью определять весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, для каждого кадра выходных аудиосигналов. Соответственно, может получаться точное временное разрешение, что обеспечивает возможность гибко переключаться между параметрическим кодированием (или преимущественно параметрическим кодированием) и остаточным кодированием (или преимущественно остаточным кодированием) между последующими кадрами. Соответственно, декодирование аудио может регулироваться согласно характеристикам аудиосигнала с хорошим временным разрешением.

Другой вариант осуществления согласно изобретению создает многоканальный аудиодекодер для формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления. Многоканальный аудиодекодер выполнен с возможностью получать (по меньшей мере) один из выходных аудиосигналов на основании кодированного представления сигнала понижающего микширования, множества кодированных пространственных параметров и кодированного представления остаточного сигнала. Многоканальный аудиодекодер выполнен с возможностью осуществлять смешивание между параметрическим кодированием и остаточным кодированием в зависимости от остаточного сигнала. Соответственно, достигается очень гибкий принцип декодирования аудио, в котором наилучший режим декодирования (параметрическое кодирование и декодирование по сравнению с остаточным кодированием и декодированием) может выбираться без дополнительного объема служебной информации. Кроме того, также применяется вышеописанное соображение.

Вариант осуществления согласно изобретению создает многоканальный аудиокодер для формирования кодированного представления многоканального аудиосигнала. Многоканальный аудиокодер выполнен с возможностью получать сигнал понижающего микширования на основании многоканального аудиосигнала. Кроме того, многоканальный аудиокодер выполнен с возможностью обеспечения параметров, описывающих зависимости между каналами многоканального аудиосигнала, и формирования остаточного сигнала. Кроме того, многоканальный аудиокодер выполнен с возможностью варьирования величины остаточного сигнала, включенного в кодированное представление, в зависимости от многоканального аудиосигнала. Посредством варьирования величины остаточного сигнала, включенного в кодированное представление, можно гибко регулировать процесс кодирования согласно характеристикам сигнала. Например, можно включать сравнительно большую величину остаточного сигнала в кодированное представление для частей (например, для временных частей и/или для частотных частей), в которых желательно сохранять по меньшей мере частично, форму сигнала для декодированного аудиосигнала. Таким образом, более точное восстановление на основании остаточных сигналов многоканального аудиосигнала обеспечивается посредством возможности варьировать величину остаточного сигнала, включенного в кодированное представление. Кроме того, следует отметить, что в комбинации с многоканальным аудиодекодером, поясненным выше, создан очень эффективный принцип, поскольку вышеописанному многоканальному аудиодекодеру даже не требуется дополнительная передача служебных сигналов для того, чтобы выполнять смешивание между (преимущественно) параметрическим кодированием и (преимущественно) остаточным кодированием. Соответственно, многоканальный кодер, поясненный здесь, обеспечивает возможность использовать преимущества, которые являются возможными посредством использования вышеописанного многоканального аудиокодера.

В предпочтительном варианте осуществления, многоканальный аудиокодер выполнен с возможностью варьировать полосу пропускания остаточного сигнала в зависимости от многоканального аудиосигнала. Соответственно, можно регулировать остаточный сигнал таким образом, что остаточный сигнал помогает восстанавливать психоакустически наиболее важные полосы частот или частотные диапазоны.

В предпочтительном варианте осуществления, многоканальный аудиокодер выполнен с возможностью выбирать полосы частот, для которых остаточный сигнал включен в кодированное представление, в зависимости от многоканального аудиосигнала. Соответственно, многоканальный аудиокодер может определять то, для каких полос частот необходимо или наиболее полезно включать остаточный сигнал (при этом остаточный сигнал обычно приводит по меньшей мере к частичному восстановлению формы сигнала). Например, могут рассматриваться психоакустически значимые полосы частот. Помимо этого, также может рассматриваться наличие переходных событий, поскольку остаточный сигнал обычно помогает улучшать рендеринг переходных частей в аудиодекодере. Кроме того, доступная скорость передачи битов также может учитываться, чтобы определять то, какая величина остаточного сигнала включена в кодированное представление.

В предпочтительном варианте осуществления, многоканальный аудиокодер выполнен с возможностью избирательно включать остаточный сигнал в кодированное представление для полос частот, для которых многоканальный аудиосигнал является тональным, при опускании включения остаточного сигнала в кодированное представление для полос частот, в которых многоканальный аудиосигнал является нетональным. Этот вариант осуществления основан на таком соображении, что качество звука, получаемое на стороне аудиодекодера, может повышаться, если тональные полосы частот воспроизводятся с очень высоким качеством и предпочтительно с использованием по меньшей мере частичного восстановления формы сигнала. Соответственно, преимущественно избирательно включать остаточный сигнал в кодированное представление для полос частот, для которых многоканальный аудиосигнал является тональным, поскольку это приводит к хорошему компромиссу между скоростью передачи битов и качеством звука.

В предпочтительном варианте осуществления, многоканальный аудиокодер выполнен с возможностью избирательно включать остаточный сигнал в кодированное представление для временных отрезков и/или полосы частот, в которых формирование сигнала понижающего микширования приводит к подавлению компонентов сигнала для многоканального аудиосигнала. Обнаружено, что затруднительно или даже невозможно надлежащим образом восстанавливать несколько аудиосигналов на основании сигнала понижающего микширования, если предусмотрено подавление компонентов многоканального аудиосигнала, поскольку даже декорреляция или прогнозирование не может восстанавливать компоненты сигнала, которые подавлены при формировании сигнала понижающего микширования. В таком случае, использование остаточного сигнала является эффективным способом исключать значительное ухудшение качества восстановленного многоканального аудиосигнала. Таким образом, этот принцип помогает повышать качество звука при исключении затрат на передачу служебных сигналов (например, при рассмотрении в комбинации с аудиодекодером, описанным выше).

В предпочтительном варианте осуществления, многоканальный аудиокодер выполнен с возможностью обнаруживать подавление компонентов сигнала для многоканального аудиосигнала в сигнале понижающего микширования, и многоканальный аудиодекодер также выполнен с возможностью активировать инициализацию остаточного сигнала в ответ на результат обнаружения. Соответственно, предусмотрен эффективный способ исключать плохое качество звука.

В предпочтительном варианте осуществления, многоканальный аудиокодер выполнен с возможностью вычислять остаточный сигнал с использованием линейной комбинации по меньшей мере двух канальных сигналов многоканального аудиосигнала и зависимости от коэффициентов повышающего микширования, которые должны использоваться на стороне многоканального декодера. Следовательно, остаточный сигнал вычисляется эффективным способом и хорошо адаптирован для восстановления многоканального аудиосигнала на стороне многоканального аудиодекодера.

В варианте осуществления, многоканальный аудиокодер выполнен с возможностью кодировать коэффициенты повышающего микширования с использованием параметров, описывающих зависимости между каналами многоканального аудиосигнала, или извлекать коэффициенты повышающего микширования из параметров, описывающих зависимости между каналами многоканального аудиосигнала. Соответственно, инициализация остаточного сигнала может быть эффективно выполнена на основании параметров, которые также используются для параметрического кодирования.

В предпочтительном варианте осуществления, многоканальный аудиокодер выполнен с возможностью зависимого от времени определения величины остаточного сигнала, включенного в кодированное представление, с использованием психоакустической модели. Соответственно, сравнительно большая величина остаточного сигнала может быть включена для частей (временных частей или частотных частей, или частотно-временных частей) многоканального аудиосигнала, которые содержат сравнительно высокую психоакустическую релевантность, в то время как (сравнительно) меньшая величина остаточного сигнала может быть включена для временных частей или частотных частей, или частотно-временных частей многоканального аудиосигнала, имеющего сравнительно низкую психоакустическую релевантность. Соответственно, может достигаться хороший компромисс между скоростью передачи битов и качеством звука.

В предпочтительном варианте осуществления, многоканальный аудиокодер выполнен с возможностью зависимого от времени определения величины остаточного сигнала, включенного в кодированное представление, в зависимости от текущей доступной скорости передачи битов. Соответственно, качество звука может быть адаптировано к доступной скорости передачи битов, что обеспечивает возможность достигать самого лучшего качества звука для текущей доступной скорости передачи битов.

Вариант осуществления согласно изобретению способ формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления. Способ содержит выполнение комбинирования со взвешиванием сигнала понижающего микширования, декоррелированного сигнала и остаточного сигнала, с тем чтобы получать один из выходных аудиосигналов. Весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, определяется в зависимости от остаточного сигнала. Этот способ основан на соображениях, идентичных соображениям для аудиодекодера, описанного выше.

Другой вариант осуществления согласно изобретению создает способ формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления. Способ содержит получение (по меньшей мере) одного из выходных аудиосигналов на основании кодированного представления сигнала понижающего микширования, множества кодированных пространственных параметров и кодированного представления остаточного сигнала. Выполнение смешивания (или постепенного изменения) выполняется между параметрическим кодированием и остаточным кодированием в зависимости от остаточного сигнала. Этот способ также основан на соображениях, идентичных соображениям для вышеописанного аудиодекодера.

Другой вариант осуществления согласно изобретению создает способ формирования кодированного представления многоканального аудиосигнала. Способ содержит получение сигнала понижающего микширования на основании многоканального аудиосигнала, формирование параметров, описывающих зависимости между каналами многоканального аудиосигнала, и формирование остаточного сигнала. Величина остаточного сигнала, включенного в кодированное представление, варьируется в зависимости от многоканального аудиосигнала. Этот способ основан на соображениях, идентичных соображениям для вышеописанного аудиокодера.

Дополнительные варианты осуществления согласно изобретению обеспечивают компьютерные программы для осуществления способов, описанных в данном документе.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Ниже описаны варианты осуществления согласно изобретению со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 показывает принципиальную блок-схему многоканального аудиокодера, согласно варианту осуществления изобретения;

Фиг. 2 показывает принципиальную блок-схему многоканального аудиодекодера, согласно варианту осуществления изобретения;

Фиг. 3 показывает принципиальную блок-схему многоканального аудиодекодера, согласно другому варианту осуществления настоящего изобретения;

Фиг. 4 показывает блок-схему способа формирования кодированного представления многоканального аудиосигнала, согласно варианту осуществления изобретения;

Фиг. 5 показывает блок-схему способа формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления, согласно варианту осуществления изобретения;

Фиг. 6 показывает блок-схему способа формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления, согласно варианту осуществления изобретения;

Фиг. 7 показывает блок-схему способа декодера, согласно варианту осуществления настоящего изобретения; и

Фиг. 8 показывает схематичное представление гибридного остаточного декодера.

Осуществление изобретения

1. Многоканальный аудиокодер согласно фиг. 1

Фиг. 1 показывает принципиальную блок-схему многоканального аудиокодера 100 для формирования кодированного представления многоканального сигнала.

Многоканальный аудиокодер 100 выполнен с возможностью приема многоканального аудиосигнала 110 и формирования на его основе кодированного представления 112 многоканального аудиосигнала 110. Многоканальный аудиокодер 100 содержит процессор 120 (или устройство обработки), который выполнен с возможностью принимать многоканальный аудиосигнал и получать сигнал 122 понижающего микширования на основании многоканального аудиосигнала 110. Процессор 120 дополнительно выполнен с возможностью формирования параметров 124, описывающих зависимости между каналами многоканального аудиосигнала 110. Кроме того, процессор 120 выполнен с возможностью формирования остаточного сигнала 126. Кроме того, многоканальный аудиокодер содержит обработку 130 остаточных сигналов, которая выполнена с возможностью варьировать величину остаточного сигнала, включенного в кодированное представление 112, в зависимости от многоканального аудиосигнала 110.

Тем не менее, следует отметить, что не обязательно, чтобы многоканальный аудиодекодер содержал отдельный процессор 120 и отдельную обработку 130 остаточных сигналов. Наоборот, достаточно, если многоканальный аудиокодер тем или иным образом выполнен с возможностью осуществлять функциональность процессора 120 и обработки 130 остаточных сигналов.

Относительно функциональности многоканального аудиокодера 100, можно отметить, что канальные сигналы для многоканального аудиосигнала 110 обычно кодируются с использованием многоканального кодирования, при этом кодированное представление 112 обычно содержит (в кодированной форме) сигнал 122 понижающего микширования, параметры 124, описывающие зависимости между каналами (или сигналами каналов) многоканального аудиосигнала 110, и остаточный сигнал 126. Сигнал 122 понижающего микширования, например, может быть основан на комбинации (например, линейной комбинации) канальных сигналов для многоканального аудиосигнала. Тем не менее, сигнал 122 понижающего микширования может формироваться на основании множества канальных сигналов для многоканального аудиосигнала. Тем не менее, в качестве альтернативы, два или более сигналов понижающего микширования могут быть ассоциированы с большим числом (обычно большим числа сигналов понижающего микширования) канальных сигналов для многоканального аудиосигнала 110. Параметры 124 могут описывать зависимости (например, корреляцию, ковариантность, межуровневую взаимосвязь и т.п.) между каналами (или сигналами каналов) многоканального аудиосигнала 110. Соответственно, параметры 124 служат для цели извлечения восстановленной версии канальных сигналов для многоканального аудиосигнала 110 на основании сигнала 122 понижающего микширования на стороне аудиодекодера. С этой целью, параметры 124 описывают требуемые характеристики (например, отдельные характеристики или относительные характеристики) канальных сигналов для многоканального аудиосигнала, так что аудиокодер, который использует параметрическое декодирование, может восстанавливать канальные сигналы на основании одного или более сигналов 122 понижающего микширования.

Помимо этого, многоканальный аудиодекодер 100 формирует остаточный сигнал 126, который обычно представляет компоненты сигнала, которые, согласно ожиданию или оценке многоканального аудиокодера, не могут быть восстановлены посредством аудиодекодера (например, посредством аудиодекодера, подчиняющегося определенному правилу обработки) на основании сигнала 122 понижающего микширования и параметров 124. Соответственно, остаточный сигнал 126 обычно может рассматриваться как сигнал детализации, который обеспечивает возможность восстановления формы сигнала или по меньшей мере частичного восстановления формы сигнала, на стороне аудиодекодера.

Тем не менее, многоканальный аудиокодер 100 выполнен с возможностью варьировать величину остаточного сигнала, включенного в кодированное представление 112, в зависимости от многоканального аудиосигнала 110. Другими словами, многоканальный аудиокодер, например, может определять интенсивность (или энергию) остаточного сигнала 126, который включен в кодированное представление 112. Дополнительно или альтернативно, многоканальный аудиокодер 100 может определять то, для каких полос частот и/или для скольких полос частот остаточный сигнал включен в кодированное представление 112. Посредством варьирования «величины» остаточного сигнала 126, включенного в кодированное представление 112, в зависимости от многоканального аудиосигнала (и/или в зависимости от доступной скорости передачи битов), многоканальный аудиокодер 100 может гибко определять то, с которой точностью канальные сигналы для многоканального аудиосигнала 110 могут быть восстановлены на стороне аудиодекодера на основании кодированного представления 112. Таким образом, точность, с которой могут быть восстановлены канальные сигналы для многоканального аудиосигнала 110, может быть адаптирована к психоакустической релевантности различных частей сигнала для канальных сигналов для многоканального аудиосигнала 110 (таких как, например, временные части, частотные части и/или частотно-временные части). Таким образом, части сигнала с высокой психоакустической релевантностью (такие как, например, тональные части сигнала или части сигнала, содержащие переходные события) могут кодироваться с очень высоким разрешением посредством включения «большой величины» остаточного сигнала 126 в кодированное представление. Например, может достигаться то, что остаточный сигнал со сравнительно высокой энергией включен в кодированное представление 112 для частей сигнала с высокой психоакустической релевантностью. Кроме того, может достигаться то, что остаточный сигнал с высокой энергией включен в кодированное представление 112, если сигнал 122 понижающего микширования имеет «плохое качество», например, если предусмотрено существенное подавление компонентов сигнала при комбинировании канальных сигналов для многоканального аудиосигнала 112 в сигнал 122 понижающего микширования. Другими словами, многоканальный аудиодекодер 100 может избирательно встраивать «большую величину» остаточного сигнала (например, остаточного сигнала, имеющего сравнительно высокую энергию) в кодированное представление 112 для частей сигнала для многоканального аудиосигнала 110, для которого инициализация сравнительно большой величины остаточного сигнала способствует существенному улучшению восстановленных канальных сигналов (восстановленных на стороне аудиодекодера).

Соответственно, изменение величины остаточного сигнала, включенного в кодированное представление, в зависимости от многоканального аудиосигнала 110 обеспечивает возможность адаптировать кодированное представление 112 (например, остаточный сигнал 126, который включен в кодированное представление в кодированной форме) многоканального аудиосигнала 110, так что может достигаться хороший компромисс между эффективностью по скорости передачи битов и качеством звука восстановленного многоканального аудиосигнала (восстановленного на стороне аудиодекодера).

Следует отметить, что многоканальный аудиокодер 100 может быть при необходимости улучшен множеством различных способов. Например, многоканальный аудиокодер может быть выполнен с возможностью варьировать полосу пропускания остаточного сигнала 126 (который включен в кодированное представление) в зависимости от многоканального аудиосигнала 110. Соответственно, величина остаточного сигнала, включенного в кодированное представление 112, может быть адаптирована к перцепционно наиболее важным полосам частот.

При необходимости, многоканальный аудиодекодер может быть выполнен с возможностью выбирать полосы частот, для которых остаточный сигнал 126 включен в кодированное представление 112, в зависимости от многоканального аудиосигнала 110. Соответственно, кодированное представление 120 (более точно, величина остаточного сигнала, включенного в кодированное представление 112) может быть адаптировано к многоканальному аудиосигналу, например, в наиболее важных с точки зрения восприятия полосах частот многоканального аудиосигнала 110.

При необходимости, многоканальный аудиокодер может быть выполнен с возможностью включения остаточного сигнала 126 в кодированное представление для полос частот, для которых многоканальный аудиосигнал является тональным. Помимо этого, многоканальный аудиокодер может быть выполнен с возможностью не включать остаточный сигнал 126 в кодированное представление 112 для полос частот, в которых многоканальный аудиосигнал является нетональным (если только не удовлетворяется любое другое конкретное условие, которое приводит к включению остаточного сигнала в кодированное представление для конкретной полосы частот). Таким образом, остаточный сигнал может быть избирательно включен в кодированное представление для перцепционно важных тональных полос частот.

При необходимости, многоканальный аудиокодер 100 может быть выполнен с возможностью избирательно включать остаточный сигнал в кодированное представление для временных отрезков и/или для полос частот, в которых формирование сигнала понижающего микширования приводит к подавлению компонентов сигнала для многоканального аудиосигнала. Например, многоканальный аудиокодер может быть выполнен с возможностью обнаруживать подавление компонентов сигнала для многоканального аудиосигнала 110 в сигнале 122 понижающего микширования и активировать инициализацию остаточного сигнала 126 (например, включение остаточного сигнала 126 в кодированное представление 112) в ответ на результат обнаружения. Соответственно, если понижающее микширование (или какая-либо другая обычно линейная комбинация) канальных сигналов для многоканального аудиосигнала 110 в сигнал 122 понижающего микширования приводит к подавлению компонентов сигнала для многоканального аудиосигнала 112 (которое может вызываться, например, посредством компонентов сигнала различных сигналов каналов, которые имеют сдвиг фаз на 180 градусов), то остаточный сигнал 126, который помогает преодолевать негативное влияние этого подавления при восстановлении многоканального аудиосигнала 110 в аудиодекодере, должен быть включен в кодированное представление 112. Например, остаточный сигнал 126 может быть избирательно включен в кодированное представление 112 для полос частот, для которых предусмотрено такое подавление.

При необходимости, многоканальный аудиокодер может быть выполнен с возможностью вычислять остаточный сигнал с использованием линейной комбинации по меньшей мере двух канальных сигналов многоканального аудиосигнала и в зависимости от коэффициентов повышающего микширования, которые должны использоваться на стороне многоканального аудиодекодера. Такое вычисление остаточного сигнала является эффективным и обеспечивает возможность простого восстановления канальных сигналов на стороне аудиодекодера.

При необходимости, многоканальный аудиокодер может быть выполнен с возможностью кодировать коэффициенты повышающего микширования с использованием параметра 124, описывающего зависимости между каналами многоканального аудиосигнала, или извлекать коэффициенты повышающего микширования из параметров, описывающих зависимости между каналами многоканального аудиосигнала. Соответственно, параметры 124 (которые, например, могут представлять собой параметры внутриканальной разности уровней, параметры внутриканальной корреляции и т.п.) могут использоваться как для параметрического кодирования (кодирования или декодирования), так и для кодирования (кодирования или декодирования) с помощью остаточных сигналов. Таким образом, использование остаточного сигнала 126 не способствует дополнительному объему служебной информации. Наоборот, параметры 124, которые используются для параметрического кодирования (кодирования/декодирования) в любом случае, многократно использованы также для остаточного кодирования (кодирования/декодирования). Таким образом, может достигаться высокая эффективность кодирования.

При необходимости, многоканальный аудиодекодер может быть выполнен с возможностью зависимого от времени определения величины остаточного сигнала, включенного в кодированное представление, с использованием психоакустической модели. Соответственно, точность кодирования может быть адаптирована к психоакустическим характеристикам сигнала, что обычно приводит к хорошей эффективности по скорости передачи битов.

Тем не менее, следует отметить, что многоканальный аудиокодер при необходимости может быть дополнен любыми из признаков или функциональностей, описанных в данном документе (как в описании, так и в формуле изобретения). Кроме того, многоканальный аудиокодер также может быть адаптирован параллельно с аудиодекодером, описанным в данном документе, чтобы взаимодействовать с аудиодекодером.

2. Многоканальный аудиодекодер согласно фиг. 2

Фиг. 2 показывает принципиальную блок-схему многоканального аудиодекодера 200 согласно варианту осуществления настоящего изобретения.

Многоканальный аудиодекодер 200 выполнен с возможностью приема кодированного представления 210 и формирования на его основе по меньшей мере двух выходных аудиосигналов 212, 214. Многоканальный аудиодекодер 200, например, может содержать модуль 220 комбинирования со взвешиванием, который выполнен с возможностью осуществлять комбинирование со взвешиванием сигнала 222 понижающего микширования, декоррелированного сигнала 224 и остаточного сигнала 226, чтобы получать (по меньшей мере) один из выходных сигналов, например, первый выходной аудиосигнал 212. Здесь следует отметить, что сигнал понижающего микширования 212, декоррелированный сигнал 224 и остаточный сигнал 226, например, могут извлекаться из кодированного представления 210, при этом кодированное представление 210 может переносить кодированное представление сигнала понижающего микширования 220 и кодированное представление остаточного сигнала 226. Кроме того, декоррелированный сигнал 224, например, может извлекаться из сигнала 222 понижающего микширования или может извлекаться с использованием дополнительной информации, включенной в кодированное представление 210. Тем не менее, декоррелированный сигнал также может формироваться без выделенной информации из кодированного представления 210.

Многоканальный аудиодекодер 200 также выполнен с возможностью определять весовой коэффициент, описывающий долю декоррелированного сигнала 224 в комбинировании со взвешиванием, в зависимости от остаточного сигнала 226. Например, многоканальный аудиодекодер 200 может содержать модуль 230 определения весовых коэффициентов, который выполнен с возможностью определять весовой коэффициент 232, описывающий долю декоррелированного сигнала 224 в комбинировании со взвешиванием (например, долю декоррелированного сигнала 224 в первом выходном аудиосигнале 212), на основании остаточного сигнала 226.

Относительно функциональности многоканального аудиодекодера 200, следует отметить, что доля декоррелированного сигнала 224 в комбинировании со взвешиванием и, следовательно, в первом выходном аудиосигнале 212, регулируется гибким (например, варьируемым во времени и частотно-зависимым) способом в зависимости от остаточного сигнала 226, без дополнительного объема служебной информации. Соответственно, величина декоррелированного сигнала 224, который включен в первый выходной аудиосигнал 212, адаптирована в зависимости от величины остаточного сигнала 226, который включен в первый выходной аудиосигнал 212, так что достигается хорошее качество первого выходного аудиосигнала 212. Соответственно, можно получать надлежащее взвешивание декоррелированного сигнала 224 при любых обстоятельствах и без дополнительного объема служебной информации. Таким образом, с использованием многоканального аудиодекодера 200, хорошее качество декодированного выходного аудиосигнала 212 может достигаться с небольшой скоростью передачи битов. Точность восстановления может гибко регулироваться посредством аудиокодера, при этом аудиокодер может определять величину остаточного сигнала 226, который включен в кодированное представление 212 (например, то, насколько большой является энергия остаточного сигнала 226, включенного в кодированное представление 210, или то, со сколькими полосами частот связан остаточный сигнал 226, включенный в кодированное представление 210), и многоканальный аудиодекодер 200 может реагировать соответствующим образом и регулировать взвешивание декоррелированного сигнала 224 таким образом, что она соответствует величине остаточного сигнала 226, включенного в кодированное представление 210. Следовательно, если имеется большая величина остаточного сигнала 226, включенного в кодированное представление 210 (например, для конкретной полосы частот или для конкретной временной части), комбинирование 220 со взвешиванием может преимущественно (или исключительно) рассматривать остаточный сигнал 226 при формировании небольшого весового коэффициента (или без весового коэффициента) для декоррелированного сигнала 224. Напротив, если имеется только меньшая величина остаточного сигнала 226, включенного в кодированное представление 210, комбинирование 220 со взвешиванием может преимущественно (или исключительно) рассматривать декоррелированный сигнал 224 и только в сравнительно небольшой степени (или вообще не рассматривать) остаточный сигнал 226 в дополнение к сигналу 222 понижающего микширования. Таким образом, многоканальный аудиодекодер 200 может гибко взаимодействовать с надлежащим многоканальным аудиокодером и регулировать комбинирование 220 со взвешиванием, чтобы достигать самого лучшего качества звука при любых обстоятельствах (независимо от того, включена меньшая величина или большая величина остаточного сигнала 226 в кодированное представление 210).

Следует отметить, что второй выходной аудиосигнал 214 может формироваться аналогичным образом. Тем не менее, не обязательно применять идентичные механизмы к второму выходному аудиосигналу 214, например, если предусмотрены различные требования к качеству относительно второго выходного аудиосигнала.

В улучшении при необходимости, многоканальный аудиодекодер может быть выполнен с возможностью определять весовой коэффициент 232, описывающий долю декоррелированного сигнала 224 в комбинировании со взвешиванием, в зависимости от декоррелированного сигнала 224. Другими словами, весовой коэффициент 232 может зависеть как от остаточного сигнала 226, так и от декоррелированного сигнала 224. Соответственно, весовой коэффициент 232 может быть еще лучше адаптирован к текущему декодированному аудиосигналу без дополнительного объема служебной информации.

В качестве другого улучшения при необходимости, многоканальный аудиодекодер может быть выполнен с возможностью получать параметры повышающего микширования на основании кодированного представления 212 и определять весовой коэффициент 232, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от параметров повышающего микширования. Соответственно, весовой коэффициент 232 дополнительно может зависеть от параметров повышающего микширования, так что может достигаться еще лучшая адаптация весового коэффициента 232.

В качестве другого улучшения при необходимости, многоканальный аудиодекодер может быть выполнен с возможностью определять весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, так что весовой коэффициент декоррелированного сигнала уменьшается с увеличением энергии остаточного сигнала. Соответственно, выполнение смешивания (или постепенного изменения) может выполняться между декодированием, которое преимущественно основано на декоррелированном сигнале 224 (в дополнение к сигналу 222 понижающего микширования), и декодированием, которое преимущественно основано на остаточном сигнале 226 (в дополнение к сигналу 222 понижающего микширования).

В качестве другого улучшения при необходимости, многоканальный аудиодекодер 200 может быть выполнен с возможностью определять весовой коэффициент 232 таким образом, что максимальный весовой коэффициент, который определяется посредством параметра повышающего микширования декоррелированного сигнала (который может включаться или извлекаться из кодированного представления 210), ассоциирован с декоррелированным сигналом 224, если энергия остаточного сигнала 226 является нулевой, и таким образом, что нулевой весовой коэффициент ассоциирован с декоррелированным сигналом 224, если энергия остаточного сигнала 226, взвешенного с помощью весового коэффициента остаточного сигнала (или параметра повышающего микширования остаточного сигнала), больше или равна энергии декоррелированного сигнала 224, взвешенного с помощью параметра повышающего микширования декоррелированного сигнала. Соответственно, можно полностью выполнять смешивание (или постепенное изменение) между декодированием на основании декоррелированного сигнала 224 и декодированием на основании остаточного сигнала 226. Если определяется то, что остаточный сигнал 226 является достаточно сильным (например, когда энергия взвешенного остаточного сигнала равна или выше энергии взвешенного декоррелированного сигнала 224), комбинирование со взвешиванием может полностью основываться на остаточном сигнале 226, чтобы уточнять сигнал 222 понижающего микширования без учета декоррелированного сигнала 224. В этом случае, может выполняться очень хорошее (по меньшей мере, частичное) восстановление формы сигнала на стороне многоканального аудиодекодера 200, поскольку учет декоррелированного сигнала 224 обычно предотвращает очень хорошее восстановление формы сигнала, в то время как использование остаточного сигнала 226 обычно обеспечивает возможность хорошего восстановления формы сигнала.

В другом улучшении при необходимости, многоканальный аудиодекодер 200 может быть выполнен с возможностью вычислять взвешенное значение энергии декоррелированного сигнала, взвешенного в зависимости от одного или более параметров повышающего микширования декоррелированного сигнала, и вычислять взвешенное значение энергии остаточного сигнала, взвешенного с использованием одного или более параметров повышающего микширования остаточного сигнала. В этом случае, многоканальный аудиодекодер может быть выполнен с возможностью определять коэффициент в зависимости от взвешенного значения энергии декоррелированного сигнала и взвешенного значения энергии остаточного сигнала и получать весовой коэффициент, описывающий долю декоррелированного сигнала 224 в одном из выходных аудиосигналов (например, в первом выходном аудиосигнале 212), на основании коэффициента. Таким образом, определение 230 весовых коэффициентов может обеспечивать очень хорошо адаптированные весовые значения 232.

В улучшении при необходимости многоканальный аудиодекодер 200 (или его модуль 230 определения весовых коэффициентов) может быть выполнен с возможностью умножать коэффициент на параметр повышающего микширования декоррелированного сигнала (который может включаться в кодированное представление 210 или извлекаться из кодированного представления 210), чтобы получать весовой коэффициент 232 (или весовое значение), описывающий долю декоррелированного сигнала 224 в одном из выходных аудиосигналов (например, в первом выходном аудиосигнале 212).

В улучшении при необходимости многоканальный аудиодекодер (или его модуль 230 определения весовых коэффициентов) может быть выполнен с возможностью вычислять энергию декоррелированного сигнала 224, взвешенного с использованием параметров повышающего микширования декоррелированного сигнала (который может быть включен в кодированное представление 210 или который может извлекаться из кодированного представления 210), для множества каналов повышающего микширования и временных интервалов, чтобы получать взвешенное значение энергии декоррелированного сигнала.

В качестве дополнительного улучшения при необходимости, многоканальный аудиодекодер 200 может быть выполнен с возможностью вычислять энергию остаточного сигнала 224, взвешенного с использованием параметров повышающего микширования остаточного сигнала (который может быть включен в кодированное представление 210 или который может извлекаться из кодированного представления 210), для множества каналов повышающего микширования и временных интервалов, чтобы получать взвешенное значение энергии остаточного сигнала.

В качестве другого улучшения при необходимости, многоканальный аудиодекодер 200 (или его модуль 232 определения весовых коэффициентов) может быть выполнен с возможностью вычислять вышеуказанный коэффициент в зависимости от разности между взвешенным значением энергии декоррелированного сигнала и взвешенным значением энергии остаточного сигнала. Обнаружено, что такое вычисление является эффективным решением для определения весовых значений 232.

В качестве улучшения при необходимости, многоканальный аудиодекодер может быть выполнен с возможностью вычислять коэффициент в зависимости от отношения между разностью между взвешенным значением энергии декоррелированного сигнала 224 и взвешенным значением энергии остаточного сигнала 226 и взвешенным значением энергии декоррелированного сигнала 224. Обнаружено, что такое вычисление для коэффициента способствует хорошим результатам для смешивания между детализацией преимущественно на основании сигналов декорреляции для сигнала 222 понижающего микширования и детализацией преимущественно на основании остаточных сигналов для сигнала 222 понижающего микширования.

В качестве улучшения при необходимости многоканальный аудиодекодер 200 может быть выполнен с возможностью определять весовые коэффициенты, описывающие доли декоррелированных сигналов в двух или более выходных аудиосигналах, таких как, например, первый выходной аудиосигнал 212 и второй выходной аудиосигнал 214. В этом случае, многоканальный аудиодекодер может быть выполнен с возможностью определять долю декоррелированного сигнала 224 в первом выходном аудиосигнале 212 на основании взвешенного значения энергии декоррелированного сигнала 224 и параметра повышающего микширования декоррелированного сигнала первого канала. Кроме того, многоканальный аудиодекодер может быть выполнен с возможностью определять долю декоррелированного сигнала 224 во втором выходном аудиосигнале 214 на основании взвешенного значения энергии декоррелированного сигнала 224 и параметра повышающего микширования декоррелированного сигнала второго канала. Другими словами, различные параметры повышающего микширования декоррелированного сигнала могут использоваться для формирования первого выходного аудиосигнала 212 и второго выходного аудиосигнала 214. Тем не менее, идентичное взвешенное значение энергии декоррелированного сигнала может использоваться для определения доли декоррелированного сигнала в первом выходном аудиосигнале 212 и доли декоррелированного сигнала во втором выходном аудиосигнале 214. Таким образом, возможно эффективное регулирование, при этом, тем не менее, различные характеристики двух выходных аудиосигналов 212, 214 могут рассматриваться посредством различных параметров повышающего микширования декоррелированного сигнала.

В качестве улучшения при необходимости многоканальный аудиодекодер 200 может быть выполнен с возможностью деактивировать долю декоррелированного сигнала 224 в комбинировании со взвешиванием, если остаточная энергия (например, энергия остаточного сигнала 226 или взвешенной версии остаточного сигнала 226) превышает декоррелированную энергию (например, энергию декоррелированного сигнала 224 или взвешенной версии декоррелированного сигнала 224).

В качестве дополнительного улучшения при необходимости аудиодекодер может быть выполнен с возможностью определять для каждой полосы частот весовой коэффициент 232, описывающий долю декоррелированного сигнала 224 в комбинировании со взвешиванием, в зависимости от определения для каждой полосы частот взвешенного значения энергии остаточного сигнала. Соответственно, может выполняться подстраиваемое регулирование многоканального аудиодекодера 200 в сигналы, которые должны декодироваться.

В другом улучшении при необходимости аудиодекодер может быть выполнен с возможностью определять весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, для каждого кадра выходного аудиосигнала 212, 214. Соответственно, может достигаться хорошее временное разрешение.

В дополнительном улучшении при необходимости определение весового значения 232 может выполняться в соответствии с некоторыми уравнениями, приведенными ниже.

Кроме того, следует отметить, что многоканальный аудиодекодер 200 может дополняться посредством любых из признаков или функциональностей, описанных в данном документе, описанных в данном документе, также относительно других вариантов осуществления.

3. Многоканальный аудиодекодер согласно фиг. 3

Фиг. 3 показывает принципиальную блок-схему многоканального аудиодекодера 300, согласно варианту осуществления изобретения. Многоканальный аудиодекодер 300 выполнен с возможностью приема кодированного представления 310 и формирования на его основе двух или более выходных аудиосигналов 312, 314. Кодированное представление 310, например, может содержать кодированное представление сигнала понижающего микширования, кодированное представление одного или более пространственных параметров и кодированное представление остаточного сигнала. Многоканальный аудиодекодер 300 выполнен с возможностью получать (по меньшей мере) один из выходных аудиосигналов, например, первый выходной аудиосигнал 312 и/или второй выходной аудиосигнал 314, на основании кодированного представления сигнала понижающего микширования, множества кодированных пространственных параметров и кодированного представления остаточного сигнала.

В частности, многоканальный аудиодекодер 300 выполнен с возможностью осуществлять смешивание между параметрическим кодированием и остаточным кодированием в зависимости от остаточного сигнала (который включен, в кодированной форме, в кодированное представление 310). Другими словами, многоканальный аудиодекодер 300 может выполнять смешивание между режимом декодирования, в котором инициализация выходных аудиосигналов 312, 314 выполняется на основании сигнала понижающего микширования и с использованием пространственных параметров, которые описывают требуемую взаимосвязь между выходными аудиосигналами 312, 314 (например, требуемую межканальную разность уровней или требуемую межканальную корреляцию выходных аудиосигналов 312, 314), и режимом декодирования, в котором выходные аудиосигналы 312, 314 восстановлены на основании сигнала понижающего микширования с использованием остаточного сигнала. Таким образом, интенсивность (например, энергия) остаточного сигнала, который включен в кодированное представление 310, может определять, основано ли декодирование главным образом (или исключительно) на пространственных параметрах (в дополнение к сигналу понижающего микширования), либо основано ли декодирование главным образом (или исключительно) на остаточном сигнале (в дополнение к сигналу понижающего микширования), либо имеет ли место промежуточное состояние, в котором как пространственные параметры, так и остаточный сигнал влияют на детализацию сигнала понижающего микширования, с тем чтобы извлекать выходные аудиосигналы 312, 314 из сигнала понижающего микширования.

Кроме того, многоканальный аудиодекодер 300 обеспечивает возможность декодирования, которое хорошо адаптировано к текущему аудиоконтенту, без высокого объема служебной информации посредством смешивания между параметрическим кодированием (в котором обычно сравнительно высокий весовой коэффициент формируется для декоррелированного сигнала при формировании выходных аудиосигналов 312, 314) и остаточным кодированием (в котором обычно сравнительно небольшой весовой коэффициент формируется для декоррелированного сигнала) в зависимости от остаточного сигнала.

Кроме того, следует отметить, что многоканальный аудиодекодер 300 основан на соображениях, аналогичных соображениям многоканального аудиодекодера 200, и что улучшения при необходимости, описанные выше относительно многоканального аудиодекодера 200, также могут применяться к многоканальному аудиодекодеру 300.

4. Способ формирования кодированного представления многоканального аудиосигнала согласно фиг. 4

Фиг. 4 показывает блок-схему способа 400 формирования кодированного представления многоканального аудиосигнала.

Способ 400 содержит этап 410 получения сигнала понижающего микширования на основании многоканального аудиосигнала. Способ 400 также содержит этап 420 формирования параметров, описывающих зависимости между каналами многоканального аудиосигнала. Например, могут формироваться параметры межканальной разности уровней и/или параметры межканальной корреляции (или параметры ковариантности), которые описывают зависимости между каналами многоканального аудиосигнала. Способ 400 также содержит этап 430 формирования остаточного сигнала. Кроме того, способ содержит этап 440 варьирования величины остаточного сигнала, включенного в кодированное представление, в зависимости от многоканального аудиосигнала.

Следует отметить, что способ 400 основан на соображениях, идентичных соображениям для аудиокодера 100 согласно фиг. 1. Кроме того, способ 400 может дополняться посредством любых из признаков и функциональностей, описанных в данном документе в отношении устройств согласно изобретению.

5. Способ формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления согласно фиг. 5.

Фиг. 5 показывает блок-схему способа 500 формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления. Способ 500 содержит определение 510 весового коэффициента, описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от остаточного сигнала. Способ 500 также содержит выполнение 520 комбинирования со взвешиванием сигнала понижающего микширования, декоррелированного сигнала и остаточного сигнала, с тем чтобы получать один из выходных аудиосигналов.

Следует отметить, что способ 500 может дополняться любыми из признаков и функциональностей, описанных в данном документе в отношении устройств согласно изобретению.

6. Способ формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления согласно фиг. 6.

Фиг. 6 показывает блок-схему способа 600 формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления. Способ 600 содержит получение 610 одного из выходных аудиосигналов на основании кодированного представления сигнала понижающего микширования, множества кодированных пространственных параметров и кодированного представления остаточного сигнала. Получение 610 одного из выходных аудиосигналов содержит выполнение 620 смешивания между параметрическим кодированием и остаточным кодированием в зависимости от остаточного сигнала.

Следует отметить, что способ 600 может дополняться любыми из признаков и функциональностей, описанных в данном документе в отношении устройств согласно изобретению.

7. Дополнительные варианты осуществления

Ниже описаны некоторые общие соображения и некоторые дополнительные варианты осуществления.

7.1. Общие соображения

Варианты осуществления согласно изобретению основаны на такой идее, что вместо использования фиксированной остаточной полосы пропускания декодер (например, многоканальный аудиодекодер) обнаруживает величину передаваемого остаточного сигнала посредством измерения его энергии для каждой полосы частот для каждого кадра (или, в общем по меньшей мере для множества частотных диапазонов и/или для множества временных частей). В зависимости от передаваемых пространственных параметров, добавляется декоррелированный выходной сигнал, в котором остаточной энергии «недостает», для достижения требуемой (или желательной) величины выходной энергии и декорреляции. Это обеспечивает возможность переменной остаточной полосы пропускания, а также полосовых остаточных сигналов. Например, можно использовать только остаточное кодирование для тональных полос частот. Чтобы иметь возможность использовать упрощенное понижающее микширование для параметрического кодирования, а также для кодирования с сохранением формы сигнала (которое также обозначено как остаточное кодирование), остаточный сигнал для упрощенного понижающего микширования задается в данном документе.

7.2. Вычисление остаточного сигнала для упрощенного понижающего микширования

Ниже описаны некоторые соображения относительно вычисления остаточного сигнала и относительно составления канальных сигналов для многоканального аудиосигнала.

В стандартизированном кодировании речи и аудио (USAC) не задается остаточный сигнал, когда используется так называемое «упрощенное понижающее микширование». Таким образом, невозможно кодирование с частичным сохранением формы сигнала. Тем не менее, ниже описан способ вычисления остаточного сигнала для так называемого «упрощенного понижающего микширования».

Весовые коэффициенты d₁, d₂ «упрощенного понижающего микширования» вычисляются в расчете на полосу частот коэффициентов масштабирования, тогда как коэффициенты u_d1, u_d2 параметрического повышающего микширования вычисляются в расчете на полосу частот параметров. Таким образом, коэффициенты w_r1, w_r2 для вычисления остаточного сигнала не могут быть непосредственно вычислены из пространственных параметров (как имеет место для классического стандарта объемного звучания MPEG), но, возможно, должны определяться на основании полос частот коэффициентов масштабирования из коэффициентов понижающего микширования и повышающего микширования.

Если L, R являются входными каналами, а D является каналом понижающего микширования, остаточный сигнал res должен удовлетворять следующим свойствам:

Это достигается посредством вычисления остатка следующим образом:

с использованием весовых коэффициентов понижающего микширования:

Коэффициенты u_r,1, u_r,2 остаточного повышающего микширования, используемые посредством декодера, предпочтительно выбраны таким образом, чтобы обеспечивать надежное декодирование. Поскольку упрощенное понижающее микширование имеет асимметричные свойства (в противоположность стандарту объемного звучания MPEG с фиксированными весовыми коэффициентами), повышающее микширование в зависимости от пространственных параметров применяется, например, с использованием следующих коэффициентов повышающего микширования:

Другой вариант заключается в том, чтобы задавать коэффициенты остаточного повышающего микширования как ортогональные к коэффициентам повышающего микширования сигнала понижающего микширования, так что:

Другими словами, аудиодекодер может получать сигнал D понижающего микширования с использованием линейной комбинации сигнала L левого канала (сигнала первого канала) и сигнал R правого канала (сигнала второго канала). Аналогично, остаточный сигнал res получается с использованием линейной комбинации левого канала L и сигнала R правого канала (или, в общем, сигнала первого канала и сигнала второго канала для многоканального аудиосигнала).

Можно видеть, например, в уравнениях (5) и (6), что весовые коэффициенты w_r,1 и w_r,2 понижающего микширования для получения остаточного сигнала res могут получаться, когда определяются весовые коэффициенты d₁, d₂ упрощенного понижающего микширования, коэффициенты u_d,1 и u_d,2 параметрического повышающего микширования и коэффициенты u_r,1 и u_r,2 остаточного повышающего микширования. Кроме того, можно видеть, что u_r,1 и u_r,2 могут извлекаться из u_d,1 и u_d,2 с использованием уравнений (7) и (8) или уравнения (9). Весовые коэффициенты d₁ и d₂ упрощенного понижающего микширования_, а также коэффициенты u_d,1 и u_d,2 параметрического повышающего микширования могут получаться обычным способом.

7.3. Процесс кодирования

Ниже описаны некоторые подробности относительно процесса кодирования. Кодирование, например, может выполняться посредством многоканального аудиокодера 100 либо посредством любых других надлежащих средств или компьютерных программ.

Предпочтительно, величина остатка, который передается, определяется посредством психоакустической модели кодера (например, многоканального аудиокодера), в зависимости от аудиосигнала (например, в зависимости от канальных сигналов для многоканального аудиосигнала 110) и доступной скорости передачи битов. Передаваемый остаточный сигнал, например, может использоваться для частичного сохранения формы сигнала или для исключения подавления сигналов, вызываемого посредством используемого способа понижающего микширования (например, способа понижающего микширования, описанного посредством вышеприведенного уравнения (1)).

7.3.1. Частичное сохранение формы сигнала

Ниже описано то, как может достигаться частичное сохранение формы сигнала. Например, вычисленный остаток (например, остаток res согласно уравнению (4)) передается в полной полосе частот или в ограниченной полосе частот, чтобы формировать частичное сохранение формы сигнала в остаточной полосе пропускания. Части остатка, которые обнаруживаются как перцепционно нерелевантные посредством психоакустической модели, например, могут квантоваться до нуля (например, при формировании кодированного представления 112 на основании остаточного сигнала 126). Это включает в себя, но не только, уменьшение передаваемой остаточной полосы пропускания во время выполнения (что может рассматриваться как варьирование величины остаточного сигнала, который включен в кодированное представление). Эта система также может разрешать полосовое удаление остаточных частей сигналов, поскольку недостающая энергия сигналов должна быть восстановлена посредством декодера (например, посредством многоканального аудиодекодера 200 или многоканального аудиодекодера 300). Таким образом, например, остаточное кодирование может примениться только к тональным компонентам сигнала, сохраняя их соотношения фаз, тогда как фоновый шум может параметрически кодироваться, чтобы уменьшать остаточную скорость передачи битов. Другими словами, остаточный сигнал 126 может быть включен в кодированное представление 112 (например, посредством обработки 130 остаточных сигналов) только для полос частот и/или временных частей, для которых обнаружено, что многоканальный аудиосигнал 110 (или по меньшей мере одни из канальных сигналов для многоканального аудиосигнала 110) является тональным. Напротив, остаточный сигнал 126 не может быть включен в кодированное представление 112 для полос частот и/или временных частей, для которых многоканальный аудиосигнал 110 (или по меньшей мере один или более канальных сигналов для многоканального аудиосигнала 110) идентифицируется как шумоподобный. Таким образом, величина остаточного сигнала, включенного в кодированное представление, варьируется в зависимости от многоканального аудиосигнала.

7.3.2. Предотвращение подавления сигналов в понижающем микшировании

Ниже описано то, как может предотвращаться (или компенсироваться) подавление сигналов в понижающем микшировании.

Для приложений с низкой скоростью передачи битов, применяется параметрическое кодирование (которое преимущественно или исключительно основано на параметрах 124, описывающих зависимости между каналами многоканального аудиосигнала) вместо кодирования с сохранением формы сигнала (которое, например, преимущественно основывается на остаточном сигнале 126, в дополнение к сигналу 122 понижающего микширования). Здесь, остаточный сигнал 126 используется только для того, чтобы компенсировать подавления сигналов в понижающем микшировании 122, с тем чтобы минимизировать использование битов остатка. При условии, что подавления сигналов в понижающем микшировании 122 не обнаруживаются, система работает в параметрическом режиме с использованием декорреляторов (на стороне аудиодекодера). Когда подавления сигналов возникают, например, для фазировки тональных сигналов, остаточный сигнал 126 передается для поврежденных частей сигналов (например, полос частот и/или временных частей). Таким образом, энергия сигналов может быть восстановлена посредством декодера.

7.4. Процесс декодирования

7.4.1. Общее представление

В декодере (например, в многоканальном аудиодекодере 200 или в многоканальном аудиодекодере 300), передаваемые сигналы понижающего микширования и остаточные сигналы (например, сигнал 222 понижающего микширования или остаточный сигнал 226) декодируются посредством базового декодера и подаются в декодер по стандарту объемного звучания MPEG вместе с декодированными рабочими данными по стандарту объемного звучания MPEG. Коэффициенты остаточного повышающего микширования для классического MPS-понижающего микширования являются неизменными, а коэффициент остаточного повышающего микширования для упрощенного понижающего микширования задается в уравнениях (7) и (8) и/или (9). Дополнительно, вычисляются выходные сигналы декоррелятора и его весовые коэффициенты в отношении параметрического декодирования. Остаточный сигнал и выходные сигналы декоррелятора взвешиваются и микшируются в выходной сигнал. Следовательно, весовые коэффициенты определяются посредством измерения энергий остаточных сигналов и сигналов декоррелятора.

Другими словами, коэффициенты (или коэффициенты) остаточного повышающего микширования могут определяться посредством измерения энергий остаточных и декоррелированных сигналов.

Например, сигнал 222 понижающего микширования формируется на основании кодированного представления 210, и декоррелированный сигнал 224 извлекается из сигнала 222 понижающего микширования или формируется на основании параметров, включенных в кодированное представление 210 (или иным образом). Коэффициенты остаточного повышающего микширования, например, могут извлекаться из коэффициентов u_d,1 и u_d,2 параметрического повышающего микширования в соответствии с уравнениями (7) и (8) посредством декодера, при этом коэффициенты u_d,1 u_d,2 параметрического повышающего микширования могут получаться на основании кодированного представления 210, например, непосредственно или посредством извлечения их из пространственных данных, включенных в кодированное представление 210 (например, из коэффициентов межканальной корреляции и коэффициентов межканальной разности уровней либо из коэффициентов межобъектной корреляции и межобъектных разностей уровней).

Коэффициенты повышающего микширования для выходного сигнала (или выходных сигналов) декоррелятора могут получаться в отношении традиционного декодирования по стандарту объемного звучания MPEG. Тем не менее, весовые коэффициенты для взвешивания выходного сигнала декоррелятора (или выходных сигналов декоррелятора) могут определяться на основании энергий остаточного сигнала (и возможно также на основании энергий сигнала или сигналов декоррелятора) таким образом, что весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, определяется в зависимости от остаточного сигнала.

7.4.2. Примерная реализация

Ниже описана примерная реализация со ссылкой на фиг 7. Тем не менее, следует отметить, что принцип, описанный в данном документе, также может применяться в многоканальных аудиодекодерах 200 или 300 согласно фиг. 2 и 3.

Фиг. 7 показывает принципиальную блок-схему (или блок-схему способа) для декодера (например, многоканального аудиодекодера). Декодер согласно фиг. 7 полностью обозначен с помощью 700. Декодер 700 выполнен с возможностью принимать поток 710 битов и формировать на его основе сигнал 712 первого выходного канала и сигнал 714 второго выходного канала. Декодер 700 содержит базовый декодер 720, который выполнен с возможностью принимать поток 710 битов и формировать на его основе сигнал 722 понижающего микширования, остаточный сигнал 724 и пространственные данные 726. Например, базовый декодер 720 может обеспечивать в качестве сигнала понижающего микширования, представление во временной области или представление в области преобразования (например, представление в частотной области, представление в MDCT-области, представление в QMF-области) сигнала понижающего микширования, представленного посредством потока 710 битов. Аналогично, базовый декодер 720 может обеспечивать представление во временной области или представление в области преобразования остаточного сигнала 724, который представлен посредством потока 710 битов. Кроме того, базовый декодер 720 может обеспечивать один или более пространственных параметров 726, таких как, например, один или более параметров межканальной корреляции, параметров межканальной разности уровней и т.п.

Декодер 700 также содержит декоррелятор 730, который выполнен с возможностью формирования декоррелированного сигнала 732 на основании сигнала 722 понижающего микширования. Любой из известных принципов декорреляции может использоваться посредством декоррелятора 730. Кроме того, декодер 700 также содержит модуль 740 вычисления коэффициентов повышающего микширования, который выполнен с возможностью принимать пространственные данные 726 и обеспечения параметров повышающего микширования (например, параметров u_dmx,1, u_dmx,2, u_dec,1 и u_dec,2 повышающего микширования). Кроме того, декодер 700 содержит повышающий микшер 750, который выполнен с возможностью применять параметры 742 повышающего микширования (также обозначенные как коэффициенты повышающего микширования), которые предоставляются посредством модуля 740 вычисления коэффициентов повышающего микширования на основании пространственных данных 726. Например, повышающий микшер 750 может масштабировать сигнал 722 понижающего микширования с использованием двух коэффициентов повышающего микширования сигнала понижающего микширования (например, u_dmx,1, u_dmx,2), чтобы получать две микшированных с повышением версии 752, 754 сигнала 722 понижающего микширования. Кроме того, повышающий микшер 750 также выполнен с возможностью применять один или более параметров повышающего микширования (например, два параметра повышающего микширования) к декоррелированному сигналу 732, сформированному посредством декоррелятора 730, с тем чтобы получать первую микшированную с повышением (масштабированную) версию 756 и вторую микшированную с повышением (масштабированную) версию 758 декоррелированного сигнала 732. Кроме того, повышающий микшер 750 выполнен с возможностью применять один или более коэффициентов повышающего микширования (например, два коэффициента повышающего микширования) к остаточному сигналу 724, с тем чтобы получать первую микшированную с повышением (масштабированную) версию 760 и вторую микшированную с повышением (масштабированную) версию 762 остаточного сигнала 724.

Декодер 700 также содержит модуль 770 вычисления весовых коэффициентов, который выполнен с возможностью измерять энергии микшированных с повышением (масштабированных) версий 756, 758 декоррелированного сигнала 752 и микшированной с повышением (масштабированной) версии 760, 762 остаточного сигнала 724. Кроме того, модуль 770 вычисления весовых коэффициентов выполнен с возможностью формирования одно или более весовых значений 772 в модуль 780 взвешивания. Модуль 780 взвешивания выполнен с возможностью получать первую микшированную с повышением (масштабированную) и взвешенную версию 782 декоррелированного сигнала 732, вторую микшированную с повышением (масштабированную) и взвешенную версию 784 декоррелированного сигнала 732, первую микшированную с повышением (масштабированную) и взвешенную версию 786 остаточного сигнала 724 и вторую микшированную с повышением (масштабированную) и взвешенную версию 788 остаточного сигнала 724 с использованием одного или более весовых значений 772, сформированных посредством модуля 770 вычисления весовых коэффициентов. Декодер также содержит первый сумматор 790, который выполнен с возможностью суммировать первую микшированную с повышением (масштабированную) версию 752 сигнала 720 понижающего микширования, первую микшированную с повышением (масштабированную) и взвешенную версию 782 декоррелированного сигнала 732 и первую микшированную с повышением (масштабированную) и взвешенную версию 786 остаточного сигнала 724, с тем чтобы получать сигнал 712 первого выходного канала. Кроме того, декодер содержит второй сумматор 792, который выполнен с возможностью суммировать вторую микшированную с повышением версию 754 сигнала 720 понижающего микширования, вторую микшированную с повышением (масштабированную) и взвешенную версию 784 декоррелированного сигнала 732 и вторую микшированную с повышением (масштабированную) и взвешенную версию 788 остаточного сигнала 724, с тем чтобы получать сигнал 714 второго выходного канала.

Тем не менее, следует отметить, что не обязательно, чтобы модуль 780 взвешивания взвешивал все сигналы 756, 758, 760, 762. Например, в некоторых вариантах осуществления может быть достаточным взвешивать только сигналы 756, 758 при незатрагивании сигналов 760, 762 (так что, фактически, сигналы 760, 762 непосредственно применяются к сумматорам 790, 792). Тем не менее, альтернативно, взвешивание остаточных сигналов 760, 762 может варьироваться во времени. Например, остаточные сигналы могут постепенно нарастать или постепенно затухать. Например, взвешивание (или весовые коэффициенты) декоррелированных сигналов могут сглаживаться со временем, и остаточные сигналы могут постепенно нарастать или постепенно затухать, соответственно.

Кроме того, следует отметить, что взвешивание, которое выполняется посредством модуля 780 взвешивания, и повышающее микширование, которое применяется посредством повышающего микшера 750, также могут выполняться в качестве комбинированной операции, при этом вычисление весовых коэффициентов может выполняться непосредственно с использованием декоррелированного сигнала 732 и остаточного сигнала 724.

Ниже описана некоторая более подробная информация относительно функциональности декодера 700.

Комбинированный режим остаточного и параметрического кодирования, например, может передаваться в служебных сигналах полуобратно совместимым способом, например, посредством передачи служебных сигналов остаточной полосы пропускания одной полосы частот параметров в потоке битов. Таким образом, унаследованный декодер по-прежнему передает и декодирует поток битов посредством переключения на параметрическое декодирование выше первой полосы частот параметров. Унаследованные потоки битов с использованием остаточной полосы пропускания в единицу не должны содержать остаточную энергию выше первой полосы частот параметров, что приводит к параметрическому декодированию в предложенном новом декодере.

Тем не менее, в системе трехмерных аудиокодеков, комбинированное остаточное и параметрическое кодирование может использоваться в комбинации с другими инструментальными средствами базового декодера, такими как четырехканальный элемент, обеспечивая возможность декодеру явно обнаруживать унаследованные потоки битов и декодировать их в режиме регулярного остаточного кодирования с ограниченной полосой частот. Фактическая остаточная полоса пропускания предпочтительно явно не передается в служебных сигналах, поскольку она определяется посредством декодера во время выполнения. Вычисление коэффициентов повышающего микширования задается в параметрическом режиме вместо режима остаточного кодирования. Энергии взвешенного выходного сигнала E_dec декоррелятора и взвешенного остаточного сигнала E_res вычисляются в расчете на гибридную полосу hb частот по всем временным интервалам ts и каналам ch повышающего микширования для каждого кадра:

Здесь, u_dec обозначает параметр повышающего микширования декоррелированного сигнала для полосы hb частот, для временного интервала ts и для канала ch повышающего микширования, обозначает сумму по каналам повышающего микширования, и обозначает сумму по временным интервалам; x_dec обозначает значение (например, значение в области комплексного преобразования) декоррелированного сигнала для полосы hb частот, для временного интервала ts и для канала ch повышающего микширования.

Остаточный сигнал (например, микшированный с повышением остаточный сигнал 760 или микшированный с повышением остаточный сигнал 762) добавляется в выходные каналы (например, в выходные каналы 712, 714) с весовым коэффициентом в единицу. Сигнал декоррелятора (например, микшированный с повышением сигнал 756 декоррелятора или микшированный с повышением сигнал 758 декоррелятора) может быть взвешен с коэффициентом r (например, посредством модуля 780 взвешивания), который вычисляется следующим образом:

- где E_dec(hb) представляет взвешенное значение энергии декоррелированного сигнала x_dec для полосы hb частот, и где E_res(hb) представляет взвешенное значение энергии остаточного сигнала x_res для полосы hb частот.

Если остаток (например, остаточный сигнал 724) не передан, например, если E_res=0, r (коэффициент, который может применяться посредством модуля 780 взвешивания и который может рассматриваться как весовое значение 772) становится равным 1, что является эквивалентным чисто параметрическому декодированию. Если остаточная энергия (например, энергия микшированного с повышением остаточного сигнала 760 и/или микшированного с повышением остаточного сигнала 762) превышает энергию декоррелятора (например, энергия микшированного с повышением декоррелированного сигнала 756 или микшированного с повышением декоррелированного сигнала 758), например, если E_res>E_dec, коэффициент r может задаваться равным нулю, за счет этого деактивируя декоррелятор и активируя декодирование с частичным сохранением формы сигнала (которое может рассматриваться как остаточное кодирование). В процессе повышающего микширования, взвешенный выходной сигнал декоррелятора (например, сигналы 782 и 784) и остаточный сигнал (например, сигналы 786, 788 или сигналы 760, 762) добавляются в выходные каналы (например, сигналы 712, 714).

В заключение, это приводит к правилу повышающего микширования в матричной форме:

- при этом ch1 представляет одну или более выборок временной области или выборок области преобразования первого выходного аудиосигнала, при этом ch2 представляет одну или более выборок временной области или выборок области преобразования второго выходного аудиосигнала, при этом x_dmx представляет одну или более выборок временной области или выборок области преобразования сигнала понижающего микширования, при этом x_dec представляет одну или более выборок временной области или выборок области преобразования декоррелированного сигнала, при этом x_res представляет одну или более выборок временной области или выборок области преобразования остаточного сигнала, при этом u_dmx,1 представляет параметр повышающего микширования сигнала понижающего микширования для первого выходного аудиосигнала, при этом u_dmx,2 представляет параметр повышающего микширования сигнала понижающего микширования для второго выходного аудиосигнала, при этом u_dec,1 представляет параметр повышающего микширования декоррелированного сигнала для первого выходного аудиосигнала, при этом u_dec,2 представляет параметр повышающего микширования декоррелированного сигнала для второго выходного аудиосигнала, при этом max представляет максимальный оператор, и при этом r представляет коэффициент, описывающий взвешивание декоррелированного сигнала в зависимости от остаточного сигнала.

Коэффициенты U_dmx,1, U_dmx,2, U_dec,1, U_dec,2 повышающего микширования вычисляются для параметрического режима «два-один-два» (2-1-2) MPS. Для получения дополнительной информации, следует обратиться к вышеуказанному стандарту на основании принципа объемного звучания MPEG.

В общем случае, вариант осуществления согласно изобретению создает принцип формирования сигналов выходного канала на основании сигнала понижающего микширования, остаточного сигнала и пространственных данных, при этом взвешивание декоррелированного сигнала гибко регулируется без значительного объема служебной информации.

7.5. Альтернативные варианты реализации

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства. Некоторые или все этапы способа могут быть выполнены посредством (или с использованием) устройства, такого как, например, микропроцессор, программируемый компьютер либо электронная схема. В некоторых вариантах осуществления, некоторые из одного или более самых важных этапов способа могут выполняться посредством этого устройства.

Кодированный аудиосигнал согласно изобретению может быть сохранен на цифровом носителе данных или может быть передан по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, к примеру, Интернет.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя данных, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, на котором сохранены считываемые электронными средствами управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой, так что осуществляется соответствующий способ. Следовательно, цифровой носитель данных может быть машиночитаемым.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.

Другими словами, следовательно, вариант осуществления способа согласно изобретению представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа выполняется на компьютере.

Следовательно, дополнительный вариант осуществления способов согласно изобретению представляет собой носитель данных (цифровой носитель данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой носитель данных или носитель с записанными данными обычно является материальным и/или постоянным.

Следовательно, дополнительный вариант осуществления способа согласно изобретению представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, выполненную с возможностью передавать (например, электронно или оптически) компьютерную программу для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Устройство или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может быть использовано для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого устройства.

Вышеописанные варианты осуществления являются лишь иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.

7.6. Дополнительный вариант осуществления

Далее со ссылкой на фиг. 8 описан другой вариант осуществления согласно изобретению, который показывает принципиальную блок-схему так называемого гибридного остаточного декодера.

Гибридный остаточный декодер 800 согласно фиг. 8 является почти идентичным декодеру 700 согласно фиг. 7, так что следует обратиться к вышеприведенным пояснениям. Тем не менее, в гибридном остаточном декодере 800, дополнительное взвешивание (в дополнение к применению параметров повышающего микширования) применяется только к микшированным с повышением декоррелированным сигналам (которые соответствуют сигналам 756, 758 в декодере 700), но не к микшированным с повышением остаточным сигналам (которые соответствуют сигналам 760, 762 в декодере 700). Таким образом, модуль взвешивания в гибридном остаточном декодере 800 в некоторой степени проще модуля взвешивания в декодере 700, но хорошо согласуется, например, со взвешиванием согласно уравнению (14).

Далее еще подробнее поясняется комбинированное параметрическое и остаточное декодирование (гибридное остаточное кодирование) согласно фиг. 8.

Тем не менее, во-первых, обеспечивается общее представление.

В дополнение к использованию либо повышающего микширования моно-в-стерео на основании декоррелятора, либо остаточного кодирования, как описано в ISO/IEC 23003-3, подраздел 7.11.1, гибридное остаточное кодирование обеспечивает возможность зависимой от сигнала комбинации обоих режимов. Остаточный сигнал и выходной сигнал декоррелятора смешиваются вместе, с использованием зависимых от времени и частотно-зависимых весовых коэффициентов в зависимости от энергий сигналов и пространственных параметров, как проиллюстрировано на фиг. 8.

Ниже описан процесс декодирования.

Режим гибридного остаточного кодирования указывается посредством элементов синтаксиса bsResidualCoding==1 и bsResidualBands==1 в Mps212Config(). Другими словами, использование гибридного остаточного кодирования может передаваться в служебных сигналах с использованием элемента потока битов кодированного представления. Вычисление матрицы M2 микширования выполняется, как если bsResidualCoding==0, согласно вычислению в ISO/IEC 23003-3, подраздел 7.11.2.3. Матрица для части на основании декоррелятора задается следующим образом:

Процесс повышающего микширования разбивается на понижающее микширование, выходной сигнал декоррелятора и остаток. Микшированное с повышением понижающее микширование u_dmx вычисляется с использованием:

Микшированный с повышением выходной сигнал u_dec декоррелятора вычисляется с использованием:

Микшированный с повышением остаточный сигнал u_res вычисляется с использованием:

Энергии микшированного с повышением остаточного сигнала E_res и микшированного с повышением выходного сигнала E_dec декоррелятора вычисляются в расчете на гибридную полосу частот в качестве суммы по обоим выходным каналам ch и всем временным интервалам ts для одного кадра следующим образом:

Микшированный с повышением выходной сигнал декоррелятора взвешен с использованием весового коэффициента r_dec, вычисленного для каждой гибридной полосы частот в расчете на кадр, следующим образом:

если E_res > E_dec если E_res < ε в противном случае

- где ε является небольшим числом, чтобы предотвращать деление на нуль (например, ε=1e^-9 или 0<ε<=1e^-5). Тем не менее, в некоторых вариантах осуществления, ε может задаваться равным нулю (при замене «E_res < ε» на «E_res=0»).

Все три сигнала повышающего микширования суммируются для того, чтобы формировать декодированный выходной сигнал.

8. Заключения

В качестве вывода, варианты осуществления согласно изобретению создают комбинированное остаточное и параметрическое кодирование.

Настоящее изобретение создает способ зависимой от сигнала комбинации параметрического и остаточного кодирования для объединенного стереокодирования, которое основано на стандартизированном инструментальном USAC-стереосредстве. Вместо использования фиксированной остаточной полосы пропускания величина передаваемого остатка определяется в зависимости от сигнала посредством кодера, в зависимости от времени и частоты. На стороне декодера, требуемая величина декорреляции между выходными каналами формируется посредством микширования остаточного сигнала и выходного сигнала декоррелятора. Таким образом, соответствующая система кодирования/декодирования аудио имеет возможность выполнять смешивание между полностью параметрическим кодированием и остаточным кодированием с сохранением формы сигнала во время выполнения, в зависимости от кодированного сигнала.

Варианты осуществления согласно изобретению превосходят традиционные решения. Например, в USAC, система «два-один-два» (2-1-2) по стандарту объемного звучания MPEG используется для параметрического стереокодирования или унифицируемого стерео, передавая остаточный сигнал с ограниченной полосой частот или с полной полосой пропускания для частичного сохранения формы сигнала. Если передается остаток с ограниченной полосой частот, параметрическое повышающее микширование с использованием декорреляторов применяется выше остаточной полосы пропускания. Недостаток этого способа заключается в том, что остаточная полоса пропускания задается равной фиксированному значению при инициализации кодера.

Напротив, варианты осуществления согласно изобретению обеспечивают возможность зависимой от сигнала адаптации остаточной полосы пропускания или переключения на параметрическое кодирование. Кроме того, если процесс понижающего микширования в режиме параметрического кодирования формирует подавления сигналов для плохо обусловленных соотношений фаз, варианты осуществления согласно изобретению дают возможность восстанавливать недостающие части сигналов (например, посредством формирования надлежащего остаточного сигнала). Следует отметить, что способ упрощенного понижающего микширования формирует меньшие подавления сигналов, чем классическое MPS-понижающее микширование для параметрического кодирования. Тем не менее, тогда как традиционное упрощенное понижающее микширование не может использоваться для частичного сохранения формы сигнала, поскольку остаточный сигнал не задается в USAC, варианты осуществления согласно изобретению позволяют восстанавливать форму сигнала (например, избирательно частично восстанавливать форму сигнала для частей сигнала, в которых считается, что частичное восстановление формы сигнала является важным).

В качестве еще одного вывода, варианты осуществления согласно изобретению создают устройство, способ или компьютерную программу для кодирования или декодирования аудио, как описано в данном документе.

Изобретение относится к многоканальным аудиокодеру и аудиодекодеру для формирования кодированного представления многоканального аудиосигнала и двух выходных аудиосигналов на основании кодированного представления. Технический результат - повышение качества восстановления сигналов к декодированным сигналам без дополнительного объема служебной информации. Многоканальный аудиодекодер выполнен с возможностью осуществления комбинирования со взвешиванием сигнала понижающего микширования, декоррелированного сигнала и остаточного сигнала для получения одного из выходных аудиосигналов, а также выполнен с возможностью определения весового коэффициента, описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от остаточного сигнала. Многоканальный аудиокодер выполнен с возможностью получения сигнала понижающего микширования на основании многоканального аудиосигнала, формирования параметров и формирования остаточного сигнала, а также выполнен с возможностью варьирования величины остаточного сигнала, включенного в кодированное представление, в зависимости от многоканального аудиосигнала. 18 н. и 25 з.п. ф-лы, 8 ил.

1. Многоканальный аудиодекодер (200; 300; 700; 800) для формирования по меньшей мере двух выходных аудиосигналов (212, 214; 312, 314; 712, 714) на основании кодированного представления (210; 310; 710),

- при этом многоканальный аудиодекодер выполнен с возможностью осуществления комбинирования (220; 780, 790, 792) со взвешиванием сигнала (222; 752, 754) понижающего микширования, декоррелированного сигнала (224; 756, 758) и остаточного сигнала (226; 760, 762; res) для получения одного из выходных аудиосигналов (212, 214; 712, 714);

- при этом многоканальный аудиодекодер выполнен с возможностью определения весового коэффициента (232; r; r_dec), описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от остаточного сигнала;

- при этом многоканальный аудиодекодер выполнен с возможностью определения весового коэффициента, описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от декоррелированного сигнала.

2. Многоканальный аудиодекодер по п. 1, при этом многоканальный аудиодекодер выполнен с возможностью получения параметров (u_dmx,1, u_dmx,2, u_dec,1, u_dec,2, u_r,1, u_r,2) повышающего микширования на основании кодированного представления и определения весового коэффициента (232; r; r_dec), описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от параметров повышающего микширования.

3. Многоканальный аудиодекодер по п. 1, при этом многоканальный аудиодекодер выполнен с возможностью определения весового коэффициента (232; r; r_dec), описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, таким образом, что весовой коэффициент декоррелированного сигнала уменьшается с увеличением энергии остаточного сигнала.

4. Многоканальный аудиодекодер по п. 1, при этом многоканальный аудиодекодер выполнен с возможностью определения весового коэффициента (232; r; r_dec), описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, таким образом, что максимальный весовой коэффициент, который определяется посредством параметра (u_dec,1, u_dec,2; u_dec(hb,ts,ch); u_dec(ch,ts)) повышающего микширования декоррелированного сигнала, ассоциирован с декоррелированным сигналом, если энергия остаточного сигнала является нулевой, и таким образом, что нулевой весовой коэффициент ассоциирован с декоррелированным сигналом, если энергия остаточного сигнала, взвешенного весовым коэффициентом (u_r,1, u_r,2; u_res(hb,ts.ch); u_res(ch,ts)) остаточного сигнала, больше или равна энергии декоррелированного сигнала, взвешенного параметром повышающего микширования декоррелированного сигнала.

5. Многоканальный аудиодекодер по п. 1, при этом многоканальный аудиодекодер выполнен с возможностью вычисления взвешенного значения (E_dec(hb); E_dec) энергии декоррелированного сигнала, взвешенного в зависимости от одного или более параметров повышающего микширования декоррелированного сигнала, и вычисления взвешенного значения (E_res(hb); E_res) энергии остаточного сигнала, взвешенного с использованием одного или более параметров повышающего микширования остаточного сигнала, определения коэффициента (r, r_dec) в зависимости от взвешенного значения энергии декоррелированного сигнала и взвешенного значения энергии остаточного сигнала, и получения весового коэффициента, описывающего долю декоррелированного сигнала в одном из выходных аудиосигналов, на основании упомянутого коэффициента, или использования упомянутого коэффициента в качестве весового коэффициента, описывающего долю декоррелированного сигнала в одном из выходных аудиосигналов.

6. Многоканальный аудиодекодер по п. 5, при этом многоканальный аудиодекодер выполнен с возможностью умножения коэффициента (r) на параметр (u_dec,1, u_dec,2; u_dec(hb,ts,ch); u_dec(ch,ts)) повышающего микширования декоррелированного сигнала для получения весового коэффициента, описывающего долю декоррелированного сигнала в одном из выходных аудиосигналов.

7. Многоканальный аудиодекодер по п. 5, при этом многоканальный аудиодекодер выполнен с возможностью вычисления энергии декоррелированного сигнала, взвешенного с использованием параметров повышающего микширования декоррелированного сигнала, для множества каналов (ch) повышающего микширования и временных интервалов (ts) для получения взвешенного значения (E_dec(hb); E_dec) энергии декоррелированного сигнала.

8. Многоканальный аудиодекодер по п. 5, при этом многоканальный аудиодекодер выполнен с возможностью вычисления энергии остаточного сигнала, взвешенного с использованием параметров повышающего микширования остаточного сигнала, для множества каналов (ch) повышающего микширования и временных интервалов (ts) для получения взвешенного значения (E_res(hb); E_res) энергии остаточного сигнала.

9. Многоканальный аудиодекодер по п. 5, при этом многоканальный аудиодекодер выполнен с возможностью вычисления коэффициента (r; r_dec) в зависимости от разности между взвешенным значением (E_dec(hb); E_dec) энергии декоррелированного сигнала и взвешенным значением (E_res(hb); E_res) энергии остаточного сигнала.

10. Многоканальный аудиодекодер по п. 9, при этом многоканальный аудиодекодер выполнен с возможностью вычисления коэффициента (r; r_dec) в зависимости от отношения между:

- разностью между взвешенным значением энергии декоррелированного сигнала и взвешенным значением энергии остаточного сигнала, и

- взвешенным значением энергии декоррелированного сигнала.

11. Многоканальный аудиодекодер по п. 5, при этом многоканальный аудиодекодер выполнен с возможностью определения весовых коэффициентов, описывающих доли декоррелированного сигнала в двух или более выходных аудиосигналах,

- при этом многоканальный аудиодекодер выполнен с возможностью определения доли декоррелированного сигнала в первом выходном аудиосигнале на основании взвешенного значения (E_dec(hb); E_dec) энергии декоррелированного сигнала и параметра (u_dec,1) повышающего микширования декоррелированного сигнала первого канала, и

- при этом многоканальный аудиодекодер выполнен с возможностью определения доли декоррелированного сигнала во втором выходном аудиоканале на основании взвешенного значения (E_dec(hb); E_dec) энергии декоррелированного сигнала и параметра (u_dec,2) повышающего микширования декоррелированного сигнала второго канала.

12. Многоканальный аудиодекодер по п. 1, при этом многоканальный аудиодекодер выполнен с возможностью деактивирования доли декоррелированного сигнала в комбинировании со взвешиванием, если остаточная энергия (E_res(hb); E_res) превышает энергию (E_dec(hb); E_dec) декоррелятора.

13. Многоканальный аудиодекодер по п. 1, при этом многоканальный аудиодекодер выполнен с возможностью вычисления двух выходных аудиосигналов ch1, ch2 согласно следующему:

- при этом ch1 представляет одну или более выборок временной области или выборок области преобразования первого выходного аудиосигнала;

- при этом ch2 представляет одну или более выборок временной области или выборок области преобразования второго выходного аудиосигнала;

- при этом x_dmx представляет одну или более выборок временной области или выборок области преобразования сигнала понижающего микширования;

- при этом x_dec представляет одну или более выборок временной области или выборок области преобразования декоррелированного сигнала;

- при этом x_res представляет одну или более выборок временной области или выборок области преобразования остаточного сигнала;

- при этом u_dmx,1 представляет параметр повышающего микширования сигнала понижающего микширования для первого выходного аудиосигнала;

- при этом u_dmx,2 представляет параметр повышающего микширования сигнала понижающего микширования для второго выходного аудиосигнала;

- при этом u_dec,1 представляет параметр повышающего микширования декоррелированного сигнала для первого выходного аудиосигнала;

- при этом u_dec,2 представляет параметр повышающего микширования декоррелированного сигнала для второго выходного аудиосигнала;

- при этом max представляет максимальный оператор; и

- при этом r представляет коэффициент, описывающий взвешивание декоррелированного сигнала в зависимости от остаточного сигнала.

14. Многоканальный аудиодекодер по п. 13, при этом многоканальный аудиодекодер выполнен с возможностью вычислять коэффициент r согласно следующему:

или согласно следующему:

если E_res > E_dec если E_res < ε
в противном случае

- при этом E_dec(hb) или E_dec представляют взвешенное значение энергии декоррелированного сигнала x_dec для полосы hb частот, и

- при этом E_res(hb) или E_res представляют взвешенное значение энергии остаточного сигнала x_res для полосы hb частот.

15. Многоканальный аудиодекодер по п. 14, при этом многоканальный аудиодекодер выполнен с возможностью вычисления взвешенного значения энергии декоррелированного сигнала согласно следующему:

- при этом u_dec обозначает параметр повышающего микширования декоррелированного сигнала для полосы hb частот, для временного интервала ts и для канала ch повышающего микширования,

- при этом x_dec представляет выборку временной области или выборку области преобразования декоррелированного сигнала для полосы hb частот, для временного интервала ts и для канала ch повышающего микширования,

- при этом обозначает сумму по каналам ch повышающего микширования, и

- при этом обозначает сумму по временным интервалам ts,

- при этом ||. || обозначает оператор нормы,

- при этом многоканальный аудиодекодер выполнен с возможностью вычисления взвешенного значения энергии остаточного сигнала согласно следующему:

- при этом u_res обозначает параметр повышающего микширования остаточного сигнала для полосы hb частот, для временного интервала ts и для канала ch повышающего микширования,

- при этом x_res представляет выборку временной области или выборку области преобразования декоррелированного сигнала для полосы hb частот, для временного интервала ts и для канала ch повышающего микширования.

16. Многоканальный аудиодекодер по п. 1, при этом аудиодекодер выполнен с возможностью определения для каждой полосы частот весового коэффициента (232; r; r_dec), описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от определения для каждой полосы частот взвешенных значений энергии остаточного сигнала.

17. Аудиодекодер по п. 1, при этом аудиодекодер выполнен с возможностью определения весового коэффициента, описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, для каждого кадра выходных аудиосигналов.

18. Аудиодекодер по п. 1, при этом многоканальный аудиодекодер выполнен с возможностью переменного регулирования весового коэффициента, описывающего долю остаточного сигнала в комбинировании со взвешиванием.

19. Многоканальный аудиодекодер (200; 300; 700; 800) для формирования по меньшей мере двух выходных аудиосигналов (212, 214; 312, 314; 712, 714) на основании кодированного представления (210; 310; 710),

- при этом многоканальный аудиодекодер выполнен с возможностью получения одного из выходных аудиосигналов на основании кодированного представления сигнала (222; 722) понижающего микширования, множества кодированных пространственных параметров (726) и кодированного представления остаточного сигнала (226; 724), и

- при этом многоканальный аудиодекодер выполнен с возможностью осуществления смешивания между параметрическим кодированием и остаточным кодированием в зависимости от остаточного сигнала,

- таким образом, что интенсивность остаточного сигнала определяет, основано ли декодирование главным образом на пространственных параметрах в дополнение к сигналу понижающего микширования, либо основано ли декодирование главным образом на остаточном сигнале в дополнение к сигналу понижающего микширования, либо имеет ли место промежуточное состояние, в котором как пространственные параметры, так и остаточный сигнал влияют на детализацию выходного сигнала, для извлечения выходных аудиосигналов из сигнала понижающего микширования.

20. Многоканальный аудиокодер (100) для формирования кодированного представления (112) многоканального аудиосигнала (110),

- при этом многоканальный аудиокодер выполнен с возможностью получения сигнала (122) понижающего микширования на основании многоканального аудиосигнала,

- формирования параметров (124), описывающих зависимости между каналами многоканального аудиосигнала, и

- формирования остаточного сигнала (126),

- при этом многоканальный аудиокодер выполнен с возможностью варьирования величины остаточного сигнала, включенного в кодированное представление, в зависимости от многоканального аудиосигнала;

- при этом многоканальный аудиокодер выполнен с возможностью избирательного включения остаточного сигнала в кодированное представление для полос частот, для которых многоканальный аудиосигнал является тональным.

21. Многоканальный аудиокодер по п. 20, при этом многоканальный аудиокодер выполнен с возможностью варьирования полосы пропускания остаточного сигнала в зависимости от многоканального аудиосигнала.

22. Многоканальный аудиокодер по п. 20,

- при этом многоканальный аудиокодер выполнен с возможностью выбора полосы частот, для которых остаточный сигнал включен в кодированное представление, в зависимости от многоканального аудиосигнала.

23. Многоканальный аудиокодер по п. 20,

- при этом многоканальный аудиокодер выполнен с возможностью избирательного включения остаточного сигнала в кодированное представление для временных отрезков и/или для полос частот, в которых формирование сигнала понижающего микширования приводит к подавлению компонентов сигнала для многоканального аудиосигнала.

24. Многоканальный аудиокодер по п. 23,

- при этом многоканальный аудиокодер выполнен с возможностью обнаружения подавления компонентов сигнала для многоканального аудиосигнала в сигнале понижающего микширования, и при этом многоканальный аудиокодер выполнен с возможностью активирования инициализации остаточного сигнала в ответ на результат обнаружения.

25. Многоканальный аудиокодер по п. 20,

- при этом многоканальный аудиокодер выполнен с возможностью вычисления остаточного сигнала с использованием линейной комбинации по меньшей мере двух канальных сигналов многоканального аудиосигнала и в зависимости от коэффициентов повышающего микширования, которые должны использоваться на стороне многоканального декодера.

26. Многоканальный аудиокодер по п. 25, при этом многоканальный аудиокодер выполнен с возможностью определения и кодирования коэффициентов повышающего микширования,

- или извлечения коэффициентов повышающего микширования из параметров, описывающих зависимости между каналами многоканального аудиосигнала.

27. Многоканальный аудиокодер по п. 20,

- при этом многоканальный аудиокодер выполнен с возможностью зависимого от времени определения величины остаточного сигнала, включенного в кодированное представление, с использованием психоакустической модели.

28. Многоканальный аудиокодер по п. 20,

- при этом многоканальный аудиокодер выполнен с возможностью зависимого от времени определения величины остаточного сигнала, включенного в кодированное представление, в зависимости от текущей доступной скорости передачи битов.

29. Способ (500) формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления, при этом способ содержит этап, на котором:

- выполняют (520) комбинирование со взвешиванием сигнала понижающего микширования, декоррелированного сигнала и остаточного сигнала для получения одного из выходных аудиосигналов;

- при этом весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, определяется (510) в зависимости от остаточного сигнала;

- при этом упомянутый весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, определяется в зависимости от декоррелированного сигнала.

30. Способ (600) формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления, при этом способ содержит этап, на котором:

- получают (610) одно из выходных аудиосигналов на основании кодированного представления сигнала понижающего микширования, множества кодированных пространственных параметров и кодированного представления остаточного сигнала,

- при этом выполняется (620) смешивание между параметрическим кодированием и остаточным кодированием в зависимости от остаточного сигнала,

- таким образом, что интенсивность остаточного сигнала определяет, основано ли декодирование главным образом на пространственных параметрах в дополнение к сигналу понижающего микширования, либо основано ли декодирование главным образом на остаточном сигнале в дополнение к сигналу понижающего микширования, либо имеет ли место промежуточное состояние, в котором как пространственные параметры, так и остаточный сигнал влияют на детализацию выходного сигнала, для извлечения выходных аудиосигналов из сигнала понижающего микширования.

31. Способ (400) формирования кодированного представления многоканального аудиосигнала, содержащий этапы, на которых:

- получают (410) сигнал понижающего микширования на основании многоканального аудиосигнала;

- формируют (420) параметры, описывающие зависимости между каналами многоканального аудиосигнала; и

- формируют (430) остаточный сигнал;

- при этом величина остаточного сигнала, включенного в кодированное представление, варьируется (440) в зависимости от многоканального аудиосигнала;

- при этом остаточный сигнал избирательно включается в кодированное представление для полос частот, для которых многоканальный аудиосигнал является тональным.

32. Машиночитаемый носитель, имеющий сохраненную на нем компьютерную программу для осуществления способа по п. 29 или 30, когда компьютерная программа выполняется на компьютере.

33. Машиночитаемый носитель, имеющий сохраненную на нем компьютерную программу для осуществления способа по п. 31, когда компьютерная программа выполняется на компьютере.

34. Многоканальный аудиодекодер (200; 300; 700; 800) для формирования по меньшей мере двух выходных аудиосигналов (212, 214; 312, 314; 712, 714) на основании кодированного представления (210; 310; 710),

- при этом многоканальный аудиодекодер выполнен с возможностью осуществления комбинирования (220; 780, 790, 792) со взвешиванием сигнала (222; 752, 754) понижающего микширования, декоррелированного сигнала (224; 756, 758) и остаточного сигнала (226; 760, 762; res) для получения одного из выходных аудиосигналов (212, 214; 712, 714);

- при этом многоканальный аудиодекодер выполнен с возможностью определения весового коэффициента (232; r; r_dec), описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от остаточного сигнала;

- при этом многоканальный аудиодекодер выполнен с возможностью вычисления взвешенного значения (E_dec(hb); E_dec) энергии декоррелированного сигнала, взвешенного в зависимости от одного или более параметров повышающего микширования декоррелированного сигнала, и вычисления взвешенного значения (E_res(hb); E_res) энергии остаточного сигнала, взвешенного с использованием одного или более параметров повышающего микширования остаточного сигнала, определения коэффициента (r, r_dec) в зависимости от взвешенного значения энергии декоррелированного сигнала и взвешенного значения энергии остаточного сигнала, и получения весового коэффициента, описывающего долю декоррелированного сигнала в одном из выходных аудиосигналов, на основании упомянутого коэффициента, или использования упомянутого коэффициента в качестве весового коэффициента, описывающего долю декоррелированного сигнала в одном из выходных аудиосигналов.

35. Многоканальный аудиодекодер (200; 300; 700; 800) для формирования по меньшей мере двух выходных аудиосигналов (212, 214; 312, 314; 712, 714) на основании кодированного представления (210; 310; 710),

- при этом многоканальный аудиодекодер выполнен с возможностью осуществления комбинирования (220; 780, 790, 792) со взвешиванием сигнала (222; 752, 754) понижающего микширования, декоррелированного сигнала (224; 756, 758) и остаточного сигнала (226; 760, 762; res) для получения одного из выходных аудиосигналов (212, 214; 712, 714);

- при этом многоканальный аудиодекодер выполнен с возможностью определения весового коэффициента (232; r; r_dec), описывающего долю декоррелированного сигнала в комбинировании со взвешиванием, в зависимости от остаточного сигнала;

- при этом многоканальный аудиодекодер выполнен с возможностью вычисления двух выходных аудиосигналов ch1, ch2 согласно следующему:

- при этом ch1 представляет одну или более выборок временной области или выборок области преобразования первого выходного аудиосигнала;

- при этом ch2 представляет одну или более выборок временной области или выборок области преобразования второго выходного аудиосигнала;

- при этом x_dmx представляет одну или более выборок временной области или выборок области преобразования сигнала понижающего микширования;

- при этом x_dec представляет одну или более выборок временной области или выборок области преобразования декоррелированного сигнала;

- при этом x_res представляет одну или более выборок временной области или выборок области преобразования остаточного сигнала;

- при этом u_dmx,1 представляет параметр повышающего микширования сигнала понижающего микширования для первого выходного аудиосигнала;

- при этом u_dmx,2 представляет параметр повышающего микширования сигнала понижающего микширования для второго выходного аудиосигнала;

- при этом u_dec,1 представляет параметр повышающего микширования декоррелированного сигнала для первого выходного аудиосигнала;

- при этом u_dec,2 представляет параметр повышающего микширования декоррелированного сигнала для второго выходного аудиосигнала;

- при этом max представляет максимальный оператор; и

- при этом r представляет коэффициент, описывающий взвешивание декоррелированного сигнала в зависимости от остаточного сигнала.

36. Многоканальный аудиокодер (100) для формирования кодированного представления (112) многоканального аудиосигнала (110),

- при этом многоканальный аудиокодер выполнен с возможностью получения сигнала (122) понижающего микширования на основании многоканального аудиосигнала;

- формирования параметров (124), описывающих зависимости между каналами многоканального аудиосигнала; и

- формирования остаточного сигнала (126);

- при этом многоканальный аудиокодер выполнен с возможностью варьирования величины остаточного сигнала, включенного в кодированное представление, в зависимости от многоканального аудиосигнала;

- при этом многоканальный аудиокодер выполнен с возможностью избирательного включения остаточного сигнала в кодированное представление для временных отрезков и/или для полос частот, в которых формирование сигнала понижающего микширования приводит к подавлению компонентов сигнала для многоканального аудиосигнала.

37. Многоканальный аудиокодер (100) для формирования кодированного представления (112) многоканального аудиосигнала (110),

- при этом многоканальный аудиокодер выполнен с возможностью получения сигнала (122) понижающего микширования на основании многоканального аудиосигнала;

- формирования параметров (124), описывающих зависимости между каналами многоканального аудиосигнала; и

- формирования остаточного сигнала (126);

- при этом многоканальный аудиокодер выполнен с возможностью варьирования величины остаточного сигнала, включенного в кодированное представление, в зависимости от многоканального аудиосигнала;

- при этом многоканальный аудиокодер выполнен с возможностью зависимого от времени определения величины остаточного сигнала, включенного в кодированное представление, в зависимости от текущей доступной скорости передачи битов.

38. Способ (500) формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления, при этом способ содержит этап, на котором:

- выполняют (520) комбинирование со взвешиванием сигнала понижающего микширования, декоррелированного сигнала и остаточного сигнала для получения одного из выходных аудиосигналов,

- при этом весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, определяется (510) в зависимости от остаточного сигнала;

- при этом способ содержит этапы, на которых вычисляют взвешенное значение (E_dec(hb); E_dec) энергии декоррелированного сигнала, взвешенного в зависимости от одного или более параметров повышающего микширования декоррелированного сигнала, и вычисляют взвешенное значение (E_res(hb); E_res) энергии остаточного сигнала, взвешенного с использованием одного или более параметров повышающего микширования остаточного сигнала, и определяют коэффициент (r, r_dec) в зависимости от взвешенного значения энергии декоррелированного сигнала и взвешенного значения энергии остаточного сигнала, и получают весовой коэффициент, описывающий долю декоррелированного сигнала в одном из выходных аудиосигналов, на основании упомянутого коэффициента, либо используют упомянутый коэффициент в качестве весового коэффициента, описывающего долю декоррелированного сигнала в одном из выходных аудиосигналов.

39. Способ (500) формирования по меньшей мере двух выходных аудиосигналов на основании кодированного представления, при этом способ содержит этап, на котором:

- выполняют (520) комбинирование со взвешиванием сигнала понижающего микширования, декоррелированного сигнала и остаточного сигнала для получения одного из выходных аудиосигналов;

- при этом весовой коэффициент, описывающий долю декоррелированного сигнала в комбинировании со взвешиванием, определяется (510) в зависимости от остаточного сигнала;

- при этом способ содержит этап, на котором вычисляют два выходных аудиосигнала ch1, ch2 согласно следующему:

- при этом ch1 представляет одну или более выборок временной области или выборок области преобразования первого выходного аудиосигнала;

- при этом ch2 представляет одну или более выборок временной области или выборок области преобразования второго выходного аудиосигнала;

- при этом x_dmx представляет одну или более выборок временной области или выборок области преобразования сигнала понижающего микширования;

- при этом x_dec представляет одну или более выборок временной области или выборок области преобразования декоррелированного сигнала;

- при этом x_res представляет одну или более выборок временной области или выборок области преобразования остаточного сигнала;

- при этом u_dmx,1 представляет параметр повышающего микширования сигнала понижающего микширования для первого выходного аудиосигнала;

- при этом u_dmx,2 представляет параметр повышающего микширования сигнала понижающего микширования для второго выходного аудиосигнала;

- при этом u_dec,1 представляет параметр повышающего микширования декоррелированного сигнала для первого выходного аудиосигнала;

- при этом u_dec,2 представляет параметр повышающего микширования декоррелированного сигнала для второго выходного аудиосигнала;

- при этом max представляет максимальный оператор; и

- при этом r представляет коэффициент, описывающий взвешивание декоррелированного сигнала в зависимости от остаточного сигнала.

40. Способ (400) формирования кодированного представления многоканального аудиосигнала, содержащий этапы, на которых:

- получают (410) сигнал понижающего микширования на основании многоканального аудиосигнала;

- формируют (420) параметры, описывающие зависимости между каналами многоканального аудиосигнала; и

- формируют (430) остаточный сигнал;

- при этом величина остаточного сигнала, включенного в кодированное представление, варьируется (440) в зависимости от многоканального аудиосигнала;

- при этом способ содержит этап, на котором избирательно включают остаточный сигнал в кодированное представление для временных отрезков и/или для полос частот, в которых формирование сигнала понижающего микширования приводит к подавлению компонентов сигнала для многоканального аудиосигнала.

41. Способ (400) формирования кодированного представления многоканального аудиосигнала, содержащий этапы, на которых:

- получают (410) сигнал понижающего микширования на основании многоканального аудиосигнала;

- формируют (420) параметры, описывающие зависимости между каналами многоканального аудиосигнала; и

- формируют (430) остаточный сигнал;

- при этом величина остаточного сигнала, включенного в кодированное представление, варьируется (440) в зависимости от многоканального аудиосигнала;

- при этом способ содержит этап, на котором в зависимости от времени определяют величину остаточного сигнала, включенного в кодированное представление, в зависимости от текущей доступной скорости передачи битов.

42. Машиночитаемый носитель, имеющий сохраненную на нем компьютерную программу для осуществления способа по п. 38 или 39, когда компьютерная программа выполняется на компьютере.

43. Машиночитаемый носитель, имеющий сохраненную на нем компьютерную программу для осуществления способа по п. 40 или 41, когда компьютерная программа выполняется на компьютере.