УСТРОЙСТВО И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ СИГНАЛА УПРАВЛЕНИЯ МНОГОКАНАЛЬНЫМ СИНТЕЗАТОРОМ И УСТРОЙСТВО И СПОСОБ МНОГОКАНАЛЬНОГО СИНТЕЗА Российский патент 2009 года по МПК G10L19/14 

Связанная заявка США

Настоящая заявка испрашивает приоритет предварительной заявки США № 60/671582, поданной 15 апреля 2005 г.

Область техники, к которой относится изобретение

Настоящее изобретение относится к обработке многоканального аудио и, в частности, к многоканальному кодированию и синтезу с использованием параметрической дополнительной информации.

Предшествующий уровень техники

В последнее время способы воспроизведения многоканального аудио становятся все более популярными. Это может иметь место вследствие того, что способы сжатия/кодирования аудио, такие как известный способ уровня 3 MPEG-1 (также известный как mp3), дали возможность распределять аудиосодержимое через Интернет или другие каналы передачи, имеющие ограниченную полосу частот.

Другая причина этой популярности заключается в улучшении пригодности многоканального содержимого и усиления проникновения многоканальных устройств воспроизведения в домашнюю среду.

Способ кодирования mp3 стал настолько известным из-за того факта, что он допускает распределение всех записей в стереоформате, то есть цифровом представлении аудио записи, включающем в себя первый, или левый, стереоканал и второй, или правый, стереоканал. Кроме того, способ mp3 создал новые возможности для распределения аудио при заданных доступной памяти и диапазонах частот передачи.

Однако имеются основные недостатки обычных звуковых систем с двумя каналами. Они приводят к ограниченному пространственному отображению вследствие того факта, что используются только два громкоговорителя. Поэтому были разработаны способы "окружающего" (surround) звука. Рекомендуемое представление многоканального окружающего звука включает в себя, в дополнение к двум стереоканалам L и R, дополнительный центральный канал, C, два канала Ls, Rs окружающего звука и, необязательно, низкочастотный канал расширения или канал «сабвуфер» (sub-woofer). Этот эталонный звуковой формат также называют как три/два-стерео (или формат 5.1), что означает три передних канала и два канала окружающего звука. Обычно требуются пять каналов передачи. В среде воспроизведения необходимы по меньшей мере пять динамиков в соответствующих пяти различных местах, чтобы получить оптимальное благозвучное пятно на некотором расстоянии от пяти хорошо расположенных громкоговорителей.

Известны несколько способов для уменьшения количества данных, требуемых для передачи многоканального аудиосигнала. Такие способы называются способами объединенного стерео. С этой целью приводится ссылка на фиг. 10, которая иллюстрирует устройство 60 объединенного стерео (Joint Stereo). Это устройство может быть устройством, реализующим, например, режим Intensity Stereo (IS), параметрического стерео (Parametric Stereo) (PS) или (связанное) бинауральное (стереофоническое) кодирование сигнала ключей (BCC). Такое устройство обычно принимает - в качестве ввода - по меньшей мере два канала (CH1, CH2, … CHn) и выдает один канал несущей и параметрические данные. Параметрические данные определены так, что в декодере может быть вычислена аппроксимация первоначального канала (CH1, CH2, … CHn).

Обычно канал несущей будет включать в себя выборки поддиапазона, спектральные коэффициенты, выборки во временной области и т. д., которые обеспечивают сравнительно точное представление основного сигнала, в то время как параметрические данные не включают в себя такие выборки спектральных коэффициентов, но включают в себя параметры управления для управления некоторым алгоритмом реконструкции (восстановления), такие как взвешивание посредством умножения, смещение во времени, смещение по частоте, сдвиг по фазе. Параметрические данные поэтому включают в себя только сравнительно грубое представление сигнала ассоциированного канала. Указывая в числах, количество данных, требуемых каналом несущей, кодированным с использованием обычного аудиокодера с потерями, должно находиться в пределах 60-70 кбит/с, в то время как количество данных, требуемых параметрической дополнительной информацией для одного канала, должно находиться в пределах 1,5-2,5 кбит/с. Примерами параметрических данных являются известные коэффициенты масштабирования, информация режима Intensity Stereo или параметры бинаурального (стереофонического) сигнала, как описано ниже.

Режим кодирования Intensity Stereo описан в AES preprint 3799, "Intensity Stereo Coding", J. Herre, K. H. Brandenburg, D. Lederer, at 96th AES, February 1994, Amsterdam (AES - Общество Аудиоинженерии). В целом, концепция Intensity Stereo основана на преобразовании основной оси, которое должно быть применено к данным обоих стереофонических аудиоканалов. Если большинство точек данных сконцентрировано вокруг первой принципиальной оси, выигрыш при кодировании может быть достигнут посредством поворота обоих сигналов на некоторый угол до кодирования и исключения второго ортогонального компонента из передачи в потоке битов. Восстановленные сигналы для левого и правого каналов состоят из по-разному взвешенных или масштабированных версий одного и того же переданного сигнала. Тем не менее, восстановленные сигналы отличаются по их амплитуде, но идентичны относительно их фазовой информации. Огибающие энергия-время обоих первоначальных аудиоканалов, однако, сохраняются посредством операции селективного масштабирования, которая обычно выполняется частотно-селективным образом. Это соответствует человеческому восприятию звука на высоких частотах, где доминирующие пространственные сигналы определяются огибающими энергии.

Дополнительно, при практической реализации переданный сигнал, то есть канал несущей, формируется из суммарного сигнала левого канала и правого канала вместо поворота обоих компонентов. Кроме того, эта обработка, то есть формирование параметров режима Intensity Stereo для выполнения операции масштабирования, выполняется частотно-селективным образом, то есть независимо для каждого диапазона с коэффициентом масштабирования, то есть разделением частоты кодера. Предпочтительно оба канала комбинируются (объединяются), чтобы сформировать объединенный или канал "несущей", и в дополнение к объединенному каналу определяют информацию режима Intensity Stereo, которая зависит от энергии первого канала, энергии второго канала или энергии объединенного канала.

Способ BCC описан в AES convention paper 5574, "Binaural cue coding applied to stereo and multichannel audio compression", C. Faller, F. Baumgarte, May 2002, Munich. При BCC кодировании множество входных аудиоканалов преобразуют в спектральное представление, используя основанное на DFT (дискретном преобразовании Фурье, ДПФ) преобразование с перекрывающимися "окнами". Результирующий однородный спектр разделяют на не перекрывающиеся части, причем каждая имеет индекс. Каждая часть имеет полосу частот, пропорциональную эквивалентной прямоугольной полосе частот (ERB). Межканальные разности по уровню (МРУ, ICLD) и межканальные разности по времени (МРВ, ICTD) оценивают для каждой части для каждого кадра k. ICLD и ICTD квантуют и кодируют, что приводит к битовому потоку BCC. Межканальные разности по уровню и межканальные разности по времени задаются для каждого канала относительно опорного канала. Затем вычисляют параметры в соответствии с предписанными формулами, которые зависят от некоторых частей сигнала, который должен быть обработан.

На стороне декодера декодер принимает монофонический сигнал и битовый поток BCC. Монофонический сигнал преобразуют в частотную область и вводят в блок пространственного синтеза, который также принимает декодированные значения ICLD и ICTD. В блоке пространственного синтеза значения параметров BCC (ICLD и ICTD) используются для выполнения операции взвешивания монофонического сигнала, чтобы синтезировать многоканальные сигналы, которые после преобразования "частота/время" представляют реконструкцию первоначального многоканального аудио сигнала.

В случае BCC модуль 60 объединенного стерео (Joint Stereo) выполняет операции, чтобы выдать канальную дополнительную (вспомогательную) информацию так, что параметрические канальные данные являются квантованными и закодированными ICLD или ICTD параметрами, причем один из первоначальных каналов используется как опорный канал для кодирования канальной дополнительной информации.

Как правило, в наиболее простом варианте осуществления канал несущей формируют из суммы участвующих исходных каналов.

Естественно, вышеупомянутые способы обеспечивают только монофоническое представление для декодера, который может обрабатывать только канал несущей, но не способен обработать параметрические данные для формирования одной или более аппроксимаций более чем одного входного канала.

Способ кодирования аудио, известный как бинауральное кодирование сигнала (BCC), также хорошо описан в публикациях патентных заявок США 2003/0219130 A1, 2003/0026441 A1 и 2003/0035553 A1. Дополнительная ссылка также делается на "Binaural Cue Coding. Part II: Schemes and Applications", C. Faller and F. Baumgarte, IEEE Trans. On Audio and Speech Proc., Vol. 11, No. 6, ноябрь 2003. Цитируемые публикации патентных заявок США и две процитированные технические публикации по способу BCC, написанные Faller и Baumgarte, включены здесь по ссылке в их полноте.

Значительные усовершенствования схемы бинаурального кодирования сигнала, которые делают параметрические схемы применимыми к намного более широкому диапазону скорости передачи информации в битах, известны как "параметрическое стерео" (Paremetric Stereo) (ПС, PS), например стандартизированный в MPEG-4 высоко эффективный AAC v2. Одно из важных расширений параметрического стерео - включение параметра пространственной "расплывчатости" (диффузности). Этот объект восприятия зафиксирован в математическом свойстве межканальной корреляции или межканальной когерентности (МКК, ICC). Анализ, перцептуальное квантование, передача и процессы синтеза параметров PS подробно описаны в "Parametric coding of stereo audio", J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers, EURASIP J. Appl. Sign. Proc. 2005:9, 1305-1322. Далее ссылка делается на J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers, "High-Quality Parametric Spatial Audio Coding at Low Bi-trates", AES 116th Convention, Berlin, Preprint 6072, May 2004, and E. Schuijers, J. Breebaart, H. Purnhagen, J. Eng-degard, "Low Complexity Parametric Stereo Coding", AES 116th Convention, Berlin, Preprint 6073, May 2004.

Ниже типичная общая схема BCC для многоканального кодирования аудио описана более подробно со ссылками на фиг. 11-13. Фиг. 11 иллюстрирует такую общую схему бинаурального кодирования сигнала для кодирования/передачи многоканальных аудио сигналов. Многоканальный входной аудиосигнал на входе 110 кодера BCC 112 является смешанным с уменьшением в блоке 114 смешения с уменьшением. В настоящем примере первоначальный многоканальный сигнал на входе 110 является 5-канальным сигналом окружающего звука, имеющим передний левый канал, передний правый канал, левый канал окружающего звука, правый канал окружающего звука и центральный канал. В предпочтительном варианте осуществления настоящего изобретения блок смешения с уменьшением выдает суммированный сигнал простым суммированием этих пяти каналов в монофонический сигнал. Другие схемы смешения с уменьшением известны в области техники, так что, используя многоканальный входной сигнал, может быть получен смешанный с уменьшением сигнал, имеющий единственный канал. Этот единственный канал выводится на линии 115 суммарного сигнала. Дополнительная информация, полученная блоком 116 анализа BCC, выводится на линию 117 дополнительной информации. В блоке анализа BCC межканальные разности по уровню (МРП, ICLD) и межканальные разности по времени (МРВ, ICTD) вычисляют так, как описано выше. Недавно блок анализа BCC унаследовал параметры Parametric Stereo (параметрического стерео) в форме значений межканальной корреляции (значения ICC). Суммарный сигнал и дополнительную информацию передают предпочтительно в квантованной и кодированной форме на декодер 120 BCC. Декодер BCC выполняет декомпозицию переданного суммарного сигнала на ряд поддиапазонов и применяет масштабирование, задержки и другую обработку, чтобы сформировать поддиапазоны выходных многоканальных аудиосигналов. Эта обработка выполняется так, что параметры ICLD, ICTD и ICC (ключи, сигналы) восстановленного (реконструированного) многоканального сигнала на выходе 121 являются аналогичными соответствующим ключам для первоначального многоканального сигнала на входе 110 в кодер 112 BCC. С этой целью декодер 120 BCC включает в себя блок 122 синтеза BCC и блок 123 обработки дополнительной информации.

Ниже описана внутренняя конструкция блока 122 синтеза BCC со ссылками на фиг. 12. Суммарный сигнал на линии 115 является входным в блок преобразования время/частота или блок 125 фильтров (БФ, FB). На выходе блока 125 существует количество N сигналов поддиапазонов или, в крайнем случае, блок спектральных коэффициентов, когда блок 125 фильтров аудио выполняет преобразование 1:1, то есть преобразование, которое производит N спектральных коэффициентов из N выборок во временной области.

Блок 122 синтеза BCC дополнительно содержит каскад 126 задержки, каскад 127 модификации уровня, каскад 128 обработки корреляции и каскад 129 блока обратных фильтров (БОФ, IFB). На выходе каскада 129 восстановленный многоканальный сигнал аудио, имеющий, например, пять каналов в случае 5-канальной системы окружающего звука, может выводиться на набор 124 громкоговорителей, как проиллюстрировано на фиг. 11.

Как показано на фиг. 12, входной сигнал s(n) преобразуют в частотную область или область блока фильтров посредством элемента 125. Сигнал, выводимый элементом 125, размножают так, что получают несколько версий одного и того же сигнала, как проиллюстрировано узлом 130 размножения. Число версий первоначального сигнала равно числу выходных каналов в выходном сигнале, который должен быть восстановлен. Когда, в общем случае, каждая версия первоначального сигнала в узле 130 подвергается некоторой задержке

d₁, d₂, …, d_i, …, d_N. Параметры задержки вычисляют блоком 123 обработки дополнительной информации на фиг. 11 и получают из межканальных разностей по времени, как определено блоком 116 анализа BCC.

То же самое справедливо для параметров a₁, a₂, …, a_i, …, a_N умножения, которые также вычисляют блоком 123 обработки дополнительной информации на основании межканальных разностей по уровню, которые вычисляют блоком 116 анализа BCC.

Параметры ICC, вычисленные блоком 116 анализа BCC, используются для управления функциональными возможностями блока 118 так, что некоторые корреляции между задержанными и сигналами с манипулируемым уровнем получают на выходах блока 128. Следует отметить, что упорядочение каскадов 126, 127, 128 может отличаться от случая, показанного на фиг. 12.

Следует отметить, что в обработке аудиосигнала по кадрам анализ BCC выполняют по кадрам, то есть изменяющегося во времени и также изменяющегося по частоте. Это означает, что для каждой спектральной полосы получают параметры BCC. Это означает, что в случае, если блок 125 фильтров аудио выполняет декомпозицию входного сигнала на сигналы, например, 32 диапазонов, блоки анализа BCC получают набор параметров BCC для каждой из этих 32 диапазонов. Естественно, блок 122 синтеза BCC на фиг. 11, который показан подробно на фиг. 12, выполняет реконструкцию (восстановление), которая также основана на этих 32 диапазонах в данном примере.

Ниже ссылка приводится к фиг. 13, иллюстрирующую компоновку для определения некоторых параметров BCC. Обычно параметры ICLD, ICTD и ICC могут быть определены между парами каналов. Однако предпочтительно определить параметры ICLD и ICTD между опорным каналом и каждым другим каналом. Это иллюстрируется на фиг. 13A.

Параметры ICC могут быть определены различными способами. В наиболее общем случае можно оценивать параметры ICC в кодере между всеми возможными парами каналов, как показано на фиг. 13B. В этом случае декодер может синтезировать ICC так, что они являются приблизительно такими же, как в первоначальном многоканальном сигнале между всеми возможными парами каналов. Было, однако, предложено оценивать параметры ICC только между самыми сильными двумя каналами в каждый момент времени. Эта схема иллюстрируется на фиг. 13C, где показан пример, в котором в один момент времени оценивают параметр ICC между каналами 1 и 2, а в другой момент времени вычисляют параметр ICC между каналами 1 и 5. Декодер затем синтезирует межканальную корреляцию между самыми сильными каналами в декодере и применяет некоторое эвристическое правило для вычисления и синтеза межканальной когерентности для остающихся пар каналов.

Относительно вычисления, например, параметров a_i, a_N умножения на основании переданных параметров ICLD, ссылка делается к конвенционной статье 5574 AES, упомянутой выше. Параметры ICLD представляют распределение энергии в первоначальном многоканальном сигнале. Без потери общности на фиг. 13A показано, что имеются четыре параметра ICLD, показывающие разности энергии между всеми другими каналами и передним левым каналом. В блоке обработки дополнительной информации параметры a_i, …, a_N умножения получают из параметров ICLD так, что полная энергия всех восстановленных выходных каналов является такой же, как (или пропорциональной) энергия переданного суммарного сигнала. Простым путем определения этих параметров является процесс с 2 стадиями, в котором на первой стадии коэффициент умножения для левого переднего канала устанавливают равным единице, в то время как коэффициент умножения для других каналов на фиг. 13A устанавливают равным переданным значениям ICLD. Затем на второй стадии энергию всех пяти каналов вычисляют и сравнивают с энергией переданного суммарного сигнала. Затем все каналы масштабируют с уменьшением, используя коэффициент масштабирования с уменьшением, который является равным для всех каналов, при этом коэффициент масштабирования с уменьшением выбирают так, что полная энергия всех восстановленных выходных каналов масштабирования с уменьшением равна полной энергии переданного суммарного сигнала.

Естественно, существуют другие способы вычисления коэффициентов умножения, которые не основаны на процессе с 2 стадиями, но которые нуждаются только в процессе с 1 стадией. Способ с 1 стадией описан в препринте AES "The reference model architecture for MPEG spatial audio coding", J. Herre et al., 2005, Barcelona.

В отношении параметров задержки следует отметить, что параметры ICTD задержки, которые передаются от кодера BCC, могут использоваться непосредственно, когда параметр d₁ задержки для левого переднего канала установлен равным нулю. Никакое перемасштабирование не должно быть сделано в этом случае, так как задержка не изменяет энергию сигнала.

В отношении измерения параметров ICC межканальной когерентности, переданных от кодера BCC на декодер BCC, следует отметить, что может быть выполнена манипуляция когерентности, модифицируя коэффициент умножения a₁, …, a_N, например, перемножая коэффициенты взвешивания всех поддиапазонов со случайными числами со значениями между 20log10(-6) и 20log10(6). Псевдослучайная последовательность предпочтительно выбирается такой, что дисперсия является приблизительно постоянной для всех критических диапазонов, а среднее равно нулю в пределах каждого критического диапазона. Та же самая последовательность применяется к спектральным коэффициентам для каждого отличного кадра. Таким образом, ширина слышимого изображения (картины) управляется посредством модификации дисперсии псевдослучайной последовательности. Большая дисперсия создает большую ширину изображения. Модификация дисперсии может быть выполнена в отдельных диапазонах, которые имеют критическую ширину полосы. Это допускает одновременное существование множества объектов в слышимой сцене, причем каждый объект имеет различную ширину изображения. Подходящим распределением амплитуды для псевдослучайной последовательности является однородное распределение по логарифмической шкале, как это указано в публикации патентной заявки США 2003/0219130 A1. Тем не менее, вся обработка синтеза BCC относится к единственному входному каналу, переданному в качестве суммарного сигнала с кодера BCC на декодер BCC, как показано на фиг. 11.

Как было отмечено выше со ссылкой на фиг. 13, параметрическая дополнительная информация, то есть межканальные разности по уровню (ICLD), межканальные разности по времени (ICTD) или параметр межканальной когерентности (ICC), может быть вычислена и передана для каждого из этих пяти каналов. Это означает, что обычно передают пять наборов межканальных разностей по уровню для сигнала с пятью каналами. То же самое справедливо для межканальных разностей по времени. Относительно параметра межканальной когерентности также может быть достаточно передать только, например, два набора этих параметров.

Как было отмечено выше со ссылкой на фиг. 12, имеется не один параметр разности по уровню, параметр разности во времени или параметр когерентности для одного кадра или временной части сигнала. Вместо этого, эти параметры определены для нескольких различных частотных диапазонов так, чтобы была получена частотно-зависимая параметризация. Так как предпочтительно использовать, например, 32 частотных канала, то есть блок фильтров, имеющий 32 частотных диапазона для анализа BCC и синтеза BCC, эти параметры могут занимать весьма большой объем данных. Хотя по сравнению с другими многоканальными передачами параметрическое представление приводит к весьма низкой частоте следования данных, имеется настоятельная потребность в дальнейшем сокращении необходимой частоты следования данных для представления многоканального сигнала, например сигнала, имеющего два канала (стереосигнал), или сигнала, имеющего больше двух каналов, например многоканального сигнала окружающего звука.

С этой целью вычисленные на стороне кодера параметры восстановления квантуются в соответствии с некоторым правилом квантования. Это означает, что не квантованные параметры восстановления отображаются в ограниченный набор уровней квантования или индексов квантования, как известно в данной области техники и подробно описано специально для параметрического кодирования в "Parametric coding of stereo audio", J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers, EURASIP J. Appl. Sign. Proc. 2005:9, 1305-1322, и в C. Faller and F. Baumgarte, "Binaural cue coding applied to audio compression with flexible rendering," AES 113th Convention, Los Angeles, Preprint 5686, октябрь 2002.

Квантование имеет тот эффект, что все значения параметра, которые меньше, чем размер шага квантования, квантуются в ноль, в зависимости от того, имеет ли блок квантования характеристику с нулем в центре шага квантования или характеристику с нулем на границе шага квантования. Отображая большой набор неквантованных значений в маленький набор квантованных значений, получают экономию дополнительных данных. Эти экономии частоты следования данных дополнительно увеличивают посредством статистического кодирования квантованных параметров восстановления на стороне кодера. Предпочтительными методами статистического кодирования являются методы Хаффмана на основании заранее определенных кодовых таблиц или на основании фактического определения статистик сигнала и адаптивной к сигналу конструкции кодовых книг. Альтернативно, могут использоваться другие средства статистического кодирования, например арифметическое кодирование.

Вообще, существует правило, что частота следования данных, требуемая для параметров восстановления, уменьшается с увеличением размера шага блока квантования. Иначе говоря, более грубое квантование приводит к более низкой частоте следования данных, и более точное квантование приводит к более высокой частоте следования данных.

Так как параметрические представления сигнала обычно требуются для сред с низкой частотой следования данных, имеются попытки квантовать параметры восстановления настолько грубо, насколько возможно, чтобы получить представление сигнала, имеющее некоторое количество данных в основном канале, а также имеющее разумное малое количество данных для дополнительной информации, которые включают в себя квантованные и статистически кодированные параметры восстановления.

Предшествующие известные способы поэтому получают параметры восстановления, которые должны быть переданы непосредственно из многоканального сигнала, который должен быть закодирован. Грубое квантование, как описано выше, приводит к искажениям параметров восстановления, что приводит к большим ошибкам округления, когда квантованный параметр восстановления обратно квантуется в декодере и используется для многоканального синтеза. Естественно, ошибка округления увеличивается с размером шага блока квантования, то есть с выбранной "грубостью блока квантования". Такие ошибки округления могут приводить к изменению уровня квантования, то есть к изменению от первого уровня квантования в первый момент времени ко второму уровню квантования в более поздний момент времени, причем разность между одним уровнем блока квантования и другим уровнем блока квантования определяется весьма большим размером шага блока квантования, что является предпочтительным для грубого квантования. К сожалению, такая величина изменения уровня блока квантования, составляющая большой размер шага блока квантования, может быть вызвана только очень малым изменением параметра, когда неквантованный параметр находится в середине между двумя уровнями квантования. Ясно, что возникновение таких изменений индекса блока квантования в дополнительной информации приводит к таким же сильным изменениям на этапе синтеза сигнала. Когда, например, рассматривается межканальная разность по уровню, становится ясно, что большое изменение приводит к большому уменьшению громкости сигнала некоторого громкоговорителя и сопровождается большим увеличением громкости сигнала для другого громкоговорителя. Эта ситуация, которая вызвана только единственным изменением уровня квантования для грубого квантования, может быть воспринята как мгновенное перемещение источника звука от (виртуального) первого местоположения во (виртуальное) второе местоположение. Такое мгновенное перемещение из одного момента времени в другой момент времени звучит неестественно, то есть воспринимается как эффект модуляции, так как источники звука, в частности тональные сигналы, не изменяют свое местоположение очень быстро.

Вообще, ошибки передачи могут также приводить к большим изменениям индексов блока квантования, что немедленно приводит к большим изменениям в многоканальном выходном сигнале, что является даже еще более истинным для ситуаций, в которых был принят грубый блок квантования по причинам частоты следования данных.

Современные способы параметрического кодирования двух ("стерео") или более ("многоканальных") входных аудиоканалов выводят (получают) пространственные параметры непосредственно из входных сигналов. Примерами таких параметров являются, как отмечено выше, межканальные разности по уровню (ICLD) или межканальные разности по интенсивности (IID), межканальные временные задержки (ICTD) или межканальные разности фаз (IPD) и межканальная корреляция/когерентность (ICC), каждый из которых передается способом селекции по времени и частоте, то есть по полосам частот и как функция времени. Для передачи таких параметров на декодер желательно, чтобы грубое квантование этих параметров сохранило частоту следования дополнительной информации на минимуме. Как следствие, значительные ошибки округления имеют место при сравнении переданных значений параметра с их первоначальными значениями. Это означает, что даже мягкое и постепенное изменение одного параметра в первоначальном сигнале может привести к резкому изменению значения параметра, используемого в декодере, если порог принятия решения о переходе от одного значения квантованного параметра к следующему значению превышен. Так как эти значения параметра используются для синтеза выходного сигнала, резкие изменения значений параметра могут также вызывать "скачки" в выходном сигнале, которые для некоторых типов сигналов воспринимаются как раздражающие в качестве артефактов "переключение" или "модуляция" (в зависимости от степени разбиения во времени и степени квантования параметров).

Патентная заявка США № 10/883538 описывает процесс для постобработки переданных значений параметров в контексте способов типа BCC, чтобы избежать артефактов для некоторых типов сигналов при представлении параметров с низким разрешением. Эти неоднородности в процессе синтеза ведут к артефактам для тональных сигналов. Поэтому эта патентная заявка США предлагает использовать детектор тональности в декодере, который используется для анализа переданного "смешанного с уменьшением" сигнала. Когда обнаружено, что сигнал является тональным, через какое-то время выполняется операция сглаживания над переданными параметрами. Следовательно, этот тип обработки представляет средство для эффективной передачи параметров для тональных сигналов.

Имеются, однако, классы входных сигналов, отличных от тональных входных сигналов, которые являются одинаково чувствительными к грубому квантованию пространственных параметров.

Одним примером таких случаев являются точечные источники, которые медленно перемещаются между двумя позициями (например, шумовой сигнал, очень медленно перемещающийся между центральным и левым передним динамиками). Грубое квантование параметров уровня должно привести к заметным "скачкам" (неоднородностям) в пространственной позиции и траектории источника звука. Так как эти сигналы обычно не обнаруживаются в качестве тонального в декодере, известное в области техники сглаживание, очевидно, не должно помочь в этом случае.

Другими примерами являются быстро перемещающиеся точечные источники, которые имеют тональные данные, типа быстро изменяющихся синусоид. Известное в области техники сглаживание обнаружит эти компоненты как тональные и таким образом вызовет операцию сглаживания. Однако, поскольку скорость движения не известна для известного алгоритма сглаживания, примененная постоянная времени сглаживания может быть обычно неприемлемой и, например, будет воспроизводить перемещающийся точечный источник со значительно более медленной скоростью движения и существенной задержкой воспроизведенной пространственной позиции по сравнению с первоначально предназначенной позицией.

Задачей настоящего изобретения является создание улучшенной концепции обработки аудиосигналов, допускающей малую скорость передачи данных, с одной стороны, и хорошее субъективное качество, с другой стороны.

В соответствии с первым аспектом настоящего изобретения эта задача решается устройством для формирования сигнала управления многоканальным синтезатором, содержащим анализатор сигнала для анализа многоканального входного сигнала; блок вычисления информации сглаживания для определения (задания) информации управления сглаживанием в ответ на анализатор сигнала, причем блок вычисления информации сглаживания выполнен с возможностью определять (задавать) информацию управления сглаживанием так, что в ответ на информацию управления сглаживанием постпроцессор на стороне синтезатора формирует постобработанный параметр восстановления или постобработанный параметр, полученный из параметра восстановления в течение временной части входного сигнала, который должен быть обработан; и формирователь данных для формирования сигнала управления, представляющего информацию управления сглаживанием в качестве сигнала управления многоканальным синтезатором.

В соответствии со вторым аспектом настоящего изобретения эта задача решается многоканальным синтезатором для формирования выходного сигнала из входного сигнала, причем входной сигнал имеет по меньшей мере один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантованы в соответствии с правилом квантования и связаны с последующими временными частями входного сигнала, выходной сигнал имеет ряд синтезированных выходных каналов, и количество синтезированных выходных каналов больше одного или больше, чем число входных каналов, при этом входной канал имеет сигнал управления многоканальным синтезатором, представляющий информацию управления сглаживанием, упомянутая информация управления сглаживанием зависит от анализа сигнала на стороне кодера, информация управления сглаживанием определена так, что постпроцессор на стороне синтезатора генерирует в ответ на сигнал управления синтезатором постобработанный параметр восстановления или постобработанный параметр, полученный из этого параметра восстановления, содержащим средство выдачи сигнала управления для обеспечения сигнала управления, имеющего информацию управления сглаживанием; постпроцессор для определения в ответ на сигнал управления постобработанного параметра восстановления или постобработанного параметра, полученного из этого параметра восстановления для временной части входного сигнала, который должен быть обработан, при этом постпроцессор выполнен с возможностью определять постобработанный параметр восстановления или постобработанный параметр так, что значение постобработанного параметра восстановления или постобработанного параметра отличается от значения, получаемого с использованием обратного квантования в соответствии с правилом квантования; и многоканальный блок восстановления (реконструирования) для восстановления временной части ряда синтезированных выходных каналов, используя эту временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

Дополнительные аспекты настоящего изобретения относятся к способу формирования сигнала управления многоканальным синтезатором, способу формирования выходного сигнала из входного сигнала, соответствующим компьютерным программам или сигналу управления многоканальным синтезатором.

Настоящее изобретение основано на обнаружении того, что управляемое стороной кодера сглаживание параметров восстановления приводит к улучшенному качеству аудио синтезированного многоканального выходного сигнала. Это существенное усовершенствование качества аудио может быть получено дополнительной обработкой на стороне кодера, чтобы определить информацию управления сглаживанием, которая может быть в предпочтительных вариантах осуществления настоящего изобретения передана на декодер, причем передача требует только ограниченного (малого) количества битов.

На стороне декодера информация управления сглаживанием используется, чтобы управлять операцией сглаживания. Это управляемое кодером параметрическое сглаживание на стороне декодера может использоваться вместо параметрического сглаживания на стороне декодера, которое основано на, например, обнаружении тональности/переходного процесса, или может использоваться в комбинации с параметрическим сглаживанием на стороне декодера. Этот способ применяется для некоторой временной части, и некоторый частотный диапазон переданного смешанного с уменьшением сигнала может также быть сообщен, используя информацию управления сглаживанием, как определено анализатором сигнала на стороне кодера.

Подытоживая сказанное, настоящее изобретение выгодно тем, что управляемое со стороны кодера адаптивное сглаживание параметров восстановления выполняется в многоканальном синтезаторе, что приводит к существенному увеличению качества аудио, с одной стороны, и что приводит только к малому количеству дополнительных битов. Ввиду того факта, что присущее ухудшение качества квантования смягчается при использовании дополнительной информации управления сглаживанием, изобретательные концепции могут даже применяться без какого-либо увеличения и даже с уменьшением количества переданных битов, так как биты для информации управления сглаживанием могут быть сохранены, применяя даже более грубое квантование, так чтобы меньшее количество битов требовалось для кодирования квантованных значений. Таким образом, информация управления сглаживанием вместе с закодированными квантованными значениями может даже требовать такой же или меньшей частоты следования битов квантованных значений без информации управления сглаживанием, как отмечено в неопубликованной патентной заявке США, в то же время сохраняя тот же уровень или более высокий уровень субъективного качества аудио.

Вообще, постобработка для квантованных параметров восстановления, используемая в многоканальном синтезаторе, выполнена с возможностью уменьшить или даже устранить проблемы, связанные с грубым квантованием, с одной стороны, и изменениями уровня квантования, с другой стороны.

В то время как в системах согласно уровню техники малое изменение параметра в кодере может приводить к сильному изменению параметра в декодере, так как обратное квантование в синтезаторе допустимо только для ограниченного набора квантованных значений, изобретенное устройство выполняет постобработку параметров восстановления так, что постобработанный параметр восстановления для временной части, которая должна быть обработана, входного сигнала не определяется принятым кодером растром квантования, но приводит к значению параметра восстановления, которое отличается от значения, получаемого посредством квантования в соответствии с правилом квантования.

В случае линейного блока квантования способ согласно уровню техники только допускает умножение обратно квантованных значений, являющихся целым числом, на величину шага блока квантования, при этом изобретательная постобработка допускает умножение обратно квантованных значений, являющихся нецелым числом, на размер шага блока квантования. Это означает, что изобретательная постобработка смягчает ограничение на размер шага блока квантования, так как также постобработанные параметры восстановления, находящиеся между двумя смежными уровнями блока квантования, могут быть получены постобработкой и использоваться изобретательным многоканальным блоком восстановления (реконструирования), что дает возможность использовать постобработанный параметр восстановления.

Эта постобработка может быть выполнена до или после обратного квантования в многоканальном синтезаторе. Когда постобработка выполняется с квантованными параметрами, то есть с индексами блока квантования, необходим блок обратного квантования, который может выполнять обратное квантование не только кратным к шагу блока квантования, но и который может также выполнять обратное квантование к обратно квантованным значениям между кратными размеру шага блока квантования.

В случае, если постобработка выполняется, используя обратно квантованные параметры восстановления, может использоваться блок прямого обратного квантования, и интерполяция/фильтрация/сглаживание выполняются с обратно квантованными значениями.

В случае правила нелинейного квантования, типа правила логарифмического квантования, постобработка квантованных параметров восстановления до обратного квантования является предпочтительной, так как логарифмическое квантование аналогично восприятию звука человеческим ухом, которое является более точным для звука низкого уровня и менее точным для звука высокого уровня, то есть выполняет своего рода логарифмическое сжатие.

Следует отметить, что изобретательные достоинства не только получены посредством модификации самого параметра восстановления, который включен в битовый поток в качестве квантованного параметра. Преимущества также могут быть получены посредством вывода (получения) постобработанного параметра из параметра восстановления. Это особенно полезно, когда параметром восстановления является разностный параметр, и манипуляция, такая как сглаживание, выполняется в отношении абсолютного параметра, полученного из разностного параметра.

В предпочтительном варианте осуществления настоящего изобретения постобработка для параметров восстановления управляется посредством анализатора сигнала, который анализирует часть сигнала, связанную с параметром восстановления, чтобы выяснить, какая характеристика сигнала присутствует. В предпочтительном варианте осуществления управляемая декодером постобработка активируется только для тональных частей сигнала (относительно частоты и/или времени) или когда тональные части генерируются точечным источником только для медленно перемещающихся точечных источников, в то время как постобработка деактивируется для нетональных частей, то есть частей переходного процесса во входном сигнале или быстро перемещающихся точечных источников, имеющих тональный сигнал. Это дает уверенность, что полная динамика изменений параметра восстановления передается для переходных секций аудиосигнала, в то время как дело обстоит иначе для тональных частей сигнала.

Предпочтительно постпроцессор выполняет модификацию в форме сглаживания параметров восстановления, где это дает смысл с психоакустической точки зрения, без воздействия на важные сигналы пространственного обнаружения, которые имеют особую важность для нетональных, то есть переходных, частей сигнала.

Настоящее изобретение приводит к низкой частоте следования данных, так как квантование на стороне кодера параметров восстановления может быть грубым квантованием, так как проектировщик системы не должен бояться существенных изменений в декодере из-за изменения параметра восстановления от одного обратно квантованного уровня к другому обратно квантованному уровню, причем это изменение уменьшено изобретенной обработкой посредством отображения в значение, находящееся между двумя уровнями обратного квантования.

Другое преимущество настоящего изобретения состоит в том, что качество системы улучшается, так как слышимые артефакты, вызванные изменением от одного уровня обратного квантования на следующий разрешенный уровень обратного квантования, уменьшаются предлагаемой постобработкой, которая предназначена, чтобы отобразить в значение между двумя разрешенными уровнями обратного квантования.

Естественно, предложенная постобработка квантованных параметров восстановления представляет дальнейшую потерю информации в дополнение к потере информации, полученной параметризацией в кодере и последующим квантованием параметра восстановления. Это, однако, не является проблемой, так как предложенный постпроцессор предпочтительно использует текущие или предшествующие квантованные параметры восстановления для определения постобработанного параметра восстановления, который нужно использовать для восстановления текущей временной части входного сигнала, то есть основного канала. Показано, что это приводит к улучшенному субъективному качеству, так как введенные кодером ошибки можно компенсировать до некоторой степени. Даже когда введенные стороной кодера ошибки не скомпенсированы постобработкой параметров восстановления, сильные изменения пространственного восприятия в восстановленном многоканальном сигнале аудио уменьшаются, предпочтительно только для тональных частей сигнала, так чтобы субъективное качество слушания было улучшено в любом случае, независимо от факта, приводит ли это к дальнейшей потере информации или нет.

Краткое описание чертежей

Предпочтительные варианты осуществления настоящего изобретения описаны ниже со ссылками на прилагаемые чертежи, на которых:

Фиг. 1а иллюстрирует схематическую диаграмму устройства на стороне кодера и соответствующего устройства на стороне декодера в соответствии с первым вариантом осуществления настоящего изобретения;

Фиг. 1b иллюстрирует схематическую диаграмму устройства на стороне кодера и соответствующего устройства на стороне декодера в соответствии с другим предпочтительным вариантом осуществления настоящего изобретения;

Фиг. 1c иллюстрирует схематическую блок-схему предпочтительного генератора сигнала управления;

Фиг. 2a иллюстрирует схематическое представление для определения пространственной позиции источника звука;

Фиг. 2b изображает последовательность операций предпочтительного варианта осуществления для вычисления постоянной времени сглаживания в качестве примера информации сглаживания;

Фиг. 3a иллюстрирует альтернативный вариант осуществления для вычисления квантованных межканальных разностей по интенсивности и соответствующих параметров сглаживания;

Фиг. 3b изображает примерную диаграмму, иллюстрирующую разность между измеренным параметром IID на кадр и квантованным параметром IID на кадр и обработанный квантованный параметр IID на кадр для различных постоянных времени;

Фиг. 3c иллюстрирует последовательность операций предпочтительного варианта осуществления концепции, применяемой на фиг. 3a;

Фиг. 4a изображает схематическое представление, иллюстрирующее управляемую стороной декодера систему;

Фиг. 4b изображает схематическую диаграмму комбинации постпроцессор/анализатор сигнала, которая должна быть использована в предложенном многоканальном синтезаторе согласно фиг.1b;

Фиг. 4c изображает схематическое представление временных частей входного сигнала и ассоциированных квантованных параметров восстановления для предыдущих частей сигнала, текущих частей сигнала, которые должны быть обработаны, и последующих частей сигнала;

Фиг. 5 изображает вариант осуществления управляемого кодером устройства сглаживания параметра согласно фиг. 1;

Фиг. 6a изображает другой вариант осуществления управляемого кодером устройства сглаживания параметра, показанного на фиг. 1;

Фиг. 6b изображает другой предпочтительный вариант осуществления управляемого кодером устройства сглаживания параметра;

Фиг. 7a изображает другой вариант осуществления управляемого кодером устройства сглаживания параметра, показанного на фиг. 1;

Фиг. 7b изображает схематическую индикацию параметров, которые должны быть подвергнуты постобработке в соответствии с изобретением, показывая, что также параметр, полученный из параметра восстановления, может быть сглажен;

Фиг. 8 является схематическим представлением блока квантования/блока обратного квантования, выполняющего прямое отображение или расширенное отображение;

Фиг. 9a является примерным следованием во времени квантованных параметров восстановления, ассоциированных с последующими частями входного сигнала;

Фиг. 9b изображает следование во времени постобработанных параметров восстановления, которые были подвергнуты постобработке постпроцессором, осуществляющим функцию сглаживания (фильтрация нижних частот);

Фиг. 10 иллюстрирует кодер совместного стерео (Joint Stereo) согласно уровню техники;

Фиг. 11 иллюстрирует представление блок-схемы известной цепочки кодер/декодер BCC;

Фиг. 12 иллюстрирует блок-схему известного выполнения блока синтеза BCC согласно фиг. 11;

Фиг. 13 является представлением известной схемы определения параметров ICLD, ICTD и ICC;

Фиг. 14 иллюстрирует передатчик и приемник системы передачи; и

Фиг. 15 иллюстрирует аудио записывающее устройство, имеющее предложенный кодер, и устройство аудио воспроизведения, имеющее декодер.

Фиг. 1a и 1b показывают блок-схемы предложенных многоканальных сценариев кодера/синтезатора. Как описано ниже со ссылками на фиг. 4c, сигнал, приходящий на сторону декодера, имеет по меньшей мере один входной канал и последовательность квантованных параметров восстановления, причем квантованные параметры восстановления квантованы в соответствии с правилом квантования. Каждый параметр восстановления связан с временной частью входного канала так, что последовательность временных частей связана с последовательностью квантованных параметров восстановления. Дополнительно, выходной сигнал, который сгенерирован многоканальным синтезатором, как показано на фиг. 1а и 1b, имеет множество синтезированных выходных каналов, которое в любом случае больше, чем число входных каналов во входном сигнале. Когда число входных каналов равно 1, то есть когда имеется единственный входной канал, число выходных каналов должно быть 2 или больше. Когда, однако, число входных каналов равно 2 или 3, число выходных каналов должно быть по меньшей мере 3 или по меньшей мере 4 соответственно.

В случае BCC число входных каналов должно быть равно 1 или обычно не больше чем 2, в то время как число выходных каналов должно быть 5 (левый окружающего звука, левый, центральный, правый, правый окружающего звука) или 6 (5 каналов окружающего звука плюс 1 низкочастотный канал (сабвуфера)) или даже больше в случае многоканального формата 7.1 или 9.1. Вообще говоря, число источников выходного сигнала должно быть больше, чем число входных источников.

На фиг. 1а слева изображено устройство 1 для формирования сигнала управления многоканальным синтезатором. Прямоугольник 1, названный "Извлечение параметра сглаживания", содержит анализатор сигнала, блок вычисления информации сглаживания и формирователь данных. Как показано на фиг. 1c, анализатор 1а сигнала принимает в качестве входа первоначальный многоканальный сигнал. Анализатор сигнала анализирует многоканальный входной сигнал, чтобы получить результат анализа. Этот результат анализа направляется на блок вычисления информации сглаживания для определения (задания) информации управления сглаживанием в ответ на анализатор сигнала, то есть результат анализа сигнала. В частности, блок 1b вычисления информации сглаживания выполнен с возможностью определять информацию сглаживания так, что в ответ на информацию управления сглаживанием постпроцессор параметра на стороне декодера генерирует сглаженный параметр или сглаженный параметр, выведенный (полученный) из параметра для временной части входного сигнала, который должен быть обработан, так что значение сглаженного параметра восстановления или сглаженного параметра отличается от значения, получаемого с использованием обратного квантования в соответствии с правилом квантования.

Кроме того, устройство 1 извлечения параметра сглаживания согласно фиг. 1а включает в себя формирователь данных для выдачи сигнала управления, представляющего информацию управления сглаживанием, в качестве сигнала управления декодером.

В частности, сигнал управления, представляющий информацию управления сглаживанием, может быть маской сглаживания, постоянной времени сглаживания, или любым другим значением, управляющим операцией сглаживания на стороне декодера так, что восстановленный многоканальный выходной сигнал, который основан на сглаженных значениях, имеет улучшенное качество по сравнению с восстановленным многоканальным выходным сигналом, который основан на несглаженных значениях.

Маска сглаживания включает в себя информацию сигнализации (передачи сигналов), состоящую, например, из флагов, которые указывают состояние "вкл./выкл." каждой частоты, используемой для сглаживания. Таким образом, маска сглаживания может быть рассмотрена как вектор, ассоциированный с одним кадром, имеющим бит для каждого диапазона, в котором этот бит управляет, является ли управляемое кодером сглаживание активным для этого диапазона или нет.

Пространственный аудиокодер, как показано на фиг. 1а, предпочтительно включает в себя смеситель 3 с уменьшением и последующий аудиокодер 4. Кроме того, пространственный аудиокодер включает в себя устройство 2 извлечения пространственного параметра, которое выдает квантованные пространственные сигналы, такие как межканальные разности по уровню (ICLD), межканальные разности по времени (ICTDs), значения межканальной когерентности (ICC), межканальные разности фаз (IPD), межканальные разности по интенсивности (IIDs) и т.д. В этом контексте следует отметить, что межканальные разности по уровню по существу являются такими же, как межканальные разности по интенсивности.

Смеситель 3 с уменьшением может быть создан так, как описано для элемента 114 на фиг. 11. Кроме того, устройство 2 извлечения пространственного параметра может быть осуществлено так, как описано для элемента 116 на фиг. 11. Однако альтернативные варианты осуществления смесителя 3 с уменьшением, так же как и устройства 2 извлечения пространственного параметра, могут использоваться в контексте настоящего изобретения.

Кроме того, аудиокодер 4 не обязательно требуется. Это устройство, однако, используется, когда частота следования данных смешанного сигнала с уменьшением на выходе элемента 3 является слишком высокой для передачи этого смешанного сигнала с уменьшением посредством средства передачи/хранения.

Пространственный аудиодекодер включает в себя управляемое кодером устройство 9a сглаживания параметра, которое соединено с многоканальным смесителем 12 с увеличением. Входной сигнал для многоканального смесителя 12 с увеличением является обычно выходным сигналом аудиодекодера 8 для декодирования переданного/хранящегося смешанного сигнала с уменьшением.

Предпочтительно предложенный многоканальный синтезатор для формирования выходного сигнала из входного сигнала, где входной сигнал имеет по меньшей мере один входной канал и последовательность квантованных параметров восстановления, причем квантованные параметры восстановления квантованы в соответствии с правилом квантования и ассоциированы с последующими временными частями входного сигнала, где выходной сигнал имеет множество синтезированных выходных каналов и число синтезированных выходных каналов больше чем один или больше чем множество входных каналов, содержит средство выдачи сигнала управления для обеспечения сигнала управления, имеющего информацию управления сглаживанием. Этим средством выдачи сигнала управления может быть демультиплексор потока данных, когда информация управления мультиплексирована с параметрической информацией. Когда, однако, информация управления сглаживанием передается от устройства 1 на устройство 9a согласно фиг. 1а через отдельный канал, который отделен от канала 14a параметра или канала смешанного сигнала с уменьшением, который соединен с входной стороной аудиодекодера 8, то средством выдачи сигнала управления является просто вход устройства 9a, принимающий сигнал управления, сформированный устройством 1 извлечения параметра сглаживания согласно фиг. 1а.

Кроме того, предложенный многоканальный синтезатор содержит постпроцессор 9a, который также назван как "управляемое кодером устройство сглаживания параметров". Постпроцессор предназначен для определения постобработанного параметра восстановления или постобработанного параметра, полученного из этого параметра восстановления для временной части входного сигнала, который должен быть обработан, причем постпроцессор выполнен с возможностью определять постобработанный параметр восстановления или постобработанный параметр так, что значение постобработанного параметра восстановления или постобработанного параметра отличается от значения, получаемого с использованием обратного квантования в соответствии с правилом квантования. Постобработанный параметр восстановления или постобработанный параметр направляют от устройства 9a к многоканальному смесителю 12 с увеличением так, что многоканальный смеситель с увеличением или многоканальный блок 12 восстановления может выполнять операцию восстановления для восстановления временной части ряда синтезированных выходных каналов, используя временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

Ниже приводятся ссылки на предпочтительный вариант осуществления настоящего изобретения, иллюстрируемого на фиг. 1b, который объединяет управляемое кодером сглаживание параметра и управляемое декодером сглаживание параметра, как определено в неопубликованной патентной заявке № 10/883538. В этом варианте осуществления устройство 1 извлечения параметра сглаживания, которое показано подробно на фиг. 1c, дополнительно формирует флаг 5a управления кодером/декодером, который передается к блоку 9а объединения/переключения результатов.

Многоканальный синтезатор или пространственный аудиодекодер согласно фиг. 1b включает в себя постпроцессор 10 параметра восстановления, который является управляемым декодером устройством сглаживания параметра, и многоканальный блок 12 восстановления. Управляемое декодером устройство 10 сглаживания параметра функционирует так, чтобы принимать квантованные и предпочтительно кодированные параметры восстановления для последующих временных частей входного сигнала. Постпроцессор 10 параметра восстановления выполнен с возможностью определять постобработанный параметр восстановления на его выходе для какой-либо временной части, которая должна быть обработана, входного сигнала. Постпроцессор параметра восстановления работает в соответствии с правилом постобработки, которое в некоторых предпочтительных вариантах осуществления является правилом фильтрации нижних частот, правилом сглаживания или другой подобной операцией. В частности, постпроцессор выполнен с возможностью определять постобработанный параметр восстановления, так что значение постобработанного параметра восстановления отличается от значения, полученного с помощью обратного квантования (ре-квантования) какого-либо квантованного параметра восстановления в соответствии с правилом квантования.

Многоканальный блок 12 восстановления используется для восстановления временной части каждого из ряда выходных каналов синтеза, используя временные части обработанного входного канала и постобработанный параметр восстановления.

В предпочтительных вариантах осуществления настоящего изобретения квантованные параметры восстановления являются квантованными параметрами BCC, такими как межканальные разности по уровню, межканальные разности по времени или параметры межканальной когерентности, или межканальные разности по фазе, или межканальные разности по интенсивности. Естественно, другие параметры восстановления, такие как параметры стерео для режимов Intencity Stereo сигнала или параметры для параметрического стерео (Parametric Stereo), также могут быть обработаны в соответствии с настоящим изобретением.

Флаг управления кодером/декодером, переданный по линии 5a, выполнен с возможностью управлять устройством 9b переключения или объединения, чтобы направлять или управляемые декодером значения сглаживания, или управляемые кодером значения сглаживания к многоканальному смесителю 12 с увеличением.

Ниже в описании приводится ссылка на фиг. 4c, которая иллюстрирует пример для битового потока. Битовый поток включает в себя несколько кадров 20a, 20b, 20c, …. Каждый кадр включает в себя временную часть входного сигнала, обозначенную верхним прямоугольником кадра на фиг. 4c. Дополнительно, каждый кадр включает в себя набор квантованных параметров восстановления, которые связаны (ассоциированы) с временной частью и которые проиллюстрированы на фиг. 4c нижним прямоугольником каждого кадра 20a, 20b, 20c. Например, кадр 20b рассматривается как часть входного сигнала, которая должна быть обработана, причем этот кадр имеет предшествующие части входного сигнала, то есть те, которые формируют "прошлое" части входного сигнала, который должен быть обработан. Дополнительно, имеются части входного сигнала, которые формируют "будущее" этой части входного сигнала, который должен быть обработан (входная часть, которая должна быть обработана, также называется как "текущая" часть входного сигнала), в то время как части входного сигнала в "прошлом" названы как более ранние части входного сигнала, в то время как части сигнала в будущем названы, как более поздние части входного сигнала.

Предложенный способ успешно обрабатывает проблематичные ситуации с медленно перемещающимися точечными источниками, предпочтительно имеющими шумоподобные свойства, или быстро перемещающимися точечными источниками, имеющими тональный сигнал типа быстро изменяющихся синусоид, посредством разрешения более явного управления кодером в отношении операции сглаживания, выполняемой в декодере.

Как указано выше, предпочтительным способом выполнения операции постобработки в управляемом кодером устройстве 9a сглаживания параметра или управляемом декодером устройстве 10 сглаживания параметра является операция сглаживания, выполняемая способом, ориентированным на полосу частот.

Кроме того, чтобы активно управлять постобработкой в декодере, выполняемой управляемым кодером устройством 9a сглаживания параметра, кодер передает информацию сигнализации предпочтительно как часть дополнительной информации на синтезатор/декодер. Сигнал управления многоканальным синтезатором может быть, однако, также передан отдельно на декодер не являющимся частью дополнительной информации параметрической информации или информации смешанного сигнала с уменьшением.

В предпочтительном варианте осуществления эта информация сигнализации состоит из флагов, которые указывают состояние "вкл./выкл." каждого частотного диапазона, используемого для сглаживания. Чтобы разрешить эффективную передачу этой информации, предпочтительный вариант осуществления может также использовать набор "коротких сигналов", чтобы сообщить о некоторых часто используемых конфигурациях с очень малым количеством битов.

С этой целью блок 1b вычисления информации сглаживания согласно фиг. 1c определяет, что сглаживание не должно быть выполнено в каком-либо из частотных диапазонов. Это сообщают посредством короткого сигнала "все выкл.", формируемого формирователем 1c данных. В частности, сигнал управления, представляющий короткий сигнал "все выкл.", может быть некоторым битовым шаблоном или некоторым флагом.

Кроме того, блок 1b вычисления информации сглаживания может определить, что управляемая кодером операция сглаживания должна быть выполнена во всех частотных диапазонах. С этой целью формирователь 1c данных формирует короткий сигнал "все вкл.", который сообщает, что сглаживание применяется во всех частотных диапазонах. Этот сигнал может быть некоторым битовым шаблоном или флагом.

Кроме того, когда анализатор 1а сигнала определяет, что сигнал не очень изменился от одной временной части до следующей временной части, то есть от текущей временной части до будущей временной части, блок 1b вычисления информации сглаживания может определить, что никакого изменения в управляемой кодером операции сглаживания параметра не должно быть выполнено. Тогда формирователь 1c данных будет формировать короткий сигнал "повторить последнюю маску", который сообщает на декодер/синтезатор, что то же самое состояние вкл./выкл. для диапазонов должно использоваться для сглаживания, как оно использовалось для обработки предыдущего кадра.

В предпочтительном варианте осуществления анализатор 1а сигнала выполнен с возможностью оценить скорость перемещения так, чтобы воздействие сглаживания декодера было приспособлено к скорости пространственного движения точечного источника. В результате этого процесса подходящая постоянная времени сглаживания определяется блоком 1b вычисления информации сглаживания и сообщается на декодер посредством специализированной дополнительной информации с помощью формирователя 1c данных. В предпочтительном варианте осуществления формирователь 1c данных генерирует и передает значение индекса на декодер, которое позволяет декодеру выбирать между различными заранее определенными постоянными времени сглаживания (например, 125 мс, 250 мс, 500 мс, …). В дополнительном предпочтительном варианте осуществления только одна постоянная времени передается для всех частотных диапазонов. Это уменьшает количество информации сигнализации для постоянной времени сглаживания и является достаточным для часто встречающегося случая одного доминирующего перемещающегося точечного источника в спектре. Примерный процесс определения подходящей постоянной времени сглаживания описан со ссылками на фиг. 2a и 2b.

Явное управление относительно процесса сглаживания декодера требует передачи некоторой добавляемой дополнительной информации по сравнению с управляемым декодером способом сглаживания. Так как это управление может быть необходимым только для некоторой части всех входных сигналов с конкретными свойствами, оба подхода предпочтительно объединены в один способ, который также называется "гибридный способ". Это может быть сделано посредством передачи информации сигнализации, например, один бит, определяющий, должно ли сглаживание быть выполнено на основании оценки тональности/переходного процесса в декодере, которое выполняется устройством 16 на фиг. 1b или под явным управлением кодера. В последнем случае дополнительная информация 5a согласно фиг. 1b передается на декодер.

Ниже описаны предпочтительные варианты осуществления для идентификации медленно перемещающихся точечных источников и оценки подходящих постоянных времени, которые должны быть переданы на декодер. Предпочтительно все оценки выполняются в кодере и могут, таким образом, обращаться к неквантованным версиям параметров сигнала, которые, конечно, не доступны в декодере из-за того факта, что устройство 2 на фиг. 1а и фиг. 1b передает квантованные пространственные сигналы по причинам сжатия данных.

Ниже приведена ссылка на фиг. 2a и 2b для иллюстрации предпочтительного варианта осуществления для идентификации медленно перемещающихся точечных источников. Пространственная позиция звукового события в пределах некоторого частотного диапазона и временного кадра идентифицирована, как показано со ссылками на фиг. 2a. В частности, для каждого выходного канала аудио, вектор e_x единичной длины указывает относительное позиционирование соответствующего громкоговорителя в установке регулярного прослушивания. В примере, показанном на фиг. 2a, обычная установка прослушивания с 5 каналами используется с динамиками L, C, R, Ls и Rs и соответствующими векторами e_L, e_C, e_R, e_Ls, e_Rs единичной длины.

Пространственная позиция звукового события в некотором частотном диапазоне и временном кадре вычисляется как взвешенное по энергии среднее значение этих векторов, как указано в уравнении на фиг. 2a. Как становится ясным из фиг. 2a, каждый вектор единичной длины имеет некоторую x-координату и некоторую y-координату. Умножая каждую координату вектора единичной длины на соответствующую энергию и суммируя члены x-координаты и члены y-координаты, получают пространственную позицию для некоторого частотного диапазона и некоторого временного кадра в некоторой позиции x, y.

Как описано на этапе 40 на фиг. 2b, это определение выполняется в течение двух последующих моментов времени.

Затем, на этапе 41, определяют, является ли источник, имеющий пространственные позиции p₁, p₂, медленно перемещающимся. Когда интервал между последующими пространственными позициями находится ниже заранее определенного порога, источник определяется как медленно перемещающийся источник. Когда, однако, определено, что смещение находится выше некоторого максимального порога смещения, то определяется, что источник не является медленно перемещающимся, и процесс на фиг. 2b завершается.

Значения L, C, R, Ls и Rs на фиг. 2a обозначают энергии соответствующих каналов соответственно. Альтернативно, энергии, измеренные в децибелах (дБ), также могут использоваться для определения пространственной позиции p.

На этапе 42 определяют, является ли источник точечным или почти точечным источником. Предпочтительно точечные источники обнаруживают, когда релевантные параметры ICC превышают некоторый минимальный порог, например 0,85. Когда определяют, что параметр ICC ниже заранее определенного порога, то источник не является точечным источником, и процесс на фиг. 2a завершается. Когда, однако, определяют, что источник является точечным источником или почти точечным источником, процесс на фиг. 2b переходит на этап 43. На этом этапе предпочтительно определяют параметры межканальной разности по уровню параметрической многоканальной схемы в некотором интервале наблюдения, приводя к ряду измерений. Интервал наблюдения может состоять из ряда кадров кодирования или набора наблюдений, имеющих место при более высоком временном разрешении, чем определено посредством последовательности кадров.

На этапе 44 вычисляют наклон кривой ICLD для последующих моментов времени. Затем, на этапе 45, выбирают постоянную времени сглаживания, которая является обратно пропорциональной наклону кривой.

Затем, на этапе 45, выдают постоянную времени сглаживания в качестве примера информации сглаживания и используют в устройстве сглаживания на стороне декодера, которым, как становится ясным из фиг. 4a и 4b, может быть фильтр сглаживания. Постоянная времени сглаживания, определенная на этапе 45, поэтому используется, чтобы установить параметры фильтра цифрового фильтра, используемого для сглаживания, в блоке 9а.

Со ссылками на фиг. 1b подчеркивается, что управляемое кодером сглаживание 9a параметра и управляемое декодером сглаживание 10 параметра могут также быть осуществлены, используя одно устройство, такое, как показано на фиг. 4b, 5 или 6a, так как информация управления сглаживанием, с одной стороны, и определенная декодером информация, выводимая устройством 16 извлечения параметра управления, с другой стороны, обе действуют на фильтр сглаживания и активацию сглаживающего фильтра согласно предпочтительному варианту осуществления настоящего изобретения.

Когда только одна общая постоянная времени сглаживания сообщена для всех частотных диапазонов, отдельные результаты для каждого диапазона могут быть объединены в общий результат, например, усреднением или взвешенным по энергии усреднением. В этом случае декодер применяет одну и ту же (взвешенную по энергии) усредненную постоянную времени сглаживания к каждому диапазону так, чтобы только одна постоянная времени сглаживания для целого спектра должна была быть передана. Когда найдены диапазоны с существенным отклонением от объединенной постоянной времени, сглаживание может быть сделано недоступным для этих диапазонов, используя соответствующий флаг "вкл./выкл.".

Ниже приведено описание со ссылками на Фиг. 3a, 3b и 3c, чтобы проиллюстрировать альтернативный вариант осуществления, который основан на подходе "анализ посредством синтеза" для управляемого кодером управления сглаживанием. Основная идея заключается в сравнении некоторого параметра восстановления (предпочтительно параметр IID/ICLD), получающегося из квантования и параметрического сглаживания в соответствующий неквантованный (то есть измеренный) параметр (IID/ICLD). Этот процесс суммирован в схемном решении предпочтительного варианта осуществления, проиллюстрированном на фиг. 3a. Два различных многоканальных входных канала, такие как L, с одной стороны, и R, с другой стороны, подают на соответствующие блоки фильтров анализа. Выходные сигналы блока фильтров сегментируют и стробируют, чтобы получить подходящее представление время/частота.

Таким образом, фиг. 3a включает в себя устройство блока фильтров анализа, имеющее два отдельных блока 70a, 70b фильтров анализа. Естественно, единственный блок фильтров анализа и запоминающее устройство могут использоваться дважды, чтобы проанализировать оба канала. Затем в устройстве 72 сегментации и стробирования (организации окна) выполняется сегментация времени. Затем оценка ICLD/IID в расчете на кадр выполняется в устройстве 73. Параметр для каждого кадра затем посылают на блок 74 квантования. Таким образом, получают квантованный параметр на выходе устройства 74. Этот квантованный параметр затем обрабатывают набором различных постоянных времени в устройстве 75. Предпочтительно по существу все постоянные времени, которые доступны декодеру, используются устройством 75. Наконец, модуль 76 сравнения и выбора сравнивает квантованные и сглаженные параметры IID с оригинальными (необработанными) оценками IID. Модуль 76 выдает квантованный параметр IID и постоянную времени сглаживания, которые привели к наилучшему соответствию между обработанным и первоначально измеренным значениями IID.

Ниже приведено описание со ссылками на последовательность операций на фиг. 3c, которая соответствует устройству согласно фиг. 3a. Как указано на этапе 46, формируют параметры IID для нескольких кадров. Затем, на этапе 47, эти параметры IID квантуются. На этапе 48 квантованные параметры IID сглаживают, используя различные постоянные времени. Затем, на этапе 49, вычисляют ошибку между сглаженной последовательностью и первоначально сформированной последовательностью для каждой постоянной времени, использованной на этапе 49. Наконец, на этапе 50 выбирают квантованную последовательность вместе с постоянной времени сглаживания, которая привела к самой малой ошибке. Затем, на этапе 50, выдают последовательность квантованных значений вместе с наилучшей постоянной времени.

В более сложном варианте осуществления, который является предпочтительным для усовершенствованных устройств, этот процесс также может быть выполнен для набора квантованных параметров IID/ICLD, выбранных из набора возможных значений IID из блока квантования. В этом случае процедура сравнения и выбора будет содержать сравнение обработанных IID и необработанных параметров IID для различных комбинаций переданных (квантованных) параметров IID и постоянных времени сглаживания. Таким образом, как выделено квадратными скобками на этапе 47, в отличие от первого варианта осуществления второй вариант осуществления использует различные правила квантования или те же самые правила квантования, но отличные размеры шага квантования для квантования параметров IID. Затем, на этапе 51, вычисляют ошибку для каждого способа квантования и каждой постоянной времени. Таким образом, число кандидатов, в отношении которых должно быть принято решение на этапе 52 по сравнению с этапом 50 на фиг. 3c, является, в более сложном варианте осуществления, большем на коэффициент, равный количеству отличных способов квантования по сравнению с первым вариантом осуществления.

Затем, на этапе 52, двумерная оптимизация для (1) ошибки и (2) частоты следования информации в битах выполняется, чтобы искать последовательность квантованных значений и соответствующую постоянную времени. Наконец, на этапе 53 последовательность квантованных значений является статистически кодированной, используя код Хаффмана или арифметический код. Этап 53, наконец, приводит к битовой последовательности, которая должна быть передана на декодер или многоканальный синтезатор.

Фиг. 3b иллюстрирует эффект постобработки посредством сглаживания. Элемент 77 иллюстрирует квантованный параметр IID для кадра n. Элемент 78 иллюстрирует квантованный параметр IID для кадра, имеющего индекс кадра n+1. Квантованный параметр 78 IID был получен квантованием из измеренного параметра IID в расчете на кадр, обозначенного ссылочной позицией 79. Сглаживание этой последовательности параметров квантованного параметра 77 и 78 различными постоянными времени приводит к меньшим значениям 80a и 80b постобработанного параметра. Постоянная времени для сглаживания последовательности 77, 78 параметра, которая привела к постобработанному (сглаженному) параметру 80a, была меньше, чем постоянная времени сглаживания, которая привела к постобработанному параметру 80b. Как известно в данной области техники, постоянная времени сглаживания обратно пропорциональна частоте среза соответствующего фильтра нижних частот.

Вариант осуществления, проиллюстрированный со ссылками на этапы 51-53 на фиг. 3c, является предпочтительным, так как можно выполнять двумерную оптимизацию для ошибки и частоты следования информации в битах, так как различные правила квантования могут приводить к различным количествам битов для представления квантованных значений. Кроме того, этот вариант осуществления основан на обнаружении того, что фактическое (текущее) значение постобработанного параметра восстановления зависит от квантованного параметра восстановления, а также способа обработки.

Например, большая разность в (квантованном) IID от кадра к кадру в комбинации с большой постоянной времени сглаживания эффективно приводит только к малому результирующему влиянию обработанного IID. То же самое результирующее влияние может быть создано малой разностью в параметрах IID по сравнению с меньшей постоянной времени. Эта дополнительная степень свободы дает возможность кодеру оптимизировать как восстановленный IID, так и результирующую скорость передачи информации в битах одновременно (учитывая факт, что передача некоторого значения IID может быть более дорогой, чем передача некоторого альтернативного параметра IID).

Как указано выше, эффект в отношении IID траекторий на сглаживании указан на фиг. 3b, которая показывает IID-траекторию для различных значений постоянной времени сглаживания, где звезда указывает измеренный IID (в расчете) на кадр и где треугольник указывает возможное значение блока квантования IID. Учитывая ограниченную точность блока квантования IID, значение IID, обозначенное звездой на кадре n+1, не доступно. Самое близкое значение IID обозначено треугольником. Линии на чертеже указывают IID траекторию между кадрами, которые могут быть получены из различных постоянных сглаживания. Алгоритм выбора выбирает постоянную времени сглаживания, которая приводит к IID траектории, которая заканчивается ближе всего к измеренному параметру IID для кадра n+1.

Примеры, описанные выше, относятся к параметрам IID. В принципе, все описанные способы могут также применяться к параметрам IPD, ITD или ICC.

Настоящее изобретение поэтому относится к обработке на стороне кодера и обработке на стороне декодера, которые формируют систему, используя маску разрешения/запрещения сглаживания и постоянную времени, переданную посредством сигнала управления сглаживанием. Кроме того, выполняется передача сигналов в диапазоне частот в расчете на диапазон частот, в которой, кроме того, являются предпочтительными короткие сигналы, которые могут включать в себя короткий сигнал "все диапазоны включены", "все диапазоны выключены" или "повторить предыдущее состояние". Кроме того, предпочтительно использовать одну общую постоянную времени сглаживания для всех диапазонов. Кроме того, в дополнение или альтернативно, сигнал для автоматического основанного на тональности сглаживания в сравнении с явным управлением кодером может быть передан для осуществления гибридного способа.

Ниже приведена ссылка на реализацию на стороне декодера, которая работает в связи с управляемым кодером сглаживанием параметра.

Фиг. 4a показывает сторону 21 кодера и сторону 22 декодера. В кодере N первоначальных входных каналов подают на каскад 23 смесителя с уменьшением. Каскад смесителя с уменьшением выполнен с возможностью уменьшать число каналов, например, до одного моноканала или, возможно, до двух каналов стерео. Представление смешанного сигнала с уменьшением на выходе смесителя 23 с уменьшением затем подают в кодер 24 источника, причем кодер источника реализуется, например, как mp3-кодер или как AAC-кодер, формирующий выходной битовый поток. Сторона кодера 21 дополнительно содержит устройство 25 извлечения параметров, которое в соответствии с настоящим изобретением выполняет анализ BCC (блок 116 на фиг. 11) и выдает квантованные и предпочтительно кодированные по Хаффману межканальные разности по уровню (ICLD). Битовый поток на выходе кодера 24 источника, так же как квантованные параметры восстановления, выводимые устройством 25 извлечения параметров, может быть передан на декодер 22 или может быть сохранен для более поздней передачи на декодер, и т.д.

Декодер 22 включает в себя декодер 26 источника, который выполнен с возможностью восстанавливать сигнал из принятого битового потока (исходящего из кодера 24 источника). С этой целью декодер 26 источника выдает на своем выходе последующие временные части входного сигнала на смеситель 12 с увеличением, который выполняет те же самые функциональные возможности, что и многоканальный блок 12 восстановления согласно фиг. 1. Предпочтительно этими функциональными возможностями является синтез BCC, который реализуется блоком на фиг. 11.

В отличие от фиг. 11, предложенный многоканальный синтезатор дополнительно содержит постпроцессор 10 (фиг. 4a), который назван как "блок сглаживания межканальной разности по уровню (ICLD)", который управляется анализатором 16 входного сигнала, который предпочтительно выполняет анализ тональности входного сигнала.

Как можно видеть из фиг. 4a, имеются параметры восстановления, такие как межканальные разности по уровню (ICLDs), которые являются входными для блока сглаживания ICLD, в то время как имеется дополнительное соединение между устройством 25 извлечения параметров и смесителем 12 с увеличением. Посредством этого обходного соединения другие параметры для восстановления, которые не должны быть подвергнуты постобработке, могут быть поданы от устройства 25 извлечения параметров на смеситель 12 с увеличением.

Фиг. 4b показывает предпочтительный вариант осуществления обработки адаптивного к сигналу параметра восстановления, образованной анализатором 16 сигнала и блоком 10 сглаживания ICLD.

Анализатор 16 сигнала сформирован из блока 16a определения тональности и последующего устройства 16b задания порога. Дополнительно постпроцессор 10 параметра восстановления согласно фиг. 4a включает в себя сглаживающий фильтр 10a и переключатель 10b постпроцессора. Переключатель 10b постпроцессора выполнен с возможностью управляться устройством 16b задания порога так, чтобы переключатель приводился в действие, когда устройство 16b задания порога определяет, что некоторая характеристика сигнала входного сигнала, например характеристика тональности, находится в заранее определенном отношении к некоторому указанному порогу. В данном случае ситуация такова, что переключатель приводится в действие так, чтобы быть в верхней позиции (как показано на фиг. 4b), когда тональность части сигнала входного сигнала, и, в частности, некоторый частотный диапазон некоторой временной части входного сигнала, имеет тональность выше порога тональности. В этом случае переключатель 10b приводится в действие, чтобы подсоединить выход сглаживающего фильтра 10a к входу многоканального блока 12 восстановления так, чтобы постобработанные, но еще не обратно квантованные межканальные разности были поданы на декодер/многоканальный восстановитель/смеситель 12 с увеличением.

Когда, однако, средство определения тональности в управляемой декодером реализации определяет, что некоторый частотный диапазон текущей временной части входного сигнала, то есть некоторый частотный диапазон части входного сигнала, которая должна быть обработана, имеет тональность ниже, чем указанный порог, то есть является переходным процессом, переключатель приводится в действие так, что сглаживающий фильтр 10a обходится.

В последнем случае адаптивная к сигналу постобработка посредством сглаживающего фильтра 10a обеспечивает то, что изменения параметра восстановления для сигналов с переходными процессами проходят каскадстадию постобработки немодифицированными и приводят к быстрым изменениям в восстановленном выходном сигнале относительно пространственного изображения, что соответствует реальным ситуациям с высокой степенью вероятности для переходных сигналов.

Следует отметить здесь, что вариант осуществления на фиг. 4b, то есть активация постобработки, с одной стороны, и полностью деактивация постобработки, с другой стороны, то есть двоичное решение для выполнения постобработки или не выполнения, является только предпочтительным вариантом осуществления из-за его простой и эффективной структуры. Однако, следует отметить, что, в частности, в отношении тональности эта характеристика сигнала является не только качественным параметром, но также и количественным параметром, который обычно может быть между 0 и 1. В соответствии с этим количественно определенным параметром степень сглаживания сглаживающего фильтра или, например, частота среза фильтра нижних частот может быть установлена так, что для сильно тональных сигналов активируется сильное сглаживание, в то время как для сигналов, которые не настолько тональны, инициализируется сглаживание с меньшей степенью сглаживания.

Естественно, можно также обнаруживать части с переходными сигналами и преувеличивать изменения в параметрах для значений между заранее определенными квантованными значениями или индексами квантования так, чтобы для сильных переходных сигналов постобработка параметров восстановления приводила даже к более преувеличенному изменению пространственного изображения многоканального сигнала. В этом случае размер шага квантования, равный 1, как проинструктировано последующими параметрами восстановления для последующих временных частей, может быть увеличен, например, до 1,5; 1,4; 1,3 и т. д., что приводит даже к более сильно изменяющемуся пространственному изображению восстановленного многоканального сигнала.

Следует отметить здесь, что тональная характеристика сигнала, переходная характеристика сигнала или другие характеристики сигнала являются только примерами характеристик сигнала, на основании которых может быть выполнен анализ сигнала, чтобы управлять постпроцессором параметра восстановления. В ответ на это управление постпроцессор параметра восстановления определяет постобработанный параметр восстановления, имеющий значение, которое отличается от любых значений индексов квантования, с одной стороны, или значений обратного квантования, с другой стороны, как определено в соответствии с заранее определенным правилом квантования.

Следует отметить здесь, что постобработка параметров восстановления, зависящих от характеристики сигнала, то есть адаптивная к сигналу постобработка параметра, является только необязательной. Независимая от сигнала постобработка также обеспечивает преимущества для многих сигналов. Некоторая функция постобработки может быть, например, выбрана пользователем так, что пользователь берет расширенные изменения (в случае функции преувеличения) или уменьшенные изменения (в случае функции сглаживания). Альтернативно, постобработка, независимая от какого-либо выбора пользователя и независимая от характеристик сигнала, может также обеспечивать некоторые преимущества относительно устойчивости к ошибкам. Становится ясно, что, особенно в случае большого размера шага блока квантования, ошибка передачи в индексе блока квантования может приводить к слышимым артефактам. С этой целью можно выполнить прямое исправление ошибки или другую подобную операцию, когда сигнал должен быть передан по подверженным ошибкам каналам. В соответствии с настоящим изобретением постобработка может устранять потребность в любых битово-неэффективных кодах исправления ошибок, так как постобработка параметров восстановления, основанная на параметрах восстановления в прошлом, приведет к обнаружению ошибочных переданных квантованных параметров восстановления и приведет к подходящим встречным мерам против таких ошибок. Дополнительно, когда функцией постобработки является функция сглаживания, квантованные параметры восстановления, сильно отличающиеся от прежних или более поздних параметров восстановления, будут автоматически управляемыми, как описано ниже.

Фиг. 5 иллюстрирует предпочтительный вариант осуществления постпроцессора 10 параметра восстановления согласно фиг. 4a. В частности, рассматривается ситуация, в которой квантованные параметры восстановления являются кодированными. Здесь закодированные квантованные параметры восстановления вводят в статистический декодер 10c, который выдает последовательность декодированных квантованных параметров восстановления. Параметры восстановления на выходе статистического декодера являются квантованными, что означает, что они не имеют некоторого "полезного" значения, но что означает, что они указывают некоторые индексы блока квантования или уровни блока квантования некоторого правила квантования, реализованного последующим блоком обратного квантования. Манипулятором 10d может быть, например, цифровой фильтр типа БИФ (IIR, с бесконечной импульсной характеристикой) (предпочтительно) или фильтр КИХ (FIR с конечной импульсной характеристикой), имеющий любую характеристику фильтра, определенную требуемой функцией постобработки. Функция постобработки сглаживанием или фильтрацией нижних частот является предпочтительной. На выходе манипулятора 10d получается последовательность управляемых квантованных параметров восстановления, которые являются не только целыми числами, но и которые являются любыми вещественными числами, находящимися в пределах диапазона, определенного в соответствии с правилом квантования. Такой управляемый квантованный параметр восстановления может иметь значения 1,1; 0,1; 0,5; … по сравнению со значениями 1, 0, 1 перед каскадом 10d. Последовательность значений на выходе блока 10d затем вводится в блок 10e расширенного обратного квантования, чтобы получить постобработанные параметры восстановления, которые могут использоваться для многоканального восстановления (например, синтеза BCC) в блоке 12 на фиг. 1а и 1b.

Должно быть отмечено, что блок 10e расширенного квантования (фиг. 5) отличается от обычного блока обратного квантования, так как обычный блок обратного квантования отображает только каждый вход квантования из ограниченного числа индексов квантования в конкретное обратно квантованное выходное значение. Обычные блоки обратного квантования не могут отображать нецелочисленные индексы блока квантования. Блок 10e расширенного обратного квантования поэтому осуществлен так, чтобы предпочтительно использовать то же самое правило квантования, например линейный или логарифмический закон квантования, но может принимать нецелочисленные входы, чтобы обеспечить выходные значения, которые отличаются от значений, доступных при использовании только целочисленных входов.

Что касается настоящего изобретения, оно в основном не делает никакого различия, выполняется ли манипуляция перед обратным квантованием (см. фиг. 5) или после обратного квантования (см. фиг. 6a, фиг. 6b). В последнем случае блок обратного квантования только должен быть обычным блоком прямого обратного квантования, который отличается от блока 10e расширенного обратного квантования согласно фиг. 5, как отмечено выше. Естественно, выбор между фиг. 5 и фиг. 6a должен быть вопросом выбора в зависимости от некоторой реализации. Для настоящего выполнения вариант осуществления согласно фиг. 5 является предпочтительным, так как он более совместим с существующими алгоритмами BCC. Однако это может быть отличающимся для других вариантов применения.

Фиг. 6b показывает вариант осуществления, в котором блок 10e расширенного обратного квантования на фиг. 6a заменен блоком прямого обратного квантования и блоком 10g отображения для отображения в соответствии с линейной или предпочтительно нелинейной кривой. Этот блок отображения может быть осуществлен аппаратным обеспечением или программным обеспечением, например, посредством схемы для выполнения математической операции или в виде таблицы просмотра. Манипуляция данными, использующая, например, блок 10g сглаживания, может быть выполнена прежде блока 10g отображения или после блока 10g отображения, или в обоих местах в комбинации. Этот вариант осуществления является предпочтительным, когда постобработка выполняется в области обратного блока квантования, так как все элементы 10f, 10h, 10g могут быть осуществлены, используя непосредственные компоненты, такие как схемы или программные подпрограммы.

Обычно постпроцессор 10 реализуют как постпроцессор, как обозначено на фиг. 7a, который принимает все или выбранный набор текущих квантованных параметров восстановления, будущих параметров восстановления или прошлых квантованных параметров восстановления. В случае, в котором постпроцессор принимает только по меньшей мере один прошлый параметр восстановления и текущий параметр восстановления, постпроцессор будет действовать как фильтр нижних частот. Когда постпроцессор 10, однако, принимает будущий, но задержанный квантованный параметр восстановления, что возможно в приложениях в реальном масштабе времени, использующих некоторую задержку, постпроцессор может выполнять интерполяцию между будущим и текущим или прошлым квантованным параметром восстановления, чтобы, например, сгладить ход (значения) во времени параметра восстановления, например, для некоторого частотного диапазона.

Фиг. 7b показывает примерную реализацию, в которой постобработанное значение получено не из обратно квантованного параметра восстановления, а из значения, полученного (выведенного) из обратно квантованного параметра восстановления. Эта обработка с целью получения выполняется средством 700 для получения, которое в этом случае может принимать квантованный параметр восстановления по линии 702 или может принимать обратно квантованный параметр по линии 704. Можно, например, принимать в качестве квантованного параметра значение амплитуды, которое используется этим средством для получения с целью вычисления значения энергии. Затем именно это значение энергии подвергается операции постобработки (например, сглаживанию). Квантованный параметр направляют на блок 706 по линии 708. Таким образом, постобработка может быть выполнена, используя квантованный параметр непосредственно, как показано линией 710, или используя обратно квантованный параметр, как показано линией 712, или используя значение, полученное из обратно квантованного параметра, как показано линией 714.

Как было указано выше, манипуляция данных для преодоления артефактов вследствие величины шага квантования в среде грубого квантования может также быть выполнена в отношении параметра, полученного из параметра восстановления, присоединенного к основному каналу в параметрически кодированном многоканальном сигнале. Когда, например, квантованный параметр восстановления является разностным параметром (ICLD), этот параметр может быть обратно квантован без какой-либо модификации. Затем может быть получено абсолютное значение уровня для выходного канала, и предложенная (изобретенная) манипуляция данных выполнена над этим абсолютным значением. Эта процедура также приводит к предложенному в настоящем изобретении уменьшению артефактов, до тех пор пока манипуляция данных в тракте обработки между квантованным параметром восстановления и фактическим восстановлением выполняется так, чтобы значение постобработанного параметра восстановления или постобработанного параметра отличалось от значения, получаемого с использованием обратного квантования, в соответствии с правилом квантования, то есть без манипуляции с целью преодолеть "ограничение на размер шага".

Многие функции отображения для получения в конечном счете манипулированного параметра из квантованного параметра восстановления могут быть придуманы и использованы в области техники, причем эти функции отображения включают в себя функции для однозначного отображения входного значения в выходное значение в соответствии с правилом отображения, чтобы получить не постобработанный параметр, которое затем подвергают постобработке, чтобы получить постобработанный параметр, используемый в алгоритме многоканального восстановления (синтеза).

Ниже приведена ссылка на фиг. 8 для иллюстрации различия между блоком 10e расширенного обратного квантования согласно фиг. 5 и блоком 10f прямого обратного квантования на фиг. 6a. С этой целью иллюстрация на фиг. 8 показывает в качестве горизонтальной оси ось входных значений для неквантованных значений. Вертикальная ось иллюстрирует уровни блока квантования или индексы блока квантования, которые предпочтительно являются целыми числами, имеющими значения 0, 1, 2, 3. Следует отметить, что блок квантования на фиг. 8 не должен приводить к каким-либо значениям между 0 и 1 или 1 и 2. Отображение в эти уровни блока квантования управляется функцией, имеющей ступенчатую форму, так чтобы значения между -10 и 10, например, были отображены в 0, в то время как значения между 10 и 20 квантуются в 1, и т.д.

Функция возможного блока обратного квантования должна отобразить уровень 0 блока квантования в обратно квантованное значение 0. Уровень 1 блока квантования может быть отображен к обратно квантованному значению 10. Аналогично, уровень 2 блока квантования может быть отображен в обратно квантованное значение 20, например. Обратное квантование является поэтому управляемым посредством функции блока обратного квантования, обозначенной ссылочной позицией 31. Следует отметить, что для блока непосредственного обратного квантования возможны только точки пересечения линии 30 и линии 31. Это означает, что для блока непосредственного обратного квантования, имеющего правило блока обратного квантования согласно фиг. 8, только значения 0, 10, 20, 30 могут быть получены обратным квантованием.

Это является отличием в блоке 10e расширенного обратного квантования, так как блок расширенного обратного квантования принимает в качестве входного значения между 0 и 1 или 1 и 2, например, значение 0,5. Усовершенствованное обратное квантование значения 0,5, полученного манипулятором 10d, приведет к обратно квантованному выходному значению 5, то есть к постобработанному параметру восстановления, который имеет значение, которое отличается от значения, полученного с помощью обратного квантования в соответствии с правилом квантования. В то время как правило обычного квантования допускает только значения 0 или 10, предпочтительный блок обратного квантования, работающий в соответствии с предпочтительной функцией 31 блока квантования, приводит к отличному значению, то есть значению 5, как указано на фиг. 8.

В то время как блок непосредственного обратного квантования отображает целочисленные уровни блока квантования только в квантованные уровни, блок расширенного обратного квантования принимает нецелочисленные "уровни" блока квантования, чтобы отобразить эти значения в "обратно квантованные значения" между значениями, определенными в соответствии с правилом блока обратного квантования.

Фиг. 9 иллюстрирует воздействие предпочтительной постобработки для варианта осуществления согласно фиг. 5. Фиг. 9a показывает последовательность квантованных параметров восстановления, изменяющихся между 0 и 3. Фиг. 9b показывает последовательность постобработанных параметров восстановления, которые также названы как "индексы модифицированного блока квантования", когда сигнал согласно фиг. 9a подают на фильтр нижних частот (сглаживающий). Следует отметить здесь, что увеличения/уменьшения в моменты времени 1, 4, 6, 8, 9 и 10 являются уменьшенными в варианте осуществления согласно фиг. 9b. Следует особо отметить, что пик между моментом 8 времени и моментом 9 времени, который может быть артефактом, демпфируется целым шагом квантования. Демпфирование таких экстремальных значений может, однако, управляться степенью постобработки в соответствии с количественным значением тональности, как было указано выше.

Настоящее изобретение выгодно тем, что предложенная постобработка сглаживает колебания или сглаживает короткие экстремальные значения. Такая ситуация возникает особенно в случае, в котором части сигнала из нескольких входных каналов, имеющих аналогичную энергию, являются дополнительно наложенными на частотный диапазон сигнала, то есть основного канала или канала входного сигнала. Этот частотный диапазон затем для каждой временной части и в зависимости от текущей ситуации смешивают в соответствующие выходные каналы высоко флуктуирующим (колебательным) способом. С психоакустической точки зрения было бы, однако, лучше сгладить эти флуктуации, так как эти флуктуации по существу не способствуют обнаружению местоположения звука, но воздействуют отрицательным образом на субъективное впечатление от прослушивания.

В соответствии с предпочтительным вариантом осуществления настоящего изобретения такие слышимые артефакты уменьшаются или даже устраняются без каких-либо потерь качества в различном месте в системе или без требования более высокого разрешения/квантования (и, таким образом, более высокой частоты следования данных) переданных параметров восстановления. Настоящее изобретение решает эту задачу, выполняя адаптивную к сигналу модификацию (сглаживание) параметров без, по существу, влияния на важные сигналы обнаружения пространственного местоположения.

Внезапно встречающиеся изменения в характеристике восстановленного выходного сигнала приводят к слышимым артефактам, в частности, для аудиосигналов, имеющих высоко постоянную характеристику стационарности. Это относится к случаю с тональными сигналами. Поэтому важно обеспечить "сглаженный" переход между квантованными параметрами восстановления для таких сигналов. Это может быть получено, например, сглаживанием, интерполяцией и т.д.

Дополнительно такая модификация значения параметра может вводить слышимые искажения для других типов аудиосигнала. Дело обстоит так для сигналов, которые включают быстрые флуктуации в своей характеристике. Такая характеристика может быть найдена в переходной части или вступлении ударного (музыкального) инструмента. В этом случае вариант осуществления предусматривает деактивирование сглаживания параметра.

Это получают постобработкой переданных квантованных параметров восстановления адаптивным к сигналу способом.

Адаптивность может быть линейной или нелинейной. Когда адаптивность является нелинейной, выполняется процедура установления порога, как описано на фиг. 3c.

Другим критерием для управления адаптивностью является определение стационарности характеристики сигнала. Некоторой формой для определения стационарности характеристики сигнала является оценка огибающей сигнала или, в частности, тональности сигнала. Следует отметить здесь, что тональность может быть определена для всего диапазона частот или предпочтительно индивидуально для различных частотных диапазонов аудиосигнала.

Этот вариант осуществления приводит к уменьшению или даже устранению артефактов, которые были до сих пор неизбежны, без увеличения частоты следования передачи данных для передачи значений параметра.

Как было указано выше в отношении фиг. 4a и 4b, предпочтительный вариант осуществления настоящего изобретения в режиме управления декодером выполняет сглаживание межканальных разностей по уровню, когда рассматриваемая часть сигнала имеет тональную характеристику. Межканальные разности по уровню, которые вычисляются в кодере и квантуются в кодере, посылаются на декодер для того, чтобы подвергнуть его адаптивной к сигналу операции сглаживания. Адаптивным компонентом является определение тональности в связи с определением порога, которое включает фильтрацию межканальных разностей по уровню для тональных спектральных компонентов, и которое выключает такую постобработку для шумоподобных и переходных спектральных компонентов. В этом варианте осуществления никакая добавочная дополнительная информация кодера не требуется для выполнения адаптивных алгоритмов сглаживания.

Следует отметить здесь, что предложенная постобработка может также использоваться для других концепций параметрического кодирования многоканальных сигналов, таких как параметрическое стерео, mp3 окружающего звука и подобные способы.

Предложенные способы, или устройства, или компьютерные программы могут быть реализованы или включены в несколько устройств. Фиг. 14 иллюстрирует систему передачи, имеющую передатчик, включающий в себя предложенный кодер, и имеющую приемник, включающий в себя предложенный декодер. Канал передачи может быть беспроводным или проводным каналом. Кроме того, как показано на фиг. 15, кодер может быть включен в устройство записи аудио или декодер может быть включен в устройство воспроизведения аудио. Аудиозаписи из устройства записи аудио могут быть распределены к устройству воспроизведения аудио через Интернет или через носитель данных, распределенный с использованием почтовых или курьерских ресурсов или других возможностей для распределения носителей данных типа карточек с памятью, компакт-дисков или цифровых видеодисков.

В зависимости от некоторых требований реализации предложенных способов предложенные способы могут быть осуществлены в аппаратных средствах или в программном обеспечении. Реализация может быть осуществлена, используя цифровой носитель данных, в частности диск или CD, имеющий электронным образом считываемые сигналы управления, сохраненные на них, который может взаимодействовать с программируемой компьютерной системой так, что предложенные способы выполняются. В целом настоящее изобретение поэтому является компьютерным программным продуктом с программным кодом, сохраненным на машинно-читаемом носителе, при этом программный код сконфигурирован для выполнения по меньшей мере одного из предложенных способов, когда компьютерные программные продукты выполняются на компьютере. Другими словами, предложенные способы поэтому являются компьютерной программой, имеющей программный код для выполнения предложенных способов, когда компьютерная программа выполняется на компьютере.

В то время как описанное выше конкретно показано и описано в отношении специфических вариантов его осуществления, должно быть понятно специалистам в данной области техники, что различные другие изменения в форме и подробностях могут быть сделаны без отрыва от их объема и формы. Должно быть понятно, что различные изменения могут быть сделаны в адаптации к различным вариантам осуществления без отрыва от раскрытых здесь более широких концепций и приложенной формулы изобретения, которая следует ниже.

Изобретение относится к обработке многоканального аудио и, в частности, к многоканальному кодированию и синтезу с использованием параметрической дополнительной информации. На стороне кодера многоканальный входной сигнал анализируют для получения информации управления сглаживанием, которая должна использоваться в многоканальном синтезе на стороне декодера для сглаживания квантованных переданных параметров или значений, полученных из квантованных переданных параметров, для обеспечения улучшенного субъективного качества аудио, в частности для медленно перемещающихся точечных источников и быстро перемещающихся точечных источников, имеющих тональный сигнал, например быстро изменяющиеся синусоиды. Технический результат - существенное увеличение качества аудио путем адаптивного сглаживания параметров восстановления в многоканальном синтезаторе при малом количестве дополнительных битов. 22 н. и 19 з.п. ф-лы, 25 ил.

1. Устройство для формирования сигнала управления многоканальным синтезатором, содержащее:
анализатор сигнала для анализа многоканального входного сигнала;
блок вычисления информации управления сглаживанием для задания информации управления сглаживанием в ответ на анализатор сигнала, причем блок вычисления информации управления сглаживанием выполнен с возможностью задавать информацию управления сглаживанием так, что в ответ на упомянутую информацию управления сглаживанием постпроцессор на стороне синтезатора формирует постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и
формирователь данных для формирования сигнала управления, представляющего информацию управления сглаживанием в качестве сигнала управления многоканальным синтезатором.

2. Устройство по п.1, в котором анализатор сигнала выполнен с возможностью анализировать изменение характеристики многоканального сигнала от первой временной части многоканального входного сигнала до более поздней второй временной части многоканального входного сигнала и
в котором блок вычисления информации управления сглаживанием выполнен с возможностью определять информацию о постоянной времени сглаживания на основании проанализированного изменения.

3. Устройство по п.1, в котором анализатор сигнала выполнен с возможностью выполнять анализ многоканального входного сигнала в отношении каждого диапазона и
в котором блок вычисления параметра сглаживания выполнен с возможностью определять информацию управления сглаживанием в отношении каждого диапазона.

4. Устройство по п.3, в котором формирователь данных выполнен с возможностью выдавать маску управления сглаживанием, имеющую бит для каждого частотного диапазона, при этом бит для каждой частотного диапазона указывает, должен ли постпроцессор на стороне декодера выполнять сглаживание или нет.

5. Устройство по п.3, в котором формирователь данных выполнен с возможностью формировать короткий сигнал "все выкл.", указывающий, что никакое сглаживание не должно быть выполнено, или
формировать короткий сигнал "все вкл.", указывающий, что сглаживание должно быть выполнено в каждом диапазоне частот, или
формировать сигнал повторения последней маски, указывающий, что статус в отношении каждого диапазона должен использоваться для текущей временной части, который уже использовался постпроцессором на стороне синтезатора для предшествующей временной части.

6. Устройство по п.1, в котором формирователь данных выполнен с возможностью формировать сигнал активации синтезатора, указывающий, должен ли постпроцессор на стороне синтезатора работать с использованием информации, переданной в потоке данных, или с использованием информации, полученной из анализа сигнала на стороне синтезатора.

7. Устройство по п.2, в котором формирователь данных выполнен с возможностью формировать в качестве информации управления сглаживанием сигнал, указывающий некоторое значение постоянной времени сглаживания из набора значений, известных постпроцессору на стороне синтезатора.

8. Устройство по п.2, в котором анализатор сигнала выполнен с возможностью определять, существует ли точечный источник, на основании параметра межканальной когерентности для временной части многоканального входного сигнала и
в котором блок вычисления информации управления сглаживанием или формирователь данных являются активными, только когда анализатор сигнала определил, что точечный источник существует.

9. Устройство по п.1, в котором блок вычисления информации управления сглаживанием выполнен с возможностью вычислять изменение в позиции точечного источника для последующих временных частей многоканального входного сигнала и
в котором формирователь данных выполнен с возможностью выдавать сигнал управления, указывающий, что изменение в позиции ниже заранее определенного порога, так что сглаживание должно быть применено постпроцессором на стороне синтезатора.

10. Устройство по п.2, в котором анализатор сигнала выполнен с возможностью формировать межканальную разность по уровню или межканальную разность по интенсивности для нескольких моментов времени и
в котором блок вычисления информации управления сглаживанием выполнен с возможностью вычислять постоянную времени сглаживания, которая обратно пропорциональна наклону кривой параметров межканальной разности по уровню или межканальной разности по интенсивности.

11. Устройство по п.2, в котором блок вычисления информации управления сглаживанием выполнен с возможностью вычислять одну постоянную времени сглаживания для группы из нескольких частотных диапазонов и
в котором формирователь данных выполнен с возможностью указывать информацию для одного или более диапазонов в группе из нескольких частотных диапазонов, в которых постпроцессор на стороне синтезатора должен быть деактивизирован.

12. Устройство по п.1, в котором блок вычисления информации управления сглаживанием выполнен с возможностью выполнять обработку анализа посредством синтеза.

13. Устройство по п.12, в котором блок вычисления информации управления сглаживанием выполнен с возможностью
вычислять несколько постоянных времени,
моделировать постобработку на стороне синтезатора, используя несколько постоянных времени,
выбирать постоянную времени, которая приводит к значениям для последующих кадров, которая показывает наименьшее отклонение от неквантованных соответствующих значений.

14. Устройство по п.12, в котором генерируются различные тестовые пары, причем тестовая пара имеет постоянную времени сглаживания и некоторое правило квантования и
в котором блок вычисления информации управления сглаживанием выполнен с возможностью выбирать квантованные значения, используя правило квантования и постоянную времени сглаживания из пары, что приводит к наименьшему отклонению между постобработанными значениями и неквантованными соответствующими значениями.

15. Способ формирования сигнала управления многоканальным синтезатором, содержащий этапы:
анализируют многоканальный входной сигнал;
определяют информацию управления сглаживанием в ответ на этап анализа сигнала, так что в ответ на информацию управления сглаживанием на этапе постобработки формируют постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и
формируют сигнал управления, представляющий информацию управления сглаживанием в качестве сигнала управления многоканальным синтезатором.

16. Многоканальный синтезатор для формирования выходного сигнала из входного сигнала, причем входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, причем квантованные параметры восстановления квантованы в соответствии с правилом квантования и являются связанными с последующими временными частями входного сигнала, выходной сигнал имеет множество синтезированных выходных каналов и количество синтезированных выходных каналов больше, чем число входных каналов, входной канал имеет связанный с ним сигнал управления многоканальным синтезатором, представляющий информацию управления сглаживанием, содержащий:
средство выдачи сигнала управления для обеспечения сигнала управления, имеющего информацию управления сглаживанием;
постпроцессор для определения, в ответ на упомянутый сигнал управления, постобработанного параметра восстановления или постобработанной величины, полученной из параметра восстановления, для временной части входного сигнала, который должен быть обработан, при этом постпроцессор выполнен с возможностью определять постобработанный параметр восстановления или постобработанную величину так, что значение постобработанного параметра восстановления или постобработанной величины отличается от значения, получаемого с использованием обратного квантования в соответствии с правилом квантования; и
многоканальный блок восстановления для восстановления временной части ряда синтезированных выходных каналов, используя временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

17. Многоканальный синтезатор по п.16, в котором информация управления сглаживанием указывает постоянную времени сглаживания и
в котором постпроцессор выполнен с возможностью выполнять фильтрацию нижних частот, причем характеристика фильтра установлена в ответ на постоянную времени сглаживания.

18. Многоканальный синтезатор по п.16, в котором сигнал управления включает в себя информацию управления сглаживанием для каждого диапазона из множества диапазонов, по меньшей мере, одного входного канала и
в котором постпроцессор выполнен с возможностью выполнять постобработку способом в отношении диапазона в ответ на сигнал управления.

19. Многоканальный синтезатор по п.16, в котором сигнал управления включает в себя маску управления сглаживанием, имеющую бит для каждого частотного диапазона, причем этот бит для каждого частотного диапазона указывает, должен ли постпроцессор выполнять сглаживание или нет, и
в котором постпроцессор выполнен с возможностью выполнять сглаживание в ответ на маску управления сглаживанием, только когда бит для частотного диапазона в маске управления сглаживанием имеет заранее определенное значение.

20. Многоканальный синтезатор по п.16, в котором сигнал управления включает в себя короткий сигнал "все выкл.", короткий сигнал "все вкл." или короткий сигнал повторения последней маски, и
в котором постпроцессор выполнен с возможностью выполнять операцию сглаживания в ответ на короткий сигнал "все выкл.", короткий сигнал "все вкл." или короткий сигнал повторения последней маски.

21. Многоканальный синтезатор по п.16, в котором сигнал данных включает в себя сигнал активации декодера, указывающий, должен ли постпроцессор работать с использованием информации, переданной в сигнале данных, или с использованием информации, полученной из анализа сигнала на стороне декодера, и
в котором постпроцессор выполнен с возможностью работать с использованием информации управления сглаживанием или на основании анализа сигнала на стороне декодера в ответ на сигнал управления.

22. Многоканальный синтезатор по п.21, дополнительно содержащий анализатор входного сигнала для анализа входного сигнала, чтобы определить характеристику сигнала временной части входного сигнала, который должен быть обработан,
в котором постпроцессор выполнен с возможностью определять постобработанный параметр восстановления в зависимости от этой характеристики сигнала,
в котором характеристикой сигнала является характеристика тональности или переходная характеристика части входного сигнала, который должен быть обработан.

23. Способ формирования выходного сигнала из входного сигнала, причем входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантованы в соответствии с правилом квантования и связаны с последующими временными частями входного сигнала, причем выходной сигнал имеет множество синтезированных выходных каналов и число синтезированных выходных каналов больше, чем число входных каналов, причем входной сигнал имеет связанный с ним сигнал управления многоканальным синтезатором, представляющий информацию управления сглаживанием, содержащий этапы:
обеспечивают сигнал управления, имеющий информацию управления сглаживанием;
определяют в ответ на сигнал управления постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и
восстанавливают временную часть упомянутого множества синтезированных выходных каналов, используя временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

24. Машиночитаемый носитель данных, на котором сохранен сигнал управления многоканальным синтезатором, имеющий информацию управления сглаживанием, зависящую от многоканального входного сигнала, причем информация управления сглаживанием является такой, что в ответ на информацию управления сглаживанием постпроцессор на стороне синтезатора генерирует постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан, которая отличается от значения, получаемого с использованием обратного квантования в соответствии с правилом квантования.

25. Передатчик, имеющий устройство для формирования сигнала управления многоканальным синтезатором, причем это устройство содержит:
анализатор сигнала для анализа многоканального входного сигнала;
блок вычисления информации управления сглаживанием для задания информации управления сглаживанием в ответ на анализатор сигнала, причем блок вычисления информации управления сглаживанием выполнен с возможностью задавать информацию управления сглаживанием так, что в ответ на информацию управления сглаживанием постпроцессор на стороне синтезатора генерирует постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и
формирователь данных для формирования сигнала управления, представляющего информацию управления сглаживанием в качестве сигнала управления многоканальным синтезатором.

26. Приемник, имеющий многоканальный синтезатор для формирования выходного сигнала из входного сигнала, причем входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантованы в соответствии с правилом квантования и связаны с последующими временными частями входного сигнала, при этом выходной сигнал имеет множество синтезированных выходных каналов и число синтезированных выходных каналов больше, чем число входных каналов, причем входной канал имеет связанный с ним сигнал управления многоканальным синтезатором, представляющий информацию управления сглаживанием, при этом приемник содержит:
средство выдачи сигнала управления для обеспечения сигнала управления, имеющего информацию управления сглаживанием;
постпроцессор для определения в ответ на сигнал управления постобработанного параметра восстановления или постобработанной величины, полученной из параметра восстановления, для временной части входного сигнала, который должен быть обработан, при этом постпроцессор выполнен с возможностью определять постобработанный параметр восстановления или постобработанную величину так, что значение постобработанного параметра восстановления или постобработанной величины отличается от значения, получаемого с использованием обратного квантования в соответствии с правилом квантования; и
многоканальный блок восстановления для восстановления временной части упомянутого множества синтезированных выходных каналов, используя временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

27. Система передачи для передачи сигнала управления многоканальным синтезатором и приема входного сигнала, причем входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, при этом система передачи имеет передатчик и приемник,
причем передатчик имеет устройство для формирования упомянутого сигнала управления многоканальным синтезатором, при этом устройство содержит: анализатор сигнала для анализа многоканального входного сигнала; блок вычисления информации сглаживания для задания информации управления сглаживанием в ответ на анализатор сигнала, причем блок вычисления информации управления сглаживанием выполнен с возможностью задавать информацию управления сглаживанием так, что в ответ на информацию управления сглаживанием постпроцессор на стороне синтезатора формирует постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и формирователь данных для формирования сигнала управления, представляющего информацию управления сглаживанием, в качестве сигнала управления многоканальным синтезатором; и
приемник, имеющий многоканальный синтезатор для формирования выходного сигнала из входного сигнала, при этом входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, причем квантованные параметры восстановления квантованы в соответствии с правилом квантования и связаны с последующими временными частями входного сигнала, при этом выходной сигнал имеет множество синтезированных выходных каналов и количество синтезированных выходных каналов больше, чем количество входных каналов, входной канал имеет связанный с ним сигнал управления многоканальным синтезатором, представляющий информацию управления сглаживанием, при этом приемник содержит: средство выдачи сигнала управления для обеспечения сигнала управления, имеющего информацию управления сглаживанием; постпроцессор для определения в ответ на сигнал управления постобработанного параметра восстановления или постобработанной величины, полученной из параметра восстановления, для временной части входного сигнала, который должен быть обработан, причем постпроцессор выполнен с возможностью определять постобработанный параметр восстановления или постобработанную величину так, что значение постобработанного параметра восстановления или постобработанной величины отличается от значения, получаемого с использованием обратного квантования в соответствии с правилом квантования; и многоканальный блок восстановления для восстановления временной части упомянутого множества синтезированных выходных каналов, используя временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

28. Способ передачи, причем способ имеет способ формирования сигнала управления многоканальным синтезатором, причем способ содержит этапы:
анализ многоканального входного сигнала;
определение информации управления сглаживанием в ответ на этап анализа сигнала так, что в ответ на информацию управления сглаживанием на этапе постобработки формируют постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления для временной части входного сигнала, который должен быть обработан; и
формирование сигнала управления, представляющего информацию управления сглаживанием, в качестве сигнала управления многоканальным синтезатором.

29. Способ приема, при этом способ включает в себя способ формирования выходного сигнала из входного сигнала, причем входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, квантованные параметры восстановления квантованы в соответствии с правилом квантования и связаны с последующими временными частями входного сигнала, при этом выходной сигнал имеет множество синтезированных выходных каналов и количество синтезированных выходных каналов больше, чем количество входных каналов, входной сигнал имеет связанный с ним сигнал управления многоканальным синтезатором, представляющий информацию управления сглаживанием, при этом способ формирования содержит этапы:
выдают сигнал управления, имеющий информацию управления сглаживанием;
определяют в ответ на упомянутый сигнал управления постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления для временной части входного сигнала, который должен быть обработан; и
восстанавливают временную часть упомянутого множества синтезированных выходных каналов, используя временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

30. Способ приема входного сигнала и передачи сигнала управления многоканальным синтезатором, причем входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, а способ передачи включает в себя способ передачи, имеющий способ формирования упомянутого сигнала управления многоканальным синтезатором, причем способ содержит этапы: анализ многоканального входного сигнала; определение информации управления сглаживанием в ответ на этап анализа сигнала так, что в ответ на информацию управления сглаживанием на этапе постобработки генерируют постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и формирование сигнала управления, представляющего информацию управления сглаживанием, в качестве сигнала управления многоканальным синтезатором; и
включает в себя способ приема, имеющий способ формирования выходного сигнала из входного сигнала, причем входной сигнал имеет по меньшей мере один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантованы в соответствии с правилом квантования и связаны с последующими временными частями входного сигнала, выходной сигнал имеет множество синтезированных выходных каналов и число этих синтезированных выходных каналов больше, чем число входных каналов, причем входной сигнал имеет связанный с ним сигнал управления многоканальным синтезатором, представляющий информацию управления сглаживанием, а способ формирования содержит: обеспечение сигнала управления, имеющего информацию управления сглаживанием; определение в ответ на этот сигнал управления постобработанного параметра восстановления или постобработанной величины, полученной из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и восстановление временной части упомянутого множества синтезированных выходных каналов, используя временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

31. Блок записи аудио, имеющий устройство для формирования сигнала управления многоканальным синтезатором, причем это устройство содержит:
анализатор сигнала для анализа многоканального входного сигнала;
блок вычисления информации управления сглаживанием для задания информации управления сглаживанием в ответ на анализатор сигнала, причем блок вычисления информации управления сглаживанием выполнен с возможностью задавать информацию управления сглаживанием так, что в ответ на информацию управления сглаживанием постпроцессор на стороне синтезатора генерирует постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и
формирователь данных для формирования сигнала управления, представляющего информацию управления сглаживанием в качестве сигнала управления многоканальным синтезатором.

32. Блок воспроизведения аудио, имеющий многоканальный синтезатор для формирования выходного сигнала из входного сигнала, причем входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, при этом квантованные параметры восстановления квантованы в соответствии с правилом квантования и связаны с последующими временными частями входного сигнала, при этом выходной сигнал имеет множество синтезированных выходных каналов и число синтезированных выходных
каналов больше, чем число входных каналов, причем входной канал имеет связанный с ним сигнал управления многоканальным синтезатором, представляющий информацию управления сглаживанием, при этом блок воспроизведения аудио содержит:
средство выдачи сигнала управления для обеспечения сигнала управления, имеющего информацию управления сглаживанием;
постпроцессор для определения, в ответ на сигнал управления, постобработанного параметра восстановления или постобработанной величины, полученной из параметра восстановления, для временной части входного сигнала, который должен быть обработан, при этом постпроцессор выполнен с возможностью определять постобработанный параметр восстановления или постобработанную величину так, что значение постобработанного параметра восстановления или постобработанной величины отличается от значения, получаемого с использованием обратного квантования в соответствии с правилом квантования; и
многоканальный блок восстановления для восстановления временной части упомянутого множества синтезированных выходных каналов, используя временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

33. Способ записи аудио, причем способ имеет способ формирования сигнала управления многоканальным синтезатором, причем способ содержит этапы:
анализ многоканального входного сигнала;
определение информации управления сглаживанием в ответ на этап анализа сигнала, так что в ответ на информацию управления сглаживанием на этапе постобработки формируют постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и
формирование сигнала управления, представляющего информацию управления сглаживанием, в качестве сигнала управления многоканальным синтезатором.

34. Способ воспроизведения аудио, при этом способ включает в себя способ формирования выходного сигнала из входного сигнала, причем входной сигнал имеет, по меньшей мере, один входной канал и последовательность квантованных параметров восстановления, причем квантованные параметры восстановления квантованы в соответствии с правилом квантования и связаны с последующими временными частями входного сигнала, при этом выходной сигнал имеет множество синтезированных выходных каналов и количество синтезированных выходных каналов больше, чем количество входных каналов, входной сигнал имеет связанный с ним сигнал управления многоканальным синтезатором, представляющий информацию управления сглаживанием, при этом способ формирования содержит этапы:
выдают сигнал управления, имеющий информацию управления сглаживанием;
определяют, в ответ на упомянутый сигнал управления, постобработанный параметр восстановления или постобработанную величину, полученную из параметра восстановления, для временной части входного сигнала, который должен быть обработан; и
восстанавливают временную часть упомянутого множества синтезированных выходных каналов, используя временную часть входного канала и постобработанный параметр восстановления или постобработанное значение.

35. Машиночитаемый носитель, имеющий сохраненный на нем компьютерный программный код, который при выполнении на компьютере выполняет способ по п.15.

36. Машиночитаемый носитель, имеющий сохраненный на нем компьютерный программный код, который при выполнении на компьютере выполняет способ по п.23.

37. Машиночитаемый носитель, имеющий сохраненный на нем компьютерный программный код, который при выполнении на компьютере выполняет способ по п.28.

38. Машиночитаемый носитель, имеющий сохраненный на нем компьютерный программный код, который при выполнении на компьютере выполняет способ по п.29.

39. Машиночитаемый носитель, имеющий сохраненный на нем компьютерный программный код, который при выполнении на компьютере выполняет способ по п.30.

40. Машиночитаемый носитель, имеющий сохраненный на нем компьютерный программный код, который при выполнении на компьютере выполняет способ по п.33.

41. Машиночитаемый носитель, имеющий сохраненный на нем компьютерный программный код, который при выполнении на компьютере выполняет способ по п.34.