МНОГОКАНАЛЬНОЕ ВОССТАНОВЛЕНИЕ НА ОСНОВЕ МНОЖЕСТВЕННОЙ ПАРАМЕТРИЗАЦИИ Российский патент 2009 года по МПК G10L19/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к многоканальному восстановлению звуковых сигналов, основываясь на доступном стереосигнале и дополнительных данных управления.

УРОВЕНЬ ТЕХНИКИ

Недавнее достижение в кодировании звуковых сигналов обеспечило возможность воссоздавать многоканальное представление звукового сигнала, основываясь на стерео- (или моно-) сигнале и на соответствующих данных управления. Указанные способы значительно отличаются от прежнего основанного на матрицах решения, как например, технологии Dolby Prologic, поскольку, чтобы управлять воссозданием, которое также называется нами повышающим смешением, передаются дополнительные данные управления каналов объемного звучания, основываясь на передаваемых моно- или стереоканалах.

Следовательно, параметрические многоканальные аудиодекодеры восстанавливают N каналов на основе M передаваемых каналов, где N>M, и на основе дополнительных данных управления. Дополнительные данные управления представляют значительно более низкую скорость передачи данных, чем передача дополнительных N-M каналов, что делает кодирование очень эффективным, в то же время гарантируя совместимость с M канальными устройствами и N канальными устройствами.

Указанные параметрические способы кодирования объемного звучания обычно содержат параметризацию сигнала объемного звучания, основываясь на IID (разности интенсивности между каналами) и ICC (когерентности между каналами). Указанные параметры описывают соотношения мощности и корреляцию между парами каналов в процессе повышающего смешения. Дополнительные параметры, также используемые в уровне техники, содержат параметры прогнозирования, используемые для прогнозирования промежуточных или выходных каналов во время процедуры повышающего смешения.

Одним из наиболее привлекательных использований способа на основе прогнозирования, как описано в уровне техники, является использование его для системы, которая воссоздает 5.1 канал из двух передаваемых каналов. В данной конфигурации доступна стереопередача на стороне декодера, которая представляет собой понижающее смешение (смешение с уменьшением) исходного многоканального сигнала. В упомянутом контексте особенно интересно иметь способность как можно точнее выделять центральный канал из стереосигнала, поскольку центральный канал обычно смешивается с понижением как к левому, так и к правому каналу понижающего смешения. Последнее осуществляется посредством оценки двух коэффициентов прогнозирования, описывающих величину каждого из двух передаваемых каналов, используемых для построения центрального канала. Указанные параметры оцениваются для различных частотных областей подобно вышеупомянутым параметрам IID и ICC.

Однако, поскольку параметры прогнозирования не описывают соотношение мощности двух сигналов, но основаны на согласовании волновой формы сигнала в смысле ошибки по методу наименьших квадратов, способ становится по своему существу чувствительным к какой-либо модификации волновой формы стереосигнала после вычисления параметров прогнозирования.

В течение последних лет дальнейшие достижения в аудиокодировании заключались во введении способов высокочастотного восстановления как очень полезного инструмента в звуковых кодеках при низких скоростях передачи в битах. Одним примером является SBR (тиражирование спектральной полосы) [WO 98/57436], которое используется в MPEG стандартизированных кодеках, таких как MPEG-4 AAC (формат аудиофайлов) высокой эффективности. Общим для указанных способов является то, что они воссоздают высокие частоты на стороне декодера из узкополосного сигнала, закодированного посредством базового центрального кодека и небольшого количества дополнительной информации управления. Подобно случаю параметрического восстановления многоканальных сигналов, основываясь на одном или двух каналах, количество данных управления, требуемых для воссоздания недостающих составляющих сигнала (в случае SBR, высокие частоты), является значительно меньшим, чем количество данных, которое потребовалось бы для кодирования всего сигнала с помощью кодека волновой формы сигнала.

Однако должно быть понятно, что воссозданный сигнал полосы высоких частот по ощущению равен исходному сигналу полосы высоких частот, тогда как действительная волновая форма сигнала значительно отличается. Более того, для кодеров волновой формы сигнала кодирующих сигналы на низких скоростях передачи в битах, обычно используется предварительная обработка, что означает, что выполняется ограничение в отношении сигнала боковой полосы в “среднем/боковом” представлении стереосигнала.

Когда желательно многоканальное представление, основанное на сигнале стереокодека, использующего MPEG-4 AAC высокой эффективности, или какого-либо другого кодека, использующего методы высокочастотного восстановления, должны рассматриваться упомянутые и другие аспекты кодека, используемого для кодирования смешанного с уменьшением стереосигнала.

Далее, общим является то, что для записи, доступной в качестве многоканального аудиосигнала, доступно специальное стереосмешение, которое не является автоматической версией смешения с уменьшением многоканального сигнала. Оно вообще называется как "художественное понижающее смешение". Упомянутое понижающее смешение не может быть выражено как линейная комбинация многоканальных сигналов.

Задачей настоящего изобретения является обеспечение улучшенной концепции многоканального кодера/понижающего смешения или декодера/повышающего смешения, которая приводит к более высокому качеству восстановленного многоканального выхода.

Указанная задача достигается посредством многоканального синтезатора согласно п.1, кодера для обработки многоканального входного сигнала согласно п.19, способа генерации по меньшей мере трех выходных каналов согласно п.33, способа кодирования согласно п.34 или закодированного многоканального сигнала согласно п.35.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение основано на открытии того, что различные параметрические представления для различных частотных или временных интервалов сигнала полезны для получения ситуаций кодирования или декодирования, которые адаптируются к различным ситуациям. Упомянутые ситуации могут возникать в результате событий кодера, таких как выполнение вычисления SBR информации или вычисления измерения энергии, используемой для компенсации потерь энергии или любого другого события. Другие ситуации, которые могут привести к различным параметрическим представлениям, могут включать в себя качество повышающего смешения (смешения с увеличением числа каналов), скорость передачи в битах понижающего смешения (смешением с уменьшением числа каналов), эффективность вычислений на стороне кодера или на стороне декодера, или, например, потребление энергии, например, различных устройств с батарейным питанием, так что для некоторого поддиапазона или кадра первая параметризация лучше, чем вторая параметризация. Естественно, целевая функция также может быть комбинацией различных отдельных целей/событий, которые описаны выше.

Предпочтительно, одно параметрическое представление включает в себя параметры для прогнозирующего повышающего смешения, основываясь на модификации волновой формы смешанного с понижением многоканального сигнала. Оно включает в себя случай, когда смешанный с понижением сигнал кодируется кодеком, выполняющим предварительную стереообработку высокочастотное восстановление и другие схемы кодирования, которые значительно модифицируют волновую форму сигнала. Более того, изобретение посвящено проблеме, которая возникает, когда методы прогнозирующего повышающего смешения используются для художественного понижающего смешения, то есть сигнал понижающего смешения автоматически не получается из многоканального сигнала.

Предпочтительно, настоящее изобретение содержит следующие признаки:

- оценка параметров прогнозирования на основе модифицированной волновой формы сигнала вместо волновой формы смешанного с понижением сигнала;

- использование способов, основанных на прогнозировании, только в частотных диапазонах, где они выгодны;

- коррекция потерь энергии и неточной корреляции между каналами, вносимых в процедуре повышающего смешения, основанного на прогнозировании.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Ниже изобретение поясняется описанием конкретных вариантов его осуществления со ссылками на сопровождающие чертежи, на которых:

фиг.1 иллюстрирует основанное на прогнозировании восстановление трех каналов из двух каналов,

фиг.2 иллюстрирует прогнозирующее повышающее смешение с компенсацией энергии,

фиг.3 иллюстрирует компенсацию энергии в прогнозирующем повышающем смешении,

фиг.4 иллюстрирует устройство оценки параметра прогнозирования на стороне кодера с компенсацией энергии смешанного с понижением сигнала,

фиг.5 иллюстрирует прогнозирующее повышающее смешение с восстановлением корреляции,

фиг.6 иллюстрирует модуль смешения для смешения декоррелированного сигнала со смешанным с повышением сигналом в повышающем смешении с восстановлением корреляции,

фиг.7 иллюстрирует альтернативный модуль смешения для смешения декоррелированного сигнала с смешанным с повышением сигналом в повышающем смешении с восстановлением корреляции,

фиг.8 иллюстрирует оценку параметра прогнозирования на стороне кодера,

фиг.9 иллюстрирует оценку параметра прогнозирования на стороне кодера,

фиг.10 иллюстрирует изобретательский многопараметрический сценарий,

фиг.11 иллюстрирует устройство повышающего смешения,

фиг.12 иллюстрирует энергетическую диаграмму, показывающую результат повышающего смешения, вносящего потери энергии, и предпочтительной компенсации,

фиг.13 - таблица способов компенсации энергии,

фиг.14а - схематическая диаграмма предпочтительного многоканального кодера,

фиг.14б - блок схема способа, выполняемого устройством согласно фиг.14а,

фиг.15а - многоканальный кодер, имеющий функциональные возможности тиражирования спектральной полосы для генерации различной параметризации, сравниваемой с устройством на фиг.14а,

фиг.15б - иллюстрация в виде таблиц частотно-избирательной генерации и передачи параметрических данных, и

фиг.16а - декодер, иллюстрирующий вычисление матричных коэффициентов повышающего смешения,

фиг.16б - подробное описание вычисления параметров для прогнозирующего повышающего смешения,

фиг.17 - передатчик и приемник системы передачи и

фиг.18 - устройство звукозаписи, имеющее кодер, и аудиоплеер, имеющий декодер.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Описанные ниже варианты осуществления являются просто иллюстративными для принципов настоящего изобретения. Понятно, что для специалистов будут очевидны модификации и вариации описанных здесь компоновок и деталей. Следовательно, имеется намерение ограничиваться только рамками предстоящей формулы изобретения, а не специфическими деталями, представленными здесь описанием и объяснением вариантов осуществления.

Подчеркивается, что последующие вычисления параметров, приложение на практике, повышающее смешение (с увеличением числа каналов), понижающее смешение (с уменьшением числа каналов) или какие-либо действия могут выполняться на основе избирательной полосы частот, то есть для поддиапазонов в гребенке фильтров.

Чтобы обрисовать преимущества настоящего изобретения, сначала дается более подробное описание прогнозирующего повышающего смешения, известного в уровне техники. Предположим, имеется некоторое повышающее смешение трех каналов, основанное на двух каналах понижающего смешения (смешения с уменьшением), как показано на фиг.1, где 101 представляет собой левый исходный канал, 102 представляет собой центральный исходный канал, 103 представляет собой правый исходный канал, 104 представляет собой модуль понижающего смешения и выделения параметра на стороне кодера, 105 и 106 представляют собой параметры прогнозирования, 107 представляет собой левый смешанный с понижением канал, 108 представляет собой правый смешанный с понижением канал, 109 представляют собой модуль прогнозирующего повышающего смешения (смешения с увеличением), и 110, 111 и 112 представляют собой восстановленные левый, центральный и правый канал, соответственно.

Примем следующие определения: X представляет собой матрицу 3xL, содержащую в качестве строк три сегмента сигнала l(k), r(k), c(k), k=0,...,L-l.

Подобным образом, пусть два смешанных с понижением сигнала l₀(k), r₀(k) формируют строки X₀. Процесс понижающего смешения описывается выражением:

где матрица понижающего смешения задается выражением:

Предпочтительный выбор матрицы понижающего смешения представляет собой:

что означает, что левый сигнал понижающего смешения l₀(k) будет содержать только l(k) и αc(k), а правый сигнал понижающего смешения r₀(k) будет содержать только r(k) и αc(k). Указанная матрица понижающего смешения (смешения с уменьшением) является предпочтительной, поскольку она назначает равную величину центрального канала левому и правому понижающему смешению, и поскольку она не назначает никакого исходного правого канала левому понижающему смешению или наоборот.

Повышающее смешение задается выражением:

где C представляет собой матрицу 3x2 повышающего смешения.

Прогнозирующее повышающее смешение, известное из уровня техники, основано на идее решения переопределенной системы

для C в смысле метода наименьших квадратов. Последнее приводит к нормальным уравнениям:

Умножение (6) слева на D дает DCX₀X₀ ^*=X₀X₀ ^*, что в общем случае, когда X₀X₀ ^*=DXX*D^* является невырожденным, влечет за собой

где I_n обозначает n единичную матрицу. Это соотношение снижает пространство C параметров до размерности два.

Задавая вышеупомянутые условия, матрица

повышающего смешения может быть полностью задана на стороне декодера, если известна матрица D понижающего смешения, и передаются два элемента матрицы C, например c₁₁ и c₂₂.

Остаточные сигналы (ошибка прогнозирования) задаются выражением:

Умножение слева на D дает

из-за (7). Отсюда следует, что имеется сигнал x_r вектора-строки 1 x L такой, что

где v представляет собой единичный вектор 3x1, стягивающий кернфункцию (нулевое пространство) D.

Например, в случае понижающего смешения (3), можно использовать выражение:

В основном, когда

и

,

это означает, что вплоть до весового множителя, остаточный сигнал является общим для всех трех каналов,

Благодаря принципу ортогональности, остаточный сигнал x_r(k) является ортогональным ко всем трем прогнозированным сигналам

РЕШЕННЫЕ ПРОБЛЕМЫ И УЛУЧШЕНИЯ, ПОЛУЧЕННЫЕ ПОСРЕДСТВОМ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Очевидно, когда, согласно уровню техники используется повышающее смешение (смешение с увеличением), основанное на прогнозировании, возникают следующие проблемы, сформулированные в общих чертах выше:

- Способ основан на согласовании волновой формы сигнала в смысле ошибки по методу наименьших квадратов, что не работает для систем, где не поддерживается волновая форма сигнала смешанных с понижением сигналов.

- Способ не обеспечивает правильной структуры корреляции между восстановленными каналами (как будет описано ниже).

- Способ не восстанавливает правильное количество энергии в восстановленных каналах.

КОМПЕНСАЦИЯ ЭНЕРГИИ

Как упоминалось выше, одной из проблем с многоканальным восстановлением, основанном на прогнозировании, является то, что ошибка прогнозирования соответствует потерям энергии трех восстановленных каналов. Ниже обрисована теория для упомянутых потерь энергии и решение согласно предпочтительным вариантам осуществления. Во-первых, выполняется теоретический анализ, и затем дается предпочтительный вариант осуществления настоящего изобретения согласно описанной ниже теории.

Пусть Е, К, Е_r представляют собой суммы энергий исходных сигналов в X, прогнозированных сигналов в и сигналов ошибок прогнозирования в X_r, соответственно. Из ортогональности следует, что

Суммарный коэффициент усиления прогнозирования может быть задан как

но впоследствии будет более удобно рассматривать параметр

Следовательно,

измеряет суммарную относительную энергию прогнозирующего повышающего смешения.

При заданном ρ, возможно перестраивать каждый канал путем применения коэффициента усиления компенсации,

так что

для z=l, r, c. В частности, целевая энергия дается выражением (12),

так что необходимо решить

Здесь, поскольку v - единичный вектор,

и из определения (14) параметра ρ и из выражения (13) следует, что

Складывая все, приходим к коэффициенту усиления

Очевидно, что при таком способе в дополнение к передаче ρ на декодере должно вычисляться распределение энергии декодированных каналов. Более того, энергии восстанавливаются правильно, тогда как структура корреляции вне диагонали игнорируется.

Можно получить значение коэффициента усиления, которое гарантирует, что суммарная энергия сохраняется, не гарантируя при этом, что энергия отдельных каналов является надлежащей. Общий коэффициент усиления для всех каналов g_z=g, который гарантирует, что суммарная энергия консервируется, получается посредством задания уравнения g²К=E. То есть

Посредством линейности указанный коэффициент усиления может быть применен в кодере к смешиваемым с понижением сигналам, так что не нужно передавать дополнительный параметр.

Фиг.2 в общих чертах изображает предпочтительный вариант осуществления настоящего изобретения, который воссоздает три канала, при этом поддерживая надлежащую энергию выходных каналов. Смешанные с понижением сигналы l₀ и r₀ вводятся в модуль 201 повышающего смешения, наряду с параметрами прогнозирования c₁ и c₂. Модуль понижающего смешения воссоздает матрицу C повышающего смешения на основе знания о матрице D понижающего смешения и принятых параметров прогнозирования. Три выходных канала из модуля 201 вводятся в 202 наряду с параметром ρ настройки. Три канала регулируются по усилению как функция передаваемого параметра ρ, и выводятся каналы с корректированной энергии.

На фиг.3 отображается более подробный вариант осуществления модуля 202 настройки. Три смешанных с понижением сигнала вводятся в модуль 304, а также в модуль 301, 302 и 303, соответственно. Модули 301-303 оценки энергии оценивают энергию трех смешанных с повышением сигналов и вводят измеренную энергию в модуль 304 настройки. Сигнал управления ρ (представляющий коэффициент усиления прогнозирования), принятый из кодера, также водится в 304. Модуль настройки выполняет уравнение (19), описанное выше.

В альтернативном варианте воплощения настоящего изобретения коррекция энергии может быть выполнена на стороне кодера. Фиг.4 иллюстрирует воплощение кодера, в котором смешанные с понижением сигналы l₀ 107 и r₀ 108 настраиваются по усилению модулями 401 и 402 согласно значению коэффициента усиления, вычисленному модулем 403. Значение коэффициента усиления получается согласно вышеупомянутому уравнению (20). Как коротко описано выше, последнее является достоинством данного варианта осуществления настоящего изобретения, поскольку необязательно вычислять энергию трех воссозданных каналов из прогнозирующего повышающего смешения. Однако тем самым гарантируется только то, что суммарная энергия трех воссозданных каналов является надлежащей. Это не гарантирует, что энергия отдельных каналов является надлежащей.

Предпочтительный пример для матрицы понижающего смешения, соответствующей уравнению (3), приводится ниже модуля понижающего смешения на фиг.4. Однако модуль понижающего смешения может применять любую обычную матрицу понижающего смешения, как формулируется в уравнении (2).

Как описано ниже, для настоящего случая модуля понижающего смешения, имеющего в качестве ввода три канала, и имеющего в качестве вывода два канала, требуется по меньшей мере два дополнительных параметра c₁, c₂ смешения с уменьшением. Когда матрица D понижающего смешения является варьируемой или полностью неизвестной для декодера, со стороны кодера на сторону декодера также должна передаваться дополнительная информация об используемом понижающем смешении, в дополнение к параметрам 105 и 106.

СТРУКТУРА КОРРЕЛЯЦИИ

Одной из проблем, связанных с процедурой смешения с увеличением, описанных в уровне техники, является то, что эта процедура не восстанавливает надлежащую корреляцию между двумя воссозданными каналами. Поскольку, как описано выше, центральный канал прогнозируется в качестве линейной комбинации левого канала смешения с понижением и правого канала смешения с понижением, а левый и правый каналы восстанавливаются путем вычитания прогнозированного центрального канала из левого и правого каналов понижающего смешения. Очевидно, что ошибка прогнозирования будет приводить к остаткам исходного центрального канала в прогнозированном левом и правом канале. Тем самым подразумевается, что корреляции между тремя каналами являются неодинаковыми для восстановленных каналов и для исходных трех каналов.

Предпочтительный вариант осуществления показывает, что три прогнозированных канала могли бы быть объединены с декоррелированными сигналами согласно измеренной ошибке прогнозирования.

Ниже излагается базовая теория для достижения надлежащей структуры корреляции. Спектральная структура остатка может быть использована для восстановления полной 3х3 структуры корреляции XX^* путем вычитания декоррелированного сигнала x_d для остатка в декодере.

Во-первых, заметим, что нормальные уравнения (6) приводят к X_rX₀ ^* так, что

Следовательно, поскольку X=+X_r, то

где (10) и (17) применялись для последнего равенства.

Пусть x_d представляет собой сигнал, декоррелированный из всех декодированных сигналов Î, ŕ, ĉ так, что x_r ^*=0. Тогда улучшенный сигнал

имеет корреляционную матрицу

Чтобы полностью сократить исходную корреляционную матрицу (22), достаточно, чтобы

Если x_d получается путем декорреляции смешанного с понижением сигнала, скажем

после чего следует коэффициент усиления γ, то должно быть понятно, что

Указанный коэффициент усиления может быть вычислен в кодере. Однако, если нужно использовать более точно определенный параметр

из выражения (14), то оценка

должна выполняться в декодере. В свете этого, есть более привлекательная альтернатива генерировать x_d, используя три декоррелятора

поскольку тогда

так что равенство (25) удовлетворяется посредством выбора

Фиг.5 иллюстрирует один вариант осуществления настоящего изобретения для прогнозирующего повышающего смешения (смешения с увеличением) трех каналов из двух смешанных с понижением каналов, при этом поддерживая надлежащую структуру корреляции между каналами. На фиг.5 модули являются 109, 110, 111 и 112 такими же, как на фиг.1, и не будут здесь подробно рассматриваться. Три смешанных с повышением сигнала, которые выводятся из 109, вводятся в модули 501, 502 и 503 декорреляции. Они генерируют взаимно декоррелированные сигналы. Декоррелированные сигналы суммируются и вводятся в модули 504, 505 и 506 смешения, где они смешиваются с выходным сигналом из 109. Смешение прогнозирующих смешанных с повышением сигналов с их декоррелированными версиями является существенным признаком настоящего изобретения. На фиг.6 отображается один вариант осуществления модулей 504, 505 и 506 смешения. В этом варианте осуществления настоящего изобретения уровень декоррелированного сигнала регулируется модулем 601 на основе сигнала управления γ. Декоррелированный сигнал впоследствии прибавляется к прогнозирующему смешанному с повышением сигналу в модуле 602.

Третий предпочтительный вариант осуществления использует декорреляторы 501, 502, 503 для смешанных с повышением каналов. Декоррелированный сигнал также может генерироваться декоррелятором 501′, который принимает в качестве входного сигнала смешанный с понижением канал или даже все смешанные с понижением каналы. Более того, в случае более одного смешанного с понижением канала, как показано на фиг.5, сигнал декорреляции также может генерироваться посредством отдельных декорреляторов для левого базового канала l₀ и правого базового канала r₀, и посредством объединения выхода этих отдельных декорреляторов. Эта возможность по существу такая же, как возможность, показанная на фиг.5, но имеет разницу по сравнению с возможностью, показанной на фиг.5, в том, что перед повышающим смешением используются базовые каналы.

Более того, в связи с фиг.5, излагается, что модули 504, 505 и 506 смешения не только принимают множитель γ, который равен для всех трех каналов, поскольку этот множитель зависит только от измерения энергии ρ, но также принимает специфический для канала множитель νl, νc и νr, который определяется, как описано в связи с уравнениями (10) и (11). Однако данный параметр не должен передаваться из кодера в декодер, когда декодер знает понижающее смешение, используемое в кодере. Вместо этого указанные параметры в матрице v, как показано в уравнениях (10) и (11), предпочтительно предварительно программируются в модули 504, 505 и 506 смешения, так чтобы эти специфические для канала весовые множители не должны были передаваться (но конечно могли бы передаваться, когда требуется).

На фиг.6, показано, что взвешивающее устройство 601 регулирует энергию декоррелированного сигнала, используя произведение γ и параметра νz, специфического для канала и зависимого от понижающего смешения, в котором z устанавливается для l, r или c. В этом контексте можно отметить, что уравнение (26a) гарантирует, что энергия x_d равна сумме энергий смешанных с повышением прогнозируемым образом левого, правого и центрального каналов. Следовательно, устройство 601 может просто быть воплощено как преобразователь масштаба, использующий масштабирующий множитель GI. Однако, когда декоррелированный сигнал генерируется альтернативно, модуль 504, 505, 506 смешения должен выполнять регулировку абсолютной энергии, сумированной суммирующим устройством 602 так, чтобы энергия сигнала, сумированная в сумматоре 602, была равна энергии остаточного сигнала, например, энергии, которая теряется за счет прогнозирующего повышающего смешения, не сохраняющего энергию.

Что касается специфического для канала и зависимого от понижающего смешения параметра νz, то те же комментарии, которые описаны относительно фиг.6, также применимы для варианта осуществления фиг.7.

Более того, следует отметить, что варианты осуществления фиг.6 и фиг.7 основаны на том, что, по меньшей мере, часть потерь энергии в прогнозирующем повышающем смешении суммируется с использованием сигнала декорреляции. Чтобы иметь надлежащие энергии сигналов и надлежащие доли «сухой» составляющей сигнала (некоррелированный сигнал) и «сырой» составляющей сигнала (декоррелированный), нужно гарантировать, что «сухой» сигнал, вводимый в модуль 504 смешения, не является предварительно масштабированным. Например, когда базовые каналы предварительно корректируются на стороне декодера (как показано на фиг.4), тогда эта предварительная коррекция (фиг.4) должна быть скомпенсирована посредством умножения канала на (относительное) измерение энергии перед вводом канала в модули 504, 505 и 506 смешения. Дополнительно, такая же процедура должна выполняться, когда такая же коррекция энергии выполняется на стороне декодера перед поступлением смешанных с понижением каналов в модуль 109 повышающего смешения, как показано на фиг.5.

Когда только часть остаточной энергии должна быть охвачена декоррелированным сигналом, предварительная коррекция должна быть удалена только частично посредством предварительного масштабирования сигнала, вводимого в модули 504, 505 и 506 смешения, посредством ρ-зависимого множителя, который ближе к единице, чем сам множитель ρ. Естественно, упомянутый частично компенсирующий предварительный масштабирующий множитель будет зависеть от генерированного кодером сигнала κ, вводимого на шаге 605 на фиг.7. Когда должно выполняться такое частичное предварительное масштабирование, тогда весовой множитель, применяемый в G_2, не является обязательным. Вместо этого ответвление от входа 904 к сумматору 602 будет таким же, как на фиг.6.

УПРАВЛЕНИЕ СТЕПЕНЬЮ ДЕКОРРЕЛЯЦИИ

Предпочтительный вариант осуществления изобретения предписывает, что величина декорреляции, прибавленная к прогнозированным смешанным с повышением сигналам, может управляться из кодера, с поддержанием по-прежнему при этом надлежащей выходной энергии. Это так, поскольку в типичном примере «интервью» «сухой» речи в центральном канале, и окружения в левом и правом каналах, может быть нежелательна подстановка декоррелированного сигнала для получения ошибки прогнозирования в центральном канале.

Согласно предпочтительному варианту осуществления настоящего изобретения может быть использована процедура смешения, альтернативная описанной на фиг.5. Ниже показано, как согласно настоящему изобретению могут быть разделены проблемы сохранения суммарной энергии и воспроизведения истинной корреляции и как величина декорреляции может управляться параметром κ.

Допустим, что компенсация (20) коэффициента усиления сохранения суммарной энергии выполнялась на смешанном с понижением сигнале, так что сначала получается декодированный сигнал /ρ. Из него производится декоррелированный сигнал d с такой же суммарной энергией

например, путем использования трех декорреляторов, как в предыдущем разделе. Затем определяется суммарное повышающее смешение согласно выражению

где

представляет собой передаваемый параметр. Выбор κ=1 соответствует сохранению суммарной энергии без прибавления декоррелированного сигнала, а κ=ρ соответствует полному воспроизведению структуры корреляции 3х3. Имеется выражение

так, что суммарная энергия сохраняется для всех

как можно видеть это из вычисления следов (сумма диагональных значений) матриц в (30). Однако надлежащая отдельная энергия получается только для κ=ρ.

Фиг.7 иллюстрирует вариант осуществления модулей 504, 505 и 506 смешения по фиг.5 согласно вышеописанной теории. В этом альтернативном варианте модулей смешения параметр γ управления вводится в модули 702 и 701. Коэффициент усиления, используемый для 702, соответствует κ согласно вышеприведенному уравнению (29), и коэффициент усиления, используемый для 701, соответствует

согласно вышеприведенному уравнению (29).

Вышеописанный вариант осуществления настоящего изобретения позволяет системе использовать механизм детектирования на стороне кодера, который оценивает величину декорреляции, которая должна прибавляться в повышающем смешении, основанном на прогнозировании. Реализация, описанная на фиг.7, будет прибавлять коррекцию энергии так, чтобы суммарная энергия трех каналов была надлежащей, при этом сохраняя способность заменять произвольную величину ошибки прогнозирования на декоррелированный сигнал.

Это значит, что например, с тремя сигналами окружающего звука, например, классическая музыкальная пьеса, с большим количеством «окружающих» сигналов, кодер может детектировать недостаток «сухого» центрального канала, и декодеру необходимо заменить полную ошибку прогнозирования декоррелированным сигналом, таким образом воссоздавая окружение звука из трех каналов, способом, который не был бы возможен только со способами уровня техники, основанными на прогнозировании. Более того, для сигнала с сухим центральным каналом, например, речи в центральном канале и окружающими звуками в левом и правом каналах, кодер детектирует, что замена ошибки прогнозирования декоррелированным сигналом не является корректной с точки зрения психофизиологии слухового восприятия, и вместо этого декодеру следует регулировать уровни трех восстановленных каналов так, чтобы энергия трех каналов была надлежащей. Очевидно, два крайних вышеперечисленных примера представляют два возможных исхода изобретения. Оно не ограничивается охватом только крайних случаев, описанных в вышеперечисленных примерах.

АДАПТАЦИЯ КОЭФФИЦИЕНТОВ ПРОГНОЗИРОВАНИЯ К МОДИФИЦИРОВАННЫМ ВОЛНОВЫМ ФОРМАМ СИГНАЛОВ

Как описано выше, параметры прогнозирования оцениваются посредством минимизации среднеквадратичной ошибки, имея три исходных канала X и матрицу D понижающего смешения. Однако во многих ситуациях нельзя полагаться на то, что смешанный с понижением сигнал может быть описан как матрица D понижающего смешения, умноженная на матрицу X, описывающую исходный многоканальный сигнал.

Один из очевидных примеров этого имеет место, когда используется так называемое «художественное понижающее смешение», то есть понижающее смешение не может быть описано в виде линейной комбинации многоканального сигнала. Другой пример имеет место, когда смешанный с понижением сигнал кодируется перцепционным аудиокодеком, который использует предварительную обработку стереосигнала или другие инструментальные средства для улучшенной эффективности кодирования. Вообще из уровня техники известно, что многие перцепционные аудиокодеки основаны на среднем/боковом стереокодировании, где сигнал боковой полосы ослабляется в ограниченных условиях скорости передачи в битах, давая выходной сигнал, который имеет более узкий зеркальный стереосигнал, чем таковой у сигнала, используемого для кодирования.

Фиг.8 отображает предпочтительный вариант осуществления настоящего изобретения, в котором выделение параметра на стороне кодера отдельно от многоканального сигнала также может дать доступ к модифицированному смешанном с понижением сигналу. Модифицированное понижающее смешение здесь генерируется модулем 801. Если передаются только параметры матрицы C, то знание D матрицы на стороне декодера необходимо для того, чтобы обеспечить возможность выполнять повышающее смешение, и получать ошибку по методу наименьших квадратов для всех смешанных с понижением каналов. Однако настоящее изобретение раскрывает, что можно заменить смешанные с понижением сигналы l₀(k) и r₀(k) на стороне кодера смешанными с понижением сигналами l₀'(k) и r₀'(k), которые получаются путем использования матрицы D понижающего смешения, не обязательно являющейся такой же, как предполагается в декодере. Использование альтернативного понижающего смешения для оценки параметра на стороне кодера гарантирует только надлежащее воспроизведение центрального канала на стороне декодера. Передавая дополнительную информацию из кодера в декодер, можно получить более точное повышающее смешение трех каналов. В крайнем случае могут передаваться все шесть элементов матрицы C. Однако настоящее изобретение раскрывает, что подмножество матрицы может передаваться, если оно сопровождается информацией об используемой матрице D понижающего смешения 802.

Как упоминалось ранее, перцепционные аудиокодеки используют среднее/боковое стереокодирование на низких скоростях передачи в битах. Более того, предварительная обработка стереосигнала в основном используется, чтобы снизить энергию сигнала боковой полосы в ограниченных условиях скорости передачи в битах. Это делается на основе психоакустического понятия, что для стереосигнала уменьшение ширины стереосигнала является предпочтительным артефактом по сравнению с искажением квантования и ограничением ширины полосы.

Следовательно, если используется предварительная обработка стереосигнала, то уравнение (3) понижающего смешения может быть выражено как

где γ представляет собой затухание сигнала боковой полосы. Как описано ранее, матрицу D необходимо знать на стороне декодера, чтобы иметь возможность правильно восстанавливать три канала. Следовательно, настоящее изобретение раскрывает, что коэффициент затухания должен посылаться в декодер.

Фиг.9 отображает другой вариант осуществления настоящего изобретения, в котором смешанные с понижением сигналы l₀(k) и r₀(k), выходящие из модуля 104, вводятся в устройство 901 предварительной обработки стереосигнала, которое ограничивает сигнал боковой полосы (l₀-r₀) среднего/бокового представления, смешанного с понижением сигнала множителем γ. Этот параметр передается в декодер.

ПАРАМЕТРИЗАЦИЯ ДЛЯ HFR СИГНАЛОВ КОДЕКА

Если повышающее смешение, основанное на прогнозировании, используется со способами высокочастотного восстановления, такими как SBR [WO 98/57436], то параметры прогнозирования, оцениваемые на стороне кодера, не будут согласованы с воссозданным сигналом высоких частот на стороне декодера. Настоящий вариант осуществления раскрывает использование альтернативной структуры повышающего смешения, основанной на не волновой форме, для воссоздания трех каналов из двух. Предложенная процедура повышающего смешения разрабатывается для воссоздания надлежащей энергии всех смешанных с повышением каналов в случае некоррелированных шумовых сигналов.

Предполагается, что используется матрица D_a понижающего смешения подобно заданной в (3). Теперь зададим матрицу C повышающего смешения. Тогда повышающее смешение задается выражением

В стремлении воссоздать только надлежащую энергию смешанных с повышением сигналов l₀(k), r₀(k) и c(k), где энергии будут L, R и C, матрица повышающего смешения выбирается так, что диагональные элементы матриц ^* и Х^*Х^* являются одинаковыми, согласно выражению:

Соответствующее выражение для матрицы понижающего смешения будет

Установка диагонального элемента матрицы равным диагональному элементу матрицы ХХ^* приводит к трем уравнениям, задающим соотношение между элементами в матрице C и параметрами L, R и C.

На основе вышеупомянутых обстоятельств может быть задана матрица повышающего смешения. Предпочтительно задавать матрицу повышающего смешения, которая не прибавляет правый смешанный с понижением канал к левому смешанному с повышением каналу, и наоборот. Следовательно, подходящая матрица повышающего смешения может быть

Это дает матрицу С согласно выражению

Можно показать, что элементы матрицы C могут быть воссозданы на стороне декодера из двух переданных параметров

Фиг.10 описывает предпочтительный вариант осуществления настоящего изобретения. Здесь 101-112 такие же, как на фиг.1, и не будут освещаться далее. Три исходных сигнала 101-103 вводятся в модуль 1001 оценки. Указанный модуль оценивает два параметра, например,

,

из которых может быть получена матрица C на стороне декодера. Перечисленные параметры, наряду с параметрами, выходящими из модуля 104, вводятся в модуль 1002 выбора. В предпочтительном варианте осуществления модуль 1002 выбора выводит параметры из модуля 104, если параметры соответствуют частотному диапазону, который кодируется кодеком волновой формы сигнала, и выводит параметры из 1001, если параметры соответствуют частотному диапазону, который восстанавливается посредством HFR (высокочастотного восстановления). Модуль 1002 выбора также выводит информацию 1005, на основании которой используется параметризация для различных частотных диапазонов сигнала.

Модуль выбора является примером контроллера параметрического представления.

На стороне декодера модуль 1004 принимает передаваемые параметры и направляет их в модуль 109 прогнозирующего повышающего смешения или в модуль 1003 повышающего смешения, основанного на энергии, согласно вышесказанному, в зависимости от индикации, задаваемой параметром 1005. Модуль 1003 повышающего смешения, основанного на энергии, реализует матрицу С повышающего смешения согласно уравнению (40).

Матрица С повышающего смешения, описанная в уравнении (40), имеет равные веса (δ), чтобы получить оцененный (декодером) сигнал с(k) из двух смешанных с понижением сигналов l₀(k), r₀(k). Основываясь на наблюдении того, что относительная величина сигнала с(k) может отличаться в двух смешанных с понижением сигналах l₀(k), r₀(k) (то есть C/L не равно C/R), можно также рассматривать следующую обобщенную матрицу повышающего смешения:

Чтобы оценить с(k), указанный вариант осуществления также требует передачи двух параметров управления c₁ и c₂, которые например, равны c₁=α²C(L+α²X) и с₂=α²X(R+α²C). Тогда возможное выполнение функций f_i матрицы повышающего смешения дается выражениями

Передача сигналов различной параметризации для SBR диапазона согласно настоящему изобретению не ограничивается SBR. Вышеописанная параметризация может быть использована в любом частотном диапазоне, где ошибка прогнозирования повышающего смешения, основанная на прогнозировании, считается слишком большой. Следовательно, модуль 1002 может выводить параметры из модуля 1001 или 104 в зависимости от множества критериев, таких как способ кодирования передаваемых сигналов, ошибка прогнозирования и т.д.

Предпочтительный способ для улучшенного многоканального восстановления, основанного на прогнозировании, включает в себя, на стороне кодера, выделение различных многоканальных параметризаций для различных частотных диапазонов, и, на стороне декодера, применение этих параметризаций к частотным диапазонам, чтобы восстанавливать множество каналов.

Дополнительный предпочтительный вариант осуществления настоящего изобретения включает в себя способ для улучшенного многоканального восстановления, основанного на прогнозировании, включающий в себя, на стороне кодера, выделение информации об используемом процессе повышающего смешения, и последующую отправку упомянутой информации в декодер, и на стороне декодера, применение повышающего смешения на основе выделенных параметров прогнозирования и информации об понижающем смешении, чтобы восстанавливать много каналов.

Дополнительный предпочтительный вариант осуществления настоящего изобретения включает в себя способ для улучшенного многоканального восстановления, основанного на прогнозировании, в котором на стороне кодера энергия смешанного с понижением сигнала регулируется согласно ошибке прогнозирования, полученной для выделенных параметров прогнозирующего повышающего смешения.

Дополнительный предпочтительный вариант осуществления настоящего изобретения относится к способу для улучшенного многоканального восстановления, основанного на прогнозировании, в котором, на стороне декодера, потери энергии, обусловленные ошибкой прогнозирования, компенсируются путем применения коэффициента усиления к смешанным с повышением каналам.

Дополнительный вариант осуществления настоящего изобретения относится к способу для улучшенного многоканального восстановления, основанного на прогнозировании, в котором на стороне декодера потери энергии, обусловленные ошибкой прогнозирования, заменяются декоррелированным сигналом.

Дополнительный предпочтительный вариант осуществления настоящего изобретения относится к способу для улучшенного многоканального восстановления, основанного на прогнозировании, в котором на стороне декодера часть потерь энергии, обусловленных ошибкой прогнозирования, заменяется декоррелированным сигналом, а часть потерь энергии заменяется путем применения коэффициента усиления к смешанным с повышением каналам. Указанная часть потерь энергии предпочтительно передается из кодера.

Дополнительный предпочтительный вариант осуществления настоящего изобретения представляет устройство для улучшенного многоканального восстановления, основанного на прогнозировании, содержащее средство для регулировки энергии смешанного с понижением сигнала согласно ошибке прогнозирования, полученной для выделенных параметров прогнозирующего повышающего смешения.

Дополнительный предпочтительный вариант осуществления настоящего изобретения представляет устройство для улучшенного многоканального восстановления, основанного на прогнозировании, содержащее средство для компенсации потерь энергии, обусловленных ошибкой прогнозирования, путем применения коэффициента усиления к смешанным с повышением каналам.

Дополнительный предпочтительный вариант осуществления настоящего изобретения представляет устройство для улучшенного многоканального восстановления, основанного на прогнозировании, содержащее средство для замены потерь энергии, обусловленных ошибкой прогнозирования, декоррелированным сигналом.

Дополнительный предпочтительный вариант осуществления настоящего изобретения представляет устройство для улучшенного многоканального восстановления, основанного на прогнозировании, содержащее средство для замены части потерь энергии, обусловленных ошибкой прогнозирования, декоррелированным сигналом, и части потерь энергии путем применения коэффициента усиления к смешанным с повышением каналам.

Дополнительный предпочтительный вариант осуществления настоящего изобретения представляет кодер для улучшенного многоканального восстановления, основанного на прогнозировании, включающего в себя регулировку энергия смешанного с понижением сигнала согласно ошибке прогнозирования, полученной для выделенных параметров прогнозирующего повышающего смешения.

Дополнительный предпочтительный вариант осуществления настоящего изобретения представляет декодер для улучшенного многоканального восстановления, основанного на прогнозировании, включающего в себя компенсацию потерь энергии, обусловленных ошибкой прогнозирования, путем применения коэффициента усиления к смешанным с повышением каналам.

Дополнительный предпочтительный вариант осуществления настоящего изобретения относится к декодеру для улучшенного многоканального восстановления, основанного на прогнозировании, включающего в себя замену потерь энергии, обусловленных ошибкой прогнозирования, декоррелированным сигналом.

Дополнительный предпочтительный вариант осуществления настоящего изобретения представляет декодер для улучшенного многоканального восстановления, основанного на прогнозировании, включающего в себя замену части потерь энергии, обусловленных ошибкой прогнозирования, декоррелированным сигналом, и замену части потерь энергии путем применения коэффициента усиления к смешанными с понижением каналам.

Фиг.11 изображает многоканальный синтезатор для генерации по меньшей мере трех выходных каналов 1100 с использованием входного сигнала, имеющего по меньшей мере один базовый канал 1102, причем по меньшей мере один базовый канал получается из исходного многоканального сигнала. Многоканальный синтезатор, показанный на фиг.11, включает в себя устройство 1104 повышающего смешения, которое может быть выполнено, как показано на любой из фиг.2-10. В целом устройство 1104 повышающего смешения способно функционировать для повышающего смешения по меньшей мере одного базового канала, с использованием правила повышающего смешения так, чтобы получить по меньшей мере три выходных канала. Устройство 1104 повышающего смешения способно функционировать для генерации по меньшей мере трех выходных каналов в ответ на измерение 1106 энергии и по меньшей мере двух различных параметров 1108 повышающего смешения с использованием правила повышающего смешения, вносящего потери энергии, так чтобы по меньшей мере три выходных канала имели энергию, которая выше, чем энергия сигналов, получающихся в результате только одного правила повышающего смешения, вносящего потери энергии. Таким образом, безотносительно ошибки энергии в зависимости от правила повышающего смешения, вносящего потери энергии, изобретение приводит к результату компенсации энергии, причем компенсация энергии может быть выполнена путем масштабирования и/или суммирования декоррелированного сигнала. Во входной сигнал включены по меньшей мере два различных параметра 1108 повышающего смешения и измерение 1106 энергии.

Предпочтительно, измерение энергии представляет собой какое-либо измерение, относящееся к потерям энергии, которые вносятся правилом повышающего смешения. Это может быть значение абсолютного измерения ошибки энергии, вносимой повышающим смешением, или энергии сигнала повышающего смешения (которая обычно ниже энергии исходного сигнала), или это может быть относительное измерение такое, как соотношение между энергией исходного сигнала и энергией сигнала повышающего смешения, или соотношение между ошибкой энергии и энергией исходного сигнала, или даже соотношение между ошибкой измерения энергии и энергией сигнала повышающего смешения. Значение относительного измерения энергии может быть использовано как поправочный множитель, тем не менее, оно является значением измерения энергии, поскольку оно зависит от ошибки энергии, вносимой в сигнал повышающего смешения, генерированный правилом повышающего смешения, вносящим потери энергии, или, говоря другими словами, правилом повышающего смешения, не сохраняющего энергию.

Примером правила повышающего смешения, вносящего потери энергии (правила повышающего смешения, не сохраняющего энергию), является повышающее смешение с использованием передаваемого коэффициента прогнозирования. В случае неточного прогнозирования кадра или поддиапазона кадра, на выходной сигнал повышающего смешения влияет ошибка прогнозирования, соответствующая потерям энергии. Естественно, ошибка прогнозирования варьируется от кадра к кадру, поскольку в случае почти точного прогнозирования (низкая ошибка прогнозирования) нужно делать только небольшую компенсацию (посредством масштабирования или прибавления декоррелированного сигнала), тогда как в случае большей ошибки прогнозирования (неточное прогнозирование) необходимо выполнять больше компенсации. Следовательно, изобретательское измерение энергии также варьируется между значением, показывающим маленькую компенсацию или никакой компенсации, и значением, показывающим большую компенсацию.

Когда измерение энергии рассматривается как значение когерентности между каналами (ICC), что является естественным, когда компенсация выполняется путем прибавления декоррелированного сигнала, масштабированного в зависимости от измерения энергии, предпочтительно используемое относительное измерение энергии (ρ) варьируется обычно от 0,8 до 1,0, причем 1,0 показывает, что смешанные с повышением сигналы декоррелируются как требуется, или что не должен прибавляться декоррелированный сигнал, или что энергия результата прогнозирующего повышающего смешения равна энергии исходного сигнала, или что ошибка прогнозирования равна нулю.

Однако настоящее изобретение также полезно в связи с другими правилами повышающего смешения, вносящего потери энергии, то есть правилами, которые не основаны на согласовании волновой формы сигнала, но основаны на других методах, таких как использование шифровальных книг, согласование спектров или любые другие правила повышающего смешения, которые не заботятся о сохранения энергии.

Обычно компенсация энергии может выполняться до или после применения правила повышающего смешения, вносящего потери энергии. Альтернативно, компенсация потерь энергии может быть даже включена в правило повышающего смешения, например, путем изменения коэффициентов исходной матрицы, с использованием измерения энергии так, что генерируется новое правило повышающего смешения и используется модулем повышающего смешения. Упомянутое новое правило повышающего смешения основано на правиле повышающего смешения, вносящего потери энергии, и на измерении энергии. Говоря другими словами, указанный вариант осуществления относится к ситуации, в которой компенсация энергии «примешивается» в улучшенное правило повышающего смешения, так что компенсация энергии и/или прибавление декоррелированного сигнала выполняется путем применения одной или нескольких матриц повышающего смешения к входному вектору (один или несколько базовых каналов), чтобы получить (после одной или нескольких матричных операций) выходной вектор (восстановленный многоканальный сигнал, имеющий по меньшей мере три канала).

Предпочтительно, устройство повышающего смешения (смешения с увеличением) принимает два базового канала l₀ и r₀, и выводит три восстановленных канала l, r и c.

Ниже приводится ссылка на фиг.12, чтобы показать пример ситуации с энергией в различных положениях на пути кодер-декодер. Блок 1200 показывает энергию многоканального звукового сигнала, такого как сигнал, имеющий, по меньшей мере, левый канал, правый канал и центральный канал, как показано на фиг.1. Для варианта осуществления на фиг.13, предполагается, что входные каналы 101, 102, 103 на фиг.1 являются полностью некоррелированными, и что модуль повышающего смешения является сохраняющим энергию. В таком случае энергия одного или нескольких базовых каналов, показанных блоком 1202, идентична энергии 1200 многоканального исходного сигнала. Когда исходные многоканальные сигналы коррелируют друг с другом, энергия 1202 базового канала может быть ниже, чем энергия исходного многоканального сигнала, когда, например, левый и правый (частично) гасят друг друга.

Однако для последующего решения предполагается, что энергия 1202 базовых каналов является такой же, как энергия 1200 исходного многоканального сигнала.

Блок 1204 иллюстрирует энергию сигналов повышающего смешения, когда сигналы повышающего смешения (например, 110, 111, 112 фиг.1) генерируются с использованием повышающего смешения, не сохраняющего энергию, или прогнозирующего повышающего смешения, как описано со ссылками на фиг.1. Поскольку, как описано позже со ссылкой на фиг.14а и 14б, такое прогнозирующее повышающее смешение вносит ошибку энергии E_r, энергия 1204 результата повышающего смешения будет ниже, чем энергия базовых каналов 1202.

Модуль 1104 повышающего смешения функционирует, чтобы выводить выходные каналы, которые имеют энергию, которая выше, чем энергия 1204. Предпочтительно, устройство 1104 повышающего смешения выполняет полную компенсацию, так чтобы результат 1100 повышающего смешения фиг.11 имел энергию, как показано номером позиции 1206.

Предпочтительно, результат повышающего смешения, энергия которого показана в блоке 1204, не просто масштабируется с повышением, как показано на фиг.2, или индивидуально масштабируется с повышением, как показано на фиг.3, или масштабируется с повышением на стороне кодера, как показано на фиг.4. Вместо этого остаток энергии E_r, который соответствует ошибке, обусловленной прогнозирующим повышающим смешением, заполняется с использованием декоррелированного сигнала. В другом предпочтительном варианте осуществления указанная ошибка энергии E_r только частично покрывается декоррелированным сигналом, тогда как остаток ошибки энергии заполняется посредством масштабирования с повышением результата повышающего смешения. Полный охват ошибки энергии посредством декоррелированного сигнала показан на фиг.5 и фиг.6, тогда как решение "частями" иллюстрируется на фиг.7.

Фиг.13 показывает множество способов компенсации энергии, например, способы, которые имеют ту общую особенность, что, основываясь на измерении энергии, которое зависит от ошибки энергии, энергия выходных каналов получается выше, чем чистый результат прогнозирующего повышающего смешения, то есть результата (не корректированного) правила повышающего смешения, вносящего потери энергии.

Номер 1 таблицы на фиг.13 относится к компенсации энергии на стороне декодера, которая выполняется вслед за повышающим смешением. Эта опция показана на фиг.2 и дополнительно поясняется со ссылками на фиг.3, которая показывает множители g_z масштабирования с повышением, специфического для каналов, которые не только зависят от измерения энергии ρ, но которые, дополнительно, зависят от множителей понижающего смешения v_z, зависимого от каналов, где z устанавливается для l, r или c.

Номер 2 на фиг.13 включает в себя способ компенсации энергии на стороне кодера, который выполняется вслед за понижающим смешением, которое иллюстрируется на фиг.4. Указанный вариант осуществления является предпочтительным в том смысле, что измерения энергии ρ или γ не должны передаваться из кодера в декодер.

Номер 3 таблицы на фиг.13 относится к компенсации энергии на стороне декодера, которая выполняется перед повышающим смешением. Когда рассматривается фиг.2, коррекция 202 энергии, которая выполняется после повышающего смешения на фиг.2, могла бы выполняться перед блоком 201 повышающего смешения на фиг.2. Данный вариант осуществления приводит к более легкому воплощению по сравнению с фиг.2, поскольку требуются специфические для канала поправочные множители, как показано на фиг.3, хотя могут возникнуть потери качества.

Номер 4 фиг.13 относится к дополнительному варианту осуществления, в котором коррекция на стороне кодера выполняется перед понижающим смешением. Когда рассматривается фиг.1, каналы 101, 102, 103 могут масштабироваться с повышением посредством соответствующего коэффициента компенсации так, чтобы выход модуля понижающего смешения увеличивался после понижающего смешения, как показано в блоке 1208 на фиг.12. Таким образом, вариант осуществления номер четыре на фиг.13 имеет такое же последствие для базовых каналов, выводимых кодером, как вариант осуществления номер два настоящего изобретения.

Номер 5 таблицы фиг.13 относится к варианту осуществления на фиг.5, в котором декоррелированный сигнал получается из каналов, генерированных посредством правила повышающего смешения, не сохраняющего энергию 109 на фиг.5.

Вариант осуществления под номером 6 таблицы на фиг.13 относится к варианту осуществления, в котором только часть остаточной энергии покрывается декоррелированным сигналом. Указанный вариант осуществления иллюстрируется на фиг.7.

Вариант осуществления номер 8 фиг.13 подобен вариантам осуществления номер 5 или 6, но декоррелированный сигнал получается из базовых каналов перед повышающим смешением, как описано блоком 501' на фиг.5.

Далее предпочтительный вариант осуществления кодера описывается подробно. Фиг.14а иллюстрирует кодер для обработки многоканального входного сигнала 1400, имеющий по меньшей мере два канала, и, предпочтительно, имеющий по меньшей мере три канала l, c, r.

Кодер включает в себя вычислитель 1402 измерения энергии для вычисления измерения энергии в зависимости от разности энергии между энергией многоканального входного сигнала 1400 или по меньшей мере одного базового канала 1404, и смешанным с повышением сигналом 1406, генерированным посредством операции 1407 повышающего смешения, не сохраняющего энергию.

Кроме того, кодер включает в себя выходной интерфейс 1408 для выведения по меньшей мере одного базового канала, после того как он масштабируется (401, 402) масштабирующим множителем 403 в зависимости от измерения энергии или для выведения самого измерения энергии.

В предпочтительном варианте осуществления кодер включает в себя модуль 1410 понижающего смешения для генерации по меньшей мере одного базового канала 1404 из исходных многих каналов 1400. Для генерации параметров повышающего смешения, так же имеются вычислитель 1414 разности и модуль 1416 оптимизации параметров. Указанные элементы функционируют, чтобы искать параметры 1412 повышающего смешения наилучшего согласования. По меньшей мере два из этого набора параметров 1412 повышающего смешения наилучшего согласования выводятся через выходной интерфейс как выход параметра предпочтительного варианта осуществления. Вычислитель разности предпочтительно функционирует для выполнения вычисления минимальной среднеквадратичной ошибки между исходным многоканальным сигналом 1400 и сигналом повышающего смешения, генерированным модулем повышающего смешения для ввода параметров на линии 1412 параметров. Данная процедура оптимизации параметров может быть выполнена посредством нескольких различных процедур оптимизации, все из которых проводятся с целью получить результат 1407 повышающего смешения наилучшего согласования.

Функциональные возможности кодера фиг.14а показаны на фиг.14б. После шага 1440, выполняемого посредством модуля 1410 понижающего смешения, базовый канал или множество базовых каналов может выводиться, как иллюстрируется позицией 1442. Затем выполняется шаг 1444 оптимизации параметров повышающего смешения, который, в зависимости от некоторой стратегии оптимизации, может быть итеративной или неитеративной процедурой. Однако выполняются итеративные процедуры. В основном процедура оптимизации параметров повышающего смешения может выполняться так, что разность между результатом повышающего смешения и исходным сигналом должна быть как можно меньше. В зависимости от исполнения указанная разность может быть разностью, относящейся к отдельному каналу, или комбинированной разностью. В основном, шаг 1444 оптимизации параметров повышающего смешения действует для минимизации любой функции затрат, которая может быть получена из отдельных каналов или из объединенных каналов так, что для одного канала принимается более высокая разность (ошибка), когда для других двух каналов достигается, например, намного лучшее согласование.

Затем, когда устанавливаются параметры наилучшей подгонки, например, найдена матрица повышающего смешения наилучшей подгонки по меньшей мере два параметра повышающего смешения из набора параметров, генерированных на шаге 1444, выводятся в выходной интерфейс, как показано этапом 1446.

Кроме того, после того как шаг 1444 оптимизации параметров повышающего смешения завершается, может быть вычислено и выведено измерение энергии, как показано шагом 1448.

В основном, измерение энергии будет зависеть от ошибки 1210 энергии. В предпочтительном варианте осуществления измерение энергии представляет собой множитель ρ, который зависит от отношения энергии результата 1406 повышающего смешения, и энергию исходного сигнала 1400, как показано на фиг.2. Альтернативно, вычисляемое и выводимое измерение энергии может быть абсолютным значением для ошибки 1210 энергии или может быть абсолютной энергией результата 1406 повышающего смешения, который, конечно, зависит от ошибки энергии. В данном контексте следует отметить, что значение измерения энергии, которое выводится выходным интерфейсом 1408, предпочтительно квантуется, и снова предпочтительно статистически кодируется с использованием хорошо известного статистического кодера, такого как арифметический кодер, кодер Хаффмана или кодер на основе длин серий, который особенно полезен, когда имеется много последовательных идентичных измерений энергии. Альтернативно или дополнительно, измерения энергии для последовательных интервалов времени или кадров могут кодироваться по разности, причем это разностное кодирование предпочтительно выполняется перед статистическим кодированием.

Далее ссылаемся на фиг.15а, показывающую альтернативный вариант осуществления модуля понижающего смешения, который, согласно предпочтительному варианту осуществления настоящего изобретения, объединяется с кодером по фиг.14а. Вариант осуществления фиг.15а охватывает SBR-исполнение, хотя упомянутый вариант осуществления также может быть использован в случаях, в которых не выполняется тиражирование спектральной полосы, но в котором передается полная ширина полосы базовых каналов. Кодер фиг.15а включает в себя модуль 1500 понижающего смешения для понижающего смешения исходного сигнала 1500 для получения по меньшей мере одного базового канала 1504. В варианте осуществления без SBR, по меньшей мере один базовый канал 1504 вводится в центральный кодер 1506, который может быть AAC кодером для моносигналов в случае одного базового канала, или который может быть любым стереокодером в случае, например, двух базовых стереоканалов. На выходе (1508) основного кодера 1506, выводится битовый поток, включающий в себя закодированный базовый канал или включающий в себя множество закодированных базовых каналов.

Когда вариант осуществления по фиг.15а имеет функциональные возможности SBR по меньшей мере один базовый канал 1504 фильтруется 1510 фильтром нижних частот перед тем, как вводиться в основной кодер. Естественно, функциональные возможности блоков 1510 и 1506 могут быть воплощены в одном устройстве кодера, которое выполняет фильтрацию нижних частот и основное кодирование в пределах одного алгоритма кодирования.

Закодированные базовые каналы на выходе 1508 только включают в себя полосу низкий частот базовых каналов 1504 в закодированной форме. Информация о полосе высоких частот вычисляется вычислителем огибающей SBR спектра 1512, который подсоединяется к кодеру 1514 SBR информации для генерации и выведения закодированной SBR побочной информации на выходе 1516.

Исходный сигнал 1502 вводится в вычислитель 1520 энергии, который генерирует значения энергии каналов (для некоторого периода времени исходных каналов l, c, r, причем значения энергии каналов, показанные обозначениями L, C, R, выводятся блоком 1520). Значения энергии каналов вводятся в вычислитель 1522 параметров. Вычислитель 1522 параметров выводит два параметра c1, c2 повышающего смешения, которые могут быть, например, параметрами c₁, c₂, показанными на фиг.15а. Естественно, другие (например, линейные) комбинации значений энергии, включающие в себя энергии всех входных каналов, могут генерироваться вычислителем 1522 параметров для передачи в декодер. Естественно, различные передаваемые параметры повышающего смешения будут приводить к различному пути вычисления остальных матричных элементов повышающего смешения. Как показано в с уравнении (40) или уравнениях (41-44), матрица повышающего смешения для относящегося к энергии варианта осуществления фиг.15, имеет по меньшей мере четыре ненулевых элемента, причем элементы в третьей строке равны друг другу. Таким образом, вычислитель 1522 параметров может использовать любую комбинацию значений энергий L, C, R например, из которых можно получить четыре элемента в матрице повышающего смешения, таких как индикация (40) или (41) матрицы повышающего смешения.

Вариант осуществления согласно фиг.15а иллюстрирует кодер, который функционирует, чтобы выполнять сохранение энергии, или, вообще говоря, повышающее смешение, получаемое на основе энергии, для всей ширины полосы сигнала. Последнее означает, что на стороне кодера, который иллюстрируется на фиг.15а, параметрическое представление, выводимое вычислителем 1522 параметров, генерируется для всего сигнала. Это означает, что для каждого поддиапазона закодированного базового канала вычисляется и выводится соответствующий набор параметров. Например, когда рассматривается закодированный базовый канал, который представляет собой, например, полнодиапазонный сигнал, имеющий десять поддиапазонов, вычислитель параметров должен выводить по десять параметров c₁ и

c₂ для каждого поддиапазона закодированного базового канала. Однако, когда закодированный базовый канал представляет собой узкополосный сигнал в SBR среде, например, охватывающий только пять более узких поддиапазонов, тогда вычислитель 1522 параметров должен выводить набор параметров для каждого из пяти более узких поддиапазонов, и, дополнительно для каждого из пяти более широких поддиапазонов, хотя сигнал на выходе 1508 не включает в себя соответствующий поддиапазон. Это обусловлено тем фактом, что такой диапазон должен воссоздаваться на стороне декодера, как будет ниже описано со ссылками на фиг.16а.

Однако, с учетом того, что описано со ссылками нафиг.10, предпочтительно, вычислитель 1520 энергии и вычислитель 1522 параметров функционируют только для высокочастотной части исходного сигнала, тогда как параметры для низкочастотной части исходного сигнала вычисляются посредством прогнозирующего вычислитель 104 параметров на фиг.10, который должен соответствовать прогнозирующему модулю 109 повышающего смешения на фиг.10.

Фиг.15б показывает схематическое представление параметрического представления, выводимого модулем 1002 выбора согласно фиг.10. Таким образом, параметрическое представление согласно настоящему изобретению включает в себя (с закодированным базовым каналом(ами) или без него, и дополнительно даже без измерения энергии) набор прогнозирующих параметров для полосы низких частот, например, для поддиапазонов с 1 по i, и параметров по поддиапазонам для высоких частот, например, для поддиапазонов с i+1 до N. Альтернативно, прогнозирующие параметры и параметры типа энергии могут быть расположены между поддиапазонами, имеющими прогнозирующие параметры.

Более того, кадр, имеющий только прогнозирующие параметры, может следовать за кадром, имеющим только параметры типа энергии. Следовательно, вообще говоря, настоящее изобретение, как описано со ссылками на фиг.10, относится к различным параметризациям, которые могут отличаться в отношении частоты, как показано на фиг.15б, или которые могут отличаться в отношении времени, как показано на фиг.15б, когда за кадром, имеющим только прогнозирующие параметры, следует кадр, имеющий только параметры типа энергии. Естественно, распределение параметризации поддиапазонов может изменяться от кадра к кадру, так что, например, поддиапазон i имеет первый (например, прогнозирующий) набор параметров, как показано на фиг.15б в первом кадре, и имеет второй (например, типа энергии) набор параметров в другом кадре.

Более того, настоящее изобретение также полезно, когда используются параметризации, отличные от прогнозирующей параметризации, как показано на фиг.14а, или от параметризации типа энергии, как показано на фиг.15а. Также могут использоваться дополнительные примеры параметризации, не считая прогнозирующей или типа энергии, как только любой целевой параметр или целевое событие показывают, что качество повышающего смешения, скорость передачи в битах понижающего смешения, эффективность вычислений на стороне кодера или на стороне декодера, например, потребление энергии, например, устройств с батарейным питанием и т.п., скажем, для некоторого поддиапазона или кадра, первая параметризация лучше, чем вторая параметризация. Упомянутые свойства могут быть использованы, например, контроллером параметрического представления. Естественно, целевая функция также может быть комбинацией различных отдельных целей/событий, которые описаны выше. Примером события могла бы быть SBR восстановленная полоса высоких частот и т.п.

Более того, также следует отметить, что вычисление, избирательное по частоте или по времени, и передача параметров могут сообщаться явно, как показано номером позиции 1005 на фиг.10. Альтернативно, сигнализация может выполняться неявно, как обсуждалось в связи с фиг.16а. В таком случае используются предварительно заданные правила для декодера, например, что декодер автоматически предполагает, что передаваемые параметры представляют собой параметры для поддиапазонов, принадлежащих полосе высоких частот на фиг.15б, например, для поддиапазонов, которые были восстановлены посредством тиражирования спектральной полосы или метода высокочастотной регенерации.

Более того, следует отметить, что предлагаемое вычисление на стороне кодера одной или даже нескольких различных параметризаций и выбор на стороне кодера того, какая передается параметризация, основаны на решении с использованием любой доступной информации на стороне кодера (информация может быть действительно используемой целевой функцией или может быть сигнальной информацией, используемой для других целей, таких как SBR обработка или сигнализация) может выполняться с передачей измерения энергии или без нее. Даже когда предпочтительная коррекция энергии не выполняется совсем, например, когда результат повышающего смешения, не сохраняющего энергию (прогнозирующего повышающего смешения), не является корректированным по энергии, или когда не выполняется соответствующая предварительная компенсация на стороне кодера, предлагаемое переключение между различными параметризациями полезно для получения лучшего качества многоканального выхода и/или более низкой скорости передачи в битах.

В частности, предложенное переключение между различными параметризациями в зависимости от доступной информации на стороне кодера может быть использовано с суммированием декоррелированного сигнала, полностью или, по меньшей мере, частично покрывающим ошибку энергии, выдаваемую прогнозирующим повышающим смешением, как показано на фиг.5-7, или без него. В данном контексте суммирование декоррелированного сигнала, как описано в связи с фиг.5, выполняется только для поддиапазонов/кадров, для которых передаются параметры прогнозирующего повышающего смешения, тогда как различные измерения для декорреляции используются для тех поддиапазонов или кадров, в которых передавались параметры типа энергии. Такими измерениями являются, например, масштабирование с понижением «сырого» сигнала и генерация декоррелированного сигнала, и масштабирование декоррелированного сигнала так, что требуемая величина декорреляции, как, например, требуется для измерения корреляции между передаваемыми каналами, такой как получается ICC, когда правильно масштабированные декоррелированные сигналы прибавляются к «сухому» сигналу.

Ниже описана фиг.16а, приведенная для иллюстрации исполнения на стороне декодера предлагаемого блока 201 повышающего смешения и соответствующей коррекции энергии в блоке 202. Как обсуждалось в связи с фиг.11, передаваемый параметр 1108 повышающего смешения выделяется из принятого входного сигнала. Указанные передаваемые параметры повышающего смешения предпочтительно вводятся в вычислитель 1600 для вычисления остальных параметров повышающего смешения, когда матрица 1602 повышающего смешения, включающая компенсацию энергии, должна выполнять прогнозирующее повышающее смешение и предшествующую или последующую коррекцию энергии. Процедура вычисления остальных параметров повышающего смешения ниже описывается со ссылками на фиг.16б.

Вычисление параметров повышающего смешения основано на уравнении на фиг.16б, которое также повторяется как уравнение (7). В варианте осуществления трех входных сигналов/двух выходных сигналов, матрица D понижающего смешения имеет шесть переменных. Дополнительно, матрица C повышающего смешения также имеет шесть переменных. Однако в правой стороне уравнения (7) имеется только четыре значения. Следовательно, в случае неизвестного понижающего смешения и неизвестного повышающего смешения будет 12 неизвестных переменных из матриц D и C, и только четыре уравнения для определения этих двенадцати переменных. Однако понижающее смешение известно, так что число переменных, которые являются неизвестными, снижается до коэффициентов матрицы C повышающего смешения, которая имеет шесть переменных, хотя по-прежнему существует четыре уравнения для определения этих шести переменных. Следовательно, для определения по меньшей мере двух переменных матрицы повышающего смешения, которыми предпочтительно являются c₁₁ и c₂₂, используется способ оптимизации, который обсуждается в связи с шагом 1444 на фиг.14б и иллюстрируется на фиг.14а. Теперь, поскольку существует четыре неизвестных, например, c₁₂, c₂₁, c₃₁ и c₃₂, и поскольку существует четыре уравнения, например, по одному уравнению для каждого элемента в единичной матрице I в правой стороне уравнения на фиг.16б, то остальные неизвестные переменные матрицы повышающего смешения могут быть вычислены напрямую. Указанное вычисление выполняется в вычислителе 1600 для вычисления остальных параметров повышающего смешения.

Матрица повышающего смешения в устройстве 1602 устанавливается в соответствии с двумя передаваемыми параметрами повышающего смешения, как показано пунктирной линией 1604, и остальными четырьмя параметрами матрицы повышающего смешения, вычисляемыми блоком 1600. Затем указанная матрица повышающего смешения применяется к базовым каналам, вводимым по линии 1102. В зависимости от исполнения значение измерения энергии для узкополосной коррекции направляется по линии 1106 так, чтобы могло генерироваться и выводиться значение исправленного повышающего смешения. Когда прогнозирующее повышающее смешение выполняется только для полосы низких частот, как например, неявно переданное по линии 1606, и когда существуют параметры повышающего смешения типа энергии на линии 1108 для полосы высоких частот, этот факт передается, для соответствующего поддиапазона в вычислитель 1600 и в устройство 1602 матрицы повышающего смешения. В случае типа энергии, предпочтительно вычислять элементы матрицы повышающего смешения матрицы (40) или (41) повышающего смешения. С этой целью используются передаваемые параметры, как показано ниже, уравнение (40), или соответствующие параметры, как показано ниже, уравнение (41). В этом варианте осуществления передаваемые параметры повышающего смешения c₁, c₂ не могут прямо использоваться для коэффициента повышающего смешения, но коэффициенты повышающего смешения матрицы повышающего смешения, как показано в уравнении (40) или (41), должны вычисляться с использованием передаваемых параметров повышающего смешения c₁ и c₂.

Для полосы высоких частот матрица повышающего смешения, которая определена для параметров повышающего смешения на основе энергии, используется для повышающего смешения широкополосной части многоканальных выходных сигналов. Впоследствии низкочастотная часть и высокочастотная часть объединяются в модуле 1608 объединения полосы низких частот/полосы высоких частот для выведения полнодиапазонных восстановленных выходных каналов l, r, c. Как иллюстрируется на фиг.16а, полоса высоких частот базовых каналов генерируется с использованием декодера для декодирования передаваемых низкочастотных базовых каналов, причем этот декодер представляет собой монофонический декодер для монофонического базового канала, и стереофонический декодер для двух стереофонических базовых каналов. Этот декодированный низкочастотный базовый канал(-ы) вводится в SBR устройство 1614, которое дополнительно принимает информацию огибающей, которая вычисляется устройством 1512 на фиг.15а. Основываясь на информации огибающей низкочастотной части и высокочастотной части, генерируется полоса высоких частот базовых каналов, чтобы получить полнодиапазонные базовые каналы на линии 1102, которые направляются в устройство 1602 матрицы повышающего смешения.

Предлагаемые способы или устройства или компьютерные программы могут исполняться или включаться в несколько устройств. Фиг.17 показывает систему передачи, имеющую передатчик, включающий в себя предложенный кодер, и имеющий приемник, включающий в себя предложенный декодер. Канал передачи может быть проводным или беспроводным каналом. Более того, как показано на фиг.18, кодер может быть включен в устройство звукозаписи или декодер может быть включен в аудиоплеер. Фонограммы из устройства звукозаписи могут распределяться в аудиоплеер через Интернет или через носитель данных, распределяемый с использованием ресурсов электронной почты или курьера или других возможностей для распределения носителей данных, таких как карты памяти, CD-диски и DVD-диски.

В зависимости от некоторых требований исполнения предлагаемых способов, эти способы могут быть реализованы в аппаратных средствах или в программном обеспечении. Исполнение может быть выполнено с использованием цифрового носителя данных, в частности диска или CD-диска, имеющего электронносчитываемые сигналы управления, хранящиеся на нем, что можно совместить с программируемой компьютерной системой, так чтобы выполнять предлагаемые способы. Следовательно, в основном, настоящее изобретение является компьютерным программным продуктом, с управляющей программой, хранимой на машинно-считываемом носителе, причем управляющая программа конфигурируется для выполнения по меньшей мере одного из предложенных способов, в котором компьютерный программный продукт работает на компьютере. Следовательно, другими словами, новые способы представляют собой компьютерную программу, имеющую управляющую программу для выполнения новых способов, когда компьютерная программа работает на компьютере.

Изобретение относится к многоканальному восстановлению звуковых сигналов, основываясь на доступном стереосигнале и дополнительных данных управления. Многоканальный синтезатор для генерации, по меньшей мере, трех выходных каналов с использованием входного сигнала, имеющего, по меньшей мере, один базовый канал, причем базовый канал получается из исходного многоканального сигнала, причем входной сигнал дополнительно включает в себя, по меньшей мере, два различных параметра смешения с увеличением числа каналов и индикацию режима модуля смешения с увеличением числа каналов, показывающую в первом состоянии, что должно выполняться первое правило смешения с увеличением числа каналов, и показывающую во втором состоянии, что должно выполняться второе правило смешения с увеличением числа каналов, использует модуль смешения с увеличением числа каналов, предназначенный для смешения с увеличением числа каналов, по меньшей мере, одного базового канала с использованием, по меньшей мере, двух различных параметров смешения с увеличением числа каналов, основанных на первом или втором правиле смешения с увеличением числа каналов, в ответ на индикацию режима модуля повышающего смешения, так что получаются, по меньшей мере, три выходных канала. Технический результат - обеспечение более высокого качества восстановленного многоканального сигнала. 17 н. и 27 з.п. ф-лы, 21 ил.

1. Многоканальный синтезатор для генерации, по меньшей мере, трех выходных каналов (1100) с использованием входного сигнала, имеющего, по меньшей мере, один базовый канал (1102), причем базовый канал получается из исходного многоканального сигнала (101, 102, 103), причем входной сигнал дополнительно включает в себя, по меньшей мере, два различных параметра (1108) смешения с увеличением числа каналов, и индикацию (1005) режима модуля смешения с увеличением числа каналов, показывающую, в первом состоянии, что должно выполняться первое правило смешения с увеличением числа каналов, и показывающую во втором состоянии, что должно выполняться отличающееся второе правило смешения с увеличением числа каналов, содержащий:
модуль (1104) смешения с увеличением числа каналов, предназначенный для смешения с увеличением числа каналов, по меньшей мере, одного базового канала с использованием, по меньшей мере, двух различных параметров (1108) смешения с увеличением числа каналов, на основании первого или второго правила (201, 1407) смешения с увеличением числа каналов, в ответ на индикацию (1005) режима модуля смешения с увеличением числа каналов так, чтобы получить, по меньшей мере, три выходных канала,
при этом первое правило смешения с увеличением числа каналов представляет собой правило прогнозирующего смешения с увеличением числа каналов, и при этом второе правило смешения с увеличением числа каналов представляет собой правило смешения с увеличением числа каналов, имеющее энергозависимые параметры смешения с увеличением числа каналов.

2. Многоканальный синтезатор по п.1, в котором модуль (1104) смешения с увеличением числа каналов функционирует при смешении с увеличением числа каналов так, чтобы вычислять в зависимости от индикации (1005) режима модуля смешения с увеличением числа каналов параметры для первого или второго правила смешения с увеличением числа каналов, используя, по меньшей мере, два различных параметра (1108) смешения с увеличением числа каналов в зависимости от индикации (1005) режима модуля смешения с увеличением числа каналов.

3. Многоканальный синтезатор по п.1, в котором индикация (1005) режима модуля смешения с увеличением числа каналов указывает избирательный по частоте, или избирательный по поддиапазонам или по времени или сигнализирующий о кадрах режим модуля смешения с увеличением числа каналов, и
в котором модуль смешения с увеличением числа каналов функционирует, чтобы смешивать с увеличением числа каналов, по меньшей мере, один базовый канал с использованием различных правил смешения с увеличением числа каналов для различных частотных полос или интервалов времени, как указано индикацией (1005) режима модуля смешения с увеличением числа каналов.

4. Многоканальный синтезатор по п.1, в котором второе правило смешения с увеличением числа каналов задается следующим образом:
,
где L - значение энергии левого входного канала;
С - значение энергии центрального входного канала;
R - значение энергии правого входного канала; и
где α - параметр, определяемый смешением с уменьшением числа каналов.

5. Многоканальный синтезатор по п.1, в котором второе правило смешения с увеличением числа каналов является таким, что правый канал смешения с уменьшением числа каналов не суммируется с левым смешанным с увеличением числа каналов каналом и наоборот.

6. Многоканальный синтезатор по п.1, в котором первое правило смешения с увеличением числа каналов определяется посредством согласования волновой формы сигнала между волновыми формами исходного многоканального сигнала и волновыми формами сигналов, генерированных посредством первого правила смешения с увеличением числа каналов.

7. Многоканальный синтезатор по п.1, в котором одно из первого или второго правил смешения с увеличением числа каналов определяется следующим образом:
,
в котором функции f₁, f₂, f₃ показывают функции передаваемых двух различных параметров смешения c₁, c₂ смешения с увеличением числа каналов, и, в котором упомянутые функции определяются следующим образом:


,
в котором α - параметр принимает действительные значения.

8. Многоканальный синтезатор по п.1,
дополнительно содержащий: SBR (тиражирование спектральной полосы) модуль (1614) для регенерации полосы, по меньшей мере, одного базового канала, не включенного в передаваемый базовый канал, с использованием части, по меньшей мере, одного базового канала, включенного во входной сигнал, и
в котором многоканальный синтезатор функционирует, чтобы применять второе правило смешения с увеличением числа каналов в регенерированной полосе, по меньшей мере, базового канала, и применять первое правило смешения с увеличением числа каналов в полосе базового канала, который включен во входной сигнал.

9. Многоканальный синтезатор по п.8, в котором индикация (1005) режима модуля смешения с увеличением числа каналов представляет собой SBR сигнализацию (1606), включенную во входной сигнал.

10. Многоканальный синтезатор по п.1, в котором входной сигнал включает в себя значение измерения (1106) энергии, указывающее информацию об ошибке энергии, зависящей от правила смешения с увеличением числа каналов, вносящего потери энергии, и
в котором модуль смешения с увеличением числа каналов функционирует так, чтобы использовать правило смешения с увеличением числа каналов, вносящее потери энергии, в качестве одного из первого или второго правил смешения с увеличением числа каналов, и генерировать, по меньшей мере, три выходных канала так, чтобы ошибка энергии, по меньшей мере, частично компенсировалась на основе значения измерения энергии.

11. Многоканальный синтезатор по п.1, в котором модуль смешения с увеличением числа каналов функционирует так, чтобы выделять значение измерения (1106) энергии из входного сигнала и чтобы использовать это значение измерения энергии в качестве индикации (1005) режима модуля смешения с увеличением числа каналов, так чтобы модуль смешения с увеличением числа каналов функционировал, чтобы применять правило смешения с увеличением числа каналов, вносящего потери энергии, в ответ на наличие значения измерения (1106) энергии во входном сигнале.

12. Многоканальный синтезатор по п.11, в котором значение измерения энергии показывает индикацию отношения энергии результата смешения с увеличением числа каналов с использованием правила смешения с увеличением числа каналов, вносящего потери энергии, к энергии исходного многоканального сигнала, или индикацию отношения разности энергий к энергии исходного многоканального сигнала, или индикацию ошибки энергии в абсолютных величинах.

13. Многоканальный синтезатор по п.1, в котором модуль смешения с увеличением числа каналов включает в себя вычислитель (1600) для получения, в ответ на индикацию (1005) режима модуля смешения с увеличением числа каналов, матрицы смешения с увеличением числа каналов на основе, по меньшей мере, двух параметров смешения с увеличением числа каналов и информации о правиле смешения с уменьшением числа каналов, используемом для генерации, по меньшей мере, одного базового канала из исходного многоканального сигнала.

14. Многоканальный синтезатор по п.10, в котором модуль (1104) смешения с увеличением числа каналов дополнительно содержит декоррелятор (501, 502, 503, 501′, 503′) для генерации декоррелированного сигнала, по меньшей мере, из одного базового канала или из выходных сигналов правила смешения с увеличением числа каналов, вносящего потери энергии, и
в котором модуль смешения с увеличением числа каналов функционирует, чтобы использовать декоррелированный сигнал так, чтобы величина энергии декоррелированного сигнала в выходном канале была меньше или равна величине ошибки энергии, которая может получаться посредством измерения энергии.

15. Многоканальный синтезатор по п.14, в котором, когда энергия декоррелированного сигнала меньше, чем ошибка энергии, модуль смешения с увеличением числа каналов функционирует так, чтобы масштабировать с увеличением сигнал, генерированный посредством правила смешения с увеличением числа каналов так, чтобы объединенная энергия масштабированного с увеличением сигнала и суммируемого декоррелированного сигнала была равна энергии исходного сигнала.

16. Многоканальный синтезатор по п.14, в котором, энергия суммированного декоррелированного сигнала определяется коэффициентом декорреляции, причем высокий коэффициент декорреляции, близкий к 1, показывает, что должен быть добавлен декоррелированный сигнал более низкого уровня, тогда как низкий коэффициент декорреляции, близкий к 0, показывает, что должен быть добавлен декоррелированный сигнал более высокого уровня, и
в котором значение измерения декорреляции выделяется из входного сигнала.

17. Многоканальный синтезатор по п.1, в котором входной сигнал включает в себя, в дополнение к двум различным параметрам смешения с увеличением числа каналов, информацию о смешении с уменьшением числа каналов, лежащей в основе, по меньшей мере, одного базового канала,
в котором модуль смешения с увеличением числа каналов функционирует, чтобы использовать дополнительную информацию смешения с уменьшением числа каналов для генерации матрицы (802) смешения с увеличением числа каналов.

18. Кодер для обработки многоканального входного сигнала, содержащий:
генератор (104, 1001, 1520, 1522, 1414, 1416) параметров для генерации конкретного параметрического представления из множества различных параметрических представлений, основанных на информации, доступной в кодере, причем это параметрическое представление используется при смешении с увеличением числа каналов одного или нескольких базовых каналов для восстановления многоканального выходного сигнала; и
выходной интерфейс (1408) для выдачи генерированного параметрического представления и информации, указывающей упомянутое конкретное параметрическое представление из множества различных параметрических представлений,
в котором множество различных параметрических представлений включает в себя первое параметрическое представление для схемы прогнозирующего смешения с увеличением числа каналов, основанного на волновой форме, и второе параметрическое представление для правила смешения с увеличением числа каналов, сохраняющего энергию.

19. Кодер по п.18, в котором первое параметрическое представление представляет собой параметрическое представление, параметры которого определяются с использованием процедуры оптимизации, и
в котором второе параметрическое представление определяется путем вычисления (1520) значений энергии исходных каналов и вычисления параметров (1522), основанных на комбинациях энергий.

20. Кодер по п.18, дополнительно содержащий модуль (1512, 1514) тиражирования спектральной полосы для генерации побочной информации тиражирования спектральной полосы, по меньшей мере, для одной полосы исходного входного сигнала, которая не включается в базовый канал, выводимый кодером, причем побочная информация тиражирования спектральной полосы указывает второе параметрическое представление.

21. Кодер по п.18, дополнительно содержащий:
вычислитель (1402) измерения энергии для вычисления значения (ρ) измерения энергии в зависимости от разности энергий между многоканальным входным сигналом или, по меньшей мере, одним базовым каналом, полученным из многоканального входного сигнала, и смешанным с увеличением числа каналов сигналом, генерированным посредством операции смешения с увеличением числа каналов, вносящего потери энергии; и
в котором выходной интерфейс (1408) функционирует для выдачи, по меньшей мере, одного базового канала после масштабирования (401, 402) масштабирующим множителем (403), зависимым от значения измерения энергии, или для выдачи значения измерения энергии.

22. Кодер по п.21, в котором значение (ρ) измерения энергии, выдаваемое выходным интерфейсом, используется для сигнализации первого параметрического представления.

23. Кодер по п.18, дополнительно содержащий: контроллер параметрического представления для управления генератором параметров или выходным интерфейсом, причем параметрическое представление из множества различных параметрических представлений должно генерироваться или выдаваться.

24. Кодер по п.18, в котором контроллер параметрического представления функционирует, чтобы определять событие в кодере или вычислять целевую функцию.

25. Кодер по п.24, в котором событие в кодере представляет собой вычисление информации тиражирования спектральной полосы так, чтобы контроллер функционировал, чтобы управлять выходным интерфейсом для выдачи второго параметрического представления для полосы, не включенной в базовый канал, и чтобы выдавать первое параметрическое представление для полосы, включенной в базовый канал.

26. Кодер по п.18, в котором контроллер параметрического представления функционирует, чтобы использовать в целевой функции значение или комбинацию значений, полученных из значений качества смешения с увеличением числа каналов, скорости передачи в битах при смешении с уменьшением числа каналов, эффективности вычислений на стороне кодера или на стороне декодера или потребления энергии приборов с батарейным питанием, причем целевая функция показывает, что для некоторой полосы или кадра первая параметризация лучше, чем вторая параметризация.

27. Кодер по п.18, в котором выходной интерфейс выполнен с возможностью выдавать различные параметрические представления для различных частотных полос или периодов времени.

28. Кодер по п.18, дополнительно содержащий вычислитель измерения энергии для вычисления значения измерения энергии на основе отношения энергии смешанного с увеличением числа каналов сигнала, генерированного посредством смешения с увеличением числа каналов, по меньшей мере, одного базового канала с использованием правила смешения с увеличением числа каналов, вносящего потери энергии, и энергии исходного многоканального сигнала.

29. Кодер по п.18, дополнительно содержащий устройство (1410) смешения с уменьшением числа каналов для вычисления, по меньшей мере, одного базового канала, и
в котором выходной интерфейс (1408) выполнен с возможностью выдавать, по меньшей мере, один базовый канал.

30. Способ генерации, по меньшей мере, трех выходных каналов (1100), используя входной сигнал, имеющий, по меньшей мере, один базовый канал (1102), причем базовый канал получают из исходного многоканального сигнала (101, 102, 103), причем входной сигнал дополнительно включает в себя, по меньшей мере, два различных параметра (1108) смешения с увеличением числа каналов, и индикацию (1005) режима модуля смешения с увеличением числа каналов, указывающую в первом состоянии, что должно выполняться первое правило смешения с увеличением числа каналов, и показывающую во втором состоянии, что должно выполняться отличающееся второе правило смешения с увеличением числа каналов, причем способ содержит:
смешение (1104) с увеличением числа каналов, по меньшей мере, одного базового канала с использованием, по меньшей мере, двух различных параметров (1108) смешения с увеличением числа каналов на основе первого или второго правила (201, 1407) смешения с увеличением числа каналов в ответ на индикацию (1005) режима модуля смешения с увеличением числа каналов, так что получаются, по меньшей мере, три выходных канала,
причем первое правило смешения с увеличением числа каналов представляет собой правило прогнозирующего смешения с увеличением числа каналов, и в котором второе правило смешения с увеличением числа каналов представляет собой правило смешения с увеличением числа каналов, имеющее энергозависимые параметры смешения с увеличением числа каналов.

31. Способ обработки многоканального входного сигнала, содержащий:
генерацию (104, 1001, 1520, 1522, 1414, 1416) конкретного параметрического представления из множества различных параметрических представлений на основании информации, доступной в кодере, причем параметрическое представление используется при смешении с увеличением числа каналов одного или нескольких базовых каналов для восстановления многоканального выходного сигнала; и
выдачу (1408) генерированного параметрического представления и информации, указывающей упомянутое конкретное параметрическое представление из множества различных параметрических представлений,
при этом множество различных параметрических представлений включает в себя первое параметрическое представление для схемы прогнозирующего смешения с увеличением числа каналов, основанного на волновой форме, и второе параметрическое представление для правила смешения с увеличением числа каналов, сохраняющего энергию.

32. Кодированный многоканальный информационный сигнал, содержащий конкретное параметрическое представление из множества различных параметрических представлений, причем упомянутое параметрическое представление используется в приемнике при смешении с увеличением числа каналов одного или нескольких базовых каналов для восстановления принятого от передатчика многоканального выходного сигнала, и информацию, указывающую это конкретное параметрическое представление из множества различных параметрических представлений, в котором множество различных параметрических представлений включает в себя первое параметрическое представление для схемы прогнозирующего смешения с увеличением числа каналов, основанного на волновой форме, и второе параметрическое представление для правила смешения с увеличением числа каналов, основанного на не волновой форме.

33. Передатчик многоканального аудиосигнала, имеющий кодер по п.18.

34. Приемник для приема многоканального аудиосигнала, имеющий синтезатор по п.1.

35. Система передачи и приема многоканального аудиосигнала, имеющая передатчик по п.33 и приемник по п.34.

36. Способ передачи многоканального аудиосигнала, имеющий способ обработки по п.31.

37. Способ приема многоканального аудиосигнала, включающий в себя способ генерации по п.30.

38. Способ приема и передачи многоканального аудиосигнала, имеющий способ приема по п.37 и способ передачи по п.36.

39. Устройство записи многоканального аудиосигнала, имеющее кодер по п.18.

40. Устройство воспроизведения многоканального аудиосигнала, имеющее синтезатор по п.1.

41. Способ записи многоканального аудиосигнала, имеющий способ обработки согласно п.31.

42. Способ воспроизведения многоканального аудиосигнала, имеющий способ генерации по п.30.

43. Машиночитаемый носитель, имеющий сохраненные на нем компьютерные команды для выполнения, при исполнении их на компьютере, способа по п.30.

44. Машиночитаемый носитель, имеющий сохраненные на нем компьютерные команды для выполнения, при исполнении их на компьютере, способа по п.31.