УСТРОЙСТВО ПАРАМЕТРИЧЕСКОГО СТЕРЕОФОНИЧЕСКОГО ПОВЫШАЮЩЕГО МИКШИРОВАНИЯ, ПАРАМЕТРИЧЕСКИЙ СТЕРЕОФОНИЧЕСКИЙ ДЕКОДЕР, УСТРОЙСТВО ПАРАМЕТРИЧЕСКОГО СТЕРЕОФОНИЧЕСКОГО ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ, ПАРАМЕТРИЧЕСКИЙ СТЕРЕОФОНИЧЕСКИЙ КОДЕР Российский патент 2013 года по МПК G10L19/08 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к устройству параметрического стереофонического повышающего микширования для генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования на основе пространственных параметров. Изобретение дополнительно относится к параметрическому стереофоническому декодеру, содержащему устройство параметрического стереофонического повышающего микширования, способу генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования на основе пространственных параметров, звуковому проигрывающему устройству, параметрическому стереофоническому устройству понижающего микширования, параметрическому стереофоническому кодеру, способу генерирования сигнала остатка предсказания для разностного сигнала и компьютерному программному продукту.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Параметрическая стереофония (PS) является одним из основных достижений в кодировании звукового сигнала последних двух лет. Основы параметрической стереофонии описаны в J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers, "Parametric Coding of Stereo Audio", EURASIP J. Appl. Signal Process., vol 9, pp. 1305-1322 (2004). В сравнении с традиционным, так называемым дискретным кодированием звуковых сигналов, PS кодер, как изображено на фиг.1, преобразует стереофоническую пару сигналов (l,r) 101, 102 в одиночный монофонический сигнал 104 понижающего микширования плюс небольшое количество параметров 103, описывающих пространственный образ. Эти параметры содержат межканальные разности мощностей (iids), межканальную разность фаз (или времени) (ipds/itds), межканальные когерентности/корреляции (iccs). В PS-кодере 100 пространственный образ стереофонического входного сигнала (l,r) анализируется, что имеет следствием параметры iid, ipd и icc. Предпочтительно, параметры являются зависимыми от времени и частоты. Для каждой временной/частотной ячейки определяются параметры iid, ipd и icc. Эти параметры квантуются и кодируются 140, что дает в результате PS битовый поток. Более того, параметры типично также используются для управления тем, как генерируется понижающее микширование стереофонического входного сигнала. Результирующий монофонический суммарный сигнал (s) 104 затем кодируется, используя традиционный монофонический звуковой кодер 120. Наконец, результирующий монофонический и PS битовый поток объединяются для построения итогового стереофонического битового потока 107.

В PS декодере 200 стереофонический битовый поток разделяется на монофонический битовый поток 202 и PS битовый поток 203.

Монофонический звуковой сигнал декодируется, имея результатом восстановление монофонического сигнала 204 понижающего микширования. Монофонический сигнал понижающего микширования подается к PS повышающему микшированию 230 вместе с декодированными параметрами 205 пространственного образа. PS повышающее микширование затем генерирует выходную стереофоническую пару сигналов (l, r) 206, 207. Для того чтобы синтезировать контрольные сигналы icc, PS повышающее микширование применяет так называемый декоррелированный сигнал (s _d ), т.е. сигнал, сгенерированный из монофонического звукового сигнала, который имеет приблизительно ту же самую спектральную и временную огибающую, но который, однако, имеет корреляцию, по существу, нулевую по отношению к монофоническому входному сигналу. Затем, на основе параметров пространственного образа, в PS повышающем микшировании для каждой временной/частотной ячейки определяется и применяется 2x2 матрица:

$$\left[\begin{array}{c}l\\ r\end{array}\right]=\left[\begin{array}{cc}H11& H12\\ H21& H22\end{array}\right]\left[\begin{array}{c}s\\ sd\end{array}\right],$$

где H _ij представляет (i, j) элемент матрицы H повышающего микширования. Элементы матрицы H являются функциями PS параметров iid, icc и, необязательно, ipd/opd. В PS системе предшествующего уровня техники, в случае применения параметров ipd/opd матрица H повышающего микширования может быть разложена как:

$$\left[\begin{array}{c}l\\ r\end{array}\right]=\left[\begin{array}{cc}{{\displaystyle e}}^{{{\displaystyle j\phi }}_1}& 0\\ 0& {{\displaystyle e}}^{{{\displaystyle j\phi }}_2}\end{array}\right]\left[\begin{array}{cc}h11& h12\\ h21& h22\end{array}\right]\left[\begin{array}{c}s\\ sd\end{array}\right],$$

где левая 2x2 матрица представляет вращения фаз, в зависимости от параметров ipd и opd, и правая 2x2 матрица представляет часть, которая восстанавливает параметры iid and icc.

В WO2003090206 Al предложено равномерно распределять ipd по левому и правому каналам в декодере. Более того, предложено генерировать сигнал понижающего микширования посредством вращения левого и правого сигнала, обоих по направлению друг к другу наполовину измеренного ipd для получения выравнивания. На практике, в случае почти не совпадающих по фазе сигналов, это имеет результат для обоих из понижающего микширования, сгенерированного в кодере, и повышающего микширования, сгенерированного в декодере, что ipd со временем незначительно меняется около 180 градусов, каковое изменение по причине свертывания может состоять из последовательности таких углов как 179, 178, -179, 177, -179,... В результате таких прыжков для последующих временных/частотных ячеек в понижающем микшировании характерны скачки фазы или, другими словами, нестабильность фазы. Вследствие присущей структуры синтеза на основе перекрытия с суммированием это имеет следствие в виде слышимых помех.

В качестве примера, рассмотрим понижающее микширование, где в одной временной/частотной ячейке понижающее микширование генерируется как:

$$s=l{e}^{j(\pi /2-\epsilon )}+r{e}^{j(-\pi /2+\epsilon )},$$

где ε является неким произвольным малым углом, подразумевая, что измеренная ipd была близка к 180 градусам, тогда как для следующей временной/частотной ячейки понижающее микширование генерируется как:

$$s=l{e}^{j(-\pi /2+\epsilon )}+r{e}^{j(\pi /2-\epsilon )},$$

подразумевая, что измеренная ipd была близка к -180 градусам. Используя типичный синтез на основе перекрытия с суммированием, взаимное подавление фаз случится между срединными точками последующих временных/частотных ячеек, производя помехи.

Основным недостатком параметрического стереофонического кодирования, как обсуждено выше, является неустойчивость синтеза контрольных сигналов межзвуковой разности фаз (ipd) в PS декодере, которые используются в генерировании выходной стереофонической пары. Источником такой неустойчивости являются изменения фазы, осуществляемые в PS кодере, для того чтобы генерировать понижающее микширование, и в PS декодере, для того чтобы генерировать выходной сигнал. В результате такой неустойчивости ощущается более низкое качество звука выходной стереофонической пары.

Для того чтобы бороться с этой проблемой неустойчивости фазы на практике, синтез ipd часто отбрасывается. Однако это имеет результат в уменьшении (пространственного) качества звука восстановленного стереофонического сигнала.

Другой альтернативой борьбы с этой проблемой неустойчивости, когда ipd параметры используются, является включение так называемых сводных разностей фаз (opds) в битовый поток для того, чтобы обеспечить декодеру опорную фазу. Таким образом неразрывность в временных/частотных ячейках может быть увеличена посредством того, что предусмотрено общее вращение фаз. Это, однако, совершается за счет увеличения битрейта и тем самым приводит к ухудшению общей системной производительности.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Цель изобретения состоит в том, чтобы предоставить усовершенствованное устройство параметрического стереофонического повышающего микширования для генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования, которое имеет улучшенное качество звука сгенерированного левого и правого сигналов без дополнительного увеличения битрейта и для которого не характерны неустойчивости, обуславливаемые синтезом межзвуковых разностей фаз (ipds).

Эта цель достигается устройством параметрического стереофонического (PS) повышающего микширования, содержащим средство для предсказания разностного сигнала, содержащего разность между левым сигналом и правом сигналом, на основе монофонического сигнала понижающего микширования, масштабированного коэффициентом предсказания. Упомянутый коэффициент предсказания получается из пространственных параметров. Упомянутое устройство PS повышающего микширования дополнительно содержит арифметическое средство для получения левого сигнала и правого сигнала на основе суммы и разности монофонического сигнала понижающего микширования и упомянутого разностного сигнала.

Предложенное устройство PS повышающего микширования предлагает способ получения левого сигнала и правого сигнала, отличающийся от способа для известного PS декодера. Вместо применения пространственных параметров для восстановления корректного пространственного образа в статистическом смысле, как сделано в известном PS декодере, предложенное устройство PS повышающего микширования формирует разностный сигнал из монофонического сигнала понижающего микширования и пространственных параметров. Как, известный, так и предложенный PS декодер нацелены на восстановление корректных отношений мощностей (iids), кросс-корреляций (iccs) и соотношений фаз (ipds). Однако известный PS декодер не стремится получить наиболее точное соответствие формы сигнала. Вместо этого, он обеспечивает то, что измеренные параметры кодера статистически совпадают с восстановленными параметрами декодера. В предложенном устройстве PS повышающего микширования посредством простых арифметических операций, таких как сумма или разность, применяемых к монофоническому сигналу понижающего микширования и оцененному разностному сигналу, находятся левый сигнал и правый сигнал. Такое построение дает намного лучшие результаты в плане качества и стабильности воспроизводимого левого и правого сигналов, поскольку оно обеспечивает близкое соответствие формы сигнала, восстанавливающее исходное поведение фазы сигнала.

В варианте осуществления, упомянутый коэффициент предсказания основан на сопоставлении формы сигнала понижающего микширования с разностным сигналом. Для сопоставления формы сигнала, по существу, не характерны неустойчивости, как в случае статистического приближения, используемого в известном PS декодере для синтеза ipd и opd, поскольку оно по существу обеспечивает сохранение фазы. Таким образом, посредством использования разностного сигнала, полученного как (комплекснозначный) масштабированный монофонический сигнал понижающего микширования и получения коэффициента предсказания на основе сопоставления формы сигнала, источник неустойчивостей известного PS декодера устраняется. Упомянутое сопоставление формы сигнала содержит, например, сопоставление монофонического сигнала понижающего микширования с разностным сигналом на основе метода наименьших квадратов, вычисляя разностный сигнал как:

где s является сигналом понижающего микширования и α является коэффициентом предсказания. Хорошо известно, что решение предсказания на основе метода наименьших квадратов дается так:

$$\alpha =\frac{{\langle s,d\rangle }^{*}}{\langle s,s\rangle },$$

где $${\langle s,d\rangle }^{*}$$ представляет комплексное сопряжение кросс-корреляции сигнала понижающего микширования и разностного сигнала, а $${\langle s,s\rangle }^{}$$ представляет мощность сигнала понижающего микширования.

В дополнительном варианте осуществления коэффициент предсказания задается как функция пространственных параметров:

,

где iid, ipd и icc являются пространственными параметрами и iid является межканальной разностью мощностей, ipd является межканальной разностью фаз и icc является межканальной когерентностью. В целом, это является сложным квантовать комплекснозначный коэффициент предсказания α значимым с точки зрения восприятия образом, поскольку требуемая точность зависит от свойств левого и правого звуковых сигналов, которые должны быть воспроизведены. Следовательно, преимущество этого варианта осуществления состоит в том, что в отличие от комплексного коэффициента предсказания α, требуемые точности квантования для пространственных параметров являются широко известными из психоакустики. По существу, оптимальное использование психоакустических знаний может быть задействовано для того, чтобы эффективно, т.е. как можно с меньшим числом шагов, квантовать коэффициент предсказания с меньшим битрейтом. Более того, этот вариант осуществления обеспечивает возможность повышающего микширования, используя обратно совместимое PS содержимое.

В дополнительном варианте осуществления, средство для предсказания разностного сигнала выполнено с возможностью улучшения разностного сигнала посредством добавления масштабированного декоррелированного сигнала понижающего микширования. Поскольку, как правило, не является возможным полностью предсказать исходный разностный сигнал кодера из монофонического сигнала понижающего микширования, это обуславливает наличие сигнала остатка. Этот сигнал остатка не имеет корреляции с сигналом понижающего микширования, так как в противном случае он должен был бы быть учтен посредством коэффициента предсказания. Во многих случаях сигнал остатка содержит поле реверберирующего звука, соответствующее записи. Сигнал остатка может быть эффективно синтезирован, используя декоррелированный монофонический сигнал понижающего микширования, полученный из монофонического сигнала понижающего микширования.

В дополнительном варианте осуществления, упомянутый декоррелированный монофонический сигнал понижающего микширования получается посредством фильтрования монофонического сигнала понижающего микширования. Целью этой фильтрации является эффективная генерация сигнала со спектральной и временной огибающей, подобной огибающей монофонического сигнала понижающего микширования, но с корреляцией, по существу, близкой к нулю, так что он соответствует синтетическому варианту остаточной составляющей, извлеченной в кодере. Это может быть, например, достигнуто посредством частотнонезависимой фильтрации, задержек, решеточных реверберационных фильтров, сетей с задержкой обратной связи или их комбинации. Дополнительно, нормировка мощности может быть применена к декоррелированному сигналу для того, чтобы гарантировать то, что мощность для каждой временной/частотной ячейки декоррелированного сигнала близко соответствует такой же мощности монофонического сигнала понижающего микширования. Таким образом, гарантируется, что выходной сигнал декодера будет содержать корректную величину мощности декоррелированного сигнала.

В дополнительном варианте осуществления, коэффициент масштабирования, примененный к декоррелированному монофоническому сигналу понижающего микширования, задается для компенсации потери энергии, связанной с предсказанием. Коэффициент масштабирования, примененный к декоррелированному монофоническому сигналу понижающего микширования, гарантирует то, что общая мощность левого сигнала и правого сигнала на стороне декодера согласуется с мощностью левого и правого сигнала на стороне кодера, соответственно. По этой причине коэффициент масштабирования β может также интерпретироваться как коэффициент компенсации потери энергии, связанной с предсказанием.

В дополнительном варианте осуществления, коэффициент масштабирования, примененный к декоррелированному монофоническому сигналу понижающего микширования, задается как функция пространственных параметров:

где iid, ipd и icc являются пространственными параметрами, и iid является межканальной разностью мощностей, ipd является межканальной разностью фаз, и icc является межканальной когерентностью, и α является коэффициентом предсказания. Подобным образом, как в случае коэффициента предсказания, выражение декоррелированного коэффициента масштабирования β как функции пространственных параметров обеспечивает возможность использования знаний о требуемых точностях квантования этих пространственных параметров. По существу, оптимальное использование психоакустических знаний может быть применено для того, чтобы уменьшить битрейт.

В дополнительном варианте осуществления стереофоническое повышающее микширование имеет сигнал остатка предсказания для разностного сигнала как дополнительные входные данные, при этом арифметическое средство выполнено с возможностью получения левого сигнала и правого сигнала также на основе упомянутого сигнала остатка предсказания для разностного сигнала. Для того чтобы избежать длинных наименований сигналов, «сигнал остатка предсказания» используется в качестве «сигнала остатка предсказания для разностного сигнала» повсюду в оставшейся части патентной заявки. Сигнал остатка предсказания работает как замена синтетического сигнала декорреляции посредством его исходного аналога из кодера. Он позволяет восстанавливать исходный стереофонический сигнал в декодере. Это, однако, достигается за счет дополнительного битрейта, поскольку сигнал остатка предсказания должен быть закодирован и передан на декодер. Поэтому, в типичном случае, полоса пропускания сигнала остатка предсказания ограничена. Сигнал остатка предсказания может либо полностью заместить декоррелированный монофонический сигнал понижающего микширования для заданной временной/частотной ячейки, либо он может работать в режиме дополнения. Последнее может быть полезным в случае, когда сигнал остатка предсказания является лишь разреженно кодированным, например, закодированы только некоторые из наиболее значимых элементов разрешения по частоте. В этом случае, в сравнении с ситуацией кодера, будет все еще иметь место нехватка энергии. Такая нехватка энергии будет заполняться посредством декоррелированного сигнала. Новый декоррелированный коэффициент масштабирования β' тогда вычисляется как:

$$\beta \text{'}=\sqrt{{\beta }^2-\frac{\langle d_{res,cod},d_{res,cod}\rangle }{\langle s,s\rangle }},$$

где $$\langle d_{res,cod},d_{res,cod}\rangle$$ является мощностью сигнала кодированного сигнала остатка предсказания, и $$\langle s,s\rangle$$ является мощностью монофонического сигнала понижающего микширования. Эти мощности сигнала могут быть измерены на стороне декодера и, таким образом, не существует потребности для передачи их как сигнальных параметров.

Изобретение дополнительно предоставляет параметрический стереофонический декодер, содержащий упомянутое устройство параметрического стереофонического повышающего микширования, и звуковое проигрывающее устройство, содержащее упомянутый параметрический стереофонический декодер.

Изобретение также предоставляет устройство параметрического стереофонического понижающего микширования и параметрический стереофонический кодер, содержащий упомянутое устройство параметрического стереофонического понижающего микширования.

Изобретение дополнительно предусматривает пункты формулы изобретения на способ, а также на компьютерный программный продукт, позволяющий программируемому устройству осуществлять способ согласно изобретению.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения будут очевидны и будут объяснены со ссылкой на варианты осуществления, показанные на чертежах, где:

Фиг.1 схематически показывает архитектуру параметрического стереофонического кодера (предшествующий уровень техники);

Фиг.2 схематически показывает архитектуру параметрического стереофонического декодера (предшествующий уровень техники);

Фиг.3 показывает устройство параметрического стереофонического повышающего микширования согласно изобретению, причем упомянутое устройство параметрического стереофонического повышающего микширования генерирует левый сигнал и правый сигнал из монофонического сигнала понижающего микширования на основе пространственных параметров;

Фиг.4 показывает устройство параметрического стереофонического повышающего микширования, содержащее средство предсказания, предусмотренное для улучшения разностного сигнала посредством добавления масштабированного монофонического сигнала понижающего микширования;

Фиг.5 показывает устройство параметрического стереофонического повышающего микширования, имеющее сигнал остатка предсказания для разностного сигнала как дополнительные входные данные;

Фиг.6 показывает параметрический стереофонический декодер, содержащий устройство параметрического стереофонического повышающего микширования согласно изобретению;

Фиг.7 показывает блок схему последовательности операций способа генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования на основе пространственных параметров согласно изобретению;

Фиг.8 показывает устройство параметрического стереофонического понижающего микширования согласно изобретению, причем упомянутое параметрическое стереофоническое устройство понижающего микширования генерирует монофонический сигнал понижающего микширования из левого сигнала и правого сигнала на основе пространственных параметров;

Фиг.9 показывает параметрический стереофонический кодер, содержащий устройство параметрического стереофонического понижающего микширования согласно изобретению.

На всех фигурах одинаковые номера ссылок указывают подобные или соответствующие признаки. Некоторые из признаков, указанных в чертежах, в типичном случае реализуются в программном обеспечении и, в силу этого, представляют программные сущности, такие как программные модули или объекты.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг.3 показывает устройство 300 параметрического стереофонического повышающего микширования согласно изобретению. Упомянутое устройство 300 параметрического стереофонического повышающего микширования генерирует левый сигнал 206 и правый сигнал 207 из монофонического сигнала 204 понижающего микширования на основе пространственных параметров 205.

Упомянутое устройство 300 параметрического стереофонического повышающего микширования содержит средство 310 для предсказания разностного сигнала 311, содержащего разность между левым сигналом 206 и правым сигналом 207, на основе монофонического сигнала 204 понижающего микширования, масштабированного коэффициентом предсказания 321, при этом коэффициент предсказания 321 получают из пространственных параметров 205 в блоке 320, и арифметическое средство 330 для получения левого сигнала 206 и правого сигнала 207 на основе суммы и разности монофонического сигнала 204 понижающего микширования и упомянутого разностного сигнала 311.

Левый сигнал 206 и правый сигнал 207 предпочтительно восстанавливаются следующим образом:

$$l=s+d,$$

$$r=s-d,$$

где s является монофоническим сигналом понижающего микширования, d является разностным сигналом. Это при допущении, что суммарный сигнал кодера вычисляется как:

$$s=\frac{l+r}{2}$$ .

На практике при восстановлении левого сигнала 206 и правого сигнала 207 часто применяется нормировка по усилению:

где c является константой нормировки по усилению и является функцией пространственных параметров. Нормировка по усилению обеспечивает то, что мощность монофонического сигнала 204 понижающего микширования равна сумме мощностей левого сигнала 206 и правого сигнала 207. В этом случае суммарный сигнал кодера был вычислен как:

Пространственные параметры определяются в кодере заранее и передаются декодеру, содержащему устройство 300 параметрического стереофонического повышающего микширования. Упомянутые пространственные параметры определяются на покадровой основе для каждой временной/частотной ячейки как:

где iid - межканальная разность мощностей, icc - межканальная когерентность, ipd - межканальная разность фаз, и $$\langle l,l\rangle$$ и $$\langle r,r\rangle$$ являются мощностями левого и правого сигналов, соответственно, и $$\langle l,r\rangle$$ обозначает ненормированный комплекснозначный ковариационный коэффициент между левым и правым сигналами.

Для типичной частотной комплеснозначной области, такой как дискретное преобразование Фурье, DFT (быстрое преобразование Фурье, FFT), эти мощности измеряются как:

где k _tile представляют DFT-элементы, соответствующие диапазону параметров. Должно быть замечено, что также другие представления комплексных областей могут быть использованы, такие как, например, комплексная экспоненциально модулированная гребенка QMF (квадратурных зеркальных фильтров), как описано в Per Ekstrand, «Bandwidth extension of audio signals by spectral band replication», Proc. 1st IEEE Benelux Workshop on Model based Processing and Coding of Audio (MPCA-2002), Leuven, Belgium, November, 2002, стр. 73-79.

Для низких частот вплоть до 1,5-2 кГц вышеупомянутые уравнения являются действительными. Однако для более высоких частот параметры ipd являются не подходящими для восприятия и, следовательно, они устанавливаются в нулевое значение, что дает в результате:

Альтернативно, так как на более высоких частотах скорее широкополосная огибающая, чем разности фаз, является важной для восприятия, icc вычисляется как:

Константа c нормировки по усилению выражается в виде:

Так как c может приближаться к бесконечности вследствие того, что левый и правый сигнал находятся не в фазе, значение константы c нормировки по усилению в типичном случае ограничивается как:

где c _max является максимальным коэффициентом усиления, например c _max=2.

В варианте осуществления, упомянутый коэффициент предсказания основан на оценке разностного сигнала 311 от монофонического сигнала 204 понижающего микширования, используя сопоставление формы сигнала. Упомянутое сопоставление формы сигнала содержит, например, сопоставление монофонического сигнала 204 понижающего микширования с разностным сигналом 311 на основе метода наименьших квадратов, что дает в результате разностный сигнал, представленный как:

где s является монофоническим сигналом 204 понижающего микширования, и α является коэффициентом предсказания 321.

Помимо использования сопоставления формы сигнала на основе метода наименьших квадратов, может быть использована норма, отличная от L₂-нормы. Альтернативно, в отношении ошибки с p-нормой $$\Vert d-\alpha \cdot s\Vert {{\displaystyle }}^p$$ может быть выполнено, например, перцепционное взвешивание. Однако сопоставление на основе метода наименьших квадратов является преимущественным, так как оно имеет результатом относительно простые вычисления для получения коэффициента предсказания из переданных параметров пространственного образа.

Хорошо известно, что решение предсказания на основе метода наименьших квадратов для коэффициента предсказания α задается как:

$$\alpha =\frac{{\langle s,d\rangle }^{*}}{\langle s,s\rangle },$$

где $${\langle s,d\rangle }^{*}$$ представляет комплексное сопряжение кросс-корреляции монофонического сигнала 204 понижающего микширования и разностного сигнала 311, и $${\langle s,s\rangle }^{}$$ представляет мощность монофонического сигнала понижающего микширования.

В дополнительном варианте осуществления, коэффициент предсказания 321 задается как функция пространственных параметров:

Упомянутый коэффициент предсказания вычисляется в блоке 320 согласно вышеупомянутой формуле.

Фиг.4 показывает устройство 300 параметрического стереофонического повышающего микширования, содержащее средство 310 предсказания, предусмотренное для улучшения разностного сигнала посредством добавления масштабированного монофонического сигнала понижающего микширования. Монофонический сигнал 204 понижающего микширования подается в блок 340 для декорреляции. Как результат, декоррелированный монофонический сигнал 341 понижающего микширования предоставляется на выходе блока 340. В средстве 310 предсказания первая часть разностного сигнала вычисляется посредством масштабирования монофонического сигнала 204 понижающего микширования коэффициентом предсказания 321. Дополнительно, декоррелированный монофонический сигнал 341 понижающего микширования также масштабируется в средстве 310 предсказывания коэффициентом 322 масштабирования. Результирующая вторая часть разностного сигнала прибавляется затем к первой части разностного сигнала, имея результатом улучшенный разностный сигнал 311. Монофонический сигнал 204 понижающего микширования и улучшенный разностный сигнал 311 подаются на арифметическое средство 330, которое вычисляет левый сигнал 206 и правый сигнал 207.

В общем, не является возможным точно предсказать разностный сигнал из монофонического сигнала понижающего микширования только посредством масштабирования коэффициентом предсказания. Это приводит к сигналу остатка Этот сигнал остатка не имеет корреляции с сигналом понижающего микширования, так как в противном случае он был бы взят в расчет посредством коэффициента предсказания. Во многих случаях сигнал остатка содержит поле реверберирующего звука, соответствующее записи. Сигнал остатка эффективно синтезируется, используя декоррелированный монофонический сигнал понижающего микширования, полученный из монофонического сигнала понижающего микширования. Упомянутый декоррелированный сигнал является второй частью разностного сигнала, которая вычисляется средством 310 предсказания.

В дополнительном варианте осуществления, декоррелированный монофонический сигнал понижающего микширования 341 получается посредством фильтрования монофонического сигнала 204 понижающего микширования. Упомянутое фильтрование осуществляется в блоке 340. Этим фильтрованием генерируется сигнал со спектральной и временной огибающей, подобной огибающей у монофонического сигнала 204 понижающего микширования, но с корреляцией, по существу, близкой к нулю, так что он соответствует синтетическому варианту остаточной составляющей, полученной в кодере. Этот эффект достигается посредством, например, частотнонезависимой фильтрации, задержек, решеточных реверберационных фильтров, сетей с задержкой обратной связи или их комбинации.

В дополнительном варианте осуществления, коэффициент 322 масштабирования, примененный к декоррелированному монофоническому сигналу 341 понижающего микширования, устанавливается для компенсации потери энергии, связанной с предсказанием. Коэффициент 322 масштабирования, примененный к декоррелированному монофоническому сигналу 341 понижающего микширования, гарантирует то, что общая мощность левого сигнала 206 и правого сигнала 207 на выходе параметрического стереофонического устройства 300 повышающего микширования согласуется с мощностью левого и правого сигнала на стороне кодера, соответственно. По этой причине коэффициент 322 масштабирования, указанный раньше как β, интерпретируется как коэффициент компенсации потери энергии, связанный с предсказанием. Разностный сигнал d тогда выражается так:

где s _d является декоррелированным монофоническим сигналом понижающего микширования.

Может быть показано, что упомянутый коэффициент 322 масштабирования может быть выражен как:

$$\beta =\sqrt{\frac{\langle d,d\rangle }{\langle s,s\rangle }-{\left|\alpha \right|}^2},$$

в терминах мощностей сигнала, соответствующих разностному сигналу d и монофоническому сигналу s понижающего микширования.

В дополнительном варианте осуществления, коэффициент 322 масштабирования, примененный к декоррелированному монофоническому сигналу 341 понижающего микширования, задается как функция пространственных параметров 205:

Упомянутый коэффициент 322 масштабирования получают в блоке 320.

В случае, когда в кодере не было применено никакой нормировки понижающего микширования, т.е. сигнал понижающего микширования был вычислен как , левый сигнал 206 и правый сигнал 207 тогда выражаются как:

$$\left[\begin{array}{c}l\\ r\end{array}\right]=\left[\begin{array}{cc}1+\alpha & \beta \\ 1-\alpha & -\beta \end{array}\right]\left[\begin{array}{c}s\\ sd\end{array}\right].$$

В случае, когда нормировка понижающего микширования была применена, т.е. сигнал понижающего микширования был вычислен как

$$s=c(l+r)$$ , левый сигнал 206 и правый сигнал 207 выражаются как:

$$\left[\begin{array}{c}l\\ r\end{array}\right]=\left[\begin{array}{cc}1/2c& 0\\ 0& 1/2c\end{array}\right]\left[\begin{array}{cc}1+\alpha & \beta \\ 1-\alpha & -\beta \end{array}\right]\left[\begin{array}{c}s\\ sd\end{array}\right].$$

Фиг.5 показывает устройство 500 параметрического стереофонического повышающего микширования, имеющее сигнал остатка предсказания 331 для разностного сигнала как дополнительные входные данные. Арифметическое средство 330 предусмотрено для получения левого сигнала 206 и правого сигнала 207 на основе монофонического сигнала 204 понижающего микширования, разностного сигнала 311 и упомянутого сигнала 331 остатка. Средство 310 предсказывает разностный сигнал 311 на основе монофонического сигнала 204 понижающего микширования, масштабированного коэффициентом предсказания 321. Упомянутый коэффициент предсказания 321 получается в блоке 320 на основе пространственных параметров 205.

Левый сигнал 206 и правый сигнал 205 соответственно задаются как:

$$l=s+d+d_{res},$$

$$r=s-d-d_{res},$$

где d _res является сигналом остатка предсказания.

Альтернативно, в случае применения нормировки мощности к понижающему микшированию, но не к сигналу остатка, левый сигнал и правый сигнал могут быть получены как:

Сигнал остатка предсказания 331 действует как замена для синтетического сигнала 341 декорреляции посредством своего исходного аналога из кодера. Это обеспечивает возможность восстановления исходного стереофонического сигнала посредством устройства 300 параметрического стереофонического повышающего микширования. Сигнал остатка предсказания 331 может либо полностью заместить декоррелированный монофонический сигнал 341 понижающего микширования для заданной временной/частотной ячейки, либо он может работать в режиме дополнения. Последнее является полезным в случае, когда сигнал остатка предсказания является лишь разреженно кодированным, например, закодированы только несколько из наиболее значимых элементов разрешения по частоте. В этом случае все еще имеется нехватка энергии по сравнению с сигналом остатка предсказания кодера. Такая нехватка энергии заполняется посредством декоррелированного сигнала 341. Новый декоррелированный коэффициент масштабирования β' тогда вычисляется как:

$$\beta \text{'}=\sqrt{{\beta }^2-\frac{\langle d_{res,cod},d_{res,cod}\rangle }{\langle s,s\rangle }}$$

где $$\langle d_{res,cod},d_{res,cod}\rangle$$ является мощностью сигнала кодированного сигнала остатка предсказания и $${\langle s,s\rangle }^{}$$ является мощностью монофонического сигнала 204 понижающего микширования.

Устройство 300 параметрического стереофонического повышающего микширования может быть использовано в отвечающей предшествующему уровню техники архитектуре параметрического стереофонического декодера без любых дополнительных адаптаций. Устройство 300 параметрического стереофонического повышающего микширования замещает тогда блок 230 повышающего микширования, как отображено на фиг.2. Когда сигнал остатка предсказания 331 используется при параметрическом стереофоническом повышающем микшировании 400, требуется пара адаптаций, которые описаны на фиг.6.

Фиг.6 показывает параметрический стереофонический декодер, содержащий устройство 400 параметрического стереофонического повышающего микширования согласно изобретению. Параметрический стереофонический декодер содержит средство 210 демультиплексирования для разделения входящего битового потока на монофонический битовый поток 202, битовый поток 332 остатка предсказания и параметрический битовый поток 203. Средство 220 монофонического декодирования декодирует упомянутый монофонический битовый поток 202 в монофонический сигнал 204 понижающего микширования. Монофоническое декодирующее средство дополнительно сконфигурировано для декодирования битового потока 332 остатка предсказания в сигнал остатка предсказания 331. Средство 240 параметрического декодирования декодирует параметрический битовый поток 203 в пространственные параметры 205. Устройство 400 параметрического стереофонического повышающего микширования генерирует левый сигнал 206 и правый сигнал из монофонического сигнала 204 понижающего микширования и остаточного сигнала 331 предсказания на основе пространственных параметров 205. Хотя декодирование монофонического сигнала 204 понижающего микширования и сигнала остатка предсказания осуществляется при помощи средства 220 декодирования, является возможным, что упомянутое декодирование осуществляется посредством отдельного декодирующего программного обеспечения и/или аппаратных средств для каждого из сигналов, которые должны быть декодированы.

Фиг.7 показывает блок-схему последовательности операций способа генерирования левого сигнала 206 и правого сигнала 207 из монофонического сигнала 204 понижающего микширования на основе пространственных параметров согласно изобретению. На первом этапе 710 разносный сигнал 311, содержащий разность между левым сигналом 206 и правым сигналом 207, предсказывают на основе монофонического сигнала 204 понижающего микширования, масштабированного коэффициентом предсказания 321, при этом коэффициент предсказания получают из пространственных параметров 205. На втором этапе 720 левый сигнал 206 и правый сигнал 207 получают на основе суммы и разности монофонического сигнала 204 понижающего микширования и упомянутого разностного сигнала 311.

Когда сигнал остатка предсказания является доступным на втором этапе 720, сигнал остатка предсказания вслед за монофоническим сигналом 204 понижающего микширования и разностным сигналом 311 используют для получения левого сигнала 206 и правого сигнала 207.

Когда параметрическое стереофоническое повышающее микширование 300 используется в параметрическом стереофоническом декодере, никаких модификаций для параметрического стереофонического кодера не требуется. Может быть использован параметрический стереофонический кодер, известный в предшествующем уровне техники.

Однако когда используется параметрическое стереофоническое повышающее микширование 400, параметрический стереофонический кодер должен быть выполнен с возможностью обеспечивать сигнал остатка предсказания в битовом потоке.

Фиг.8 показывает устройство 800 параметрического стереофонического понижающего микширования согласно изобретению, причем упомянутое устройство параметрического стереофонического понижающего микширования генерирует монофонический сигнал понижающего микширования из левого сигнала и правого сигнала на основе пространственных параметров. Упомянутое устройство 800 параметрического стереофонического понижающего микширования выводит вслед за монофоническим сигналом 104 понижающего микширования добавочный сигнал 801, который является сигналом остатка предсказания. Упомянутое устройство 800 параметрического стереофонического понижающего микширования содержит дополнительное арифметическое средство 810 для получения монофонического сигнала 104 понижающего микширования и разностного сигнала 811, содержащего разность между левым сигналом 101 и правым сигналом 102. Упомянутое устройство 800 параметрического стереофонического понижающего микширования дополнительно содержит дополнительное средство 820 предсказания для получения сигнала остатка предсказания (для разностного сигнала) 801 как разность между разностным сигналом 811 и монофоническим сигналом 104 понижающего микширования, масштабированного предопределенным коэффициентом предсказания 831, полученным из пространственных параметров 103. Упомянутый предопределенный коэффициент предсказания определяется в блоке 830. Предопределенный коэффициент предсказания выбирается для обеспечения сигнала остатка предсказания 801, который является ортогональным к монофоническому сигналу 104 понижающего микширования. В дополнение, может быть применена нормировка мощности сигнала понижающего микширования (не показана на фиг.8).

Хотя нумерация сигналов, соответствующих монофоническому сигналу понижающего микширования и сигналу остатка предсказания, имеет различные номера ссылок в устройстве параметрического стереофонического повышающего микширования и в устройстве параметрического стереофонического понижающего микширования, должно быть понятно, что монофонические сигналы 204 и 104 понижающего микширования соответствуют друг другу, и сигналы остатка предсказания 331 и 801 также соответствуют друг другу.

Фиг.9 показывает параметрический стереофонический кодер, содержащий устройство 800 параметрического стереофонического понижающего микширования согласно изобретению. Упомянутый параметрический стереофонический кодер содержит:

- средство 130 оценки для получения пространственных параметров 103 из левого сигнала 101 и правого сигнала 102,

- устройство 110 параметрического стереофонического понижающего микширования согласно изобретению для генерирования монофонического сигнала 104 понижающего микширования из левого сигнала 101 и правого сигнала 102 на основе пространственных параметров 103,

- средство 120 монофонического кодирования для кодирования упомянутого монофонического сигнала 104 понижающего микширования в монофонический битовый поток 105, причем упомянутое средство 120 монофонического кодирования выполнено с возможностью кодирования сигнала остатка предсказания 801 в битовый поток 802 остатка предсказания,

- средство 140 параметрического кодирования для кодирования пространственных параметров 103 в параметрический битовый поток 106 и

- средство 150 мультиплексирования для объединения монофонического битового потока 105, параметрического битового потока 106 и потока 802 остатка предсказания в выходной битовый поток 107.

Хотя кодирование монофонического сигнала 104 понижающего микширования и сигнала остатка предсказания 801 осуществляется посредством средства 120 кодирования, является возможным, что упомянутое кодирование осуществляется посредством отдельного декодирующего программного обеспечения и/или аппаратных средств для каждого из сигналов, которые должны быть закодированы.

Более того, несмотря на то, что перечислены в отдельности, множество средств, элементов или этапов способа могут быть реализованы посредством одиночного устройства или процессора. Дополнительно, хотя отдельные признаки могут быть включены в разные пункты формулы изобретения, таковые по возможности могут быть выгодным образом скомбинированы, а включение в разные пункты формулы изобретения не подразумевает, что комбинация признаков не является выполнимой и/или полезной. Также включение признака в одну категорию пунктов формулы изобретения не подразумевает ограничение этой категорией, но скорее указывает, что признак равным образом применим к другим категориям пунктов формулы изобретения при необходимости. Более того, последовательность признаков в пунктах формулы изобретения не подразумевает какой-то ограничивающий порядок, в котором признаки являются работоспособными, и, в частности, порядок отдельных этапов в пункте формулы изобретения на способ не подразумевает, что эти этапы должны быть осуществлены именно в этом порядке. Предпочтительно, этапы могут быть осуществлены в любом подходящем порядке. В дополнение, упоминания в единственном числе не исключают множественности. Выражения единственного числа, «первый», «второй» и т.п., не устраняют множественности. Символы ссылок в пунктах формулы изобретения предусмотрены только в качестве проясняющих примеров и не должны трактоваться как ограничивающие объем, определяемый формулой изобретения, каким бы то ни было образом.

Устройство (300, 400) параметрического стереофонического повышающего микширования, генерирующее левый сигнал (206) и правый сигнал (207) из монофонического сигнала (204) понижающего микширования на основе пространственных параметров (205). Упомянутое устройство параметрического стереофонического повышающего микширования характеризуется тем, что содержит средство (310) для предсказания разностного сигнала (311), содержащего разность между левым сигналом (206) и правым сигналом (207), на основе монофонического сигнала (204) понижающего микширования, масштабированного коэффициентом предсказания (321). Упомянутый коэффициент предсказания получается из пространственных параметров (205). Упомянутое устройство (300, 400) параметрического стереофонического повышающего микширования дополнительно содержит арифметическое средство (330) для получения левого сигнала (206) и правого сигнала (207) на основе суммы и разности монофонического сигнала (204) понижающего микширования и упомянутого разностного сигнала (311). 8 н. и 8 з.п. ф-лы, 9 ил.

1. Устройство (300, 400) параметрического стереофонического повышающего микширования для генерирования левого сигнала (206) и правого сигнала (207) из монофонического сигнала (204) понижающего микширования на основе пространственных параметров (205), отличающееся тем, что содержит средство (310) для предсказания разностного сигнала (311), содержащего разность между левым сигналом (206) и правым сигналом (207), на основе монофонического сигнала (204) понижающего микширования, масштабированного коэффициентом предсказания (321), при этом упомянутый коэффициент предсказания получается из пространственных параметров (205), и арифметическое средство (330) для получения левого сигнала (206) и правого сигнала (207) на основе суммы и разности монофонического сигнала (204) понижающего микширования и упомянутого разностного сигнала (311).

2. Устройство по п.1, в котором упомянутый коэффициент предсказания (321) основан на сопоставлении формы сигнала (204) понижающего микширования с разностным сигналом (311).

3. Устройство по п.2, в котором коэффициент предсказания (321) задается как функция пространственных параметров (205):

где iid, ipd и icc - пространственные параметры, и iid - межканальная разность мощностей, ipd - межканальная разность фаз, и icc - межканальная когерентность.

4. Устройство по любому из пп.1-3, в котором средство (310) для предсказания разностного сигнала (311) выполнено с возможностью улучшения разностного сигнала посредством добавления масштабированного декоррелированного монофонического сигнала понижающего микширования.

5. Устройство по п.4, в котором упомянутый декоррелированный монофонический сигнал (341) понижающего микширования получается посредством фильтрования монофонического сигнала (204) понижающего микширования.

6. Устройство по п.4, в котором коэффициент (322) масштабирования, применяемый к декоррелированному монофоническому сигналу (341) понижающего микширования, устанавливается для компенсации потери энергии, связанной с предсказанием.

7. Устройство по п.6, в котором коэффициент масштабирования (322), применяемый к декоррелированному монофоническому сигналу (341) понижающего микширования, задается как функция пространственных параметров:

где iid, ipd и icc - пространственные параметры, и iid - межканальная разность мощностей, ipd - межканальная разность фаз, и icc - межканальная когерентность, и α - коэффициент предсказания (321).

8. Устройство по любому из пп.1-3, которое имеет сигнал остатка предсказания (331) для разностного сигнала как дополнительные входные данные, при этом арифметическое средство (330) выполнено с возможностью получения левого сигнала (206) и правого сигнала (207) на основе монофонического сигнала (204) понижающего микширования, упомянутого разностного сигнала (311) и упомянутого сигнала остатка предсказания (331) для разностного сигнала.

9. Параметрический стереофонический декодер, содержащий средство (210) демультиплексирования для разделения входящего битового потока (201) на монофонический битовый поток (202) и параметрический битовый поток (203), средство (220) монофонического декодирования для декодирования упомянутого монофонического битового потока в монофонический сигнал (204) понижающего микширования, средство (240) параметрического декодирования для декодирования упомянутого параметрического битового потока в пространственные параметры (205) и средство (230) параметрического стереофонического повышающего микширования для генерирования левого сигнала (206) и правого сигнала (207) из монофонического сигнала (204) понижающего микширования на основе пространственных параметров (205), при этом упомянутый стереофонический декодер дополнительно содержит устройство (300) параметрического стереофонического повышающего микширования по любому из пп.1-3.

10. Параметрический стереофонический декодер, содержащий средство (210) демультиплексирования для разделения входящего битового потока (201) на монофонический битовый поток (202) и параметрический битовый поток (203), средство (220) монофонического декодирования для декодирования упомянутого монофонического битового потока в монофонический сигнал (204) понижающего микширования, средство (240) параметрического декодирования для декодирования параметрического битового потока в пространственные параметры (205) и средство (230) параметрического стереофонического повышающего микширования для генерирования левого сигнала (206) и правого сигнала (207) из монофонического сигнала (204) понижающего микширования на основе пространственных параметров (205), отличающийся тем, что средство (210) демультиплексирования дополнительно выполнено с возможностью получения битового потока (332) остатка предсказания из входного битового потока, средство (220) монофонического декодирования дополнительно выполнено с возможностью декодирования сигнала остатка предсказания (331) для разностного сигнала из битового потока остатка предсказания, и средство (230) параметрического стереофонического повышающего микширования представляет собой устройство параметрического стереофонического повышающего микширования по п.8.

11. Способ генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования на основе пространственных параметров, отличающийся тем, что содержит этапы, на которых:
предсказывают разностный сигнал, содержащий разность между левым сигналом и правым сигналом, на основе монофонического сигнала понижающего микширования, масштабированного коэффициентом предсказания, при этом упомянутый коэффициент предсказания получают из пространственных параметров,
получают левый сигнал и правый сигнал на основе суммы и разности монофонического сигнала понижающего микширования и упомянутого разностного сигнала.

12. Способ по п.11, в котором этап получения левого сигнала и правого сигнала также основывается на сигнале остатка предсказания для разностного сигнала.

13. Звуковое проигрывающее устройство, содержащее параметрический стереофонический декодер согласно п.9 или 10.

14. Устройство (800) параметрического стереофонического понижающего микширования для генерирования монофонического сигнала (104) из левого сигнала (101) и правого сигнала (102) на основе пространственных параметров (103), отличающееся тем, что имеет сигнал остатка предсказания (801) для разностного сигнала как дополнительный вывод, при этом упомянутое устройство параметрического стереофонического понижающего микширования содержит дополнительное арифметическое средство (810) для получения монофонического сигнала (104) понижающего микширования и разностного сигнала (811), содержащего разность между левым сигналом и правым сигналом, и дополнительное средство (820) предсказания для получения сигнала остатка предсказания (801) для разностного сигнала как разности между разностным сигналом (811) и монофоническим сигналом (104) понижающего микширования (104), масштабированного заранее определенным коэффициентом предсказания (831), полученным из пространственных параметров (103).

15. Параметрический стереофонический кодер, содержащий средство (130) оценки для получения пространственных параметров (103) из левого сигнала (101) и правого сигнала (102), средство (110) параметрического стереофонического понижающего микширования для генерирования монофонического сигнала (104) понижающего микширования из левого сигнала и правого сигнала на основе пространственных параметров, средство (120) монофонического кодирования для кодирования упомянутого монофонического сигнала понижающего микширования в монофонический битовый поток (105), средство (140) параметрического кодирования для кодирования пространственных параметров в параметрический битовый поток (106) и средство (150) мультиплексирования для включения монофонического битового потока и параметрического битового потока в выходной битовый поток, отличающийся тем, что средство (110) параметрического стереофонического понижающего микширования является устройством параметрического стереофонического понижающего микширования по п.14, и средство (220) монофонического кодирования дополнительно выполнено с возможностью кодирования сигнала остатка предсказания (801) для разностного сигнала в битовый поток (802) остатка предсказания, и средство (150) мультиплексирования дополнительно выполнено с возможностью включения битового потока остатка предсказания в выходной поток.

16. Способ генерирования сигнала остатка предсказания для разностного сигнала из левого сигнала и правого сигнала на основе пространственных параметров, отличающийся тем, что содержит этапы, на которых:
получают разностный сигнал между левым сигналом и правым сигналом;
получают сигнал остатка предсказания для разностного сигнала как разность между разностным сигналом и монофоническим сигналом понижающего микширования, масштабированным коэффициентом предсказания, полученным из пространственных параметров.