Настоящее изобретение направлено на обработку аудиосигналов и, в частности, на понижающее микширование многоканальных сигналов или преобразование спектрального разрешения аудиосигналов.

Хотя обычно стереофонический кодированный битовый поток декодируется для воспроизведения на стереосистеме, не все устройства, которые могут принимать стереофонический битовый поток, всегда могут выдавать стереосигнал. Возможным сценарием является воспроизведение стереосигнала на мобильном телефоне только с монофоническим динамиком. С появлением многоканальных сценариев мобильной связи, поддерживаемых новым стандартом 3GPP IVAS, требуется понижающее микширование из стерео в моно, которое не требует дополнительной задержки и максимально эффективно с точки зрения сложности, а также обеспечивает наилучшее качество восприятия, превышающее то, которое достижимо с помощью простого пассивного понижающего микширования.

Существует несколько способов преобразования стереосигнала в моносигнал. Наиболее прямым способом сделать это является пассивное понижающее микширование [1] во временной области, которое формирует mid-сигнал путем сложения левого и правого каналов и масштабирования результата:

Дальнейшие более сложные (т.е. активные) способы понижающего микширования на основе временной области включают в себя масштабирование энергии в попытке обеспечить сохранность общей энергии сигнала [2] [3], выравнивание фазы, чтобы избежать эффектов взаимной компенсации [4], и предотвращение эффектов гребенчатых фильтров с помощью подавления когерентности [5].

Другой способ заключается в выполнении энергетической коррекции в зависимости от частоты посредством вычисления отдельных весовых коэффициентов для нескольких спектральных полос. Например, это выполнено как часть модуля преобразования формата MPEG-H [6], в котором понижающее микширование выполняется на гибридном представлении частотных подполос QMF или с помощью набора фильтров преобразования STFT сигналов с дополнительным предшествующим выравниванием фазы каналов. В контексте IVAS аналогичное понижающее микширование по частотным полосам (включающее в себя и фазовое, и временное выравнивание) уже используется для параметрического стереофонического DFT в режиме низкой битовой скорости, где взвешивание и микширование применяются в области DFT [7].

Простое решение пассивного понижающего микширования из стерео а моно во временной области после декодирования стереосигнала не является идеальным, поскольку известно, что полностью пассивное понижающее микширование обладает некоторыми недостатками, например, эффектами подавления фазы или потерей общей энергии, которые могут в зависимости от ситуации сильно ухудшить качество.

Другие активные способы понижающего микширования, которые основаны полностью на временной области, смягчают некоторые проблемы пассивного понижающего микширования, но по-прежнему являются не оптимальными из-за отсутствия зависимого от частоты взвешивания.

С учетом неявных ограничений для кодеков мобильной связи, таких как IVAS, с точки зрения задержки и сложности, наличие специальной ступени постобработки, такой как модуль преобразования формата MPEG-H, для применения понижающего микширования по частотным полосам также не является вариантом, поскольку необходимые преобразования в частотную область и обратно неизбежно приведут к увеличению как сложности, так и задержки.

Для режима стереокодека, который использует кодирование с преобразованием TCX с переключением блоков, как в [8], могут использоваться различные режимы: например, один блок на кадр с размером блока 20 мс (TCX20) и два подблока на кадр с размером блока 10 мс (TCX10). Каждый подблок является либо полным блоком TCX10 длительностью 10 мс, или снова разделен на два блока по 5 мс (TCX5). Решение, какой из режимов использовать, принимается для каждого канала независимо от другого. Это означает, что возможно иметь разные решения между каналами. Это лишает возможности использовать один и тот же способ понижающего микширования, используемый в стереокодере на основе DFT, как описано в [7] (взвешивание каналов по частотным полосам, затем монофоническое понижающее микширование обоих каналов в области DFT), вследствие разных частотно-временных разрешений соответствующих представлений в спектральной области.

Задача настоящего изобретения состоит в создании улучшенной концепции обработки аудиосигнала.

Эта задача решается с помощью устройства понижающего микширования по пункту 1 или пункту 35 формулы, способа понижающего микширования по пункту 46 или пункту 47 формулы или компьютерной программы по пункту 48 формулы изобретения.

В соответствии с первым аспектом настоящего изобретения устройство понижающего микширования содержит модуль оценки весовых значений, модуль спектрального взвешивания, модуль преобразования и соединенный далее микшер. Преобразование из спектральной области во временную область выполняется после спектрального взвешивания представления в спектральной области первого канала, взвешивания представления в спектральной области второго канала и, в зависимости от обстоятельств, спектрального взвешивания представлений в спектральной области дополнительных каналов. Взвешенные представления в спектральной области преобразовываются из представления в спектральной области во временное представление соответствующего канала. Во временной области микширование выполняется, чтобы получить микшированный с понижением сигнал как выходные данные устройства понижающего микширования. Эта процедура позволяет выполнять полезное и эффективное взвешивание, но тем не менее с высоким качеством звука в спектральной области, но по-прежнему позволяет обеспечить отдельную обработку отдельных каналов в спектральной области по сравнению с ситуацией, в которой взвешивание в спектральной области и понижающее микширование выполняются в одной операции. В такой ситуации невозможно выполнить отдельную обработку канала, поскольку после спектрального взвешивания и понижающего микширования имеется единственный микшированный с понижением сигнал. Таким образом, в соответствии с этим аспектом настоящего изобретения сделано возможным тем не менее выполнять отдельную обработку каналов в спектральной области, но эта отдельная обработка в спектральной области выполняется после спектрального взвешивания.

В ситуации, когда по меньшей мере два канала имеют другие временные или частотные разрешения, вычисление весовых значений по частотным полосам по меньшей мере для двух каналов требует преобразовать либо одно, либо оба представления в спектральной области по меньшей мере двух каналов для отдельных частотных полос в соответствующие представления, которые имеют одинаковое временное или частотное разрешение. Могут быть вычислены весовые значения по частотным полосам. Однако в этом аспекте весовые значения по частотным полосам не применяются к преобразованному представлению в спектральной области или двум или более объединенным спектральным представлениям. Вместо этого спектральное взвешивание применяется к исходному представлению в спектральной области, из которого было выведено объединенное представление в спектральной области. Таким образом, обеспечивается, чтобы взвешенные представления в спектральной области основывались на исходных представлениях спектральной области, и только весовые значения, которые в любом случае основаны на определенных оценках энергии, предпочтительно с использованием целевой энергии для полосы в каналах перед понижающим микшированием и целевой энергии для полосы сигнала понижающего микширования, получаются из одного или более комбинированных представлений в спектральной области, которые по меньшей в некотором отношении отличаются от исходных представлений спектральной области.

Предпочтительно модуль преобразования для преобразования взвешенных представлений в спектральной области во временные представления имеет несколько компонентов. Одним компонентом является фактический модуль частотно-временного преобразования, и дополнительным компонентом является постобработка по каналам во временной области с использованием параметров, которые были переданы, например, через вспомогательную информацию с многоканальным сигналом, из которого получены представления в спектральной области. В качестве альтернативы постпроцессор применяется перед фактическим частотно-временным преобразованием. Управляющие параметры направляют обработку в спектральной области отдельных каналов. Однако предпочтительно сначала применять модуль частотно-временного преобразования и применять постпроцессор для постобработки представлений во временной области по меньшей мере двух каналов с использованием управляющих параметров по каналам, которые выводятся из вспомогательной информации многоканального сигнала или фактически формируются или вводятся в устройство понижающего микширования через пользовательский ввод, или с применением любого другого формирования параметров. После этой постобработки во временной области находится микшер, который фактически формирует микшированный с понижением сигнал.

Эта процедура обеспечивает высококачественную обработку аудиосигнала благодаря применению весовых значений по частотным полосам к исходным представлениям в спектральной области, и благодаря тому, что весовые значения по частотным полосам, которые так или иначе основаны на некоторой оценке мощности или изображения, выводятся из одного или более (искусственно созданных) объединенных представлений в спектральной области. С другой стороны, высокая гибкость обработки достигается благодаря тому, что любая возможно требуемая обработка во временной области или в частотной области отдельных каналов может быть по-прежнему выполнена, поскольку фактический этап микширования является последним этапом в цепи обработки, который наступает, когда были применены все требуемые отдельные обработки каналов. Кроме того, эта процедура является очень эффективной, поскольку процедура не требует понижающего микширования управляющих параметров, что потребовалось бы, когда фактическая операция понижающего микширования является первой операцией в цепи обработки.

В соответствии со вторым аспектом настоящего изобретения устройство для преобразования спектрального разрешения содержит модуль вычисления спектральных значений для объединения спектральных значений, принадлежащих одному и тому же частотному элементу разрешения из каждого субкадра из множества субкадров одного или более представлений в спектральной области первым методом, чтобы получить первую группу объединенных спектральных значений, и для объединения спектральных значений, принадлежащих одному и тому же частотному элементу разрешения из каждого субкадра представления в спектральной области вторым методом, чтобы получить вторую группу объединенных спектральных значений. Этот второй метод отличается от первого метода, и первая и вторая группы объединенных спектральных значений представляют объединенное представление в спектральной области, имеющее другой размер временного элемента разрешения и другой размер частотного элемента разрешения. Это преобразование спектрального разрешения особенно полезно, когда имеется пара спектральных представлений, полученных из короткого частотно-временного преобразования, имеющих высокое временное разрешение, но низкое частотное разрешение.

В соответствии со вторым аспектом изобретения эта пара коротких представлений в спектральной области преобразовывается в одно длинное представление в спектральной области, имеющее высокое спектральное разрешение, но низкое временное разрешение. Это преобразование из одного частотно-временного разрешения (высокого временного разрешения и низкого частотного разрешения) в другое частотно-временное разрешение (низкое временное разрешение и высокое частотное разрешение) происходит без какого-либо фактического вычисления промежуточного представления во временной области. Таким образом, вместо обычной процедуры, которая состояла бы из преобразования двух коротких представлений в спектральной области во временную область и снова преобразования результата в частотную область, настоящее изобретение применяет только объединение в спектральной области спектральных значений, принадлежащих одному и тому же элементу разрешения, двумя разными методами. Таким образом, в отличие от выполнения двух частотно-временных преобразований и одного временно-частотного преобразования, которые очень не эффективны и подвержены значительной задержке, настоящее изобретение обеспечивает только необходимые базовые арифметические операции объединения, такие как сложение двух значений или вычитание двух значений друг из друга, чтобы получить из двух представлений в спектральной области с низким частотным разрешением представления с высоким разрешением в спектральной области. Предпочтительно первое правило объединения представляет собой низкочастотную фильтрацию или, другими словами, сложение или взвешенное сложение двух спектральных значений, принадлежащих одному и тому же частотному элементу разрешения с низким разрешением, в то время как объединение спектральных значений в соответствии со вторым методом представляет собой высокочастотную фильтрацию или вычисление разности между двумя спектральными значениями. Соответствующие два смежных последовательных спектральных значения преобразуются в два смежных по частоте спектральных значения, причем одно из двух смежных по частоте спектральных значений является спектральным значением с более низкой частотой, полученным в результате операции низкочастотной фильтрации, а следующее - спектральным значением с более высокой частотой, полученным в результате высокочастотной операции.

Следующая процедура заключается в том, что следующая пара спектральных значений с высоким спектральным разрешением снова вычисляется в той же процедуре, т.е. выполняется первое объединение для спектрального значения с более низкой частотой, обычно представляющего низкочастотную характеристику, и выполняется другое объединение для спектрального значения с более высокой частотой, представляющего высокочастотную операцию для спектрального значения с более высокой частотой из пары спектральных значений.

Объединенное представление в спектральной области, сформированное в соответствии со вторым аспектом настоящего изобретения, может использоваться для других целей. В первом аспекте изобретения объединенное представление в спектральной области используется для получения весовых значений по частотным полосам. Это особенно полезно, когда представление в спектральной области первого канала имеет низкое временное разрешение и высокое спектральное разрешение, а второй канал по меньшей мере из двух каналов имеет два представления в спектральной области высокого временного разрешения, которые оба имеют низкое разрешение, преобразовывается, и из объединенного представления в спектральной области, сформированного преобразованием, могут быть выведены весовые значения по частотным полосам. При дальнейшем использовании объединенное представление в спектральной области может быть дополнительно обработано посредством любой полезной постобработки, такой как преобразование во временную область и использование преобразованного спектра в целях воспроизведения, сохранения или сжатия аудиосигнала. Другая процедура будет выполнять спектральную обработку объединенного представления в спектральной области вместе с другим спектральным представлением, которое имеет такое же спектральное разрешение, например, с целью понижающего микширования в спектральной области.

В соответствии с третьим аспектом настоящего изобретения операция понижающего микширования выполняется с использованием спектрального взвешивания, причем весовые значения по частотным полосам вычисляются на основе целевого значения энергии на каждую частотную полосу, чтобы энергия в частотной полосе микшированного с понижением сигнала находилась в заданном отношении, например была равна или равна в допустимом диапазоне ±30% более высокому значению из двух энергий в тех же частотных полосах по меньшей мере двух каналов. Управляемые энергией весовые значения по частотным полосам применяются к представлениям в спектральной области по меньшей мере двух каналов, и микшированный с понижением сигнал вычисляется с использованием взвешенных представлений в спектральной области по меньшей мере двух каналов либо во временной области, как в первом аспекте изобретения, либо в спектральной области, по мере необходимости.

В случае, когда представления в спектральной области являются полностью действительными, как в преобразовании MDCT, или когда представления в спектральной области являются полностью мнимыми, как при применении преобразования MDST (модифицированного дискретного синусного преобразования), модуль оценки весовых значений выполнен с возможностью оценки на основе существующего представления в спектральной области, которое является либо полностью действительным, либо полностью мнимым, другого представления в спектральной области. Таким образом, когда существует действительнозначное представление в спектральной области, оценивается мнимое представление в спектральной области, и когда существует мнимое представление в спектральной области, оценивается действительнозначное представление в спектральной области. Эти оцененные значения используются для вычисления энергии первого канала в частотной полосе, для вычисления энергии второго канала в частотной полосе и для вычисления микшированных составляющих между каналами в зависимости от произведения или линейной комбинации спектральных значений по меньшей мере из двух каналов в частотной полосе.

Эта процедура вычисления весовых значений по частотным полосам для спектрального взвешивания в контексте понижающего микширования может быть применена в первом аспекте, когда между спектральным взвешиванием и понижающим микшированием происходит частотно-временное преобразование и некоторая постобработка во временной области. Что касается второго аспекта изобретения, представление в спектральной области одного или обоих каналов, которые используются для вычисления весовых значений в спектральной области в соответствии с характеристикой целевой энергии, получаются либо из исходных представлений в спектральной области, либо из одного или двух комбинированных представлений в спектральной области, которые были сформированы посредством преобразования спектрального разрешения, проиллюстрированного в отношении второго аспекта изобретения или проиллюстрированного в отношении первого аспекта.

Понижающее микширование с использованием спектрального взвешивания с использованием весовых значений по частотным полосам, которые выведены на основе целевого значения энергии на каждую частотную полосу, с одной стороны, является очень эффективным благодаря тому, что спектральное взвешивание может быть легко выполнено посредством применения одного и того же весового значения к каждому спектральному значению в частотной полосе, в частности, когда применяются психоакустически мотивированные частотные полосы, ширина которых увеличиваются от узких частотных полос на низких частотах до широких частотных полос на высоких частотах. Когда, например, рассматривается высокочастотная полоса, которая имеет, например, 100 или больше спектральных значений, вычисляется только одно весовое значение для этой частотной полосы, и это единственное весовое значение применяется к каждому отдельному спектральному значению. Для этой процедуры необходимы лишь умеренные вычислительные ресурсы, поскольку взвешивание, например, посредством умножения представляет собой процедуру с низким ресурсом и малой задержкой, и в то же время эта процедура применения одного и того же весового значения к каждому спектральному значению в частотной полосе имеет высокий потенциал для параллельных вычислений посредством определенных параллельных аппаратных процессоров. С другой стороны, получается высокое качество звука микшированного с понижением сигнала, который свободен от подавлений сигнала или других артефактов, возникающих, когда два канала, которые должны быть подвергнуты понижающему микшированию, находятся в фазовом отношении друг с другом, что является проблематичным при понижающем микшировании, т.е. когда оба канала сильно коррелированы друг с другом и имеют определенное фазовое соотношение.

Предпочтительные варианты осуществления настоящего изобретения описаны ниже с обращением к следующим сопровождающим чертежам.

Фиг. 1 иллюстрирует устройство понижающего микширования в соответствии с первым аспектом;

Фиг. 2 иллюстрирует дополнительный вариант осуществления устройства понижающего микширования в соответствии с первым аспектом;

Фиг. 3a иллюстрирует предпочтительную реализацию модуля оценки весовых значений;

Фиг. 3b иллюстрирует предпочтительный вариант осуществления модуля оценки весовых значений, который является предпочтительным также для третьего аспекта;

Фиг. 4a иллюстрирует разные частотно-временные разрешения в разных каналах;

Фиг. 4b иллюстрирует спектральное представление, демонстрирующее высокое спектральное разрешение, среднее спектральное разрешение и низкое спектральное разрешение;

Фиг. 5a иллюстрирует оценку весового значения в соответствии с первым вариантом осуществления, приводящую к низкому частотному разрешению и низкому временному разрешению;

Фиг. 5b иллюстрирует процедуру, выполняемую модулем оценки весовых значений в соответствии со вторым вариантом осуществления, приводящую к высокому частотному разрешению и низкому временному разрешению, которая также применена в соответствии со вторым аспектом;

Фиг. 5c иллюстрирует реализацию оценки весового значения в соответствии с третьим вариантом осуществления, приводящей к низкому частотному разрешению и высокому временному разрешению;

Фиг. 5d иллюстрирует дополнительную процедуру модуля оценки весовых значений, приводящую к высокому частотному разрешению и высокому временному разрешению;

Фиг. 6 иллюстрирует вариант осуществления устройства для преобразования спектрального разрешения в соответствии со вторым аспектом;

Фиг. 7 иллюстрирует дополнительную реализацию устройства для преобразования спектрального разрешения в соответствии со вторым аспектом;

Фиг. 8 иллюстрирует вариант осуществления устройства понижающего микширования в соответствии с третьим аспектом; и

Фиг. 9 иллюстрирует дополнительный вариант осуществления устройства понижающего микширования в соответствии с третьим аспектом.

Фиг. 1 иллюстрирует вариант осуществления устройства понижающего микширования для первого аспекта настоящего изобретения. Устройство понижающего микширования содержит модуль 100 оценки весовых значений, модуль 200 спектрального взвешивания, соединенный с модулем 100 оценки весовых значений, и вход для первого или левого канала и второго или правого канала. Модуль 200 спектрального взвешивания соединен с модулем 300 преобразования для преобразования взвешенных представлений в спектральной области по меньшей мере двух каналов во временные представления по меньшей мере двух каналов. Эти временные представления выдаются микшеру для микширования временных представлений по меньшей мере двух каналов, чтобы получить микшированный с понижением сигнал во временной области. Предпочтительно модуль 300 преобразования содержит модуль 310 частотно-временного преобразования и соединенный далее постпроцессор 320. Модуль 310 частотно-временного преобразования фактически выполняет преобразование взвешенных представлений в спектральной области во временную область, и постпроцессор 320, который является факультативным, выполняет независимую от канала обработку первого канала и второго канала, уже представленных во временной области, с использованием управляющих параметров для левого канала и правого канала соответственно. Модуль 300 преобразования выполнен с возможностью формирования посредством модуля 310 частотно-временного преобразования необработанных временных представлений с использованием алгоритма спектрально-временного преобразования, и кроме того модуль 300 преобразования выполнен с возможностью последующей обработки посредством постпроцессора 320 необработанных временных представлений по отдельности и, в частности, в направлении обработки сигналов перед микшированием микшером с использованием отдельной управляющей информации для каналов, чтобы получить временные представления по меньшей мере двух каналов.

Предпочтительно постпроцессор 320 выполнен с возможностью выполнения в качестве операции постобработки низкочастотной постфильтрации, обработки TCX-LTP (долгосрочное предсказание с возбуждением посредством кода с преобразованием) или синтеза LPC (кодирование с линейным предсказанием). Преимущество постпроцессора, воздействующего на спектрально взвешенные каналы, но работающего перед фактическим преобразованием в микшированный с понижением сигнал, состоит в том, что параметры, которые доступны как отдельные параметры для левого и правого канала или в общем случае для отдельного канала из двух или более каналов многоканального сигнала еще могут использоваться без какого-либо понижающего микширования параметров. Такая процедура в ином случае была бы необходима, когда понижающее микширование будет выполнено вместе со спектральным взвешиванием, чтобы на выходе модуля 310 частотно-временного преобразования уже существовал микшированный с понижением сигнал во временной области.

В общем случае многоканальный сигнал может содержать два канала, т.е. левый канал и правый канал, или многоканальный сигнал содержит более двух каналов, например три или более канала. В такой ситуации модуль 100 оценки весовых значений выполнен с возможностью вычисления множества первых весовых значений по частотным полосам для множества частотных полос первого канала по меньшей мере из двух каналов и вычислять второе множество весовых значений по частотным полосам для множества частотных полос второго канала по меньшей мере из двух каналов. Кроме того, модуль 100 оценки весовых значений выполнен с возможностью вычисления множества первых весовых значений по частотным полосам для множества частотных полос первого канала многоканального сигнала, имеющего более двух каналов, вычисления второго множества весовых значений по частотным полосам для множества частотных полос второго канала из более двух каналов, и вычисления дополнительного множества весовых значений по частотным полосам для множества частотных полос третьего или дополнительного канала из более двух каналов.

В частности, каждое представление в спектральной области по меньшей мере двух каналов содержит множество частотных элементов разрешения, причем спектральные значения ассоциированы с частотными элементами разрешения. В частности, модуль 100 оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам для частотных полос, причем каждая частотная полоса содержит одно, два или больше спектральных значений, и предпочтительно количество частотных элементов разрешения на каждую частотную полосу увеличивается по мере повышения центральной частоты частотных полос для получения психоакустически мотивированного разделения представлений в спектральной области на частотные полосы с неравномерной шириной полосы.

Предпочтительная реализация для устройства понижающего микширования проиллюстрирована на фиг. 2. Многоканальный сигнал доступен как стереофонический битовый поток и подается в стереодекодер 500, который предпочтительно реализован как стереодекодер с преобразованием MDCT. Кроме того, модуль оценки весовых значений содержит модуль 110 вычисления значения левого канала, модуль 112 вычисления значения правого канала, а также модуль 120 оценки мнимой части для левого канала и модуль 122 оценки мнимой части для правого канала. В варианте осуществления на фиг. 2 стереодекодер 500 является стереодекодером с преобразованием MDCT, что означает, что декодированные спектральные представления левого и правого каналов имеет полностью действительные спектральные значения, т.е. значения преобразования MDCT. Модули 120, 122 оценки мнимой части формируют полностью мнимые спектральные значения, т.е. значения MDST (модифицированное дискретное синусное преобразование). На основе этих информационных элементов, т.е. представлений в спектральной области и оцененных спектральных значений, вычисляются весовые коэффициенты и передаются модулю 200 спектрального взвешивания, выполняющему взвешивание по частотным полосам, как обозначено на фиг. 2. Взвешенные представления в спектральной области передаются соответствующим модулям 310 частотно-временного преобразования, которые реализованы в виде модуля преобразования IMDCT для каждого канала. Кроме того, факультативный постпроцессор 320 также проиллюстрирован для каждого канала, и преобразованные и подвергнутые факультативной постобработке данные вводятся в устройство понижающего микширования DMX 400, чтобы сформировать микшированный с понижением сигнал во временной области, то есть в варианте осуществления на фиг. 2 монофонический выходной сигнал, но это также может быть многоканальный сигнал при условии, что количество одного или более каналов микшированного с понижением сигнала меньше, чем количество каналов многоканального сигнала перед понижающим микшированием.

В качестве альтернативы, когда многоканальный декодер или стереодекодер 500 реализован как декодер с мнимыми значениями, такой как декодер MDST, блоки 120, 122 будут оценивать полностью действительные данные, такие как значения преобразования MDCT. Таким образом, в общем случае модуль 100 оценки весовых значений выполнен с возможностью оценки мнимого спектрального представления, когда представление в спектральной области является полностью действительным, или оценки действительного спектрального представления, когда исходное представление в спектральной области является полностью мнимым. Кроме того, модуль 110 оценки весовых значений выполнен с возможностью оценки весовых значений с использованием оцененного мнимого спектрального представления или оцененного действительного спектрального представления в зависимости от обстоятельств. Это особенно полезно для вычисления спектральных весовых значений по частотным полосам, которое основано на целевом значении энергии на каждую частотную полосу, чтобы энергия в частотной полосе микшированного с понижением сигнала находилась в заданном отношении к энергиям в тех же частотных полосах по меньшей мере двух каналов. Предпочтительно заданное отношение является таким, что энергия в частотной полосе микшированного с понижением сигнала является суммой энергий одних и тех же частотных полос по меньшей мере в двух каналах. Однако другие заданные отношения также полезны. В качестве примера заданное отношение может охватывать от 75% до 125% суммы двух каналов как энергия соответствующей частотной полосы микшированного с понижением сигнала. Однако в самом предпочтительном варианте осуществления, заданное отношение представляет собой равенство или равенство в допустимом диапазоне ±10%.

Фиг. 3a иллюстрирует предпочтительную реализацию модуля 100 оценки весовых значений. В частности, эта реализация полезна для вычисления весовых значений, когда представления в спектральной области по меньшей мере двух каналов имеют разные временные или частотные разрешения. Как показано в блоке или на этапе 130, модуль 100 оценки весовых значений выполнен с возможностью проверки, отличаются ли частотно-временные разрешения представлений в спектральной области первого и вторых каналов друг от друга. В случае равных временных или частотных разрешений модуль 100 оценки весовых значений выполнен с возможностью вычисления весовых коэффициентов по частотным полосам или весовых значений по частотным полосам, как обозначено посредством w_L для первого или левого канала, и как обозначено w_R для второго или правого канала.

В качестве альтернативы, когда модулем 100 оценки весовых значений в блоке 130 определено, что временные или частотные разрешения не равны между левым и правым, или первым и вторым каналами в течение некоторого периода времени, как позже проиллюстрировано относительно фиг. 4a, модуль 100 оценки весовых значений выполнен с возможностью вычисления 132 одного или двух объединенных представлений в спектральной области. В частности, первое представление в спектральной области первого канала по меньшей мере из двух каналов имеет первое временное разрешение или первое частотное разрешение, и второе представление в спектральной области второго канала по меньшей мере из двух каналов имеет второе временное разрешение или второе частотное разрешение, причем второе временное разрешение отличается от первого временного разрешения, или второе частотное разрешение отличается от первого частотного разрешения. Модуль 100 оценки весовых значений выполнен с возможностью преобразования или вычисления 132 первого представления в спектральной области в объединенное представление в спектральной области, имеющее второе временное разрешение или второе частотное разрешение, и вычисления весовых значений по частотным полосам с использованием объединенного представления в спектральной области и второго представления в спектральной области. В качестве альтернативы, второе представление в спектральной области преобразуется в объединенное представление в спектральной области, имеющее первое временное разрешение или первое частотное разрешение, и весовые значения по частотным полосам вычисляются с использованием объединенного представления в спектральной области и первого представления в спектральной области. В качестве альтернативы, когда первое представление в спектральной области первого канала имеет первое временное разрешение или первое частотное разрешение, и второе представление в спектральной области второго канала по меньшей мере из двух каналов имеет второе временное разрешение или второе частотное разрешение, причем второе временное разрешение отличается от первого временного разрешения, или второе частотное разрешение отличается от первого временного разрешения, модуль 100 оценки весовых значений выполнен с возможностью преобразования или вычисления 132 первого представления в спектральной области в первое объединенное представление в спектральной области, имеющее третье временное разрешение или третье частотное разрешение, причем третье временное разрешение отличается от первого временного разрешения или второго временного разрешения, и третье частотное разрешение отличается от первого частотного разрешения и/или второго частотного разрешения. Кроме того, второе представление в спектральной области также преобразовывается во второе объединенное представление в спектральной области, имеющее третье временное разрешение или третье частотное разрешение, и весовые значения по частотным полосам вычисляются с использованием первого объединенного представления в спектральной области и второго представления в спектральной области. В зависимости от фактической ситуации, как позже описано относительно фиг. 5a-5d, также может возникать ситуация, в которой весовые значения или коэффициенты по частотным полосам, вычисленные блоком 134, не используются для фактического спектрального взвешивания, а вычисляются выведенные весовые коэффициенты по частотным полосам, как проиллюстрировано на этапе 136 на фиг. 3a.

В общем случае и в предположении, что первый канал имеет низкое первое временное разрешение и высокое первое частотное разрешение, а также в предположении, что второй канал имеет высокое второе временное разрешение и низкое второе частотное разрешение, функциональность модуля 100 оценки весовых значений может выбрать один из четырех разных путей для установления соответствия между разрешениями между первым и вторым каналом в спектральной области, чтобы вычислить весовые значения в спектральной области для этих каналов.

Фиг. 5a иллюстрирует первый вариант осуществления, в котором весовые значения по частотным полосам вычисляются на основе двух объединенных представлений в спектральной области, причем оба объединенных представления в спектральной области имеют низкое частотное разрешение и низкое временное разрешение.

Во втором варианте осуществления, проиллюстрированном на фиг. 5b, только одно объединенное представление в спектральной области вычисляется на основе представления с низким частотным разрешения таким образом, чтобы весовые значения по частотным полосам были вычислены на основе пары представлений в спектральной области, которые оба имеют высокое частотное разрешение и низкое временное разрешение.

Фиг. 5c иллюстрирует дополнительный третий вариант осуществления, в котором одно объединенное представление вычисляется и используется для вычисления весовых значений в спектральной области по частотным полосам с использованием двух представлений в спектральной области, которые оба имеют низкое частотное разрешение и высокое временное разрешение.

В четвертом варианте осуществления, проиллюстрированном на фиг. 5d, модуль оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам с использованием двух объединенных представлений, оба из которых имеют формат, имеющий высокое частотное разрешение и высокое временное разрешение.

Фиг. 4a иллюстрирует ситуацию, в которой имеются два разных разрешения (по времени и/или частоте) в первом канале и втором канале. Первая часть на фиг. 4a показывает кадр, имеющий длинный блок в первом канале и два последовательных коротких блока во втором канале. Длинный блок, например, может представлять собой блок TCX20. Короткие блоки могут представлять собой два последовательных блока TCX10. Кроме того, фиг. 4a иллюстрирует дополнительный кадр, который разделен на два субкадра A, B, причем в первом канале субкадр A имеет короткий блок, и во втором канале субкадр также имеет короткий блок. Однако в субкадре B второго кадра на фиг. 4a первый канал имеет короткий блок, а второй канал имеет два очень коротких блока, т.е. один очень короткий блок для каждого подсубкадра. Очень короткий блок, например, может представлять собой блок TCX5. В общем случае длинные блоки длиннее, чем короткие блоки, и короткие блоки длиннее, чем очень короткие блоки, и, безусловно, очень короткие блоки короче, чем длинные блоки. Естественно, не необходимо, чтобы один длинный блок имел такую же длину, как два коротких блока. В качестве альтернативы может иметься три коротких блока, имеющих общую длину, равную длине одного длинного блока, или может иметься четыре коротких блока, такие как очень короткий блок для каждого подсубкадра. Также могут иметь место другие разделения, т.е. два длинных блока в первом канале имеют общую длину, равную длине трех коротких блоков во втором канале. Длины длинных, коротких и очень коротких блоков не обязательно должны находиться в целочисленном отношении друг с другом. Кроме того, может существовать не только три разных длины блоков, а более трех длин блоков или только две разных длины блоков.

Фиг. 4b иллюстрирует представление спектра с высоким спектральным разрешением в первой линии. Спектральные значения обозначены целыми числами вдоль линии частоты, и фиг. 4b иллюстрирует три последовательные частотные полосы b₁, b₂, b₃, причем каждая частотная полоса, представляющая более высокие частоты, является более широкой, чем каждая частотная полоса, представляющая более низкие частоты. В ситуации с высоким спектральным разрешением, например, в спектре TCX20 наиболее низкая частотная полоса b₁ имеет четыре спектральные линии, или спектральных значения, или спектральных элемента разрешения. Вторая частотная полоса b₂ в варианте осуществления имеет восемь спектральных значений, и третья спектральная полоса b₃ имеет двенадцать спектральных элементов разрешения. Перенос или преобразование высокого спектрального разрешения в представление со средним спектральным разрешением приводят к тому, что из спектрального представления с высоким разрешением спектральные значения объединяются (или прореживаются) таким образом, чтобы среднее спектральное разрешение, такое как разрешение TCX10, имело два спектральных элемента разрешения для первой частотной полосы, четыре спектральных элемента разрешения для второй частотной полосы b₂ и шесть спектральных элементов разрешения для третьей частотной полосы b₃. Еще раз сравнивая это среднее спектральное разрешение с представлением с низким спектральным разрешением, например, в блоке TCX5, первая частотная полоса будет иметь только один частотный элемент разрешения, вторая частотная полоса b₂ будет иметь два частотных элемента разрешения, и третья спектральная полоса b₃ будет иметь три спектральных элемента разрешения. Среднее спектральное разрешение может быть преобразовано в низкое спектральное разрешение посредством объединения двух или более смежных спектральных линий или операции прореживания.

С другой стороны, представление с низким спектральным разрешением может быть преобразовано в представление с более высоким разрешением посредством интерполяции, или копирования, или копирования и фильтрации таким образом, чтобы, например, на основе двух спектральных элементов разрешения в первой частотной полосе b₁ для среднего спектрального разрешения могли быть вычислены четыре спектральных элемента разрешения 1, 2, 3, 4 с высоким разрешением, как проиллюстрировано на фиг. 4b.

Этот новый подход направлен на обеспечение активного способа понижающего микширования по частотным полосам без задержек для преобразования из стерео а моно, в котором только взвешивание спектральных полос по частотным полосам двух каналов выполняется в частотной области, в то время как фактическое понижающее микширование в монофонический сигнал выполняется после преобразования во временную область посредством суммирования и масштабирования двух спектрально взвешенных сигналов.

В случае, если представления в спектральной области обоих сигналов имеют разные частотно-временные разрешения (т.е. более короткий размер блока для одного сигнала), вычисление весового коэффициента выполнено с возможностью объединения соседних спектральных элементов разрешения и по времени, и в спектре таким образом, чтобы вычисление между спектрами могло быть сделано в одних тех же частотно-временных областях.

В этом способе частотно-временное разрешение двух стереоканалов не обязательно должно быть однородным, поскольку взвешивание по частотным полосам каналов все еще может быть выполнено, если каналы отличаются в этом отношении, в то время как критическое преобразование из стерео в моно выполняется позже, когда оба спектрально взвешенных канала уже преобразованы обратно во временную область.

Варианты осуществления обеспечивают на стороне декодера оптимизированное понижающее микширование из стерео в моно без задержек.

Предпочтительные аспекты относятся к активному понижающему микшированию со взвешиванием по частотным полосам с раздельными стадиями взвешивания (в частотной области) и микширования (во временной области).

Дополнительные предпочтительные аспекты относятся к временному/спектральному объединению частотных элементов разрешения для корреляции между спектрами в случае каналов с разными представлениями в спектральной области, причем эти аспекты могут использоваться отдельно от аспектов понижающего микширования или вместе с аспектами понижающего микширования.

В отличие от параметрических стереокодеков, таких как [7], когда передается только уже подвергнутый понижающему микшированию базовый сигнал, а также несколько вспомогательных параметров, представляющих стереоизображение, в декодере нет понижающего микширования для дискретного стереофонического приложения на основе MDCT, где оба канала всегда напрямую кодируются с помощью кодера TCX. Таким образом, понижающее микширование должно быть полностью сформировано на стороне декодера.

Фиг. 3b иллюстрирует предпочтительную реализацию модуля 100 оценки весовых значений, проиллюстрированного на фиг. 1. На этапе 140 модуль оценки весовых значений оценивает соответствующее мнимое или действительное спектральные значения для каждого частотного элемента разрешения из первого канала и второго канала или, в качестве альтернативы, из первого канала и объединенного представления в спектральной области, или из второго канала и объединенного представления в спектральной области, или из первого объединенного представления в спектральной области и второго объединенного представления в спектральной области. Обычно модуль оценки весовых значений выполнен с возможностью вычисления первого весового значения и второго весового значения с использованием энергии первого канала в частотной полосе, энергии второго канала в частотной полосе и микшированной составляющей, зависящей от произведения или линейной комбинации спектральных значений по меньшей мере из двух каналов в частотной полосе. На фиг. 3b энергия первого канала и энергия второго канала в качестве примера вычисляются в блоке 140. Кроме того, микшированная составляющая, зависящая от произведения, вычисляется в блоке 148, и другая микшированная составляющая, зависящая от линейной комбинации, вычисляется в блоке 146. Кроме того, «амплитуда» для каждой частотной полосы, которая соответствует квадратному корню мощности спектральных элементов разрешения для каждой частотной полосы, вычисляется в блоке 144.

Таким образом, как проиллюстрировано на фиг. 3b, первое весовое значение w_L вычисляется на основе амплитуд для каждой частотной полосы для обоих каналов и в зависимости от микшированной составляющей, и предпочтительно микшированная составляющая зависит от линейной комбинации, проиллюстрированной в блоке 146. Кроме того, предпочтительно, чтобы вектор взвешивания w_L для каждой частотной полосы вычислялся с использованием весового значения w_R для каждой частотной полосы, т.е. для другого канала. Значение для другого канала, т.е. w_R для каждой частотной полосы предпочтительно вычисляется на основе микшированной составляющей, зависящей от произведения, проиллюстрированного в блоке 148, и "амплитуд" для каждой частотной полосы, полученные блоком 144 на основе мощностей для каждой частотной полосы в соответствующих каналах, как определено в блоке 142.

Таким образом, предпочтительно квадратный корень энергии сложенных друг с другом спектральных значений в частотной полосе из представлений в спектральной области по меньшей мере двух каналов используется в качестве «амплитуд», но также могут использоваться другие «амплитуды», например, «амплитуды», выведенные из степеней с показателем, который меньше 1 и отличается от 1/2. Спектральные значения из частотной полосы линейно объединяются, т.е. складываются друг с другом, и из полученного в результате значения берется квадратный корень или используется любое другое возведение в степень с показателем меньше 1, причем предпочтительно дополнительно используются возведения в степень для обоих каналов в частотной полосе.

В качестве микшированной составляющей, представляющей произведение, также может быть определено абсолютное значение комплексного скалярного произведения между спектральными значениями в частотной полосе первого канала и спектральными значениями в частотной полосе второго канала, например, в вычислении блока 148. Предпочтительно одинаковый весовой коэффициент, определенный модулем 200 спектрального взвешивания, применяется к каждому спектральному значению в частотной полосе одного по меньшей мере из двух каналов, и другой весовой коэффициент применяется к каждому спектральному значению в частотной полосе другого канала по меньшей мере из двух каналов.

Далее проиллюстрирована предпочтительная реализация вычисления весовых коэффициентов для каждой частотной полосы, которая может использоваться модулем 100 оценки весовых значений.

Поскольку использование пассивного понижающего микширования имеет свои указанные выше недостатки, использование активной схемы понижающего микширования приводит к существенным улучшениям по многим пунктам. Добавление еще одной стадии декодера, включающей в себя преобразование DFT для обоих каналов после стереодекодирования, не выполнимо и по сложности, и как причина задержки, таким образом, процесс понижающего микширования выполняется как комбинация обработки в области преобразования MDCT и во временной области.

Сначала весовые коэффициенты по частотным полосам вычисляются и применяются к представлениям MDCT обоих каналов. Это происходит после стереофонической обработки (например, обратного MS-преобразования и т.д.) и непосредственно перед обратным преобразованием IMDCT. Весовые коэффициенты вычисляются по той же самой схеме, которая уже используется в стереокодере на основе DFT, описанном в [7], с целевой энергией mid-канала, повернутого по фазе:

где и представляют спектральные магнитуды левого и правого каналов. Затем на основе этой целевой энергии может быть вычислен весовой коэффициент для каналов для каждой спектральной полосы следующим образом:

и

Эти весовые коэффициенты или весовые значения w_R и w_L по частотным полосам вычисляются для каждой спектральной полосы, и каждая частотная полоса охватывает несколько элементов разрешения MDCT, начиная с малого количества элементов разрешения для полос с наиболее низкими частотами, например, 4, и с увеличением к более высоким частотам до нескольких элементов разрешения или большого количества элементов разрешения для полос с наиболее высокими частотами, например, 160.

Поскольку переданные коэффициенты преобразования MDCT являются только действительнозначными, комплементарные значения MDST, которые требуются для взвешивания с сохранением энергии, получаются для каждого канала с помощью оценки [9]

где определяет номер спектрального элемента разрешения.

С использованием этой оценки и вычисляются для каждой частотной полосы как

вычисляется как

и вычисляется как магнитуда или абсолютное значение комплексного скалярного произведения

где определяет номер элемента разрешения в спектральной полосе .

Несмотря на другое преобразование и только оцененные энергии, полученные в результате весовые коэффициенты по-прежнему приводят понижающему микшированию, сходному с описанным в [7].

На втором этапе два взвешенных канала затем подвергаются понижающему микшированию во временной области простым суммированием и масштабированием двух спектрально взвешенных каналов.

Сделана ссылка на фиг. 2.

Причина такого объединенного подхода двояка: во-первых, посредством преобразования обоих каналов обратно во временную область на обоих каналах может выполняться постфильтрация, например, TCX-LTP - которая также действует во временной области - с использованием параметров (например, высоты звука), извлеченных из базового кодирования отдельных каналов, тем самым избегая необходимости пытаться найти усредненные параметры, которые соответствуют понижающему микшированию. Во-вторых, и более критически, стереофоническое преобразования MDCT выполнено с обеспечением возможности обеспечения другого базового кодера и/или решений с наложением для двух каналов. Конкретно это означает, что один канал может быть кодирован, например, с помощью одного длинного блока TCX20 (кадр 20 мс, высокое частотное разрешение, низкое временное разрешение), в то время как другой канал кодирован, например, с помощью двух коротких блоков TCX10 (два субкадра по 10 мс, низкое частотное разрешение, высокое временное разрешение), причем один или оба коротких блока могут быть разделены еще на два субкадра TCX5 (два по 5 мс). Это делает фактически невозможным полное понижающее микширование в частотной области. Однако одно лишь взвешивание по частотным полосам может быть сделано непосредственно в области MDCT.

Один вариант осуществления, проиллюстрированный на фиг. 5a, работает следующим образом. Для особого случая разных ядер в двух каналах вычисление корреляции между спектрами как часть вычисления весовых коэффициентов должно быть немного адаптировано. Из-за разных частотных и временных разрешений TCX20 и TCX10 непосредственное вычисление скалярного произведения между левым каналом и правым каналом невозможно. Вместо этого элементы разрешения преобразования MDCT должны быть объединены таким образом, чтобы они охватывали одинаковые частотно-временные области. Для TCX20 это означает всегда объединение двух соседних элементов разрешения, тогда как для TCX10 каждый элемент разрешения первого субкадра должен быть объединен с тем же элементом разрешения в следующем субкадре, например,

и

если - спектр преобразования MDCT TCX20, и - спектр преобразования MDCT TCX10 с 2 субкадрами, где определяет номер спектрального элемента разрешения, и и - субкадры TCX10. Такое же объединение также выполняется с оцененными спектрами MDST.

Корреляция между спектрами и/или значение для затем вычисляется с полученными в результате объединенными элементами разрешения. Это приводит к несколько более грубой оценке корреляции, но оказалось, что этого вполне достаточно.

Другой вариант осуществления, проиллюстрированный на фиг. 5b, работает следующим образом. Для особого случая разных ядер в двух каналах вычисление корреляции между спектрами как часть вычисления весовых коэффициентов должно быть немного адаптировано. Из-за разных частотных и временных разрешений TCX20 и TCX10 непосредственное вычисление скалярного произведения между левым каналом и правым каналом невозможно. Чтобы сделать его возможным, спектр (суб)кадра с низким спектральным разрешением преобразовывается в аппроксимацию спектра с удвоенным спектральным разрешением посредством вычисления:

и

где определяет номер спектрального элемента разрешения, и и - субкадры с низким разрешением. Эти сложения и вычитания могут рассматриваться как операции высоко- и низкочастотной фильтрации, которые разбивают один элемент разрешения с низким разрешением на два элемента разрешения с высоким разрешением, причем фильтрация зависит от того, является ли номер элемента разрешения нечетным или четным (начиная с для самого нижнего элемента разрешения).

Это означает, что если один канал имеет разрешение TCX20, другой канал преобразуется в такое же спектральное разрешение. Если один или оба из субкадров другого канала разделены еще на два «подсубкадра» с разрешением TCX5, они сначала преобразовываются в разрешение TCX10 посредством той же самой фильтрации перед разбиением, чтобы достигнуть окончательного представления с разрешением TCX20.

Даже если ни один из каналов не имеет разрешение TCX20, преобразование в более высокое разрешение по-прежнему может быть необходимым для одного или обоих субкадров в том случае, если имеется разрешение TCX10 в одном канале и разрешение TCX5 в другом. В качестве примера, если левый канал имеет разрешение TCX10 в субкадре A и два "подсубкадра" с разрешением TCX5 в субкадре B, в то время как правый канал имеет два "подсубкадра" с разрешением TCX5 в субкадре A и разрешение TCX10 в субкадре B, оба канала будут преобразованы, чтобы они имели разрешение TCX10 в обоих субкадрах (преобразование субкадра B для левого канала, субкадра A для правого канала). Если в этом же примере правый канал также имеет разрешение TCX 10 для субкадра A и два "подсубкадра" с разрешением TCX5 для субкадра B, то преобразование не делается; т.е. субкадр A будет подвергнут понижающему микшированию с разрешением TCX10, а субкадр B с разрешением TCX5.

Затем вычисляются оценки MDST и окончательные весовые коэффициенты канала с использованием этих преобразованных спектров. Сами весовые коэффициенты применяются к исходным входным спектрам, это означает, что в случае преобразования каждый вычисленный весовой коэффициент применяется ко всем элементам разрешения, покрывающим один и тот же частотный диапазон в исходном низком разрешении для каждого субкадра.

Посредством разделения стадии взвешивания активного понижающего микширования по частотным полосам от фактической стадии микширования новый способ может выдавать монофонический сигнал с преимуществами активного понижающего микширования, но без дополнительной задержки или сложности, и независимо от выбранного частотно-временного разрешения отдельных каналов.

Это также позволяет использовать дополнительную постобработку во временной области (например, постфильтр TCX-LTP с использованием информации о высоте звука) на обоих каналах без необходимости специализированного понижающего микширования параметров.

Фиг. 5a иллюстрирует первую альтернативу, в которой формируются два объединенных представления в спектральной области. Первое объединенное представление в спектральной области вычисляется посредством сложения двух соседних элементов разрешения представления в спектральной области с высоким разрешением, проиллюстрированной слева на фиг. 5a, чтобы получить первое объединенное представление в спектральной области.

Кроме того, два представления с низким спектральным разрешением, проиллюстрированные в TCX10 в середине на фиг. 5a, объединяются друг с другом, чтобы получить второе объединенное представление в спектральной области. Модуль 100 оценки весовых значений выполнен с возможностью вычисления весовых коэффициентов w_L и w_R для левого и правого каналов на основе этих двух объединенных представлений в спектральной области.

Относительно фактически выполненного спектрального взвешивания, выполненного модулем 200 спектрального взвешивания, весовой коэффициент для левого канала применяется к исходному представлению левого канала, т.е. представлению TCX20, проиллюстрированному слева на фиг. 5a. Кроме того, весовые значения по частотным полосам для правого канала, представленного двумя последовательными во времени блоками TCX10, применяются к обоим блокам TCX10. Такое же весовое значение по частотным полосам применяется к соответствующим частотным полосам двух последовательных во времени блоков TCX10, проиллюстрированных в середине на фиг. 5a.

Во второй альтернативе, проиллюстрированной на фиг. 5b, вычисляется только одно объединенное представление в спектральной области, как показано для нескольких других случаев. Когда, например, субкадр в первом канале имеет два очень коротких подсубкадра, таких как кадры TCX5, и следующий субкадр имеет один кадр TCX10, и когда второй канал, например, имеет два кадра TCX10, объединенное представление в спектральной области вычисляется для первого подсубкадра, в то время как для второго подсубкадра первый и второй канал уже находятся в представлении TCX10.

В этом примере модуль 200 спектрального взвешивания выполнен с возможностью применения весовых коэффициентов с высоким спектральным разрешением к соответствующим частотным полосам в субкадрах, каждый из которых представляет пять миллисекунд. Кроме того, весовые коэффициенты с высоким разрешением применяются к соответствующим исходным представлениям в спектральной области другого канала, имеющего короткий кадр TCX10 в первом субкадре A.

В качестве альтернативы ситуация такова, что первый канал имеет представление, проиллюстрированное слева на фиг. 5b, а второй канал - представление, проиллюстрированное справа на фиг. 5b, представление первого канала преобразовывается в одно объединенное представление в спектральной области через два этапа: от левой стороны на фиг. 5b к середине, и от середины на фиг. 5b к правой стороне. Частотное разрешение используется для вычисления весовых коэффициентов, и соответствующие весовые коэффициенты применяются к представлению с высоким частотным разрешением и с низким временным разрешением второго канала, которое будет иметь разрешение, проиллюстрированное справа на фиг. 5b, и такие же значения для частотной полосы будут применены ко всем отдельным субкадрам A, B и следующему субкадру, проиллюстрированному как D и C на фиг. 5b.

Фиг. 5c иллюстрирует другую альтернативу, в которой фактические весовые значения в области вычисляются на основе представления с низким частотным разрешением и с высоким временным разрешением. Первый канал, например, имеет представление TCX20, и второй канал, например, имеет последовательность из двух представлений TCX10. В отличие от альтернативы, проиллюстрированной на фиг. 5b, объединенным представлением теперь является представление с высоким временным разрешением и низким частотным разрешением, проиллюстрированным в правом верхнем углу на фиг. 5c. Весовые коэффициенты в спектральной области вычисляются на основе объединенного представления, с одной стороны, и исходного представления в спектральной области второго канала, проиллюстрированного в левом нижнем углу на фиг. 5c.

Получены два набора весовых значений по частотным полосам, т.е. один для каждого субкадра. Эти значения применяются к соответствующим субкадрам второго канала. Однако вследствие того, что первый канал только имеет одно представление в спектральной области для целого кадра, выведенные весовые значения в спектральной области вычисляются, как иллюстрировано на этапе 136 на фиг. 3a. Одна процедура вычисления выведенного весового значения в спектральной области должна выполнить взвешенное сложение соответствующих весовых значений одной и той же частотной полосы для двух (или более) субкадров, причем каждое весовое значение, например, взвешивается с коэффициентом 0,5 при взвешенном сложении, что приводит к операции усреднения. Другой альтернативой может быть вычисление среднего арифметического или геометрического весовых значений для двух субкадров или любая другая процедура для получения одного весового значения из двух весовых значений для частотной полосы в кадре. Факультативным вариантом может быть простой выбор одного из двух значений и отбрасывание другого и т.д.

Кроме того, для вычисления объединенного представления в спектральной области на основе первого канала может использоваться процедура, описанная ниже с обращением к фиг. 5a, т.е. два соседних спектральных значения могут быть сложены вместе, чтобы сократить спектральное разрешение. Это также проиллюстрировано на фиг. 4b, где высокое спектральное разрешение, имеющее определенное количество спектральных значений в частотной полосе, может быть сокращено до среднего спектрального разрешения, имеющего более низкое количество спектральных значений в той же самой частотной полосе. Кроме того, чтобы удвоить спектральные значения для двух субкадров, проиллюстрированных в правом верхнем углу на фиг. 5c, можно использовать, например, одинаковые спектральные значения (с низким спектральным разрешением) для частотной полосы в обоих субкадрах, или можно выполнить некоторое взвешенное прореживание с использованием более ранних или более поздних значений в зависимости от обстоятельств.

Фиг. 5d иллюстрирует дополнительную реализацию, когда первый канал имеет представление с высоким частотным и низким временным разрешением, например, представление TCX20, и второй канал имеет представление с низким частотным и высоким временным разрешением, например, последовательность из двух коротких кадров, таких как два кадра TCX10. Первым объединенным представлением в спектральной области является представление с высоким частотным разрешением и высоким временным разрешением, и вторым объединенным представлением в спектральной области является дополнительно представление с высоким частотным разрешением и высоким временным разрешением. Процедура, проиллюстрированная на фиг. 5d, например, может быть выполнена таким образом, что на основе первого канала первое объединенное представление в спектральной области вычисляется с теми же спектральными значениями, но теперь в течение двух последовательных временных кадров, проиллюстрированных как TCX10. В качестве альтернативы также может быть выполнена некоторая процедура интерполяции и т.д., чтобы удвоить количество кадров для вычисления на основе кадра TCX20 двух последовательных кадров TCX10. Кроме того, второй канал уже имеет правильное временное разрешение, но частотное разрешение должно быть удвоено. С этой целью может быть выполнена процедура от нижней линии до верхней линии на фиг. 4b, т.е. спектральное значение в частотном элементе разрешения представления TCX10 может быть обработано, чтобы иметь одинаковое спектральное значение для пары частотных элементов разрешения. Чтобы иметь правильную энергию, может быть выполнено некоторое взвешивание. В качестве альтернативы или дополнительно некоторая усовершенствованная интерполяция может быть выполнена таким образом, чтобы частотные элементы разрешения, смежные друг с другом во втором объединенном представлении в спектральной области, имели не обязательно одинаковое спектральное значение, а разные значения. Весовые значения в спектральной области вычисляются модулем 100 оценки весовых значений на основе первого объединенного представления в спектральной области и второго объединенного представления в спектральной области, которые выведены из данных с высоким временным разрешением и высоким частотным разрешением.

Модуль 200 спектрального взвешивания выполнен с возможностью применения соответствующих весовых значений в спектральной области ко второму каналу, где для каждого субкадра существует множество весовых значений по частотным полосам. В целях взвешивания данных TCX20 первого канала модуль 100 оценки весовых значений выполнен с возможностью повторного вычисления выведенных весовых коэффициентов 136 по частотным полосам, поскольку только один набор спектральных весовых коэффициентов области требуется для взвешивания представления в спектральной области с высоким частотным разрешением и временным разрешением (TCX20) первого канала. Процедура объединения для вычисления выведенных весовых значений по частотным полосам, например, может представлять собой усреднение.

Фиг. 6 иллюстрирует дополнительный аспект изобретения, т.е. устройство для преобразования спектрального разрешения представления в спектральной области канала, содержащего по меньшей мере два субкадра, причем каждый субкадр содержит множество спектральных значений, представляющих размер временного элемента разрешения и размер частотного элемента разрешения. Модуль 160 вычисления спектральных значений, включенный в устройство для преобразования в соответствии со вторым аспектом, содержит модуль 170 объединения для первого метода и модуль 180 объединения для второго метод. Предпочтительно модуль объединения для первого метода действует в качестве низкочастотного процессора, и модуль объединения для второго метода управляет высокочастотным процессором. Модуль вычисления спектральных значений посредством модуля объединения для первого метода объединяет спектральные значения, принадлежащие одному и тому же частотному элементу разрешения из каждого субкадра представления в спектральной области, чтобы получить первую группу объединенных спектральных значений, и модуль 180 объединения для второго метода объединяет спектральные значения, принадлежащие одному и тому же частотному элементу разрешения из каждого субкадра представления в спектральной области вторым методом, чтобы получить вторую группу объединенных спектральных значений, причем второй метод отличается от первого метода, и первая группа объединенных спектральных значений и вторая группа объединенных спектральных значений представляют объединенное представление в спектральной области, имеющее разный размер временного элемента разрешения и разный размер частотного элемента разрешения. Предпочтительная реализация этого вычисления описана и проиллюстрирована относительно фиг. 5b, где на одной иллюстрации последовательность из A₂, A₁ и B₂, B₁ преобразовывается в представление с высоким спектральным разрешением, но теперь имеющее низкое временное разрешение, как проиллюстрировано посредством F₂, E₂, с одной стороны, и F₁, E₁, с другой стороны.

В качестве альтернативы фиг. 5b также иллюстрирует ситуацию, в которой по меньшей мере два субкадра проиллюстрированы на средней схеме на фиг. 5b как два последовательные во времени субкадры длительностью 10 мс, и представление с высоким спектральным разрешением и низким временным разрешением проиллюстрировано справа нат фиг. 5b. Предпочтительно в первом методе выполняется сложение, и во втором методе выполняется вычитание. Кроме того, предпочтительно, чтобы обе процедуры также содержали функцию усреднения. Кроме того, модуль 160 вычисления спектральных значений на фиг. 6 выполнен с возможностью применения либо первого метода, либо второго метода, содержащего взвешивание с использованием знака взвешивания, причем модуль вычисления спектральных значений выполнен с возможностью установления знака взвешивания в соответствии с номером частотного элемента разрешения для одного и того же частотного элемента разрешения. Кроме того, модуль вычисления спектральных значений, как проиллюстрировано на фиг. 5b, выполнен с возможностью преобразования элемента разрешения с низким разрешением в два элемента разрешения с более высоким разрешением, причем первый метод используется для четного номера элемента разрешения, и второй метод используется для нечетного номера элемента разрешения.

Фиг. 7 иллюстрирует дополнительную реализацию устройства для преобразования спектрального разрешения. В дополнение к модулю 160 объединения спектрального разрешения устройство для преобразования спектрального разрешения может содержать дополнительные элементы. Дополнительными элементами являются, например, спектральный процессор 500, и/или модуль 190 вычисления данных обработки, и/или дополнительный спектральный процессор 220. В реализации со спектральным процессором 500 преобразованное представление в спектральной области, которое было преобразовано без операций обратного и прямого преобразования, и, таким образом, было сформировано с низкими вычислительными ресурсами и с малой задержкой, может быть дополнительно обработано самостоятельно или, например, вместе с другим спектральным представлением, которое имеет такое же второе спектральное разрешение. Например, это может быть выполнено для некоторого понижающего микширования. Представление с высоким частотным разрешением и низким временным разрешением, проиллюстрированное справа на фиг. 5b, может не только использоваться для вычисления данных обработки, но и фактически далее обрабатывается для дополнительного или другого альтернативного использования, например, для понижающего микширования или любого вида рендеринга аудиоинформации на стадии дальнейшей обработки.

С другой стороны, процедура, описанная выше с обращением к фиг. 1 и фиг. 5b, заключается в том, что представление в спектральной области со вторым спектральным разрешением, т.е. «объединенное представление в спектральной области», просто используется для вычисления некоторых данных обработки, таких как весовые значения для левого и правого каналов, или в общем случае для первого и второго канала многоканального сигнала. Данные обработки, сформированные с использованием представления в спектральной области, которое было преобразовано в высокое спектральное разрешение, используются только для вычисления данных обработки, но это представление в спектральной области далее не обрабатывается само по себе. Вместо этого с использованием данных обработки, таких как весовые значения, исходное входное представление в спектральной области с первым спектральным разрешением спектрально обрабатывается, как проиллюстрировано посредством блока 220. С этой целью предпочтительно использовать, например, другое представление в спектральной области с первым разрешением, например, для операции понижающего микширования, имеющей место в спектральной области.

Фиг. 8 иллюстрирует вариант осуществления третьего аспекта настоящего изобретения, действующего в качестве устройства понижающего микширования для понижающего микширования многоканального сигнала, имеющего по меньшей мере два канала. Устройство понижающего микширования содержит модуль 100 оценки весовых значений для оценки весовых значений по частотным полосам по меньшей мере для двух каналов, причем модуль оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам на основе целевого значения энергии на каждую частотную полосу, чтобы энергия в частотной полосе микшированного с понижением сигнала находилась в заданном отношении к энергиям в тех же частотных полосах в двух каналах. Предпочтительно модуль 100 оценки весовых значений реализован, как проиллюстрировано на фиг. 3b и как описано в контексте фиг. 3b. Устройство понижающего микширования дополнительно содержит модуль 200 спектрального взвешивания и присоединенный далее микшер 400 для вычисления микшированного с понижением сигнала с использованием взвешенных представлений в спектральной области по меньшей мере двух каналов.

Фиг. 9 иллюстрирует дополнительную реализацию устройства понижающего микширования, показанного на фиг. 8. Модуль 200 спектрального взвешивания предпочтительно выполнен с возможностью приёма управляющих данных для первого и/или второго канала. Кроме того, модуль спектрального взвешивания выполнен с возможностью применения управляющих данных для одной из четырех других пар входных данных. Первая пара входных данных может являться представлением в спектральной области первого канала и представлением в спектральной области второго канала, как проиллюстрировано слева на в фиг. 9. Вторая альтернатива может являться представлением в спектральной области первого канала и объединенным представлением в спектральной области, выведенным, как, например, описано с обращением к фиг. 5b, 5c. Кроме того, другая альтернатива может являться парой данных, представляющих представление в спектральной области второго канала и одно объединенное представление в спектральной области, как описано выше также с обращением к фиг. 5b, 5c. Другая альтернатива может состоять в том, что модуль 200 спектрального взвешивания применяет спектральные весовые коэффициенты к первому объединенному представлению в спектральной области и второму объединенному спектральному представлению, как проиллюстрировано относительно фиг. 5a или 5d. Управляющие данные для первого и/или вторых каналов могут являться, например, весовыми значениями w_L, с одной стороны, и w_R, с другой стороны, но также могут являться любыми другими управляющими данными, используемыми для выполнения любого вида спектрального взвешивания.

Дополнительным элементом устройства понижающего микширования в варианте осуществления является модуль 480 суммирования, который вычисляет сложенное представление в спектральной области, т.е. представление понижающего микширования в спектральной области. Может использоваться процессор 490 монофонического сигнала, который, например, управляется любыми данными или реализован в виде модуля частотно-временного преобразования, как описано выше в отношении блока 310 на фиг. 1 или фиг. 2.

Следует подчеркнуть, что эти три аспекта могут использоваться отдельно друг от друга, но могут также быть успешно объединены друг с другом. В частности, реализация модуля оценки весовых значений в соответствии с фиг. 8 может быть применена в модуле 100 оценки весовых значений первого аспекта, проиллюстрированного на фиг. 1. Кроме того, модуль преобразования спектрального разрешения, проиллюстрированный на фиг. 6, предпочтительно реализован модулем 100 оценки весовых значений на фиг. 1 в альтернативе, проиллюстрированной на фиг. 5b, формирующей представление в спектральной области с высоким разрешением/низким разрешением от двух субкадров с высоким временным разрешением и низким спектральным разрешением. Кроме того, функциональность первого аспекта, проиллюстрированного на фиг. 1, в частности, относительно вычисления обработки данных, может быть реализована посредством модуля 190 вычисления данных обработки и дополнительного спектрального процессора 220, иллюстрированных на фиг. 7, и микшер 400 из третьего аспекта изобретения может быть реализован как альтернатива на фиг. 9 таким образом, что микшер 400 для вычисления микшированного с понижением сигнала применяет функциональность модуля 300 преобразования, проиллюстрированного на фиг. 1, до выполнения фактического сложения по каждой выборке во временной области. Таким образом, все заданные варианты осуществления, определенные в зависимом пункте формулы изобретения для одного из этих трех аспектов, также могут быть применены к любому другому аспекту из трех аспектов в определении соответствующего зависимого пункта формулы изобретения.

Таким образом становится ясно, что в зависимости от реализации три аспекта могут быть применены отдельно или могут быть объединены друг с другом либо посредством объединения любых двух из трех аспектов, либо посредством объединения всех трех аспектов.

Далее даны дополнительные примеры аспектов настоящего изобретения.

1. Устройство понижающего микширования для понижающего микширования многоканального сигнала, имеющего по меньшей мере два канала, содержащее:

модуль (100) оценки весовых значений для оценки весовых значений по частотным полосам для упомянутых по меньшей мере двух каналов;

модуль (200) спектрального взвешивания для взвешивания представлений в спектральной области по меньшей мере двух каналов c использованием весовых значений по частотным полосам;

модуль (300) преобразования для преобразования взвешенных представлений в спектральной области по меньшей мере двух каналов во временные представления по меньшей мере двух каналов; и

микшер (400) для микширования временных представлений по меньшей мере двух каналов для получения микшированного с понижением сигнала.

2. Устройство понижающего микширования из примера 1, в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления множества первых весовых значений по частотным полосам для множества частотных полос первого канала на основе по меньшей мере двух каналов и вычисления второго множества весовых значений по частотным полосам для множества частотных полос второго канала на основе по меньшей мере двух каналов, или

в котором многоканальный сигнал имеет больше двух каналов, и в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления множества первых весовых значений по частотным полосам для множества частотных полос первого канала на основе более чем двух каналов, вычисления второго множества весовых значений по частотным полосам для множества частотных полос второго канала на основе более чем двух каналов и вычислять дополнительное множество весовых значений по частотным полосам для множества частотных полос дополнительного канала на основе более чем двух каналов.

3. Устройство понижающего микширования из примера 1 или 2,

в котором каждое из представлений в спектральной области по меньшей мере двух каналов содержит набор частотных элементов разрешения, причем спектральные значения ассоциированы с частотными элементами разрешения,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам для частотных полос, причем каждая частотная полоса содержит один, два или более частотных элемента разрешения, или

в котором количество частотных элементов разрешения на каждую частотную полосу увеличивается по мере повышения центральной частоты частотных полос.

4. Устройство понижающего микширования из одного из предыдущих примеров,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам на основе целевого значения энергии на каждую частотную полосу, чтобы энергия в частотной полосе микшированного с понижением сигнала находилась в заданном отношении к энергиям в одних тех же частотных полосах по меньшей мере двух каналов.

5. Устройство понижающего микширования из одного из предыдущих примеров, дополнительно содержащее:

базовый декодер (500) для декодирования кодированного сигнала, кодированный сигнал имеет кодированные представления в спектральной области по меньшей мере двух исходных каналов, причем базовый декодер выполнен с возможностью формирования представлений в спектральной области на основе кодированных представлений в спектральной области.

6. Устройство понижающего микширования из одного из предыдущих примеров,

в котором представления в спектральной области являются либо полностью действительными, либо полностью мнимыми,

в котором модуль (100) оценки весовых значений выполнен с возможностью оценки (120, 122) мнимого представления в спектральной области, когда представление в спектральной области является полностью действительным, или оценки действительного представления в спектральной области, когда представление в спектральной области является полностью мнимым, и

в котором модуль (100) оценки весовых значений выполнен с возможностью оценки весовых значений по частотным полосам с использованием оцененного мнимого представления в спектральной области или оцененного действительного представления в спектральной области.

7. Устройство понижающего микширования из одного из предыдущих примеров, в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления первого весового значения для частотной полосы первого канала на основе по меньшей мере двух каналов,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления второго весового значения для частотной полосы второго канала на основе по меньшей мере двух каналов, и

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления первого весового значения и второго весового значения с использованием энергии первого канала в частотной полосе, энергии второго канала в частотной полосе и микшированной составляющей, зависящей от произведения или линейной комбинации спектральных значений по меньшей мере из двух каналов в частотной полосе.

8. Устройство понижающего микширования из одного из предыдущих примеров,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления в качестве микшированной составляющей, представляющей линейную комбинацию, квадратного корня энергии спектральных значений, сложенных друг с другом, в частотной полосе из представлений в спектральной области по меньшей мере двух каналов, причем частотная полоса содержит множество спектральных значений, или вычисления в качестве микшированной составляющей, представляющей упомянутое произведение, абсолютного значения комплексного скалярного произведения между спектральными значениями в частотной полосе первого канала и спектральными значениями в частотной полосе второго канала по меньшей мере из двух каналов.

9. Устройство понижающего микширования из одного из предыдущих примеров,

в котором каждая частотная полоса первого и второго каналов из множества по меньшей мере из двух каналов имеет множество спектральных значений, причем модуль (200) спектрального взвешивания выполнен с возможностью применения одинакового весового коэффициента к каждому спектральному значению в частотной полосе одного по меньшей мере из двух каналов и применения другого весового коэффициента к каждому спектральному значению в частотной полосе другого канала по меньшей мере из двух каналов.

10. Устройство понижающего микширования из одного из предыдущих примеров,

в котором взвешенные представления в спектральной области являются спектрами преобразования MDCT (modified discrete cosine transform, модифицированного дискретного косинусного преобразования, и

в котором модуль (300) преобразования выполнен с возможностью выполнения для каждого канала из множества каналов обратное преобразование MDCT с использованием операции оконной обработке синтеза и операции сложения с наложением.

11. Устройство понижающего микширования из одного из предыдущих примеров,

в котором микшер (400) выполнен с возможностью применения сложения по каждой выборке временных представлений по меньшей мере двух каналов, или

в котором микшер (400) выполнен с возможностью применения сложения по каждой выборке временных представлений по меньшей мере двух каналов и операцию масштабирования, применяемую к результату сложения по каждой выборке или применяемую к входным значениям сложения по каждой выборке.

12. Устройство понижающего микширования из одного из предыдущих примеров,

в котором модуль (300) преобразования выполнен с возможностью формирования (310) необработанных временных представлений с использованием алгоритма преобразования спектрального представления во временное представление, и

выполнения по отдельности постобработки (320) необработанных временных представлений в направлении обработки сигналов перед микшированием посредством микшера (400) с использованием отдельной управляющей информации для каналов, чтобы получить временные представления.

13. Устройство понижающего микширования из примера 12,

в котором модуль (300) преобразования выполнен с возможностью выполнения в качестве постобработки (320) низкочастотной постфильтрации, обработки TCX-LTP (долгосрочное предсказание с возбуждением посредством кода с преобразованием) или синтеза LPC (кодирование с линейным предсказанием) по отдельности для каждого временного представления.

14. Устройство понижающего микширования из одного из предыдущих примеров,

в котором первое представление в спектральной области первого канала по меньшей мере из двух каналов имеет первое временное или частотное разрешение,

в котором второе представление в спектральной области второго канала по меньшей мере из двух каналов имеет второе временное или частотное разрешение, причем второе временное или частотное разрешение отличаются от первого временного или частотного разрешения, и

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам таким образом, чтобы частотное разрешение частотных полос, ассоциированных с весовыми значениями по частотным полосам, было ниже, чем первое частотное разрешение и второе частотное разрешение, или было равно более низкому разрешению из первого и второго частотных разрешений.

15. Устройство понижающего микширования из одного из предыдущих примеров,

в котором первое представление в спектральной области имеет первое множество спектральных значений в частотной полосе,

в котором второе представление в спектральной области имеет второе множество спектральных значений в частотной полосе, причём второе множество больше, чем первое множество, и

в котором модуль (100) оценки весовых значений выполнен с возможностью

объединения двух или более спектральных значений из второго множества спектральных значений или выбора из второго множества спектральных значений поднабора спектральных значений,

вычисления микшированной составляющей, зависящей от произведений или линейных комбинаций спектральных значений по меньшей мере из двух каналов в частотной полосе, с использованием результата объединения двух или более спектральных значений или с использованием поднабора спектральных значений, и

вычисления весовых значений по частотным полосам с использованием микшированной составляющей.

16. Устройство понижающего микширования в соответствии с одним из предыдущих примеров,

котором первое представление в спектральной области содержит множество первых спектральных значений, представляющих первый размер временного элемента разрешения и первый размер частотного элемента разрешения,

в котором второе представление в спектральной области содержит множество спектральных значений, представляющих второй размер временного элемента разрешения и второй размер частотного элемента разрешения,

в котором первый размер временного элемента разрешения больше, чем второй размер временного элемента разрешения, или в котором первый размер частотного элемента разрешения меньше, чем второй размер частотного элемента разрешения,

в котором модуль (100) оценки весовых значений выполнен с возможностью объединения множества спектральных значений из первого представления в спектральной области, чтобы получить первое объединенное представление в спектральной области, причем размер объединенного частотного элемента разрешения равен размеру второго частотного элемента разрешения, или объединения множества спектральных значений от второго представления в спектральной области, чтобы получить первое объединенное представление в спектральной области, причем размер объединенного временного элемента разрешения равен размеру первого временного элемента разрешения.

17. Устройство понижающего микширования из примера 16,

в котором модуль (100) оценки весовых значений выполнен с возможностью использования первого объединенного спектрального представления или второго объединенного представления в спектральной области для вычисления весовых значений по частотным полосам для первого канала и второго канала по меньшей мере из двух каналов, вычисление содержит вычисление микшированной составляющей в частотных полосах и вычисление энергий в частотных полосах, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью применения весовых значений по частотным полосам для первого канала по меньшей мере из двух каналов к спектральным значениям первого представления в спектральной области в соответствующих частотных полосах и применения весовых значений по частотным полосам для второго канала по меньшей мере из двух каналов к спектральным значениям второго представления в спектральной области в соответствующих частотных полосах.

18. Устройство понижающего микширования в соответствии с одним из примеров 1-15,

в котором первое представление в спектральной области первого канала содержит множество первых спектральных значений, представляющих первый размер временного элемента разрешения и первый размер частотного элемента разрешения,

в котором второе представление в спектральной области второго канала содержит по меньшей мере два субкадра, причем каждый субкадр содержит множество спектральных значений, представляющих второй размер временного элемента разрешения и второй размер частотного элемента разрешения,

в котором первый размер временного элемента разрешения больше, чем второй размер временного элемента разрешения, или в котором первый размер частотного элемента разрешения меньше, чем второй размер частотного элемента разрешения,

в котором модуль (100) оценки весовых значений выполнен с возможностью

объединения спектральных значений, принадлежащих одному и тому же частотному элементу разрешения из каждого субкадра второго представления в спектральной области первым методом, чтобы получить первую группу объединенных спектральных значений, и

объединения спектральных значений, принадлежащих одному и тому же частотному элементу разрешения из каждого субкадра второго представления в спектральной области вторым методом, чтобы получить вторую группу объединенных спектральных значений, причём второй метод отличается от первого метода,

причем первая группа объединенных спектральных значений и вторая группа объединенных спектральных значений представляют объединенное представление в спектральной области, имеющее первый размер временного элемента разрешения и первый размер частотного элемента разрешения, и

использования спектральных значений объединенного представления в спектральной области и первого представления в спектральной области для вычисления весовых значений по частотным полосам.

19. Устройство понижающего микширования в соответствии с примером 18,

в котором модуль (100) оценки весовых значений выполнен с возможностью выполнения одного из сложения и вычитания в первом методе и другого из сложения и вычитания во втором методе.

20. Устройство понижающего микширования в соответствии с примером 18 или 19, в котором модуль (100) оценки весовых значений выполнен с возможностью выполнения функции усреднения в первом методе и втором методе.

21. Устройство понижающего микширования в соответствии с одним из примеров 18-20, в котором модуль (100) оценки весовых значений выполнен с возможностью применения либо первого метода, либо второго метода, содержащего взвешивание с использованием знака взвешивания, причем модуль (100) оценки весовых значений выполнен с возможностью установления знака взвешивания в соответствии с номером частотного элемента разрешения одного и того же частотного элемента разрешения.

21. Устройство понижающего микширования в соответствии с одним из примеров 18-21, в котором модуль (100) оценки весовых значений выполнен с возможностью применения в качестве первого метода одного из высокочастотной фильтрации и низкочастотной фильтрации и в качестве второго метода другого из высокочастотной фильтрации и низкочастотной фильтрации.

22. Устройство понижающего микширования в соответствии с одним из примеров 18-22, в котором модуль (100) оценки весовых значений выполнен с возможностью преобразования элемента разрешения с более низким разрешением в два элемента разрешения с более высоким разрешением, причем первый метод используется для четного номера элемента разрешения первого элемента разрешения с более высоким разрешением из двух элементов разрешения с более высоким разрешением, и второй метод используется для нечетного номера элемента разрешения второго элемента разрешения с более высоким разрешением из двух элементов разрешения с более высоким разрешением.

23. Устройство понижающего микширования в соответствии с одним из примеров 18-22,

в котором первое представление в спектральной области первого канала содержит кадр TCX20, второе представление в спектральной области второго канала содержит два субкадра TCX10, причем модуль (100) оценки весовых значений выполнен с возможностью вычисления объединенного представления в спектральной области TCX20 на основе двух субкадров TCX10, или

в котором первое представление в спектральной области первого канала содержит кадр TCX20, второе представление в спектральной области второго канала содержит субкадр TCX10 и два субкадра TCX5, причем модуль (100) оценки весовых значений выполнен с возможностью вычисления первого объединенного представления в спектральной области TCX10 на основе двух субкадров TCX5 и вычисления второго объединенного субкадра TCX20 на основе первого объединенного представления в спектральной области TCX10 и субкадра TCX10, или

в котором первое представление в спектральной области первого канала содержит субкадр TCX10, второе представление в спектральной области второго канала содержит два субкадра TCX5, причем модуль (100) оценки весовых значений выполнен с возможностью вычисления объединенного представления в спектральной области TCX10 на основе двух субкадров TCX5,

причем выражение TCX20 указывает первый участок с первой длительностью, выражение TCX10 указывает второй участок со второй длительностью, выражение TCX5 указывает третий участок с третьей длительностью, причем первая длительность больше, чем вторая длительность или третья длительность, вторая длительность меньше, чем первая длительность, или больше, чем вторая длительность, и третья длительность меньше, чем первая длительность, или меньше, чем вторая длительность.

24. Устройство понижающего микширования в соответствии с одним из примеров 18-23, в котором модуль (100) оценки весовых значений выполнен с возможностью применения первого метода на основе следующего уравнения:

, или

в котором модуль (100) оценки весовых значений выполнен с возможностью применения второго метода на основе следующего уравнения:

,

где определяет номер спектрального элемента разрешения, и определяют субкадры второго представления в спектральной области второго канала, и

где и указывают спектральные значения объединенного представления в спектральной области, и и указывают спектральные значения из второго субкадра k₁ и первого субкадра k₀ соответственно.

25. Устройство понижающего микширования в соответствии с примером 1,

в котором первое представление в спектральной области первого канала по меньшей мере из двух каналов имеет первое временное разрешение или первое частотное разрешение, второе представление в спектральной области второго канала по меньшей мере из двух каналов имеет второе временное разрешение или второе частотное разрешение, причем второе временное разрешение отличается от первого временного разрешения, или второе частотное разрешение отличается от первого частотного разрешения, и

в котором модуль (100) оценки весовых значений выполнен с возможностью преобразования (132) первого представления в спектральной области в объединенное представление в спектральной области, имеющее второе временное разрешение или второе частотное разрешение, и вычисления весовых значений по частотным полосам с использованием объединенного представления в спектральной области и второго представления в спектральной области или преобразования второго представления в спектральной области в объединенное представление в спектральной области, имеющее первое временное разрешение или первое частотное разрешение, и вычисления весовых значений по частотным полосам с использованием объединенного представления в спектральной области и первого представления в спектральной области, или

в котором первое представление в спектральной области первого канала по меньшей мере из двух каналов имеет первое временное разрешение или первое частотное разрешение, второе представление в спектральной области второго канала по меньшей мере из двух каналов имеет второе временное разрешение или второе частотное разрешение, причем второе временное разрешение отличается от первого временного разрешения, или второе частотное разрешение отличается от первого частотного разрешения, и

в котором модуль (100) оценки весовых значений выполнен с возможностью

преобразования (132) первого представления в спектральной области в первое объединенное представление в спектральной области, имеющее третье временное разрешение или третье частотное разрешение,

причем третье временное разрешение отличается от первого временного разрешения или второго временного разрешения, и третье частотное разрешение отличается от первого частотного разрешения или второго частотного разрешения,

преобразовывать (132) второе представление в спектральной области во второе объединенное представление в спектральной области, имеющее третье временное разрешение или третье частотное разрешение, и

вычислять (134) весовые значения по частотным полосам с использованием первого объединенного представления в спектральной области и второго объединенного представления в спектральной области.

26. Устройство понижающего микширования в соответствии с примером 25,

в котором второй канал содержит для определенного временного участка (TCX20) второе представление в спектральной области,

в котором первый канал содержит для определенного временного участка (2xTCX10) два или более из первых представлений в спектральной области,

в котором модуль (100) оценки весовых значений выполнен с возможностью преобразования двух или более первых представлений в спектральной области в объединенное представление в спектральной области, имеющее такое же временное и частотное разрешение, как второе представление в спектральной области, и вычисления весовых значений по частотным полосам с использованием объединенного представления в спектральной области и второго представления в спектральной области, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью взвешивания второго представления в спектральной области с использованием весовых значений по частотным полосам и взвешивания каждого первого представления в спектральной области из двух или более первых представлений в спектральной области с использованием одинаковых весовых значений по частотным полосам.

27. Устройство понижающего микширования в соответствии с примером 26,

в котором модуль (100) оценки весовых значений выполнен с возможностью сложения спектральных значений для одной и той же частоты двух или более первых представлений в спектральной области, чтобы получить первое спектральное значение объединенного представления в спектральной области, и вычитания спектральных значений для одной и той же частоты двух или более первых представлений в спектральной области, чтобы получить второе спектральное значение объединенного представления в спектральной области, которое является более высоким и смежным по частоте по отношению к первому спектральному значению объединенного представления в спектральной области, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью взвешивания частотной полосы, имеющей одинаковые частоты в каждом первом представлении в спектральной области из двух или более первых представлений в спектральной области, с использованием одинакового весового значения по частотным полосам.

28. Устройство понижающего микширования в соответствии с примером 25,

в котором второй канал содержит для определенного временного участка (TCX20) второе представление в спектральной области,

в котором первый канал содержит для определенного временного участка (2xTCX10) два или более первых представления в спектральной области,

в котором модуль (100) оценки весовых значений выполнен с возможностью

преобразования второго представления в спектральной области в два или более объединенных представления в спектральной области, имеющие такое же временное и частотное разрешение, как два или более первых представления в спектральной области,

вычисления первых весовых значений по частотным полосам с использованием первого объединенного представления в спектральной области из двух или более объединенных представлений в спектральной области и первого первого представления в спектральной области из двух или более первых представлений в спектральной области,

вычисления вторых весовых значений по частотным полосам с использованием второго объединенного представления в спектральной области из двух или более объединенных представлений в спектральной области и второго первого представления в спектральной области из двух или более первых представлений в спектральной области, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью

взвешивания второго представления в спектральной области с использованием выведенного весового значения по частотным полосам, выведенного (136) из первых и вторых весовых значений по частотным полосам,

взвешивания первого представления в спектральной области из двух или более первых представлений в спектральной области с использованием первых весовых значений по частотным полосам и

взвешивать второе первое представление в спектральной области из двух или более первых представлений в спектральной области с использованием вторых весовых значений по частотным полосам.

29. Устройство понижающего микширования в соответствии с примером 28,

в котором модуль (100) оценки весовых значений выполнен с возможностью сложения спектральных значений для пар частот второго представления в спектральной области, чтобы получить сложенное спектральное значение, и копирования к сложенному спектральному значению для получения объединенного спектрального значения для каждого из двух или более объединенных представлений в спектральной области, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью объединения (136) весового значения для определенной частотной полосы первых весовых значений по частотным полосам с весовым значением для определенной частотной полосы вторых весовых значений по частотным полосам, чтобы получить выведенное весовое значение для определенной частотной полосы из выведенных весовых значений по частотным полосам.

30. Устройство понижающего микширования в соответствии с примером 25,

в котором второй канал содержит для определенного временного участка (TCX20) второе представление в спектральной области,

в котором первый канал содержит для определенного временного участка (2xTCX10) два или более первых представления в спектральной области,

в котором модуль (100) оценки весовых значений выполнен с возможностью

преобразования второго представления в спектральной области в два или более объединенных представления в спектральной области, имеющие такое же временное разрешение, как два или более первых представления в спектральной области, и имеющие такое же частотное разрешение, как второе представление в спектральной области,

вычисления первых весовых значений по частотным полосам с использованием первого объединенного представления в спектральной области из двух или более объединенных представлений в спектральной области и первого представления в спектральной области из двух или более первых представлений в спектральной области,

вычисления вторых весовых значений по частотным полосам с использованием второго объединенного представления в спектральной области из двух или более объединенных представлений в спектральной области и второго первого представления в спектральной области из двух или более первых представлений в спектральной области, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью

взвешивания второго представления в спектральной области с использованием весовых значений по частотным полосам, выведенных (136) из первых и вторых весовых значений по частотным полосам,

взвешивания первого первого представления в спектральной области из двух или более первых представлений в спектральной области с использованием первых весовых значений по частотным полосам , и

взвешивания второго первого представления в спектральной области из двух или более первых представлений в спектральной области с использованием вторых весовых значений по частотным полосам.

31. Устройство понижающего микширования в соответствии с примером 30,

в котором модуль (100) оценки весовых значений выполнен с возможностью повышающей дискретизации одного или более спектральных значений, чтобы получить дискретизированные с повышением спектральные значения для смежных частот второго представления в спектральной области и для копирования к дискретизированным с повышением спектральным значениям, чтобы получить объединенные спектральные значения для каждого из двух или более объединенных представлений в спектральной области, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью объединения (136) весового значения для определенной частотной полосы первых весовых значений по частотным полосам с весовым значением для определенной частотной полосы вторых весовых значений по частотным полосам, чтобы получить выведенное весовое значение для определенной частотной полосы из выведенных весовых значений по частотным полосам.

32. Устройство понижающего микширования в соответствии с примером 25,

в котором второй канал содержит для определенного временного участка (TCX20) второе представление в спектральной области,

в котором первый канал содержит для определенного временного участка (2xTCX10) два или более из первых представлений в спектральной области,

в котором модуль (100) оценки весовых значений выполнен с возможностью

преобразования двух или более первых представлений в спектральной области в первое объединенное представление в спектральной области, имеющее такое же временное разрешение, как второе представление в спектральной области,

преобразования вторых представлений в спектральной области во второе объединенное представление в спектральной области, имеющее такое же частотное разрешение, как два или более первых представления в спектральной области, и

вычисления весовых значений по частотным полосам с использованием первого объединенного представления в спектральной области и второго объединенного представления в спектральной области, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью взвешивания второго представления в спектральной области с использованием весовых значений по частотным полосам и взвешивания каждого первого представления в спектральной области из двух или более первых представлений в спектральной области с использованием одинаковых весовых значений по частотным полосам.

33. Устройство понижающего микширования в соответствии с примером 32,

в котором модуль (100) оценки весовых значений выполнен с возможностью сложения спектральных значений для пар частот второго представления в спектральной области, чтобы получить второе объединенное представление в спектральной области, и сложения спектральных значений одинаковой частоты из двух или более из первых представлений в спектральной области, чтобы получить первое объединенное представление в спектральной области, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью взвешивания частотной полосы, имеющей одинаковые частоты в каждом первом представлении в спектральной области из двух или более первых представлений в спектральной области, с использованием одинакового весового значения по частотным полосам.

34. Устройство понижающего микширования в соответствии с одним из предыдущих примеров,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления множества первых весовых значений по частотным полосам для множества частотных полос первого канала по меньшей мере из двух каналов с использованием первого правила вычисления в зависимости по меньшей мере от двух из спектральных значений первого представления в спектральной области первого канала, спектральных значений второго представления в спектральной области второго канала, спектральных значений одного объединенного представления в спектральной области, выведенного из спектральных значений первого представления в спектральной области или второго представления в спектральной области, спектральных значений первого объединенного представления в спектральной области, выведенного из спектральных значений первого представления в спектральной области, и спектральных значений второго объединенного представления в спектральной области, выведенного из спектральных значений второго представления в спектральной области, и

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления множества вторых весовых значений по частотным полосам для множества частотных полос первого канала по меньшей мере из двух каналов с использованием второго правила вычисления в зависимости по меньшей мере от двух из множества первых весовых значений по частотным полосам, спектральных значений первого представления в спектральной области первого канала, спектральных значений второго представления в спектральной области второго канала, спектральных значений одного объединенного представления в спектральной области, выведенного из спектральных значений первого представления в спектральной области или второго представления в спектральной области, спектральных значений первого объединенного представления в спектральной области, выведенного из спектральных значений первого представления в спектральной области, и спектральных значений второго объединенного представления в спектральной области, выведенного из спектральных значений второго представления в спектральной области, причем второе правило вычисления отличается от первого правила вычисления.

35. Устройство для преобразования спектрального разрешения представления в спектральной области канала, содержащего по меньшей мере два субкадра, причем каждый субкадр содержит множество спектральных значений, представляющих размер временного элемента разрешения и размер частотного элемента разрешения, причём устройство содержит:

модуль (160) вычисления спектральных значений для объединения (170) спектральных значений, принадлежащих одному и тому же частотному элементу разрешения, из каждого субкадра представления в спектральной области первым методом, чтобы получить первую группу объединенных спектральных значений, и для объединения (180) спектральных значений, принадлежащих одному и тому же частотному элементу разрешения, из каждого субкадра представления в спектральной области вторым методом, чтобы получить вторую группу объединенных спектральных значений, второй метод отличается от первого метода, причем первая группа объединенных спектральных значений и вторая группа объединенных спектральных значений, представляют объединенное представление в спектральной области, имеющее другой размер временного элемента разрешения и другой размер частотного элемента разрешения.

36. Устройство в соответствии с примером 35,

в котором модуль (160) вычисления спектральных значений выполнен с возможностью выполнения одного из сложения и вычитания в первом методе и другого из сложения и вычитания во втором методе.

37. Устройство в соответствии с примером 35 или 36, в котором модуль (160) вычисления спектральных значений выполнен с возможностью выполнения функции усреднения в первом методе и во втором методе.

38. Устройство в соответствии с одним из примеров 35-37, в котором модуль (160) вычисления спектральных значений выполнен с возможностью применения либо первого метода, либо второго метода, содержащего взвешивание с использованием знака взвешивания, причем модуль (160) вычисления спектральных значений выполнен с возможностью установления знака взвешивания в соответствии с номером частотного элемента разрешения одного и того же частотного элемента разрешения.

39. Устройство в соответствии с одним из примеров 35-38, в котором модуль (160) вычисления спектральных значений выполнен с возможностью применения в качестве первого метода одного из высокочастотной фильтрации и низкочастотной фильтрации, и в качестве второго метода другого из высокочастотной фильтрации и низкочастотной фильтрации.

40. Устройство в соответствии с одним из примеров 35-39, в котором модуль (160) вычисления спектральных значений выполнен с возможностью преобразования элемента разрешения с низким разрешением в два элемента разрешения с более высоким разрешением, причем первый метод используется для четного номера элемента разрешения, и второй метод используется для нечетного номера элемента разрешения.

41. Устройство в соответствии с одним из примеров 35-40,

в котором первое представление в спектральной области первого канала содержит кадр TCX20, представление в спектральной области канала содержит два субкадра TCX10, причем модуль вычисления спектральных значений выполнен с возможностью вычисления объединенного представления в спектральной области TCX20 на основе двух субкадров TCX10, или

в котором первое представление в спектральной области первого канала содержит кадр TCX20, представление в спектральной области канала содержит субкадр TCX10 и два субкадра TCX5, причем модуль (160) вычисления спектральных значений выполнен с возможностью вычисления первого объединенного представления в спектральной области TCX10 на основе двух субкадров TCX5 и вычисления второго объединенного субкадра TCX20 на основе первого объединенного представления в спектральной области TCX10 и субкадра TCX10, или

в котором первое представление в спектральной области первого канала содержит субкадр TCX10, представление в спектральной области канала содержит два субкадра TCX5, причем модуль (160) вычисления спектральных значений выполнен с возможностью вычисления объединенного представления в спектральной области TCX10 на основе двух субкадров TCX5,

причем выражение TCX20 указывает первый участок с первой длительностью, выражение TCX10 указывает второй участок со второй длительностью, выражение TCX5 указывает третий участок с третьей длительностью, причем первая длительность больше, чем вторая длительность или третья длительность, вторая длительность меньше, чем первая длительность, или больше, чем вторая длительность, и третья длительность меньше, чем первая длительность, или меньше, чем вторая длительность.

42. Устройство в соответствии с одним из примеров 35-41, в котором модуль (160) вычисления спектральных значений выполнен с возможностью применения первого метода на основе следующего уравнения:

, или

в котором модуль вычисления спектральных значений выполнен с возможностью применения второго метода на основе следующего уравнения:

,

где определяет номер спектрального элемента разрешения, и и субкадры представления в спектральной области канала, и

где и указывают спектральные значения объединенного представления в спектральной области, и и указывают спектральные значения из второго субкадра k₁ и первого субкадра k₀ соответственно.

43. Устройство в соответствии с одним из примеров 35-42, дополнительно содержащие модуль (500, 190, 220) вычисления сигналов для использования объединенного представления в спектральной области, имеющего другой размер временного элемента разрешения и другой размер частотного элемента разрешения, при вычислении кодированного, декодированного или обработанного аудиосигнала.

44. Устройство в соответствии с любым из примеров 35-43, в котором модуль (160) вычисления спектральных значений выполнен с возможностью приёма представления в спектральной области с первым спектральным разрешением и формирования преобразованного представления в спектральной области со вторым спектральным разрешением, отличающимся от первого спектрального разрешения,

причем устройство дополнительно содержит:

первый спектральный процессор (500) для обработки преобразованного представления в спектральной области, чтобы получить обработанное представление в спектральной области со вторым разрешением, или

модуль (190) вычисления данных обработки для вычисления данных обработки на основе преобразованного представления в спектральной области и второй спектральный процессор (220) для обработки представления в спектральной области, чтобы получить обработанное представление в спектральной области с первым разрешением.

45. Устройство в соответствии с примером 44, в котором первый спектральный процессор (500) выполнен с возможностью использовать при обработке дополнительное представление в спектральной области, имеющее второе спектральное разрешение, или

в котором второй спектральный процессор (220) выполнен с возможностью использования при обработке дополнительного представления в спектральной области, имеющего первое спектральное разрешение.

46. Устройство понижающего микширования для понижающего микширования многоканального сигнала, имеющего по меньшей мере два канала, содержащее:

модуль (100) оценки весовых значений для оценки весовых значений по частотным полосам для упомянутых по меньшей мере двух каналов, причем модуль (100) оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам на основе целевого значения энергии на каждую частотную полосу, чтобы энергия в частотной полосе микшированного с понижением сигнала находилась в заданном отношении к энергиям в тех же частотных полосах упомянутых по меньшей мере двух каналов;

модуль (200) спектрального взвешивания для взвешивания представлений в спектральной области по меньшей мере двух каналов c использованием весовых значений по частотным полосам; и

микшер (400) для вычисления микшированного с понижением сигнала с использованием взвешенных представлений в спектральной области по меньшей мере двух каналов.

47. Устройство понижающего микширования из примера 46,

в котором представления в спектральной области являются либо полностью действительными, либо полностью мнимыми,

в котором модуль (100) оценки весовых значений выполнен с возможностью оценки (140) мнимого представления в спектральной области, когда представление в спектральной области является полностью действительным, или оценки (140) действительного представления в спектральной области, когда представление в спектральной области является полностью мнимым, и

в котором модуль (100) оценки весовых значений выполнен с возможностью оценки весовых значений по частотным полосам с использованием оцененного мнимого представления в спектральной области или оцененного действительного представления в спектральной области.

48. Устройство понижающего микширования из одного из примеров 46 или 47, в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления первого весового значения для частотной полосы первого канала по меньшей мере из двух каналов, вычислять второе весовое значение для частотной полосы второго канала по меньшей мере из двух каналов и вычислять первое весовое значение и второе весовое значение с использованием (142) энергии первого канала в частотной полосе, энергии второго канала в частотной полосе и микшированной составляющей, зависящей от произведения (148) или линейной комбинации (146) спектральных значений по меньшей мере из двух каналов в частотной полосе.

49. Устройство понижающего микширования из одного из примеров 46-48,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления в качестве микшированной составляющей, представляющей линейную комбинацию (146), квадратного корня энергии спектральных значений, сложенных друг с другом, в частотной полосе из представлений в спектральной области по меньшей мере двух каналов, причем частотная полоса содержит множество спектральных значений, или вычислять в качестве микшированной составляющей, представляющей произведение (148), абсолютное значение комплексного скалярного произведения между спектральными значениями в частотной полосе первого канала и спектральными значениями в частотной полосе второго канала по меньшей мере из двух каналов.

50. Устройство понижающего микширования одного из примеров 46-49,

в котором каждая частотная полоса первого и второго канала по меньшей мере из двух каналов имеет множество спектральных значений, причем модуль (200) спектрального взвешивания выполнен с возможностью применения одинакового весового коэффициента к каждому спектральному значению в частотной полосе одного по меньшей мере из двух каналов и применения другого весового коэффициента к каждому спектральному значению в частотной полосе другого канала по меньшей мере из двух каналов.

51. Устройство понижающего микширования из одного из примеров 46-50, в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления (150) весовых значений по частотным полосам для первого канала по меньшей мере из двух каналов на основе следующего уравнения:

где w_R - весовой коэффициент для первого канала для частотной полосы, - оцененная мощность для второго канала, - оцененная мощность для первого канала в частотной полосе, - оцененное скалярное произведение между каналами в частотной полосе, - оцененная амплитуда для второго канала в частотной полосе, - оцененная амплитуда для первого канала в частотной полосе.

52. Устройство понижающего микширования из примера 51, в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления (152) весовых значений по частотным полосам для второго канала по меньшей мере из двух каналов на основе следующего уравнения:

где w_L - весовой коэффициент для второго канала для частотной полосы, - оцененная линейная комбинация оцененных амплитуд для первого канала и второго канала в частотной полосе.

53. Устройство понижающего микширования из одного из примеров 50-52, в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления (144) оцененной амплитуды для второго канала в частотной полосе и вычисления оцененной амплитуды для первого канала в частотной полосе на основе следующих уравнений:

, или

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления (146) оцененной линейной комбинации оцененных амплитуд для первого канала и второго канала в частотной полосе на основе следующего уравнения:

, или

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления (148) оцененного скалярного произведения между каналами в частотной полосе на основе следующего уравнения:

, или

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления (142) оцененной мощности для второго канала в частотной полосе или оцененной мощности для первого канала в частотной полосе на основе следующего уравнения:

где определяет номер элемента разрешения в спектральной полосе , и представляет оцененную мнимую часть элемента разрешения i преобразования MDCT, представляет действительную часть элемента разрешения i преобразования MDCT, включенную в представление в спектральной области первого или второй канала, r представляет первый канал, и l представляет второй канал.

54. Устройство понижающего микширования из одного из примеров 46-53,

в котором первое представление в спектральной области первого канала по меньшей мере из двух каналов имеет первое временное разрешение или первое частотное разрешение, второе представление в спектральной области второго канала по меньшей мере из двух каналов имеет второе временное разрешение или второе частотное разрешение, второе временное разрешение отличается от первого временного разрешения, и второе частотное разрешение отличается от первого частотного разрешения (130), и

в котором модуль (100) оценки весовых значений выполнен с возможностью преобразования (132) первого представления в спектральной области в объединенное представление в спектральной области, имеющее второе временное разрешение или второе частотное разрешение, и вычисления (134) весовых значений по частотным полосам с использованием объединенного представления в спектральной области и второго представления в спектральной области, или преобразования (132) второго представления в спектральной области в объединенное представление в спектральной области, имеющее первое временное разрешение или первое частотное разрешение, и вычисления (134) весовых значений по частотным полосам с использованием объединенного представления в спектральной области и первого представления в спектральной области, или

в котором первое представление в спектральной области первого канала по меньшей мере из двух каналов имеет первое временное разрешение или первое частотное разрешение, второе представление в спектральной области второго канала по меньшей мере из двух каналов имеет второе временное разрешение или второе частотное разрешение, второе временное разрешение отличается от первого временного разрешения, и второе частотное разрешение отличается от первого частотного разрешения (130), и

в котором модуль (100) оценки весовых значений выполнен с возможностью

преобразования (132) первого представления в спектральной области в первое объединенное представление в спектральной области, имеющее третье временное разрешение или третье частотное разрешение,

причем третье временное разрешение отличается от первого временного разрешения или второго временного разрешения, и третье частотное разрешение отличается от первого частотного разрешения или второго частотного разрешения,

преобразования (132) второго представления в спектральной области во второе объединенное представление в спектральной области, имеющее третье временное разрешение или третье частотное разрешение, и

вычисления (134) весовых значений по частотным полосам с использованием первого объединенного представления в спектральной области и второго объединенного представления в спектральной области.

55. Устройство понижающего микширования из примера 54, в котором модуль (200) спектрального взвешивания выполнен с возможностью взвешивания в качестве представления в спектральной области по меньшей мере двух каналов одного из объединенного представления в спектральной области и второго представления в спектральной области, объединенного представления в спектральной области и первого представления в спектральной области, и первого объединенного представления в спектральной области и второго объединенного представления в спектральной области, чтобы получить первое взвешенное представление в спектральной области и второе взвешенное представление в спектральной области.

56. Устройство понижающего микширования из примера 55, в котором микшер (400) выполнен с возможностью сложения первого и второго взвешенных представлений в спектральной области, чтобы получить представление понижающего микширования в спектральной области, и преобразования представления понижающего микширования в спектральной области во временную область, чтобы получить микшированный с понижением сигнал, или преобразования первого и второго взвешенных представлений в спектральной области во временную область, чтобы получить временные представления по меньшей мере двух каналов, и сложения временных представлений по меньшей мере двух каналов, чтобы получить микшированный с понижением сигнал.

57. Способ понижающего микширования многоканального сигнала, имеющего по меньшей мере два канала, причём способ содержит:

оценку весовых значений по частотным полосам по меньшей мере для двух каналов;

взвешивание представлений в спектральной области по меньшей мере двух каналов с использованием весовых значений по частотным полосам;

преобразование взвешенных представлений в спектральной области по меньшей мере двух каналов во временные представления по меньшей мере двух каналов; и

микширование временных представлений по меньшей мере двух каналов, чтобы получить микшированный с понижением сигнал.

58. Способ преобразования спектрального разрешения представления в спектральной области канала, содержащего по меньшей мере два субкадра, причем каждый субкадр содержит множество спектральных значений, представляющих размер временного элемента разрешения и размер частотного элемента разрешения, причём способ содержит:

объединение спектральных значений, принадлежащих одному и тому же частотному элементу разрешения, из каждого субкадра представления в спектральной области первым методом, чтобы получить первую группу объединенных спектральных значений; и

объединение спектральных значений, принадлежащих одному и тому же частотному элементу разрешения, из каждого субкадра представления в спектральной области вторым методом, чтобы получить вторую группу объединенных спектральных значений, второй метод отличается от первого метода, причем первая группа объединенных спектральных значений и вторая группа объединенных спектральных значений, представляют объединенное представление в спектральной области, имеющее другой размер временного элемента разрешения и другой размер частотного элемента разрешения.

59. Способ понижающего микширования многоканального сигнала, имеющего по меньшей мере два канала, причём способ содержит:

оценку весовых значений по частотным полосам для упомянутых по меньшей мере двух каналов, что содержит вычисление весовых значений по частотным полосам на основе целевого значения энергии для каждой частотной полосы таким образом, чтобы энергия в частотной полосе микшированного с понижением сигнала находилась в заданном отношении к энергиям в тех же частотных полосах упомянутых по меньшей мере двух каналов;

взвешивание представлений в спектральной области по меньшей мере двух каналов с использованием весовых значений по частотным полосам, чтобы получить взвешенные представления в спектральной области; и

вычисление микшированного с понижением сигнала с использованием взвешенных представлений в спектральной области по меньшей мере двух каналов.

60. Компьютерная программа для выполнения способа из примера 57, 58 или 59 при ее выполнении на компьютере или процессоре.

Следует упомянуть, что все описанные выше альтернативы или аспекты и все аспекты, определенные независимыми пунктами в нижеследующей формуле изобретения, могут использоваться по отдельности, т.е. без какой-либо другой альтернативы или объекта, кроме рассматриваемой альтернативы, объекта или независимого пункта формулы изобретения. Однако в других вариантах осуществления две или более альтернативы, или два или более аспекта или независимых пункта формулы изобретения могут быть объединены друг с другом, и в других вариантах осуществления все аспекты или альтернативы и все независимые пункты формулы изобретения могут быть объединены друг с другом.

Кодированный с помощью настоящего изобретения аудиосигнал может быть сохранен на цифровом носителе информации или носителе информации долговременного хранения, или может быть передан по передающему носителю, такому как беспроводной передающий носитель или проводной передающий носитель, такой как интернет.

Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют собой описание соответствующего способа, в котором модуль или устройство соответствуют этапу способа или признаку этапа способа. Аналогичным образом, аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего модуля, элемента или признака соответствующего устройства.

В зависимости от некоторых требований реализации варианты осуществления изобретения могут быть реализованы в аппаратном или программном обеспечении. Реализация может быть выполнена с использованием цифрового запоминающего носителя, например, дискеты, цифрового универсального диска (DVD), диска Blu-Ray, компакт-диска (CD), постоянного запоминающего устройства (ROM), программируемого постоянного запоминающего устройства (PROM), стираемого программируемого постоянного запоминающего устройства (EPROM), электрически стираемого программируемого постоянного запоминающего устройства (EEPROM) и флэш-памяти, имеющего сохраненные на нем электронно считываемые сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой, в результате чего выполняется соответствующий способ.

Некоторые варианты осуществления в соответствии с изобретением содержат носитель данных, имеющий электронно считываемые управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой, в результате чего выполняется один из способов, описанных в настоящем документе.

Обычно варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, причем программный код выполняет один из способов, когда компьютерный программный продукт исполняется на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных в настоящем документе способов, сохраненную на машиночитаемом носителе или носителе информации долговременного хранения.

Другими словами, вариант осуществления способа по изобретению, таким образом, представляет собой компьютерную программу, имеющую программный код для выполнения одного из описанных здесь способов, когда компьютерная программа выполняется компьютером.

Дополнительным вариантом осуществления способов изобретения, таким образом, является носитель данных (или цифровой запоминающий носитель, или машиночитаемый носитель), содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем документе.

Дополнительным вариантом осуществления способа настоящего изобретения, таким образом, являются поток данных или последовательность сигналов, представляющие компьютерную программу для выполнения одного из способов, описанных в настоящем документе. Поток данных или последовательность сигналов, например, могут быть выполнены с возможностью переноса через соединение передачи данных, например, через интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью или адаптированное для выполнения одного из способов, описанных в настоящем документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем документе.

В некоторых вариантах осуществления для выполнения некоторой или всей функциональности способов, описанных в настоящем документе, может использоваться программируемое логическое устройство (например, программируемая пользователем вентильная матрица). В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для выполнения одного из способов, описанных в настоящем документе. Обычно способы предпочтительно выполняются любым аппаратным устройством.

Описанные выше варианты осуществления являются лишь в качестве иллюстрации принципов настоящего изобретения. Подразумевается, что модификации и вариации размещений и подробностей, описанных в настоящем документе, будут очевидны другим специалистам в данной области техники. Таким образом, подразумевается, что изобретение ограничено только объемом нижеследующей формулы изобретения, а не конкретными подробностями, представленными в качестве описания и пояснения изложенных в настоящем документе вариантов осуществления.

Литература

[1] ITU-R BS.775-2, Multichannel Stereophonic Sound System With And Without Accompanying Picture, 07/2006.

[2] F. Baumgarte, C. Faller und P. Kroon, „Audio Coder Enhancement using Scalable Binaural Cue Coding with Equalized Mixing,“ in 116th Convention of the AES, Berlin, 2004.

[3] G. Stoll, J. Groh, M. Link, J. Deigmöller, B. Runow, M. Keil, R. Stoll, M. Stoll and C. Stoll, „Method for Generating a Downward-Compatible Sound Format“. USA Patent US 2012/0 014 526, 2012.

[4] M. Kim, E. Oh and H. Shim, „Stereo audio coding improved by phase parameters“ in 129th Convention of the AES, San Francisco, 2010.

[5] A. Adami, E. Habets and J. Herre, „Down-mixing using coherence suppression,“ in IEEE International Conference on Acoustics, Speech and Signal Processing, Florence, 2014.

[6] ISO/IEC 23008-3:, Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio, 2019.

[7] S. Bayer, C. Borß, J. Büthe, S. Disch, B. Edler, G. Fuchs, F. Ghido and M. Multrus, „DOWNMIXER AND METHOD FOR DOWNMIXING AT LEAST TWO CHANNELS AND MULTICHANNEL ENCODER AND MULTICHANNEL DECODER“. WO2018086946.

[8] 3GPP TS 26.445, Codec for Enhanced Voice Services (EVS); Detailed algorithmic description.

[9] S. Chen, H. Ruimin and S. Zhang, „Estimating spatial cues for audio coding in MDCT domain“ in IEEE International Conference on Multimedia and Expo, New York, 2009.

Изобретение относится к области вычислительной техники для обработки аудиосигналов. Технический результат заключается в снижении задержки при обеспечении понижающего микширования к многоканальному аудиосигналу. Технический результат достигается за счет оценки весовых значений по частотным полосам для двух каналов, вычисления весовых значений по частотным полосам на основе целевого значения энергии для каждой частотной полосы таким образом, чтобы энергия в частотной полосе микшированного с понижением аудиосигнала находилась в заданном отношении к энергиям в тех же частотных полосах упомянутых по меньшей мере двух каналов; взвешивания представления в спектральной области двух каналов с использованием весовых значений по частотным полосам, чтобы получить взвешенные представления в спектральной области. 6 н. и 44 з.п. ф-лы, 14 ил.

1. Устройство понижающего микширования для понижающего микширования многоканального аудиосигнала, имеющего по меньшей мере два канала, содержащее:

модуль (100) оценки весовых значений для оценки весовых значений по частотным полосам для упомянутых по меньшей мере двух каналов;

модуль (200) спектрального взвешивания для взвешивания представлений в спектральной области по меньшей мере двух каналов c использованием весовых значений по частотным полосам;

модуль (300) преобразования для преобразования взвешенных представлений в спектральной области по меньшей мере двух каналов во временные представления по меньшей мере двух каналов; и

микшер (400) для микширования временных представлений по меньшей мере двух каналов для получения микшированного с понижением аудиосигнала.

2. Устройство понижающего микширования по п. 1, в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления множества первых весовых значений по частотным полосам для множества частотных полос первого канала из по меньшей мере двух каналов и вычисления второго множества весовых значений по частотным полосам для множества частотных полос второго канала из по меньшей мере двух каналов, или

в котором многоканальный аудиосигнал имеет больше двух каналов, и в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления множества первых весовых значений по частотным полосам для множества частотных полос первого канала из более чем двух каналов, вычисления второго множества весовых значений по частотным полосам для множества частотных полос второго канала из более чем двух каналов и вычисления дополнительного множества весовых значений по частотным полосам для множества частотных полос дополнительного канала из больше чем двух каналов.

3. Устройство понижающего микширования по п. 1 или 2,

в котором каждое из представлений в спектральной области по меньшей мере двух каналов содержит набор частотных элементов разрешения, причем спектральные значения ассоциированы с частотными элементами разрешения,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам для частотных полос, причем каждая частотная полоса содержит один, два или более частотных элемента разрешения, или

в котором количество частотных элементов разрешения на каждую частотную полосу увеличивается по мере повышения центральной частоты частотных полос.

4. Устройство понижающего микширования по любому из предшествующих пунктов,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам на основе целевого значения энергии на каждую частотную полосу таким образом, чтобы энергия в частотной полосе микшированного с понижением аудиосигнала находилась в заданном отношении к энергиям в тех же частотных полосах по меньшей мере двух каналов.

5. Устройство понижающего микширования по любому из предшествующих пунктов, дополнительно содержащее:

базовый декодер (500) для декодирования кодированного сигнала, причём кодированный сигнал имеет кодированные представления в спектральной области по меньшей мере двух исходных каналов, причем базовый декодер выполнен с возможностью формирования представлений в спектральной области из кодированных представлений в спектральной области.

6. Устройство понижающего микширования по любому из предшествующих пунктов,

в котором представления в спектральной области являются либо полностью действительными, либо полностью мнимыми,

в котором модуль (100) оценки весовых значений выполнен с возможностью оценки (120, 122) мнимого представления в спектральной области, когда представление в спектральной области является полностью действительным, или оценки действительного представления в спектральной области, когда представление в спектральной области является полностью мнимым, и

в котором модуль (100) оценки весовых значений выполнен с возможностью оценки весовых значений по частотным полосам с использованием оцененного мнимого представления в спектральной области или оцененного действительного представления в спектральной области.

7. Устройство понижающего микширования по п. 1, в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления первого весового значения из весовых значений по частотным полосам для частотной полосы первого канала из по меньшей мере двух каналов,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления второго весового значения из весовых значений по частотным полосам для частотной полосы второго канала из по меньшей мере двух каналов, и

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления первого весового значения и второго весового значения с использованием энергии первого канала в частотной полосе, энергии второго канала в частотной полосе и микшированной составляющей, зависящей от произведения или линейной комбинации спектральных значений из упомянутых по меньшей мере двух каналов в упомянутой частотной полосе.

8. Устройство понижающего микширования по п. 7,

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления в качестве микшированной составляющей, зависящей от линейной комбинации, квадратного корня энергии спектральных значений, сложенных друг с другом, в частотной полосе из представлений в спектральной области по меньшей мере двух каналов, причем частотная полоса содержит множество спектральных значений, или вычисления в качестве микшированной составляющей, зависящей от упомянутого произведения, абсолютного значения комплексного скалярного произведения между спектральными значениями в частотной полосе первого канала и спектральными значениями в частотной полосе второго канала по меньшей мере из двух каналов.

9. Устройство понижающего микширования по п. 1,

в котором каждая частотная полоса первого и второго каналов из множества из по меньшей мере двух каналов имеет множество спектральных значений, причем модуль (200) спектрального взвешивания выполнен с возможностью применения одинакового весового коэффициента к каждому спектральному значению в частотной полосе одного из по меньшей мере двух каналов и применения другого весового коэффициента к каждому спектральному значению в частотной полосе другого канала из по меньшей мере двух каналов.

10. Устройство понижающего микширования по любому из предшествующих пунктов,

в котором взвешенные представления в спектральной области являются спектрами преобразования MDCT (модифицированного дискретного косинусного преобразования), и

в котором модуль (300) преобразования выполнен с возможностью выполнения для каждого канала из множества каналов обратного преобразования MDCT с использованием операции оконной обработки синтеза и операции сложения с наложением.

11. Устройство понижающего микширования по любому из предшествующих пунктов,

в котором микшер (400) выполнен с возможностью применения сложения по каждой выборке временных представлений по меньшей мере двух каналов, или

в котором микшер (400) выполнен с возможностью применения сложения по каждой выборке временных представлений по меньшей мере двух каналов и операции масштабирования, применяемой к результату сложения по каждой выборке или применяемой к входным значениям сложения по каждой выборке.

12. Устройство понижающего микширования по любому из предшествующих пунктов,

в котором модуль (300) преобразования выполнен с возможностью формирования (310) необработанных временных представлений с использованием алгоритма преобразования спектрального представления во временное представление, и

выполнения по отдельности постобработки (320) необработанных временных представлений в направлении обработки сигналов перед микшированием посредством микшера (400) с использованием отдельной управляющей информации для каналов, чтобы получить временные представления.

13. Устройство понижающего микширования по п. 12,

в котором модуль (300) преобразования выполнен с возможностью выполнения в качестве постобработки (320) низкочастотной постфильтрации, обработки TCX-LTP (долгосрочного предсказания с возбуждением посредством кода с преобразованием) или синтеза LPC (кодирования с линейным предсказанием) по отдельности для каждого временного представления.

14. Устройство понижающего микширования по п. 1,

в котором первое представление в спектральной области первого канала из по меньшей мере двух каналов имеет первое временное или частотное разрешение,

в котором второе представление в спектральной области второго канала из по меньшей мере двух каналов имеет второе временное или частотное разрешение, причем второе временное или частотное разрешение отличаются от первого временного или частотного разрешения, и

в котором модуль (100) оценки весовых значений выполнен с возможностью вычисления весовых значений по частотным полосам таким образом, чтобы частотное разрешение частотных полос, ассоциированных с весовыми значениями по частотным полосам, было ниже, чем первое частотное разрешение и второе частотное разрешение, или было равно более низкому разрешению из первого и второго частотных разрешений.

15. Устройство понижающего микширования по любому из предшествующих пунктов,

в котором первое представление в спектральной области имеет первое множество спектральных значений в частотной полосе,

в котором второе представление в спектральной области имеет второе множество спектральных значений в частотной полосе, причём второе множество больше, чем первое множество, и

в котором модуль (100) оценки весовых значений выполнен с возможностью

объединения двух или более спектральных значений из второго множества спектральных значений или выбора из второго множества спектральных значений поднабора спектральных значений,

вычисления микшированной составляющей, зависящей от произведений или линейных комбинаций спектральных значений по меньшей мере из двух каналов в частотной полосе, с использованием результата объединения двух или более спектральных значений или с использованием поднабора спектральных значений, и

вычисления весовых значений по частотным полосам с использованием микшированной составляющей.

16. Устройство понижающего микширования по любому из предшествующих пунктов,

в котором первое представление в спектральной области содержит множество первых спектральных значений, представляющих первый размер временного элемента разрешения и первый размер частотного элемента разрешения,

в котором второе представление в спектральной области содержит множество спектральных значений, представляющих второй размер временного элемента разрешения и второй размер частотного элемента разрешения,

в котором первый размер временного элемента разрешения больше, чем второй размер временного элемента разрешения, или в котором первый размер частотного элемента разрешения меньше, чем второй размер частотного элемента разрешения,

в котором модуль (100) оценки весовых значений выполнен с возможностью объединения множества спектральных значений из первого представления в спектральной области, чтобы получить первое объединенное представление в спектральной области, причем размер объединенного частотного элемента разрешения равен размеру второго частотного элемента разрешения, или объединения множества спектральных значений от второго представления в спектральной области, чтобы получить первое объединенное представление в спектральной области, причем размер объединенного временного элемента разрешения равен размеру первого временного элемента разрешения.

17. Устройство понижающего микширования по п. 16,

в котором модуль (100) оценки весовых значений выполнен с возможностью использования первого объединенного спектрального представления или второго объединенного представления в спектральной области для вычисления весовых значений по частотным полосам для первого канала и второго канала из по меньшей мере двух каналов, причём вычисление содержит вычисление микшированной составляющей в частотных полосах и вычисление энергий в частотных полосах, и

в котором модуль (200) спектрального взвешивания выполнен с возможностью применения весовых значений по частотным полосам для первого канала из по меньшей мере двух каналов к спектральным значениям первого представления в спектральной области в соответствующих частотных полосах и применения весовых значений по частотным полосам для второго канала из по меньшей мере двух каналов к спектральным значениям второго представления в спектральной области в соответствующих частотных полосах.

18. Устройство понижающего микширования по любому из пп. 1-15,