СТЕРЕОФОНИЧЕСКОЕ КОДИРОВАНИЕ НА ОСНОВЕ MDCT С КОМПЛЕКСНЫМ ПРЕДСКАЗАНИЕМ Российский патент 2014 года по МПК G10L19/08 H04S1/00 G10L19/04 

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Изобретение, раскрытое в данном документе, в общем, относится к стереофоническому кодированию звука и, точнее, к способам стереофонического кодирования с использованием комплексного предсказания в частотной области.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Совместное кодирование левого (L) и правого (R) каналов стереофонического сигнала делает возможным более эффективное кодирование по сравнению с независимым кодированием L и R. Общий подход для совместного стереофонического кодирования представляет собой кодирование среднего/бокового (M/S) сигнала. Здесь средний (М) сигнал формируется путем сложения сигналов L и R, например, сигнал М может иметь форму

M=(L+R)/2.

Также путем вычитания двух каналов L и R формируется боковой сигнал (S), например, сигнал S может иметь форму

S=(L-R)/2.

В случае M/S-кодирования вместо сигналов L и R кодируются сигналы M и S.

В стандарте MPEG (Moving Picture Experts Group) AAC (Advanced Audio Coding) (см. документ стандарта ISO/IEC 13818-7) L/R-стереофоническое кодирование и M/S-стереофоническое кодирование могут быть выбраны изменяющимися в зависимости от времени или изменяющимися в зависимости от частоты образом. Так, стереофонический кодер может применять L/R-кодирование для некоторых частотных полос стереофонического сигнала, в то время как для кодирования других частотных полос стереофонического сигнала используется M/S-кодирование (изменение в зависимости от частоты). Кроме того, кодер может переключаться между L/R- и M/S-кодированием с течением времени (изменение в зависимости от времени). В стандарте MPEG AAC стереофоническое кодирование осуществляется в частотной области, конкретнее, в области MDCT (модифицированного дискретного косинусного преобразования). Это позволяет адаптивно выбирать или L/R-, или M/S-кодирование изменяющимся в зависимости от частоты, а также изменяющимся в зависимости от времени образом.

Параметрическое стереофоническое кодирование представляет собой способ эффективного кодирования стереофонического звукового сигнала как монофонического сигнала плюс небольшое количество дополнительной информации для стереофонических параметров. Оно является частью стандарта MPEG-4 Audio (cм. документ стандарта ISO/IEC 14496-3). Монофонический сигнал может быть закодирован с использованием любого кодера звука. Стереофонические параметры могут быть внедрены во вспомогательную часть монофонического битового потока, и, таким образом, достигается полная прямая и обратная совместимость. В декодере, в первую очередь, декодируется монофонический сигнал, после чего при помощи стереофонических параметров реконструируется стереофонический сигнал. Декоррелированная версия декодированного монофонического сигнала, которая имеет нулевую взаимную корреляцию с монофоническим сигналом, генерируется посредством декоррелятора, например, соответствующего фазового фильтра, который может включать одну или несколько линий задержки. По существу, декоррелированный сигнал имеет такое же спектральное и временное распределение энергии, как и монофонический сигнал. Монофонический сигнал совместно с декоррелированным сигналом являются входными в процесс повышающего микширования, который управляется стереофоническими параметрами и который реконструирует стереофонический сигнал. Для получения дополнительной информации см. статью "Low Complexity Parametric Stereo Coding in MPEG-4", H. Purnhagen, Proc. of the 7^th Int. Conference on Digital Audio Effects (DAFx'04), Naples, Italy, October 5-8, 2004, pages 163-168.

MPEG Surround (MPS; см. ISO/IEC 23003-1 и статью "MPEG Surround - The ISO/MPEG Standard for Efficient and Compatible Multi-Channel Audio Coding", J. Herre et al., Audio Engineering Convention Paper 7084, 122nd Convention, May 5-8, 2007) позволяет объединять принципы параметрического стереофонического кодирования с остаточным кодированием, замещающим декоррелированный сигнал передаваемым остатком и, таким образом, улучшающим воспринимаемое качество. Остаточное кодирование может выполняться путем понижающего микширования многоканального сигнала и, необязательно, путем извлечения пространственных меток. В ходе процесса понижающего микширования вычисляются, а затем кодируются и передаются остаточные сигналы, представляющие сигнал ошибки. В декодере они могут замещать декоррелированные сигналы. При гибридном подходе они могут замещать декоррелированные сигналы в некоторых полосах частот, предпочтительно, в относительно низкочастотных полосах.

В соответствии с современной системой MPEG унифицированного кодирования речи и звука (USAC), два примера которой показаны на фигуре 1, декодер содержит блок комплекснозначных квадратурных зеркальных фильтров (QMF), расположенный в нисходящем направлении относительно базового декодера. QMF-представление, получаемое на выходе блока фильтров, является комплексным - и, таким образом, передискретизированным в два раза - и может быть организовано как низведенный сигнал (или, эквивалентно, средний сигнал) М и остаточный сигнал D, к которым применяется матрица повышающего микширования с комплексными элементами. Сигналы L и R (в области QMF) получаются как:

,

где g - действительнозначный коэффициент усиления, и α - комплекснозначный коэффициент предсказания. Предпочтительно, α выбирается так, чтобы минимизировалась энергия остаточного сигнала D. Коэффициент усиления может быть определен путем нормализации, т.е. так, чтобы обеспечить то, что мощность суммарного сигнала будет равна сумме мощностей левого и правого сигналов. Действительные и мнимые части каждого из сигналов L и R являются взаимно избыточными - в принципе, каждая из них может быть вычислена на основе другой, - но они являются полезными для того, чтобы сделать возможным последующее применение декодера с репликацией спектральной полосы (SBR) без возникновения слышимых артефактов из-за наложения спектров. По похожим причинам, использование передискретизированного представления сигнала также может выбираться с целью предотвращения появления артефактов, связанных с другой обработкой сигнала, адаптивной ко времени или к частоте (не показана), такой как, например, повышающее микширование монофонического сигнала в стереофонический сигнал. Последним этапом обработки в декодере является обратная QMF-фильтрация. Следует отметить, что QMF-представление сигнала с ограниченной полосой допускает использование остаточных способов с ограниченной полосой и способов «остаточного заполнения», которые могут быть интегрированы в декодеры этого типа.

Приведенная выше структура кодирования хорошо подходит для низких скоростей передачи битов, как правило, ниже 80 Кбит/с, но не является оптимальной для более высоких скоростей передачи битов в отношении вычислительной сложности. Точнее, при более высоких скоростях передачи битов инструмент SBR, как правило, не используется (поскольку он не будет повышать эффективность кодирования). Поэтому в декодере без ступени SBR только наличие комплекснозначной матрицы повышающего микширования оправдывает присутствие блока QMF-фильтров, который требует больших вычислительных ресурсов и вносит задержку (при длине кадра 1024 дискретных значений блок анализирующих/синтезирующих QMF-фильтров вносит задержку в 961 дискретных значений). Это ясно указывает на потребность в более эффективной структуре кодирования.

КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Целью настоящего изобретения является создание способов и устройства для стереофонического кодирования, которые являются эффективными в вычислительном отношении также и в диапазоне высоких скоростей передачи битов.

Изобретение достигает указанной цели путем предоставления кодера и декодера, способов кодирования и декодирования и компьютерных программных продуктов, соответственно, предназначенных для кодирования и декодирования, что определено независимыми пунктами формулы изобретения. Зависимые пункты формулы изобретения определяют варианты осуществления изобретения.

В первом аспекте изобретение предоставляет систему декодера, предназначенную для создания стереофонического сигнала путем стереофонического кодирования с комплексным предсказанием, при этом система декодера содержит:

ступень повышающего микширования, адаптированную для генерирования стереофонического сигнала на основе первых представлений низведенного сигнала (М) и остаточного сигнала (D) в частотной области, где каждое из первых представлений в частотной области содержит первые спектральные составляющие, представляющие спектральный состав соответствующего сигнала, выраженного в первом подпространстве многомерного пространства, при этом ступень повышающего микширования содержит:

модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области на основе его первого представления в частотной области, где второе представление в частотной области содержит вторые спектральные составляющие, представляющие спектральный состав сигнала, выраженного во втором подпространстве многомерного пространства, которое содержит часть многомерного пространства, не включенную в первое подпространство;

взвешенный сумматор, предназначенный для вычисления бокового сигнала (S) на основе первого и второго представлений низведенного сигнала в частотной области, первого представления остаточного сигнала в частотной области и коэффициента комплексного предсказания (α), закодированного в сигнале битового потока; и

суммарно-разностную ступень, предназначенную для вычисления стереофонического сигнала на основе первого представления низведенного сигнала в частотной области и бокового сигнала,

где ступень повышающего микширования также может действовать в режиме ретрансляции, в котором указанные низведенный и остаточный сигналы подаются непосредственно на суммарно-разностную ступень.

Во второй особенности изобретение предоставляет систему кодера, предназначенную для кодирования стереофонического сигнала посредством сигнала битового потока путем стереофонического кодирования с комплексным предсказанием, которая содержит:

оцениватель, предназначенный для оценки коэффициента комплексного предсказания;

ступень кодирования, действующую для:

(a) преобразования стереофонического сигнала в представления низведенного сигнала и остаточного сигнала в частотной области во взаимосвязи, определяемой значением коэффициента комплексного предсказания; и

мультиплексор, предназначенный для приема выходных данных ступени кодирования и оценивателя и для их кодирования посредством указанного сигнала битового потока.

В третьей и четвертой особенностях изобретения предоставляются способы кодирования стереофонического сигнала в битовый поток и декодирования битового потока в по меньшей мере один стереофонический сигнал. Технические признаки каждого из способов аналогичны таковым, соответственно, для системы кодера и системы декодера. В пятой и шестой особенностях изобретение также предоставляет компьютерный программный продукт, содержащий команды, предназначенные для исполнения каждого из способов на компьютере.

Изобретение извлекает выгоду из преимуществ унифицированного стереофонического кодирования в системе MPEG USAC. Эти преимущества сохраняются и для более высоких скоростей передачи битов, при которых SBR, как правило, не используется, без значительного увеличения вычислительной сложности, которое могло бы сопровождать подход на основе QMF. Это является возможным, поскольку критически дискретизированное преобразование MDCT, которое является основой кодирования с преобразованием в системе MPEG USAC, как предоставляется изобретением, может использоваться для стереофонического кодирования с комплексным предсказанием, по меньшей мере, в тех случаях, когда полосы пропускания кодированного звукового сигнала для низведенного и остаточного каналов одинаковы, и процесс повышающего микширования не содержит декорреляцию. Это означает, что дополнительное QMF-преобразование больше не требуется. Показательная реализация стереофонического кодирования с комплексным предсказанием в области QMF фактически значительно увеличивала бы количество операций в единицу времени по сравнению с традиционным L/R- или M/S-стереофоническим кодированием. Таким образом, кодирующее устройство согласно изобретению оказывается конкурентоспособным при указанных скоростях передачи битов, обеспечивая высокое качество звука при умеренных вычислительных затратах.

Как понятно специалистам, то, что ступень повышающего микширования также может действовать и в режиме ретрансляции, позволяет декодеру адаптивно декодировать в соответствии с традиционным прямым, или совместным, кодированием и кодированием с комплексным предсказанием, что определяется на стороне кодера. Следовательно, в тех случаях, когда декодер не может положительно повысить уровень качества выше уровня традиционного прямого L/R-стереофонического кодирования, или совместного M/S-стереофонического кодирования, он может, по меньшей мере, гарантировать, что будет поддерживаться тот же уровень. Таким образом, декодер согласно данной особенности изобретения может, с функциональной точки зрения, считаться расширенным по сравнению с известным уровнем техники.

Как преимущество перед стереофоническим сигналом, кодированным с предсказанием на основе QMF, возможна совершенная реконструкция сигнала (не считая ошибок квантования, которые могут быть сделаны сколь угодно малыми).

Таким образом, изобретение предоставляет кодирующее устройство для стереофонического кодирования сигнала с комплексным предсказанием на основе преобразования. Предпочтительно, устройство согласно изобретению не ограничено стереофоническим кодированием с комплексным предсказанием, но также может действовать и в режиме прямого L/R-стереофонического кодирования или совместного M/S-стереофонического кодирования в соответствии с известным уровнем техники так, чтобы можно было выбирать наиболее подходящий способ кодирования для конкретного применения или в отдельном временном интервале.

В качестве основы для комплексного предсказания согласно изобретению используется передискретизированное (например, комплексное) представление сигнала, включающее указанные первую и вторую спектральные составляющие, и поэтому модули, предназначенные для вычисления указанного передискретизированного представления, располагаются в системе кодера и в системе декодера согласно изобретению. Спектральные составляющие относятся к первому и второму подпространствам многомерного пространства, которое может представлять собой множество функций, зависящих от времени, на интервале заданной длины (например, предварительно определяемой длины временного кадра), дискретизированном с конечной частотой дискретизации. Хорошо известно, что функции в таком особом многомерном пространстве могут аппроксимироваться конечной взвешенной суммой базисных функций.

Как будет оценено специалистами, кодер, адаптированный для совместного действия с декодером, оснащается эквивалентными модулями, предназначенными для создания передискретизированного представления, на котором основывается кодирование с предсказанием, так, чтобы сделать возможным достоверное воспроизведение кодированного сигнала. Указанные эквивалентные модули могут быть идентичными, или сходными модулями или модулями, обладающими идентичными или сходными характеристиками передачи. В частности, модули кодера и декодера, соответственно, могут представлять собой сходные или несходные обрабатывающие блоки, исполняющие соответствующие компьютерные программы, которые выполняют эквивалентные наборы математических операций.

В некоторых вариантах осуществления системы декодера или системы кодера первые спектральные составляющие имеют действительные значения, выраженные в первом подпространстве, а вторые спектральные составляющие имеют мнимые значения, выраженные во втором подпространстве. Первые и вторые спектральные составляющие совместно образуют комплексное спектральное представление сигнала. Первое подпространство может представлять собой линейную оболочку первого набора базисных функций, в то время как второе подпространство может представлять собой линейную оболочку набора вторых базисных функций, некоторые из которых линейно независимы от первого набора базисных функций.

В одном из вариантов осуществления изобретения модуль, предназначенный для вычисления комплексного представления, представляет собой преобразование действительного в мнимое, т.е. модуль, предназначенный для вычисления мнимых частей спектра дискретного временного сигнала на основании действительного спектрального представления этого сигнала. Преобразование может быть основано на точных или приближенных математических зависимостях, таких как формулы из гармонического анализа или эвристические зависимости.

В некоторых вариантах осуществления системы декодера или системы кодера первые спектральные составляющие могут быть получены посредством преобразования дискретного сигнала во временной области из временной области в частотную, предпочтительно, посредством преобразования Фурье, такого как дискретное косинусное преобразование (DCT), модифицированное дискретное косинусное преобразование (MDCT), дискретное синусное преобразование (DST), модифицированное дискретное синусное преобразование (MDST), быстрое преобразование Фурье (FFT), алгоритм Фурье на основе простых множителей и т.п. В первых четырех случаях вторые спектральные составляющие могут быть затем получены, соответственно, путем DST, MDST, DCT и MDCT. Как хорошо известно, линейная оболочка косинусов, которые являются периодическими на единичном интервале, образует подпространство, которое не полностью помещается в линейной оболочке синусов, периодических на том же интервале. Предпочтительно, первые спектральные составляющие могут быть получены посредством MDCT, а вторые спектральные составляющие могут быть получены посредством MDST.

В одном из вариантов осуществления изобретения система декодера содержит по меньшей мере один модуль временного ограничения шума (модуль TNS, или TNS-фильтр), который располагается в восходящем направлении относительно ступени повышающего микширования. В сущности, использование TNS повышает воспринимаемое качество звука для сигналов с составляющими переходного типа, и это также применимо к вариантам осуществления системы декодера согласно изобретению, содержащим TNS в качестве характерного признака. В традиционном L/R- или M/S-стереофоническом кодировании TNS-фильтр может применяться как последний этап обработки в частотной области непосредственно перед обратным преобразованием. Тем не менее, в случае стереофонического кодирования с комплексным предсказанием, более преимущественным часто является применение TNS-фильтра на низведенном и остаточном сигналах, т.е. перед матрицей повышающего микширования. Иными словами, TNS применяется к линейным комбинациям левого и правого каналов, что имеет определенные преимущества. Во-первых, может оказаться, что в данной ситуации TNS полезно только для, скажем, низведенного сигнала. Тогда для остаточного сигнала TNS-фильтрация может подавляться, или пропускаться, и, что может означать более экономное использование доступной полосы пропускания, существует необходимость в передаче коэффициентов TNS-фильтра только для низведенного сигнала. Во-вторых, вычисление передискретизированного представления низведенного сигнала (например, данных MDST, получаемых, исходя из данных MDCT, так, чтобы можно было сформировать комплексное представление в частотной области), которое необходимо для кодирования с комплексным предсказанием, может потребовать того, чтобы можно было вычислить представление низведенного сигнала во временной области. В свою очередь, это означает, что низведенный сигнал предпочтительно должен быть доступен как временная последовательность спектров MDCT, полученных единообразно. Если TNS-фильтр применялся в декодере после матрицы повышающего микширования, которая преобразовывает низведенное/остаточное представление в левое/правое представление, будет доступна только последовательность оставшихся после TNS спектров MDCT низведенного сигнала. Это может сделать эффективное вычисление соответствующих спектров MDST весьма затруднительным, особенно если левый и правый каналы использовали TNS-фильтры с отличающимися характеристиками.

Следует подчеркнуть, что доступность временной последовательности спектров MDCT не является абсолютным критерием для получения MDST-представления, подходящего для того, чтобы оно служило основой для кодирования с комплексным предсказанием. В дополнение к экспериментальным свидетельствам, этот факт можно объяснить тем, что TNS, в общем, применимо только к более высоким частотам, таким как частоты выше нескольких килогерц, поэтому остаточный сигнал, фильтрованный посредством TNS, приблизительно соответствует нефильтрованному остаточному сигналу для менее высоких частот. Таким образом, изобретение может быть осуществлено как декодер для стереофонического кодирования с комплексным предсказанием, в котором, как указывается ниже, TNS-фильтры имеют и иное размещение, чем в восходящем направлении относительно ступени повышающего микширования.

В одном из вариантов осуществления изобретения система декодера содержит, по меньшей мере, один дополнительный модуль TNS, расположенный в нисходящем направлении относительно ступени повышающего микширования. Посредством селекторной схемы выбирается или модуль (модули) TNS в восходящем направлении относительно ступени повышающего микширования, или модуль (модули) TNS в нисходящем направлении относительно ступени повышающего микширования. В некоторых обстоятельствах вычисление комплексного представления в частотной области не требует возможности вычисления представления низведенного сигнала во временной области. Кроме того, как изложено ниже, декодер может выборочно действовать в режиме прямого или совместного кодирования, не применяя кодирование с комплексным предсказанием, и тогда может оказаться более подходящим применение традиционного местоположения модулей TNS, т.е. как одного из последних этапов обработки в частотной области.

В одном из вариантов осуществления изобретения система декодера адаптирована для экономии ресурсов обработки и, возможно, энергии путем отключения модуля, предназначенного для вычисления второго представления низведенного сигнала в частотной области, когда последнее не является необходимым. Предполагается, что низведенный сигнал является разделенным на последовательные временные блоки, каждый из которых связан со значением коэффициента комплексного предсказания. Это значение может определяться посредством решения, принимаемого для каждого временного блока кодером во взаимодействии с декодером. Кроме того, в данном варианте осуществления изобретения модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптируется для самостоятельного отключения, если для данного временного блока абсолютное значение мнимой части коэффициента комплексного предсказания равно нулю или не превышает предварительно определенный допуск. Отключение модуля может подразумевать, что для данного временного блока второе представление низведенного сигнала в частотной области не вычисляется. Если отключение не происходит, второе представление в частотной области (например, набор коэффициентов MDCT) может умножаться на нуль или на число, имеющее, в значительной мере, тот же порядок величины, что и машинное эпсилон (единица округления) декодера, или какое-либо другое подходящее пороговое значение.

В дальнейшем развитии предшествующего варианта осуществления изобретения экономия ресурсов обработки достигается на подуровне временного блока, на которые разделяется низведенный сигнал. Например, таким подуровнем в пределах временного блока может быть полоса частот, где декодер определяет значение коэффициента комплексного предсказания для каждой полосы частот в пределах временного блока. Подобным образом, модуль, предназначенный для генерирования второго представления в частотной области, адаптирован для подавления его действия на полосу частот во временном блоке, для которой коэффициент комплексного предсказания равен нулю или имеет абсолютное значение меньше допуска.

В одном из вариантов осуществления изобретения первые спектральные составляющие представляют собой коэффициенты преобразования, расположенные в одном или нескольких временных блоках коэффициентов преобразования, где каждый блок генерируется путем применения преобразования к временному отрезку сигнала во временной области. Кроме того, модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптирован для

• получения одной или нескольких первых промежуточных составляющих из, по меньшей мере, некоторых первых спектральных составляющих;

• формирования комбинации указанной одной или нескольких первых спектральных составляющих в соответствии с, по меньшей мере, частью одной или нескольких импульсных характеристик с целью получения одной или нескольких вторых промежуточных составляющих; и

• получения указанной одной или нескольких вторых спектральных составляющих из указанной одной или нескольких вторых промежуточных составляющих.

Данная процедура выполняет вычисление второго представления в частотной области непосредственно из первого представления в частотной области, как более подробно описано в патенте США №6980933 B2, в особенности в разделах 8-28 и, в частности, в уравнении 41. Как понятно специалистам, вычисление не выполняется через временную область, в отличие, например, от обратного преобразования, за которым следует другое преобразование.

Для примера реализации стереофонического кодирования с комплексным предсказанием согласно изобретению было оценено, что вычислительная сложность возрастает лишь незначительно (значительно меньше, чем возрастание, вызываемое стереофоническим кодированием с комплексным предсказанием в области QMF) по сравнению с традиционным L/R- или M/S-стереофоническим кодированием. Один из вариантов осуществления изобретения этого типа, содержащий точное вычисление вторых спектральных составляющих, вносит задержку, которая, как правило, лишь на несколько процентов длительнее задержки, вносимой реализацией на основе QMF (принимая длину временного блока равной 1024 дискретных значений и сравнивая ее с задержкой гибридного блока анализирующих/синтезирующих QMF-фильтров, которая равна 961 дискретных значений).

Соответственно, по меньшей мере, в некоторых из предыдущих вариантов осуществления изобретения импульсные характеристики адаптированы к преобразованию, посредством которого можно получить первое представление в частотной области, и, точнее, адаптированы в соответствии с его частотными характеристиками.

В некоторых вариантах осуществления изобретения первое представление низведенного сигнала в частотной области получается путем преобразования, которое применяется в связи с одной или несколькими анализирующими оконными функциями (обрезными функциями, например, прямоугольным окном, синусным окном, окном, производным от окна Кайзера-Бесселя, и т.д.), одной из целей которых является временная сегментация без внесения пагубного количества шума или изменения спектра нежелательным образом. Возможно, указанные оконные функции являются частично перекрывающимися. Тогда, предпочтительно, частотные характеристики преобразования зависят от характеристик указанной одной или нескольких анализирующих оконных функций.

Продолжая обращаться к вариантам осуществления изобретения, включающим в качестве характерного признака вычисление второго представления в частотной области в пределах частотной области, можно понизить привлекаемую вычислительную нагрузку путем использовании приближенного второго представления в частотной области. Указанное приближение может быть выполнено путем отказа от требования полноты информации, на которой основывается вычисление. Согласно идеям патента США №6980933 B2, например, для точного вычисления второго представления низведенного сигнала в частотной области в одном блоке требуются данные в частотной области из трех временных блоков, а именно: блока, одновременного с выходным блоком, предшествующего блока и последующего блока. Для целей кодирования с комплексным предсказанием согласно настоящему изобретению пригодные приближения могут быть получены путем пропуска - или замещения на нуль - данных, происходящих из последующего блока (посредством чего действие модуля может стать причинным, т.е. он не будет вносить задержку) и/или из предшествующего блока так, чтобы вычисление второго представления в частотной области основывалось на данных только из одного или двух временных блоков. Следует отметить, что даже если пропуск входных данных может подразумевать изменение масштаба второго представления в частотной области - в том смысле, что, например, оно больше не будет представлять равную мощность, - оно все еще может быть использовано в качестве основы для кодирования с комплексным предсказанием, поскольку оно, как указывалось выше, эквивалентным образом вычисляется на концах кодера и декодера. В действительности, возможное изменение масштаба такого типа будет компенсироваться путем соответствующего изменения значения коэффициента предсказания.

Еще один приближенный способ вычисления части второго представления низведенного сигнала в частотной области, образующей спектральные составляющие, может включать объединение, по меньшей мере, двух составляющих из первого представления в частотной области. Последние составляющие могут быть смежными во времени и/или по частоте. В качестве альтернативы, они могут быть объединены посредством фильтрации с конечной импульсной характеристикой (FIR) с относительно небольшим количеством звеньев. Например, в системе, использующей размер временного блока, равный 1024, указанные КИХ-фильтры могут включать 2, 3, 4 и т.д. звеньев. Описания способов приближенного вычисления такого рода можно найти, например, в заявке на патент США №2005/0197831 A1. Если используется оконная функция, такая как, например, непрямоугольная функция, придающая относительно малые значения окружению каждой из границ временного блока, может оказаться целесообразным основывать вторые спектральные составляющие во временном блоке только на комбинациях первых спектральных составляющих в том же временном блоке, подразумевая, что для краевых составляющих доступно не такое же количество информации. Ошибка приближения, возможно, вносимая при такой практической реализации, в некоторой степени подавляется или скрывается формой оконной функции.

В один из вариантов осуществления декодера, который сконструирован для вывода стереофонического сигнала во временной области, включена возможность переключения между прямым, или совместным, стереофоническим кодированием и кодированием с комплексным предсказанием. Это достигается путем предоставления:

• переключателя, который может выборочно действовать или как ретранслирующая ступень (не модифицирующая сигналы), или как суммарно-разностное преобразование;

• ступени обратного преобразования, предназначенной для выполнения преобразования «частота-время»; и

• селекторной схемы, предназначенной для подачи на ступень обратного преобразования или прямо (или совместно) кодированного сигнала, или сигнала, кодированного с комплексным предсказанием.

Как понятно специалистам, подобная гибкость со стороны декодера предоставляет кодеру свободу выбора между традиционным прямым, или совместным, кодированием и кодированием с комплексным предсказанием. Поэтому в тех случаях, когда уровень качества традиционного L/R-стереофонического кодирования, или совместного M/S-стереофонического кодирования, не может быть повышен, данный вариант осуществления изобретения может, по меньшей мере, гарантировать, что будет поддерживаться тот же уровень. Таким образом, декодер согласно изобретению можно считать расширенным по отношению к текущему уровню техники.

Другая группа вариантов осуществления изобретения системы декодера выполняет вычисление вторых спектральных составляющих во втором представлении в частотной области через временную область. Точнее, применяется преобразование, обратное тому, посредством которого были получены (или могут быть получены) первые спектральные составляющие, и за ним следует другое преобразование, дающее на выходе вторые спектральные составляющие. В частности, за обратным MDCT может следовать MDST. Для того чтобы уменьшить количество преобразований и обратных преобразований, выходной сигнал обратного MDCT в таком варианте осуществления изобретения может подаваться и к MDST, и к терминалам вывода данных системы декодирования (которым, возможно, предшествуют дополнительные этапы обработки).

Для примера реализации кодирования с комплексным предсказанием согласно изобретению было оценено, что вычислительная сложность по сравнению с традиционным L/R- или M/S-стереофоническим кодированием возрастает лишь незначительно (в еще меньшей степени, чем возрастание, вызываемое кодированием с комплексным предсказанием в области QMF).

Как дальнейшее развитие варианта осуществления изобретения, упомянутого в предыдущем абзаце, ступень повышающего микширования может включать дополнительную ступень обратного преобразования, предназначенную для обработки бокового сигнала. Тогда суммарно-разностная ступень снабжается представлением бокового сигнала во временной области, которое генерируется указанной дополнительной ступенью обратного преобразования, и представлением низведенного сигнала во временной области, которое генерируется уже упомянутой ступенью обратного преобразования. Следует повторно отметить, что преимущественной с точки зрения вычислительной сложности является подача последнего сигнала как на суммарно-разностную ступень, так и на указанную другую ступень преобразования, которая упомянута выше.

В одном из вариантов осуществления изобретения декодер, сконструированный для вывода стереофонического сигнала во временной области, обладает возможностью переключения между L/R-стереофоническим кодированием или совместным M/S-стереофоническим кодированием и кодированием с комплексным предсказанием. Это достигается путем предоставления:

• переключателя, способного действовать как ретранслирующая ступень или как суммарно-разностная ступень;

• дополнительной ступени обратного преобразования, предназначенной для вычисления представления бокового сигнала во временной области;

• селекторной схемы, предназначенной для соединения ступеней обратного преобразования с дополнительной суммарно-разностной ступенью, соединенной с точкой в восходящем направлении относительно ступени повышающего микширования и в нисходящем направлении относительно переключателя (предпочтительно, когда переключатель приводится в действие для того, чтобы выполнять функцию полосового фильтра, как может быть в случае декодирования стереофонического сигнала, генерируемого путем кодирования с комплексным предсказанием), или для объединения низведенного сигнала из переключателя с боковым сигналом из взвешенного сумматора (предпочтительно, когда переключатель приводится в действие для выполнения функции суммарно-разностной ступени, как может быть в случае декодирования стереофонического сигнала, кодированного напрямую).

Как понятно специалистам, это предоставляет кодеру свободу выбора между традиционным прямым или совместным кодированием и кодированием с комплексным предсказанием, что позволяет гарантировать то, что уровень качества будет, по меньшей мере, эквивалентен уровню при прямом или совместном стереофоническом кодировании.

В одном из вариантов осуществления изобретения система кодера согласно второму аспекту изобретения может включать оцениватель, предназначенный для оценки коэффициента комплексного предсказания с целью снижения или минимизации мощности сигнала или средней мощности сигнала для остаточного сигнала. Минимизация может происходить во временном интервале, предпочтительно, временном отрезке, или временном блоке, или временном кадре сигнала, который подвергается кодированию. В качестве критерия мгновенной мощности сигнала может быть выбран квадрат амплитуды, а интеграл квадрата амплитуды (формы сигнала) во временном интервале может быть выбран в качестве критерия средней мощности сигнала в этом интервале. Соответственно, коэффициент комплексного предсказания определяется на основе временного блока и полосы частот, т.е. его значение устанавливается таким образом, чтобы он понижал среднюю мощность (т.е. полную энергию) остаточного сигнала в этом временном блоке и полосе частот. В частности, выходной сигнал, на котором в соответствии с математическими зависимостями, известными специалистам, может вычисляться коэффициент комплексного предсказания, может создавать такие модули, предназначенные для оценки параметров параметрического стереофонического кодирования, как IID, ICC и IPD или сходные с ними.

В одном из вариантов осуществления изобретения ступень кодирования в системе кодера также может действовать для выполнения функции ретранслирующей ступени с тем, чтобы позволить выполнять прямое стереофоническое кодирование. Выбирая прямое стереофоническое кодирование в ситуациях, когда ожидается обеспечение более высокого качества, система кодера может гарантировать, что кодированный стереофонический сигнал будет иметь, по меньшей мере, такое же качество, как при прямом кодировании. Подобным образом, в ситуациях, когда бóльшая вычислительная трудоемкость, привносимая кодированием с комплексным предсказанием, не оправдана значительным повышением качества, для системы кодера, таким образом, является легкодоступной возможность экономии вычислительных ресурсов. Принятие решения о выборе между совместным кодированием, прямым кодированием, кодированием с действительным предсказанием и кодированием с комплексным предсказанием в кодере, главным образом, основывается на соображениях оптимизации соотношения скорость/искажения.

В одном из вариантов осуществления изобретения система кодера может включать модуль, предназначенный для вычисления второго представления в частотной области непосредственно (т.е. без применения обратного преобразования во временную область и без использования данных сигнала во временной области) на основе первых спектральных составляющих. Относительно соответствующих вариантов осуществления системы декодера, описанной выше, данный модуль может иметь аналогичную конструкцию, а именно: включать аналогичные операции обработки, но в другом порядке так, чтобы кодер был адаптирован для вывода данных, пригодных в качестве входных на стороне декодера. С целью иллюстрации данного варианта осуществления изобретения предполагается, что стереофонический сигнал, который подвергается кодированию, содержит средний и боковой каналы или был преобразован в такую структуру, и ступень кодирования адаптирована для приема первого представления в частотной области. Ступень кодирования содержит модуль, предназначенный для вычисления второго представления среднего сигнала в частотной области. (Упоминаемые здесь первое и второе представления в частотной области аналогичны определенным выше; в частности, первые представления в частотной области могут представлять собой MDCT-представления, а второе представление в частотной области может представлять собой MDST-представление.) Ступень кодирования также содержит взвешенный сумматор, предназначенный для вычисления остаточного сигнала как линейной комбинации, образованной из бокового сигнала и двух представлений среднего сигнала в частотной области, взвешенных, соответственно, по действительным и мнимым частям коэффициента комплексного предсказания. Средний сигнал, или, соответственно, его первое представление в частотной области, может использоваться непосредственно в качестве низведенного сигнала. Кроме того, в данном варианте осуществления изобретения оцениватель определяет значение коэффициента комплексного предсказания с целью минимизации мощности, или средней мощности, остаточного сигнала. Последняя операция (оптимизации) может выполняться или посредством управления с обратной связью, где оцениватель может принимать остаточный сигнал, полученный посредством текущих значений коэффициента предсказания и предназначенный для дальнейшей регулировки в случае необходимости, или, по способу прямой связи - путем вычислений, выполняемых непосредственно на левом/правом каналах исходного стереофонического сигнала или на среднем/боковом каналах. Предпочтительным является способ прямой связи, по которому коэффициент комплексного предсказания определяется непосредственно (в особенности, неитеративным образом и без обратной связи) на основе первого и второго представлений среднего сигнала в частотной области и первого представления бокового сигнала в частотной области. Следует отметить, что за определением коэффициента комплексного предсказания может следовать принятие решения о том, какое применять кодирование: прямое, совместное, кодирование с действительным или с комплексным предсказанием, где учитывается результирующее качество (предпочтительно, воспринимаемое качество с учетом, например, эффектов «сигнал/маска») для каждой из доступных возможностей; поэтому приведенные выше утверждения не следует толковать как утверждения о том, что в кодере не существует механизма обратной связи.

В одном из вариантов осуществления изобретения система кодера содержит модули, предназначенные для вычисления второго представления среднего (или низведенного) сигнала в частотной области через временную область. Следует понимать, что подробности реализации, относящиеся к этому варианту осуществления изобретения, по меньшей мере, в той мере, в какой рассматривается вычисление второго представления в частотной области, сходны или могут отрабатываться аналогично соответствующим вариантам осуществления декодера. В данном варианте осуществления изобретения ступень кодирования содержит:

• суммарно-разностную ступень, предназначенную для преобразования стереофонического сигнала в форму, включающую средний и боковой каналы;

• ступень преобразования, предназначенную для создания представления бокового канала в частотной области и комплекснозначного (и поэтому передискретизированного) представления среднего канала в частотной области; и

• взвешенный сумматор, предназначенный для вычисления остаточного сигнала, где в качестве весового коэффициента используется коэффициент комплексного предсказания.

Здесь оцениватель может принимать остаточный сигнал и определять, возможно, по способу управления с обратной связью, коэффициент комплексного предсказания с тем, чтобы понижать или минимизировать мощность или среднее значение остаточного сигнала. Тем не менее, предпочтительно, оцениватель принимает стереофонический сигнал, который подвергается кодированию, и определяет на его основе коэффициент предсказания. С точки зрения вычислительной экономии, преимущественным является использование критически дискретизированного представления бокового канала в частотной области, поскольку последнее в данном варианте осуществления изобретения не будет подвергаться умножению на комплексное число. Соответственно, ступень преобразования может включать ступень MDCT и расположенную параллельно ступень MDST, где обе ступени принимают в качестве входного сигнала представление среднего канала во временной области. Таким образом, генерируется передискретизированное представление среднего канала в частотной области и критически дискретизированное представление бокового канала в частотной области.

Следует отметить, что способы и устройство, раскрытые в данном разделе, после соответствующих модификаций в пределах возможностей специалистов, включая типовые эксперименты, могут применяться для кодирования сигналов, содержащих больше двух каналов. Модификации, предназначенные для обеспечения пригодности к указанной многоканальной эксплуатации, могут следовать, например, по пути направлений, описанных в разделах 4 и 5 процитированной выше статьи J. Herre и др.

Характерные признаки из двух или большего количества описанных выше вариантов осуществления изобретения могут комбинироваться в дальнейшие варианты осуществления изобретения, если они не являются дополнительными в явном виде. Тот факт, что два характерных признака изложены в различных пунктах формулы изобретения, не препятствует тому, чтобы они могли выигрышно комбинироваться. Аналогично, дальнейшие варианты осуществления изобретения также могут быть предоставлены без некоторых характерных признаков, которые не являются необходимыми или существенными для намеченной цели. Например, система декодирования согласно изобретению может осуществляться без ступени деквантования в тех случаях, когда кодированный сигнал, подвергаемый обработке, не является квантованным или уже доступен в форме, пригодной для обработки ступенью повышающего микширования.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Ниже изобретение будет дополнительно проиллюстрировано посредством вариантов осуществления изобретения, описываемых в следующем разделе, с отсылкой к сопроводительным графическим материалам, в которых:

На фиг. 1 изображены две обобщенные блок-схемы, показывающие декодеры на основе QMF согласно известному уровню техники;

На фиг. 2 изображена обобщенная блок-схема системы стереофонического декодера на основе MDCT с комплексным предсказанием согласно одному из вариантов осуществления настоящего изобретения, где комплексное представление канала сигнала, подвергаемого декодированию, вычисляется в частотной области;

На фиг. 3 изображена обобщенная блок-схема системы стереофонического декодера на основе MDCT с комплексным предсказанием согласно одному из вариантов осуществления настоящего изобретения, где комплексное представление канала сигнала, подвергаемого декодированию, вычисляется во временной области;

На фиг. 4 изображен альтернативный вариант осуществления системы декодера по фигуре 2, где может быть выбрано положение активной ступени TNS;

На фиг. 5 изображены обобщенные блок-схемы, показывающие системы стереофонического кодера на основе MDCT с комплексным предсказанием в соответствии с вариантами осуществления другой особенности настоящего изобретения;

На фиг. 6 изображена обобщенная блок-схема системы стереофонического кодера на основе MDCT с комплексным предсказанием согласно одному из вариантов осуществления настоящего изобретения, где комплексное представление канала сигнала, подвергаемого кодированию, вычисляется на основе его представления во временной области;

На фиг. 7 изображен альтернативный вариант осуществления системы кодера по фиг. 6, который может действовать также и в режиме прямого L/R-кодирования;

На фиг. 8 изображена обобщенная блок-схема системы стереофонического кодера на основе MDCT с комплексным предсказанием согласно одному из вариантов осуществления настоящего изобретения, где комплексное представление канала сигнала, подвергаемого декодированию, вычисляется на основе его первого представления в частотной области, система декодера которого может действовать также и в режиме прямого L/R-кодирования;

На фиг. 9 изображен альтернативный вариант осуществления системы кодера по фигуре 7, который также содержит ступень TNS, расположенную в нисходящем направлении относительно ступени кодирования;

На фиг. 10 изображены альтернативные варианты осуществления части, отмеченной на фиг. 2 и 8 как А;

На фиг. 11 изображен альтернативный вариант осуществления системы кодера по фиг. 8, которая также содержит два устройства модификации в частотной области, расположенные, соответственно, в нисходящем и восходящем направлениях относительно ступени кодирования;

На фиг. 12 изображено графическое представление результатов испытательного прослушивания при 96 Кбит/с для шести объектов, показывающее различные возможности компромисса между сложностью и качеством при вычислении, или приближении, спектра MDST, где точки данных, отмеченные "+", относятся к скрытой ссылке, "x" относится к якорю с полосой, ограниченной 3.5 КГц, "*" относится к традиционному стереофоническому кодированию USAC (M/S или L/R), "□" относится к унифицированному стереофоническому кодированию в области MDCT посредством комплексного предсказания с заблокированной мнимой частью коэффициента предсказания (т.е. с действительным предсказанием, не требующим MDST), "■" относится к унифицированному стереофоническому кодированию в области MDCT посредством комплексного предсказания с использованием для вычисления приближения MDST текущего кадра MDCT, "_°" относится к унифицированному стереофоническому кодированию в области MDCT посредством комплексного предсказания с использованием для вычисления приближения MDST текущего и предыдущего кадров MDCT, и "●" относится к унифицированному стереофоническому кодированию в области MDCT посредством комплексного предсказания с использованием для вычисления MDST текущего, предыдущего и следующего кадров MDCT;

На фиг. 13 изображены данные по фиг. 12, но представленные в виде дифференциальных оценок в отношении унифицированного стереофонического кодирования в области MDCT посредством комплексного предсказания с использованием для вычисления приближения MDST текущего кадра MDCT;

На фиг. 14 изображены обобщенные блок-схемы, показывающие три варианта осуществления системы декодера в соответствии с вариантами осуществления изобретения;

На фиг. 15 изображена схема последовательности операций, показывающая способ декодирования согласно одному из вариантов осуществления изобретения; и

На фиг. 16 изображена схема последовательности операций, показывающая способ кодирования согласно одному из вариантов осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

I. Системы декодера

На фиг. 2 изображена, в форме обобщенной блок-схемы, система декодирования, предназначенная для декодирования битового потока, включающего, по меньшей мере, одно значение коэффициента комплексного предсказания и MDCT-представление стереофонического сигнала, содержащего низведенный М и остаточный D каналы. Действительная и мнимая части , коэффициента предсказания могут быть квантованными и/или кодированными совместно. Тем не менее, предпочтительно, чтобы действительная и мнимая части квантовались независимо и единообразно, как правило, с величиной шага 0,1 (безразмерное число). В соответствии со стандартом MPEG, разрешающая способность спектральной полосы, используемая для коэффициента комплексного предсказания, необязательно равна разрешающей способности для полос масштабных коэффициентов (sfb; т.е. группы линий MDCT, которая использует такую же величину шага квантования и диапазон квантования). В частности, разрешающая способность полосы частот для коэффициента предсказания может быть обоснованной психоакустически, как, например, шкала Барка. Демультиплексор 201 адаптирован для извлечения указанных MDCT-представлений и коэффициента предсказания (часть, обозначенная на фигуре как «Управляющая информация») из битового потока, который в него подается. На самом деле, в битовом потоке может быть закодировано больше управляющей информации, чем только коэффициент комплексного предсказания, например, команды о том, следует декодировать битовый поток в режиме с предсказанием или без предсказания, информация TNS и т.д. Информация TNS может включать значения параметров TNS, предназначенных для применения (синтезирующими) TNS-фильтрами системы декодера. Если для нескольких TNS-фильтров предполагается использование одинаковых наборов параметров TNS, как, например, для обоих каналов, более экономным является прием этой информации в форме бита, указывающего такую идентичность наборов параметров, а не независимый прием двух наборов параметров. Также может быть включена информация о том, применять TNS перед ступенью или после ступени повышающего микширования, по необходимости на основе, например, психоакустической оценки этих двух доступных возможностей. Кроме того, тогда управляющая информация может указывать индивидуально ограниченные полосы пропускания для низведенного и остаточного сигналов. Для каждого канала полосы частот выше предела полосы пропускания не будут декодироваться, но будут приравниваться нулю. В некоторых случаях, самые высокочастотные полосы обладают настолько малым запасом энергии, что они уже квантованы в нуль. В стандартной практике (ср. с параметром max_sfb в стандарте MPEG) обычно используется одинаковое ограничение полосы пропускания как для низведенного, так и для остаточного сигналов. Однако остаточный сигнал в большей степени, чем низведенный сигнал, содержит свой запас энергии локализованным в полосах менее высоких частот. Поэтому, размещая специально предназначенный верхний предел полосы пропускания на остаточном сигнале, можно понизить скорость передачи битов без значительного снижения качества. Например, это может управляться двумя независимыми параметрами max_sfb, закодированными в битовом потоке: одним - для низведенного сигнала, и одним - для остаточного сигнала.

В данном варианте осуществления изобретения MDCT-представление стереофонического сигнала сегментируется на последовательные временные кадры (или временные блоки), включающие фиксированное количество точек данных (например, 1024 точек), одно из нескольких фиксированных количеств точек данных (например, 128 или 1024 точек) или переменное количество точек. Как известно специалистам в данной области, MDCT является критически дискретизированным. Выходной сигнал системы декодирования, указанный в правой части иллюстрации, представляет собой стереофонический сигнал во временной области, содержащий левый L и правый R каналы. Модули 202 деквантования адаптированы для манипуляций с битовым потоком, входящим в систему декодирования, или, там, где это необходимо, с двумя битовыми потоками, получаемыми после демультиплексирования оригинального битового потока и соответствующими каждому из каналов, низведенному и остаточному. Деквантованные сигналы каналов подаются в узел 203 переключения, действующий или в режиме ретрансляции, или в суммарно-разностном режиме, который относится к соответствующим матрицам преобразования

и

.

Как будет дополнительно разъясняться в следующем параграфе, система декодера содержит второй узел 205 переключения. Оба узла 203, 205 переключения, как и большинство других переключателей и узлов переключения в данном варианте осуществления изобретения и в вариантах осуществления изобретения, которые будут описаны ниже, действуют частотноизбирательным образом. Это делает возможным декодирование в большом разнообразии режимов декодирования, например, декодирование частотнозависимого L/R- или M/S-декодирования, как известно на текущем уровне техники. Поэтому декодер согласно изобретению можно считать расширенным по отношению к известному уровню техники.

Пока что полагая, что узел 203 переключения находится в режиме ретрансляции, в данном варианте осуществления изобретения деквантованные сигналы проходят через соответствующие TNS-фильтры 204. TNS-фильтры 204 не существенны для действия системы декодирования и могут замещаться ретранслирующими элементами. После этого сигнал подается во второй узел 205 переключения, выполняющий ту же функцию, что и узел 203 переключения, расположенный в восходящем направлении. При условии, что входные сигналы соответствуют описанным выше, и второй узел 205 переключения установлен в режим ретрансляции, выходной сигнал первого представляет собой сигнал низведенного канала и сигнал остаточного канала. Низведенный сигнал, по-прежнему представленный его последовательным во времени спектром MDCT, подается в преобразование 206 действительного в мнимое, адаптированное для вычисления на его основе спектра MDST низведенного сигнала. В данном варианте осуществления изобретения один кадр MDST основан на трех кадрах MDCT: одном предыдущем кадре, одном текущем (или одновременном) кадре и одном последующем кадре. Символически указывается - , - что входная сторона преобразования 206 действительного в мнимое содержит элементы задержки.

MDST-представление низведенного сигнала, полученное из преобразования 206 действительного в мнимое, взвешивается по мнимой части коэффициента предсказания и добавляется к MDCT-представлению низведенного сигнала, взвешенному по действительной части коэффициента предсказания, и к MDCT-представлению остаточного сигнала. Два сложения и умножения выполняются умножителями и сумматорами 210, 211, совместно образующими (функционально) взвешенный сумматор, которые снабжаются значением коэффициента комплексного предсказания α, закодированным в битовом потоке, первоначально принимаемом системой декодера. Коэффициент комплексного предсказания может быть определен один раз для каждого временного кадра. Также он может быть определен чаще, например, один раз для каждой полосы частот в пределах кадра, где полосы частот представляют собой психоакустически оправданное разделение. Также он может определяться менее часто, как будет описываться ниже в связи с системами кодирования согласно изобретению. Преобразование 206 действительного в мнимое синхронизируется со взвешенным сумматором так, чтобы текущий кадр MDST сигнала низведенного канала объединялся с одновременными кадрами MDCT для каждого из сигналов, сигнала низведенного канала и сигнала остаточного канала. Сумма трех этих сигналов представляет собой боковой сигнал . В данном выражении М содержит и MDCT-, и MDST- представления низведенного сигнала, а именно: , в то время как является действительнозначным. Таким образом, получается стереофонический сигнал, содержащий низведенный канал и боковой канал, из которого суммарно-разностное преобразование 207 реконструирует левый и правый каналы следующим образом:

.

Эти сигналы представлены в области MDCT. Последним этапом системы декодирования является применение обратного MDCT 209 к каждому из каналов, посредством чего получается представление левого/правого стереофонического сигнала во временной области.

Возможная реализация преобразования 206 действительного в мнимое дополнительно описана в патенте США №6980933 B2 заявителя, как указано выше. По формуле 41 в этом патенте преобразование может быть выражено как фильтр с конечной импульсной характеристикой, например, для четных точек:

,

где - -я точка данных MDST, - данные MDCT для каждого из кадров, и N - длина кадра. Кроме того, - это импульсные характеристики, зависящие от применяемой оконной функции и поэтому определяемые для каждого выбора оконной функции, такой как прямоугольная, синусоидальная или производная от окна Кайзера-Бесселя, и для каждой длины кадра. Сложность этого вычисления можно понизить путем пропуска тех импульсных характеристик, которые имеют относительно меньший запас энергии и вносят относительно меньший вклад в данные MDST. В качестве альтернативы или расширения данной реализации сами импульсные характеристики могут укорачиваться, например, от полной длины кадра N до меньшего количества точек. Например, длина импульсной характеристики может быть уменьшена с 1024 точек (звеньев) до 10 точек. Самым предельным усечением, которое еще можно считать значимым, является

.

Другие прямые приближения можно найти в заявке на патент США №2005/0197831 A1.

Также можно уменьшить количество входных данных, на которых основывается вычисление. Для иллюстрации, преобразование 206 действительного в мнимое и его соединения в восходящем направлении, которые указываются участком, обозначенным на иллюстрации как «А», могут замещаться упрощенными вариантами, два из которых, A' and A", показаны на фиг. 10. Вариант А' создает приближенное мнимое представление сигнала. В этом случае вычисление MDST учитывает только текущий и предыдущий кадры. С отсылкой к формуле, приведенной выше в данном параграфе, это можно осуществить, задавая при р=0,...,N-1 (индекс III обозначает последующий временной кадр). Поскольку вариант A' не требует спектра MDCT для последующего кадра в качестве входных данных, вычисление MDST не подвергается какой-либо временной задержке. Очевидно, данное приближение несколько снижает точность полученного сигнала MDST, а также может подразумевать, что энергия этого сигнала станет пониженной; последний факт может быть полностью компенсирован путем увеличения в результате сущности кодирования с предсказанием.

Также на фиг. 10 изображен вариант A", который в качестве входного сигнала использует только данные MDCT для текущего временного кадра. Вполне возможно, вариант A" генерирует менее точное представление MDST, чем вариант A'. С другой стороны, он, как и вариант A', действует с нулевой задержкой и обладает менее высокой вычислительной сложностью. Как уже упоминалось, свойства кодирования формы сигнала не затрагиваются, поскольку системой кодера и системой декодера используется одно и то же приближение.

Следует отметить, что, независимо от того, применяются варианты A, A' или A", или какое-либо их усовершенствование, необходимо вычислять только те участки спектра MDST, для которых мнимая часть коэффициента комплексного предсказания является ненулевой, . В условиях практического применения это означает, что абсолютное значение мнимой части должно быть больше предварительно определенного порогового значения, которое может быть отнесено к единице округления используемого аппаратного обеспечения. В случае, когда мнимая часть коэффициента равна нулю для всех частотных полос в пределах временного кадра, для этого кадра нет необходимости в вычислении каких-либо данных MDST. Таким образом, соответственно, преобразование 206 вещественного в мнимое адаптируется к отклику на появление слишком малых значений путем отсутствия генерирования выходного сигнала MDST, посредством чего можно сэкономить вычислительные ресурсы. Однако в вариантах осуществления изобретения, где для генерирования одного кадра данных MDST используется больше кадров, чем текущий кадр, любые элементы в восходящем направлении относительно преобразования 206 должны продолжать действовать соответственно даже тогда, когда спектр MDST не требуется - в частности, второй узел 205 переключения должен продолжать пересылку спектров MDCT - так, чтобы достаточное количество входных данных было уже доступно для преобразования 206 действительного в мнимое уже тогда, когда появится следующий временной кадр, связанный с ненулевым коэффициентом предсказания; разумеется, таким кадром может быть следующий временной блок.

Возвращаясь к фигуре 2, функционирование системы декодирования было описано в предположении, что оба узла 203, 205 переключения установлены в соответствующие режимы ретрансляции. Как будет описано ниже, система декодера также может декодировать сигналы, которые не являются кодированными с предсказанием. Для такого использования второй узел 205 переключения устанавливают в суммарно-разностный режим и, соответственно, как указано на иллюстрации, селекторная схема 208 будет установлена в нижнее положение, посредством чего обеспечивается подача сигналов непосредственно к обратному преобразованию 209 из точки расположения источника между TNS-фильтрами 204 и вторым узлом 205 переключения. Для обеспечения корректного декодирования сигнал, соответственно, имеет в точке расположения источника L/R-форму. Поэтому для того, чтобы обеспечить подачу к преобразованию действительного в мнимое корректного среднего (т.е. низведенного) сигнала во все моменты времени (а не, скажем, периодически - левого сигнала), второй узел 205 переключения в ходе декодирования стереофонического сигнала, не подвергавшегося кодированию с предсказанием, предпочтительно устанавливается в суммарно-разностный режим. Как отмечалось выше, кодирование с предсказанием можно для некоторых кадров заменить традиционным прямым или совместным кодированием, на основании, например, данных решения о соотношении скорости и качества звука. Итог этого решения может быть передан из кодера в декодер различными способами, например, при помощи значения специально предназначенного бита-индикатора в каждом кадре, или благодаря отсутствию или наличию значения коэффициента предсказания. После установления указанных фактов роль первого узла 203 переключения становится легко понятной. Действительно, в режиме кодирования без предсказания система декодера может обрабатывать сигналы и в соответствии с прямым (L/R) стереофоническим кодированием, и в соответствии с совместным (M/S) стереофоническим кодированием, и при действии первого узла 203 переключения или в режиме ретрансляции, или в суммарно-разностном режиме можно обеспечивать то, что точка расположения источника будет всегда обеспечена сигналом, кодированным напрямую. Ясно, что узел 203 переключения при функционировании в качестве суммарно-разностной ступени будет преобразовывать входной сигнал в M/S-форме во входной сигнал (подаваемый в необязательные TNS-фильтры 204) в L/R-форме.

Система декодера принимает сигнал о том, следует системе декодера декодировать конкретный временной кадр в режиме кодирования с предсказанием или в режиме кодирования без предсказания. Сигнал о режиме без предсказания может передаваться посредством значения специально предназначенного бита-индикатора в каждом кадре или посредством отсутствия (или нулевого значения) коэффициента предсказания. Режим предсказания может сообщаться аналогично. Особенно благоприятная реализация, которая делает возможным обратный переход на пониженный уровень без каких-либо накладных затрат, использует зарезервированное четвертое значение двухбитного поля ms_mask_present (см. MPEG-2 AAC, документ ISO/IEC 13818-7), которое передается в каждом кадре и определяется следующим образом:

Таблица 1: Определение ms_mask_present в USAC Значение Смысл 00 L/R-кодирование для всех частотных полос 01 Для указания L/R или M/S используется один сигнальный бит на полосу 10 M/S-кодирование для всех частотных полос 11 Зарезервированный

При переопределении значения 11 как имеющего смысл «кодирование с комплексным предсказанием» декодер может действовать во всех режимах совместимости, в частности, в режимах M/S- и L/R-кодирования, без каких-либо потерь скорости передачи битов и по-прежнему является доступным для приема сигнала, указывающего режим кодирования с комплексным предсказанием для соответствующих кадров.

На фиг. 4 изображена система декодера той же общей конструкции, что и система, изображенная на фиг 2, но включающая, по меньшей мере, две другие конструкции. Во-первых, система по фиг. 4 содержит переключатели 404, 411, которые делают возможным применение какой-либо ступени обработки, включающей модификацию в частотной области, в восходящем и/или нисходящем направлении относительно ступени повышающего микширования. Это выполняется, с одной стороны, при помощи первого набора модификаторов 403 в частотной области (изображенных на данной фигуре как синтезирующие TNS-фильтры), предоставляемых совместно с первым переключателем 404 в нисходящем направлении относительно модулей 401 деквантования и первого узла 402 переключения, но в восходящем направлении относительно второго узла 405 переключения, расположенного в восходящем направлении непосредственно перед ступенью 406, 407, 408, 409 повышающего микширования. С другой стороны, система декодера содержит второй набор модификаторов 410 в частотной области, которые предоставляются совместно со вторым переключателем 411 в нисходящем направлении относительно ступени 406, 407, 408, 409 повышающего микширования, но в восходящем направлении относительно ступени 412 обратного преобразования. Преимущественно, как показано на фигуре, каждый модификатор в частотной области расположен параллельно с ретранслирующей линией, которая подключена в восходящем направлении относительно входной стороны модификатора в частотной области и в нисходящем направлении относительно связанного с ней переключателя. Благодаря такой конструкции модификатор в частотной области снабжается данными сигнала во все моменты времени, что делает возможной обработку в частотной области на основе большего количества кадров, чем только текущий кадр. Решение о том, применять первый 403 или второй 410 набор модификаторов в частотной области, может приниматься кодером (и передаваться в битовом потоке) или может основываться на том, применяется ли кодирование с предсказанием, или может основываться на каких-либо иных критериях, найденных подходящими в условиях практического применения. Например, если модификаторами в частотной области являются TNS-фильтры, то для некоторых видов сигналов преимущественным является использование первого набора 403, в то время как использование второго набора 410 может оказаться преимущественным для других видов сигналов. Если итог этого выбора закодирован в битовом потоке, то система декодера будет, соответственно, приводить в действие соответствующий набор TNS-фильтров.

Для облегчения понимания системы декодера, показанной на фиг. 4, следует недвусмысленно отметить, что декодирование сигнала, кодированного напрямую (L/R), происходит тогда, когда α=0 (это подразумевает, что псевдо-L/R и L/R идентичны, и что боковой и остаточный сигналы не отличаются), первый узел 402 переключения находится в режиме ретрансляции, второй узел переключения находится в суммарно-разностном режиме, что, таким образом, приводит к тому, что сигнал между вторым узлом 405 переключения и суммарно-разностной ступенью 409 ступени повышающего микширования имеет M/S-форму. Тогда, поскольку ступень повышающего микширования будет эффективно представлять собой ретранслирующую ступень, неважно, какой набор модификаторов будет приведен в действие (с использованием соответствующих переключателей 404, 411), первый или второй.

На фиг.3 изображена система декодера согласно одному из вариантов осуществления изобретения, который, по отношению к вариантам по фиг. 2 и 4, представляет другой подход к созданию данных MDST, необходимых для повышающего микширования. Как и уже описанные системы декодера, система по фиг. 3 содержит модули 301 деквантования, первый узел 302 переключения, действующий или в режиме ретрансляции, или в суммарно-разностном режиме, и (синтезирующие) TNS-фильтры 303, которые последовательно расположены, начиная от входного конца системы декодера. Модули в нисходящем направлении от этой точки выборочно используются посредством двух вторых переключателей 305, 310, которые предпочтительно действуют совместно так, чтобы они оба находились или в верхних положениях или в нижних положениях, как указано на фигуре. На выходном конце системы декодера находится суммарно-разностная ступень 312 и, непосредственно перед ней в восходящем направлении, два модуля 306, 311 обратного MDCT, предназначенные для преобразования представления каждого из каналов в области MDCT в представление во временной области.

При декодировании с комплексным предсказанием, где система декодера снабжается битовым потоком, в котором закодированы низведенный/остаточный стереофонический сигнал и значения коэффициента комплексного предсказания, первый узел 302 переключения устанавливается в режим ретрансляции, а вторые переключатели 305, 310 устанавливаются в верхнее положение. В нисходящем направлении относительно TNS-фильтров два канала (деквантованного, TNS-фильтрованного, MDCT) стереофонического сигнала обрабатываются по-разному. Низведенный сигнал подается, с одной стороны, в умножитель и сумматор 308, который добавляет MDCT-представление низведенного канала, взвешенное по действительной части α_R коэффициента предсказания, к MDCT-представлению остаточного канала, и, с другой стороны, к одному из модулей 306 обратного MDCT-преобразования. Представление низведенного канала М во временной области, которое является выходным сигналом из модуля 306 обратного MDCT-преобразования, подается и на конечную суммарно-разностную ступень 312, и в модуль 307 MDST-преобразования. Такое двойное использование представления низведенного канала во временной области является преимущественным с точки зрения вычислительной сложности. Полученное таким образом MDST-представление низведенного канала подается в следующий умножитель и сумматор 309, который после взвешивания по мнимой части α_I коэффициента предсказания добавляет этот сигнал к линейной комбинации на выходе сумматора 308; таким образом, выходной сигнал сумматора 309 представляет собой сигнал бокового канала, . Сходным образом с системой декодера, показанной на фигуре 2, умножители и сумматоры 308, 309 могут быть легко объединены с образованием взвешенного мультисигнального сумматора с входными сигналами MDCT- и MDST-представлений низведенного сигнала, MDCT-представления остаточного сигнала и значения коэффициента комплексного предсказания. В нисходящем направлении от этой точки в настоящем варианте осуществления изобретения перед тем, как сигнал бокового канала подается на конечную суммарно-разностную ступень 312, остается только прохождение через модуль 311 обратного MDCT-преобразования.

Необходимая синхронность в системе декодера может достигаться путем применения одинаковых длин преобразования и форм окон в обоих модулях 306, 311 обратного MDCT-преобразования, что уже применяется на практике в частотноизбирательном M/S- и L/R-кодировании. Комбинацией некоторых вариантов осуществления модуля 306 обратного MDCT-преобразования и некоторых вариантов осуществления модуля 307 MDST вносится задержка на один кадр. Поэтому предоставляется пять необязательных блоков 313 задержки (или команд программного обеспечения - для осуществления этого действия в компьютерной реализации) так, чтобы часть системы, расположенная справа от пунктирной линии, при необходимости могла быть задержана на один кадр относительно левой части. Очевидно, все пересечения между пунктирной линией и линиями связи снабжаются блоками задержки за исключением линии связи между модулем 306 обратного MDCT-преобразования и модулем 307 MDST-преобразования, которая находится там, где возникающая задержка нуждается в компенсации.

Вычисление данных MDST для одного временного кадра требует данных одного кадра из представления во временной области. Однако обратное MDCT-преобразование основывается на одном (текущем), двух (предпочтительно - предыдущем и текущем) или трех (предпочтительно - предыдущем, текущем и последующем) последовательных кадрах. В силу хорошо известного подавления боковых низкочастотных составляющих (TDAC), связанного с MDCT, трехкадровая возможность выполняет полное перекрывание входных кадров и, таким образом, обеспечивает наилучшую (и, вероятно, совершенную) точность, по меньшей мере, для кадров, содержащих боковые низкочастотные составляющие во временной области. Ясно, что трехкадровое обратное MDCT действует с задержкой на один кадр. Допуская использование приближенного представления во временной области в качестве входного сигнала в MDST-преобразование, можно избежать этой задержки и, таким образом, необходимости в компенсации задержек между различными частями системы декодера. В двухкадровой возможности в более ранней половине кадра возникает наложение/сложение, делающее возможным TDAC, и боковые низкочастотные составляющие могут присутствовать только в более поздней половине кадра. В однокадровой возможности отсутствие TDAC подразумевает, что в кадре могут появляться боковые низкочастотные составляющие; однако MDST-представление, достигаемое таким образом и используемое в качестве промежуточного сигнала в кодировании с комплексным предсказанием, может по-прежнему обеспечивать удовлетворительное качество.

Система декодирования, изображенная на фиг. 3, также может действовать в двух режимах декодирования без предсказания. Для декодирования L/R-стереофонического сигнала, кодированного напрямую, вторые переключатели 305, 310 устанавливают в нижнее положение, и первый узел 302 переключения устанавливают в режим ретрансляции. Таким образом, сигнал имеет L/R-форму в восходящем направлении относительно суммарно-разностной ступени 304, которая преобразовывает его в M/S-форму, на которой происходит обратное MDCT-преобразование и суммарно-разностная операция. Для декодирования стереофонического сигнала, представленного в совместно кодированной M/S-форме первый узел 302 переключения вместо этого устанавливают в суммарно-разностный режим так, чтобы сигнал между первым узлом 302 переключения и суммарно-разностной ступенью 304 имел L/R-форму, которая с точки зрения TNS-фильтрации часто является более подходящей, чем могла бы быть M/S-форма. Обработка в нисходящем направлении относительно суммарно-разностного этапа 304 идентична обработке в случае прямого L/R-декодирования.

На фиг. 14 изображены три обобщенные блок-схемы декодеров согласно вариантам осуществления изобретения. В отличие от некоторых других блок-схем, сопровождающих данную заявку, линия связи на фиг. 14 может символизировать многоканальный сигнал. В частности, указанная линия связи может располагаться для передачи стереофонического сигнала, включающего левый/правый, средний/боковой, низведенный/остаточный, псевдо-левый/псевдо-правый каналы и другие комбинации.

На фиг. 14А изображена система декодера, предназначенная для декодирования представления входного сигнала в частотной области (указываемого для целей данной фигуры как MDCT-представление). Система декодера адаптирована для передачи в качестве выходного сигнала представления стереофонического сигнала во временной области, которое генерируется на основе входного сигнала. Для того чтобы иметь возможность декодировать входной сигнал, закодированный посредством стереофонического кодирования с комплексным предсказанием, система декодера оснащается ступенью 1410 повышающего микширования. Однако она также способна манипулировать с входным сигналом, закодированным в других форматах, и, возможно, с сигналом, который чередуется во времени между несколькими форматами кодирования, например, за последовательностью временных кадров, закодированной посредством кодирования с комплексным предсказанием, может следовать временной участок, закодированный посредством прямого левого/правого кодирования. Способность системы декодера манипулировать с различными форматами кодирования достигается путем создания линии связи (ретрансляционной), расположенной параллельно указанной ступени 1410 повышающего микширования. Посредством переключателя 1411 можно выбирать, какой сигнал, выходной сигнал ступени 1410 повышающего микширования (нижнее положение переключателя на фигуре) или необработанный сигнал, доступный над линией связи (верхнее положение переключателя на фигуре), будет подаваться в модули декодера, расположенные дальше в нисходящем направлении. В данном варианте осуществления изобретения модуль 1412 обратного MDCT, который преобразовывает MDCT-представление сигнала в представление во временной области, расположен в нисходящем направлении относительно переключателя. Например, сигнал, подаваемый на ступень 1410 повышающего микширования, может представлять собой стереофонический сигнал в низведенной/остаточной форме. Ступень 1410 повышающего микширования адаптирована для получения бокового сигнала и для выполнения суммарно-разностной операции так, чтобы выходным сигналом являлся левый/правый стереофонический сигнал (в области MDCT).

На фиг. 14В изображена система декодера, подобная системе по фиг. 14А. Настоящая система адаптирована для приема битового потока в качестве ее входного сигнала. Первоначально битовый поток обрабатывается комбинированным модулем 1420 демультиплексора и деквантования, который создает в качестве первого выходного сигнала MDCT-представление многоканального стереофонического сигнала для дальнейшей обработки, которая определяется положением переключателя 1422, имеющего ту же функцию, что и переключатель 1411 на фиг. 14А. Точнее, переключатель 1422 определяет, должен ли первый выходной сигнал из демультиплексора и деквантования обрабатываться ступенью 1421 повышающего микширования и модулем 1423 обратного MDCT (нижнее положение) или только модулем 1423 обратного MDCT (верхнее положение). Комбинированный модуль 1420 демультиплексора и деквантования также выводит управляющую информацию. В настоящем случае управляющая информация, связанная со стереофоническим сигналом, может включать данные, указывающие на то, какое из положений переключателя 1422, нижнее или верхнее, подходит для декодирования сигнала, или, более абстрактно, согласно какому формату кодирования должен декодироваться стереофонический сигнал. Управляющая информация также может включать параметры для регулировки свойств ступени 1421 повышающего микширования, например, значение коэффициента комплексного предсказания α, использованного при кодировании с комплексным предсказанием, как уже описано выше.

На фиг. 14С изображена система декодера, которая, в дополнение к объектам, аналогичным таковым на фиг. 14 В, содержит первое и второе устройства 1431, 1435 модификации в частотной области, расположенные, соответственно, в восходящем и нисходящем направлениях относительно ступени 1433 повышающего микширования. Для целей данной фигуры каждое устройство модификации в частотной области проиллюстрировано TNS-фильтром. Однако под термином «устройство модификации в частотной области» также могут пониматься и иные процессы, чем TNS-фильтрация, для которых допустимо применение или перед ступенью, или после ступени повышающего микширования. Примеры модификаций в частотной области включают предсказание, накопление помех, растягивание полосы пропускания и нелинейную обработку. Психоакустические соображения и сходные причины, которые, возможно, включают свойства сигнала, подвергаемого обработке, и/или конфигурацию или настройки устройства модификации в частотной области, иногда указывают, что преимущественным является применение указанной модификации в частотной области в восходящем, а не в нисходящем направлении относительно ступени 1433 повышающего микширования. В других случаях путем сходных соображений может быть установлено, что расположение модификации в частотной области в нисходящем направлении более предпочтительно, чем расположение в восходящем направлении. Посредством переключателей 1432, 1436 устройства 1431, 1435 модификации в частотной области могут быть выборочно приведены в действие с тем, чтобы система декодера могла выбирать требуемую конфигурацию в ответ на управляющую информацию. Например, на фиг. 14С изображена конфигурация, в которой стереофонический сигнал из комбинированного модуля 1430 демультиплексора и деквантования вначале обрабатывается первым устройством 1431 модификации в частотной области, затем подается на ступень 1433 повышающего микширования и, в конечном итоге, направляется непосредственно в модуль 1437 обратного MDCT без прохождения через второе устройство 1435 модификации в частотной области. Как разъясняется в разделе «Краткое описание изобретения», в кодировании с комплексным предсказанием данная конфигурация является предпочтительнее возможности выполнения TNS после повышающего микширования.

II. Системы кодера

Система кодера согласно изобретению будет описана ниже с отсылкой к фиг. 5, на которой изображена обобщенная блок-схема системы кодера, предназначенной для кодирования левого/правого (L/R) стереофонического сигнала как выходного битового потока посредством кодирования с комплексным предсказанием. Система кодера принимает представление сигнала во временной или в частотной области и подает его на ступень понижающего микширования и в оцениватель коэффициента предсказания. Действительные и мнимые части коэффициентов предсказания передаются на ступень понижающего микширования для управления преобразованием левого и правого каналов в низведенный и остаточный каналы, которые затем подаются в конечный мультиплексор MUX. Если сигнал не подается в кодер как представление в частотной области, то он преобразовывается в такое представление на ступени понижающего микширования или в мультиплексоре.

Одним из принципов кодирования с предсказанием является преобразование левого/правого сигнала в среднюю/боковую форму, т.е.:

,

а затем использование остаточной корреляции между этими каналами, т.е. задание

,

где α - коэффициент комплексного предсказания, который требуется определить, и D - остаточный сигнал. Можно выбрать α так, чтобы энергия остаточного сигнала была минимизирована. Минимизация энергии может производиться относительно мгновенной мощности, кратко- или долговременной энергии (средней мощности), что в случае дискретного сигнала равносильно оптимизации в значении наименьших квадратов.

Действительная и мнимая части α_R, α_I коэффициента предсказания могут квантоваться и/или кодироваться совместно. Предпочтительно, однако, чтобы действительная и мнимая части квантовались независимо и единообразно, как правило, с величиной шага 0,1 (безразмерное число). В соответствии со стандартом MPEG, разрешающая способность полосы частот, используемая для коэффициента комплексного предсказания, необязательно аналогична разрешающей способности для полос масштабных коэффициентов (sfb; т.е. группы линий MDCT, которые используют одну и ту же величину шага MDCT-квантования и диапазон квантования). В частности, разрешающая способность полосы частот для коэффициента предсказания может быть обоснованной психоакустически, как, например, шкала Барка. Следует отметить, что разрешающая способность полосы частот может изменяться в случаях изменения длины преобразования.

Как уже отмечалось, система кодера согласно изобретению может иметь свободу в том, применять стереофоническое кодирование с предсказанием или нет, где последний случай подразумевает обратный переход на пониженный уровень - к L/R- или M/S-кодированию. Указанное решение может приниматься на основе временного кадра или, тоньше, на основе полосы частот в пределах временного кадра. Как отмечалось выше, отрицательный результат принятия решения может сообщаться декодирующему объекту различными способами, например, посредством значения специально предназначенного бита-индикатора в каждом кадре, или по отсутствию (или нулевой величине) значения коэффициента предсказания. Положительное решение может передаваться аналогично. Особенно преимущественная реализация, которая делает возможным обратный переход на пониженный уровень без каких-либо накладных затрат, использует зарезервированное четвертое значение двухбитного поля ms_mask_present (см. MPEG-2 AAC, документ ISO/IEC 131818-7), которое передается в каждом кадре и определяется следующим образом:

Таблица 1: Определение ms_mask_present в USAC Значение Смысл 00 L/R-кодирование для всех частотных полос 01 Для указания L/R- или M/S используется один сигнальный бит на полосу 10 M/S-кодирование для всех частотных полос 11 Зарезервированное

При переопределении значения 11 так, чтобы оно означало «кодирование с комплексным предсказанием», кодер может действовать во всех режимах совместимости, в частности, в режимах M/S- и L/R-кодирования, без какой-либо потери скорости передачи битов и по-прежнему способен передавать сигнал о кодировании с комплексным предсказанием для тех кадров, где оно является преимущественным.

Соответствующее решение может основываться на соображениях о соотношении скорости передачи битов и качества звука. В качестве меры качества могут использоваться данные, полученные с использованием психоакустической модели, включенной в кодер (как часто бывает в случае имеющихся в наличии кодеров звука на основе MDCT). В частности, некоторые варианты осуществления кодера предоставляют выбор коэффициента предсказания, оптимизированного на основе соотношения скорости и искажений. Соответственно, в таких вариантах осуществления изобретения мнимая часть, а, возможно, также и действительная часть, - коэффициента предсказания приравнивается к нулю в случае, если выигрыш от предсказания не экономит достаточно битов для кодирования остаточного сигнала так, чтобы это оправдывало затраты битов, необходимых для кодирования коэффициента предсказания.

Варианты осуществления кодера могут кодировать информацию, относящуюся к TNS, в битовом потоке. Эта информация может включать значения параметров TNS, которые применяются (синтезирующими) TNS-фильтрами на стороне декодера. Если для обоих каналов используются идентичные наборы параметров TNS, более экономным является включение сигнального бита, указывающего на эту идентичность наборов параметров, а не независимая передача двух наборов параметров. Также может быть включена информация о том, следует применять TNS перед или после ступени повышающего микширования, как дóлжно на основании, например, психоакустической оценки обеих доступных возможностей.

В качестве еще одного необязательного характерного признака, который является потенциально полезным с точки зрения сложности и скорости передачи битов, кодер может быть адаптирован для использования индивидуально ограниченной полосы пропускания при кодировании остаточного сигнала. Полосы частот выше этого предела не будут передаваться в декодер, но будут приравнены нулю. В некоторых случаях, самые высокочастотные полосы имеют настолько малый запас энергии, что они уже квантованы в нуль. В стандартной практике (ср. с параметром max_sfb в стандарте MPEG) обычно используется одинаковое ограничение полосы пропускания как для низведенного, так и для остаточного сигналов. В настоящее время авторы изобретения экспериментально обнаружили, что остаточный сигнал в большей степени, чем низведенный сигнал, содержит запас энергии локализованным в полосах менее высоких частот. Поэтому, помещая специально предназначенный верхний предел полосы пропускания на остаточный сигнал, можно понизить скорость передачи битов без существенной потери качества. Например, это может быть выполнено путем передачи двух независимых параметров max_sfb: одного - для низведенного сигнала, и одного - для остаточного сигнала.

Следует отметить, что, хотя вопросы оптимального определения коэффициента предсказания, его квантования и кодирования, обратного перехода на пониженный уровень в режим M/S или L/R, TNS-фильтрации, верхнего ограничения полосы пропускания и т.д. обсуждались в отношении системы декодера, показанной на фигуре 5, те же факты в равной степени применимы и к вариантам осуществления изобретения, которые будут раскрыты ниже с отсылкой к последующим фигурам.

На фиг. 6 изображена другая система кодера согласно изобретению, адаптированная для выполнения стереофонического кодирования с комплексным предсказанием. Система принимает в качестве входного сигнала представление стереофонического сигнала во временной области, сегментированного на последовательные, возможно, перекрывающиеся временные кадры и включающего левый и правый каналы. Суммарно-разностная ступень 601 преобразовывает сигнал в средний и боковой каналы. Средний канал подается и в модуль 602 MDCT и в модуль 603 MDST, в то время как боковой канал подается только в модуль 604 MDCT. Оцениватель 605 коэффициента предсказания оценивает для каждого временного кадра и, возможно, для отдельных частотных полос в пределах кадра, значение коэффициента комплексного предсказания α, как разъяснялось выше. Значение коэффициента α подается в качестве весового коэффициента во взвешенные сумматоры 606, 607, которые формируют остаточный сигнал D как линейную комбинацию MDCT- и MDST-представлений среднего сигнала и MDCT-представления бокового сигнала. Предпочтительно, коэффициент комплексного предсказания подается во взвешенные сумматоры 606, 607, представленные той же схемой квантования, которая будет использоваться при его кодировании в битовый поток; это, очевидно, обеспечивает более достоверную реконструкцию, поскольку и кодер, и декодер применяют одно и то же значение коэффициента предсказания. Остаточный сигнал, средний сигнал (который, более соответственно, называется низведенным сигналом тогда, когда он возникает в сочетании с остаточным сигналом) и коэффициент предсказания подаются на комбинированную ступень 608 квантования и мультиплексора, которая кодирует их и возможную дополнительную информацию в выходной битовый поток.

На фиг. 7 изображено изменение системы кодера по фиг. 6. Как видно из сходства символов на фигуре, она имеет сходную конструкцию, но также содержит и дополнительную функцию действия в режиме обратного перехода на пониженный уровень прямого L/R-кодирования. Система кодера приводится в действие между режимом кодирования с комплексным предсказанием и режимом обратного перехода на пониженный уровень посредством переключателя 710, предусмотренного в восходящем направлении непосредственно перед комбинированной ступенью 709 квантования и мультиплексора. В верхнем положении, как показано на фигуре, переключатель 710 будет приводить к действию кодера в режиме обратного перехода на пониженный уровень. Из точек в нисходящем направлении непосредственно за модулями 702, 704 MDCT средний/боковой сигнал подается на суммарно-разностную ступень 705, которая после преобразования в левую/правую форму пропускает его к переключателю 710, который связывает его с комбинированной ступенью 709 квантования и мультиплексора.

На фиг. 8 изображена система кодера согласно настоящему изобретению. В отличие от систем кодера по фиг. 6 и 7, данный вариант осуществления изобретения получает данные MDST, необходимые для кодирования с комплексным предсказанием, непосредственно из данных MDCT, т.е. путем преобразования действительного в мнимое в частотной области. Преобразование действительного в мнимое применяет какой-либо из подходов, описанных в связи с системами декодера по фигурам 2 и 4. Для того, чтобы могло выполняться достоверное декодирование, важно, чтобы способ вычисления в декодере совпадал со способом вычисления в кодере; предпочтительно, на стороне кодера и на стороне декодера используются одинаковые способы преобразования действительного в мнимое. Как и для вариантов осуществления декодера, участок А, окруженный пунктирной линией и включающий преобразование 804 действительного в мнимое, может быть замещен приближенными вариантами с использованием в качестве входных данных меньшего количества входных временных кадров. Аналогично, кодирование может быть упрощено с использованием любого из описанных выше, или какого-либо другого, приближенного метода.

На более высоком уровне система 8 обладает конструкцией, отличающейся от конструкции, которая могла бы следовать за прямым действием по замещению модуля MDST на фиг. 7 (надлежащим образом подключенным) модулем преобразования действительного в мнимое. Настоящая архитектура понятна и выполняет функцию переключения между кодированием с предсказанием и прямым L/R-кодированием устойчивым и вычислительно экономичным способом. Входной стереофонический сигнал подается в модули 801 MDCT-преобразования, которые выводят представление каждого из каналов в частотной области. Оно подается и в конечный переключатель 808 для приведения в действие системы кодера между режимами кодирования с предсказанием и прямого кодирования, и на суммарно-разностную ступень 802. При прямом L/R-кодировании, или совместном M/S-кодировании, которое осуществляется на временном кадре, для которого коэффициент предсказания приравнен к нулю, данный вариант осуществления изобретения подвергает входной сигнал только MDCT-преобразованию, квантованию и мультиплексированию, где последние два этапа выполняются комбинированной ступенью 807 квантования и мультиплексора, расположенной на выходном конце системы, в которую подается битовый поток. При кодировании с предсказанием каждый из каналов претерпевает дальнейшую обработку между суммарно-разностной ступенью 802 и переключателем 808. Из MDCT-представления среднего сигнала преобразование 804 действительного в мнимое получает данные MDST и направляет их и в оцениватель 803 коэффициента предсказания и во взвешенный сумматор 806. Как и в системах кодера по фиг. 6 и 7, следующий взвешенный сумматор 805 используется для объединения бокового сигнала с взвешенными MDCT- и MDST-представлениями среднего сигнала с целью формирования сигнала остаточного канала, который кодируется совместно с сигналом среднего (т.е. низведенного) канала и с коэффициентом предсказания при помощи комбинированного модуля 807 квантования и мультиплексора.

При рассмотрении фиг. 9 будет проиллюстрировано, что каждый из вариантов осуществления системы кодера может быть объединен с одним или несколькими (анализирующими) TNS-фильтрами. В соответствии с предыдущими обсуждениями, часто преимущественным является применение TNS-фильтрации к сигналу в его низведенной форме. Поэтому, как показано на фиг. 9, адаптация системы кодера по фиг. 7 для включения в нее TNS выполняется путем добавления TNS-фильтров 911 в восходящем направлении непосредственно перед комбинированным модулем 909 квантования и мультиплексора.

Вместо правого/остаточного TNS-фильтра 911b в нисходящем направлении непосредственно за участком переключателя 910, адаптированного для манипуляций с правым, или остаточным, каналом, могут предоставляться два отдельных TNS-фильтра (не показаны). Таким образом, каждый из двух TNS-фильтров будет снабжаться данными сигнала соответствующего канала во все моменты времени, что делает возможной TNS-фильтрацию на основе одного или нескольких временных кадров, а не только текущего кадра. Как уже было отмечено, TNS-фильтры являются всего лишь примером устройств модификации в частотной области, в особенности устройств, основывающих обработку на большем количестве кадров, чем только текущий кадр, которые при таком расположении могут извлекать такую же или бóльшую выгоду, чем извлекает TNS-фильтр.

В качестве другой возможной альтернативы варианту осуществления изобретения, показанному на фиг. 9, TNS-фильтры, предназначенные для выборочного приведения в действие, могут быть расположены более чем в одной точке для каждого канала. Эта конструкция сходна с конструкцией системы декодера, показанной на фиг. 4, где разные наборы TNS-фильтров могут быть связаны посредством переключателей. Это позволяет делать выбор наиболее подходящей ступени при TNS-фильтрации для каждого временного кадра. В частности, может оказаться преимущественным переключение между различными положениями TNS в связи с переключением между стереофоническим кодированием с комплексным предсказанием и другими режимами кодирования.

На фиг. 11 изображено изменение, основанное на системе кодера по фиг. 8, в котором посредством преобразования 1105 действительного в мнимое получается второе представление низведенного сигнала в частотной области. Аналогично системе декодера, показанной на фиг. 4, данная система кодера также содержит выборочно приводимые в действие модули модификаторов в частотной области: один - 1102 - предоставляемый в восходящем направлении относительно ступени понижающего микширования, и один - 1109 - предоставляемый в нисходящем направлении относительно этой ступени. Модули 1102, 1109 модификации в частотной области, которые на данной фигуре представлены на примере TNS-фильтров, могут связываться с каждым из трактов сигнала с использованием четырех переключателей 1103a, 1103b, 1109a и 1109b.

III. Неаппаратные варианты осуществления изобретения

Варианты осуществления третьей и четвертой особенностей изобретения показаны на фиг. 15 и 16. На фиг. 15 изображен способ декодирования битового потока в стереофонический сигнал, который содержит следующие этапы:

1. Входным сигналом является битовый поток.

2. Битовый поток деквантуется, посредством чего получается представление низведенного и остаточного каналов в частотной области.

3. Вычисляется второе представление низведенного канала в частотной области.

4. На основе трех представлений каналов в частотной области вычисляется сигнал бокового канала.

5. На основе бокового и низведенного каналов вычисляется стереофонический сигнал, преимущественно, в левой/правой форме.

6. Выходным сигналом является полученный таким образом стереофонический сигнал.

Этапы 3-5 можно рассматривать как процесс повышающего микширования. Каждый из этапов 1-6 аналогичен соответствующей функции в любой из систем декодера, раскрытых в предыдущих частях данного текста, и в тех же частях могут быть отысканы остальные подробности, относящиеся к их реализации.

На фиг. 16 изображен способ кодирования стереофонического сигнала в качестве сигнала битового потока, который содержит следующие этапы:

1. Входным сигналом является стереофонический сигнал.

2. Стереофонический сигнал преобразовывается в первое представление в частотной области.

3. Определяется коэффициент комплексного предсказания.

4. Представление в частотной области подвергается понижающему микшированию.

5. Низведенный и остаточный сигналы кодируются как битовый поток совместно с коэффициентом комплексного предсказания.

6. Выходным сигналом является битовый поток.

Каждый из этапов 1-5 аналогичен соответствующей функции в любой из систем кодера, раскрытых в предыдущих частях данного текста, и в тех же частях могут быть отысканы остальные подробности, относящиеся к их реализации.

Оба способа могут быть выражены как машиночитаемые команды в форме программ, реализованных программно, и могут исполняться компьютером. Объем защиты настоящего изобретения распространяется на указанное программное обеспечение и компьютерные программные продукты, предназначенные для распространения указанного программного обеспечения.

IV. Экспериментальная оценка

Некоторые из раскрытых в данном документе вариантов осуществления изобретения были количественно оценены экспериментально. В данном подразделе будут суммированы наиболее важные части полученного в этом процессе экспериментального материала.

Вариант осуществления изобретения, использованный для экспериментов, имел следующие характеристики:

(i) каждый спектр MDST (для временного кадра) вычислялся посредством фильтрации с двумерной конечной импульсной характеристикой из текущего, предыдущего и следующего спектров MDCT.

(ii) Использовалась психоакустическая модель из стереофонического кодера USAC.

(iii) Вместо параметров PS, ICC, CLD и IPD, передавались действительная и мнимая части коэффициента комплексного предсказания. Действительная и мнимая части обрабатывались независимо, ограничивались интервалом [-3,0, 3,0] и квантовались с использованием величины шага 0,1. Затем они кодировались с дифференцированием по времени и в конце кодировались по Хаффману с использованием кодового словаря масштабных коэффициентов USAC. Коэффициенты предсказания обновлялись в каждой второй полосе масштабных коэффициентов, что приводило к разрешающей способности по частоте, которая близка к таковой для MPEG Surround (см., например, ISO/IEC 230031). Данная схема квантования и кодирования приводит к средней скорости передачи битов, приблизительно, 2 Кбит/с для указанной стереофонической вспомогательной информации в типичной конфигурации с целевой скоростью передачи битов 96 Кбит/с.

(iv) Формат битового потока был модифицирован без разрыва текущих битовых потоков USAC, поскольку 2-битный элемент битового потока ms_mask_present в текущий момент времени имеет только три возможных значения. Использование четвертого значения для указания комплексного предсказания допускает режим обратного перехода на пониженный уровень среднего/бокового кодирования без потери битов (дальнейшие подробности по этой теме см. в предыдущем подразделе данного раскрытия).

Испытательные прослушивания выполнялись в соответствии с методом MUSHRA, который заключается в индивидуальном проигрывании через наушники и в использовании 8 испытуемых элементов с частотой дискретизации 48 КГц. В данном испытании принимали участие три, пять или шесть испытуемых объектов.

Влияние различных приближений MDST оценивалось с целью иллюстрации практического компромисса между сложностью и качеством, который существует между указанными возможностями. Результаты находятся на фигурах 12 и 13, где первая фигура показывает полученные абсолютные оценки, и последняя показывает дифференциальные оценки относительно 96s USAC cplf, т.е. относительно унифицированного стереофонического кодирования в области MDCT с комплексным предсказанием с использованием для вычисления приближения MDST текущего кадра MDCT. Как можно видеть, выигрыш в качестве, достигаемый унифицированным стереофоническим кодированием на основе MDCT, увеличивается, когда для вычисления спектра MDST применяются вычислительно более сложные подходы. В отношении среднего общего испытания система 96s USAC cplf на основе одного кадра обеспечивает значительное увеличение эффективности кодирования по сравнению с традиционным стереофоническим кодированием. В свою очередь, даже еще лучшие результаты получаются для 96s USAC cp3f, а именно: унифицированного стереофонического кодирования в области MDCT с комплексным предсказанием с использованием для вычисления MDST текущего, предыдущего и следующего кадров MDCT.

V. Заключительные замечания

Дальнейшие варианты осуществления настоящего изобретения будут ясны специалистам в данной области после прочтения приведенного выше описания. И хотя настоящее описание и графические материалы раскрывают варианты осуществления изобретения и примеры, изобретение не ограничивается этими конкретными примерами. Многочисленные модификации и изменения могут быть внесены без отступления от объема настоящего изобретения, который определен сопроводительной формулой изобретения.

Следует отметить, что способы и устройство, раскрытые в данной заявке, после соответствующих модификаций могут быть применены в пределах возможностей специалиста, включая типовые эксперименты, для кодирования сигналов, содержащих больше двух каналов. Особенно следует подчеркнуть, что любые сигналы, параметры и матрицы, упоминаемые в связи с описанными вариантами осуществления изобретения, могут быть зависящими от частоты или независящими от частоты и/или зависящими от времени или независящими от времени. Описанные этапы вычислений могут осуществляться почастотно или для всех частотных полос в момент времени, и все объекты могут осуществляться так, чтобы они обладали частотноизбирательным действием. Для целей заявки любые схемы квантования могут адаптироваться в соответствии с психоакустическими моделями. Кроме того, следует отметить, что все различные суммарно-разностные преобразования, т.е. преобразования из низведенной/остаточной формы в псевдо-L/R-форму, а также преобразование L/R в M/S и преобразование M/S в L/R, имеют форму

,

где может изменяться только коэффициент усиления g. Таким образом, регулируя коэффициенты усиления по отдельности, определенный коэффициент усиления при кодировании можно компенсировать путем соответствующего выбора коэффициента усиления при декодировании. Кроме того, как понятно специалистам в данной области, четное количество последовательно расположенных суммарно-разностных преобразований дает эффект ретранслирующей ступени, возможно, с неединичным коэффициентом усиления.

Системы и способы, описанные выше, могут быть реализованы в виде программного обеспечения, программно-аппаратного обеспечения, аппаратного обеспечения или их комбинации. Некоторые компоненты или все компоненты могут быть реализованы в виде программного обеспечения, исполняемого процессором обработки цифровых сигналов или микропроцессором, или быть реализованы в виде аппаратного обеспечения или в виде специализированной интегральной микросхемы. Указанное программное обеспечение может распространяться на машиночитаемых носителях, которые могут содержать компьютерные носители данных и средства связи. Как хорошо известно специалистам в данной области, компьютерные носители данных включают энергозависимые, энергонезависимые, съемные и несъемные носители, использующиеся в любом способе или технологии для хранения в памяти информации, такой как машиночитаемые команды, структуры данных, программные модули или другие данные. Компьютерные носители данных в качестве неограничивающих примеров включают RAM, ROM, EEPROM, флеш-память или другие технологии памяти, CD-ROM, компакт-диски формата DVD или другие оптические дисковые носители, кассеты с магнитной лентой, магнитную ленту, магнитные дисковые носители или другие магнитные устройства хранения информации, или любой другой носитель, который можно использовать для хранения в памяти нужной информации и который может быть доступен компьютеру. Кроме того, специалистам в данной области известно, что средства связи, как правило, заключают в себе машиночитаемые команды, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой механизм передачи, и включают любые средства доставки информации.

Изобретение относится к средствам для стереофонического кодирования и декодирования с использованием комплексного предсказания в частотной области. Технический результат заключается в повышении скорости кодирования в диапазоне высоких скоростей передачи битов. Способ декодирования, предназначенный для получения выходного стереофонического сигнала из входного стереофонического сигнала, закодированного посредством стереофонического кодирования с комплексным предсказанием и включающего первые представления двух входных каналов в частотной области, содержит следующие этапы повышающего микширования: (i) вычисление второго представления первого входного канала в частотной области, и (ii) вычисление выходного канала на основе первого и второго представлений первого входного канала в частотной области, первого представления второго входного канала в частотной области и коэффициента комплексного предсказания. 2 н.з. и 12 з.п. ф-лы, 19 ил., 1 табл.

1. Система декодера, предназначенная для создания стереофонического сигнала посредством стереофонического кодирования с комплексным предсказанием, где система декодера содержит:
ступень (206, 207, 210, 211; 306, 307, 308, 309, 312; 406, 407, 408, 409; 1410; 1421; 1433) повышающего микширования, адаптированную для генерирования стереофонического сигнала на основе первых представлений низведенного сигнала (М) и остаточного сигнала (D) в частотной области, где каждое из первых представлений в частотной области содержит первые спектральные составляющие, которые представляют спектральный состав соответствующего сигнала, выраженного в первом подпространстве многомерного пространства, где ступень повышающего микширования содержит:
модуль (206; 306, 307; 408), предназначенный для вычисления второго представления низведенного сигнала в частотной области на основе его первого представления в частотной области, где второе представление в частотной области содержит вторые спектральные составляющие, представляющие спектральный состав сигнала, выраженного во втором подпространстве многомерного пространства, которое содержит часть многомерного пространства, не включенную в первое подпространство;
взвешенный сумматор (210, 211; 308, 309; 406, 407), предназначенный для вычисления бокового сигнала (S) на основе первого и второго представлений низведенного сигнала в частотной области, первого представления остаточного сигнала в частотной области и коэффициента (α) комплексного предсказания, закодированного в сигнале битового потока; и
суммарно-разностную ступень (207; 312; 409), предназначенную для вычисления стереофонического сигнала на основе первого представления низведенного сигнала в частотной области и бокового сигнала;
где ступень повышающего микширования адаптирована для применения независимых пределов полос пропускания для низведенного сигнала и остаточного сигнала.

2. Система декодера по п.1, отличающаяся тем, что сигналы о применении пределов полос пропускания передаются посредством двух полей данных, указывающих для каждого из сигналов самую высокую частотную полосу, которую следует декодировать.

3. Система декодера по п.2, адаптированная для приема битового потока MPEG, в котором указанное поле данных закодировано как значение max_sfb.

4. Система декодера по п.1, отличающаяся тем, что также содержит:
ступень деквантования (202; 301; 401), расположенную в восходящем направлении относительно ступени повышающего микширования, предназначенную для создания указанных первых представлений низведенного сигнала (М) и остаточного сигнала (D) в частотной области на основе сигнала битового потока.

5. Система декодера по п.1, отличающаяся тем, что:
первые спектральные составляющие имеют действительные значения, выраженные в первом подпространстве;
вторые спектральные составляющие имеют мнимые значения, выраженные во втором подпространстве;
необязательно, первые спектральные составляющие могут быть получены с помощью:
дискретного косинусного преобразования, DCT, или
модифицированного дискретного косинусного преобразования, МDCT,
и, необязательно, вторые спектральные составляющие могут быть получены с помощью:
дискретного синусного преобразования, DST, или
модифицированного дискретного синусного преобразования, МDST.

6. Система декодера по п.1, отличающаяся тем, что также содержит, по меньшей мере, один модуль (204; 303; 403) временного ограничения шума, TNS, расположенный в восходящем направлении относительно ступени повышающего микширования; и
по меньшей мере один дополнительный модуль (410) TNS, расположенный в нисходящем направлении относительно ступени повышающего микширования; и
селекторную схему (404, 411), предназначенную для выборочного приведения в действие:
(a) указанного модуля (модулей) TNS в восходящем направлении относительно ступени повышающего микширования, или
(b) указанного дополнительного модуля (модулей) TNS в нисходящем направлении относительно ступени повышающего микширования.

7. Система декодера по п.5, отличающаяся тем, что:
низведенный сигнал разделен на последовательные временные кадры, каждый из которых связан со значением коэффициента комплексного предсказания; и
модуль для вычисления второго представления низведенного сигнала в частотной области адаптирован для самостоятельного отключения в ответ на то, что абсолютное значение мнимой части коэффициента комплексного предсказания меньше предварительно определенного допуска для временного кадра, и, таким образом, он не генерирует выходной сигнал для этого временного кадра.

8. Система декодера по п.1, отличающаяся тем, что:
первые спектральные составляющие представляют собой коэффициенты преобразования, расположенные в одном или нескольких временных кадрах коэффициентов преобразования, и каждый блок сгенерирован путем применения преобразования к временному отрезку сигнала во временной области; и
модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптирован для:
получения одной или нескольких первых промежуточных составляющих из, по меньшей мере, некоторых из первых спектральных составляющих;
формирования комбинации указанной одной или нескольких первых спектральных составляющих в соответствии с, по меньшей мере, частью одной или нескольких импульсных характеристик с целью получения одной или нескольких вторых промежуточных составляющих; и
получения указанной одной или нескольких вторых спектральных составляющих из указанной одной или нескольких вторых промежуточных составляющих.

9. Система декодера по п.8, отличающаяся тем, что модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптирован для получения каждого временного кадра вторых спектральных составляющих на основе одного из следующего:
(a) одновременного временного кадра первых спектральных составляющих;
(b) одновременного и предшествующего временных кадров первых спектральных составляющих; и
(c) одновременного, предшествующего и последующего временных кадров первых спектральных составляющих.

10. Система декодера по п.1, отличающаяся тем, что модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптирован для вычисления приближенного второго спектрального представления, включающего приближенные вторые спектральные составляющие, определяемые при помощи комбинации из по меньшей мере двух смежных во времени и/или смежных по частоте первых спектральных составляющих.

11. Система декодера по п.1, отличающаяся тем, что указанный стереофонический сигнал представлен во временной области и система декодера также содержит:
узел (203) переключения, расположенный между указанной ступенью деквантования и указанной ступенью повышающего микширования, способный функционировать как:
(a) ретранслирующая ступень или
(b) суммарно-разностная ступень,
таким образом позволяя выполнять переключение между входными стереофоническими сигналами, кодированными напрямую и совместно;
ступень (209) обратного преобразования, адаптированную для вычисления представления стереофонического сигнала во временной области; и
селекторную схему (208), расположенную в восходящем направлении относительно ступени обратного преобразования, адаптированную для ее выборочного соединения с:
(a) точкой в нисходящем направлении относительно ступени повышающего микширования, посредством чего стереофонический сигнал, полученный посредством комплексного предсказания, подается на ступень обратного преобразования; или
(b) точкой в нисходящем направлении относительно узла (203) переключения и в восходящем направлении относительно ступени повышающего микширования, посредством чего на ступень обратного преобразования подается стереофонический сигнал, полученный путем прямого стереофонического кодирования.

12. Система декодера по п.1, отличающаяся тем, что модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, содержит:
ступень (306) обратного преобразования, предназначенную для вычисления представления низведенного и/или бокового сигнала во временной области на основе первого представления в частотной области соответствующего сигнала в первом подпространстве многомерного пространства; и
ступень (307) преобразования, предназначенную для вычисления второго представления соответствующего сигнала в частотной области на основе представления этого сигнала во временной области,
где, предпочтительно, ступень (306) обратного преобразования выполняет модифицированное дискретное косинусное преобразование, MDCT, и ступень преобразования выполняет модифицированное дискретное синусное преобразование, MDST.

13. Система декодера по п.12, отличающаяся тем, что указанный стереофонический сигнал представлен во временной области, и система декодера также содержит:
Узел (302) переключения, расположенный между указанной ступенью деквантования и указанной ступенью повышающего микширования, способный функционировать как:
(a) ретранслирующая ступень для применения в совместном стереофоническом кодировании; или
(b) суммарно-разностная ступень для применения в прямом стереофоническом кодировании;
дополнительную ступень (311) обратного преобразования, расположенную на ступени повышающего микширования, предназначенную для вычисления представления бокового сигнала во временной области;
селекторную схему (305, 310), расположенную в восходящем направлении относительно ступеней (306, 301) обратного преобразования, адаптированную для их выборочного соединения с:
(a) дополнительной суммарно-разностной ступенью (304), которая, в свою очередь, связана с точкой в нисходящем направлении относительно узла (302) переключения и в восходящем направлении относительно ступени повышающего микширования; или
(b) низведенным сигналом, получаемым из узла (302) переключения, и боковым сигналом, получаемым из взвешенного сумматора (308, 309).

14. Способ декодирования, предназначенный для повышающего микширования входного стереофонического сигнала посредством стереофонического кодирования с комплексным предсказанием в выходной стереофонический сигнал, где:
указанный входной стереофонический сигнал содержит первые представления низведенного канала (М) и остаточного канала (D) в частотной области и коэффициент комплексного предсказания (α); и
каждое из первых представлений в частотной области содержит первые спектральные составляющие, которые представляют спектральный состав соответствующего сигнала, выраженного в первом подпространстве многомерного пространства,
способ выполняется ступенью повышающего микширования и включает следующие этапы:
вычисление второго представления низведенного сигнала в частотной области на основе его первого представления в частотной области, где второе представление в частотной области содержит вторые спектральные составляющие, представляющие спектральный состав сигнала, выраженного во втором подпространстве многомерного пространства, которое содержит часть многомерного пространства, не включенную в первое подпространство;
вычисление бокового сигнала на основе первого и второго представлений низведенного сигнала в частотной области, первого представления остаточного сигнала в частотной области и коэффициента комплексного предсказания,
где для низведенного сигнала и остаточного сигнала применяются независимые пределы полос пропускания.