ПОЧТИ ПРОЗРАЧНАЯ ИЛИ ПРОЗРАЧНАЯ СХЕМА МНОГОКАНАЛЬНОГО КОДЕРА/ДЕКОДЕРА Российский патент 2010 года по МПК H04S3/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к схемам многоканального кодирования и, в частности, к схемам параметрического многоканального кодирования.

Уровень техники

Сегодня две методики доминируют для использования стереоизбыточности и нерелевантности, содержащихся в стереофонических звуковых сигналах. Стереофоническое кодирование с выделением центрального и бокового канала (M/S) [1] в первую очередь направлено на уменьшение избыточности и основано на том факте, что поскольку зачастую два канала достаточно коррелированны, лучше кодировать сумму и разность между ними. В таком случае большее (относительно) число битов может быть расходовано на суммирующий сигнал большой мощности, чем на боковой (или разностный) сигнал. Стереофоническое кодирование по интенсивности [2, 3], с другой стороны, добивается уменьшения избыточности посредством замены, в каждом поддиапазоне, двух сигналов на суммирующий сигнал и азимутальный угол. В декодере азимутальный параметр используется для того, чтобы управлять пространственным расположением слухового события, представляемого посредством суммирующего сигнала поддиапазона. Кодирование с выделением центрального и разностного канала и по интенсивности используются в значительной степени в существующих стандартах аудиокодирования [4].

Проблема M/S-подхода касательно использования избыточности заключается в том, что если два компонента не совпадают по фазе (один задерживается относительно другого), эффективность M/S-кодирования значительно снижается. Это концептуальная проблема, поскольку временные задержки часто встречаются в реальных аудиосигналах. Например, пространственный порог слышимости базируется во многом на разности времен сигналов (особенно на низких частотах) [5]. В аудиозаписях задержки времен могут возникать как из настроек стереофонического микрофона, так и из искусственной пост-обработки (звуковых эффектов). При кодировании с разнесением центрального и разностного канала специализированное решение зачастую используется для вопроса задержки времен. M/S-кодирование часто используется, когда мощность разностного сигнала меньше постоянного множителя мощности суммирующего сигнала [1]. Проблема выравнивания лучше разрешается в [6], где один из компонентов сигнала прогнозируется из другого. Фильтры прогнозирования выводятся на покадровой основе в кодере и передаются как дополнительная информация. В [7] рассматривается обратная адаптивная альтернатива. Отметим, что прирост производительности очень сильно зависит от типа сигнала, но для определенных типов сигналов достигается существенный прирост в сравнении с M/S-стереокодированием.

В последнее время значительное внимание уделялось параметрическому стереокодированию [8-11]. На основе основного монокодера (одноканального) эти параметрические схемы извлекают стереокомпонент (многоканальный) и кодируют его отдельно на низкой скорости передачи битов. Это можно рассматривать как обобщение стереокодирования по интенсивности. Способы параметрического стереокодирования, в частности, пригодны в диапазоне аудиокодирования с низкой скоростью передачи битов, где они приводят к существенному повышению качества расходования только небольшой части общего битового бюджета для стереокомпонента. Параметрические способы также являются привлекательными, поскольку они расширяемы для многоканального случая (более двух каналов) и могут предоставлять обратную совместимость. Объемное MP3-звучание [12] является одним подобным примером, где многоканальные данные кодируются и передаются во вспомогательном поле потока данных. Это позволяет приемным устройствам без многоканальных возможностей декодировать обычный стереосигнал, тогда как приемные устройства с поддержкой объемного звучания могут использовать многоканальный звук. Параметрические способы зачастую основываются на извлечении и кодировании различных психоакустических меток, главным образом, межканальных уровневых разностей (ICLD) и межканальных временных разностей (ICTD). В [11] сообщается, что параметр когерентности важен для результата естественного звучания. Тем не менее, параметрические способы ограничены в том смысле, что при более высоких скоростях передачи битов кодеры не могут достигать прозрачного качества вследствие внутреннего ограничения моделирования.

Проблемы, связанные с параметрическими многоканальными кодерами, заключаются в том, что их достижимое значение качества ограничено порогом, который значительно ниже их прозрачного качества. Параметрический порог качества показан как 1100 на фиг.11. Как можно видеть из схематичной кривой, представляющей зависимость "качество/скорость передачи битов" улучшенного BCC-монокодера (1102), качество не может пересекать параметрический порог 1100 качества независимо от скорости передачи битов. Это означает, что при увеличенной скорости передачи битов качество этого параметрического многоканального кодера не может увеличиваться в любом случае.

Улучшенный BCC-монокодер является примером используемых в настоящее время стереокодеров или многоканальных кодеров, в которых выполняется стереофоническое понижающее микширование или многоканальное понижающее микширование. Дополнительно, извлекаются параметры, описывающие межканальные уровневые взаимосвязи, межканальные временные взаимосвязи, межканальные взаимосвязи когерентности и т.д.

Параметры отличаются от волновой формы сигнала, такого как боковой сигнал кодера с выделением центрального и разностного канала, поскольку боковой сигнал описывает разность между двумя каналами в формате волновой формы в сравнении с параметрическим представлением, которое описывает сходства и различия между двумя каналами посредством задания определенного параметра вместо представления волновой формы по выборкам. Хотя параметры требуют небольшого числа битов для передачи от кодера в декодер, описания волновой формы, т.е. остаточные сигналы, извлекаемые в виде волновой формы, требуют большего числа битов и предоставляют возможность, в принципе, прозрачного восстановления.

Фиг.11 иллюстрирует типичную зависимость "качество/скорость передачи битов" этого традиционного основанного на волновой форме стереофонического кодера (1104). Из фиг.11 становится очевидным, что посредством все большего увеличения скорости передачи в битах качество традиционного стереофонического кодера, такого как стереофонический кодер с выделением центрального и разностного канала, возрастает все в большей степени до тех пор, пока качество не достигнет прозрачного качества. Предусмотрен тип "переходной скорости передачи битов", при которой характеристическая кривая 1102 для параметрического многоканального кодера и кривая 1104 для традиционного основанного на волновой форме сигнала пересекают друг друга.

Ниже этой переходной скорости передачи битов параметрический многоканальный кодер гораздо более оптимален, чем традиционный стереофонический кодер. Когда рассматривается одинаковая скорость передачи битов для обоих кодеров, параметрический многоканальный кодер предоставляет качество, которое выше качества традиционного основанного на волновой форме стереофонического кодера на разность 1108 качества. Иными словами, когда необходимо иметь определенное качество 1110, это качество может быть достигнуто с помощью параметрического кодера посредством скорости передачи битов, которая уменьшена на разностную скорость 1112 передачи битов в сравнении с традиционным основанным на волновой форме стереофоническим кодером.

Выше этой переходной скорости передачи битов ситуация полностью отличается. Поскольку параметрический кодер находится при максимальном пороге 1100 качества параметрического кодера, лучшее качество может быть получено посредством использования традиционного основанного на волновой форме стереофонического кодера с помощью такого же числа битов, что и в параметрическом кодере.

Сущность изобретения

Цель настоящего изобретения заключается в том, чтобы предоставить схему кодирования/декодирования, предоставляющую более высокое качество и меньшую скорость передачи битов по сравнению с используемыми схемами многоканального кодирования.

В соответствии с первым аспектом настоящего изобретения эта цель достигается посредством многоканального кодера для кодирования исходного многоканального сигнала, имеющего, по меньшей мере, два канала, содержащего: поставщик параметров для предоставления одного или более параметров, при этом один или более параметров сформированы таким образом, что восстановленный многоканальный сигнал может быть сформирован с помощью одного или более каналов понижающего микширования, извлеченных из многоканального сигнала, и одного или более параметров; остаточный кодер для формирования закодированного остаточного сигнала на основе исходного многоканального сигнала, одного или более каналов понижающего микширования или одного или более параметров, так чтобы восстановленный многоканальный сигнал, когда сформирован с помощью остаточного сигнала, был в большей степени аналогичен исходному многоканальному сигналу, чем когда сформирован без использования остаточного сигнала; и формирователь потоков данных для формирования потока данных, имеющего остаточный сигнал и один или более параметров.

В соответствии со вторым аспектом настоящего изобретения эта цель достигается посредством многоканального декодера для декодирования закодированного многоканального сигнала, имеющего один или более каналов понижающего микширования, один или более параметров и закодированный остаточный сигнал, содержащего: остаточный декодер для формирования декодированного остаточного сигнала на основе закодированного остаточного сигнала; и многоканальный декодер для формирования первого восстановленного многоканального сигнала с помощью одного или более каналов понижающего микширования и одного или более параметров, при этом многоканальный декодер дополнительно функционирует для формирования второго восстановленного многоканального сигнала с помощью одного или более каналов понижающего микширования и декодированного остаточного сигнала вместо первого восстановленного многоканального сигнала или в дополнение к первому многоканальному сигналу, причем второй восстановленный многоканальный сигнал в большей степени аналогичен исходному многоканальному сигналу, чем первый восстановленный многоканальный сигнал.

В соответствии с третьим аспектом настоящего изобретения эта цель достигается посредством многоканального кодера для кодирования исходного многоканального сигнала, имеющего, по меньшей мере, два канала, содержащего: блок выравнивания по времени для выравнивания первого канала и второго канала из, по меньшей мере, двух каналов с помощью параметра выравнивания; блок понижающего микширования для формирования канала понижающего микширования с помощью выровненных каналов; блок вычисления усиления для вычисления параметра усиления, не равного единице, для взвешивания выровненного канала, так чтобы разность между выровненными каналами была уменьшена в сравнении со значением усиления в единицу; и формирователь потоков данных для формирования потока данных, имеющего информацию канала понижающего микширования, информацию параметра выравнивания и информацию параметра усиления.

В соответствии с четвертым аспектом настоящего изобретения эта цель достигается посредством многоканального декодера для декодирования закодированного многоканального сигнала, имеющего информацию одного или более каналов понижающего микширования, информацию параметра усиления и информацию параметра выравнивания, содержащего: декодер каналов понижающего микширования для формирования декодированного сигнала понижающего микширования; и процессор для обработки декодированного канала понижающего микширования с помощью параметра усиления, чтобы получить первый декодированный выходной канал, и для обработки декодированного канала понижающего микширования с помощью параметра усиления и для того, чтобы рассогласовать с помощью параметра выравнивания, чтобы получить второй декодированный выходной канал.

Дополнительные аспекты настоящего изобретения включают в себя соответствующие способы, потоки данных/файлы и вычислительные программы.

Настоящее изобретение основано на обнаружении того, что проблемы, связанные с традиционными параметрическими кодерами и кодерами на основании волновой формы, разрешаются посредством комбинирования параметрического кодирования и кодирования на основе волновой формы. Такой изобретаемый кодер формирует масштабируемый поток данных, имеющий, в качестве первого улучшающего уровня, закодированное представление параметров и имеющий, в качестве второго улучшающего уровня, закодированный остаточный сигнал, которым предпочтительно является сигнал в виде волновой формы. Как правило, дополнительный остаточный сигнал, который не предоставляется в чисто параметрическом многоканальном кодере, позволяет повышать достижимое качество, в частности, между переходной скоростью передачи битов на фиг.11 и максимальным прозрачным качеством. Как можно видеть на фиг.11, даже ниже переходной скорости передачи битов алгоритм изобретаемого кодера превосходит чистый параметрический многоканальный кодер в отношении качества при сравнимых скоростях передачи битов. Тем не менее, в сравнении с полностью основанным на волновой форме традиционным стереофоническим кодером, изобретаемая комбинированная параметрическая/основанная на волновой форме схема кодирования/декодирования является гораздо более эффективной по битам. Иными словами, изобретаемые устройства оптимально комбинируют преимущества параметрического кодирования и основанного на волновой форме кодирования, так что даже выше переходной скорости передачи битов изобретаемый кодер извлекает выгоду из параметрической концепции, но превосходит традиционный параметрический кодер.

В зависимости от конкретных вариантов осуществления, преимущества настоящего изобретения превосходят параметрический кодер предшествующего уровня техники или традиционный основанный на волновой форме многоканальный кодер в большей или меньшей степени. Более усовершенствованные варианты осуществления предоставляют более оптимальную характеристику качества/скорости передачи битов, тогда как низкоуровневые варианты осуществления настоящего изобретения требуют меньшей вычислительной мощности на стороне кодера и/или декодера, но благодаря дополнительным закодированным остаточным сигналам обеспечивают более высокое качество, чем чистый параметрический кодер, поскольку качество чистого параметрического кодера ограничено пороговым качеством 1100 на фиг.11.

Предлагаемая схема кодирования/декодирования имеет преимущество в том, то она позволяет плавно перейти от чистого параметрического кодирования к аппроксимирующему волновую форму или совершенному прозрачному кодированию на основе волновой формы.

Предпочтительно параметрическое стереофоническое кодирование и стереофоническое кодирование с выделением центрального и разностного каналов комбинируются в схему, которая имеет возможность стремиться к прозрачному качеству. В этой предпочтительной стереосхеме с выделением центрального и разностного каналов корреляция между компонентами сигналов, т.е. левым каналом и правым каналом, используется более эффективно.

В общем, идея изобретения может быть применена в нескольких вариантах осуществления к параметрическому многоканальному кодеру. В одном варианте осуществления остаточный сигнал извлекается из исходного сигнала без использования информации параметров, также доступной в кодере. Этот вариант осуществления предпочтителен в случаях, когда вычислительная мощность и, возможно, энергопотребление процессора являются важными вопросами. Такой случай может возникать в "карманных" устройствах, имеющих ограниченные возможности по мощности, таких как мобильные телефоны, "наладонники" и т.д. Остаточный сигнал извлекается только из исходного сигнала и не базируется на понижающем микшировании или параметрах. Следовательно, на стороне декодера первый восстановленный многоканальный сигнал, который формируется с помощью канала понижающего микширования и параметров, не используется для формирования второго восстановленного многоканального сигнала.

Тем не менее, имеется некоторая избыточность в параметрах, с одной стороны, и в остаточном сигнале, с другой стороны. Снижение избыточности может быть достигнуто посредством других систем кодера/декодера, которые для вычисления закодированного остаточного сигнала используют информацию параметров, доступную в кодере, и, необязательно, канал понижающего микширования, который также может быть доступен в кодере.

В зависимости от конкретной ситуации, остаточный кодер может быть устройством анализа посредством синтеза, вычисляющим полный восстановленный многоканальный сигнал с помощью канала понижающего микширования и информации параметров. Затем на основе восстановленного сигнала может быть сформирован разностный сигнал для каждого канала, так что получается многоканальное представление ошибок, которое может быть обработано различными способами. Одним способом должно быть то, чтобы применять другую схему параметрического многоканального кодирования к многоканальному представлению ошибок. Другой возможностью должно быть то, чтобы осуществлять схему матрицирования для понижающего микширования многоканального представления ошибок. Еще одной возможностью должно быть то, чтобы удалять сигналы ошибки из левого и правого каналов объемного звучания, чтобы кодировать только сигнал ошибки центрального канала или, в дополнение, также кодировать сигнал ошибки левого канала и сигнал ошибки правого канала.

Таким образом, предусмотрено множество возможностей для реализации остаточного процессора на основе представления ошибок.

Вышеупомянутый вариант осуществления предоставляет большую гибкость для масштабируемого кодирования остаточного сигнала. Тем не менее, он является достаточно ресурсоемким в отношении вычислительной мощности, поскольку полное многоканальное восстановление выполняется в кодере, и представление ошибок для каждого канала многоканального сигнала должно быть сформировано и введено в остаточный процессор. На стороне декодера необходимо сначала вычислить первый восстановленный многоканальный сигнал, а затем на основе декодированного остаточного сигнала, который является любым представлением сигнала ошибки, должен быть сформирован второй восстановленный сигнал. Таким образом, вне зависимости от того факта, должен или нет быть выведен первый восстановленный сигнал, он должен быть вычислен на стороне декодера.

В другом предпочтительном варианте осуществления изобретения, подход анализа посредством синтеза на стороне кодера и вычисление первого восстановленного многоканального сигнала вне зависимости от того, должен или нет он быть выведен, заменен на прямое вычисление остаточного сигнала на стороне кодера. Оно основано на взвешенном исходном канале, который зависит от многоканального параметра, или основано на типе модифицированного понижающего микширования, которое также зависит от параметра выравнивания. В этой схеме дополнительная информация, т.е. остаточный сигнал, вычисляется неитеративно с помощью параметров и исходных сигналов, но без помощи одного или более каналов понижающего микширования.

Эта схема очень эффективная на стороне кодера и декодера. Когда остаточный сигнал не передается или выведен из масштабированного потока данных вследствие требований по пропускной способности, декодер в соответствии с изобретением автоматически формирует первый восстановленный многоканальный сигнал на основе канала понижающего микширования и параметров усиления и выравнивания, тогда как, когда вводится остаточный сигнал, не равный нулю, многоканальный блок восстановления не вычисляет первый восстановленный многоканальный сигнал, а вычисляет только второй восстановленный многоканальный сигнал. Таким образом, эта схема кодера/декодера выгодна в том, что она предоставляет более эффективное вычисление на стороне кодера, а также на стороне декодера, и использует представление параметров для уменьшения избыточности в остаточном сигнале, так что достигается высокоэффективная по вычислительной мощности и скорости передачи битов схема кодирования/декодирования.

Краткое описание чертежей

Предпочтительные варианты осуществления настоящего изобретения подробно описываются далее со ссылками на прилагаемые чертежи, из которых:

Фиг.1 - это блок-схема общего представления многоканального кодера в соответствии с изобретением;

Фиг.2 - это блок-схема общего представления многоканального декодера;

Фиг.3 - это блок-схема варианта осуществления на стороне кодера с низкой вычислительной мощностью;

Фиг.4 - это блок-схема варианта осуществления декодера для системы кодера по фиг.3;

Фиг.5 - это блок-схема варианта осуществления кодера, основанного на анализе посредством синтеза;

Фиг.6 - это блок-схема варианта осуществления декодера, соответствующего варианту осуществления кодера по фиг.5;

Фиг.7 - это общая блок-схема варианта осуществления прямого кодера, имеющего уменьшенную избыточность в закодированном остаточном сигнале;

Фиг.8 - это предпочтительный вариант осуществления декодера, соответствующего кодеру по фиг.7;

Фиг.9a - это предпочтительный вариант осуществления схемы кодера/декодера на основе концепции фиг.7 и фиг.8;

Фиг.9b - это предпочтительный вариант осуществления для варианта осуществления по фиг.9a, когда нет остаточного сигнала, а передаются только параметры выравнивания и усиления;

Фиг.9c - это набор уравнений, используемых на стороне кодера на фиг.9a и фиг.9b;

Фиг.9d - это набор уравнений, используемых на стороне декодера на фиг.9a и фиг.9b;

Фиг.10 - это вариант осуществления на основе гребенки фильтров анализа/гребенки фильтров синтеза для схемы по фиг.9a-9d; и

Фиг.11 иллюстрирует сравнение типичной производительности параметрических и традиционных основанных на волновой форме кодеров и кодера в соответствии с изобретением.

Подробное описание предпочтительных вариантов осуществления изобретения

Фиг.1 иллюстрирует предпочтительный вариант осуществления многоканального кодера для кодирования исходного многоканального сигнала, имеющего, по меньшей мере, два канала. Первым каналом может быть левый канал 10a, а вторым каналом может быть правый канал 10b в стереоокружении. Хотя варианты осуществления описываются в контексте стереосхемы, расширение до многоканальной схемы является прямым, поскольку многоканальное представление, имеющее, например, пять каналов, содержит несколько пар первого канала и второго канала. В контексте схемы объемного звучания 5.1 первым каналом может быть передний левый канал, а вторым каналом может быть передний правый канал. Альтернативно, первым каналом может быть передний левый канал, а вторым каналом может быть центральный канал. Альтернативно, первым каналом может быть центральный канал, а вторым каналом может быть передний правый канал. Альтернативно, первым каналом может быть задний левый канал (левый канал объемного звучания), а вторым каналом может быть задний правый канал (правый канал объемного звучания).

Предлагаемый кодер может включать в себя блок 12 понижающего микширования для формирования одного или более каналов понижающего микширования. В стереоокружении блок 12 понижающего микширования формирует один канал понижающего микширования. Тем не менее, в многоканальном окружении блок 12 понижающего микширования может формировать несколько каналов понижающего микширования. Тем не менее, в многоканальном окружении 5.1 блок 13 понижающего микширования предпочтительно формирует два канала понижающего микширования. Как правило, число каналов понижающего микширования меньше числа каналов в исходном многоканальном сигнале.

Предлагаемый многоканальный кодер также включает в себя поставщик 14 параметров для предоставления одного или более параметров, причем один или более параметров формируются таким образом, что восстановленный многоканальный сигнал может быть сформирован с помощью одного или более каналов понижающего микширования, извлеченных из многоканального сигнала и одного или более параметров.

Существенно, что многоканальный кодер в соответствии с изобретением дополнительно включает в себя остаточный кодер 16 для формирования закодированного остаточного сигнала. Закодированный остаточный сигнал формируется на основе исходного многоканального сигнала, одного или более каналов понижающего микширования или одного или более параметров. В общем, закодированный остаточный сигнал формируется таким образом, чтобы восстановленный многоканальный сигнал, когда сформирован с помощью остаточного сигнала, в большей степени был аналогичен исходному многоканальному сигналу, чем когда сформирован без остаточного сигнала. Таким образом, закодированный остаточный сигнал предоставляет возможность того, что декодер формирует восстановленный многоканальный сигнал, имеющий более высокое качество, чем порог 1100 качества, показанный на фиг.11. Один или более параметров и закодированный остаточный сигнал вводятся в формирователь 18 потоков данных, который формирует поток данных, имеющий остаточный сигнал и один или более параметров. Предпочтительно, поток данных, выводимый посредством формирователя 18 потоков данных, является масштабированным потоком данных, имеющим первый улучшающий уровень, включающий в себя информацию по одному или более параметрам, и второй улучшающий уровень, включающий в себя информацию по закодированному остаточному сигналу. Как известно в данной области техники, различные уровни масштабирования в масштабированном потоке данных могут декодироваться отдельно, так что низкоуровневое устройство, такое как чистый параметрический кодер, находится в такой позиции, чтобы декодировать поток данных посредством простого игнорирования второго улучшающего уровня.

В одном варианте осуществления настоящего изобретения масштабированный поток данных также включает в себя, в качестве базового уровня, один или более каналов понижающего микширования. Тем не менее, настоящее изобретение также применимо в окружении, в котором пользователь уже обладает каналом понижающего микширования. Эта ситуация может возникать тогда, когда каналом понижающего микширования является моно- или стереофонический сигнал, который пользователь уже принял посредством другого канала передачи или посредством того же канала передачи в сравнении с приемом первого улучшающего уровня и второго улучшающего уровня. Когда имеется отдельная передача канала(ов) понижающего микширования и первого и второго улучшающих уровней, кодер необязательно должен включать в себя блок 12 понижающего микширования. Эта ситуация показана пунктирной линией блока понижающего микширования.

Дополнительно, поставщик 14 параметров необязательно должен вычислять параметры на основе первого и второго исходных каналов. В ситуациях, когда параметры для определенного сигнала канала уже существуют, достаточно предоставить уже сформированные параметры в кодер по фиг.1, с тем чтобы эти параметры предоставлялись в формирователь 18 потоков данных и в остаточный кодер, чтобы необязательно быть использованными для вычисления остаточного сигнала, а также чтобы быть введенными в масштабированный поток данных. Тем не менее, предпочтительно, остаточный кодер дополнительно использует параметры, как показано пунктирной соединительной линией 19.

В предпочтительном варианте осуществления настоящего изобретения остаточный кодер 16 может контролироваться посредством отдельного входного сигнала управления скоростью передачи в битах. В этом случае остаточный кодер содержит определенный кодер с потерями, такой как квантователь, имеющий управляемый размер шага квантователя. Когда большой размер шага квантователя передается посредством блока управления скоростью передачи битов, закодированный остаточный сигнал имеет меньший диапазон значений (наибольший индекс квантования, выведенный посредством квантователя) в сравнении со случаем, когда меньший размер шага квантователя передается посредством блока управления скоростью передачи битов. Большой размер шага квантователя приводит к меньшему требованию по битам для закодированного остаточного сигнала, а следовательно, приводит к масштабированному потоку данных, имеющему сниженную скорость передачи битов в сравнении со случаем, когда квантователь в остаточном кодере 16 имеет меньший размер шага квантователя, приводящий к закодированному остаточному сигналу, требующему большее число битов.

Собственно говоря, вышеприведенные замечания применимы к масштабированному квантованию. Тем не менее, вообще говоря, предпочтительно использовать кодер, имеющий управляемое разрешение, который основан на методике векторного квантования. Когда разрешение высокое, большее число битов требуется для кодирования остаточного сигнала в сравнении со случаем, в котором разрешение низкое.

Фиг.2 иллюстрирует предпочтительный вариант осуществления изобретаемого многоканального декодера, который может быть использован в связи с кодером по фиг.1. В частности, фиг.2 иллюстрирует многоканальный декодер для декодирования закодированного многоканального сигнала, имеющего один или более каналов понижающего микширования, один или более параметров и закодированный остаточный сигнал. Вся эта информация, т.е. канал понижающего микширования, параметры и закодированные остаточные сигналы, включается в масштабированный поток 20 данных, вводимый в анализатор потоков данных, который извлекает закодированный остаточный сигнал из масштабированного потока 20 данных и перенаправляет закодированный остаточный сигнал в остаточный декодер 22. Аналогично, один или более предпочтительно закодированных каналов понижающего микширования предоставляются в декодер 24 понижающего микширования. Дополнительно, предпочтительно закодированные один или более параметров предоставляются в декодер 23 параметров, чтобы предоставить один или более параметров в декодированной форме. Информация, выводимая посредством блоков 22, 23 и 24, вводится в многоканальный декодер 25 для формирования первого восстановленного многоканального сигнала 26 или второго восстановленного многоканального сигнала 27. Первый восстановленный многоканальный сигнал формируется посредством многоканального декодера 25 с использованием одного или более каналов понижающего микширования и одного или более параметров, но без использования остаточного сигнала. Тем не менее, второй восстановленный многоканальный сигнал 27 формируется с помощью одного или более каналов понижающего микширования и декодированного остаточного сигнала. Поскольку остаточный сигнал включает в себя дополнительную информацию и, предпочтительно, информацию волновой формы, второй восстановленный многоканальный сигнал 27 в большей степени аналогичен исходному многоканальному сигналу (такому как каналы 10a и 10b на фиг.1), чем первый восстановленный многоканальный сигнал.

В зависимости от конкретной реализации многоканального декодера 25, многоканальный декодер 25 выводит либо первый восстановленный сигнал 26, либо второй восстановленный многоканальный сигнал 27. Альтернативно, многоканальный декодер 25 вычисляет первый восстановленный многоканальный сигнал в дополнение ко второму восстановленному многоканальному сигналу. Разумеется, во всех реализациях многоканальный декодер 25 выводит только первый восстановленный многоканальный сигнал, когда масштабированный поток данных включает в себя закодированный остаточный сигнал. Тем не менее, когда масштабированный поток данных - это процессы на пути от кодера к декодеру посредством отсечения второго улучшающего уровня, многоканальный декодер 25 выводит только первый восстановленный многоканальный сигнал. Это отсечение первого и второго улучшающего уровня может выполняться, когда был канал передачи на пути между кодером и декодером, который имел очень ограниченные ресурсы по полосе пропускания, так что передача масштабированного потока данных была возможна только без второго улучшающего уровня.

Фиг.3 и фиг.4 иллюстрируют один вариант осуществления изобретаемой концепции, который требует только меньшей вычислительной мощности на стороне кодера (фиг.3), а также на стороне декодера (фиг.4). Кодер по фиг.3 включает в себя стереофонический кодер 30 по интенсивности, который выводит монофонический сигнал понижающего микширования, с одной стороны, и параметрическую информацию стереонаправления интенсивности, с другой стороны. Монофоническое понижающее микширование, которое предпочтительно формируется посредством добавления первого и второго входного канала, вводится в блок 31 уменьшения скорости передачи данных. Для моноканала понижающего микширования блок 31 уменьшения скорости передачи данных может включать в себя любые из известных аудиокодеров, такие как MP3-кодер, AAC-кодер или любой другой аудиокодер моносигналов. Для параметрической информации направления блок 31 уменьшения скорости передачи данных может включать в себя любые из известных кодеров параметрической информации, например, разностный кодер, квантователь и/или кодер по энтропии, такой как кодер Хаффмана или арифметический кодер. Таким образом, блоки 30 и 31 на фиг.3 предоставляют функциональности, схематично проиллюстрированные посредством блоков 12 и 14 кодера по фиг.1.

Остаточный кодер 16 включает в себя блок 32 вычисления бокового сигнала и применяемый после него блок 33 уменьшения скорости передачи данных. Блок 32 вычисления бокового сигнала выполняет вычисление бокового сигнала, известное из стереокодеров с выделением центрального и разностного канала предшествующего уровня. Одним предпочтительным примером является вычисление разности по выборкам между первым каналом 10a и вторым каналом 10b, чтобы получить боковой сигнал волновой формы, который затем вводится в блок 33 уменьшения скорости передачи данных для сжатия по скорости передачи данных. Блок 33 уменьшения скорости передачи данных может включать в себя те же элементы, что и указанные выше относительно блока 31 уменьшения скорости передачи данных. На выходе блока 33 получается закодированный остаточный сигнал, который вводится в формирователь 18 потоков данных, так что получается предпочтительно масштабированный поток данных.

Поток данных, выводимый посредством блока 18, теперь включает в себя, в дополнение к монофоническому понижающему микшированию, параметрическую информацию стереонаправления интенсивности, а также закодированный остаточный сигнал волновой формы.

Блок 31 уменьшения скорости передачи данных может управляться посредством входного сигнала управления скоростью передачи битов, как уже описано в связи с фиг.1. В другом варианте осуществления блок 33 уменьшения скорости передачи данных выполнен с возможностью формирования масштабированного выходного потока данных, который имеет на своем базовом уровне остаток, закодированный с помощью небольшого числа битов на выборку, и который имеет на своем улучшающем уровне остаток, закодированный с помощью среднего числа битов на выборку, и который имеет на своем следующем улучшающем уровне остаток, закодированный с помощью также большего числа битов на выборку. Для базового уровня вывода блока уменьшения скорости передачи данных можно, например, использовать 0,5 битов на выборку. Для первого улучшающего уровня можно использовать, например, 4 бита на выборку, а для второго улучшающего уровня можно использовать, например, 16 битов на выборку.

Соответствующий декодер показан на фиг.4. Поток данных, входящий в анализатор 21 потоков данных, анализируется, чтобы отдельно выводить информацию выходных параметров в декомпрессор 23. Закодированная информация понижающего микширования вводится в декомпрессор 24, и закодированный остаточный сигнал вводится в остаточный декомпрессор 22. Декодер по фиг.4 дополнительно включает в себя прямой стереодекодер 40 по интенсивности и, помимо этого, декодер 41 с выделением центрального и разностного канала. Оба декодера 40 и 41 выполняют функции многоканального декодера 25, чтобы выводить первый восстановленный многоканальный сигнал 26, который формируется только посредством стереодекодера 40 по интенсивности, и выводить второй восстановленный многоканальный сигнал 27, который формируется посредством MS-декодера 41.

Когда поток данных включает в себя закодированный остаточный сигнал, прямая реализация по фиг.4 должна выводить первый восстановленный многоканальный сигнал 26, а также второй восстановленный многоканальный сигнал. Разумеется, только более оптимальный второй восстановленный многоканальный сигнал 27 интересует пользователя в данной ситуации. Следовательно, управление 42 декодером может быть предоставлено для измерения того, существует ли закодированный остаточный сигнал в потоке данных. Когда определено, что нет закодированного остаточного сигнала в потоке данных, управление 42 декодером функционирует так, чтобы деактивировать декодер 40 с выделением центрального и разностного канала, чтобы сэкономить вычислительную мощность, а следовательно, и мощность аккумуляторов, что особенно выгодно в "карманном" устройстве, таком как мобильный телефон и т.д.

Фиг.5 иллюстрирует еще один вариант осуществления настоящего изобретения, в котором закодированный остаточный сигнал формируется на основе подхода анализа посредством синтеза. Также первый и второй каналы 10a, 10b вводятся в блок 50 понижающего микширования, за которым следует блок 51 уменьшения скорости передачи данных. На выходе блока 51 предпочтительно сжатый сигнал понижающего микширования, имеющий один или более каналов понижающего микширования, получается и предоставляется в формирователь 18 потоков данных. Таким образом, блоки 50 и 51 предоставляют функциональность устройства 12 блока понижающего микширования по фиг.1. Дополнительно, первый и второй каналы 10a, 10b предоставляются в блок 53 вычисления параметров, и параметры, выводимые посредством блока вычисления параметров, перенаправляются в другой блок 54 уменьшения скорости передачи данных для сжатия одного или более параметров. Таким образом, блоки 53 и 54 предоставляют такую же функциональность, что и поставщик 14 параметров на фиг.1.

Тем не менее, в отличие от варианта осуществления по фиг.3, остаточный кодер 16 является более сложным. В частности, остаточный кодер 16 включает в себя параметрический многоканальный блок 55 восстановления. Многоканальный блок восстановления формирует, для примера с двумя каналами, первый восстановленный канал и второй восстановленный канал. Поскольку параметрический многоканальный блок восстановления использует только каналы понижающего микширования и параметры, качество восстановленного многоканального сигнала, выводимого посредством блока 55, соответствует кривой 1102 на фиг.11 и всегда ниже параметрического порога 1100 на фиг.11.

Восстановленный многоканальный сигнал вводится в блок 56 вычисления ошибок. Блок 56 вычисления ошибок функционирует так, чтобы также принимать первый и второй входной канал 10a и 10b, и выводит первый сигнал ошибки и второй сигнал ошибки. Предпочтительно, блок вычисления ошибок вычисляет разность по выборкам между исходным каналом и соответствующим восстановленным каналом (выходной блок 55). Эта процедура выполняется для каждой пары исходного канала и восстановленного канала. Выходной сигнал блока 56 вычисления ошибок, кроме того, является многоканальным представлением, но теперь, в отличие от исходного многоканального сигнала, многоканальным сигналом ошибки. Этот многоканальный сигнал ошибки, имеющий такое же число каналов, как и исходный многоканальный сигнал, вводится в остаточный процессор 57 для формирования закодированного остаточного сигнала.

Существует множество реализаций остаточного процессора 57, которые, все, зависят от требований по полосе пропускания, требуемой степени масштабирования, требований по качеству и т.д.

В одной предпочтительной реализации остаточный процессор 57 также реализован как многоканальный кодер, формирующий один или более каналов понижающего микширования ошибок и параметров понижающего микширования ошибок. Этот вариант осуществления может рассматриваться как тип итеративного многоканального кодера, поскольку остаточный процессор 57 может включать в себя блоки 50, 51, 53 и 54.

Альтернативно, остаточный процессор 57 может работать так, чтобы выбирать только один или два канала ошибок из своего входного сигнала, которые имеют наибольшую энергию, и обрабатывать только сигнал ошибки с наибольшей энергией, чтобы получить закодированный остаточный сигнал. В дополнение или вместо этого критерия более усовершенствованный критерий может быть использован, который основан на перцепционно более обоснованных показателях ошибки. Альтернативно, остаточный процессор может использовать схему матрицирования для понижающего микширования входных каналов в один или более каналов понижающего микширования, с тем чтобы соответствующее устройство декодера выполнило аналогичную процедуру обратного матрицирования. В таком случае один или более каналов понижающего микширования могут быть обработаны с помощью элементов известного моно- или стереокодера или могут быть полностью обработаны с помощью одного из вышеупомянутых моно-/стереокодеров, чтобы получить закодированный остаточный сигнал.

Декодер для кодера по фиг.5 показан на фиг.6. В сравнении с вариантом осуществления по фиг.2, фиг.6 раскрывает то, что многоканальный декодер 25 включает в себя параметрический многоканальный блок 60 восстановления и блок 61 объединения. Параметрический многоканальный блок 60 восстановления формирует первый восстановленный многоканальный сигнал 26 только на основе декодированного понижающего микширования и информации декодированных параметров. Первый восстановленный сигнал 26 может быть выведен, когда закодированный остаточный сигнал не включен в поток данных. Тем не менее, когда закодированный остаточный сигнал включен в поток данных, первый восстановленный сигнал не выводится, а вводится в блок 61 объединения для объединения параметрического восстановленного многоканального сигнала 26 с декодированным остаточным сигналом, которой является одним из представлений ошибки на выходе блока 56 вычисления ошибок по фиг.5, как описано выше. Блок 61 объединения объединяет декодированный остаточный сигнал, т.е. любое представление сигнала ошибки, и параметрически восстановленный многоканальный сигнал, чтобы вывести второй восстановленный сигнал 27. Когда декодер по фиг.6 рассматривается относительно фиг.11, становится очевидным, что для определенной скорости передачи битов первый восстановленный сигнал имеет качество, определенное посредством линии 1102, тогда как второй восстановленный сигнал 27 имеет более высокое качество, определенное посредством линии 1114, для той же скорости передачи битов.

Вариант осуществления по фиг.5/фиг.6 предпочтительнее варианта осуществления по фиг.3/фиг.4, поскольку избыточность в закодированном остаточном сигнале уменьшена. Тем не менее, вариант осуществления по фиг.5/фиг.6 требует большей вычислительной мощности, запоминающего устройства, ресурсов аккумулятора и алгоритмической задержки.

Предпочтительный компромисс между вариантом осуществления по фиг.3/фиг.4 и вариантом осуществления по фиг.5/фиг.6 описывается ниже со ссылкой на фиг.7 в отношении кодера и фиг.8 в отношении декодера. Кодер включает в себя определенный блок 74 понижающего микширования для выполнения понижающего микширования, используя первый и второй входные каналы 10a, 10b. В отличие от простого понижающего микширования, которое формируется посредством добавления только обоих исходных каналов 10a, 10b, чтобы получить монофонический сигнал, блок 70 понижающего микширования управляется посредством параметра выравнивания, формируемого блоком 71 вычисления параметров. При этом оба входных канала 10a, 10b согласуются по времени друг с другом до того, как оба сигнала суммируются друг с другом. Таким образом, специальный монофонический сигнал получается на выходе блока 70 понижающего микширования, причем этот монофонический сигнал отличается от монофонического сигнала, формируемого, например, посредством низкоуровневого кодера по интенсивности, как показано посредством 30 на фиг.3.

В дополнение к параметру выравнивания или вместо параметра выравнивания, блок 71 вычисления параметров функционирует так, чтобы формировать параметр усиления. Параметр усиления вводится в устройство 72 взвешивания, чтобы предпочтительно взвешивать второй канал 10b с помощью параметра усиления до того, как выполняется вычисление бокового сигнала. Взвешивание второго канала до вычисления разности в виде волновой формы между результатами первого и второго канала приводит к меньшему остаточному сигналу, который показан как специальный боковой сигнал, вводимый в любой надлежащий блок 33 уменьшения скорости передачи данных. Блок 33 уменьшения скорости передачи данных, показанный на фиг.7, может быть реализован точно как блок 33 уменьшения скорости передачи данных, показанный на фиг.3.

Вариант осуществления по фиг.7 отличается от варианта осуществления по фиг.3 тем, что информация параметров учитывается предпочтительно в блоке 70 понижающего микширования, так же как и вычисление остаточного сигнала, так чтобы остаточный сигнал, выводимый посредством блока 33 уменьшения скорости передачи данных на фиг.7, мог быть представлен посредством меньшего числа битов, чем сигнал, выводимый посредством блока 33 уменьшения скорости передачи данных. Это обусловлено тем, что остаточный сигнал по фиг.7 включает в себя меньше избыточности, чем остаточный сигнал по фиг.3.

Фиг.8 иллюстрирует предпочтительный вариант осуществления реализации декодера, соответствующей реализации кодера на фиг.7. В отличие от декодера по фиг.6, многоканальный блок 25 восстановления функционирует так, чтобы автоматически выводить первый восстановленный многоканальный сигнал 26, когда боковой сигнал, т.е. остаточный сигнал, равен нулю, или автоматически выводить второй восстановленный многоканальный сигнал 27, когда остаточный сигнал не равен нулю. Таким образом, многоканальный блок 25 восстановления по фиг.8 не может выводить оба сигнала 26 и 27 одновременно, а может выводить только первый из двух сигналов или второй из двух сигналов. Таким образом, вариант осуществления по фиг.8 не требует никакого управления декодера, как, к примеру, показанное на фиг.4.

В частности, декодер 22 остаточного сигнала на фиг.8 выводит специальный боковой сигнал, формируемый посредством элемента 72 соответствующего кодера на фиг.7. Дополнительно, декодер 24 понижающего микширования выводит специальный монофонический сигнал, формируемый посредством блока 70 понижающего микширования на фиг.7.

Затем специальный боковой сигнал и специальный монофонический сигнал вводятся в многоканальный декодер вместе с параметром усиления и параметром выравнивания по времени. Параметр усиления функционирует так, чтобы управлять фазой 84 усиления, применяющей усиление в соответствии с первым правилом усиления. Дополнительно, параметр усиления управляет дополнительными фазами 82, 83 усиления для применения усиления в соответствии с другим, вторым, правилом усиления. Дополнительно, многоканальный блок восстановления включает в себя блок 84 вычитания и блок 85 суммирования, а также блок 86 рассогласования по времени, чтобы сформировать восстановленный первый канал и восстановленный второй канал.

Далее выполняется ссылка на предпочтительный вариант осуществления схемы кодера/декодера по фиг.7 и фиг.8. Фиг.9a иллюстрирует полную схему кодера/декодера в соответствии с аспектом настоящего изобретения, в которой остаточный сигнал d(n) не равен нулю. Дополнительно, фиг.9b показывает масштабируемый кодер/декодер по фиг.9a, когда разностный сигнал d(n) не вычислен, или когда поток данных отсечен, чтобы уменьшить остаточный сигнал, к примеру, вследствие связанного с полосой пропускания передачи требования. В случае отсечения закодированного остаточного сигнала из потока данных, передаваемого из кодера в декодер в варианте осуществления по фиг.9a, вариант осуществления по фиг.9a становится чистым параметрическим многоканальным сценарием, в котором параметр выравнивания и параметр усиления являются многоканальными параметрами, а специальный монофонический сигнал является каналом понижающего микширования, передаваемым со стороны декодера на сторону кодера.

Многоканальное восстановление на стороне декодера выполняется только с помощью параметров выравнивания и усиления, поскольку остаточный сигнал не принимается на стороне декодера, т.е. d(n) равен нулю.

Фиг.9c иллюстрирует уравнения, лежащие в основе изобретаемого кодера, тогда как фиг.9d иллюстрирует уравнения, лежащие в основе изобретаемого декодера.

В частности, изобретаемый кодер включает в себя, в качестве поставщика 14 параметров с фиг.1, блок 71 вычисления параметров. Блок 71 вычисления параметров функционирует так, чтобы вычислять параметр выравнивания по времени для выравнивания правого канала r(n) с левым каналом l(n). На фиг.9a-9d выровненный правый канал указывается посредством r_a(n). Параметр выравнивания предпочтительно извлекается из перекрывающихся блоков входного сигнала. Параметр выравнивания соответствует задержке по времени между левым каналом и правым каналом и оценивается предпочтительно с помощью методик взаимной корреляции временной области. Для случая, когда в поддиапазоне отсутствует усиление выравнивания, например, в случае независимых сигналов, параметру задержки присваивается значение нуль. Предпочтительно, один параметр задержки (выравнивания по времени) оценивается на поддиапазон в структуре поддиапазонов. В предпочтительном варианте осуществления использованы фиксированная скорость анализа в 46 мс и 50%-ные перекрывающиеся окна Хэмминга.

Блок 71 вычисления параметров дополнительно вычисляет значение усиления. Значение усиления также предпочтительно извлекается из перекрывающихся блоков сигнала. Обычно параметр усиления идентичен параметру разности уровней, как правило, используемому в параметрическом кодировании, таком как хорошо известная схема бинаурального кодирования сигнала. Альтернативно, значение усиления может быть вычислено с помощью итеративного подхода, при котором разностный сигнал отправляется в блок вычисления параметров, а значение усиления задается таким образом, что разностный сигнал достигает минимального значения, как показано посредством пунктирной линии 90 на фиг.9a. Как только выравнивание и усиление параметров вычислено, блок 70 понижающего микширования на фиг.7, а также остаточный кодер 16 на фиг.7 могут быть запущены. В частности, блок 70 понижающего микширования на фиг.7 включает в себя блок 91 выравнивания для задержки одного канала на вычисленный параметр выравнивания по времени. Задержанный второй канал r_a(n) затем прибавляется к первому каналу с помощью устройства 92 суммирования. На выходе блока 92 суммирования присутствует канал понижающего микширования. Таким образом, блок 70 понижающего микширования на фиг.7 включает в себя блоки 91 и 92, чтобы сформировать специальный монофонический сигнал.

Остаточный кодер 16 на фиг.7 дополнительно включает в себя блок 93 взвешивания и последующий блок 94 вычисления бокового сигнала, который вычисляет разность между исходным первым каналом и выровненным и взвешенным вторым каналом. В частности, для взвешивания выровненного второго канала выполняется первое правило взвешивания, используемое в соответствующем блоке 80 на стороне декодера. Таким образом, остаточный кодер 16 включает в себя устройство 91 выравнивания, устройство 93 взвешивания и блок 94 вычисления бокового сигнала. Поскольку выровненный второй канал используется для понижающего микширования, а также для вычисления остатка, достаточно вычислить выровненный правый канал только один раз и перенаправить результат в блок 70 понижающего микширования, а также в блок взвешивания/блок 72 вычисления бокового сигнала на фиг.7.

Предпочтительно, коэффициенты выравнивания и усиления выбираются так, чтобы процесс был обратим, с тем чтобы уравнения по фиг.9d были четко определены и хорошо обусловлены.

Общий монофонический кодер может быть использован для монофонического кодера 51, чтобы кодировать суммирующий сигнал, и предпочтительно специальный остаточный кодер 33 используется для остатка.

Когда монофонический кодер 51 является монофоническим кодером без потерь, т.е. когда монофонический сигнал не квантуется дополнительно, и либо остаточный кодер также является кодером без потерь, либо модель сигнала выравнивания точно совпадает с исходным сигналом, то изобретаемая структура кодирования, показанная на фиг.9a, имеет отличное свойство восстановления, при условии также, что параметры выравнивания и усиления подвергаются только схеме кодирования без потерь.

Изобретаемая система на фиг.9a предоставляет основу для схемы, которая может работать с постепенным снижением производительности в рамках множества диапазонов, как показано на фиг.11, линия 1114. В частности, без остаточного кодирования, т.е. d(n)=0, схема сокращается до параметрического стереофонического кодирования посредством передачи только параметров выравнивания и усиления (в качестве многоканальных параметров) в дополнение к монофоническому сигналу (в качестве канала понижающего микширования). Эта ситуация проиллюстрирована на фиг.9b. Дополнительно, изобретаемая система имеет преимущество в том, что способ выравнивания автоматически разрешает проблему монофонического понижающего микширования.

Далее выполняется ссылка на фиг.10, иллюстрирующую реализацию изобретаемого варианта осуществления, проиллюстрированного на фиг.9a-9d, в структуре кодирования по поддиапазонам. Исходный левый и правый канал вводятся в гребенку 1000 фильтров анализа для получения сигналов нескольких поддиапазонов. Для каждого сигнала поддиапазона используется схема кодирования/декодирования, показанная на фиг.9a-9d. На стороне декодера восстановленные сигналы поддиапазонов объединяются в гребенке 1010 фильтров синтеза, чтобы в итоге прийти в полнодиапазонные восстановленные многоканальные сигналы. Естественно, для каждого поддиапазона параметр выравнивания и параметр усиления должны быть переданы со стороны кодера на сторону декодера, как проиллюстрировано посредством стрелки 1020 на фиг.10.

Предпочтительная реализация структуры кодирования по поддиапазонам на фиг.10 основана на косинусоидальной модулированной гребенке фильтров с двумя каскадами, чтобы добиться неравных полос пропускания поддиапазонов (на перцепционно обоснованной шкале). Первый каскад разделяет сигнал на M диапазонов. M сигналов поддиапазона критически прореживаются и предоставляются в гребенку фильтров второго каскада. k-й фильтр второго каскада, k ∈ {1, ..., M}, имеет M_k диапазонов. В предпочтительной реализации используется M=8 диапазонов, и структура поддиапазонов, приведенная в таблице на фиг.10, дающая в результате 36 действующих поддиапазонов после двух каскадов, является предпочтительной. Прототипы фильтров разрабатываются согласно [13] с затуханием, по меньшей мере, в 100 дБ в полосе затухания. Порядок фильтров в первом каскаде составляет 116, а максимальный порядок фильтров во втором каскаде составляет 256. Затем структура кодирования применяется к парам поддиапазонов (соответствующим левому и правому каналам поддиапазонов).

Соответствующая группировка поддиапазонов между гребенкой фильтров первого и второго каскада показана в таблице справа на фиг.10, которая проясняет то, что первый поддиапазон k включает в себя 16 подподдиапазонов. Дополнительно, второй поддиапазон включает в себя 8 подподдиапазонов и т.д.

Эффективное параметрическое кодирование достигается с помощью методик векторного квантования (VQ) по Гауссовому смешиванию (GM). Квантование на основе GM-моделей популярно в области техники кодирования речи [14-16] и упрощает реализацию низкой сложности VQ большой размерности. В предпочтительной реализации выполняется векторное квантование 36-мерных векторов параметров усиления и задержки. Все GM-модели имеют 16 компонентов смешивания и обучаются на базе данных параметров, извлеченных из 60 минут аудиоданных (с варьирующимся содержимым и отдельно от последующих оценочных испытательных сигналов). Способы, основанные на явных статистических моделях, менее часто используются в аудиокодировании, чем в кодировании речи. Одна причина этого заключается в недоверии к способности статистических моделей фиксировать всю значимую информацию, содержащуюся в обычном аудио. В предпочтительном случае предварительная оценка с помощью процедур открытых и закрытых испытаний для параметрических моделей, тем не менее, показывает, что в данном случае нет проблем. Результирующая скорость передачи битов для параметров усиления и задержки составляет 2,3 кбит/с.

Структура поддиапазонов используется для кодирования остаточных сигналов. С помощью такой же блочной обработки, что и описанная выше, дисперсия в каждом поддиапазоне оценивается, и дисперсии подвергаются векторному квантованию с помощью GM VQ по поддиапазонам (т.е. один 36-мерный вектор кодируется за один раз). Дисперсии упрощают распределение битов по поддиапазонам с помощью поглощающего алгоритма распределения битов [17, стр. 234]. Сигналы поддиапазонов затем кодируются с помощью скалярных квантователей с постоянным шагом.

Мгновенное усиление g(n) и задержка τ(n) получается посредством линейной интерполяции блочных оценок. Изменяющаяся во времени задержка реализована с помощью дробного фильтра задержки 73-го порядка на основе усеченной и обработанной с помощью взвешенной функции Хэмминга синусоидальной импульсной характеристики [18]. Коэффициенты фильтрации обновляются по выборкам с помощью интерполированного параметра задержки.

Предлагается основа для гибкого кодирования стереокартины в обычном аудио. С помощью новой структуры можно плавно перейти от параметрического стереорежима к аппроксимирующему волновую форму кодированию. Примерная реализация этих идей испытана с помощью некодированного остатка, чтобы оценить эффект от повышения скорости передачи битов остаточного кодера, и с помощью основного MP3-кодера, чтобы оценить схему в более реалистичном сценарии.

Для стабилизации стереоизображения предпочтительно подвергать низкочастотной фильтрации параметры в чистой параметрической системе или в масштабируемой системе, имеющей чистую параметрическую часть, которая может быть использована посредством декодера без обработки остаточного сигнала, как выполнено в примере [9]. Это снижает усиление выравнивания системы. Посредством кодирования остатка с помощью скалярного кодирования по поддиапазонам качество дополнительно повышается и достигает прозрачного качества. В частности, добавление битов в остаток стабилизирует стереокартину, и стереоохват также увеличивается. Более того, гибкие методики временной сегментации и переменной скорости (к примеру, накопителя битов) предпочтительны, чтобы более оптимально использовать динамический характер обычного аудио. Параметр когерентности предпочтительно включен в фильтр выравнивания, чтобы улучшить параметрический режим. Улучшенное остаточное кодирование с помощью маскировки восприятия, векторного квантования и дифференциального кодирования приводит к более надежному уменьшению нерелевантности и избыточности.

Хотя изобретаемая система описана в контексте стереофонического кодирования и в контексте параметрически усовершенствованной схемы кодирования с выделением центрального и разностного канала, здесь следует отметить, что каждая схема параметрического кодирования/декодирования, такая как обобщенное стереофоническое кодирование по интенсивности, может извлекать выгоду из дополнительно включенного бокового компонента, чтобы в итоге достигать отличного свойства восстановления. Хотя предпочтительный вариант осуществления схемы кодера/декодера в соответствии с изобретением описан с использованием временного выравнивания на стороне кодера, передачи параметра выравнивания и с использованием рассогласования во времени на стороне декодера, существуют дополнительные альтернативы, которые выполняют выравнивание во времени на стороне кодера для формирования небольшого разностного сигнала, но которые не выполняют рассогласование во времени на стороне кодера, с тем чтобы параметр выравнивания не должен был передаваться от кодера к декодеру. В этом варианте осуществления отбрасывание рассогласования во времени, разумеется, включает в себя искажение. Тем не менее, искажение в большинстве случаев несерьезно, так что этот вариант осуществления особенно подходит для недорогих многоканальных декодеров.

Следовательно, настоящее изобретение может рассматриваться как расширение предпочтительной BCC-схемы параметрического кодера или любой другой схемы многоканального кодирования, которая полностью откатывается к чистой параметрической схеме, когда закодированный остаточный сигнал отсекается. В соответствии с настоящим изобретением, чистая параметрическая система модернизируется посредством передачи различных типов дополнительной информации, которая предпочтительно включает в себя остаточный сигнал в волновой форме, параметр усиления и/или параметр выравнивания по времени. Таким образом, операция декодирования с помощью дополнительной информации приводит к более высокому качеству, чем было бы доступное с помощью только параметрических методик.

В зависимости от требований, предложенные способы кодирования и декодирования могут быть реализованы в аппаратных средствах, программном обеспечении или в микропрограммном обеспечении. Следовательно, изобретение также относится к машиночитаемому носителю, хранящему программный код, который при выполнении на вычислительной машине приводит к одному из предлагаемых способов. Таким образом, настоящее изобретение - это вычислительная программа, имеющая программный код, который при выполнении на вычислительной машине приводит к осуществлению способа в соответствии с изобретением.

ЛИТЕРАТУРА

[1] J.D. Johnston and A.J. Ferreira, .Sum-difference stereo transform coding," in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP), 1992, vol. 2, pp. 569.572.

[2] R. Waal and R. Veldhuis, .Subband coding of stereophonic digital audio signals," in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP), 1991, pp. 3601.3604.

[3] J. Herre, K. Brandenburg, and D. Lederer, .Intensity stereo coding," in Preprint 3799, 96th AES Convention, 1994.

[4] K. Brandenburg, .MP3 and AAC explained," in Proc. of the AES 17th International Conference, paper no. 17-009, 1999.

[5] J. Blauert, Spatial hearing: the psychophysics of human sound localization, The MIT Press, Cambridge, Massachusetts, 1997.

[6] H. Fuchs, .Improving joint stereo audio coding by adaptive inter-channel prediction," in Proc. of IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 1993, pp. 39.42.

[7] H. Fuchs, .Improving MPEG audio coding by backward adaptive linear stereo prediction," in Preprint 4086, 99th AES Convention, 1995.

[8] F. Baumgarte and C. Faller, .Binaural cue coding. part I: Psychoacoustic fundamentals and design principles," IEEE Trans. Speech Audio Processing, vol. 11, no. 6, pp. 509.519, 2003.

[9] C. Faller and F. Baumgarte, .Binaural cue coding. part II: Schemes and applications," IEEE Trans. Speech Audio Processing, vol. 11, no. 6, pp. 520.531, 2003.

[10] C. Faller, Parametric Coding of Spatial Audio, Ph.D. thesis, Ecole Polytechnique Federale de Lausanne, 2004.

[11] J. Breebaart, S. van de Par, A. Kohlrausch, and E. Schuijers, "High-quality parametric spatial audio coding at low bitrates," in Preprint 6072, 116th AES Convention, 2004.

[12] J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, and C. Spenger, .MP3 surround: Efficient and compatible coding of multi-channel audio," in Preprint 6049, 116th AES Convention, 2004.

[13] Y-P. Lin and P.P. Vaidyanaythan, .A Kaiser window approach for the design of prototype filters of cosine modulated filterbanks," IEEE Signal Processing Letters, vol. 5, no. 6, pp. 132.134, 1998.

[14] P. Hedelin and J. Skoglund, "Vector quantization based on Gaussian mixture models," IEEE Trans. Speech Audio Processing, vol. 8, no. 4, pp. 385.401, 2000.

[15] A.D. Subramaniam and B.D. Rao, .PDF optimized parametric vector quantization of speech line spectral frequencies," IEEE Trans. Speech Audio Processing, vol. 11, no. 2, pp. 130.142, 2003.

[16] J. Lindblom and P. Hedelin, .Variable-dimension quantization of sinusoidal amplitudes using Gaussian mixture models," in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP), 2004, vol. 1, pp. 153.156.

[17] A. Gersho and R.M. Gray, Vector Quantization and Signal Compression, Kluwer Academic Publishers, Boston, 1992.

[18] T.I. Laakso, V. http://Va.lima.ki, M. Karjalainen, and U.K. Laine, "Tools for fractional delay filter design," IEEE Signal Processing Magazine, pp. 30.60, January 1996.

[19] ITU-R Recommendation BS.1534, Method for the Subjective Assessment of Intermediate Quality Level of Coding Systems, ITU-T, 2001.

[20] The LAME project," http://lame.sourceforge.net/, July 2004, V3.96.1.

Изобретение относится к схемам многоканального кодировани, и, в частности, к схемам параметрического кодирования. Схема многоканального кодера/декодера дополнительно предпочтительно формирует остаточный сигнал (16) волновой формы. Этот остаточный сигнал (18) передается с одним или более многоканальных параметров (14) в декодер. Технический результат, достигаемый при реализации изобретения, состоит в том, что в отличие от чисто параметрического многоканального декодера предлагаемый декодер формирует многоканальный выходной сигнал, имеющий более оптимальное выходное качество благодаря дополнительному остаточному сигналу. 13 н. и 16 з.п. ф-лы, 14 ил.

1. Многоканальный кодер для кодирования исходного многоканального сигнала, имеющего, по меньшей мере, два канала, содержащий:
поставщик параметров для предоставления одного или более параметров, причем один или более параметров формируются таким образом, что восстановленный многоканальный сигнал может быть сформирован с помощью одного или более каналов понижающего микширования, извлеченных из многоканального сигнала, и одного или более параметров;
остаточный кодер для формирования закодированного остаточного сигнала на основе исходного многоканального сигнала, одного или более каналов понижающего микширования или одного или более параметров, так чтобы восстановленный многоканальный сигнал, когда сформирован с помощью остаточного сигнала, был в большей степени аналогичен исходному многоканальному сигналу, чем когда сформирован без использования остаточного сигнала; при этом остаточный кодер включает в себя многоканальный декодер для формирования декодированного многоканального сигнала с помощью одного или более каналов понижающего микширования и одного или более параметров; блок вычисления ошибок для вычисления многоканального представления сигнала ошибки на основе декодированного многоканального сигнала ошибки и исходного многоканального сигнала; и остаточный процессор для обработки многоканального представления сигнала ошибки, чтобы получить закодированный остаточный сигнал; и
формирователь потоков данных для формирования потока данных, имеющего остаточный сигнал и один или более параметров.

2. Многоканальный кодер по п.1, в котором формирователь потоков данных функционирует так, чтобы формировать масштабируемый поток данных, в котором один или более параметров и остаточный сигнал находятся на различных уровнях масштабирования.

3. Многоканальный кодер по п.1, в котором остаточный кодер функционирует так, чтобы вычислять закодированный остаточный сигнал как остаточный сигнал волновой формы.

4. Многоканальный кодер по п.1, в котором остаточный кодер функционирует так, чтобы формировать остаточный сигнал на основе одного или более параметров и исходного многоканального сигнала без одного или более каналов понижающего микширования, так чтобы остаточный сигнал имел меньшую энергию в сравнении с формированием остаточного сигнала без использования одного или более параметров.

5. Многоканальный кодер по п.4, в котором поставщик параметров содержит:
блок вычисления выравнивания для вычисления параметра выравнивания по времени, который должен быть предоставлен в блок выравнивания по времени для выравнивания первого канала и второго канала из, по меньшей мере, двух каналов; или
блок вычисления усиления для вычисления усиления, не равного единице, для взвешивания канала, с тем чтобы разность между двумя каналами была меньше в сравнении со значением усиления в единицу.

6. Многоканальный кодер по п.5, в котором остаточный кодер функционирует так, чтобы вычислять и кодировать сигнал разности, извлеченный из первого канала и выровненного и взвешенного второго канала.

7. Многоканальный кодер по п.5, содержащий также блок понижающего микширования для формирования канала понижающего микширования с помощью выровненных каналов.

8. Многоканальный кодер по п.1, содержащий также гребенку фильтров анализа для разделения многоканального сигнала на множество частотных диапазонов,
в котором поставщик параметров и остаточный кодер функционируют так, чтобы работать с сигналами поддиапазонов, и
в котором формирователь потоков данных функционирует так, чтобы собирать закодированные остаточные сигналы и параметры для множества частотных диапазонов.

9. Многоканальный кодер по п.1, в котором остаточный процессор включает в себя многоканальный кодер для формирования многоканального представления для многоканального представления сигнала ошибки.

10. Многоканальный кодер по п.9, в котором остаточный процессор функционирует так, чтобы также формировать один или более каналов понижающего микширования многоканального представления сигнала ошибки.

11. Многоканальный кодер по п.1, в котором поставщик параметров функционирует так, чтобы предоставить параметры бинаурального кодирования сигнала (ВСС), такие как межканальные разности уровней, параметры межканальной когерентности, межканальные разности времени или сигналы огибающих канала.

12. Способ кодирования исходного многоканального сигнала, имеющего, по меньшей мере, два канала, содержащий этапы, на которых:
предоставляют один или более параметров, причем один или более параметров формируются таким образом, что восстановленный многоканальный сигнал может быть сформирован с помощью одного или более каналов понижающего микширования, извлеченных из многоканального сигнала, и одного или более параметров;
формируют закодированный остаточный сигнал на основе исходного многоканального сигнала, одного или более каналов понижающего микширования или одного или более параметров, так чтобы восстановленный многоканальный сигнал, когда сформирован с помощью остаточного сигнала, был в большей степени аналогичен исходному многоканальному сигналу, чем когда сформирован без использования остаточного сигнала, причем этап формирования включает в себя этапы, на которых формируют декодированный многоканальный сигнал с помощью одного или более каналов понижающего микширования и одного или более параметров, вычисляют многоканальное представление сигнала ошибки на основе декодированного многоканального сигнала и исходного многоканального сигнала; и
обрабатывают многоканальное представление сигнала ошибки, чтобы получить закодированный остаточный сигнал; и
формируют поток данных, имеющий закодированный остаточный сигнал и один или более параметров.

13. Многоканальный декодер для декодирования закодированного многоканального сигнала, имеющего один или более каналов понижающего микширования, один или более параметров и закодированный остаточный сигнал, один или более каналов понижающего микширования зависят от параметра выравнивания или параметра усиления, декодер содержит:
остаточный декодер для формирования декодированного остаточного сигнала на основе закодированного остаточного сигнала; и
многоканальный декодер для формирования первого восстановленного многоканального сигнала с помощью одного или более каналов понижающего микширования и одного или более параметров,
при этом многоканальный декодер также функционирует так, чтобы формировать второй восстановленный многоканальный сигнал с помощью одного или более каналов понижающего микширования и декодированного остаточного сигнала,
при этом многоканальный декодер также функционирует для взвешивания канала понижающего микширования с помощью параметра усиления, для добавления декодированного остаточного сигнала к взвешенному каналу понижающего микширования, и для вторичного взвешивания получившегося канала, чтобы получить первый восстановленный многоканальный сигнал, и вычитания декодированного остаточного сигнала из канала понижающего микширования и взвешивания канала, получившегося от вычитания, с помощью параметра усиления, или рассогласования разности между каналом понижающего микширования и декодированным остаточным сигналом при получении второго восстановленного многоканального сигнала.

14. Многоканальный декодер по п.13, в котором закодированный многоканальный сигнал представляется посредством масштабированного потока данных, причем масштабированный поток данных имеет первый уровень масштабирования, включающий в себя один или более параметров, и второй уровень масштабирования, включающий в себя закодированный остаточный сигнал, при этом многоканальный декодер также содержит
анализатор потоков данных для извлечения первого уровня масштабирования или второго уровня масштабирования.

15. Многоканальный декодер по п.13,
в котором закодированный остаточный сигнал зависит от одного или более параметров, и
при этом многоканальный декодер функционирует так, чтобы использовать один или более каналов понижающего микширования, один или более параметров и декодированный остаточный сигнал для формирования второго восстановленного многоканального сигнала.

16. Многоканальный декодер по п.13,
в котором канал понижающего микширования зависит от параметра выравнивания или параметра усиления, и
в котором многоканальный декодер функционирует так, чтобы взвешивать канал понижающего микширования с помощью первого правила взвешивания на основе параметра усиления и взвешивать канал понижающего микширования с помощью второго правила взвешивания с помощью параметра усиления, или
рассогласовывать один выходной канал относительно другого выходного канала с помощью параметра выравнивания.

17. Многоканальный декодер по п.13, в котором параметры включают в себя параметры бинаурального кодирования сигнала (ВСС), такие как межканальные разности уровней, параметры межканальной когерентности, межканальные разности времени или сигналы огибающих канала, и
при этом многоканальный декодер функционирует так, чтобы выполнять операцию многоканального декодирования с помощью схемы бинаурального кодирования сигнала.

18. Многоканальный декодер по п.13, в котором один или более каналов понижающего микширования, один или более параметров и закодированный остаточный сигнал представляются посредством заданных поддиапазоном данных, также содержащий
гребенку фильтров синтеза для объединения восстановленных данных поддиапазонов, формируемых посредством многоканального декодера, чтобы получить полнодиапазонное представление первого или второго восстановленного многоканального сигнала.

19. Способ декодирования закодированного многоканального сигнала, имеющего один или более каналов понижающего микширования, один или более параметров и закодированный остаточный сигнал, содержащий этапы, на которых:
формируют декодированный остаточный сигнал на основе закодированного остаточного сигнала; и
формируют первый восстановленный многоканальный сигнал с помощью одного или более каналов понижающего микширования и одного или более параметров и формируют второй восстановленный многоканальный сигнал с помощью одного или более каналов понижающего микширования и декодированного остаточного сигнала, этап формирования включает в себя этапы, на которых взвешивают канал понижающего микширования с помощью параметра усиления, добавляют декодированный остаточный сигнал к взвешенному каналу понижающего микширования и повторно взвешивают получившийся канал для того, чтобы получить первый восстановленный многоканальный сигнал, и вычитают декодированный остаточный сигнал из канала понижающего микширования и взвешивают канал, получившийся в результате вычитания, с помощью параметра усиления, или рассогласовывают разницу между каналом понижающего микширования и декодированным остаточным сигналом при получении второго восстановленного многоканального сигнала.

20. Многоканальный кодер для кодирования исходного многоканального сигнала, имеющего, по меньшей мере, два канала, содержащий:
блок вычисления параметров для вычисления параметра выравнивания;
блок выравнивания по времени для выравнивания первого канала и второго канала из, по меньшей мере, двух каналов с помощью параметра выравнивания;
блок понижающего микширования для формирования канала понижающего микширования с помощью выровненных каналов;
блок вычисления усиления для вычисления параметра усиления, не равного единице, для взвешивания выровненного канала, так чтобы разность между выровненными каналами была уменьшена в сравнении со значением усиления в единицу; и
формирователь потоков данных для формирования потока данных, имеющего информацию канала понижающего микширования, информацию параметра выравнивания и информацию параметра усиления.

21. Многоканальный кодер по п.20, содержащий также остаточный кодер для вычисления и кодирования сигнала разности, извлеченного из первого канала и выровненного и взвешенного второго канала,
при этом формирователь потоков данных также функционирует так, чтобы включать закодированный остаточный сигнал в поток данных.

22. Многоканальный декодер для декодирования закодированного многоканального сигнала, имеющего информацию одного или более каналов понижающего микширования, информацию параметра усиления, информацию параметра выравнивания и закодированный остаточный сигнал, содержащий:
декодер каналов понижающего микширования для формирования декодированного канала понижающего микширования; и
процессор для обработки декодированного канала понижающего микширования с помощью параметра усиления, чтобы получить первый декодированный выходной канал, и для обработки декодированного канала понижающего микширования с помощью параметра усиления и для того, чтобы рассогласовать с помощью параметра выравнивания, чтобы получить второй декодированный выходной канал; и
остаточный декодер для формирования декодированного остаточного сигнала,
при этом процессор функционирует для первичного взвешивания канала понижающего микширования с помощью параметра усиления, для добавления декодированного остаточного сигнала, и для вторичного взвешивания с помощью параметра усиления, чтобы получить первый восстановленный канал, и вычитания декодированного остаточного сигнала из канала понижающего микширования до взвешивания и рассогласовывания, чтобы получить восстановленный второй канал.

23. Способ кодирования исходного многоканального сигнала, имеющего, по меньшей мере, два канала, содержащий этапы, на которых:
вычисляют параметр выравнивания;
выравнивают по времени первый канал и второй канал из, по меньшей мере, двух каналов с помощью параметра выравнивания;
формируют канал понижающего микширования с помощью выровненных каналов;
вычисляют параметр усиления, не равный единице, для взвешивания выровненного канала, так чтобы разность между выровненными каналами была уменьшена в сравнении со значением усиления в единицу; и
формируют поток данных, имеющий информацию канала понижающего микширования, информацию параметра выравнивания и информацию параметра усиления.

24. Способ декодирования закодированного многоканального сигнала, имеющего информацию одного или более каналов понижающего микширования, информацию параметра усиления, информацию параметра выравнивания и закодированный остаточный сигнал, содержащий этапы, на которых:
формируют декодированный канал понижающего микширования;
обрабатывают декодированный канал понижающего микширования с помощью параметра усиления, чтобы получить первый декодированный выходной канал, и обрабатывают декодированный канал понижающего микширования с помощью параметра усиления и рассогласовывания на основе параметра выравнивания, чтобы получить второй декодированный выходной канал; и
декодируют закодированный остаточный сигнал для того, чтобы получить декодированный остаточный сигнал,
причем этап обработки включает в себя этапы, на которых первично взвешивают канал понижающего микширования с помощью параметра усиления, добавляют декодированный остаточный сигнал и вторично взвешивают с помощью параметра усиления, чтобы получить первый восстановленный канал, и вычитают декодированный остаточный сигнал из канала понижающего микширования до взвешивания и рассогласовывания, чтобы получить восстановленный второй канал.

25. Машиночитаемый носитель, хранящий программный код, который при выполнении на вычислительной машине приводит к осуществлению представления кодированного многоканального сигнала, имеющего информацию одного или более каналов понижающего микширования, одного или более параметров, который при объединении с одним или более каналов понижающего микширования имеет результатом первый восстановленный многоканальный сигнал, и закодированный остаточный сигнал, который при объединении с одним или более каналов понижающего микширования имеет результатом второй восстановленный многоканальный сигнал, причем второй восстановленный многоканальный сигнал в большей степени аналогичен исходному многоканальному сигналу, чем первый восстановленный многоканальный сигнал, причем закодированный многоканальный сигнал является масштабируемым потоком данных, в котором один или более параметров и остаточный сигнал находятся на разных уровнях масштабирования, или один или более параметров включают в себя параметры бинаурального кодирования сигнала (ВСС), такие как межканальные разности уровней, параметры межканальной когерентности, межканальные разности времени или сигналы огибающих канала.

26. Машиночитаемый носитель, содержащий команды для вычислительной машины, которые при их выполнении вычислительной машиной обуславливают осуществление вычислительной машиной способа по п.12.

27. Машиночитаемый носитель, содержащий команды для вычислительной машины, которые при их выполнении вычислительной машиной обуславливают осуществление вычислительной машиной способа по п.19.

28. Машиночитаемый носитель, содержащий команды для вычислительной машины, которые при их выполнении вычислительной машиной обуславливают осуществление вычислительной машиной способа по п.23.

29. Машиночитаемый носитель, содержащий команды для вычислительной машины, которые при их выполнении вычислительной машиной обуславливают осуществление вычислительной машиной способа по п.24.