УСТРОЙСТВО, СПОСОБ ИЛИ КОМПЬЮТЕРНАЯ ПРОГРАММА ДЛЯ ФОРМИРОВАНИЯ ВЫХОДНОГО ПРЕДСТАВЛЕНИЯ ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ Российский патент 2023 года по МПК H04S1/00 H04S3/00 G10L19/08 G10L19/22 G10L21/04 

Настоящее изобретение относится к многоканальной обработке, и в частности к многоканальной обработке, обеспечивающей возможность моновывода.

Хотя стереокодированный поток битов обычно декодируется для воспроизведения на стереосистеме, не все устройства, которые способны принимать битовый поток стереоданных, всегда способны выводить стереосигнал. Возможный сценарий представляет собой воспроизведение стереосигнала на мобильном телефоне посредством только монодинамика. С появлением сценариев многоканальной мобильной связи, поддерживаемых развивающимся стандартом IVAS 3GPP, в силу этого требуется понижающее стерео-мономикширование, которое не содержит дополнительной задержки и является максимально возможно эффективным с точки зрения сложности, при одновременном обеспечении самого лучшего воспринимаемого качества за пределами того, что является достижимым с помощью простого пассивного понижающего микширования.

Существует множество способов преобразования стереосигнала в моносигнал. Наиболее простые способы выполнения этого состоят в пассивном понижающем микшировании [1] во временной области, которое формирует средний сигнал посредством суммирования левого и правого каналов и масштабирования результата:

Другие способы более сложного (т.е. активного) понижающего микширования во временной области включают в себя масштабирование энергии в попытке сохранения полной энергии сигнала [2] [3], фазовое совмещение для предотвращения эффектов подавления [4], и предотвращение эффектов гребенчатой фильтрации посредством подавления когерентности [5].

Другой способ состоит в выполнении энергетической коррекции частотно-зависимым способом посредством вычисления отдельных весовых коэффициентов для нескольких полос частот спектра. Например, это осуществляется в качестве части преобразователя форматов MPEG-H [6], в котором понижающее микширование выполняется для гибридного подполосного представления сигналов QMF с дополнительным предшествующим фазовым совмещением каналов. В [7] аналогичное понижающее микширование для каждой полосы частот (включающее в себя фазовое и временное совмещение) уже используется для параметрического стереорежима DFT с низкой скоростью передачи битов, в котором взвешивание и микширование применяются в области DFT.

Решение для пассивного понижающего стерео-мономикширования во временной области после декодирования стереосигнала не является идеальным, поскольку известно, что чисто пассивное понижающее микширование имеет определенные недостатки, например, эффекты подавления фаз или общие потери энергии, которые могут, в зависимости от предмета, сильно ухудшать качество.

Другие способы активного понижающего микширования, которые выполняются чисто во временной области, смягчают некоторые проблемы пассивного понижающего микширования, но по-прежнему являются субоптимальными вследствие отсутствия частотно-зависимого взвешивания.

В силу неявных ограничений для кодеков мобильной связи, таких как IVAS (службы передачи иммерсивных голосовых и аудиоданных), с точки зрения задержки и сложности, наличие выделенного каскада постобработки, к примеру, преобразователя форматов MPEG-H для применения понижающего микширования для каждой полосы частот, также не представляет собой вариант для выбора, поскольку необходимые преобразования в частотную область и обратно неизбежно приводят к увеличению и сложности и задержки.

В стереосистеме на основе DFT, как описано в [8], которая использует только остаточное прогнозирование на основе параметров, чтобы восстанавливать стереосигнал в декодере, и в которой средний сигнал формируется посредством активного понижающего микширования, как описано в [7], достаточно хороший моносигнал доступен в декодере. Тем не менее, если спектральные части сигнала основываются на кодированном остаточном сигнале для стереовосстановления, который сформирован посредством M/S-преобразования, моносигнал, доступный перед повышающим стереомикшированием, более не является подходящим. В этом случае, моносигнал должен спектрально состоять в части среднего сигнала из преобразования M/S (части остаточного кодирования), которая равна пассивному понижающему микшированию, и частично активного понижающего микширования (части остаточного прогнозирования). Это смешение двух различных способов понижающего микширования приводит к артефактам и энергетическому дисбалансу в сигнале.

Задача настоящего изобретения состоит в создании усовершенствованной концепции для формирования выходного представления понижающего микширования для многоканального декодирования.

Данная задача решается устройством для формирования выходного представления понижающего микширования по пункту 1 формулы, многоканальным декодером по пункту 19 формулы, способом формирования выходного представления понижающего микширования по пункту 24 формулы, способом многоканального декодирования по пункту 27 или соответствующей компьютерной программой по пункту 28 формулы.

Устройство для формирования выходного представления понижающего микширования из входного представления понижающего микширования, при этом по меньшей мере часть входного представления понижающего микширования соответствует первой схеме понижающего микширования, содержит повышающий микшер для повышающего микширования по меньшей мере части входного представления понижающего микширования с использованием схемы повышающего микширования, соответствующей первой схеме понижающего микширования, для получения по меньшей мере одной микшированной с повышением части. Кроме того, устройство содержит понижающий микшер для понижающего микширования по меньшей мере одной микшированной с повышением части в соответствии со второй схемой понижающего микширования, отличной от первой схемы понижающего микширования.

В другом варианте осуществления, часть входного представления понижающего микширования соответствует схеме понижающего микширования, и кроме того, вторая часть входного представления понижающего микширования соответствует второй схеме понижающего микширования, отличной от первой схемы понижающего микширования. В этом варианте осуществления, понижающий микшер выполнен с возможностью понижающего микширования части повышающего микширования в соответствии со второй схемой понижающего микширования или в соответствии с третьей схемой понижающего микширования, отличной от схемы понижающего микширования и второй схемы понижающего микширования, для получения первой микшированной с понижением части. Теперь, ситуация относительно микшированной с понижением части является такой, что первая микшированная с понижением часть и вторая часть связаны, и можно сказать, что они находятся в одной и той же области схемы понижающего микширования, так что первая микшированная с понижением часть и вторая микшированная с понижением часть или микшированная с понижением часть, извлекаемая из второй микшированной с понижением части, могут комбинироваться посредством модуля комбинирования для получения выходного представления понижающего микширования, содержащего выходное представление для первой части и выходное представление для второй части, при этом выходное представление для первой части и выходное представление для второй части основаны на одинаковой схеме понижающего микширования, т.е. расположены в одной и той же области понижающего микширования и в силу этого «гармонизируются» друг с другом.

В дополнительном варианте осуществления, либо полная полоса пропускания, либо только часть входного представления понижающего микширования основаны на схеме понижающего микширования, базирующейся на параметрах и остаточном сигнал или базирующейся только на остаточном сигнале без параметров. В этом контексте, входное представление понижающего микширования содержит базовый сигнал, остаточный сигнал или остаточный сигнал и параметры. Этот сигнал микшируется с повышением с использованием дополнительной информации, т.е. с использованием параметров и остаточного сигнала либо с использованием просто остаточного сигнала. Повышающее микширование содержит всю доступную информацию, включающую в себя остаточный сигнал, и понижающее микширование выполняется до второй схемы понижающего микширования, которая отличается от первой схемы понижающего микширования, т.е. которая, предпочтительно, представляет собой активное понижающее микширование, имеющее показатели для решения по вычислениям энергии, или, другими словами, схему понижающего микширования, которая не формирует остаточный сигнал и, предпочтительно, не формирует остаточный сигнал и любые параметры. Такое понижающее микширование обеспечивает возможность хорошего и приятного и высококачественного аудиомонорендеринга, в то время как базовый сигнал входного представления понижающего микширования при использовании без повышающего микширования и последующего понижающего микширования не обеспечивает приятное и высококачественное воспроизведение аудиоданных, если он подготавливается посредством рендеринга без преимущественного учета остаточного сигнала и параметров.

В соответствии с этим вариантом осуществления, устройство для формирования выходного представления понижающего микширования выполняет преобразование схемы остаточного понижающего микширования в схему неостаточного понижающего микширования. Это преобразование либо может выполняться в полной полосе частот, либо также может выполняться в частичной полосе частот. Обычно и в предпочтительных вариантах осуществления, полоса низких частот многоканального кодированного сигнала содержит базовый сигнал, остаточный сигнал и предпочтительно параметры. Тем не менее, в полосе высоких частот обеспечивается меньшая точность за счет более низкой скорости передачи битов, и в силу этого в такой полосе высоких частот активное понижающее микширование является достаточным без другой дополнительной информации, такой как остаточные данные или параметры. В этом контексте, полоса низких частот, которая находится в области остаточного понижающего микширования, преобразуется в область неостаточного понижающего микширования, и результат комбинируется с полосой высоких частот, которая уже находится в «корректной» области неостаточного понижающего микширования.

В дополнительном варианте осуществления, не требуется то, что первая часть должна преобразовываться из первой области понижающего микширования в ту же область понижающего микширования, в которой расположена вторая часть. Вместо этого, в дополнительных вариантах осуществления, в которых первая часть находится в первой области понижающего микширования, и вторая часть входного представления находится во второй области понижающего микширования, обе этих части преобразуются в другую третью область понижающего микширования посредством повышающего микширования первой части в соответствии с первой схемой повышающего микширования, соответствующей первой схеме понижающего микширования. Кроме того, вторая часть микшируется с повышением в соответствии со второй схемой повышающего микширования, соответствующей второй схеме понижающего микширования, и оба повышающих микширования микшируются с понижением, предпочтительно посредством активного понижающего микширования без остаточных или параметрических данных, в третью схему понижающего микширования, которая отличается от первой и второй схем понижающего микширования.

В дополнительных вариантах осуществления, могут быть доступными более двух частей и, в частности, спектральных частей или полос частот спектра, которые находятся в различных представлениях понижающего микширования. Посредством настоящего изобретения, в котором, предпочтительно, повышающее микширование и последующее понижающее микширование выполняется в спектральной области, отдельные обработки для отдельных полос частот могут выполняться без помех из одной полосы частот спектра другой полосе частот спектра. В выводе понижающего микшера, все полосы частот находятся в одной и той же области «понижающего микширования», и в силу этого существует спектр для выходного монопредставления понижающего микширования, который может преобразовываться в представление во временной области посредством спектрально-временного преобразователя, такого как синтетическая гребенка, обратное дискретное преобразование Фурье, область обратного MDCT или любое другое такое преобразование. Комбинирование отдельных полос частот и преобразования во временную область может реализовываться посредством такой гребенки синтезирующих фильтров. В частности, то, выполняется ли комбинирование перед фактическим преобразованием, т.е. в спектральной области, является нерелевантным. В такой ситуации, комбинирование осуществляется перед спектрально-временным преобразованием, т.е. при вводе в гребенку синтезирующих фильтров, и выполняется только одно преобразование для получения одного сигнала временной области. Тем не менее, эквивалентная реализация состоит в реализации, в которой модуль комбинирования выполняет спектрально-временное преобразование для каждой полосы частот отдельно, так что вывод во временной области каждого такого отдельного преобразования представляет представление во временной области, но в определенной полосе пропускания, и отдельные выводы во временной области комбинируются последовательным выборочным способом предпочтительно после некоторой повышающей дискретизации, когда реализованы критически дискретизированные преобразования.

В дополнительной реализации, настоящее изобретение применяется в многоканальном декодере, который может работать в двух различных режимах, т.е. в режиме многоканального вывода в качестве «нормального» режима, и который также может работать во втором режиме, таком как «исключительный режим», который представляет собой режим моновывода. Этот режим моновывода является, в частности, полезным, когда многоканальный декодер реализуется в устройстве, которое имеет только средство моновывода на динамик, такое как мобильный телефон, имеющий один динамик, либо которое реализуется в устройстве, которое находится в некотором энергосберегающем режиме, в котором для экономии мощности аккумулятора или экономии ресурсов обработки предусмотрен только режим моновывода, даже если устройство по существу также должно иметь возможность для режима многоканального или стереовывода.

В такой реализации, многоканальный декодер содержит первое временно-спектральное преобразование для декодированного базового сигнала и средство второго временно-спектрального преобразования для остаточного сигнала декодера. Предусмотрены два различных средства повышающего микширования в спектральной области для двух различных спектральных частей, находящихся в двух различных областях понижающего микширования, и соответствующие левые канальные спектральные линии комбинируются посредством модуля комбинирования, такого как гребенка синтезирующих фильтров или блок IDFT, и другие канальные спектральные линии комбинируются посредством дополнительной или второй гребенки синтезирующих фильтров или блока IDFT (обратного дискретного преобразования Фурье).

Для улучшения такого многоканального декодера предусмотрен понижающий микшер для понижающего микширования по меньшей мере одной микшированной с повышением части в соответствии со второй схемой понижающего микширования, отличной от первой схемы понижающего микширования, которая предпочтительно реализуется в качестве активного понижающего микшера. Кроме того, в варианте осуществления также предусмотрены два переключателя и контроллер. Контроллер управляет первым переключателем таким образом, чтобы обходить повышающий микшер для части полосы высоких частот, и второй переключатель реализуется с возможностью выполнения прямой подачи в понижающий микшер вывода повышающего микшера. В таком режиме моновывода, второй модуль комбинирования или гребенка синтезирующих фильтров является неактивным, и повышающий микшер для полосы высоких частот также является неактивным, чтобы снижать мощность обработки. Тем не менее, в режиме стереовывода, первый переключатель выполняет прямую подачу в повышающее микширование для полосы высоких частот, и второй переключатель обходит (активный) понижающий микшер, и обе выходных гребенки синтезирующих фильтров являются активными для получения левого выходного стереосигнала и правого выходного сигнала.

Поскольку моновывод вычисляется в спектральной области, к примеру, в область DFT, формирование моновывода не подвергается дополнительной задержке по сравнению с формированием стереовывода, поскольку дополнительные частотно-временные преобразования по сравнению с режимом стереообработки не требуются. Вместо этого, одна из двух гребенок синтезирующих фильтров на основе стереорежима также используется для монорежима. Кроме того, по сравнению со стереовыводом, который, обычно обеспечивает улучшенное аудиовосприятие по сравнению с моновыводом, режим монообработки снижает сложность и, в частности, экономит ресурсы обработки и в силу этого мощность аккумулятора в режиме с низким уровнем мощности, в частности, полезном для мобильного устройства с подачей мощности от аккумулятора. Это является истинным, поскольку повышающий микшер полосы высоких частот, который нормально требуется в стереорежиме, может деактивироваться, и, кроме того, также деактивируется вторая выходная гребенка фильтров, которая также требуется для режима стереовывода. Вместо этого, только блок активного понижающего микширования с низкой задержкой и с низкой сложностью, полностью работающий в спектральной области, требуется в качестве дополнительного блока обработки по сравнению со стереорежимом. Тем не менее, дополнительные ресурсы обработки, требуемые посредством этого блока активного понижающего микширования, существенно меньше ресурсов обработки, которые экономятся за счет деактивации повышающего микшера полосы высоких частот и второй гребенки синтезирующих фильтров или блока IDFT.

Варианты осуществления направлены на формирование гармонизированного выходного моносигнала из входного моносигнала, который создан посредством понижающего микширования стереосигнала, при этом понижающее микширование выполняется с использованием различных способов (например, активного и пассивного) по меньшей мере для двух различных спектральных областей стереосигнала. Гармонизация достигается посредством выбора одного способа понижающего микширования в качестве предпочтительного способа для гармонизированного сигнала и преобразования всех спектральных частей, которые микшированы с понижением через различные способы, в предпочтительный способ. Это достигается посредством первого повышающего микширования этих спектральных частей с использованием всех дополнительных параметров, необходимых для повышающего микширования, для получения вновь представления LR в соответствующих спектральных областях. Снова с использованием всех необходимых параметров, требуемых для предпочтительного способа понижающего микширования, спектральные части преобразуются в монопредставление посредством применения предпочтительного способа к стереопредставлению. Формируется гармонизированный выходной моносигнал, который исключает проблемы неравномерного понижающего микширования без дополнительной задержки и сложности.

Далее поясняются предпочтительные варианты осуществления относительно прилагаемых чертежей, на которых:

Фиг. 1 иллюстрирует устройство для формирования выходного представления понижающего микширования в варианте осуществления;

Фиг. 2 иллюстрирует устройство для формирования выходного представления понижающего микширования в дополнительном варианте осуществления, в котором схема понижающего микширования основана на остаточном сигнале или остаточном сигнале и параметрах;

Фиг. 3 иллюстрирует дополнительный вариант осуществления, в котором различные схемы понижающего микширования выполняются для различных частей, таких как спектральные части входного представления понижающего микширования;

Фиг. 4 иллюстрирует дополнительный вариант осуществления, иллюстрирующий использование различных схем понижающего микширования в различных спектральных частях для входного представления понижающего микширования и процедуру, в которой первая схема понижающего микширования основана на остаточных данных, и вторая схема понижающего микширования представляет собой схему активного понижающего микширования или схемой понижающего микширования без остаточных или параметрических данных;

Фиг. 5 иллюстрирует предпочтительную реализацию схемы повышающего микширования, соответствующей первой схеме понижающего микширования в варианте осуществления;

Фиг. 6 иллюстрирует многоканальный декодер, работающий в режиме стереовывода;

Фиг. 7 иллюстрирует многоканальный кодер в соответствии с вариантом осуществления, который является переключаемым между режимом многоканального вывода или режимом моновывода;

Фиг. 8a иллюстрирует предпочтительную реализацию для второй схемы понижающего микширования;

Фиг. 8b иллюстрирует дополнительный вариант осуществления второй схемы понижающего микширования; и

Фиг. 9 иллюстрирует разделение входного представления понижающего микширования на часть входного представления понижающего микширования в первой схеме понижающего микширования, указываемой в качестве первой части и на вторую часть входного представления понижающего микширования, которая основывается на схеме понижающего микширования с весовыми коэффициентами.

Фиг. 1 иллюстрирует устройство для формирования выходного представления понижающего микширования из входного представления понижающего микширования, при этом по меньшей мере часть входного представления понижающего микширования соответствует первой схеме понижающего микширования. Устройство содержит повышающий микшер 200 для повышающего микширования по меньшей мере части входного представления понижающего микширования с использованием схемы повышающего микширования, соответствующей первой схеме понижающего микширования, для получения по меньшей мере одной микшированной с повышением части в выводе блока 200. Кроме того, устройство содержит понижающий микшер 300 для понижающего микширования по меньшей мере одной микшированной с повышением части в соответствии со второй схемой понижающего микширования, отличной от первой схемы понижающего микширования. Предпочтительно, вывод понижающего микшера 300 перенаправляется в выходной каскад 500 для формирования моновывода. Выходной каскад, например, выходной интерфейс для вывода выходного представления понижающего микширования в устройство рендеринга или выходной каскад 500 фактически содержит устройство рендеринга для рендеринга выходного представления понижающего микширования в качестве моносигнала воспроизведения.

Устройство, проиллюстрированное на фиг. 1, обеспечивает преобразование из представления понижающего микширования в первой «области понижающего микширования» в другую, вторую область понижающего микширования. Как проиллюстрировано на других чертежах, преобразование может быть допустимым только для ограниченной части спектра, такой как первая часть, проиллюстрированная, например, на фиг. 9, для приведённых в качестве примера наименьших трех полос b₁, b₂ и b₃ частот. В качестве альтернативы, устройство также может выполнять преобразование из одной области понижающего микширования в другую область понижающего микширования для полной полосы частот, т.е. для всех полос b₁-b₆ частот, примерно проиллюстрированных на фиг. 9. Часть может представлять собой любую часть сигнала, к примеру, спектральную часть, временную часть, такую как временной блок или кадр, либо любую другую часть сигнала.

Фиг. 2 иллюстрирует вариант осуществления, в котором первая схема понижающего микширования основывается только на остаточном сигнале либо на остаточном сигнале и параметрической информации. Фиг. 2 содержит входной интерфейс 10, причем входной интерфейс принимает кодированный многоканальный сигнал, который содержит кодированный базовый сигнал и кодированную часть дополнительной информации. Базовый сигнал декодируется посредством базового декодера 20 для обеспечения входного представления понижающего микширования без дополнительной информации. Кроме того, часть дополнительной информации из кодированного многоканального сигнала обеспечивается и обрабатывается посредством декодера 30 дополнительной информации во входном интерфейсе, и декодер 30 дополнительной информации обеспечивает остаточный сигнал или остаточный сигнал и параметры, как указано в 210 на фиг. 2. Данные, т.е. входное понижающее микширование, которое соответствует декодированному базовому сигналу и остаточным данным, вводятся, повышающий микшер 200 и повышающий микшер 200 формируют сигнал повышающего микширования, который имеет первый канал и второй канал, и данные первого канала и второго канала представляют собой высококачественные аудиоданные, поскольку высококачественные аудиоданные формируются не только посредством базового сигнала и некоторого пассивного повышающего микширования, но и формируются дополнительно с использованием остаточных данных или остаточных данных и параметров, т.е. всех доступных данных из кодированного многоканального сигнала. Вывод повышающего микшера 200 микшируется с понижением посредством понижающего микшера 300 с использованием, например, активного понижающего микширования либо, в общем, схемы понижающего микширования, которая не формирует остаточный сигнал или которая не формирует параметры, но которая формирует сигнал понижающего микширования или моносигнал, который подвергается компенсации энергии, т.е. который не страдает от флуктуаций энергии, которые нормально представляют собой существенную проблему, когда только пассивное понижающее микширование выполняется, что, например, имеет место с базовым сигналом, сформированным посредством базового декодера 20 по фиг. 2. Вывод понижающего микшера 300 перенаправляется, например, в модуль рендеринга для рендеринга моносигнала или, например, в выходной каскад 500, проиллюстрированный на фиг. 1.

Фиг. 3 иллюстрирует дополнительный вариант осуществления, в котором, снова ссылаясь на фиг. 9, первая часть доступна в первой схеме понижающего микширования, такой как схема понижающего микширования с остаточными данными, и в котором имеется вторая спектральная часть, которая доступна, например, во второй схеме понижающего микширования без остатков, т.е. которая сформирована посредством активного понижающего микширования с использованием, например, весовых коэффициентов понижающего микширования, извлекаемых на основе энергетических соображений, чтобы противостоять любым флуктуациям, которые в противном случае должны возникать, если применяется пассивное понижающее микширование.

Первая часть представления понижающего микширования вводится в повышающий микшер 200, который выполняет повышающее микширование согласно первой схеме понижающего микширования, и первая часть перенаправляется, как пояснено относительно фиг. 1 или фиг. 2, в понижающий микшер 300, который теперь выполняет понижающее микширование во второй схеме понижающего микширования. Вторая часть, проиллюстрированная на фиг. 3, например, может находиться во второй схеме понижающего микширования, но также может находиться в третьей, т.е. в любой другой схеме понижающего микширования, из схемы понижающего микширования части, вводимой в повышающий микшер 200, или второй схемы понижающего микширования, выводимой посредством понижающего микшера 300. В случае области понижающего микширования, одинаковой для второй части и вывода понижающего микшера 300, процессор 600 вторых частей вообще не требуется. Вместо этого, вторая часть может перенаправляться в модуль 400 комбинирования для комбинирования первой и второй части, которые теперь гармонизируются относительно их схем понижающего микширования. Тем не менее, когда вторая часть находится в области понижающего микширования, т.е. имеет базовую схему понижающего микширования, отличную от схемы понижающего микширования, в которой доступен вывод понижающего микшера 300, предусмотрен процессор 600 вторых частей. Обычно процессор 600 вторых частей также содержит повышающий микшер для повышающего микширования второй части, находящейся в третьей схеме понижающего микширования, и процессор 600 вторых частей дополнительно содержит понижающий микшер для понижающего микширования представления повышающего микшера в одну и ту же область понижающего микширования, т.е. с использованием той же схемы понижающего микширования, что и схема понижающего микширования, доступная из понижающего микшера 300. Процессор 600 вторых частей может реализовываться с использованием повышающего микшера 200 и последующего соединенного понижающего микшера 300 таким образом, что получается полная гармонизация данных, вводимых в модуль 400 комбинирования. Модуль 400 комбинирования выводит, предпочтительно, спектральное представление выходного монопредставления понижающего микширования, которое преобразуется во временную область посредством спектрально-временного преобразователя, такого как гребенка фильтров, IDFT, IMDCT и т.д. В качестве альтернативы, модуль 400 комбинирования выполнен с возможностью комбинирования отдельных вводов в отдельные сигналы временной области, и сигналы временной области комбинируются во временной области для получения выходного монопредставления понижающего микширования временной области.

Фиг. 4 содержит входной интерфейс, который может включать в себя первый временно-спектральный преобразователь 100, такой как блок DFT, как проиллюстрировано на фиг. 4, и второй временно-спектральный преобразователь 120, такой как второй блок DFT на фиг. 4. Первый блок 100 выполнен с возможностью преобразования декодированного базового сигнала, например, выводимого посредством базового декодера 20 по фиг. 2, в спектральное представление. Кроме того, второй временно-спектральный преобразователь 120 выполнен с возможностью преобразования декодированного остаточного сигнала, например, выводимого декодером 30 по фиг. 2, в спектральное представление, проиллюстрированное в 210a. Кроме того, линия 210b, например, иллюстрирует обеспечиваемые при необходимости дополнительные параметрические данные, такие как боковые усиления, которые также выводятся посредством декодера 30 дополнительной информации по фиг. 2. Повышающий микшер 200 по фиг. 4 формирует микшированный с повышением левый канал и микшированный с повышением правый канал для полосы низких частот, т.е. примерно для первых трех полос b₁, b₂, b₃ частот по фиг. 9. Кроме того, повышающее микширование полосы низких частот в выводе блока 200 вводится в понижающий микшер 300, предпочтительно выполняющий активное понижающее микширование таким образом, что обеспечивается представление полосы низких частот для примерно проиллюстрированных трех полос b₁, b₂, b₃ частот по фиг. 9. Это понижающее микширование полосы низких частот уже теперь находится в одной и той же области с понижающим микшированием полосы высоких частот, сформированным посредством блока 100 DFT. Вывод блока 100 для полосы высоких частот, в примере по фиг. 9, должен соответствовать представлению понижающего микширования для полос b₄, b₅, b₆ частот. Теперь, при вводе в модуль 400 комбинирования, проиллюстрированный на фиг. 4 в виде IDFT 400, представление полосы низких частот и представление полосы высоких частот понижающего микширования находятся в одной и той же «области понижающего микширования» и сформированы с одинаковой схемой понижающего микширования. Теперь, полоса низких частот и полоса высоких частот гармонизированного представления понижающего микширования могут комбинироваться и предпочтительно преобразовываться во временную область для обеспечения выходного моносигнала в выводе блока 400.

Главным образом параметрическая стереосхема, как описано в [8], основана на идее передачи только одного микшированного с понижением канала и повторного создания стереоизображения через дополнительные параметры. Это понижающее микширование на стороне кодера выполняется активным способом посредством динамичного вычисления весовых коэффициентов для обоих каналов в области DFT [7]. Эти весовые коэффициенты вычисляются для каждой полосы частот с использованием соответствующих энергий двух каналов и их взаимной корреляции. Целевая энергия, которая должна сохраняться посредством понижающего микширования, равна энергии среднего канала с вращением фаз:

- где L и R представляют левый и правый канал. На основе этой целевой энергии, весовые коэффициенты для каналов могут вычисляться в расчете на полосу b частот следующим образом:

и:

и вычисляются для каждой полосы b частот следующим образом:

вычисляется следующим образом:

и вычисляется как абсолютное значение комплексного произведения с точкой:

где:

- и

- где i указывает число элемента разрешения в полосе b частот спектра.

Микшированный с понижением спектр получается для каждой полосы частот посредством суммирования взвешенных спектральных элементов разрешения левого и правого канала:

- и

Если вся стереообработка в такой системе полностью базируется на параметрах, и описанное активное понижающее микширование выполняется в полном спектре, моносигнал, который удовлетворяет данным требованиям к качеству в силу недопущения проблем пассивного понижающего микширования, уже доступен после базового декодирования. Это означает то, что в большинстве случаев достаточно пропускать всю стереообработку декодера и выводить сигнал без перехода в область DFT.

Тем не менее, для более высоких скоростей передачи битов, этот вид системы также поддерживает кодирование остаточного сигнала для более низких полос частот спектра. Остаточный сигнал наблюдается в качестве бокового сигнала преобразования MS этих наименьших полос частот, в то время как базовый сигнал представляет собой комплементарный средний сигнал, по существу пассивное понижающее микширование левого и правого. Чтобы поддерживать боковой сигнал максимально возможно небольшим, компенсация интерауральных разностей уровней (ILD) между каналами применяется к нему с использованием боковых усилений, которые вычисляются в расчете на полосу частот.

Микшированный с понижением средний канал вычисляется на стороне кодера для каждого спектрального элемента i разрешения в спектре остаточного кодирования следующим образом:

в то время как комплементарный боковой канал вычисляется следующим образом:

Остаточный сигнал получается посредством вычитания прогнозированной части вследствие ILD между левым и правым:

,

с боковым усилением g_b текущей полосы b частот спектра, заданным следующим образом:

Полнополосный сигнал, поступающий в базовый кодер, представляет собой смешение пассивного понижающего микширования в полосах нижних частот и активного понижающего микширования во всех полосах верхних частот. Тесты на основе прослушивания демонстрируют то, что имеются перцепционные проблемы при воспроизведении такого микшированного сигнала. В силу этого требуется способ гармонизации различных частей сигнала.

Фиг. 5 иллюстрирует представление схемы повышающего микширования, основывающейся на остаточных данных res_i и параметрических данных, проиллюстрированных посредством индексов бокового усиления для каждой полосы частот. i означает спектральные значения, и b означает определенную полосу частот. Фиг. 5 иллюстрирует ситуацию, которая также проиллюстрирована на фиг. 9, в которой каждая полоса bi частот имеет несколько спектральных линий. В частности, чтобы вычислять спектральное значение L_i, используется спектральное значение среднего сигнала, т.е. соответствующее спектральное значение с индексом i вывода базового декодера 20 или вывода блока 100 DFT по фиг. 4. Кроме того, соответствующий параметр для соответствующей полосы частот, в которой расположено спектральное значение i, требуется, как проиллюстрировано на фиг. 4 посредством линии 210b, и также требуется остаточное спектральное значение, сформированное посредством блока 120 и проиллюстрированное в линии 210a для определенного спектрального значения с индексом i и для соответствующей полосы b частот.

Представления L-R сигнала полосы низких частот с остаточным кодированием в силу этого получаются обратно следующим образом:

и:

Затем, активное понижающее микширование применяется, как описано выше, только весовые коэффициенты вычисляются из микшированных с повышением декодированных спектров L и R. Полоса низких частот комбинируется с уже активно микшированной с понижением полосой высоких частот, чтобы создавать гармонизированный сигнал, который возвращается во временную область через IDFT.

Фиг. 6 иллюстрирует реализацию многоканального декодера для стереовывода. Многоканальный декодер содержит элементы по фиг. 4, которые указаны теми же ссылочными позициями. Кроме того, многоканальный стереодекодер содержит второй повышающий микшер 220 для повышающего микширования понижающего микширования полосы высоких частот, т.е. второй части во вторе представление повышающего микширования, содержащее, например, левый канал и правый канал для стереовывода, в качестве одной реализации многоканального декодера. Для другой реализации многоканального декодера, в которой предусмотрено более двух выходных каналов, к примеру, три или более выходных канала, повышающий микшер 220, а также повышающий микшер 200 должны формировать соответствующее более высокое число выходных каналов, а не только левый канал и правый канал.

Кроме того, второй модуль 420 комбинирования проиллюстрирован на фиг. 6 для многоканального декодера, т.е. для проиллюстрированного стереодекодера. В случае более двух выводов, дополнительный модуль комбинирования должен быть предусмотрен для третьего выходного канала и еще один для четвертого выходного канала и т.д. Тем не менее, в отличие от фиг. 6, понижающий микшер 300 по фиг. 4 не требуется для многоканального вывода.

Фиг. 7 иллюстрирует предпочтительную реализацию переключаемого многоканального декодера, который является переключаемым посредством приведения в действие контроллера 700, между монорежимом или режимом стерео/многоканального вывода. Кроме того, в отличие от фиг. 6, многоканальный декодер дополнительно содержит понижающий микшер 300, уже описанный относительно фиг. 4 или других чертежей. Кроме того, в переключаемой реализации, один вариант заключается в обеспечении двух отдельных переключателей S1, S2. Тем не менее, функциональности переключения, проиллюстрированные в нижней части фиг. 7, также могут реализовываться посредством других средств переключения, таких как комбинированные переключатели или даже более двух переключателей. Обычно, переключатель 1 выполнен с возможностью работы в режиме моновывода таким образом, что второй повышающий микшер 220, также указываемый в качестве «повышающего микширования в полосе высоких частот», обходится. Кроме того, второй переключатель S2 конфигурирован посредством второго управляющего сигнала CTRL₂, для выполнения прямой подачи в активное понижающее микширование 300 вывода повышающего микшера 200, указанного как «повышающее микширование в полосе низких частот» на фиг. 7. Кроме того, в режиме моновывода, блок 220 повышающего микширования в полосе высоких частот, описанный относительно фиг. 6, является неактивным, и, кроме того, также является неактивным второй модуль 420 комбинирования, указываемый в качестве IDFT_R, поскольку только один модуль 400 комбинирования для формирования одного выходного моносигнала требуется.

В отличие от этого, в режиме стереовывода или, в общем, в режиме многоканального вывода, контроллер 700 выполнен с возможностью активации через управляющий сигнал CTRL₁ первого переключателя таким образом, что вывод первого частотно-временного преобразователя 100 подается во второй повышающий микшер 220, указываемый в качестве «повышающего микширования в полосе высоких частот» на фиг. 7. Посредством приведения в действие переключателя S1, активируется второй модуль 220 комбинирования. Кроме того, контроллер 700 выполнен с возможностью управления вторым переключателем S2 720 таким образом, что вывод блока 200 не вводится в активный понижающий микшер 300, но понижающий микшер 300 обходится. Часть (полосы низких частот) левого канала вывода блока 200 перенаправляется в качестве части полосы низких частот для модуля 400 комбинирования, и часть полосы низких частот правого канала в выводе блока 200 перенаправляется во ввод полосы низких частот второго модуля 420 комбинирования, как проиллюстрировано на фиг. 7. Кроме того, в режиме стерео/многоканального вывода, понижающее микширование 300 является неактивным.

Фиг. 8a иллюстрирует блок-схему способа для варианта осуществления, используемого в понижающем микшировании 300 для выполнения активного понижающего микширования. На этапе 800, весовые коэффициенты w_R и w_L вычисляются на основе целевой энергии. Это выполняется в расчете на полосу частот таким образом, что весовой коэффициент w_R для правого канала и весовой коэффициент w_L для левого канала получаются для каждой полосы частот.

На этапе 820, весовые коэффициенты применяются к сигналу после повышающего микширования во всей рассматриваемой полосе пропускания сигнала либо только в соответствующей части в расчете на спектральный элемент разрешения. С этой целью, блок 820 принимает (комплексные) сигналы спектральной области или элементы разрешения, или спектральные значения. После применения весовых коэффициентов и, в частности, суммирования взвешенных значений для получения понижающего микширования выполняется преобразование 840 во временную область. В зависимости от того, обрабатывается только часть или полная полоса частот на этапе 820, преобразование во временную область осуществляется без других частей или осуществляется с другой частью, в частности, в контексте гармонизированного понижающего микширования, например, как проиллюстрировано и пояснено относительно фиг. 3 или фиг. 4.

Фиг. 8b иллюстрирует предпочтительную реализацию функциональностей, выполняемых на этапе 800 по фиг. 8a. В частности, для вычисления весовых коэффициентов w_R и w_L для каждой полосы частот, связанный с амплитудой показатель для L вычисляется для полосы частот. С этой целью, вводятся отдельные спектральные линии для левого канала, т.е. для левого канала в качестве вывода посредством блока 200 любого из фиг. 1-7. На этапе 804, одинаковая процедура выполняется для второго канала или правого канала в одной и той же полосе b частот. Кроме того, на этапе 806, другой связанный с амплитудой показатель вычисляется для линейного комбинирования L и R в полосе b частот. На этапе 806, снова, спектральные значения первого канала L, спектральные значения для второго канала R требуются для рассматриваемой полосы частот. На этапе 808, показатель взаимной корреляции вычисляется между левым каналом и правым каналом или, в общем, между первым каналом и вторым каналом в соответствующей полосе b частот. С этой целью, снова, спектральные значения в индексах e для первого и второго каналов требуются для соответствующей полосы частот.

Как проиллюстрировано, связанный с амплитудой показатель может представлять собой квадратный корень для возведенных в квадрат абсолютных величин спектральных значений в полосе частот. Это проиллюстрировано в качестве . Другой связанный с амплитудой показатель, например, должен представлять собой сумму по абсолютным величинам спектральных линий в полосе частот без квадратного корня или с экспонентой, отличной от 1/2, к примеру, с экспонентой, составляющей между 0 и 1, но исключая 0 и 1. Кроме того, связанный с амплитудой показатель также может означать сумму для возведенных в степень абсолютных величин спектральных линий, в которой экспонента отличается от 2. Например, использование экспоненты 3 должно соответствовать громкости в психоакустических терминах. Тем не менее, другие экспоненты, превышающие 1, также являются полезными.

Это справедливо для связанного с амплитудой показателя, вычисленного на этапе 804, или связанного с амплитудой показателя, вычисленного на этапе 806.

Кроме того, относительно показателя взаимной корреляции, вычисленного на этапе 808, соответствующее математическое уравнение, проиллюстрированное выше, также основывается на возведении в квадрат произведений с точкой и вычислении квадратного корня. Тем не менее, также могут использоваться другие экспоненты для произведений с точкой, отличной от 2, к примеру, экспоненты, равные 3 согласно области громкости, или экспоненты, большие 1. Одновременно, вместо квадратного корня, могут использоваться другие экспоненты, отличные от 1/2, к примеру, 1/3 или, в общем, любая экспонента между 0 и 1.

Кроме того, этап 810 указывает вычисление w_R и w_L на основе трех связанных с амплитудой показателей и показателя взаимной корреляции. Хотя указано, что целевая энергия сохраняется посредством понижающего микширования и равна энергии среднего канала с вращением фаз, при необходимости ни для вычисления w_R и w_L, ни для вычисления фактического сигнала понижающего микширования, что такое вращение с углом вращения должно фактически выполняться. Вместо этого, единственная вещь, требуемая, когда фактическое вращение с углом Φ вращения не выполняется, представляет собой вычисление показателя взаимной корреляции между L и R в соответствующих полосах b частот. В вышеописанном варианте осуществления, хотя указано то, что энергия среднего канала с вращением фаз используется в качестве целевой энергии, могут использоваться любые другие целевые энергии, либо вращение фаз вообще не должно выполняться. Относительно других целевых энергий, эти целевые энергии представляют собой энергии, которые обеспечивают то, что энергия сигнала понижающего микширования, сформированного посредством понижающего микширования 300, колеблется для одного и того же сигнала меньше энергии пассивного понижающего микширования, например, лежащей в основе декодированного базового сигнала, вводимого в блок 100 по фиг. 4.

Фиг. 9 иллюстрирует общее представление спектра, указывающего первую часть обеспечиваемой полосы низких частот, относительно входного представления понижающего микширования, в качестве понижающего микширования с остаточными данными и указанием второй обеспечиваемой части относительно входного представления понижающего микширования, посредством понижающего микширования, сформированного с весовыми коэффициентами, как пояснено выше относительно фиг. 8a, 8b. Хотя фиг. 9 иллюстрирует только шесть полос частот, при этом три полосы частот служат для первой части, и три полосы частот служат для второй части, и хотя фиг. 9 иллюстрирует определенные полосы пропускания, которые увеличиваются от полос нижних частот к полосам верхних частот, конкретные числа, конкретные полосы пропускания и разделение спектра на первую часть и во вторую часть являются только примерными. В реальном сценарии, предусмотрено значительно более высокое число полос частот, и, кроме того, первая часть, которая, кроме того, имеет остаточный сигнал, составляет меньше 50% от числа полос b частот.

Предпочтительно, временно-спектральные преобразователи 100, 120 по фиг. 4, 6 и 7 и модуль 400, 420 комбинирования реализуются как блоки DFT или IDFT, которые предпочтительно реализуют алгоритм FFT или IFFT. Для обработки непрерывного декодированного сигнала, вводимого в блоки 100, 120, выполняется поблочная обработка, при которой перекрывающиеся блоки формируются, фильтруются с анализом, преобразуются в спектральную область, обрабатываются и, в модулях 400, 420 комбинирования, фильтруются с синтезированием и комбинируются, снова с 50% перекрытием. Комбинирование с 50% перекрытием на синтезирующей стороне обычно должно выполняться посредством операции суммирования с перекрытием с перекрестным затуханием между блоками, при этом, предпочтительно, весовые коэффициенты перекрестного затухания уже включаются в аналитические/синтетические функции кодирования со взвешиванием. Тем не менее, когда дело обстоит не так, фактическое перекрестное затухание выполняется в выводе блока 400, например, или 420, например, по фиг. 7 или фиг. 6, так что каждая выходная выборка временной области выходного моносигнала либо левого выходного сигнала или правого выходного сигнала формируется посредством суммирования двух значений двух различных блоков. Для перекрытия более чем в 50%, также может выполняться перекрытие между тремя или, при необходимости, еще большим числом блоков.

В качестве альтернативы, когда временно-спектральное преобразование, с одной стороны, и спектрально-временное преобразование, с другой стороны, выполняются, например, с помощью модифицированного дискретного косинусного преобразования, также используется обработка перекрытия. На стороне спектрально-временного преобразования, обработка суммирования с перекрытием выполняется таким образом, что, снова, выведенная выборка временной области получается посредством суммирования соответствующих выборок временной области из двух (или более) различных блоков IMDCT.

Предпочтительно, гармонизация схем понижающего микширования выполняется полностью в спектральной области, как проиллюстрировано на фиг. 4, 6 и 7. Любое дополнительное временно-спектральное преобразование или спектрально-временное преобразование не требуется при переключении из моно в стерео либо из стерео в моно, как проиллюстрировано на фиг. 7. Обязательно должны выполняться только манипуляции с данными в спектральной области или посредством понижающего микшера 300 для режима моновывода или посредством второго повышающего микшера 220 (повышающего микширования в полосе высоких частот) для режима стереовывода. Общая задержка обработки является одинаковой для моно- или стереовывода, и это также представляет собой значимое преимущество, поскольку все последующие операции обработки или предыдущие операции обработки не должны обязательно иметь сведения в отношении того, имеется ли выходной моно- или стереосигнал.

Предпочтительные варианты осуществления удаляют артефакты и дисбалансы спектральной громкости, которые возникают в силу наличия различных способов понижающего микширования в различных полосах частот спектра в декодированном базовом сигнале системы, как описано в [8], без дополнительной задержки и значительно с более высокой сложностью, которую должен обеспечивать выделенный каскад постобработки.

Варианты осуществления предусматривают в одном аспекте повышающее микширование и последующее понижающее микширование в декодере одной (или более) спектральных или временных частей моносигнала, который микширован с понижением с использованием одного или нескольких способов понижающего микширования, чтобы гармонизировать все спектральные или временные части сигнала.

Настоящее изобретение обеспечивает в одном аспекте гармонизацию понижающего стерео-мономикширования на стороне декодера.

В варианте осуществления, выходное понижающее микширование для устройства воспроизведения, которое принимает понижающее микширование, включенное в выходное представление, и выполняет прямую подачу этого понижающего микширования выходного представления в цифро-аналоговый преобразователь, и аналоговый сигнал понижающего микширования подготавливается посредством рендеринга посредством одного или более громкоговорителей, включенных в устройство воспроизведения. Устройство воспроизведения может представлять собой моноустройство, такое как мобильный телефон, планшетный компьютер, цифровые часы, Bluetooth-динамик и т.д.

Здесь следует отметить, что все альтернативы или аспекты, поясненные выше, и все аспекты, заданные посредством независимых пунктов в нижеприведенной формуле изобретения, могут использоваться отдельно, т.е. без альтернатив или целей, отличных от предполагаемой альтернативы, цели или независимого пункта формулы изобретения. Тем не менее, в других вариантах осуществления, две или более из альтернатив или аспектов или независимых пунктов формулы изобретения могут комбинироваться друг с другом, и, в других вариантах осуществления, все аспекты или альтернативы и все независимые пункты формулы изобретения могут комбинироваться друг с другом.

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогичным образом, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные считываемые электронными средствами управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий считываемые электронными средствами управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут реализовываться как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код, например, может сохраняться на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе или на энергонезависимом носителе хранения данных.

Другими словами, вариант осуществления изобретаемого способа в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.

Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель хранения данных (цифровой носитель хранения данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого аппаратного устройства.

Вышеописанные варианты осуществления являются лишь иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что специалистам в данной области техники должны быть очевидны модификации и изменения конфигураций и подробностей, описанных в данном документе. Следовательно, подразумевается ограничение лишь объёмом нижеприведенной формулы изобретения, а не конкретными подробностями, представленными в данном документе в порядке описания и пояснения вариантов осуществления.

Список литературы

1. ITU-R BS.775-2, Multichannel Stereophonic Sound System With And Without Accompanying Picture, 07/2006 год

2. F. Baumgarte, C. Faller и P. Kroon "Audio Coder Enhancement using Scalable Binaural Cue Coding with Equalized Mixing", in 116th Convention of the AES, Берлин, 2004 год.

3. G. Stoll, J. Groh, M. Link, J. Deigmöller, B. Runow, M. Keil, R. Stoll, M. Stoll и C. Stoll "Method for Generating the Downward-Compatible Sound Format", Патент (США) US 2012/0 014 526, 2012 год.

4. M. Kim, E. Oh и H. Shim "Stereo audio coding improved by phase parameters", in 129th Convention of the AES, San Francisco, 2010 год.

5 A. Adami, E. Habets и J. Herre "Down-mixing using coherence suppression", in IEEE International Conference on Acoustics, Speech and Signal Processing, Флоренция, 2014 год.

6. ISO/IEC 23008-3: "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio", 2019 год.

7. S. Bayer, C. Borß, J. Büthe, S. Disch, B. Edler, G. Fuchs, F. Ghido и M. Multrus, "DOWNMIXER AND METHOD FOR DOWNMIXING AT LEAST TWO CHANNELS AND MULTICHANNEL ENCODER AND MULTICHANNEL DECODER", Патент WO18086946, 17.05.2018.

8. S. Bayer, M. Dietz, S. Döhla, E. Fotopoulou, G. Fuchs, W. Jaegers, G. Markovic, M. Multrus, E. Ravelli и M. Schnell "APPARATUS AND METHOD FOR ESTIMATING AN INTER-CHANNEL TIME DIFFERENCE", Патент WO17125563, 27.07.2017.

Изобретение относится к средствам для формирования выходного представления понижающего микширования. Технический результат заключается в повышении эффективности преобразования входного представления понижающего микширования. Выполняют повышающее микширование первой части входного представления понижающего микширования с использованием схемы повышающего микширования, соответствующей первой схеме понижающего микширования, для получения первой микшированной с повышением части, причём первая часть входного представления понижающего микширования представляет собой первую полосу частот спектра, а вторая часть входного представления понижающего микширования представляет собой вторую полосу частот упомянутого спектра. Выполняют понижающее микширование первой микшированной с повышением части в соответствии со второй схемой понижающего микширования, отличной от первой схемы понижающего микширования, для получения первой микшированной с понижением части. Комбинируют первую микшированную с понижением часть и вторую часть входного представления понижающего микширования для получения выходного представления понижающего микширования. 9 н. и 20 з.п. ф-лы, 10 ил.

1. Устройство для формирования выходного представления понижающего микширования из входного представления понижающего микширования, при этом только первая часть входного представления понижающего микширования соответствует первой схеме понижающего микширования, а вторая часть входного представления понижающего микширования соответствует второй схеме понижающего микширования, причем устройство содержит:

- повышающий микшер (200) для повышающего микширования первой части входного представления понижающего микширования с использованием схемы повышающего микширования, соответствующей первой схеме понижающего микширования, для получения первой микшированной с повышением части, причём первая часть входного представления понижающего микширования представляет собой первую полосу частот спектра, а вторая часть входного представления понижающего микширования представляет собой вторую полосу частот упомянутого спектра; и

- понижающий микшер (300) для понижающего микширования первой микшированной с повышением части в соответствии со второй схемой понижающего микширования, отличной от первой схемы понижающего микширования, для получения первой микшированной с понижением части; и

- модуль (400) комбинирования для комбинирования первой микшированной с понижением части и второй части входного представления понижающего микширования для получения выходного представления понижающего микширования, содержащего первое выходное представление для первой части входного представления понижающего микширования и второе выходное представление для второй части входного представления понижающего микширования, при этом первое выходное представление для первой части входного представления понижающего микширования и второе выходное представление для второй части входного представления понижающего микширования представляют выходное представление понижающего микширования и основаны на второй схеме понижающего микширования.

2. Устройство по п. 1,

- в котором первая схема понижающего микширования представляет собой схему понижающего микширования, основывающуюся на остаточном сигнале, и

- при этом повышающий микшер (200) выполнен с возможностью выполнения, в качестве схемы повышающего микширования, повышающего микширования с использованием остаточного сигнала.

3. Устройство по п. 1 или 2, в котором вторая схема понижающего микширования представляет собой параметрическую схему.

4. Устройство по любому из предшествующих пунктов, дополнительно содержащее аудиодекодер (10) для формирования декодированного базового сигнала для первой части входного представления понижающего микширования и декодированный остаточный сигнал для первой части входного представления понижающего микширования,

- при этом повышающий микшер (200) выполнен с возможностью использования в схеме повышающего микширования декодированного базового сигнала для первой части входного представления понижающего микширования и декодированного остаточного сигнала для первой части входного представления понижающего микширования,

- при этом понижающий микшер (300) выполнен с возможностью приема первой микшированной с повышением части, содержащей большее число каналов, чем входное представление понижающего микширования.

5. Устройство по п. 4, в котором аудиодекодер (10) выполнен с возможностью формирования декодированного базового сигнала для второй части входного представления понижающего микширования, и при этом модуль (400) комбинирования выполнен с возможностью комбинирования первой микшированной с понижением части и декодированного базового сигнала для второй части входного представления понижающего микширования.

6. Устройство по одному из предшествующих пунктов, дополнительно содержащее:

- временно-спектральный преобразователь (100) для преобразования входного представления понижающего микширования для временной области первой части входного представления понижающего микширования; и

- в качестве модуля (400) комбинирования, спектрально-временной преобразователь (400) для преобразования первой микшированной с понижением части и второй части входного представления понижающего микширования во временную область для получения выходного представления понижающего микширования, при этом временно-спектральный преобразователь (100) или спектрально-временной преобразователь (400) выполнен с возможностью выполнения обработки суммирования с перекрытием или выполнения обработки регулирования переходов от более раннего временного блока к более позднему временному блоку, или

- при этом понижающий микшер (300) выполнен с возможностью применения в качестве второй схемы понижающего микширования схемы понижающего микширования с сохранением энергии или схемы понижающего микширования, в которой целевая энергия сигнала понижающего микширования находится в заданном соотношении с энергией среднего канала, извлекаемой из первого канала и второго канала, при этом по меньшей мере один из первого канала и второго канала подвергается вращению фаз перед суммированием для формирования входного представления понижающего микширования.

7. Устройство по одному из предшествующих пунктов, дополнительно содержащее выходной интерфейс (500) для вывода выходного представления понижающего микширования в устройство рендеринга или дополнительно содержащее устройство рендеринга для рендеринга выходного представления понижающего микширования в качестве моносигнала воспроизведения.

8. Устройство по п. 1, содержащее:

- временно-спектральный преобразователь (100) для преобразования входного представления понижающего микширования во временной области для первой части входного представления понижающего микширования в спектральную область; и

- в качестве модуля (400) комбинирования, спектрально-временной преобразователь (400) для преобразования первой микшированной с понижением части и второй части входного представления понижающего микширования во временную область для получения выходного представления понижающего микширования, причём временно-спектральный преобразователь (100) или спектрально-временной преобразователь (400) выполнен с возможностью выполнения обработки суммирования с перекрытием или выполнения обработки регулирования переходов от более раннего временного блока к более позднему временному блоку;

- при этом вторая часть входного представления понижающего микширования соответствует второй схеме понижающего микширования, при этом временно-спектральный преобразователь (100) выполнен с возможностью преобразования входного представления понижающего микширования для временной области второй части входного представления понижающего микширования в спектральную область, или

- при этом понижающий микшер (300) выполнен с возможностью применения, в качестве второй схемы понижающего микширования, схемы понижающего микширования, в которой целевая энергия сигнала понижающего микширования находится в заданном соотношении с энергией среднего канала, извлекаемой из первого канала и второго канала, при этом по меньшей мере один из первого канала и второго канала подвергается вращению фаз перед суммированием для формирования входного представления понижающего микширования и при этом заданное соотношение указывает равенство или диапазон отклонения, составляющий 3 дБ, связанный с более высокой энергией из энергий первого канала и второго канала.

9. Устройство по одному из предшествующих пунктов, в котором первая часть входного представления понижающего микширования соответствует первой схеме понижающего микширования, основанной на остаточном сигнале или на остаточном сигнале и параметрической информации,

- при этом повышающий микшер (200) выполнен с возможностью повышающего микширования входного представления понижающего микширования первой части входного представления понижающего микширования с использованием схемы повышающего микширования, соответствующей первой схеме понижающего микширования, и с использованием остаточного сигнала или остаточного сигнала и параметрической информации, соответственно, для получения первой микшированной с повышением части; и

- при этом вторая схема понижающего микширования представляет собой конкретную схему понижающего микширования или параметрическую схему понижающего микширования для получения выходного представления понижающего микширования, причём упомянутая конкретная схема понижающего микширования является схемой понижающего микширования с сохранением энергии или схемой понижающего микширования, в которой целевая энергия сигнала понижающего микширования находится в заданном соотношении с энергией среднего канала, извлекаемой из первого канала и второго канала.

10. Устройство по п. 9, дополнительно содержащее выходной интерфейс (500) для вывода выходного представления понижающего микширования в устройство рендеринга или дополнительно содержащее устройство рендеринга для рендеринга выходного представления понижающего микширования в качестве моносигнала воспроизведения.

11. Устройство по п. 9 или 10, в котором в схеме понижающего микширования с сохранением энергии или схеме понижающего микширования, в которой целевая энергия сигнала понижающего микширования находится в заданном соотношении с энергией среднего канала, извлекаемой из первого канала и второго канала, по меньшей мере один из первого канала и второго канала подвергается вращению фаз перед суммированием с другим каналом в схеме понижающего микширования.

12. Устройство по одному из предшествующих пунктов,

- в котором понижающий микшер (300) выполнен с возможностью выполнения второй схемы понижающего микширования, причем вторая схема понижающего микширования содержит:

- вычисление (800) первого весового коэффициента для первого канала и второго весового коэффициента для второго канала для полосы частот спектра первой микшированной с повышением части, причем полоса частот спектра содержит множество спектральных линий, и

- применение (820) первого весового коэффициента к спектральным линиям полосы частот спектра первого канала и применение второго весового коэффициента к спектральным линиям полосы частот спектра второго канала и суммирование первых взвешенных линий и вторых взвешенных линий для получения микшированных с понижением спектральных линий в полосе частот спектра, и

- при этом модуль (400) комбинирования выполнен с возможностью преобразования (840) микшированных с понижением спектральных линий во временную область для получения выборок временной области выходного представления понижающего микширования.

13. Устройство по п. 12, в котором вычисление первого весового коэффициента и второго весового коэффициента выполняется для каждой полосы частот с использованием энергий первого канала и второго канала и целевой энергии.

14. Устройство по п. 13, в котором целевая энергия равна энергии среднего канала с вращением фаз либо извлекается из энергий первого канала, второго канала и из значения корреляции между первым каналом и вторым каналом.

15. Устройство по одному из пп. 12-14, в котором вычисление первого весового коэффициента и второго весового коэффициента содержит для полосы частот спектра:

- вычисление (802) связанного с амплитудой показателя для первого канала в полосе частот спектра;

- вычисление (804) связанного с амплитудой показателя для второго канала в полосе частот спектра:

- вычисление (806) связанного с амплитудой показателя для линейного комбинирования первого канала и второго канала в полосе частот спектра;

- вычисление (808) показателя взаимной корреляции между первым каналом и вторым каналом в полосе частот спектра; и

- вычисление (810) первого весового коэффициента и второго весового коэффициента с использованием связанного с амплитудой показателя для первого канала, связанного с амплитудой показателя для второго канала, связанного с амплитудой показателя для линейного комбинирования и показателя взаимной корреляции.

16. Устройство по одному из предшествующих пунктов, в котором повышающий микшер (200) выполнен с возможностью выполнения схемы повышающего микширования, причем схема повышающего микширования содержит:

- вычисление первых канальных спектральных линий для полосы частот спектра первой части входного представления понижающего микширования из спектральных линий полосы частот спектра первой части входного представления понижающего микширования с использованием параметра прогнозирования для полосы частот спектра и спектральных линий остаточного сигнала для полосы частот спектра и первого правила вычисления, и

- вычисление вторых канальных спектральных линий для полосы частот спектра первой части входного представления понижающего микширования из спектральных линий полосы частот спектра первой части входного представления понижающего микширования с использованием параметра прогнозирования для полосы частот спектра и спектральных линий остаточного сигнала для полосы частот спектра и второго правила вычисления,

- при этом первое правило вычисления отличается от второго правила вычисления.

17. Устройство по п. 16, в котором первое правило вычисления содержит одно из суммирования и вычитания, и второе правило вычисления содержит другое из суммирования и вычитания.

18. Многоканальный декодер, содержащий:

- устройство по одному из предшествующих пунктов; и

- входной интерфейс (100, 120) для обеспечения входного представления понижающего микширования и параметрических данных по меньшей мере для второй части входного представления понижающего микширования,

- при этом многоканальный декодер выполнен с возможностью повышающего микширования посредством повышающего микшера (200) входного представления понижающего микширования для первой части входного представления понижающего микширования в соответствии со схемой повышающего микширования, соответствующей первой схеме понижающего микширования, для получения первой микшированной с повышением части, и выполнения повышающего микширования (220) входного представления понижающего микширования для второй части и параметрических данных с использованием второй схемы повышающего микширования, соответствующей второй схеме понижающего микширования, для получения микшированной с повышением второй части, и

- при этом модуль (400, 420) комбинирования выполнен с возможностью комбинирования первой микшированной с повышением части и микшированную с повышением второй части для получения многоканального выходного сигнала.

19. Многоканальный декодер по п. 18, в котором входной интерфейс (100, 120) содержит:

- первый временно-спектральный преобразователь (100) для формирования первого спектрального представления первой части входного представления понижающего микширования и второго спектрального представления второй части входного представления понижающего микширования, причем вторая часть входного представления понижающего микширования содержит спектральные значения для более высоких частот, чем первая часть входного представления понижающего микширования первого спектрального представления;

- второй временно-спектральный преобразователь (120) для формирования спектрального представления остаточного сигнала для первой части входного представления понижающего микширования,

- при этом повышающий микшер (200) выполнен с возможностью микширования с повышением первого спектрального представления с использованием спектрального представления остаточного сигнала для получения первой микшированной с повышением части в спектральной области,

- при этом понижающий микшер (300) выполнен с возможностью понижающего микширования первой микшированной с повышением части для получения первой микшированной с понижением части в спектральной области, и

- при этом модуль (400) комбинирования содержит спектрально-временной преобразователь для комбинирования первой микшированной с понижением части и спектрального представления второй части входного представления понижающего микширования и для преобразования во временную область для получения выходного представления понижающего микширования.

20. Многоканальный декодер по п. 18 или 19, дополнительно содержащий:

- второй повышающий микшер (220) для повышающего микширования второй части входного представления понижающего микширования для получения микшированной с повышением второй части,

- при этом в режиме многоканального вывода модуль (400) комбинирования выполнен с возможностью комбинирования первого канала первой микшированной с повышением части и первого канала второй микшированной с повышением части и преобразования во временную область для получения первого канала многоканального вывода,

- при этом многоканальный декодер дополнительно содержит второй модуль (420) комбинирования, выполненный с возможностью комбинирования в режиме многоканального вывода второго канала первой микшированной с повышением части и второго канала микшированной с повышением второй части и преобразования во временную область для получения второго канала многоканального вывода.

21. Многоканальный декодер по п. 19, дополнительно содержащий:

- второй повышающий микшер (220) для повышающего микширования второй части входного представления понижающего микширования для получения микшированной с повышением второй части,

- при этом в режиме многоканального вывода модуль (400) комбинирования выполнен с возможностью комбинирования первого канала первой микшированной с повышением части и первого канала микшированной с повышением второй части и преобразования во временную область для получения первого канала многоканального вывода,

- при этом многоканальный декодер дополнительно содержит второй модуль (420) комбинирования, выполненный с возможностью комбинирования в режиме многоканального вывода второго канала первой микшированной с повышением части и второго канала микшированной с повышением второй части и преобразования во временную область для получения второго канала многоканального вывода,

- переключатель (710), соединенный между первым временно-спектральным преобразователем (100) и вторым повышающим микшером (220), и

- контроллер (700), при этом контроллер (700) выполнен с возможностью управления в режиме моновывода переключателем (710) для соединения вывода первого временно-спектрального преобразователя (100) с модулем (400) комбинирования или обхода второго повышающего микшера (220) и соединения вывода повышающего микшера (200) с вводом понижающего микшера (300), либо управления в режиме многоканального вывода переключателем (710) для соединения вывода первого временно-спектрального преобразователя (100) со вводом второго повышающего микшера (220).

22. Многоканальный декодер по одному из пп. 20 и 21, дополнительно содержащий второй переключатель (720), соединенный между повышающим микшером (200) и понижающим микшером (300); и

- контроллер (700), при этом контроллер (700) выполнен с возможностью управления в режиме моновывода вторым переключателем (720) для соединения вывода повышающего микшера (200) с вводом понижающего микшера (300) и управления в режиме многоканального вывода вторым переключателем (720) для соединения вывода повышающего микшера (200) с вводом второго модуля (420) комбинирования или обхода понижающего микшера (300).

23. Способ формирования выходного представления понижающего микширования из входного представления понижающего микширования, при этом первая часть входного представления понижающего микширования соответствует первой схеме понижающего микширования и при этом вторая часть входного представления понижающего микширования соответствует второй схеме понижающего микширования, при этом способ содержит этапы, на которых:

- выполняют повышающее микширование первой части входного представления понижающего микширования с использованием схемы повышающего микширования, соответствующей первой схеме понижающего микширования, для получения первой микшированной с повышением части, причём первая часть входного представления понижающего микширования представляет собой первую полосу частот спектра, а вторая часть входного представления понижающего микширования представляет собой вторую полосу частот упомянутого спектра; и

- выполняют понижающее микширование первой микшированной с повышением части в соответствии со второй схемой понижающего микширования, отличной от первой схемы понижающего микширования, для получения первой микшированной с понижением части; и

- комбинируют первую микшированную с понижением часть и вторую часть входного представления понижающего микширования для получения выходного представления понижающего микширования, содержащего первое выходное представление для первой части входного представления понижающего микширования и второе выходное представление для второй части входного представления понижающего микширования, при этом первое выходное представление для первой части входного представления понижающего микширования и второе выходное представление для второй части входного представления понижающего микширования представляют выходное представление понижающего микширования и основаны на второй схеме понижающего микширования.

24. Способ многоканального декодирования, содержащий этап, на котором:

- обеспечивают входное представление понижающего микширования и параметрические данные по меньшей мере для второй части входного представления понижающего микширования;

- способ по п. 23,

- при этом способ содержит этапы, на которых выполняют повышающее микширование для первой части входного представления понижающего микширования в соответствии со схемой повышающего микширования, соответствующей первой схеме понижающего микширования, для получения первой микшированной с повышением части, и выполняют повышающее микширование второй части входного представления понижающего микширования и параметрических данных с использованием второй схемы повышающего микширования, соответствующей второй схеме понижающего микширования, для получения микшированной с повышением второй части, и

- комбинируют первую микшированную с повышением часть и микшированную с повышением вторую часть для получения многоканального выходного сигнала.

25. Устройство для формирования выходного представления понижающего микширования из входного представления понижающего микширования, при этом первая часть входного представления понижающего микширования соответствует первой схеме понижающего микширования, и вторая часть входного представления понижающего микширования соответствует второй схеме понижающего микширования, причем устройство содержит:

- повышающий микшер (200) для повышающего микширования первой части входного представления понижающего микширования с использованием первой схемы повышающего микширования, соответствующей первой схеме понижающего микширования, для получения первой микшированной с повышением части, и для повышающего микширования второй части входного представления понижающего микширования с использованием второй схемы повышающего микширования, соответствующей второй схеме понижающего микширования, для получения второй микшированной с повышением части, причём первая часть входного представления понижающего микширования представляет собой первую полосу частот спектра, а вторая часть входного представления понижающего микширования представляет собой вторую полосу частот упомянутого спектра; и

- понижающий микшер (300) для понижающего микширования первой микшированной с повышением части и второй микшированной с повышением части в соответствии с третьей схемой понижающего микширования, отличной от первой схемы понижающего микширования и второй схемы понижающего микширования, для получения выходного представления понижающего микширования, при этом выходное представление понижающего микширования для первой части входного представления понижающего микширования и выходное представление понижающего микширования для второй части входного представления понижающего микширования основаны на третьей схеме понижающего микширования.

26. Способ формирования выходного представления понижающего микширования из входного представления понижающего микширования, при этом первая часть входного представления понижающего микширования соответствует первой схеме понижающего микширования, и вторая часть входного представления понижающего микширования соответствует второй схеме понижающего микширования, причем способ содержит этапы, на которых:

- выполняют повышающее микширование первой части входного представления понижающего микширования с использованием первой схемы повышающего микширования, соответствующей первой схеме понижающего микширования, для получения первой микшированной с повышением части, и выполняют повышающее микширование второй части входного представления понижающего микширования с использованием второй схемы повышающего микширования, соответствующей второй схеме понижающего микширования, для получения второй микшированной с повышением части, причём первая часть входного представления понижающего микширования представляет собой первую полосу частот спектра, а вторая часть входного представления понижающего микширования представляет собой вторую полосу частот упомянутого спектра; и

- выполняют понижающее микширование первой микшированной с повышением части и второй микшированной с повышением части в соответствии с третьей схемой понижающего микширования, отличной от первой схемы понижающего микширования и второй схемы понижающего микширования, для получения выходного представления понижающего микширования, при этом выходное представление понижающего микширования для первой части входного представления понижающего микширования и выходное представление понижающего микширования для второй части входного представления понижающего микширования основаны на третьей схеме понижающего микширования.

27. Физический носитель данных, на котором сохранена компьютерная программа для выполнения способа по п. 23 при выполнении на компьютере или в процессоре.

28. Физический носитель данных, на котором сохранена компьютерная программа для выполнения способа по п. 24 при выполнении на компьютере или в процессоре.

29. Физический носитель данных, на котором сохранена компьютерная программа для выполнения способа по п. 26 при выполнении на компьютере или в процессоре.